ai_search functie

Van toepassing op: Databricks SQL Databricks Runtime

De functie haalt ai_search() informatie op uit een of meer kennisbronnen. Kennisbronnen kunnen AI-zoekindexen of Lakebase-gesynchroniseerde tabellen met Lakebase Search ingeschakeld zijn.

Gegeven een natuurlijke taalzoekopdracht en kennisbronnen geconfigureerd voor de aanroep, genereert de functie geoptimaliseerde zoekzoekopdrachten, haalt resultaten op en dedupliceert ze over bronnen, herrangschikt ze op relevantie en geeft de meest relevante documenten terug. Standaard genereert het ook een gegrond, natuurtaalantwoord over de opgehaalde documenten.

Gebruik ai_search om operationele data op grote schaal te verrijken met relevante context, batch retrieval-augmented generation (RAG) pipelines te bouwen, of retrieval als hulpmiddel bloot te stellen aan een samengesteld AI-systeem — allemaal vanuit één SQL-functieaanroep.

Gegevensbeveiliging

Uw documentgegevens worden verwerkt binnen de Databricks-beveiligingsperimeter. Databricks slaat de parameters die aan de AI-functieaanroepen worden doorgegeven niet op, maar behoudt wel details van de uitvoering van metadata, zoals de gebruikte Databricks Runtime-versie.

Requirements

• Databricks Runtime 18.2 of hoger.
• Een of meer kennisbronnen om te doorzoeken: AI Search-indexen, of Lakebase-gesynchroniseerde tabellen met Lakebase Search ingeschakeld.
• Om een Lakebase-gesynchroniseerde tabel te gebruiken, bereid deze eerst voor op zoek. Zie Lakebase-configuratie.
• Als je Serverless compute gebruikt, moet de serverless omgevingsversie op 3 of hoger worden gezet, omdat dit functies zoals VARIANTmogelijk maakt.
• De ai_search functie is beschikbaar via Databricks-notebooks, SQL-editor, Databricks-workflows, jobs of Spark Declarative Pipelines op Lakeflow.

Syntax

ai_search(query, knowledge_sources [, instructions] [, options])

Arguments

• query: Een STRING- of VARIANT-expressie. De zoekopdracht in natuurlijke taal. VARIANT invoer, zoals de uitvoer van een andere AI-functie, wordt intern geserialiseerd naar een JSON-string.
• knowledge_sources: Een VARIANT of expressie STRING met een JSON-array van kennisbronconfiguraties om te doorzoeken. Zie Knowledge source configuratie. Je kunt tot 10 kennisbronnen specificeren.
• instructions: Een optionele STRING expressie van maximaal 4.000 tekens. Natuurtaalinstructies die het genereren van zoekopdrachten, het genereren van metadatafilters en het herrangschikken begeleiden. Bijvoorbeeld: 'Prefer official documentation over internal articles when both cover the same topic.'
• options: Een optioneel MAP<STRING, STRING>. Ondersteunde sleutels:
  • 'version': De functieversie die gebruikt moet worden.
  • 'generate_answer': 'true' (standaard) of 'false'. Wanneer 'true', synthetiseert de functie een geaarde natuurtaal-antwoord uit de opgehaalde documenten en geeft dit terug in het answer veld. Zet op 'false' alleen documenten terugsturen.
  • 'generate_citations': 'true' of 'false' (standaard). Wanneer 'true', geeft de functie citaties terug die aangeven welke opgehaalde chunks het model gebruikte ter ondersteuning van het gegenereerde antwoord. Deze optie moet 'generate_answer' zijn 'true'.

Configuratie van kennisbron

Het knowledge_sources argument is een JSON-array. Elk element is een {type, config} envelop. Het type veld identificeert hoe ai_search het met de bron verbonden is en is gescheiden van de naam van de klantgerichte bron. Ingesteld type op vector_search voor een AI-zoekindex, of lakebase_search voor een Lakebase-gesynchroniseerde tabel met Lakebase Search ingeschakeld. Het config veld bevat de bronspecifieke configuratie.

Een enkele oproep kan combineren vector_search en lakebase_search bronnen, tot aan de limiet van 10 bronnen.

AI Search indexconfiguratie

Voor een AI-zoekindex met type ingesteld op vector_searchaccepteert de config volgende sleutels:

Het volgende voorbeeld configureert één AI Search index als kennisbron:

[
  {
    "type": "vector_search",
    "config": {
      "index_name": "prod_catalog.docs.support_articles",
      "text_col": "article_body",
      "doc_uri_col": "article_url",
      "filter_columns": "product,language"
    }
  }
]

Om een AI-zoekindex te bouwen uit ruwe documenten, gebruik ai_parse_document en ai_prep_search maak zoekklare chunks in een Delta-tabel. Maak vervolgens een AI-zoekindex aan vanuit die tabel. Nadat de index online is, gebruik je de drie-niveaunaam als index_name.

Lakebase-configuratie

Voordat je een Lakebase-gesynchroniseerde tabel als kennisbron kunt gebruiken, bereid deze voor op zoek:

1. Schakel Lakebase Search in en installeer de extensies. Volg Lakebase Search om Lakebase Search in je projectinstellingen in te schakelen, maak vervolgens verbinding met de Postgres-database van het project en installeer de lakebase_vector extensie door CREATE EXTENSION IF NOT EXISTS lakebase_vector CASCADE;. Het biedt de benaderende naaste-buur vectorzoekopdracht die ai_search gebruikt. Het inschakelen van Lakebase Search vereist bèta-toegang en is onomkeerbaar.
2. Synchroniseer je Unity Catalog-tabel met het project. Gebruik een gesynchroniseerde tabel, koppel de embeddingkolom aan een vector(n) kolom en bouw daar een lakebase_ann index op. De dimensie n moet overeenkomen met de output van je embeddingmodel.
3. Genereer de embeddings offline met een model serving endpoint. Vul de embeddingkolom met een embeddingmodel — bijvoorbeeld door een embeddingmodel te queryen met ai_query — en geef datzelfde eindpunt door als embedding_model (zie hieronder). ai_search Embeds elke query ermee tijdens het zoektijd, zodat de query en de opgeslagen document-embeddings één vectorruimte delen.

Voor een Lakebase-kennisbron met type als set op lakebase_searchaccepteert , config de volgende sleutels:

Het volgende voorbeeld configureert een Lakebase-tabel als kennisbron. Vervang embedding_model het door het eindpunt dat je gebruikte om de tabel offline in te sluiten:

[
  {
    "type": "lakebase_search",
    "config": {
      "index_name": "prod_catalog.docs.support_articles_synced",
      "text_col": "article_body",
      "doc_uri_col": "article_url",
      "embedding_column": "article_embedding",
      "embedding_model": "databricks-gte-large-en",
      "lakebase_project_id": "my-lakebase-project"
    }
  }
]

Returns

A VARIANT met het volgende schema:

{
  "document": [
    {
      "page_content": STRING,  // Text content of the retrieved chunk
      "doc_uri": STRING,       // URI of the source document
      "metadata": MAP          // Additional metadata from the index
    }
  ],
  "answer": STRING,            // Grounded answer synthesized from the retrieved
                               // documents, or null
  "citations": [               // Present only when generate_citations is true
    {
      "document_index": INT    // Position in the document array above, starting at 0
    }
  ]
}

Wanneer generate_citations is true, lees de en velden answercitations samen. Elke combinatie van waarden betekent iets anders:

• Een niet-null answer met een lege citations array betekent dat er een antwoord is gegenereerd, maar dat er geen teruggegeven chunk is geselecteerd.
• Een null answer met een lege citations array betekent dat citatiegeneratie is uitgevoerd, maar geen citaties heeft opgeleverd omdat er geen geaard antwoord is gegenereerd.
• Een nulwaarde citations betekent dat citatiegeneratie niet beschikbaar was of niet werd aangeroepen, inclusief wanneer query SQL NULL.

Voorbeelden

Basiszoekopdracht

Het volgende voorbeeld doorzoekt één AI Search index en geeft gerangschikte documenten en een gegronde antwoord:

SELECT ai_search(
  'How do I configure auto-scaling for my SQL warehouse?',
  PARSE_JSON('[{
    "type": "vector_search",
    "config": {
      "index_name": "prod_catalog.docs.support_articles",
      "text_col": "article_body",
      "doc_uri_col": "article_url",
      "filter_columns": "product,language"
    }
  }]')
) AS result;

Geef ondersteunende chunks terug voor het gegenereerde antwoord

Het volgende voorbeeld geeft de deelverzameling van opgehaalde chunks terug die het model heeft gekozen als ondersteuning voor het antwoord:

SELECT ai_search(
  'How do I configure auto-scaling for my SQL warehouse?',
  PARSE_JSON('[{
    "type": "vector_search",
    "config": {
      "index_name": "prod_catalog.docs.support_articles",
      "text_col": "article_body",
      "doc_uri_col": "article_url"
    }
  }]'),
  options => map('generate_citations', 'true')
) AS result;

De document array bevat nog steeds de volledige set teruggestuurde chunks. Gebruik de document_index in elke citatie om de ondersteunende uit die array te selecteren. Deze indices zijn alleen geldig binnen één enkele respons. Ze kunnen wisselen tussen gesprekken, wanneer de herrangschikking verandert, of wanneer de index wordt bijgewerkt.

Multi-source zoekopdracht met instructies

Het volgende voorbeeld doorzoekt twee AI-zoekindexen en gebruikt instructions het om zoekopdrachten te genereren en te herrangschikken:

SELECT ai_search(
  'What are the networking requirements for serverless SQL warehouses?',
  PARSE_JSON('[
    {
      "type": "vector_search",
      "config": {"index_name": "prod_catalog.docs.public_docs", "text_col": "content", "doc_uri_col": "doc_url"}
    },
    {
      "type": "vector_search",
      "config": {"index_name": "prod_catalog.docs.internal_kb", "text_col": "body", "doc_uri_col": "source_uri"}
    }
  ]'),
  'Focus on firewall rules and VPC/VNet configuration. Prefer official documentation over internal articles when both cover the same topic.'
) AS result;

Zoek in een Lakebase-tabel

Het volgende voorbeeld doorzoekt een Lakebase-gesynchroniseerde tabel en geeft gerangschikte documenten en een gegronde antwoord:

SELECT ai_search(
  'How do I configure auto-scaling for my SQL warehouse?',
  PARSE_JSON('[{
    "type": "lakebase_search",
    "config": {
      "index_name": "prod_catalog.docs.support_articles_synced",
      "text_col": "article_body",
      "doc_uri_col": "article_url",
      "embedding_column": "article_embedding",
      "embedding_model": "databricks-gte-large-en",
      "lakebase_project_id": "my-lakebase-project"
    }
  }]')
) AS result;

Combineer een AI-zoekindex en een Lakebase-tabel

Het volgende voorbeeld zoekt in een AI-zoekindex en een Lakebase-tabel in dezelfde aanroep. Resultaten van beide bronnen worden gededupliceerd, samen opnieuw gerangschikt en teruggegeven als één gerangschikte lijst:

SELECT ai_search(
  'What are the networking requirements for serverless SQL warehouses?',
  PARSE_JSON('[
    {
      "type": "vector_search",
      "config": {"index_name": "prod_catalog.docs.public_docs", "text_col": "content", "doc_uri_col": "doc_url"}
    },
    {
      "type": "lakebase_search",
      "config": {
        "index_name": "prod_catalog.docs.internal_kb_synced",
        "text_col": "body",
        "doc_uri_col": "source_uri",
        "embedding_column": "body_embedding",
        "embedding_model": "databricks-gte-large-en",
        "lakebase_project_id": "my-lakebase-project"
      }
    }
  ]')
) AS result;

Verrijk een tabel met retrieval en een gegenereerd antwoord

Het volgende voorbeeld verrijkt elk supportticket met relevante documentatie en een voorgestelde oplossing. Omdat antwoordgeneratie standaard is ingeschakeld, is de voorgestelde resolutie direct in het answer veld beschikbaar — er is geen aparte generatiestap nodig.

SELECT
  ticket_id,
  customer_description,
  ai_search(
    customer_description,
    PARSE_JSON('[{
      "type": "vector_search",
      "config": {
        "index_name": "support.docs.product_documentation",
        "text_col": "content",
        "doc_uri_col": "doc_url"
      }
    }]'),
    'Find product documentation, known issues, and troubleshooting guides relevant to this support ticket.'
  ):answer::STRING AS suggested_resolution
FROM support.tickets.open_tickets;

Om het uitvoerformaat te beheersen of een specifiek model te gebruiken, stel 'generate_answer' je in plaats daarvan de 'false' opgehaalde documenten in en rij je ze aan ai_query .

Limitations

• ai_search ondersteunt AI Search-indexen ("type": "vector_search") en Lakebase-gesynchroniseerde tabellen ("type": "lakebase_search") als kennisbronnen.
• Je kunt tot 10 kennisbronnen per call specificeren, in elke combinatie van de ondersteunde types.
• Het instructions argument is beperkt tot 4.000 tekens.

Gerelateerde functies

• ai_parse_document Functie
• ai_prep_search Functie
• ai_query Functie
• ai_extract Functie
• ai_enrich Functie