Fråga LLM:er och agenter på Azure Databricks

Azure Databricks erbjuder flera sätt att fråga stora språkmodeller (LLM:er), grundmodeller och driftsatta agenter. Välj ett interaktivt gränssnitt, SQL, REST-API:er eller klientbibliotek beroende på ditt arbetsflöde.

AI-lekplatsen

AI Playground är en chattmiljö utan kod på din Azure Databricks-arbetsyta för att fråga och jämföra LLM:er. Använd den för att experimentera med promptar, finjustera parametrar som temperatur och maximalt antal token samt bygga prototyper av agenter för verktygsanrop och frågesvarsbotar sida vid sida innan du går vidare till kod.

Grundmodeller

Azure Databricks betjänar grundmodeller inbyggt som modell-API:er (modelltjänster) via Unity AI Gateway. Varje kontoanvändare kan anropa pay-per-token-modellerna i schemat system.ai utan någon installation. Välj de modell-API:er som passar dina behov:

• Systemlevererade modell-API:er isystem.ai: Modeller som levereras nativt av Azure Databricks, redo att söka med OpenAI-kompatibla SDK, native leverantörs-API:er eller ai_query. Se Frågemodell-API:er (modelltjänster).
• Anpassade modell-API:er: Skapa egna när du behöver modeller utöver standardinställningarna, eller för att fördela belastningen och sätta upp reservplaner.

Sökagenter

När du har skapat och distribuerat en agent kan du fråga agenten i ditt program. Agenter kan finnas på Databricks-appar eller modellserverslutpunkter. Azure Databricks stöder tre frågemetoder:

• Databricks OpenAI-klient: Rekommenderas för nya applikationer, med inbyggd streaming och full funktionsstöd.
• OpenAI-kompatibelt REST API: Språkagnostiskt, fungerar med alla plattformar som redan använder OpenAI API.
• ai_query: Fråga äldre agenter som hostas på Model Serving-endpoints från SQL.

Berika data med AI Functions

AI Functions är inbyggda SQL-funktioner som tillämpar LLM:er och andra modeller på data som lagras i Azure Databricks. Kör dem från Databricks SQL, notebook-filer, Lakeflow-pipelines eller arbetsflöden för att klassificera supportärenden, extrahera entiteter från dokument, sammanfatta innehåll eller översätta text i batchskala.

Välj mellan två funktionsformat:

• Task-specifika funktioner som ai_classify, ai_extract och ai_parse_document optimeras för en enda uppgift och använder Azure Databricks-hanterade, forskningsbaserade system.
• ai_query är den allmänna funktionen. Skapa din egen prompt och välj vilken stödd grundmodell som helst. Se Använd ai_query.

Ett exempel från slutpunkt till slutpunkt finns i Analysera kundrecensioner med ai-funktioner.