Wykonywanie zapytań dotyczących modułów LLM i agentów w Azure Databricks

Azure Databricks oferuje wiele sposobów wykonywania zapytań dotyczących dużych modeli językowych (LLMs), modeli podstawowych i wdrożonych agentów. Wybierz interaktywny interfejs użytkownika, sql, interfejsy API REST lub biblioteki klienckie w zależności od przepływu pracy.

Plac zabaw dla sztucznej inteligencji

AI Playground to niewymagające kodowania środowisko czatu w obszarze roboczym Azure Databricks, służące do tworzenia promptów i porównywania modeli LLM. Służy do eksperymentowania z promptami, dostrajania parametrów, takich jak temperatura i maksymalna liczba tokenów, oraz tworzenia prototypów agentów z funkcją wywoływania narzędzi i botów do odpowiadania na pytania równolegle przed przejściem do kodu.

Modele podstawowe

Azure Databricks obsługuje modele bazowe natywnie jako model API (model services) poprzez Unity Gateway. Każdy użytkownik konta może bez żadnej konfiguracji wywoływać modele rozliczane za token w schemacie system.ai. Wybierz modele API odpowiadające Twoim potrzebom:

• API modeli dostarczane przez system wsystem.ai: Modele obsługiwane natywnie przez Azure Databricks, gotowe do zapytań za pomocą SDK kompatybilnego z OpenAI, natywnych API dostawców lub ai_query. Zobacz API modelu zapytania (usługi modelowe).
• Niestandardowe API modeli: Stwórz własne , gdy potrzebujesz modeli wykraczających poza domyślne ustawienia lub do rozłożenia obciążenia i ustawienia zapasowych.

Agenty zapytań

Po utworzeniu i wdrożeniu agenta wykonaj zapytanie dotyczące agenta z aplikacji. Agenci mogą być hostowani w aplikacjach usługi Databricks lub punktach końcowych obsługujących model. Azure Databricks obsługuje trzy metody zapytań:

• Klient OpenAI Databricks: Polecany dla nowych aplikacji, z natywnym strumieniowaniem i pełnym wsparciem funkcji.
• Kompatybilne z OpenAI API REST: Niezależne od języka, działa z każdą platformą, która już korzysta z API OpenAI.
• ai_query: Wykonuj zapytania do agentów starszego typu hostowanych na endpointach Model Serving z poziomu SQL.

Wzbogacanie danych przy użyciu funkcji sztucznej inteligencji

AI Functions to wbudowane funkcje SQL, które wykorzystują LLM-y i inne modele do przetwarzania danych przechowywanych w Azure Databricks. Uruchamiaj je w Databricks SQL, notatnikach, potokach Lakeflow lub Workflows, aby klasyfikować zgłoszenia do działu wsparcia, wyodrębniać encje z dokumentów, podsumowywać treści lub tłumaczyć tekst wsadowo.

Wybierz między dwoma stylami funkcji:

• Funkcje specyficzne dla zadań, takie jak ai_classify, ai_extract i ai_parse_document, są zoptymalizowane pod kątem pojedynczego zadania i korzystają z zarządzanych przez Azure Databricks systemów opartych na badaniach naukowych.
• ai_query jest funkcją ogólnego przeznaczenia. Utwórz własne polecenie i wybierz dowolny obsługiwany model bazowy. Zobacz Użycie ai_query.

Aby zobaczyć kompleksowy przykład, zobacz Analizowanie opinii klientów za pomocą funkcji SI.