Interfejsy API modelu bazowego Databricks

Ten artykuł zawiera omówienie interfejsów API modelu bazowego na platformie Azure Databricks. Zawiera wymagania dotyczące użycia, obsługiwanych modeli i ograniczeń.

Co to są interfejsy API modelu Databricks Foundation?

Model Serving obsługuje teraz interfejsy API modeli bazowych, które pozwalają uzyskiwać dostęp do modeli bazowych, w tym modeli otwartych, i wysyłać do nich zapytania z punktu końcowego udostępniania. Te modele są hostowane przez usługę Databricks i można szybko i łatwo tworzyć aplikacje korzystające z nich bez konieczności utrzymywania własnego wdrożenia modelu. Interfejsy API Foundation Model to Databricks Designated Service, co oznacza, że korzystają z Azure Geographies do zarządzania rezydencją danych podczas przetwarzania treści klientów.

Interfejsy API modelu bazowego są dostępne w następujących trybach:

  • Płatność za token: jest to najprostszy sposób na rozpoczęcie uzyskiwania dostępu do modeli bazowych w usłudze Databricks i zalecany jako początek pracy z interfejsami API modeli bazowych. W przypadku obciążeń produkcyjnych usługa Databricks zaleca priorytet płatności za token, nazywany również trybem priorytetowym, w przypadku obciążeń wrażliwych na opóźnienia, które wymagają bardziej spójnej wydajności pod obciążeniem.

  • Aprowizowana przepływność: ten tryb jest zalecany dla wszystkich obciążeń produkcyjnych, zwłaszcza tych, które wymagają wysokiej przepływności, gwarancji wydajności, dostrojonych modeli lub mają dodatkowe wymagania dotyczące zabezpieczeń. Punkty końcowe z przydzieloną przepustowością są dostępne z certyfikatami zgodności, takimi jak HIPAA.

  • Modele zoptymalizowane dla AI Functions: ten tryb jest zalecany do wsadowych zadań wnioskowania. Możesz uruchomić wnioskowanie wsadowe przy użyciu dowolnego modelu sztucznej inteligencji lub uczenia maszynowego przy użyciu funkcji sztucznej inteligencji.

Aby uzyskać wskazówki dotyczące używania tych trybów i obsługiwanych modeli, zobacz Use Foundation Model APIs (Korzystanie z interfejsów API modelu podstawowego).

Korzystając z interfejsów API modelu Foundation, można wykonać następujące czynności:

  • Wykonaj zapytanie względem uogólnionego modułu LLM, aby zweryfikować ważność projektu przed zainwestowaniem większej ilości zasobów.
  • Przeprowadź zapytanie dotyczące uogólnionego modelu LLM, aby utworzyć szybki prototyp koncepcyjny aplikacji opartej na modelu LLM, zanim zainwestujesz w trenowanie i wdrażanie modelu niestandardowego.
  • Użyj modelu podstawowego wraz z indeksem wektorowym, aby utworzyć czatbota przy użyciu rozszerzonej generacji pobierania (RAG).
  • Zastąp zastrzeżone modele otwartymi alternatywami, aby zoptymalizować koszt i wydajność.
  • Wydajnie porównaj modele LLM, aby zidentyfikować najlepszego kandydata dla swojego przypadku użycia lub zamienić model produkcyjny na bardziej efektywny.
  • Utwórz aplikację LLM na potrzeby programowania lub produkcji na podstawie skalowalnego, opartego na umowie SLA rozwiązania obsługującego usługę LLM, które może obsługiwać wzrost ruchu produkcyjnego.

Wymagania

Korzystaj z interfejsów API modelu bazowego

Masz wiele opcji korzystania z API Modelu Bazowego.

Większość API Foundation Model jest kompatybilna z OpenAI, więc możesz używać klienta OpenAI do zapytań. Możesz również użyć interfejsu użytkownika, interfejsu API modeli podstawowych zestawu SDK języka Python, zestawu SDK wdrożeń platformy MLflow lub interfejsu API REST do wykonywania zapytań dotyczących obsługiwanych modeli. Modele OpenJev wykorzystują API TypeSafe System One. Databricks zaleca korzystanie z klienta OpenAI SDK lub API do rozszerzonych interakcji z kompatybilnymi modelami oraz interfejsu użytkownika do testowania tej funkcji.

Zobacz Używanie modeli podstawowych do oceniania przykładów.

API modelu podstawowego w płatności za token

Wstępnie skonfigurowane punkty końcowe obsługujące modele płatności za token są dostępne w obszarze roboczym usługi Azure Databricks. Ten model płatności za tokeny jest zalecany do rozpoczęcia pracy. Aby uzyskać do nich dostęp w swoim workspace, kliknij AI Gateway w pasku bocznym workspace. Modele rozliczane za token są wymienione na karcie Modele jako usługi modeli dostarczane przez system. Zobacz usługi modelowe dostarczane przez system .

lista obsługiwanych punktów końcowych

Priorytet płatności za token

Priorytetowe rozliczanie za token, nazywane również trybem priorytetowym, to funkcja rozliczania za token przeznaczona dla aplikacji czasu rzeczywistego wrażliwych na opóźnienia. Gdy wysyłasz żądanie z parametrem service_tier ustawionym na wartość "priority", Azure Databricks nadaje temu żądaniu priorytet względem standardowego ruchu best-effort w modelu płatności za token, aby zapewnić bardziej przewidywalne opóźnienia przy dużym obciążeniu. Tryb priorytetowy jest opcjonalny dla każdego żądania, nie wymaga żadnych zobowiązań i jest rozliczany według wyższej stawki za token.

Zobacz Priorytetowe rozliczanie za token dla interfejsów API modeli podstawowych.

Interfejsy API dla modelu bazowego zarezerwowanej przepustowości

Skonfigurowana przepustowość zapewnia punktom końcowym zoptymalizowane wnioskowanie dla obciążeń modeli podstawowych, które wymagają gwarancji wydajności. Databricks zaleca przydzieloną przepustowość dla obciążeń produkcyjnych.

Obsługa zapewnionej przepływności obejmuje:

  • Podstawowe modele we wszystkich rozmiarach. Dostęp do modeli bazowych można uzyskać za pomocą witryny Databricks Marketplace lub można je pobrać z Hugging Face albo innego źródła zewnętrznego i zarejestrować w katalogu Unity. Drugie podejście działa z dowolnym dostosowanym wariantem obsługiwanych modeli.
  • dostrojone warianty modeli podstawowych, takie jak modele dostosowane do zastrzeżonych danych.
  • W pełni niestandardowe wagi i tokenizatory, takie jak te trenowane od podstaw lub kontynuujące etap wstępnego treningu albo inne odmiany oparte na architekturze modelu podstawowego (na przykład CodeLlama).

Funkcje sztucznej inteligencji do wnioskowania wsadowego

Zobacz Przekształcanie danych niestrukturalnych za pomocą funkcji AI.

Zobacz Wdrażanie potoków wnioskowania wsadowego, aby dowiedzieć się, jak tworzyć potoki wnioskowania wsadowego przy użyciu funkcji sztucznej inteligencji.

Ograniczenia

Zobacz limity interfejsów API modelu Foundation.

Dodatkowe zasoby

  • Ostatnia aktualizacja o