Dostawcy modeli spoza Databricks

Przenieś moc modelu od zewnętrznych dostawców, takich jak OpenAI, Anthropic czy Amazon Bedrock, do Azure Databricks poprzez usługę dostawcy modeli w Unity Catalog. Usługa modelowego dostawcy zapewnia jeden punkt kontrolny dla szyfrowanych poświadczeń, dostępu, użytkowania i kosztów. Zarejestruj każdego dostawcę raz, a wielu użytkowników i usług modelowych może do niego kierować bez obsługi danych uwierzytelniających.

W Azure Databricks zewnętrzny dostawca modelu to obiekt zabezpieczony w katalogu Unity (usługa dostawcy modeli), który przechowuje szczegóły połączenia i zaszyfrowane dane uwierzytelniające operatora. Ponieważ Unity Catalog rejestruje dostawców, możesz zarządzać dostępem przy użyciu tych samych uprawnień, których używasz do zarządzania danymi, wysyłać zapytania do modeli zewnętrznych przez Unity Gateway bez ujawniania poufnych danych oraz śledzić użycie i koszty w ramach jednej warstwy zarządzania.

Co to jest usługa dostawcy modeli?

Usługa dostawcy modelu znajduje się w katalogu i schemacie usługi Unity Catalog i używa nazwy składającej się z trzech części, takiej jak main.default.openai_prod. Zawiera:

  • Typ dostawcy (na przykład OpenAI lub Amazon Bedrock).
  • Konfiguracja połączenia dla tego dostawcy, taka jak podstawowy adres URL punktu końcowego lub region chmury.
  • Poświadczenia dostawcy, które Azure Databricks szyfruje i przechowuje. Azure Databricks nie zwraca poświadczeń podczas odczytu. W przypadku Azure OpenAI i Microsoft Foundry możesz odwoływać się do istniejącego poświadczenia usługi po nazwie zamiast przechowywać klucz lub sekret, a dane pozostają tam, gdzie jest. Zobacz Jak uwierzytelniać Azure OpenAI lub Microsoft Foundry za pomocą poświadczeń usługi.

Ponieważ usługa dostawcy modelu jest obiektem zabezpieczalnym w Unity Catalog, zarządzasz nią w taki sam sposób, jak innymi obiektami objętymi nadzorem:

  • Przyznawaj i odbieraj dostęp za pomocą uprawnień Unity Catalog.
  • Odnajdź go w Eksploratorze wykazu obok innych danych i zasobów sztucznej inteligencji.
  • Skonfiguruj w Unity Gateway funkcje, takie jak limity żądań i tabele inferencji.

Dzwoniący zapytują usługę dostawcy modelu bezpośrednio przez Unity Gateway, odwołując się do jej nazwy, i nie widzą zapisanych danych uwierzytelniających. Usługa dostawcy modelu może również określać zewnętrznego dostawcę, do którego kieruje żądania usługa modelu, zapewniając administratorom jeden kontrolowany punkt zarządzania poświadczeniami dostawcy.

Obsługiwani dostawcy

Usługa modelowego dostawcy obsługuje wyłącznie następujących zewnętrznych dostawców i metody uwierzytelniania.

Provider Authentication
OpenAI klucz interfejsu API
Azure OpenAI Klucz API, główny element usługi Microsoft Entra ID (identyfikator dzierżawcy, identyfikator klienta i sekret klienta) lub poświadczenie usługi
Anthropic klucz interfejsu API
Amazon Bedrock (bedrock-runtime) Para kluczy dostępu AWS (identyfikator klucza dostępu i tajny klucz dostępu)
Amazon Bedrock Mantle (bedrock-mantle) Para kluczy dostępu AWS (identyfikator klucza dostępu i tajny klucz dostępu)
Microsoft Foundry Klucz API, główny element usługi Microsoft Entra ID (identyfikator dzierżawcy, identyfikator klienta i sekret klienta) lub poświadczenie usługi
Google Gemini Enterprise Klucz konta usługi (JSON), z identyfikatorem projektu GCP i regionem
Custom Token typu Bearer lub klucz API wysyłany w określonym przez Ciebie nagłówku HTTP wraz z bazowym adresem URL endpointu

Dostawca Amazon Bedrock łączy się z punktem końcowym AWS bedrock-runtime . Amazon Bedrock Mantle jest osobnym providerem dla bedrock-mantle. Oba endpointy mają różne wsparcie API i mogą używać różnych identyfikatorów modeli.

Gdy endpoint niestandardowego dostawcy oczekuje klucza API w konkretnym nagłówku, a nie jako tokena nosiciela, możesz nadać nazwę temu nagłówkowi. Zobacz Wyślij niestandardowy klucz API dostawcy w nagłówku.

Zamiast przechowywać poświadczenie dostawcy bezpośrednio, możesz powiązać je z sekretem Unity Catalog należącym do klienta, dzięki czemu wartość pozostaje zarządzana w Unity Catalog, a jego rotacja jest skuteczna bez wprowadzania zmian w usłudze dostawcy modelu. Zobacz Jak zabezpieczyć poświadczenie dostawcy za pomocą wpisu tajnego w Unity Catalog.

Dlaczego warto nadzorować zewnętrznych dostawców w Unity Catalog?

Bez centralnego rejestru każdy zespół korzystający z modelu zewnętrznego osadza własne poświadczenia dostawcy w kodzie aplikacji lub notesach. Usługi dostawców modeli przenoszą tę konfigurację do Unity Catalog, dzięki czemu możesz:

  • Zdefiniuj dostawcę raz. Zarejestruj poświadczenia i dane połączenia w jednym miejscu, a następnie pozwól wielu użytkownikom i usługom modelowym korzystać z nich wspólnie bez konieczności posługiwania się wpisem tajnym.
  • Zarządzaj dostępem za pomocą uprawnień Unity Catalog. Użyj tych samych instrukcji GRANT i REVOKE, których używasz w przypadku innych zabezpieczanych obiektów, aby określić, kto może wysyłać zapytania do każdego dostawcy.
  • Wykonywanie zapytań w różnych obszarach roboczych. Usługa dostawcy modelu jest dostępna w dowolnym obszarze roboczym, który udostępnia swój magazyn metadanych.
  • Śledzenie użycia i kosztów. Unity Gateway rejestruje wykorzystanie zapytań przechodzących przez usługę dostawcy modeli. Zobacz Śledzenie wykorzystania modelu. Azure Databricks oblicza również szacowane wydatki na żądania kierowane do modeli zewnętrznych. Zobacz Modele zewnętrzne.
  • Pochodzenie torów. Zobacz usługi modelowe kierujące żądania do dostawcy oraz zasoby podrzędne, które wykorzystują przesyłane przez nie dane. Zobacz Śledzenie pochodzenia usługi modelu i dostawcy.

Privileges

Poniższe uprawnienia Unity Catalog mają zastosowanie do usług dostawców modeli. Podmiot zabezpieczeń potrzebuje również USE CATALOG i USE SCHEMA do katalogu nadrzędnego i schematu nadrzędnego.

Przywilej Przyznaje możliwość
CREATE SERVICE (na schemacie) Utwórz usługę dostawcy modeli w schemacie.
EXECUTE Wysyłaj zapytania do usługi dostawcy modelu przez Unity Gateway.
READ METADATA Wyświetl usługę dostawcy modelu i jej konfigurację bez wykonywania względem niej zapytań.
MANAGE Edytowanie, usuwanie i udzielanie dostępu do usługi dostawcy modelu.

Aby dowiedzieć się, jak przyznawać i cofać te uprawnienia, zobacz Odkrywanie i zarządzanie dostępem do zewnętrznych dostawców modeli (usług dostawców modeli).

Śledz wydatki na usługi dostawców modeli w budżetach

Aby uwzględnić szacowane wydatki na usługę dostawcy modeli w budżecie Unity Gateway, wybierz Uwzględnij wykorzystanie zewnętrznego modelu podczas tworzenia budżetu. Wydatki na zewnętrzny model są następnie liczone do alarmu budżetowego i progu blokowania zużycia.

Zewnętrzne szacunki wydatków modeli odzwierciedlają dowolny mnożnik cen skonfigurowany na usłudze dostawcy modeli.

Więcej informacji o szacowanych wydatkach na modele zewnętrzne można znaleźć w sekcji Modele zewnętrzne.

Następne kroki