Beheer model-API’s (modeldiensten)

Een model-API geeft je bestuurde toegang tot een groot taalmodel. Stuur een aanvraag, ontvang een antwoord, zonder infrastructuur te hoeven beheren. Standaard kan elke accountgebruiker de door het systeem geleverde model-API's in het system.ai schema bevragen zonder enige setup. Dit zijn foundation-modellen die systeemeigen door Azure Databricks worden aangeboden, waarvoor per token wordt gefactureerd.

Op Azure Databricks is een model-API een Unity Catalog-securable object (een modelservice) dat een bestuurd LLM-eindpunt vertegenwoordigt. Omdat Unity Catalog het opslaat, definieer, deel en beheer je de toegang centraal samen, samen met je data en over werkruimtegrenzen heen. Om extra modellen te beheren of een aangepast eindpunt te presenteren, maak je je eigen model-API's.

Model-API's ondersteunen het volgende:

• Door Azure Databricks aangeboden basismodellen, als door het systeem geleverde services in system.ai en als services die u maakt. Zowel betalen per token- als ingerichte doorvoercapaciteit-bestemmingen worden ondersteund.
• Het creëren en beheren van model-API's met de Unity AI Gateway UI, Catalog Explorer en de Unity Catalog REST API.
• Model-API's opvragen over werkruimtes, binnen en buiten Azure Databricks.

Wat is een modelservice?

Een modelservice leeft in een Unity Catalog-schema en verwijst naar een of meer bestemmingen, met routing en fallback ertussen. Aanroepers roepen de modeldienst op met de volledig gekwalificeerde naam, en Unity AI Gateway routeert elk verzoek naar een bestemming. Een bestemming kan een Azure Databricks-bediend model zijn of een modelprovider service die naar een externe provider wordt geleid, en een enkele modelservice kan beide combineren.

Omdat een modelservice een beveiligbaar object voor Unity Catalog is, is het:

• Woont in een catalogus en schema, waar schema-instellingen, zoals werkruimtebindingen, worden overgenomen.
• Bevat standaard metagegevens van Unity Catalog, zoals naam, eigenaar, opmerking en tags.
• Wordt beheerd door Unity Catalog-bevoegdheden, zodat u toegang verleent met behulp van dezelfde GRANT en REVOKE instructies die u gebruikt voor tabellen, functies en modellen.
• Kan worden gedetecteerd in Catalog Explorer, naast de rest van uw Unity Catalog-assets.

Dezelfde modelservice wordt ook weergegeven als een eindpunt in de unity AI Gateway-gebruikersinterface, waar AI-teams functies kunnen configureren, zoals frequentielimieten, deductietabellen en kaders. Zie AI-governance met Unity AI Gateway voor meer informatie over deze functies.

Waarom llms beheren in Unity Catalog?

Unity AI Gateway-eindpunten die in een werkruimte zijn gemaakt, zijn gericht op die werkruimte. Als u een eindpunt wilt delen tussen werkruimten, moet u dit dupliceren in elke werkruimte en elke kopie afzonderlijk beheren.

Modelservices verplaatsen governance naar Unity Catalog, zodat u het volgende kunt doen:

• Definieer eenmaal een LLM-eindpunt en gebruik dit vanuit elke werkruimte die is gekoppeld aan dezelfde metastore.
• Beheer de toegang centraal met behulp van Unity Catalog-bevoegdheden, in plaats van machtigingen per werkruimte.
• Ontdek modellen die beschikbaar zijn voor u in werkruimten vanaf één locatie.
• Gebruik en kosten bijhouden voor modelservices in Unity Catalog-systeemtabellen.
• Volg de afstamming om de modellen te zien die een dienst bedient en de downstream assets die de payloads verbruiken. Zie Trackmodel-API en providerherkomst.

Door het systeem geleverde modelservices

Azure Databricks biedt een kant-en-klaar modelservice in het system.ai schema voor elk Azure Databricks-bediend foundationmodel, zoals system.ai.claude-opus-5. Azure Databricks voegt nieuwe systeemmodelservices toe wanneer er nieuwe basismodellen beschikbaar komen.

Door het systeem geleverde modelservices hebben de volgende kenmerken:

• Standaard hebben alle accountgebruikers de EXECUTE bevoegdheid, zodat u query's kunt uitvoeren zonder extra instellingen.
• Een systeemgebruiker is de eigenaar van deze items en u kunt deze niet verwijderen.
• Standaard kunnen alleen metastore-beheerders deze wijzigen. Een metastore-beheerder kan beheer delegeren door de MANAGE bevoegdheid te verlenen.

Zie Modelservices beheren om de toegang tot door het systeem geleverde modelservices te beperken.

Privileges

Modelservices maken gebruik van het standaard privilegemodel voor Unity Catalog. De volgende bevoegdheden zijn van toepassing:

Modelservices gebruiken de privileges van definer. Azure Databricks beoordeelt een query op basis van de rechten van de eigenaar in plaats van die van de aanroeper. Wanneer een gebruiker een query uitvoert op een modelservice, controleert Azure Databricks of de eigenaar EXECUTE heeft voor de bestemmingen waarnaar wordt verwezen, zoals de onderliggende modellen en eventuele services van modelproviders. De beller heeft geen directe toegang tot die bestemmingen nodig.

Limitations

De volgende mogelijkheden worden niet ondersteund:

• Het creëren en beheren van modelservices met SQL.
• Modelservices detecteren met alleen de BROWSE bevoegdheid.
• Wereldwijde zoektocht naar modeldiensten.

Volgende stappen 

• Modelservices maken en beheren
• Querymodelservices
• Toegang tot modelservices detecteren en beheren
• Integreren met coderingsagents
• Houd de afstamming van model-API en provider bij