Styr modell-API:er (modelltjänster)

Note

Unity AI Gateway stöds inte på Azure Government.

Ett modell-API ger dig styrd åtkomst till en stor språkmodell. Skicka en förfrågan, få svar, utan någon infrastruktur att driva. Som standard kan varje kontoanvändare fråga de systemtillhandahållna modell-API:erna i schemat system.ai utan någon installation. Dessa är grundmodeller som nativt betjänas av Azure Databricks, fakturerade per token.

På Azure Databricks är ett modell-API ett Unity Catalog-securabelt objekt (en modelltjänst) som representerar en styrd LLM-endpoint. Eftersom Unity Catalog lagrar det, definierar, delar och styr du åtkomsten centralt, tillsammans med din data och över arbetsplatsgränser. För att styra ytterligare modeller eller exponera en anpassad endpoint skapar du egna modell-API:er.

Modell-API:er stöder följande:

  • Grundmodeller som tillhandahålls i Azure Databricks, som tjänster som tillhandahålls av systemet i system.ai och som tjänster du skapar. Både pay-per-token och provisionerade genomströmningsdestinationer stöds.
  • Skapa och hantera modell-API:er med Unity AI Gateway UI, Catalog Explorer och Unity Catalog REST API.
  • Frågor till modell-API:er i olika arbetsytor, både i och utanför Azure Databricks.

Vad är en modelltjänst?

En modelltjänst lever i ett Unity Catalog-schema och refererar till en eller flera destinationer, med routing och fallback mellan dem. Anropare anropar modelltjänsten med dess fullt kvalificerade namn, och Unity AI Gateway routar varje förfrågan till en destination. En destination kan vara en Azure Databricks-serverad modell eller en modellleverantörstjänst som dirigerar till en extern leverantör, och en enda modelltjänst kan blanda båda.

Eftersom en modelltjänst är ett skyddsbart objekt i Unity Catalog är det:

  • Finns i en katalog och ett schema, där det ärver schemainställningar, till exempel arbetsytebindningar.
  • Innehåller standardmetadata för Unity Catalog, till exempel namn, ägare, kommentar och taggar.
  • Styrs av behörigheter i Unity Catalog, så du ger åtkomst med samma GRANT- och REVOKEsatser som du använder för tabeller, funktioner och modeller.
  • Kan identifieras i Katalogutforskaren, tillsammans med resten av dina Unity Catalog-tillgångar.

Samma modelltjänst visas också som en slutpunkt i Unity AI Gateway-användargränssnittet, där AI-team kan konfigurera funktioner som hastighetsbegränsningar, slutsatsdragningstabeller och skyddsräcken. Mer information om dessa funktioner finns i AI-styrning med Unity AI Gateway.

Varför styra LLM:er i Unity Catalog?

Unity AI Gateway-slutpunkter som skapats på en arbetsyta är begränsade till den arbetsytan. Om du vill dela en slutpunkt mellan arbetsytor måste du duplicera den på varje arbetsyta och hantera varje kopia separat.

Modelltjänster flyttar styrningen till Unity Catalog så att du kan:

  • Definiera en LLM-slutpunkt en gång och använd den från alla arbetsytor som är kopplade till samma metaarkiv.
  • Hantera åtkomst centralt med Unity Catalog-behörigheter i stället för behörigheter för varje arbetsyta.
  • Identifiera modeller som är tillgängliga för dig på olika arbetsytor från en enda plats.
  • Spåra användning och kostnad för modelltjänster i Unity Catalog-systemtabeller.
  • Följ härstamning för att se vilka modeller en tjänst betjänar och de nedströms tillgångar som förbrukar dess nyttolaster. Se Track model API och leverantörslinje.

Systembaserade modelltjänster

Azure Databricks tillhandahåller en färdig modelltjänst i schemat system.ai för varje Azure Databricks-betjänt grundmodell, såsom system.ai.claude-opus-5. Azure Databricks lägger till nya systemmodelltjänster när nya grundmodeller blir tillgängliga.

Systembaserade modelltjänster har följande egenskaper:

  • Som standard har alla kontoanvändare behörigheten EXECUTE , så du kan köra frågor mot dem utan ytterligare konfiguration.
  • En systemanvändare äger dem och du kan inte ta bort dem.
  • Som standard kan endast metaarkivadministratörer ändra dem. En metaarkivadministratör kan delegera hantering genom att bevilja behörigheten MANAGE .

Information om hur du begränsar åtkomsten till systembaserade modelltjänster finns i Styra modelltjänster.

Privilegier

Modelltjänster använder standardmodellen för Unity Catalog-privilegier. Följande behörigheter gäller:

Privileg Description
USE CATALOG, USE SCHEMA Få åtkomst till katalogen och schemat som innehåller modelltjänsten. Krävs för alla åtgärder.
CREATE SERVICE Skapa modelltjänster i ett schema. Beviljas för katalogen eller schemat.
EXECUTE Fråga en modelltjänst.
MANAGE Ändra eller ta bort en modelltjänst och hantera dess bidrag. Ägaren har en övermängd av MANAGE.

Modelltjänster använder definierarens privilegier. Azure Databricks utvärderar en fråga mot ägarens rättigheter snarare än anroparens. När en användare frågar en modelltjänst kontrollerar Azure Databricks att ägaren har EXECUTE på de refererade destinationerna, som de underliggande modellerna och eventuella modellleverantörstjänster. Uppringaren behöver inte direkt tillgång till dessa destinationer.

Limitations

Följande funktioner stöds inte:

  • Skapa och hantera modelltjänster med SQL.
  • Upptäcka modelltjänster med endast BROWSE-privilegiet.
  • Global sökning efter modelltjänster.

Nästa steg

  • Last updated on