Hinweis
Für den Zugriff auf diese Seite ist eine Autorisierung erforderlich. Sie können versuchen, sich anzumelden oder das Verzeichnis zu wechseln.
Für den Zugriff auf diese Seite ist eine Autorisierung erforderlich. Sie können versuchen, das Verzeichnis zu wechseln.
Foundry Models bietet Zugriff auf Foundation-Modelle und agentische KI-Funktionen zum Erstellen von KI-basierten Anwendungen. In diesem Leitfaden werden wichtige Foundry Models-Features beschrieben, die multitenantische Anwendungen unterstützen, einschließlich vieler Arten von Software as a Service (SaaS)-Lösungen. Der Artikel hilft Ihnen bei der Planung eines geeigneten mandantenfähigen Bereitstellungsansatzes basierend auf Isolation, Skalierung und Betriebseinschränkungen.
Isolationsansätze
Um ein mandantenfähiges System zu entwerfen, das Foundry Models verwendet, müssen Sie zuerst die Isolationsebene ermitteln, die Ihre Mandanten benötigen. Isolationsentscheidungen wirken sich direkt auf den Sicherheitsstatus, die betriebliche Komplexität, die Quotenauslastung und die Kosteneffizienz aus. Konfigurieren Sie in Microsoft Foundry-basierten Architekturen die Isolation mithilfe von Grenzen für Azure-Abonnements und Ressourcengruppen sowie durch die Strukturierung von Foundry-Ressourcen, Projekten und Modellbereitstellungen.
Notiz
Die meisten Dokumentationen bezeichnet diese Muster als Isolationsmodelle, aber um Verwirrung mit KI-Modellen zu vermeiden, verwendet dieser Artikel stattdessen den gleichbedeutenden Begriff Isolationsansätze.
Viele Anwendungsfälle behandeln KI-Modelle als zustandslose Komponenten, und Sie können Foundry Models ohne Persistenzschicht verwenden. Persistenz führt zu zusätzlichen Komplexitäten für Multitenant-Lösungen, z. B. das Trennen der Daten der einzelnen Mandanten. Wenn Sie Foundry Models auf zustandslose Weise verwenden, können Sie einige dieser Komplexitäten vermeiden. Andere Komponenten Ihrer Lösung, z. B. Foundry Agent Service, können jedoch Status erzeugen, den Sie verwalten müssen.
Entwerfen Sie für Foundry Models Ihren Isolationsansatz basierend auf den folgenden Faktoren:
Die Anzahl der Mandanten, die Sie unterstützen möchten. Wenn die Anzahl der Mandanten klein ist, können dedizierte Bereitstellungen einfach verwaltet werden. Eine große Anzahl von Mandanten erhöht die Betriebskomplexität dedizierter Bereitstellungslösungen.
Compliance- oder regulatorische Anforderungen der Mandanten. Strenge Complianceanforderungen erfordern möglicherweise eine starke Isolation. Wählen Sie einen Bereitstellungstyp aus, dessen globale, datenzonen- oder geografiebasierte Verarbeitungsgrenze den Anforderungen jedes Mandanten entspricht. Verwenden Sie separate Modellbereitstellungen, wenn Mandanten unterschiedliche Verarbeitungsgrenzen erfordern.
Eine dedizierte Abonnement- oder Foundry-Ressource schränkt nicht ein, wo die Inferenzverarbeitung erfolgt. Für alle Bereitstellungstypen verbleiben Daten im Ruhezustand in der angegebenen Azure-Geografie.
Die Anforderungen der Mandanten für bestimmte Modelle, Modellversionen oder Modelllebenszyklen. Um Ihre betrieblichen Prozesse zu vereinfachen, versuchen Sie, die Anzahl der gleichzeitig verwendeten Modelle zu begrenzen. Möglicherweise müssen Sie jedoch weitere Modelle bereitstellen, wenn Mandanten bestimmte Modellversionen oder mandantenspezifische Feinabstimmungsmodelle verwenden müssen.
Abweichung zwischen Mandanten. Wenn die Skalierungsanforderungen der Mandantenworkloads oder die Durchsatzanforderungen erheblich variieren, müssen Sie möglicherweise Mandanten in Gruppen zusammenfassen, die ähnliche Merkmale aufweisen.
Diese Überlegungen sind besonders wichtig für SaaS-Plattformen, die Hunderte oder Tausende von Kunden über eine gemeinsame Infrastruktur bedienen.
Notiz
Berücksichtigen Sie beim Entwerfen Ihrer Architektur Kontingente und Grenzwerte für Foundry Models und Azure OpenAI in Foundry Models.
Isolationsansätze vergleichen
In der folgenden Tabelle sind die Isolationsmerkmale gängiger Bereitstellungsansätze für Foundry Models für mandantenfähige SaaS-Systeme zusammengefasst.
Notiz
Dieser Vergleich konzentriert sich auf die Mandantenisolation auf Foundry-Ressourcen-, Projekt- und Modellbereitstellungsebene. Wenn Sie andere Foundry-Komponenten wie den Foundry Agent Service verwenden, können die Überlegungen variieren.
| Consideration | Dedizierte Foundry-Ressource pro Mandant (separate Subskriptionen) | Dedizierte Foundry-Ressource pro Mandant (freigegebenes Abonnement) | Freigegebene Foundry-Ressource mit dediziertem Projekt und Bereitstellung pro Mandant | Freigegebene Foundry-Ressource mit freigegebenem Deployment | Vom Mandanten bereitgestellte Foundry-Ressource |
|---|---|---|---|---|---|
| Datenisolation | High | High | Mittelstufe | Niedrig bis mittel | High |
| Leistungsisolation | High | Mittel bis hoch, je nach Abonnementkontingentnutzung | Mittel, je nach mandantenspezifischer Drosselung und Bereitstellungsdesign | Niedrig bis mittel, abhängig von der Token-pro-Minute-Nutzung pro Mandant | High |
| Bereitstellungskomplexität | Mittel bis hoch, was mit der Anzahl der Mandanten zunimmt | Mittelstufe | Mittelstufe | Low | Nicht zutreffend, vom Kunden verwaltet |
| Komplexität des Betriebs | Niedrig pro Mandant, hoch bei Skalierung | Mittelstufe | Mittelstufe | Low | Niedrig für Anbieter, mittel bis hoch für Mandanten |
| Beispielszenario | Regulierte Unternehmensmandanten, die separate Abonnement- und Kontingentgrenzen erfordern | Enterprise-SaaS, das mandantenspezifische Netzwerk- und rollenbasierte Zugriffskontrollgrenzen (RBAC) erfordert | SaaS mit mandantenspezifischen Modellversionen, Schutzmaßnahmen oder Durchsatzzuweisungen | Business-to-Consumer (B2C) SaaS, bei dem alle Kunden dieselbe Modellbereitstellung verwenden | Mandanten, die feinabgestimmte Modelle in ihren Azure Umgebungen hosten |
In den folgenden Abschnitten werden diese Ansätze ausführlicher beschrieben.
Dedizierte Foundry-Ressource pro Mandant (separate Subskriptionen)
Bei diesem Isolationsansatz weist der Dienstanbieter jedem Mandanten ein dediziertes Azure-Abonnement im Microsoft Entra Mandanten des Dienstanbieters zu. Jedes Abonnement enthält eine einzelne Microsoft Foundry-Ressource für diesen Mandanten sowie mandantenspezifische Projekte und Modellbereitstellungen.
Das Diagramm zeigt den Microsoft Entra ID Mandanten für Contoso und verfügt über drei horizontale Zeilen für Abonnements A, B und C. Jede Zeile hat einen Kunden auf der linken Seite und eine Microsoft Foundry-Ressource auf der rechten Seite. Jede Foundry-Ressource enthält ein Projekt und eine Modellbereitstellung. Ein Pfeil verweist von jedem Kunden auf das Projekt in der Foundry-Ressource, und ein weiterer Pfeil verweist von jeder Modellbereitstellung auf das Projekt in der Foundry-Ressource. Abonnement A enthält Kunden A und Microsoft Foundry A mit Project A und Modellbereitstellung für Kunden A. Abonnement B enthält Kunden B und Microsoft Foundry B mit Project B und Modellbereitstellung für Kunden B. Abonnement C enthält Kunden C und Microsoft Foundry C mit Project C und Modellbereitstellung für Kunden C.
Dieser Ansatz bietet die stärkste Isolation, da administrative Grenzen, Kontingente und Überwachung vollständig zwischen Mandanten getrennt sind. Es minimiert das Risiko von mandantenübergreifenden Störungen und vereinfacht die Einhaltung für Kunden, die eine strikte Trennung erfordern. Da viele Azure Kontingente im Azure Abonnementbereich gelten, stellt dieser Ansatz sicher, dass jeder Mandant aus seinen eigenen Kontingenten bezieht.
Der Betriebsaufwand für diesen Ansatz steigt jedoch erheblich, da die Anzahl der Mandanten wächst. Jeder Mandant erfordert eine unabhängige Abonnementbereitstellung, Foundry-Ressourcenbereitstellung, Kontingentverwaltung, Überwachung und Lebenszyklusverwaltung. Die Bereitstellung kann komplex sein, insbesondere wenn Sie fortlaufende Integrations- und Continuous Delivery-Pipelines (CI/CD) anstelle der dynamischen Bereitstellung über eine benutzerdefinierte Steuerungsebene verwenden. Dieser Ansatz lässt sich im SaaS-Maßstab nur schwer effizient betreiben.
Separate Abonnements eignen sich am besten für streng regulierte Mandanten, die isolierte Ressourcen erfordern. Aufgrund der betrieblichen Komplexität funktioniert dieser Ansatz am besten mit einer kleinen Anzahl großer Mandanten, die explizit eine dedizierte Infrastruktur erfordern und bereit sind, höhere Onboarding- und Betriebskosten zu akzeptieren, um eine stärkere Isolation zu erzielen.
Dedizierte Foundry-Ressource pro Mandant (freigegebenes Abonnement)
Bei diesem Ansatz teilen mehrere Mandanten ein einzelnes Azure-Abonnement, und jeder Mandant erhält eine dedizierte Microsoft Foundry-Ressource innerhalb dieses Abonnements.
Das Diagramm zeigt den Microsoft Entra ID Mandanten für Contoso und enthält ein Feld für das freigegebene Abonnement 1. Innerhalb des Felds befinden sich drei horizontale Zeilen, jeweils mit einem Kunden auf der linken Seite und einer Microsoft Foundry-Ressource auf der rechten Seite. Jede Foundry-Ressource enthält ein Projekt und eine Modellbereitstellung. Ein Pfeil verweist von jedem Kunden auf das Projekt in der betreffenden Foundry-Ressource, und ein weiterer Pfeil verweist von jeder Modellbereitstellung auf das Projekt in der Foundry-Ressource. Kunde A und die Modellbereitstellung für Kunde A verweisen auf Project A in Foundry-Ressource A. Kunde B und die Modellbereitstellung für Kunde B verweisen auf Project B in Foundry-Ressource B. Kunde C und die Modellbereitstellung für Kunde C verweisen auf Project C in Foundry-Ressource C.
Mit diesem Ansatz wird die Anzahl der Azure-Abonnements reduziert und gleichzeitig eine starke logische Isolation auf Ressourcenebene der Foundry-Ressource beibehalten sowie eine Isolierung auf Autorisierungs- und Netzwerkebene für jede Foundry-Ressource ermöglicht.
Dieser Isolationsansatz reduziert erheblich die Anzahl der Abonnements, die Sie verwalten müssen, aber je nachdem, wie Sie die Foundry-Kapazität erzwingen, konkurrieren Mandanten möglicherweise weiterhin um gemeinsam genutzte Kontingente auf Abonnementebene. Kostenzuteilung und Governance sind ebenfalls komplex, da Sie die Nutzung über mehrere Foundry-Ressourcen innerhalb desselben Abonnements hinweg attributieren müssen.
Foundry-Ressourcenbeschränkungen gelten pro Azure-Abonnement und Region. Wenn Sie diese Grenzwerte möglicherweise überschreiten, sollten Sie die Bereitstellung über mehrere Abonnements oder Regionen hinweg mithilfe von Bin Packing in Betracht ziehen.
Dieser Ansatz wird häufig für SaaS-Plattformen verwendet, die eine starke logische Trennung erfordern, aber keine vollständige Abonnementisolation für jeden Mandanten erfordern.
Freigegebene Foundry-Ressource mit einem dedizierten Projekt und einer dedizierten Bereitstellung pro Mandant
Bei diesem Isolationsansatz teilen viele Mandanten eine einzelne Foundry-Ressource. Sie weisen jedem Mandanten ein dediziertes Foundry-Projekt und eine dedizierte Modellbereitstellung innerhalb der gemeinsam genutzten Ressource zu. Projekte legen den Umfang von Konfigurationen, Tools und Verbindungen fest, während Bereitstellungen die Kontrolle über Modellversionen, Richtlinien und Durchsatz pro Mandant ermöglichen.
Das Diagramm zeigt den Microsoft Entra ID Mandanten für Contoso und enthält ein Feld für das freigegebene Abonnement 1. Innerhalb des Feldes befinden sich auf der linken Seite drei Kundenkästen und auf der rechten Seite ein freigegebenes Microsoft Foundry-Ressourcenfeld. Die Foundry-Ressource enthält drei Projekte und entsprechende Modellbereitstellungen. Ein Pfeil zeigt von jedem Kunden auf das entsprechende Projektfeld in der Foundry-Ressource, und ein weiterer Pfeil zeigt von jeder Modellbereitstellung auf das entsprechende Projekt in der Foundry-Ressource. Customer A und die Modellbereitstellung für Customer A verweisen in der Foundry-Ressource auf Project A. Customer B und die Modellbereitstellung für Customer B verweisen auf Projekt B in der Foundry-Ressource. Kunde C und die Modellbereitstellung für Kunde C verweisen in der Foundry-Ressource auf Projekt C.
Dieser Ansatz reduziert den Ressourcenbereitstellungsaufwand erheblich und ermöglicht die zentrale Verwaltung und gleichzeitig eine starke logische Trennung. Alle Mandanten teilen jedoch letztendlich dieselbe Foundry-Ressource und zugrunde liegende Kapazität.
Wenn Sie diesen Ansatz verwenden, müssen Sie mandantenbewusstes Routing, Drosselung und Überwachung entwerfen. Alle Isolationsgarantien liegen in Ihrer Verantwortung, und sie hängen maßgeblich von der richtigen Konfiguration und der strikten Durchsetzung in Ihrer Anwendungsschicht ab. Sie können keine Isolation auf Netzwerkebene bereitstellen, indem Sie diesen Ansatz verwenden.
Project- und Modellbereitstellungsgrenzwerte gelten pro Foundry-Ressource. Überprüfen Sie die aktuellen Kontingente und Grenzwerte für Foundry Models , wenn Sie die Mandantendichte berechnen, und verteilen Sie Mandanten über zusätzliche Foundry-Ressourcen oder Abonnements, bevor sie sich einem Grenzwert nähern.
Dieser Ansatz bietet eine gute Balance für mittlere SaaS-Bereitstellungen, wenn Sie Automatisierungs-, Governance-, Maßnahmen zur Begrenzung von Noisy-Neighbor-Effekten und Mandantenisolationsansätze strikt verwenden. Bei größeren Bereitstellungen sollten Sie die Bereitstellung über mehrere Foundry-Ressourcen oder Azure-Abonnements mithilfe von Bin Packing in Betracht ziehen.
Freigegebene Foundry-Ressource mit einer freigegebenen Bereitstellung
Im zentralisiertesten Ansatz teilen alle Mandanten eine einzelne Foundry-Ressource und eine einzelne Modellbereitstellung.
Das Diagramm zeigt den Microsoft Entra ID Mandanten für Contoso und enthält ein Feld für das freigegebene Abonnement 1. Innerhalb des Feldes befinden sich auf der linken Seite drei Kundenfelder und auf der rechten Seite ein freigegebenes Microsoft Foundry-Ressourcenfeld. Die Foundry-Ressource enthält auf der linken Seite drei übereinander angeordnete Projekte und auf der rechten Seite eine Modellbereitstellung für alle Kunden. Ein Pfeil zeigt von jedem Kunden auf das entsprechende Projektfeld in der Foundry-Ressource, und ein Pfeil zeigt von der Bereitstellung des gemeinsam genutzten Modells auf jedes Projekt in der Foundry-Ressource. Kunde A verweist auf Projekt A in der Foundry-Ressource. Kunde B verweist auf Projekt B in der Foundry-Ressource. Kunde C verweist auf Project C in der Foundry-Ressource.
Dieser Ansatz minimiert die Komplexität und Kosten der Infrastruktur, bietet aber die schwächsten Isolationsgarantien.
Alle Mandantenanforderungen werden über denselben Bereitstellungsendpunkt geleitet, und die Anwendungsschicht muss jegliche Isolation vollständig erzwingen. Isolationsanforderungen können mandantenfähige Autorisierung, Bereichsbegrenzung von Anfragen, Datentrennung und Ratenbegrenzung umfassen. Da alle Mandanten dieselbe Inferenzpipeline nutzen, ist dieser Ansatz möglicherweise nicht geeignet für Workloads, die vertrauliche Daten oder strenge Complianceanforderungen umfassen.
Modellbereitstellungen gehören zur Foundry-Ressource, nicht zu einzelnen Projekten, und Projekte können Bereitstellungen aus dieser Ressource wiederverwenden. Mandanten können dedizierte Foundry-Projekte haben, wie im vorherigen Diagramm gezeigt, oder sie können ein einzelnes freigegebenes Projekt verwenden, wenn sie keine mandantenspezifischen Projektressourcen in Foundry bereitstellen müssen.
Dieser Ansatz eignet sich für B2B- und B2C-SaaS-Anwendungen, bei denen Mandanten die gleiche Modellbereitstellung, Bereitstellungskonfiguration und Complianceanforderungen gemeinsam nutzen und die Anwendung die Mandantenisolation erzwingt. Es eignet sich auch für interne Tools, Proof-of-Concept-Lösungen und Anwendungen, deren Benutzer dieselbe organisatorische Vertrauensgrenze teilen. Verwenden Sie einen isolierteren Ansatz, wenn Mandanten separate Modellversionen, Leitplanken, Durchsatz, Netzwerkgrenzen, Datenresidency oder Compliance-Kontrollen erfordern.
Vom Mandanten bereitgestellte Foundry-Ressource
Bei diesem Ansatz stellt jeder Mandant eine eigene Foundry-Ressource und Azure-Umgebung bereit. Der Tenant stellt die Ressource bereit und verwaltet sie direkt. Der Dienstanbieter kann die Ressource auch bereitstellen, nachdem der Zugriff auf das Abonnement des Mandanten gewährt wurde.
Berücksichtigen Sie diesen Ansatz, wenn eine der folgenden Situationen zutrifft:
- Mandanten benötigen spezifischen Modellzugriff, Kontingentzuweisungen, Guardrail-Konfigurationen oder provisionierten Durchsatz, der unter ihrer Kontrolle bleiben muss.
- Mandanten müssen optimierte Modelle verwenden, die in ihren eigenen Umgebungen gehostet werden.
- Mandanten verlangen, dass Daten in ihrer Umgebung verbleiben, während die Anwendung des Anbieters weiterhin das Aufrufen der Foundry-Modellbereitstellungen des Mandanten oder anderer Foundry-Komponenten ermöglicht.
Dieser Ansatz bietet eine starke Daten- und Leistungsisolation, da jeder Mandant eine eigene Foundry-Ressource und Kontingentzuordnung verwendet. Es erstellt jedoch auch eine gemeinsame Betriebskonstellation zwischen dem Anbieter und dem Mandanten. Um Verantwortungslücken zu vermeiden, sollten beide Parteien die Verantwortlichkeiten für die Bereitstellung, Überwachung, Unterstützung, Sicherheit und Kostenverwaltung klar definieren.
Der Dienstanbieter muss seine Anwendung auch für den Zugriff auf die Foundry-Ressource in der Umgebung des Mandanten entwerfen. Eine Möglichkeit besteht darin, eine mehrinstanzenfähige Microsoft Entra Anwendung zu veröffentlichen. Eine weitere Option besteht darin, dass der Mandant einen Serviceprinzipal erstellt, den der Anbieter verwenden kann.
Letzteres erhöht den Aufwand für die Verwaltung von Anmeldeinformationen des Anbieters. Wenn Sie mandantenspezifische Anmeldeinformationen verwenden, müssen Sie die Speicherung, Rotation und Sperrung von Anmeldeinformationen sicher implementieren.
Mandantenisolation überprüfen
Unabhängig vom ausgewählten Isolationsansatz überprüfen Sie die Isolationsgrenze mit Tests, die nicht vom Modellverhalten abhängen. Überprüfen Sie beispielsweise die folgenden Szenarien mithilfe einer Kombination aus Modellauswertungen und deterministischen Tests.
- Ihre Anwendung oder Datenebene sollte eine Anforderung ablehnen, die für Mandant A authentifiziert ist, aber auf eine Antwort, Unterhaltung oder Sitzung von Mandant B verweist.
- Ähnliche Eingabeaufforderungen von Mandanten A oder Mandant B sollten niemals zwischengespeicherte Antworten vom anderen Mandanten zurückgeben.
- Anfragen, die an ein Tool oder einen anderen Agenten übergeben werden, sollten den Mandantenbezeichner aus der authentifizierten Identität ableiten, nicht aus der Modellausgabe oder dem Anfrageinhalt.
Wenn ein mandantenübergreifender Test nur bestanden wird, weil das Modell die Antwort verweigert hat, behandeln Sie ihn als Fehlschlag, da die Daten des anderen Mandanten bereits das Modell erreicht haben. Da das Modellverhalten nicht deterministisch ist, führen Sie diese Tests wiederholt aus, und fügen Sie sie in Ihren Releaseprozess ein.
Funktionen der Foundry-Modelle, die Mandantenfähigkeit unterstützen
Es ist wichtig, die Mandantenisolation zu planen, wenn Sie bestimmte Features von Foundry Models verwenden.
Antwort-API
Die Azure OpenAI Responses API innerhalb von Foundry Models vereint mehrere getrennte Aspekte hinter einer einzelnen Schnittstelle. Zu diesen Aspekten gehören Unterhaltungsverlauf, Toolaufrufe, Dateisuche, strukturierte Ausgaben und lang laufende Hintergrundaufgaben. Die Antwort-API unterstützt gespeicherte und zustandslose Vorgänge. Die API speichert gespeicherte Antwortdaten für einen definierten Zeitraum, und Sie können die Daten auch explizit löschen.
Jeder Aufruf gibt einen Antwortbezeichner zurück, und Sie verketten diese, indem Sie diesen Antwortbezeichner an die nächste Anforderung übergeben oder indem Sie Antworten an ein zustandsbehaftetes Konversationsobjekt anfügen, das der Dienst in Ihrem Auftrag verwaltet. Da sich der Zustand im Dienst und nicht in Ihrer Anwendung befindet, erhalten Sie Kontinuität über mehrere Interaktionen hinweg, aber Sie übernehmen auch die Mandantenfähigkeitsanforderungen, die mit freigegebenem zustandsbehaftetem Speicher verbunden sind.
Wenn Sie die Responses API in einer mehrinstanzenfähigen Lösung verwenden, ist die Anwendung für die Mandantenisolation verantwortlich. Der Dienst unterteilt den gespeicherten Zustand nicht automatisch für Sie nach Mandant, sodass Sie jeden Verweis auf gespeicherte Antworten und Unterhaltungen einschränken und überprüfen müssen. Verschieben Sie für Mandanten, die mit hoher Skalierung arbeiten oder strenge Isolations- oder Datenhaltungsanforderungen aufweisen, den Konversationszustand in einen externen Datenspeicher, den Sie steuern, anstatt sich auf den vom Dienst verwalteten Zustand zu verlassen.
Das Kopieren des Zustands in Ihren eigenen Speicher verhindert nicht, dass der Dienst seine Kopie speichert. Deaktivieren Sie daher den Zustandsspeicher für diese Anfragen, und übergeben Sie den Unterhaltungsverlauf in jedem Turnvorgang aus Ihrem Store. Für den Hintergrundmodus ist ein zustandsbehafteter Speicher erforderlich, sodass Sie ihn nicht mit diesem Ansatz verwenden können. Bewerten Sie für zustandsbehaftete mehrinstanzenfähige Workloads, die stärkere Isolationskontrollen benötigen, den Foundry Agent Service.
Wenn Sie die Responses API in Foundry Models in einer Multitenant-Lösung verwenden, wenden Sie die folgenden bewährten Methoden an:
Speichern Sie Antworten und Unterhaltungs-IDs mit mandantenbezogenen Schlüsseln in Ihrer eigenen Datenbank, und überprüfen Sie streng, ob eine Anforderung von Mandant A niemals auf eine id verweisen kann, die für Den Mandanten B erstellt wurde.
Stellen Sie sicher, dass Funktionsaufrufe aus Ihrer Anwendung die Mandanten-ID enthalten. Validieren Sie die Mandanten-ID serverseitig. Verlassen Sie sich nicht darauf, dass das Modell es weitergibt.
Code Interpreter wird auf von Microsoft verwalteter Infrastruktur ausgeführt, daher sollten Sie dedizierte Code-Interpreter-Container pro Mandant verwenden, wenn Isolation wichtig ist.
Remote Model Context Protocol (MCP)-Aufrufe stellen eine Verbindung mit dem konfigurierten Remote-MCP-Server her, daher verwenden Sie, wenn Isolation wichtig ist, dedizierte Remote-MCP-Toolkonfigurationen pro Mandant.
Begrenzen Sie Retrieval-Tools auf einen einzelnen Mandanten pro Vektorspeicher, oder wenden Sie bei jeder Abfrage eines gemeinsam genutzten Speichers einen überprüften Mandantenfilter an.
Important
Verwenden Sie immer deterministischen Programmcode, um Mandanten-IDs und andere Authentifizierungs- und Autorisierungsparameter zu bearbeiten, zu überprüfen, zu erzwingen und zu verteilen. Verlassen Sie sich niemals auf Modelle, um diese Vorgänge auszuführen.
Gießerei-Agentendienst
Der Foundry Agent Service ist ein Schwesterprodukt zu Foundry Models zum Erstellen zustandsbehafteter agentischer Workloads. Sie fügt eine Persistenzebene für Agents, Unterhaltungen und Antworten hinzu und unterstützt Funktionen wie Routinen und lange ausgeführte autonome Workflows. Diese zustandsbehafteten, lang andauernden Merkmale erhöhen die Komplexität der Mehrmandantenfähigkeit über die zustandslose Modellinferenz hinaus.
Bei gehosteten Agents isoliert der Agentdienst Unterhaltungen, Sitzungen und gespeicherte Daten anhand der Microsoft Entra-Identität des Anrufers. Wenn Ihre Anwendung eigene Benutzer authentifiziert, kann eine vertrauenswürdige mittlere Ebene einen stabilen, vom Server abgeleiteten, mandantenbezogenen Benutzerbezeichner übergeben. Der Dienst verknüpft Sitzungen mit dieser delegierten Identität, ihre Anwendung ist jedoch vollständig für die Verwaltung der Benutzertrennung verantwortlich.
Halten Sie Sitzungsbezeichner dem richtigen Mandanten und Benutzer zugeordnet, und erzwingen Sie die mandantenbezogene Autorisierung für Tools, Datenspeicher und Agentenaktionen. Weitere Informationen finden Sie unter Gehostete Agentsitzungen pro Benutzer isolieren.
Gehostete Agents verfügen über eine eingeschränkte Unterstützung für kundenseitig verwaltete Schlüssel (CMK) bei Verschlüsselungsschlüsseln. Bevor Sie gehostete Agents für Mandanten verwenden, die kundenseitig verwaltete Verschlüsselungsschlüssel erfordern, überprüfen Sie die aktuelle CMK-Abdeckung für Microsoft Foundry.
KI-Gateway im Azure API Management
Ein KI-Gateway ist ein Vermittler zwischen Ihrer Anwendung und Ihren Foundry Models-Endpunkten. In einer mehrinstanzenübergreifenden Lösung kann es querschnittliche Belange wie Authentifizierung, Ratenbegrenzung, Routing, Zwischenspeicherung und Observability zentralisieren. Der Datenverkehr jedes Mandanten wird konsistent gesteuert, bevor er eine Modellbereitstellung erreicht. Das Gateway ist ein natürlicher Ort, um Grenzwerte pro Mandant zu erzwingen, Nutzung und Kosten jedem Mandanten zuzuordnen und zu verhindern, dass ein Mandant Kapazität verbraucht, die andere Mandanten benötigen.
Azure API Management bietet KI-Gatewayfunktionen über sein eingehendes und ausgehendes Richtliniensystem, einschließlich llM-fähiger Richtlinien (Large Language Model), Tokenmessung, semantischer Zwischenspeicherung und Back-End-Routing. Sie verwenden diese Richtlinien, um einen freigegebenen Foundry Models-Endpunkt in eine mandantenfähige, nutzungsbasiert abgerechnete und geregelte API-Oberfläche umzuwandeln.
Wenn Sie eine Multitenant-API-Management-Bereitstellung mit Foundry Models entwerfen, ist die Identifizierung des Mandanten der wichtigste Aspekt. Verwenden Sie den Mandantenbezeichner konsistent in Ihren Richtlinien, um jeden Grenzwert, jede Metrik und jeden Cacheeintrag auf einen einzelnen Mandanten zu beschränken. Leiten Sie den Mandantenbezeichner von einer vertrauenswürdigen Quelle ab, z. B.:
- Ein Claim eines validierten JSON Web Token (JWT).
- Die Abonnement-ID für API Management, wenn jedes Abonnement einem einzelnen Mandanten zugeordnet ist. Verwenden Sie nicht den Wert des Abonnementschlüssels selbst, da es sich dabei um geheime Anmeldeinformationen handelt, die sich ändern, wenn Sie Schlüssel rotieren.
Akzeptieren Sie keine Mandanten-ID, die der Client direkt angibt.
Wenden Sie den Mandantenbezeichner in den folgenden Richtlinien an:
Tokenlimit: Verwenden Sie den Mandantenbezeichner als
counter-keyin derllm-token-limit-Richtlinie zum Erzwingen von Tokenlimits pro Minute und Tokenkontingenten pro Mandant. Die Richtlinie kann Prompt-Token am Gateway vorab berechnen und Anfragen ablehnen, die den Grenzwert eines Mandanten überschreiten, bevor sie das Back-End erreichen. Dieser Ansatz entschärft das Noisy-Neighbor-Problem.Tokenzähler werden nicht über die gesamte Instanz aggregiert. Jedes Gateway, jede Region oder jeder Arbeitsbereich verfolgt die Nutzung unabhängig voneinander. Wenn Sie ein konsistentes Anforderungs- oder Bandbreitenlimit pro Mandant über Regionen hinweg in einer API-Verwaltungsinstanz benötigen, verwenden Sie die
quota-by-keyoder diequota-Richtlinie. Erzwingen Sie für global konsistente Tokengrenzwerte das Limit an einem einzigen Upstream-Gateway, das den gesamten Datenverkehr empfängt, oder leiten Sie jeden Mandanten an ein bestimmtes einzelnes Gateway oder eine bestimmte Region weiter.Tokenmetriken: Fügen Sie den Mandantenbezeichner als benutzerdefinierte Dimension in der
llm-emit-token-metric-Richtlinie hinzu, stellen Sie jedoch sicher, dass die Anzahl Ihrer Mandanten in die benutzerdefinierten Metrikgrenzwerte passt. Die Richtlinie verwirft Dimensionswerte und Zeitreihen, die den Grenzwert überschreiten, im Hintergrund.Verwenden Sie Token-Metriken für eine näherungsweise Kostenzuordnung (Cost Showback) nur dann, wenn Sie eine geringe Anzahl von Mandanten (Tenants) verwalten. Bei einer größeren Anzahl von Mandanten sollten Sie LLM-API-Protokolle anhand der API Management-Abonnement-ID aggregieren, sofern die Abonnements den jeweiligen Mandanten zugeordnet sind. Senden Sie andernfalls die Tokenverwendung und den überprüften Mandantenbezeichner an eine andere dauerhafte Meteringpipeline.
Semantischer Cache: Verwenden Sie den Mandantenbezeichner als
vary-byWert in derllm-semantic-cache-lookupRichtlinie, sodass eine für einen Mandanten generierte zwischengespeicherte Antwort nicht einem anderen Mandanten bereitgestellt wird. Verwenden Sie zusätzlichevary-byWerte für relevante Modell-, Eingabeaufforderungs-, Tool- und Sicherheitsrichtlinienversionen, und legen Sie die Cachelebensdauer basierend darauf fest, wie schnell sich die zugrunde liegenden Informationen ändern. Da die semantische Zwischenspeicherung anhand von Ähnlichkeit abgleicht, können Antworten zurückgegeben werden, die für die aktuelle Anfrage falsch, veraltet oder unsicher sind. Verwenden Sie sie nicht für hochgradig personalisierte, regulierte, sicherheitskritische oder zeitkritische Interaktionen oder für Interaktionen, die von Tool- oder Transaktions-Seiteneffekten abhängen.Caution
Fehler beim ordnungsgemäßen Partitionieren des Caches sind ein häufiger Fehler im mehrinstanzenfähigen AI-Gateway-Design.
Back-End-Routing: Verwenden Sie den Mandantenbezeichner in Routingrichtlinien, um Back-End-Pools auszuwählen, die prioritäts- oder gewichtsbasierten Lastenausgleich und Circuit Breaker für jedes Back-End verwenden. Leiten Sie beispielsweise Premiummandanten an bereitgestellte Bereitstellungen weiter, die bereitgestellte Durchsatzeinheiten (PTUs) verwenden, andere Mandanten an Pay-as-you-go-Bereitstellungen weiter, und leiten Sie Mandanten mit Datenverarbeitungsstandortanforderungen an geografiebasierte oder datenzonenspezifische Bereitstellungen weiter.
Inhaltssicherheit: Verwenden Sie die
llm-content-safety-Richtlinie, um mandantengerechte Schadensschwellenwerte und Sperrlisten zu erzwingen. Aktivieren Sie dasshield-promptAttribut, um Benutzereingaben auf Prompt-Angriffe zu überprüfen und Modellausgaben mithilfe desenforce-on-completionsAttributs oder einer ausgehenden Richtlinie zu validieren.Auditierung: Wenn Ihre Mandanten dies zulassen, protokollieren Sie Prompts und Vervollständigungen in Azure Monitor, und fügen Sie den Mandantenbezeichner hinzu, damit Sie pro Mandant Audit-Feeds erstellen können. Prompts und -vervollständigungen enthalten vertrauliche Daten. Bevorzugen Sie daher Token- und Anforderungsmetadaten für Routine-Überwachungsfeeds pro Mandant.
Das Gateway steuert den Datenverkehr am Perimeter. Es isoliert Mandantendaten nicht innerhalb Ihrer Foundry-Ressourcen. Bereitstellungen pro Mandant, Projekte, Indizes und Promptkonstruktion bleiben Teil Ihrer Isolationsgrenze, wie in den vorherigen Isolationsansätzen beschrieben. Weitere Informationen finden Sie unter KI-Gatewayfunktionen in Azure API Management und Baseline Microsoft Foundry Chat Reference Architecture.
Contributors
Microsoft verwaltet diesen Artikel. Die folgenden Mitwirkenden haben diesen Artikel geschrieben.
Hauptautoren:
- Rodanthi Alexiou | Partnerlösungsarchitekt
- Kiko de Angel Gimeno | Leitender Lösungsarchitekt für Partner
John Downs | Principal Software Engineer, Azure Patterns & Practices- Jing Liu | Partner Technology Strategist
- Ellie Nosrat | Leitende Partner-Lösungsarchitektin
Andere Mitwirkende:
- Daphne Choong | Senior Partner Solution Architect, Enterprise Partner Solutions
- Mamoru Kuroda | Partnerlösungsarchitekt
- Kodai Sakabe | Partner Solution Architect, Enterprise Partner Solutions
- Daniel Scott-Raynsford | Partner Solution Architect, Data & AI
Um nicht öffentliche LinkedIn-Profile zu sehen, melden Sie sich bei LinkedIn an.