Architekturansätze für KI und maschinelles Lernen in multiinstanzenübergreifenden Lösungen

Eine zunehmende Anzahl von Multitenant-Lösungen basiert auf KI und maschinellem Lernen. Eine mehrinstanzenfähige KI- und Machine Learning-Lösung bietet einheitliche machine learning-basierte Funktionen für eine beliebige Anzahl von Mandanten. Mandanten können in der Regel nicht auf die Daten anderer Mandanten zugreifen oder diese freigeben, aber in einigen Fällen verwenden sie möglicherweise dieselben Modelle.

Multitenant AI- und Machine Learning-Architekturen müssen Daten- und Modellanforderungen sowie die Rechenressourcen berücksichtigen, die zum Trainieren von Modellen und zur Durchführung von Rückschlüssen erforderlich sind. Es ist wichtig zu berücksichtigen, wie Sie multiinstanzenfähige KI- und Machine Learning-Modelle bereitstellen, verteilen und koordinieren und sicherstellen, dass Ihre Lösung korrekt, zuverlässig und skalierbar bleibt.

Generative KI-Technologien, die sowohl große als auch kleine Sprachmodelle verwenden, gewinnen weiterhin an Beliebtheit. Daher müssen Organisationen effektive betriebliche Praktiken und Strategien einrichten, um diese Modelle in Produktionsumgebungen zu verwalten, indem machine Learning Operations (MLOps) und generative KI-Vorgänge (GenAIOps) verwendet werden, die zuvor als LLMOps bezeichnet werden.

Wesentliche Aspekte und Anforderungen

Wenn Sie mit KI und maschinellem Lernen arbeiten, ist es wichtig, Ihre Anforderungen an schulungen und für die Ableitung separat zu berücksichtigen. Der Zweck der Schulung besteht darin, ein prädiktives Modell basierend auf einer Datenmenge zu erstellen. Sie führen Schlussfolgerungen durch, wenn Sie das Modell verwenden, um etwas in Ihrer Anwendung vorherzusagen. Jeder dieser Prozesse hat unterschiedliche Anforderungen. Berücksichtigen Sie in einer Mehrinstanzenlösung, wie sich Ihr Mandantenmodell auf jeden Prozess auswirkt. Wenn Sie jede dieser Anforderungen berücksichtigen, können Sie sicherstellen, dass Ihre Lösung genaue Ergebnisse erzeugt, gut unter Last arbeitet, kosteneffizient ist und für zukünftiges Wachstum skaliert werden kann.

Mandantenisolation

Stellen Sie sicher, dass Mandanten keinen nicht autorisierten oder unerwünschten Zugriff auf die Daten oder Modelle anderer Mandanten erhalten. Behandeln Sie Modelle mit einer ähnlichen Empfindlichkeit wie die Rohdaten, mit denen Sie sie trainieren. Stellen Sie sicher, dass Ihre Mandanten verstehen, wie ihre Daten verwendet werden, um Modelle zu trainieren und wie Modelle, die auf den Daten anderer Mandanten trainiert werden, möglicherweise zu Rückschlusszwecken auf ihre Workloads verwendet werden.

Die drei gängigen Ansätze für die Arbeit mit Machine Learning-Modellen in Multitenant-Lösungen sind mandantenspezifische Modelle, gemeinsame Modelle und abgestimmte gemeinsame Modelle.

Mandantenspezifische Modelle

Mandantenspezifische Modelle werden nur für die Daten für einen einzelnen Mandanten trainiert und auf diesen einzelnen Mandanten angewendet. Verwenden Sie mandantenspezifische Modelle, wenn die Daten Ihrer Mandanten vertraulich sind oder wenn Sie Erkenntnisse aus den Daten eines Mandanten nicht effektiv auf einen anderen Mandanten anwenden können. Das folgende Diagramm zeigt, wie Sie eine Lösung mit mandantenspezifischen Modellen für zwei Mandanten erstellen können.

Gemeinsame Modelle

In Lösungen, die gemeinsam genutzte Modelle verwenden, führen alle Mandanten eine Ableitung basierend auf demselben gemeinsamen Modell aus. Gemeinsame Modelle können vortrainierte Modelle sein, die Sie von einer Quelle aus der Community erhalten oder beziehen. Das folgende Diagramm zeigt, wie alle Mandanten ein einzelnes vortrainiertes Modell für die Ableitung verwenden können.The following diagram shows how all tenant can use a single pretrained model for inference.

Sie können eigene gemeinsam genutzte Modelle erstellen, indem Sie sie mit den Daten trainieren, die alle Ihre Mandanten bereitstellen. Das folgende Diagramm zeigt ein einzelnes gemeinsam genutztes Modell, das mit Daten aller Mandanten trainiert wurde.

Optimierte geteilte Modelle

Sie können ein vortrainiertes Basismodell auswählen und es weiter optimieren, um es auf jeden Ihrer Mandanten basierend auf ihren eigenen Daten anwendbar zu machen. Im folgenden Diagramm wird diese Vorgehensweise veranschaulicht.

Skalierbarkeit

Überlegen Sie, wie sich das Wachstum Ihrer Lösung auf ihre Nutzung von KI- und Machine Learning-Komponenten auswirkt. Das Wachstum kann auf eine Erhöhung der Anzahl der Mandanten, die Für jeden Mandanten gespeicherte Datenmenge, die Anzahl der Benutzer und das Volumen der Anforderungen an Ihre Lösung verweisen.

Ausbildung: Mehrere Faktoren beeinflussen die Ressourcen, die zum Trainieren Ihrer Modelle erforderlich sind. Zu diesen Faktoren gehören die Anzahl der Modelle, die Sie trainieren müssen, die Datenmenge, die Sie zum Trainieren der Modelle verwenden, und die Häufigkeit, mit der Sie Modelle trainieren oder neu trainieren. Wenn Sie mandantenspezifische Modelle erstellen, wächst bei wachsender Anzahl von Mandanten die Menge an Computeressourcen und Speicher, die Sie benötigen, wahrscheinlich auch. Wenn Sie gemeinsam genutzte Modelle erstellen und diese mithilfe von Daten aus all Ihren Mandanten trainieren, skalieren die Schulungsressourcen in der Regel nicht mit der gleichen Rate wie das Wachstum der Mandanten. Da die Gesamtmenge der Schulungsdaten jedoch zunimmt, wirkt es sich auf die Ressourcen aus, die zum Trainieren geteilter und mandantenspezifischer Modelle verbraucht werden.

Ableitung: Die Ressourcen, die Sie für die Ableitung benötigen, sind häufig proportional zur Anzahl der Anforderungen, die auf die Modelle für die Ableitung zugreifen. Mit der Zunahme der Anzahl der Mandanten wird wahrscheinlich auch die Anzahl der Anforderungen steigen.

Es empfiehlt sich, Azure Dienste zu verwenden, die gut skaliert werden. KI- und Machine Learning-Workloads werden häufig in Containern ausgeführt, sodass Azure Kubernetes Service (AKS) und Azure Container Instances häufig für diese Workloads geeignet sind. AKS ist häufig eine gute Wahl, da sie eine hohe Skalierung bietet und ihre Computeressourcen basierend auf Bedarf dynamisch skaliert. Sie können Container Instances für kleine Workloads verwenden. Es ist relativ einfach zu konfigurieren, aber nicht so einfach wie AKS zu skalieren.

Leistung

Berücksichtigen Sie die Leistungsanforderungen für die KI- und Machine Learning-Komponenten Ihrer Lösung, einschließlich Schulung und Ableitung. Definieren Sie die Latenz- und Leistungserwartungen für jeden Prozess eindeutig, damit Sie sie bei Bedarf messen und verbessern können.

Ausbildung: Modellschulungen werden häufig als Batchprozess ausgeführt, was bedeutet, dass sie möglicherweise nicht so leistungsempfindlich wie andere Teile Ihrer Workload ist. Stellen Sie jedoch sicher, dass Sie ausreichende Ressourcen bereitstellen, um Ihre Modellschulung effizient durchzuführen, einschließlich der Skalierung.

Ableitung: Inference ist ein latenzempfindlicher Prozess, der häufig eine schnelle oder Echtzeitantwort erfordert. Auch wenn Sie in Echtzeit keine Ableitung durchführen müssen, stellen Sie sicher, dass Sie die Leistung Ihrer Lösung überwachen und die entsprechenden Dienste verwenden, um Ihre Workload zu optimieren.

Erwägen Sie die Verwendung Azure leistungsstarken Computerfunktionen für Ihre AI- und Machine Learning-Workloads. Azure bietet viele verschiedene Typen virtueller Computer (VMs) und anderer Hardwareinstanzen. Überlegen Sie, ob Ihre Lösung von der Verwendung von CPUs, GPUs, field-programmable Gate Arrays (FPGAs) oder anderen hardwarebeschleunigten Umgebungen profitieren kann. Azure bietet auch Echtzeit-Rückschlüsse auf NVIDIA GPUs, einschließlich NVIDIA Triton Inference Server. Bei Rechenanforderungen mit niedriger Priorität sollten Sie die Verwendung von AKS-Spotknotenpools in Betracht ziehen. Weitere Informationen zum Optimieren von Computediensten in einer Multitenant-Lösung finden Sie unter Architekturansätze für die Berechnung in Multitenant-Lösungen.

Modellschulungen erfordern in der Regel viele Interaktionen mit Ihren Datenspeichern, daher ist es wichtig, Ihre Datenstrategie und die Leistung zu berücksichtigen, die Ihre Datenebene bereitstellt. Weitere Informationen zu Mehrinstanzen- und Datendiensten finden Sie unter Architekturansätze für Speicherung und Daten in multiinstanzenübergreifenden Lösungen.

Implementierungskomplexität

Wenn Sie eine Lösung für die Verwendung von KI und maschinellem Lernen erstellen, können Sie vorgefertigte Komponenten verwenden oder benutzerdefinierte Komponenten erstellen. Sie müssen zwei wichtige Entscheidungen treffen:

• Wählen Sie die Plattform oder den Dienst aus, die für KI und maschinelles Lernen verwendet werden soll.
• Entscheiden Sie, ob Sie vortrainierte Modelle verwenden oder eigene benutzerdefinierte Modelle erstellen möchten.

Platforms: Azure bietet viele Dienste, die Sie für Ihre AI- und Machine Learning-Workloads verwenden können. Microsoft Foundry stellt z. B. APIs bereit, um Rückschlüsse auf vordefinierte Modelle durchzuführen, und Microsoft verwaltet die zugrunde liegenden Ressourcen. Mit Foundry können Sie eine neue Lösung schnell bereitstellen, aber sie beschränkt die Kontrolle über Schulungs- und Ableitungsprozesse und passt möglicherweise nicht zu jeder Art von Workload. Im Gegensatz dazu ist Machine Learning eine Plattform zum Erstellen, Trainieren und Verwenden eigener machine learning Modelle. Machine Learning bietet Kontrolle und Flexibilität, erhöht aber die Komplexität Ihres Designs und Ihrer Implementierung. Überprüfen Sie die Machine Learning-Produkte und -Technologien von Microsoft , um eine fundierte Entscheidung zu treffen, wenn Sie einen Ansatz auswählen.

Modelle: Auch wenn Sie kein vollständiges Modell verwenden, das ein Dienst wie Foundry bereitstellt, können Sie weiterhin ein vortrainiertes Modell verwenden, um Ihre Entwicklung zu beschleunigen. Wenn ein vortrainiertes Modell nicht genau Ihren Anforderungen entspricht, sollten Sie es erweitern, indem Sie eine Technik anwenden, die als Feinabstimmung oder Übertragung von Lernen bezeichnet wird. Mit feiner Optimierung können Sie ein vorhandenes Modell erweitern und auf eine andere Domäne anwenden. Wenn Sie z. B. einen Mehrinstanzen-Musikempfehlungsdienst erstellen, sollten Sie von einem vortrainierten Modell von Musikempfehlungen aus beginnen und das Modell mit Feinabstimmungen trainieren, um die Musikeinstellungen eines bestimmten Benutzers zu trainieren.

Mit einer vorgefertigten Machine Learning-Plattform wie Foundry oder einem vortrainierten Modell können Sie Ihre anfänglichen Forschungs- und Entwicklungskosten erheblich reduzieren. Vorkonfigurierte Plattformen sparen Ihnen möglicherweise viele Monate Forschung und vermeiden die Notwendigkeit, hochqualifizierte Datenwissenschaftler zu rekrutieren, um Modelle zu trainieren, zu entwerfen und zu optimieren.

Kostenoptimierung

Im Allgemeinen verursachen KI- und Machine Learning-Workloads den größten Anteil ihrer Kosten aus den Computeressourcen, die Sie für modellgestützte Schulungen und Rückschlüsse benötigen. Weitere Informationen zum Optimieren der Kosten Ihrer Rechenauslastung für Ihre Anforderungen finden Sie unter Architekturansätze für die Berechnung in Multitenant-Lösungen.

Berücksichtigen Sie die folgenden Anforderungen, wenn Sie Ihre KI- und Machine Learning-Kosten planen:

• Ermitteln Sie Compute-SKUs für Schulungen und Rückschlüsse. Sie können verschiedene SKUs für Schulungen und rückschlüsse verwenden. Wählen Sie SKUs aus, die Ihren Anforderungen für Leistung und Kosten entsprechen und in den von Ihnen verwendeten Regionen verfügbar sind. Weitere Informationen finden Sie unter Computeempfehlungen für KI-Workloads in Azure Infrastructure as a Service (IaaS).

• Überwachen Sie Ihre Nutzung. Indem Sie die Nutzung Ihrer Computeressourcen beobachten, können Sie ermitteln, ob Sie ihre Kapazität verringern oder erhöhen sollten, indem Sie unterschiedliche SKUs bereitstellen oder die Computeressourcen skalieren, wenn sich ihre Anforderungen ändern. Weitere Informationen finden Sie unter Monitor Machine Learning und Monitor-Modellbereitstellungen.

• Optimieren Sie Ihre Computeclustering-Umgebung. Wenn Sie Computecluster verwenden, überwachen Sie die Clusterverwendung, oder konfigurieren Sie die automatische Skalierung , um Computeknoten nach unten zu skalieren.

• Teilen Sie Ihre Computeressourcen. Überlegen Sie, ob Sie die Kosten Ihrer Computeressourcen optimieren können, indem Sie sie für mehrere Mandanten freigeben.

• Berücksichtigen Sie Ihr Budget. Verstehen Sie, ob Sie über ein festes Budget verfügen und Ihren Verbrauch entsprechend überwachen. Sie können Budgets für Azure Machine Learning einrichten, um Überausgaben zu verhindern und Kontingente basierend auf der Mandantenpriorität zuzuweisen. Weitere Informationen zum Verwalten von Kosten innerhalb der Gießerei finden Sie unter "Planen und Verwalten von Kosten für Foundry".

Zu berücksichtigende Ansätze und Muster

Azure bietet eine Reihe von Diensten für KI- und Machine Learning-Workloads. Multitenant-Lösungen verwenden mehrere gängige Architekturansätze:

• Verwenden Sie vorgefertigte KI- und Machine Learning-Lösungen.

• Erstellen Sie eine benutzerdefinierte KI- und machine learning-Architektur mithilfe von Machine Learning.

• Verwenden Sie eine der Azure Analyseplattformen.

Verwenden vordefinierter KI- und Maschineller Lerndienste

Es empfiehlt sich, möglichst vorgefertigte KI- und maschinelle Lerndienste zu verwenden. Ihre Organisation kann z. B. beginnen, KI und maschinelles Lernen zu erkunden und schnell in einen nützlichen Dienst zu integrieren. Oder Sie verfügen möglicherweise über grundlegende Anforderungen, für die keine benutzerdefinierten Schulungen und Entwicklungen für maschinelles Lernen erforderlich sind. Mit vorgefertigten maschinellen Lerndiensten können Sie Rückschlüsse verwenden, ohne eigene Modelle zu erstellen und zu trainieren.

Azure verfügt über mehrere Dienste, die KI- und Machine Learning-Technologie in verschiedenen Bereichen bereitstellen. Zu diesen Domänen gehören Sprachverständnis, Spracherkennung, Wissen, Dokument- und Formularerkennung sowie Computervision. Azure bietet vorgefertigte KI- und maschinelle Lerndienste über Foundry, die ein einheitlicher KI-Anwendungsdienst ist. Dieser Dienst bietet Benutzern Zugriff auf verschiedene Modelle, einschließlich Azure OpenAI. Azure bietet auch eine Reihe eigenständiger KI-Dienste, einschließlich Azure KI-Suche, Foundry IQ und Azure Document Intelligence. Viele dieser Dienste bieten eine einfache Schnittstelle für die Integration anspruchsvoller KI-Funktionen. Als Managed Services bieten sie Service-Level-Agreements (SLAs) und erfordern nur wenig Konfiguration sowie laufenden Verwaltungsaufwand. Sie müssen keine eigenen Modelle entwickeln oder testen, um diese Dienste nutzen zu können.

Viele verwaltete Machine Learning-Dienste erfordern keine Modellschulungen oder Daten, daher gibt es in der Regel keine Mandantendatenisolation. Einige verwaltete KI- und Machine Learning-Dienste bieten jedoch eine Modellanpassungsfunktion:

• Azure benutzerdefinierte Sprachausgabe
• Automated ML (AutoML) in Machine Learning
• Gesichts-API
• Benutzerdefinierte Dokumentintelligenzmodelle
• Anpassen eines Modells durch Feintuning

Wenn Sie mit diesen Diensten arbeiten, ist es wichtig, die Isolationsanforderungen für die Daten Ihrer Mandanten zu berücksichtigen.

Berücksichtigen Sie die Skalierungsanforderungen für die Komponenten in Ihrer Lösung. Beispielsweise unterstützen viele der APIs in Foundry Tools eine maximale Anzahl von Anforderungen pro Sekunde. Wenn Sie eine einzelne Foundry-Toolressource bereitstellen, die sie für Ihre Mandanten freigeben möchten, müssen Sie möglicherweise auf mehrere Ressourcen skalieren , da die Anzahl der Mandanten zunimmt.

Benutzerdefinierte KI- und Machine Learning-Architektur

Wenn Ihre Lösung benutzerdefinierte Modelle erfordert oder in einer Domäne arbeitet, die von einem verwalteten Maschinellen Lerndienst nicht abgedeckt wird, sollten Sie ihre eigene KI- und Machine Learning-Architektur erstellen. Machine Learning bietet eine Reihe von Funktionen, um die Schulung und Bereitstellung von machine learning Modellen zu koordinieren:

• Verwenden Sie verschiedene Open-Source-Bibliotheken für maschinelles Lernen, einschließlich PyTorch, TensorFlow, Scikit und Keras.

• Überwachen Sie die Leistungsmetriken der Modelle kontinuierlich.

• Erkennen von Datenabweichungen, wenn sich Modelleingabedaten im Laufe der Zeit ändern.

• Lösen Sie ein erneutes Training aus, um die Modellleistung zu verbessern.

• Wenden Sie die Auditierbarkeit und Governance während des gesamten Lebenszyklus Ihrer Machine Learning-Modelle an. Verwenden Sie integrierte Nachverfolgung und Lineage (die Nachverfolgung von Daten- und Modellbeziehungen) für alle Ihre maschinellen Lernartefakte.

Berücksichtigen Sie bei der Arbeit in einer mehrinstanzenfähigen Lösung die Isolationsanforderungen Ihrer Mandanten sowohl während der Schulungs- als auch der Ableitungsphasen. Außerdem müssen Sie ihren Modellschulungs- und Bereitstellungsprozess ermitteln. Maschinelles Lernen bietet eine Pipeline zum Trainieren von Modellen und zur Bereitstellung in einer Umgebung zur Ableitung. Modelle generieren dann Vorhersagen oder Erkenntnisse basierend auf neuen Daten. Überlegen Sie in einem Mandantenkontext, ob Modelle auf gemeinsam genutzten Rechenressourcen bereitgestellt werden sollen oder ob jeder Mandant dedizierte Ressourcen erhalten soll. Entwerfen Sie Ihre Modellbereitstellungspipelines basierend auf Ihrem Isolationsmodell und Ihrem Mandantenbereitstellungsprozess.

Wenn Sie Open-Source-Modelle verwenden, müssen Sie diese Modelle möglicherweise mithilfe von Transferlernen oder Optimierungen neu trainieren. Überlegen Sie, wie Sie unterschiedliche Modelle und Schulungsdaten für jeden Mandanten sowie die Versionen jedes Modells verwalten.

Das folgende Diagramm zeigt eine Beispielarchitektur, die Machine Learning verwendet. Alternativ können Sie Fabric Data Science verwenden, das Funktionen wie Experimente, Modellverwaltung und Endpunktbereitstellung bietet. Im Beispiel wird der mandantenspezifische Modellisolationsansatz verwendet.

Integrierte KI- und Machine Learning-Lösungen

Azure bietet mehrere leistungsstarke Analyseplattformen, die Sie für verschiedene Zwecke verwenden können. Zu diesen Plattformen gehören Microsoft Fabric, Azure Databricks und Apache Spark.

Erwägen Sie für KI und maschinelles Lernen den Einsatz dieser Plattformen, wenn Sie Ihre Kapazitäten zur Unterstützung einer großen Anzahl von Mandanten skalieren müssen und Rechenkapazität sowie Orchestrierung im großen Maßstab benötigen. Sie können diese Plattformen auch in Betracht ziehen, wenn Sie eine umfassende Analyselösung für andere Teile Ihres Systems benötigen, z. B. Datenanalysen und Integration in Die Berichterstellung über Power BI. Sie können eine einzelne Plattform bereitstellen, die alle Ihre Analyse- und KI- und Machine Learning-Anforderungen unterstützt. Wenn Sie Datenplattformen in einer mehrinstanzenübergreifenden Lösung implementieren, überprüfen Sie architekturübergreifende Ansätze für Speicherung und Daten in Multitenant-Lösungen.

Operatives Modell für maschinelles Lernen

Wenn Sie KI und maschinelles Lernen einführen, einschließlich generativer KI-Praktiken, empfiehlt es sich, Ihre Organisationsfunktionen für die Verwaltung kontinuierlich zu verbessern und zu bewerten. Die Einführung von MLOps und GenAIOps bietet objektiv einen Rahmen, um die Fähigkeiten Ihrer KI und maschinellen Lernpraktiken in Ihrer Organisation kontinuierlich zu erweitern. Weitere Informationen finden Sie unter MLOps-Reifemodell und GenAIOps-Reifegradmodell.

Zu vermeiden: Antimuster

• Isolationsanforderungen werden nicht berücksichtigt: Berücksichtigen Sie sorgfältig, wie Sie die Daten und Modelle von Mandanten sowohl für Schulungen als auch für die Ableitung isolieren. Die fehlende Isolierung der Daten und Modelle von Mandanten könnte gegen gesetzliche oder vertragliche Anforderungen verstoßen. Es könnte auch die Genauigkeit Ihrer Modelle verringern, wenn Sie Modelle anhand von Daten mehrerer Mandanten trainieren und sich die Daten stark unterscheiden.

• Laute Nachbarn: Überlegen Sie, ob Ihre Schulungs- oder Rückschlussprozesse möglicherweise das laute Nachbarproblem erleben. Wenn Sie beispielsweise über mehrere große Mandanten und einen einzelnen kleinen Mandanten verfügen, stellen Sie sicher, dass das Modelltraining für die großen Mandanten nicht alle Rechenressourcen verbraucht und den kleineren Mandanten diese entzieht. Verwenden Sie Ressourcengovernance und -überwachung, um das Risiko zu verringern, dass die Aktivität anderer Mandanten die Rechenlast eines Mandanten beeinflusst.

Beitragende

Microsoft verwaltet diesen Artikel. Die folgenden Mitwirkenden haben diesen Artikel geschrieben.

Hauptautor:

• Kevin Ashley | Senior Customer Engineer, FastTrack für Azure

Andere Mitwirkende:

• Paul Burpo | Principal Customer Engineer, FastTrack für Azure
• John Downs | Principal Software Engineer, Azure Patterns & Practices
• Vic Perdana | ISV Partner Solution Architect
• Rodrigo Rodríguez | Senior Cloud Solution Architect, AI & Quantum
• Daniel Scott-Raynsford | Partnerlösungsarchitekt
• Arsen Vladimirskiy | Principal Customer Engineer, FastTrack für Azure

Um nicht-öffentliche LinkedIn-Profile zu sehen, melden Sie sich bei LinkedIn an.

Nächster Schritt

• Eine Lösung für Machine Learning-Pipelines in einer mehrinstanzenfähigen Umgebung

Zugehörige Ressource

• Architekturansätze für die Berechnung in Multitenant-Lösungen