Hinweis
Für den Zugriff auf diese Seite ist eine Autorisierung erforderlich. Sie können versuchen, sich anzumelden oder das Verzeichnis zu wechseln.
Für den Zugriff auf diese Seite ist eine Autorisierung erforderlich. Sie können versuchen, das Verzeichnis zu wechseln.
Important
Elemente, die in diesem Artikel als Vorschau gekennzeichnet sind, befinden sich derzeit in der Vorschau. Diese Vorschauversion wird ohne Service Level Agreement bereitgestellt, und Microsoft empfiehlt ihren Einsatz nicht für Produktionsworkloads. Manche Features werden möglicherweise nicht unterstützt oder sind nur eingeschränkt verwendbar. Weitere Informationen finden Sie unter Zusätzliche Nutzungsbedingungen für Microsoft Azure-Vorschauversionen.
Eine Adapterbereitstellung stellt einen LoRA-Adapter (Low-Rank Adaption) für eine kompatible verwaltete Computezielbereitstellung in Microsoft Foundry bereit. Adapterbereitstellungen erfordern keine zusätzlichen Rechenressourcen. Sie teilen die von der Basismodellbereitstellung, die als Zielbereitstellung bezeichnet wird, bereitgestellte Rechenkapazität. Obwohl Adapterbereitstellungen keine zusätzlichen Rechenressourcen erfordern, verfügen sie über einen eigenen Bereitstellungsnamen, mit dem Sie Inferenzanforderungen über den Endpunkt des Foundry-Kontos weiterleiten können.
Mehrere kompatible Adapter können eine Zielbereitstellung gemeinsam nutzen. Diese Konfiguration wird als Multi-LoRA-Serving bezeichnet.
Dieser Artikel gilt nur für LoRA-Adapter, die als Ergebnis des Fine-Tunings in Foundry erzeugt wurden. Sie können ihre eigenen Adapter noch nicht importieren.
Wie LoRA-Adapter ein Basismodell spezialisieren
Low-Rank-Anpassung ist eine Feinabstimmungstechnik, die eine kleine Reihe zusätzlicher Parameter trainiert, anstatt jeden Parameter im Basismodell zu aktualisieren. Der resultierende LoRA-Adapter ist ein leichtgewichtiger Satz gelernter Änderungen, der das Modell auf eine Aufgabe oder Domäne spezialisiert.
Ein LoRA-Adapter kann nicht allein ausgeführt werden. Zur Inferenzzeit kombiniert die Serving-Laufzeit den Adapter mit dem kompatiblen Basismodell. Das genaue Basismodell und die genaue Version sind wichtig, da die gelernten Änderungen des Adapters auf die Architektur und Gewichte dieses Modells angewendet werden.
Ressourcen in einer Adapterbereitstellung
Die Adapterbereitstellung verwendet verwandte Modell- und Bereitstellungsressourcen. Jede Ressource hat eine separate Verantwortung.
| Begriff | Dies bedeutet |
|---|---|
| Basismodell | Das zugrunde liegende Modell und die zugrunde liegende Version, die zum Erstellen des Adapters verwendet wurden. Eine Zielbereitstellung muss ein kompatibles Basismodell in einer kompatiblen Version ausführen. |
| Registrierter LoRA-Adapter | Die Modellressource, die aus einer Foundry-Feinabstimmungsausgabe erstellt wurde. Die Registrierung macht den Adapter unter Build > Models verfügbar, stellt jedoch keine Rechenkapazität bereit oder macht den Adapter aufrufbar. |
| Bereitstellungsvorlage | Ein benanntes, versioniertes Asset, das definiert, wie ein Modell ausgeführt wird, einschließlich der bereitstellenden Laufzeit- und Beschleunigerkonfiguration. Wählen Sie für die Adapterbereitstellung eine Vorlage aus, die LoRA unterstützt. |
| Bereitstellung des Ziels | Eine verwaltete Computebereitstellung, die das kompatible Basismodell mithilfe einer LoRA-fähigen Bereitstellungsvorlage ausführt. Sie besitzt die Beschleuniger, Kapazität, Replikate und Inferenzendpunkte, die die Adapter gemeinsam nutzen. |
| Adapterbereitstellung | Eine bereitgestellte Verbindung zwischen einer registrierten LoRA-Adapterversion und einer Zielbereitstellung. Sie verfügt über einen eigenen Bereitstellungsnamen, stellt jedoch keine separate Compute, Kapazität, Replikate oder einen Endpunkt bereit. |
| Multi-LoRA-Bereitstellung | Zwei oder mehr kompatible Adapterbereitstellungen, die dieselbe Zielbereitstellung verwenden. Jeder Adapter behält seinen eigenen Bereitstellungsnamen und spezielles Verhalten bei, wobei er die Infrastruktur der Zielbereitstellung gemeinsam nutzt. |
Eine Zielbereitstellung mit dem Namen qwen-prod kann z. B. Adapterbereitstellungen mit namen qwen-support und qwen-finance. Beide Adapter verwenden das Basismodell, Compute und den Endpunkt, die von qwen-prod bereitgestellt werden. Die separaten Bereitstellungsnamen identifizieren, welches fein abgestimmte Verhalten eine Anwendung auswählt.
Funktionsweise der Multi-LoRA-Freigabe
Die Zielbereitstellung ist die gemeinsame Bereitstellungsgrundlage. Die Bereitstellungsvorlage bestimmt, ob die Laufzeit LoRA unterstützt, und definiert den Beschleunigertyp, Modellinstanzen und andere Laufzeitkonfigurationen.
Durch das Anfügen eines Adapters wird keine andere Modellinstanz erstellt oder die Kapazität der Zielbereitstellung erhöht. Jeder Adapter am Zielsystem greift auf dieselbe Bereitstellungskapazität zu. Die Skalierung der Zielbereitstellung ändert die kapazität, die für das Basismodell und alle angeschlossenen Adapter verfügbar ist.
So wählt die Inferenz einen Adapter aus
Der Adapter muss die Bereitstellung abschließen, bevor er Anforderungen verarbeiten kann. Eine erfolgreiche Bereitstellung meldet einen Succeeded Bereitstellungszustand.
Angenommen, qwen-prod ist die Zielbereitstellung des Basismodells und qwen-support und qwen-finance sind dessen Adapterbereitstellungen. Senden Sie Anfragen an den Endpunkt des Foundry-Kontos /openai/v1/chat/completions. Legen Sie model auf den Bereitstellungsnamen fest, den Sie aufrufen möchten:
model Wert |
Ausgewähltes Verhalten |
|---|---|
qwen-support |
Basismodell mit dem Supportadapter. |
qwen-finance |
Basismodell mit dem Finanzadapter. |
Die folgende Anfrage wählt den Supportadapter aus. Kopieren Sie den Kontoendpunkt aus den Adapterbereitstellungsdetails im Portal. Rufen Sie für Microsoft Entra ID Authentifizierung ein Zugriffstoken für den https://ai.azure.com/.default Bereich ab.
POST {account-endpoint}/openai/v1/chat/completions
Authorization: Bearer {access-token}
Content-Type: application/json
{
"model": "qwen-support",
"messages": [
{
"role": "user",
"content": "How do I reset my account password?"
}
]
}
Um den Finanzadapter aufzurufen, ändern Sie model in qwen-finance und verwenden Sie für seine Aufgabe einen Prompt. Der Dienst ermittelt die Zielbereitstellung des Adapters intern.
Anweisungen zur Authentifizierung und zum Testen finden Sie unter "Testen eines Adapters mit Chat Completions".
Kompatibilitäts- und Kapazitätsanforderungen
Foundry überprüft das Adapter- und Ziel-Deployment vor der Bereitstellung des Adapters. Die Konfiguration muss die folgenden Anforderungen erfüllen:
- Der Adapter ist das registrierte Ergebnis eines Foundry-Feinabstimmungsauftrags.
- Die Zielbereitstellung führt das kompatible Basismodell und die zugehörige Version aus.
- Das Bereitstellungsziel verwendet eine Bereitstellungsvorlage, die LoRA unterstützt.
- Der Adapter liegt innerhalb der unterstützten Adapteranzahl, des LoRA-Rangs und des verfügbaren Arbeitsspeichers der Vorlage.
- Das Zielsystem verfügt über ausreichendes verwaltetes Computekontingent und genügend Kapazität für seine Accelerator-Familie und Region.
Adapterlebenszyklus und Abhängigkeiten
Eine Adapterbereitstellung und der registrierte LoRA-Adapter sind separate Ressourcen. Die folgenden Regeln beschreiben, wie sich Die Bereitstellungsänderungen auf den Adapter und die Zielbereitstellung auswirken.
Eine vorhandene Adapterbereitstellung verweist auf eine feste Version des registrierten LoRA-Adapters, nicht auf das Basismodell. Um eine andere Adapterversion bereitzustellen, erstellen Sie eine neue Adapterbereitstellung oder löschen Sie die vorhandene Bereitstellung und erstellen Sie sie neu.
Sie können dieselbe Adapterquelle in eine andere kompatible Zielbereitstellung verschieben, indem Sie den Namen der Zielbereitstellung aktualisieren. Warten Sie, bis das Update erfolgreich abgeschlossen ist, bevor Sie Anforderungen an das neue Ziel weiterleiten.
Beim Löschen einer Adapterbereitstellung werden weder die registrierte Modellversion noch die Zielbereitstellung gelöscht. Es wirkt sich auch nicht auf andere Adapter aus, die das Ziel gemeinsam nutzen.
Entfernen Sie abhängige Adapterbereitstellungen, bevor Sie eine registrierte Adaptermodellversion oder Zielbereitstellung löschen. Durch diese Sortierung wird verhindert, dass eine Adapterbereitstellung auf eine Quelle oder ein Ziel verweist, die nicht mehr vorhanden ist.
Abrechnung, Kontingente und Limits
Die Zielbereitstellung wird stündlich pro Beschleuniger abgerechnet. Verwaltetes Computekontingent wird pro Beschleunigerfamilie und Region getrennt vom Azure-Kontingent für virtuelle Maschinen zugewiesen. Weitere Informationen finden Sie unter Abrechnung und Kontingente für verwaltete Compute.
Adapterbereitstellungen haben keine separaten Preise. Die Abrechnung gilt für die Rechenkapazität der Zielbereitstellung.
Informationen zum Grenzwert für die Adapteranzahl finden Sie unter Bereitstellen von Adaptern im Portal.
Aktuelle Preise für verwaltete Compute-Dienste finden Sie im Azure-Preisrechner.
Nächster Schritt
Stellen Sie einen oder mehrere registrierte LoRA-Adapter für eine kompatible Zielbereitstellung bereit und testen Sie sie.