Bereitstellen fein abgestimmter Modelle in Microsoft Foundry

Stellen Sie Ihr fein abgestimmtes Modell im Microsoft Foundry-Portal mit Serverless, Managed Compute oder Fireworks on Foundry bereit. Beginnen Sie mit einem fein abgestimmten Modell, das für die Bereitstellung bereit ist.

Informationen zu Bereitstellungsvergleichen, Modellkompatibilität und Artefaktanforderungen finden Sie in der Übersicht über die Feinabstimmung und in der unterstützten Modelltabelle.

Prerequisites

• Ein fein abgestimmtes Modell, das in Foundry mit seinem Modellbezeichner und seiner Version verfügbar ist.
• Ein Foundry-Projekt , das die ausgewählte Bereitstellungsoption unterstützt.
• Die Rolle Foundry-Besitzer oder eine Rolle mit Microsoft.CognitiveServices/accounts/deployments/write für die Zielressource. Schließen Sie alle im Beispiel aufgeführten zusätzlichen Anbietersetups ab.
• Ausreichendes Bereitstellungskontingent oder Beschleunigerkapazität in einer unterstützten Region. Prüfen Sie die Modellverfügbarkeit.

Bereitstellen mit Serverless

Stellen Sie ein kompatibles, fein abgestimmtes Modell mit Serverless bereit. Überprüfen Sie die Feinabstimmungsübersicht für die von Ihrem Modell unterstützten Bereitstellungstypen.

1. Öffnen Sie das Foundry portal und wählen Sie Ihr Projekt aus.
2. Öffnen Sie die Detailansicht für Ihren abgeschlossenen Feinabstimmungsauftrag, und wählen Sie dann Bereitstellen aus.
3. Wählen Sie Serverless aus.
4. Geben Sie einen Namen für Ihre Bereitstellung ein.
5. Wählen Sie einen verfügbaren Bereitstellungstyp basierend auf Ihren Anforderungen aus, und konfigurieren Sie die Kapazität innerhalb Ihres verfügbaren Kontingents.
6. Erstellen Sie die Bereitstellung, und überwachen Sie dann den Fortschritt auf der Seite Modelle.

Wenn die Bereitstellung abgeschlossen ist, öffnen Sie den Foundry-Playground , und testen Sie Ihr Modell.

Bereitstellen mit verwaltetem Compute (Vorschau)

Stellen Sie ein kompatibles, fein abgestimmtes Modell mit Managed Compute bereit. Kompatibilitäts- und Bereitstellungsoptionen finden Sie in der Feinabstimmungsübersicht.

Bevor Sie anfangen

• Verfügen Sie über einen fein abgestimmten Adapter, der dem Basismodell und der Version entspricht.
• Verfügen Sie über eine Basisbereitstellung, die eine LoRA-fähige Bereitstellungsvorlage verwendet. Wenn Sie eines erstellen müssen, folgen Sie Open-Source-Modelle mit Managed Compute bereitstellen.
• Schließen Sie die Berechtigungen für verwaltete Compute und das Kontingentsetup ab.

Im Portal bereitstellen

1. Öffnen Sie Ihr Projekt im Foundry-Portal.
2. Öffnen Sie die Detailansicht für Ihren abgeschlossenen Feinabstimmungsauftrag, und wählen Sie dann Bereitstellen aus.
3. Wählen Sie Managed Compute aus.
4. Geben Sie einen Namen für Ihre Bereitstellung ein.
5. Wählen Sie die kompatible Basisbereitstellung aus.
6. Überprüfen Sie die Konfiguration, und wählen Sie "Bereitstellen" aus.
7. Warten Sie, bis die Bereitstellung abgeschlossen ist.

Wenn die Bereitstellung abgeschlossen ist, öffnen Sie den Foundry-Playground , und testen Sie Ihr Modell.

Bereitstellen mit Fireworks auf Foundry (Vorschau)

Stellen Sie ein kompatibles optimiertes Modell mit Fireworks auf Foundry bereit. Kompatibilitäts- und Bereitstellungsoptionen finden Sie in der Feinabstimmungsübersicht.

Bevor Sie anfangen

• Haben Sie ein fein abgestimmtes Modell, das in Foundry registriert ist und für die Bereitstellung von Fireworks bereit ist.
• Bitten Sie einen Besitzer des Abonnements oder Mitwirkenden des Abonnements, Fireworks auf Foundry zu aktivieren.
• Schließen Sie die Einrichtung der Fireworks-Berechtigungen ab, und stellen Sie sicher, dass in einer unterstützten Region ausreichend Kontingent vorhanden ist.

Im Portal bereitstellen

1. Öffnen Sie Ihr Projekt im Foundry-Portal.
2. Öffnen Sie die Detailansicht für Ihren abgeschlossenen Fine-Tuning-Auftrag, und wählen Sie dann Bereitstellen aus.
3. Wählen Sie Fireworks aus.
4. Geben Sie einen Namen für Ihre Bereitstellung ein.
5. Wählen Sie einen verfügbaren Bereitstellungstyp basierend auf Ihren Anforderungen aus, und konfigurieren Sie die Kapazität innerhalb Ihres verfügbaren Kontingents.
6. Überprüfen Sie die Preise und die Anbieterbedingungen, und wählen Sie dann Bereitstellen aus.
7. Warten Sie, bis die Modellvorbereitung und die Bereitstellung abgeschlossen ist.

Wenn die Bereitstellung abgeschlossen ist, öffnen Sie den Foundry-Playground , und testen Sie Ihr Modell.

Wenn Ihr Modell nicht registriert ist und Sie über lokale Modelldateien verfügen, folgen Sie der Anleitung Import custom models with Fireworks. Laden Sie kein bereits registriertes Modell erneut hoch.

Verwenden Sie Ihr bereitgestelltes, fein abgestimmtes Modell

Testen Sie die Bereitstellung im Foundry Playground mit einem Prompt, der für Ihre Aufgabe repräsentativ ist.

1. Öffnen Sie den Playground in Ihrem Foundry-Projekt.
2. Wählen Sie die von Ihnen erstellte fein abgestimmte Bereitstellung und nicht die Basismodellbereitstellung aus.
3. Senden Sie eine Testaufforderung, und bestätigen Sie, dass das Modell eine Antwort zurückgibt.

Zur wiederholbaren Auswertung siehe Ausführen von Auswertungen aus dem Foundry-Portal oder Cloud-Auswertung mit dem Microsoft Foundry SDK. Um Kandidaten zu vergleichen, siehe Bewertungsergebnisse anzeigen.

Bereinigen Sie Ihre Bereitstellung

Entfernen Sie die Serving-Bereitstellung, wenn Sie sie nicht mehr benötigen.

1. Öffnen Sie die Seite Modelle im Foundry-Portal, um Ihre Bereitstellung zu finden.
2. Wählen Sie die von Ihnen erstellte Bereitstellung aus.
3. Wählen Sie "Löschen" aus, und bestätigen Sie den Löschvorgang.

Löschen Sie nur die für dieses Beispiel erstellten Bereitstellungsressourcen.

Verwandte Inhalte

• Feinabstimmungsübersicht.
• Führen Sie Auswertungen aus dem Foundry-Portal aus.
• Auswertungsergebnisse anzeigen.