Distribuire modelli ottimizzati tramite fine-tuning in Microsoft Foundry

Distribuisci il modello ottimizzato nel portale di Microsoft Foundry con Serverless, Managed Compute o Fireworks on Foundry. Iniziare con un modello ottimizzato pronto per la distribuzione.

Per i confronti delle distribuzioni, la compatibilità dei modelli e i requisiti degli artefatti, vedere la panoramica del fine-tuning e la tabella dei modelli supportati.

Prerequisites

• Modello ottimizzato disponibile in Foundry, con l'identificatore e la versione del modello.
• Progetto Foundry che supporta l'opzione di distribuzione selezionata.
• Ruolo Proprietario di Foundry o ruolo con Microsoft.CognitiveServices/accounts/deployments/write sulla risorsa di destinazione. Completare qualsiasi configurazione aggiuntiva del provider elencata nell'esempio.
• Quota di distribuzione o capacità dell'acceleratore sufficienti in un'area supportata. Controllare la disponibilità del modello.

Distribuire con Serverless

Distribuire un modello compatibile sottoposto a fine-tuning con Serverless. Controllare la panoramica del fine-tuning per i tipi di distribuzione supportati dal modello.

1. Aprire il portale Foundry e selezionare il progetto.
2. Aprire la visualizzazione dei dettagli per il processo di fine-tuning completato, quindi selezionare Deploy.
3. Scegli Serverless.
4. Immettere un nome per la distribuzione.
5. Scegliere un tipo di distribuzione disponibile in base ai requisiti e configurare la capacità entro la quota disponibile.
6. Creare la distribuzione, quindi monitorarne lo stato nella pagina Modelli.

Al termine della distribuzione, aprire il playground Foundry e testare il modello.

Eseguire la distribuzione con Managed Compute (anteprima)

Distribuire un modello ottimizzato compatibile con Managed Compute. Per le opzioni di compatibilità e distribuzione, vedere la panoramica del fine-tuning.

Prima di iniziare

• Disporre di un adattatore ottimizzato che corrisponda al modello di base e alla versione.
• Disporre di una distribuzione di base che usa un modello di distribuzione abilitato per LoRA. Se è necessario crearne uno, seguire Distribuire modelli open source con Managed Compute.
• Completare la configurazione delle autorizzazioni di calcolo gestito e della quota.

Distribuisci nel portale

1. Apri il tuo progetto nel portale Foundry.
2. Aprire la visualizzazione dei dettagli per il processo di fine-tuning completato, quindi selezionare Deploy.
3. Scegli Managed Compute.
4. Immettere un nome per il deployment.
5. Selezionare la distribuzione di base compatibile.
6. Esaminare la configurazione e selezionare Deploy.
7. Attendere il completamento della distribuzione.

Al termine della distribuzione, aprire il playground Foundry e testare il modello.

Distribuire con Fireworks su Foundry (anteprima)

Distribuire un modello compatibile sottoposto a fine-tuning con Fireworks in Foundry. Per le opzioni di compatibilità e distribuzione, vedere la panoramica del fine-tuning.

Prima di iniziare

• Avere un modello ottimizzato registrato in Foundry e pronto per la distribuzione in Fireworks.
• Chiedi a un Proprietario della sottoscrizione o a un Collaboratore della sottoscrizione di abilitare Fireworks in Foundry.
• Completare la configurazione delle autorizzazioni Fireworks e confermare una quota sufficiente in un'area supportata.

Distribuisci nel portale

1. Apri il tuo progetto nel portale Foundry.
2. Aprire la visualizzazione dei dettagli per il processo di fine-tuning completato, quindi selezionare Deploy.
3. Scegli Fireworks.
4. Immettere un nome per la distribuzione.
5. Scegliere un tipo di distribuzione disponibile in base ai requisiti e configurare la capacità entro la quota disponibile.
6. Esaminare i prezzi e le condizioni del provider, quindi selezionare Distribuisci.
7. Attendere il completamento della preparazione e della distribuzione del modello.

Al termine della distribuzione, aprire il playground Foundry e testare il modello.

Se il modello non è registrato e si dispone di file di modello locali, seguire Importa modelli personalizzati con Fireworks. Non caricare di nuovo un modello già registrato.

Usare il modello distribuito e ottimizzato

Testare il deployment nel playground Foundry con un prompt rappresentativo dell'attività.

1. Apri Playground nel tuo progetto Foundry.
2. Selezionare il deployment ottimizzato creato, non il deployment del modello di base.
3. Inviare una richiesta di test e verificare che il modello restituisca una risposta.

Per la valutazione ripetibile, vedere Eseguire valutazioni dal portale foundry o Valutazione cloud con Microsoft Foundry SDK. Per confrontare i candidati, vedere Visualizzare i risultati della valutazione.

Pulire la distribuzione

Rimuovere il deployment di serving quando non è più necessario.

1. Aprire la pagina Modelli nel portale Foundry per trovare la distribuzione.
2. Selezionare la distribuzione creata.
3. Selezionare Elimina e confermare l'eliminazione.

Eliminare solo le risorse di serving create per questo esempio.

Contenuti correlati

• Panoramica dell'ottimizzazione.
• Esegui le valutazioni dal portale di Foundry.
• Visualizza i risultati della valutazione.