Nota
L'accesso a questa pagina richiede l'autorizzazione. È possibile provare ad accedere o modificare le directory.
L'accesso a questa pagina richiede l'autorizzazione. È possibile provare a modificare le directory.
Importante
Gli elementi contrassegnati come anteprima in questo articolo sono attualmente in anteprima. Questa anteprima viene fornita senza un contratto di servizio e Microsoft non lo consiglia per i carichi di lavoro di produzione. Alcune funzionalità potrebbero non essere supportate o potrebbero avere funzionalità limitate. Per ulteriori informazioni, vedere Condizioni supplementari per l'uso delle versioni di anteprima di Microsoft Azure.
Un deployment di adattatori serve un adattatore LoRA (Low Rank Adaptation) su un deployment di destinazione di calcolo gestito compatibile in Microsoft Foundry. Le distribuzioni degli adapter non richiedono risorse di calcolo aggiuntive. Condividono il calcolo fornito dalla distribuzione del modello di base, denominata distribuzione di destinazione. Anche se le distribuzioni degli adattatori non richiedono risorse di calcolo aggiuntive, vengono fornite con il proprio nome di distribuzione, che consente di instradare le richieste di inferenza tramite l'endpoint di inferenza dell'account Foundry.
Più adattatori compatibili possono condividere un deployment di destinazione. Questa configurazione è denominata serving multi-LoRA.
Questo articolo si applica solo agli adattatori LoRA prodotti come output di ottimizzazione fine in Foundry. Non è ancora possibile importare adattatori personalizzati.
In che modo gli adattatori LoRA specializzano un modello di base
L'adattamento di basso rango è una tecnica di fine-tuning che esegue il training di un piccolo set di parametri aggiuntivi anziché aggiornare ogni parametro nel modello di base. L'adattatore LoRA risultante è un set leggero di modifiche apprese che specializza il modello per un'attività o un dominio.
Un adattatore LoRA non può essere eseguito da solo. In fase di inferenza, il runtime di serving combina l'adattatore con il modello di base compatibile. Il modello di base esatto e la versione sono importanti perché le modifiche apprese dell'adattatore si applicano all'architettura e ai pesi del modello.
Risorse in un deployment di adapter
Il serving dell'adapter usa risorse di distribuzione e modello correlate. Ogni risorsa ha una responsabilità separata.
| Termine | Meaning |
|---|---|
| Modello di base | Modello e versione sottostanti usati per creare l'adattatore. Una distribuzione di destinazione deve eseguire un modello di base e una versione compatibili. |
| Adattatore LoRA registrato | L'asset del modello creato da un output di fine-tuning di Foundry. La registrazione rende disponibile l'adattatore in Compila > Modelli, ma non fornisce calcolo né rende l'adattatore richiamabile. |
| Modello di distribuzione | Un asset con nome e versione che definisce il modo in cui viene eseguito un modello, inclusi il runtime di serving e la configurazione dell'acceleratore. Per il serving dell'adapter, selezionare un template che supporta LoRA. |
| Distribuzione di destinazione | Distribuzione di calcolo gestito che esegue il modello di base compatibile usando un template di distribuzione abilitato per LoRA. È proprietaria degli acceleratori, della capacità, delle repliche e dell'endpoint di inferenza condivisi dai relativi adattatori. |
| Distribuzione dell'adattatore | Connessione distribuita tra una versione registrata dell'adattatore LoRA e una distribuzione di destinazione. Ha il proprio nome di distribuzione, ma non esegue il provisioning di risorse di calcolo separate, capacità separata, repliche o endpoint separati. |
| Distribuzione multi-LoRA | Due o più distribuzioni di adattatori compatibili che usano la stessa distribuzione di destinazione. Ogni adattatore mantiene il proprio nome di deployment e il comportamento specializzato, condividendo l'infrastruttura del deployment di destinazione. |
Ad esempio, una distribuzione di destinazione denominata qwen-prod può ospitare distribuzioni di adattatori denominate qwen-support e qwen-finance. Entrambi gli adattatori usano il modello di base, il calcolo e l'endpoint forniti da qwen-prod. I relativi nomi di distribuzione separati identificano il comportamento sottoposto a ottimizzazione selezionato da un'applicazione.
Funzionamento della condivisione multi-LoRA
La distribuzione di destinazione è la base di serving condivisa. Il modello di distribuzione determina se il runtime supporta LoRA e definisce il tipo di acceleratore, le istanze del modello e altre configurazioni di runtime.
Il collegamento di un adattatore non crea un'altra istanza del modello o aumenta la capacità della distribuzione di destinazione. Ogni adattatore nella destinazione usa la stessa capacità di serving. Il ridimensionamento del deployment di destinazione modifica la capacità disponibile per il modello di base e tutti gli adattatori collegati.
Come l'inferenza seleziona un adapter
L'adapter deve completare il provisioning prima di poter gestire le richieste. Una distribuzione completata correttamente segnala uno stato di provisioning Succeeded.
Si supponga che qwen-prod sia la distribuzione di destinazione del modello di base e che qwen-support e qwen-finance siano le relative distribuzioni degli adattatori. Inviare richieste all'endpoint dell'account /openai/v1/chat/completions Foundry. Impostare model sul nome del deployment che si vuole richiamare:
Valore model |
Comportamento selezionato |
|---|---|
qwen-support |
Modello di base con l'adattatore di supporto. |
qwen-finance |
Modello di base con l'adattatore finance. |
La richiesta seguente seleziona l'adattatore di supporto. Copiare l'endpoint dell'account dai dettagli di distribuzione dell'adapter nel portale. Per l'autenticazione di Microsoft Entra ID, acquisire un token di accesso per l'ambito https://ai.azure.com/.default.
POST {account-endpoint}/openai/v1/chat/completions
Authorization: Bearer {access-token}
Content-Type: application/json
{
"model": "qwen-support",
"messages": [
{
"role": "user",
"content": "How do I reset my account password?"
}
]
}
Per richiamare l'adattatore finanziario, modificare model in qwen-finance e usare un prompt per la relativa attività. Il servizio risolve internamente la distribuzione di destinazione dell'adattatore.
Per istruzioni di autenticazione e test, vedere Testare un adattatore con i completamenti della chat.
Requisiti di compatibilità e capacità
Foundry convalida l'adattatore e la distribuzione di destinazione prima del serving dell'adattatore. La configurazione deve soddisfare questi requisiti:
- L'adattatore è un output registrato di un processo di fine-tuning di Foundry.
- La distribuzione di destinazione esegue il modello di base e la versione compatibili.
- Il target usa un modello di distribuzione che supporta LoRA.
- L'adattatore rientra nel numero di adattatori supportato dal template, nel rank LoRA e nella memoria disponibile.
- La destinazione dispone di quota e capacità di calcolo gestito sufficienti per la relativa famiglia di acceleratori e area.
Ciclo di vita e dipendenze dell'adapter
Una distribuzione di adapter e il relativo adapter LoRA registrato sono risorse separate. Le regole seguenti descrivono in che modo le modifiche al deployment influiscono sul deployment dell'adapter e sul deployment di destinazione.
Una distribuzione di adattatori esistente fa riferimento a una versione fissa dell'adapter LoRA registrato, non al modello di base. Per gestire un'altra versione dell'adattatore, creare una nuova distribuzione dell'adattatore oppure eliminare e ricreare la distribuzione esistente.
È possibile spostare la stessa origine adattatore in un'altra distribuzione di destinazione compatibile aggiornando il nome della distribuzione di destinazione. Attendere che l'aggiornamento abbia esito positivo prima di instradare le richieste alla nuova destinazione.
L'eliminazione di una distribuzione di adattatori non comporta l'eliminazione della versione del modello registrata o della distribuzione di destinazione. Non influisce anche su altri adattatori che condividono la destinazione.
Rimuovere le distribuzioni di adattatori dipendenti prima di eliminare una versione registrata del modello di adattatore o una distribuzione di destinazione. Questo ordinamento impedisce a una distribuzione di adapter di fare riferimento a un'origine o a una destinazione che non esiste più.
Fatturazione, quota e limiti
Il deployment di destinazione viene fatturato ogni ora per acceleratore. La quota di calcolo gestito viene allocata per famiglia di acceleratori e area, separatamente dalla quota di macchine virtuali Azure. Per altre informazioni, vedere Fatturazione e quota di calcolo gestiti.
Le distribuzioni degli adattatori non prevedono un prezzo separato. La fatturazione si applica alle risorse di calcolo del deployment di destinazione.
Per il limite del numero di adattatori, vedere Distribuire gli adattatori nel portale.
Per le tariffe di calcolo gestite correnti, vedere il calcolatore dei prezzi Azure.
Passaggio successivo
Distribuire e testare uno o più adattatori LoRA registrati in una distribuzione di destinazione compatibile.