Distribuire modelli usando interfaccia della riga di comando di Azure e Bicep

• Nome del modello, provider, versione e SKU da distribuire. Usare il portale foundry o il interfaccia della riga di comando di Azure per trovare queste informazioni. In questo esempio si distribuisce il modello seguente:

  • Nome modello: Phi-4-mini-instruct
  • Provider: Microsoft
  • Versione: 1
  • Tipo di distribuzione: Standard globale

Aggiungere il modello

Per aggiungere un modello, identificare prima di tutto il modello da distribuire. Eseguire una query sui modelli disponibili come segue:

1. Accedere alla sottoscrizione Azure.

   az login
   

2. Se sono presenti più sottoscrizioni, selezionare la sottoscrizione in cui si trova la risorsa.

   subscriptionId="<subscription-id>"
   az account set --subscription $subscriptionId
   

3. Impostare le variabili di ambiente seguenti con il nome della risorsa Foundry che si prevede di usare e il gruppo di risorse.

   accountName="<ai-services-resource-name>"
   resourceGroupName="<resource-group>"
   location="eastus2"
   

4. Se non è ancora stata creata una risorsa Foundry, crearne una.

   az cognitiveservices account create -n $accountName -g $resourceGroupName --custom-domain $accountName --location $location --kind AIServices --sku S0
   

   Riferimento: az cognitiveservices account

5. Verificare quali modelli sono disponibili e in quale SKU. Ogni tipo di distribuzione è rappresentato da un codice SKU nell'interfaccia della riga di comando e arm e definisce come Azure l'infrastruttura elabora le richieste. I modelli possono offrire tipi di distribuzione diversi. Il comando seguente elenca tutte le definizioni di modello disponibili:

   az cognitiveservices account list-models \
       -n $accountName \
       -g $resourceGroupName \
   | jq '.[] | { name: .name, format: .format, version: .version, sku: .skus[0].name, capacity: .skus[0].capacity.default }'
   

   L'output include i modelli disponibili con le relative proprietà:

   {
     "name": "Phi-4-mini-instruct",
     "format": "Microsoft",
     "version": "1",
     "sku": "GlobalStandard",
     "capacity": 1000
   }
   

   Riferimento: az cognitiveservices account list-models

6. Identificare il modello da distribuire. Sono necessarie le proprietà name, format, versione sku. La proprietà format indica il provider che offre il modello. A seconda del tipo di distribuzione, potrebbe essere necessaria anche la capacità.

7. Aggiungere la distribuzione del modello alla risorsa. Nell'esempio seguente viene aggiunto Phi-4-mini-instruct:

   az cognitiveservices account deployment create \
       -n $accountName \
       -g $resourceGroupName \
       --deployment-name Phi-4-mini-instruct \
       --model-name Phi-4-mini-instruct \
       --model-version 1 \
       --model-format Microsoft \
       --sku-capacity 1 \
       --sku-name GlobalStandard
   

   Riferimento: az cognitiveservices account deployment

8. Verificare che la distribuzione sia stata completata correttamente:

   az cognitiveservices account deployment show \
       --deployment-name Phi-4-mini-instruct \
       -n $accountName \
       -g $resourceGroupName \
   | jq '.properties.provisioningState'
   

   L'output dovrebbe visualizzare "Succeeded". Il modello è pronto per l'uso al termine del provisioning.

   Riferimento: az cognitiveservices account deployment show

È possibile distribuire lo stesso modello più volte, se necessario, purché venga assegnato un nome di distribuzione diverso. Questa funzionalità è utile se si vogliono testare configurazioni diverse per un determinato modello, inclusi i filtri di contenuto.

Aggiungere il modello

1. Usare il template ai-services-deployment-template.bicep per descrivere le distribuzioni del modello:

   ai-services-deployment-template.bicep

   @description('Name of the Azure AI services account')
   param accountName string
   
   @description('Name of the model to deploy')
   param modelName string
   
   @description('Version of the model to deploy')
   param modelVersion string
   
   @allowed([
     'AI21 Labs'
     'Cohere'
     'Core42'
     'DeepSeek'
     'xAI'
     'Meta'
     'Microsoft'
     'Mistral AI'
     'OpenAI'
   ])
   @description('Model provider')
   param modelPublisherFormat string
   
   @allowed([
       'GlobalStandard'
       'DataZoneStandard'
       'Standard'
       'GlobalProvisioned'
       'Provisioned'
   ])
   @description('Model deployment SKU name')
   param skuName string = 'GlobalStandard'
   
   @description('Content filter policy name')
   param contentFilterPolicyName string = 'Microsoft.DefaultV2'
   
   @description('Model deployment capacity')
   param capacity int = 1
   
   resource modelDeployment 'Microsoft.CognitiveServices/accounts/deployments@2024-04-01-preview' = {
     name: '${accountName}/${modelName}'
     sku: {
       name: skuName
       capacity: capacity
     }
     properties: {
       model: {
         format: modelPublisherFormat
         name: modelName
         version: modelVersion
       }
       raiPolicyName: contentFilterPolicyName == null ? 'Microsoft.Nill' : contentFilterPolicyName
     }
   }
   

2. Eseguire la distribuzione:

   resourceGroupName="<resource-group-name>"
   accountName="<ai-services-resource-name>"
   modelName="Phi-4-mini-instruct"
   provider="Microsoft"
   version=1
   
   az deployment group create \
       --resource-group $resourceGroupName \
       --template-file ai-services-deployment-template.bicep \
       --parameters accountName=$accountName modelName=$modelName modelVersion=$version modelPublisherFormat=$provider
   

3. Verificare che la distribuzione sia stata completata correttamente:

   az cognitiveservices account deployment show \
       --deployment-name $modelName \
       -n $accountName \
       -g $resourceGroupName \
   | jq '.properties.provisioningState'
   

   L'output dovrebbe visualizzare "Succeeded".