Distribuera modeller med Azure CLI och Bicep

• Modellnamnet, providern, versionen och SKU:n som du vill distribuera. Använd Foundry-portalen eller Azure CLI för att hitta den här informationen. I det här exemplet distribuerar du följande modell:

  • Modellnamn: Phi-4-mini-instruct
  • Provider: Microsoft
  • Version: 1
  • Distributionstyp: Global standard

Lägg till modellen

Om du vill lägga till en modell identifierar du först den modell som du vill distribuera. Fråga efter de tillgängliga modellerna så här:

1. Logga in på din Azure-prenumeration.

   az login
   

2. Om du har fler än en prenumeration väljer du den prenumeration där resursen finns.

   subscriptionId="<subscription-id>"
   az account set --subscription $subscriptionId
   

3. Ange följande miljövariabler med namnet på den Foundry-resurs som du planerar att använda och resursgruppen.

   accountName="<ai-services-resource-name>"
   resourceGroupName="<resource-group>"
   location="eastus2"
   

4. Om du inte har skapat en Foundry-resurs ännu skapar du en.

   az cognitiveservices account create -n $accountName -g $resourceGroupName --custom-domain $accountName --location $location --kind AIServices --sku S0
   

   Referens: az cognitiveservices account

5. Kontrollera vilka modeller som är tillgängliga för dig och under vilken SKU. Varje distributionstyp representeras av en SKU-kod i CLI och ARM och definierar hur Azure infrastruktur bearbetar begäranden. Modeller kan erbjuda olika distributionstyper. Följande kommando visar alla tillgängliga modelldefinitioner:

   az cognitiveservices account list-models \
       -n $accountName \
       -g $resourceGroupName \
   | jq '.[] | { name: .name, format: .format, version: .version, sku: .skus[0].name, capacity: .skus[0].capacity.default }'
   

   Utdata innehåller tillgängliga modeller med deras egenskaper:

   {
     "name": "Phi-4-mini-instruct",
     "format": "Microsoft",
     "version": "1",
     "sku": "GlobalStandard",
     "capacity": 1000
   }
   

   Referens: az cognitiveservices account list-models

6. Identifiera den modell som du vill distribuera. Du behöver egenskaperna name, format, versionoch sku. Egenskapen format anger vilken leverantör som erbjuder modellen. Beroende på typen av distribution kan du också behöva kapacitet.

7. Lägg till modelldistributionen i resursen. Följande exempel lägger till Phi-4-mini-instruct:

   az cognitiveservices account deployment create \
       -n $accountName \
       -g $resourceGroupName \
       --deployment-name Phi-4-mini-instruct \
       --model-name Phi-4-mini-instruct \
       --model-version 1 \
       --model-format Microsoft \
       --sku-capacity 1 \
       --sku-name GlobalStandard
   

   Referens: az cognitiveservices account deployment

8. Kontrollera att distributionen har slutförts:

   az cognitiveservices account deployment show \
       --deployment-name Phi-4-mini-instruct \
       -n $accountName \
       -g $resourceGroupName \
   | jq '.properties.provisioningState'
   

   Utdata ska visa "Succeeded". Modellen är redo att användas när försörjningen är klar.

   Referens: az cognitiveservices account deployment show

Du kan distribuera samma modell flera gånger om det behövs så länge du ger den ett annat distributionsnamn. Den här funktionen är användbar om du vill testa olika konfigurationer för en viss modell, inklusive innehållsfilter.

Lägg till modellen

1. Använd mallen ai-services-deployment-template.bicep för att beskriva modelldistributioner:

   ai-services-deployment-template.bicep

   @description('Name of the Azure AI services account')
   param accountName string
   
   @description('Name of the model to deploy')
   param modelName string
   
   @description('Version of the model to deploy')
   param modelVersion string
   
   @allowed([
     'AI21 Labs'
     'Cohere'
     'Core42'
     'DeepSeek'
     'xAI'
     'Meta'
     'Microsoft'
     'Mistral AI'
     'OpenAI'
   ])
   @description('Model provider')
   param modelPublisherFormat string
   
   @allowed([
       'GlobalStandard'
       'DataZoneStandard'
       'Standard'
       'GlobalProvisioned'
       'Provisioned'
   ])
   @description('Model deployment SKU name')
   param skuName string = 'GlobalStandard'
   
   @description('Content filter policy name')
   param contentFilterPolicyName string = 'Microsoft.DefaultV2'
   
   @description('Model deployment capacity')
   param capacity int = 1
   
   resource modelDeployment 'Microsoft.CognitiveServices/accounts/deployments@2024-04-01-preview' = {
     name: '${accountName}/${modelName}'
     sku: {
       name: skuName
       capacity: capacity
     }
     properties: {
       model: {
         format: modelPublisherFormat
         name: modelName
         version: modelVersion
       }
       raiPolicyName: contentFilterPolicyName == null ? 'Microsoft.Nill' : contentFilterPolicyName
     }
   }
   

2. Kör utrullningen:

   resourceGroupName="<resource-group-name>"
   accountName="<ai-services-resource-name>"
   modelName="Phi-4-mini-instruct"
   provider="Microsoft"
   version=1
   
   az deployment group create \
       --resource-group $resourceGroupName \
       --template-file ai-services-deployment-template.bicep \
       --parameters accountName=$accountName modelName=$modelName modelVersion=$version modelPublisherFormat=$provider
   

3. Kontrollera att distributionen har slutförts:

   az cognitiveservices account deployment show \
       --deployment-name $modelName \
       -n $accountName \
       -g $resourceGroupName \
   | jq '.properties.provisioningState'
   

   Utdata ska visa "Succeeded".