Wdrażanie modeli przy użyciu Azure CLI i Bicep

• Nazwa modelu, dostawca, wersja i jednostka SKU, którą chcesz wdrożyć. Użyj portalu Foundry lub Azure CLI, aby znaleźć te informacje. W tym przykładzie wdrożysz następujący model:

  • Nazwa modelu: Phi-4-mini-instruct
  • Dostawca: Microsoft
  • Wersja: 1
  • Typ wdrożenia: Globalny standard

Dodawanie modelu

Aby dodać model, najpierw zidentyfikuj model, który chcesz wdrożyć. Wykonaj zapytanie dotyczące dostępnych modeli w następujący sposób:

1. Zaloguj się do subskrypcji Azure.

   az login
   

2. Jeśli masz więcej niż jedną subskrypcję, wybierz subskrypcję, w której znajduje się zasób.

   subscriptionId="<subscription-id>"
   az account set --subscription $subscriptionId
   

3. Ustaw następujące zmienne środowiskowe o nazwie zasobu Foundry, którego chcesz użyć, i grupy zasobów.

   accountName="<ai-services-resource-name>"
   resourceGroupName="<resource-group>"
   location="eastus2"
   

4. Jeśli jeszcze nie utworzono zasobu foundry, utwórz go.

   az cognitiveservices account create -n $accountName -g $resourceGroupName --custom-domain $accountName --location $location --kind AIServices --sku S0
   

   Odniesienie: az cognitiveservices account

5. Sprawdź, które modele są dostępne dla Ciebie i w ramach której jednostki SKU. Każdy typ wdrożenia jest reprezentowany przez kod SKU w interfejsie CLI i ARM oraz określa, w jaki sposób infrastruktura Azure przetwarza żądania. Modele mogą oferować różne typy wdrożeń. Następujące polecenie wyświetla listę wszystkich dostępnych definicji modelu:

   az cognitiveservices account list-models \
       -n $accountName \
       -g $resourceGroupName \
   | jq '.[] | { name: .name, format: .format, version: .version, sku: .skus[0].name, capacity: .skus[0].capacity.default }'
   

   Dane wyjściowe zawierają dostępne modele z ich właściwościami:

   {
     "name": "Phi-4-mini-instruct",
     "format": "Microsoft",
     "version": "1",
     "sku": "GlobalStandard",
     "capacity": 1000
   }
   

   Referencja: az cognitiveservices account list-models

6. Zidentyfikuj model, który chcesz wdrożyć. Potrzebne są właściwości name, , formatversioni sku. Właściwość format wskazuje dostawcę oferującego model. W zależności od typu wdrożenia może być również potrzebna pojemność.

7. Dodaj wdrożenie modelu do zasobu. W poniższym przykładzie dodano Phi-4-mini-instruct:

   az cognitiveservices account deployment create \
       -n $accountName \
       -g $resourceGroupName \
       --deployment-name Phi-4-mini-instruct \
       --model-name Phi-4-mini-instruct \
       --model-version 1 \
       --model-format Microsoft \
       --sku-capacity 1 \
       --sku-name GlobalStandard
   

   Dokumentacja: az cognitiveservices account deployment

8. Sprawdź, czy wdrożenie zostało ukończone pomyślnie:

   az cognitiveservices account deployment show \
       --deployment-name Phi-4-mini-instruct \
       -n $accountName \
       -g $resourceGroupName \
   | jq '.properties.provisioningState'
   

   Dane wyjściowe powinny wyświetlać wartość "Succeeded". Model jest gotowy do użycia po zakończeniu aprowizacji.

   Odniesienie: az cognitiveservices account deployment show

Ten sam model można wdrożyć wiele razy, jeśli jest to konieczne, o ile nadasz mu inną nazwę wdrożenia. Ta funkcja jest przydatna, jeśli chcesz przetestować różne konfiguracje dla danego modelu, w tym filtry zawartości.

Dodawanie modelu

1. Użyj szablonu ai-services-deployment-template.bicep , aby opisać wdrożenia modelu:

   ai-services-deployment-template.bicep

   @description('Name of the Azure AI services account')
   param accountName string
   
   @description('Name of the model to deploy')
   param modelName string
   
   @description('Version of the model to deploy')
   param modelVersion string
   
   @allowed([
     'AI21 Labs'
     'Cohere'
     'Core42'
     'DeepSeek'
     'xAI'
     'Meta'
     'Microsoft'
     'Mistral AI'
     'OpenAI'
   ])
   @description('Model provider')
   param modelPublisherFormat string
   
   @allowed([
       'GlobalStandard'
       'DataZoneStandard'
       'Standard'
       'GlobalProvisioned'
       'Provisioned'
   ])
   @description('Model deployment SKU name')
   param skuName string = 'GlobalStandard'
   
   @description('Content filter policy name')
   param contentFilterPolicyName string = 'Microsoft.DefaultV2'
   
   @description('Model deployment capacity')
   param capacity int = 1
   
   resource modelDeployment 'Microsoft.CognitiveServices/accounts/deployments@2024-04-01-preview' = {
     name: '${accountName}/${modelName}'
     sku: {
       name: skuName
       capacity: capacity
     }
     properties: {
       model: {
         format: modelPublisherFormat
         name: modelName
         version: modelVersion
       }
       raiPolicyName: contentFilterPolicyName == null ? 'Microsoft.Nill' : contentFilterPolicyName
     }
   }
   

2. Uruchom wdrożenie:

   resourceGroupName="<resource-group-name>"
   accountName="<ai-services-resource-name>"
   modelName="Phi-4-mini-instruct"
   provider="Microsoft"
   version=1
   
   az deployment group create \
       --resource-group $resourceGroupName \
       --template-file ai-services-deployment-template.bicep \
       --parameters accountName=$accountName modelName=$modelName modelVersion=$version modelPublisherFormat=$provider
   

3. Sprawdź, czy wdrożenie zostało ukończone pomyślnie:

   az cognitiveservices account deployment show \
       --deployment-name $modelName \
       -n $accountName \
       -g $resourceGroupName \
   | jq '.properties.provisioningState'
   

   Dane wyjściowe powinny wyświetlać wartość "Succeeded".