Implementación de modelos mediante CLI de Azure y Bicep

• Nombre del modelo, proveedor, versión y SKU que desea implementar. Use el portal de Foundry o la CLI de Azure para encontrar esta información. En este ejemplo, implementará el siguiente modelo:

  • Nombre del modelo: Phi-4-mini-instruct
  • Proveedor: Microsoft
  • Versión: 1
  • Tipo de implementación: estándar global

Adición del modelo

Para agregar un modelo, primero identifique el modelo que desea implementar. Consulte los modelos disponibles de la siguiente manera:

1. Inicie sesión en la suscripción de Azure.

   az login
   

2. Si tiene más de una suscripción, seleccione la suscripción donde se encuentra el recurso.

   subscriptionId="<subscription-id>"
   az account set --subscription $subscriptionId
   

3. Establezca las siguientes variables de entorno con el nombre del recurso Foundry que planea usar y el grupo de recursos.

   accountName="<ai-services-resource-name>"
   resourceGroupName="<resource-group>"
   location="eastus2"
   

4. Si aún no ha creado un recurso Foundry, cree uno.

   az cognitiveservices account create -n $accountName -g $resourceGroupName --custom-domain $accountName --location $location --kind AIServices --sku S0
   

   Referencia: az cognitiveservices account

5. Compruebe qué modelos están disponibles para usted y en qué SKU. Cada tipo de implementación se representa mediante un código SKU en la CLI y ARM, y define cómo la infraestructura de Azure procesa las solicitudes. Los modelos pueden ofrecer diferentes tipos de implementación. El siguiente comando enumera todas las definiciones de modelo disponibles:

   az cognitiveservices account list-models \
       -n $accountName \
       -g $resourceGroupName \
   | jq '.[] | { name: .name, format: .format, version: .version, sku: .skus[0].name, capacity: .skus[0].capacity.default }'
   

   La salida incluye modelos disponibles con sus propiedades:

   {
     "name": "Phi-4-mini-instruct",
     "format": "Microsoft",
     "version": "1",
     "sku": "GlobalStandard",
     "capacity": 1000
   }
   

   Referencia: az cognitiveservices account list-models

6. Identifique el modelo que desea implementar. Necesita las propiedades name, format, versiony sku. La propiedad format indica el proveedor que ofrece el modelo. En función del tipo de implementación, es posible que también necesite capacidad.

7. Agregue la implementación del modelo al recurso. En el ejemplo siguiente se agrega Phi-4-mini-instruct:

   az cognitiveservices account deployment create \
       -n $accountName \
       -g $resourceGroupName \
       --deployment-name Phi-4-mini-instruct \
       --model-name Phi-4-mini-instruct \
       --model-version 1 \
       --model-format Microsoft \
       --sku-capacity 1 \
       --sku-name GlobalStandard
   

   Referencia: az cognitiveservices account deployment

8. Compruebe que la implementación se completó correctamente:

   az cognitiveservices account deployment show \
       --deployment-name Phi-4-mini-instruct \
       -n $accountName \
       -g $resourceGroupName \
   | jq '.properties.provisioningState'
   

   La salida debe mostrar "Succeeded". El modelo está listo para usarse una vez completado el aprovisionamiento.

   Referencia: az cognitiveservices account deployment show

Puede implementar el mismo modelo varias veces si es necesario siempre que le asigne un nombre de implementación diferente. Esta funcionalidad es útil si desea probar configuraciones diferentes para un modelo determinado, incluidos los filtros de contenido.

Adición del modelo

1. Use la plantilla ai-services-deployment-template.bicep para describir las implementaciones de modelos:

   ai-services-deployment-template.bicep

   @description('Name of the Azure AI services account')
   param accountName string
   
   @description('Name of the model to deploy')
   param modelName string
   
   @description('Version of the model to deploy')
   param modelVersion string
   
   @allowed([
     'AI21 Labs'
     'Cohere'
     'Core42'
     'DeepSeek'
     'xAI'
     'Meta'
     'Microsoft'
     'Mistral AI'
     'OpenAI'
   ])
   @description('Model provider')
   param modelPublisherFormat string
   
   @allowed([
       'GlobalStandard'
       'DataZoneStandard'
       'Standard'
       'GlobalProvisioned'
       'Provisioned'
   ])
   @description('Model deployment SKU name')
   param skuName string = 'GlobalStandard'
   
   @description('Content filter policy name')
   param contentFilterPolicyName string = 'Microsoft.DefaultV2'
   
   @description('Model deployment capacity')
   param capacity int = 1
   
   resource modelDeployment 'Microsoft.CognitiveServices/accounts/deployments@2024-04-01-preview' = {
     name: '${accountName}/${modelName}'
     sku: {
       name: skuName
       capacity: capacity
     }
     properties: {
       model: {
         format: modelPublisherFormat
         name: modelName
         version: modelVersion
       }
       raiPolicyName: contentFilterPolicyName == null ? 'Microsoft.Nill' : contentFilterPolicyName
     }
   }
   

2. Ejecute la implementación:

   resourceGroupName="<resource-group-name>"
   accountName="<ai-services-resource-name>"
   modelName="Phi-4-mini-instruct"
   provider="Microsoft"
   version=1
   
   az deployment group create \
       --resource-group $resourceGroupName \
       --template-file ai-services-deployment-template.bicep \
       --parameters accountName=$accountName modelName=$modelName modelVersion=$version modelPublisherFormat=$provider
   

3. Compruebe que la implementación se completó correctamente:

   az cognitiveservices account deployment show \
       --deployment-name $modelName \
       -n $accountName \
       -g $resourceGroupName \
   | jq '.properties.provisioningState'
   

   La salida debe mostrar "Succeeded".