YAML-schema för CLI-distributionsmall (v2)

APPLIES TO:Azure CLI ml extension v2 (aktuell)

JSON-källschemat finns på https://azuremlschemas.azureedge.net/latest/deploymentTemplate.schema.json.

Note

YAML-syntaxen som beskrivs i det här dokumentet baseras på JSON-schemat för den senaste versionen av ML CLI v2-tillägget. Den här syntaxen är garanterad att endast fungera med den senaste versionen av ML CLI v2-tillägget. Du hittar scheman för äldre tilläggsversioner på https://azuremlschemasprod.azureedge.net/.

YAML-syntax

Key Type Beskrivning Tillåtna värden Standardvärde
$schema string YAML-schemat. Om du använder tillägget Azure Machine Learning VS Code för att skapa YAML-filen, inklusive $schema överst i filen kan du anropa schema- och resursslutningar.
name string Required. Namnet på distributionsmallen.
version sträng eller heltal Version av distributionsmallen.
description string Beskrivning av distributionsmallen.
display_name string Visningsnamn för distributionsmallen. Används av gränssnittsytor (till exempel Foundry-portalen) för att presentera en användarvänlig etikett för konsumenter när de väljer en distributionsmall.
tags object Ordlista med taggar för distributionsmallen.
type string Typ av distributionsmall.
deployment_template_type string Required. Typ av distributionsmall. "Hanterad" är det enda för närvarande tillåtna värdet.
environment string Required. Den miljö som ska användas för distributionsmallen. Det här värdet måste vara en referens till en befintlig version av miljön i ett register. Använd syntaxen azureml://registries/<registry-name>/environments/<environment-name>/versions/<version> .

Observera: Arbetsyteomfattande miljöer (med syntax azureml:<name>:<version> ) och infogade miljödefinitioner stöds inte för distributionsmallar.
environment_variables object Ordlista över nyckel/värde-par för miljövariabler som ska anges för distributionen. Du kan komma åt dessa miljövariabler från dina bedömningsskript.
instance_count integer Required. Antalet instanser som ska användas för distributionen. Ange värdet baserat på den arbetsbelastning du förväntar dig.
default_instance_type string Required. Standardinstanstypen som ska användas när du distribuerar med den här mallen.
allowed_instance_types lista över strängar De instanstyper som konsumenter får ange när de distribuerar en modell som använder den här mallen. Ange instanstyper som en lista över strängar.
model_mount_path string Sökvägen för att montera modellen i containern.
scoring_path string Required. Sökvägen för bedömningsslutpunkten.
scoring_port integer Required. Porten för bedömningsslutpunkten.
liveness_probe object Inställningar för livenessavsökning för att regelbundet övervaka containerns hälsotillstånd. Se ProbeSettings för uppsättningen konfigurerbara egenskaper.
readiness_probe object Inställningar för beredskapsavsökning för validering om containern är redo att hantera trafik. Se ProbeSettings för uppsättningen konfigurerbara egenskaper.
request_settings object Begär inställningar för distributionen. Se RequestSettings för uppsättningen konfigurerbara egenskaper.

ProbeSettings

Key Type Beskrivning Standardvärde
failure_threshold integer När en avsökning misslyckas försöker failure_threshold systemet gånger innan det ger upp. Om du ger upp vid en liveness-avsökning innebär det att containern startas om. När det gäller en beredskapsavsökning är containern markerad som Oläst. Minimivärdet är 1. 30
initial_delay integer Antalet sekunder efter att containern har startats innan avsökningen initieras. Minimivärdet är 1. 10
method string HTTP-metoden som ska användas för avsökningen.
path string Sökvägen för avsökningen.
period integer Hur ofta (i sekunder) avsökningen ska utföras. 10
port integer Porten som ska avsökas.
scheme string Det schema som ska användas för avsökningen (till exempel HTTP eller HTTPS).
success_threshold integer Minsta lyckade resultat i följd för att avsökningen ska anses vara lyckad efter att ha misslyckats. Minimivärdet är 1. 1
timeout integer Antalet sekunder efter vilken avsökningen överskrider tidsgränsen. Minimivärdet är 1. 2

RequestSettings

Key Type Beskrivning Standardvärde
request_timeout_ms integer Tidsgränsen för begäran i millisekunder. 5000
max_concurrent_requests_per_instance integer Det maximala antalet samtidiga begäranden per instans som tillåts för distributionen. 1

Remarks

Distributionsmallar ger en återanvändbar konfiguration för distribution av modeller. De definierar de miljö-, infrastrukturinställningar och avsökningskonfigurationer som kan tillämpas när du skapar distributioner.

Examples

Exempel visas nedan.

YAML: basic

$schema: https://azuremlschemas.azureedge.net/latest/deploymentTemplate.schema.json
name: my-deployment-template
version: 1
description: Basic deployment template example
deployment_template_type: Managed
environment: azureml://registries/my-registry/environments/my-environment/versions/1
instance_count: 1
default_instance_type: Standard_DS3_v2
scoring_path: /score
scoring_port: 5001

YAML: med miljövariabler och avsökningar

$schema: https://azuremlschemas.azureedge.net/latest/deploymentTemplate.schema.json
name: my-deployment-template
version: 1
description: Deployment template with environment variables and health probes
display_name: My deployment template
deployment_template_type: Managed
environment: azureml://registries/azureml/environments/minimal-ubuntu20.04-py38-cpu-inference/versions/latest
environment_variables:
  MODEL_PATH: /var/azureml-app/model
  SCORING_TIMEOUT: "60"
instance_count: 3
default_instance_type: Standard_DS3_v2
scoring_path: /score
scoring_port: 8080
liveness_probe:
  initial_delay: 30
  period: 10
  timeout: 2
  success_threshold: 1
  failure_threshold: 3
readiness_probe:
  initial_delay: 10
  period: 5
  timeout: 2
  success_threshold: 1
  failure_threshold: 3
request_settings:
  request_timeout_ms: 10000
  max_concurrent_requests_per_instance: 2

YAML: med tillåtna instanstyper

$schema: https://azuremlschemas.azureedge.net/latest/deploymentTemplate.schema.json
name: my-deployment-template-restricted
version: 1
description: Deployment template with instance type restrictions
deployment_template_type: Managed
environment: azureml://registries/my-registry/environments/my-environment/versions/1
instance_count: 1
default_instance_type: Standard_DS3_v2
allowed_instance_types:
  - Standard_DS3_v2
  - Standard_DS4_v2
scoring_path: /score
scoring_port: 5001

YAML: med tillåtna instanstyper (lista)

$schema: https://azuremlschemas.azureedge.net/latest/deploymentTemplate.schema.json
name: my-deployment-template-multi
version: 1
description: Deployment template that allows multiple instance types
deployment_template_type: Managed
environment: azureml://registries/my-registry/environments/my-environment/versions/1
instance_count: 1
default_instance_type: Standard_DS3_v2
allowed_instance_types:
  - Standard_DS3_v2
  - Standard_DS4_v2
  - Standard_DS5_v2
scoring_path: /score
scoring_port: 5001

YAML: med modellmonteringssökväg

$schema: https://azuremlschemas.azureedge.net/latest/deploymentTemplate.schema.json
name: my-deployment-template-custom-mount
version: 1
description: Deployment template with custom model mount path
deployment_template_type: Managed
environment: azureml://registries/my-registry/environments/my-environment/versions/1
instance_count: 1
default_instance_type: Standard_DS3_v2
scoring_path: /score
scoring_port: 5001
model_mount_path: /var/azureml-app/models

Nästa steg