Kommentar
Åtkomst till den här sidan kräver auktorisering. Du kan prova att logga in eller ändra kataloger.
Åtkomst till den här sidan kräver auktorisering. Du kan prova att ändra kataloger.
APPLIES TO:
Azure CLI ml extension v2 (aktuell)
JSON-källschemat finns på https://azuremlschemas.azureedge.net/latest/deploymentTemplate.schema.json.
Note
YAML-syntaxen som beskrivs i det här dokumentet baseras på JSON-schemat för den senaste versionen av ML CLI v2-tillägget. Den här syntaxen är garanterad att endast fungera med den senaste versionen av ML CLI v2-tillägget. Du hittar scheman för äldre tilläggsversioner på https://azuremlschemasprod.azureedge.net/.
YAML-syntax
| Key | Type | Beskrivning | Tillåtna värden | Standardvärde |
|---|---|---|---|---|
$schema |
string | YAML-schemat. Om du använder tillägget Azure Machine Learning VS Code för att skapa YAML-filen, inklusive $schema överst i filen kan du anropa schema- och resursslutningar. |
||
name |
string | Required. Namnet på distributionsmallen. | ||
version |
sträng eller heltal | Version av distributionsmallen. | ||
description |
string | Beskrivning av distributionsmallen. | ||
display_name |
string | Visningsnamn för distributionsmallen. Används av gränssnittsytor (till exempel Foundry-portalen) för att presentera en användarvänlig etikett för konsumenter när de väljer en distributionsmall. | ||
tags |
object | Ordlista med taggar för distributionsmallen. | ||
type |
string | Typ av distributionsmall. | ||
deployment_template_type |
string | Required. Typ av distributionsmall. "Hanterad" är det enda för närvarande tillåtna värdet. | ||
environment |
string | Required. Den miljö som ska användas för distributionsmallen. Det här värdet måste vara en referens till en befintlig version av miljön i ett register. Använd syntaxen azureml://registries/<registry-name>/environments/<environment-name>/versions/<version> . Observera: Arbetsyteomfattande miljöer (med syntax azureml:<name>:<version> ) och infogade miljödefinitioner stöds inte för distributionsmallar. |
||
environment_variables |
object | Ordlista över nyckel/värde-par för miljövariabler som ska anges för distributionen. Du kan komma åt dessa miljövariabler från dina bedömningsskript. | ||
instance_count |
integer | Required. Antalet instanser som ska användas för distributionen. Ange värdet baserat på den arbetsbelastning du förväntar dig. | ||
default_instance_type |
string | Required. Standardinstanstypen som ska användas när du distribuerar med den här mallen. | ||
allowed_instance_types |
lista över strängar | De instanstyper som konsumenter får ange när de distribuerar en modell som använder den här mallen. Ange instanstyper som en lista över strängar. | ||
model_mount_path |
string | Sökvägen för att montera modellen i containern. | ||
scoring_path |
string | Required. Sökvägen för bedömningsslutpunkten. | ||
scoring_port |
integer | Required. Porten för bedömningsslutpunkten. | ||
liveness_probe |
object | Inställningar för livenessavsökning för att regelbundet övervaka containerns hälsotillstånd. Se ProbeSettings för uppsättningen konfigurerbara egenskaper. | ||
readiness_probe |
object | Inställningar för beredskapsavsökning för validering om containern är redo att hantera trafik. Se ProbeSettings för uppsättningen konfigurerbara egenskaper. | ||
request_settings |
object | Begär inställningar för distributionen. Se RequestSettings för uppsättningen konfigurerbara egenskaper. |
ProbeSettings
| Key | Type | Beskrivning | Standardvärde |
|---|---|---|---|
failure_threshold |
integer | När en avsökning misslyckas försöker failure_threshold systemet gånger innan det ger upp. Om du ger upp vid en liveness-avsökning innebär det att containern startas om. När det gäller en beredskapsavsökning är containern markerad som Oläst. Minimivärdet är 1. |
30 |
initial_delay |
integer | Antalet sekunder efter att containern har startats innan avsökningen initieras. Minimivärdet är 1. |
10 |
method |
string | HTTP-metoden som ska användas för avsökningen. | |
path |
string | Sökvägen för avsökningen. | |
period |
integer | Hur ofta (i sekunder) avsökningen ska utföras. | 10 |
port |
integer | Porten som ska avsökas. | |
scheme |
string | Det schema som ska användas för avsökningen (till exempel HTTP eller HTTPS). | |
success_threshold |
integer | Minsta lyckade resultat i följd för att avsökningen ska anses vara lyckad efter att ha misslyckats. Minimivärdet är 1. |
1 |
timeout |
integer | Antalet sekunder efter vilken avsökningen överskrider tidsgränsen. Minimivärdet är 1. |
2 |
RequestSettings
| Key | Type | Beskrivning | Standardvärde |
|---|---|---|---|
request_timeout_ms |
integer | Tidsgränsen för begäran i millisekunder. | 5000 |
max_concurrent_requests_per_instance |
integer | Det maximala antalet samtidiga begäranden per instans som tillåts för distributionen. | 1 |
Remarks
Distributionsmallar ger en återanvändbar konfiguration för distribution av modeller. De definierar de miljö-, infrastrukturinställningar och avsökningskonfigurationer som kan tillämpas när du skapar distributioner.
Examples
Exempel visas nedan.
YAML: basic
$schema: https://azuremlschemas.azureedge.net/latest/deploymentTemplate.schema.json
name: my-deployment-template
version: 1
description: Basic deployment template example
deployment_template_type: Managed
environment: azureml://registries/my-registry/environments/my-environment/versions/1
instance_count: 1
default_instance_type: Standard_DS3_v2
scoring_path: /score
scoring_port: 5001
YAML: med miljövariabler och avsökningar
$schema: https://azuremlschemas.azureedge.net/latest/deploymentTemplate.schema.json
name: my-deployment-template
version: 1
description: Deployment template with environment variables and health probes
display_name: My deployment template
deployment_template_type: Managed
environment: azureml://registries/azureml/environments/minimal-ubuntu20.04-py38-cpu-inference/versions/latest
environment_variables:
MODEL_PATH: /var/azureml-app/model
SCORING_TIMEOUT: "60"
instance_count: 3
default_instance_type: Standard_DS3_v2
scoring_path: /score
scoring_port: 8080
liveness_probe:
initial_delay: 30
period: 10
timeout: 2
success_threshold: 1
failure_threshold: 3
readiness_probe:
initial_delay: 10
period: 5
timeout: 2
success_threshold: 1
failure_threshold: 3
request_settings:
request_timeout_ms: 10000
max_concurrent_requests_per_instance: 2
YAML: med tillåtna instanstyper
$schema: https://azuremlschemas.azureedge.net/latest/deploymentTemplate.schema.json
name: my-deployment-template-restricted
version: 1
description: Deployment template with instance type restrictions
deployment_template_type: Managed
environment: azureml://registries/my-registry/environments/my-environment/versions/1
instance_count: 1
default_instance_type: Standard_DS3_v2
allowed_instance_types:
- Standard_DS3_v2
- Standard_DS4_v2
scoring_path: /score
scoring_port: 5001
YAML: med tillåtna instanstyper (lista)
$schema: https://azuremlschemas.azureedge.net/latest/deploymentTemplate.schema.json
name: my-deployment-template-multi
version: 1
description: Deployment template that allows multiple instance types
deployment_template_type: Managed
environment: azureml://registries/my-registry/environments/my-environment/versions/1
instance_count: 1
default_instance_type: Standard_DS3_v2
allowed_instance_types:
- Standard_DS3_v2
- Standard_DS4_v2
- Standard_DS5_v2
scoring_path: /score
scoring_port: 5001
YAML: med modellmonteringssökväg
$schema: https://azuremlschemas.azureedge.net/latest/deploymentTemplate.schema.json
name: my-deployment-template-custom-mount
version: 1
description: Deployment template with custom model mount path
deployment_template_type: Managed
environment: azureml://registries/my-registry/environments/my-environment/versions/1
instance_count: 1
default_instance_type: Standard_DS3_v2
scoring_path: /score
scoring_port: 5001
model_mount_path: /var/azureml-app/models