Wat zijn implementatiesjablonen?

Een implementatiesjabloon is een herbruikbaar artefact met registerbereik dat de infrastructuur- en runtime-instellingen verpakt die een model nodig heeft voor verkeer op een beheerd online-eindpunt. Als modelauteur publiceert u een implementatiesjabloon naast uw model, zodat consumenten het model consistent kunnen implementeren zonder dat ze elke infrastructuurdetails hoeven te leren. Als consument implementeert u het model met een korte YAML- of REST-nettolading omdat de implementatiesjabloon al de omgeving, omgevingsvariabelen, tests en andere instellingen opgeeft.

Note

De YAML-syntaxis die in dit document wordt beschreven, is gebaseerd op het JSON-schema voor de nieuwste versie van de ML CLI v2-extensie. Deze syntaxis werkt gegarandeerd alleen met de nieuwste versie van de ML CLI v2-extensie. U vindt de schema's voor oudere extensieversies op https://azuremlschemasprod.azureedge.net/.

Waarom implementatiesjablonen gebruiken?

Met implementatiesjablonen kunt u de problemen van het ontwerpen van modellen scheiden van modelverbruik:

  • Herbruikbaarheid. Maak eenmaal een implementatiesjabloon en gebruik deze opnieuw in veel modellen in het register of in veel versies van hetzelfde model.
  • Richtlijnen. Beperk de instantietypen die consumenten kunnen gebruiken door deze in te stellen allowed_instance_types op de sjabloon en publiceer een gecureerde set implementatiesjablonen voor consumenten door deze in te stellen allowed_deployment_templates op het model.
  • Consistentie. Elke gebruiker die het model uitrolt, krijgt dezelfde omgevingsimage, scoringspoort, probes en aanvraaginstellingen, waardoor afwijkingen tussen implementaties worden verminderd.
  • Losgekoppelde levenscyclus. Werk een versie van een implementatiesjabloon bij zonder het modelartefact te wijzigen en wijs het model default_deployment_template vervolgens naar de nieuwe versie wanneer u wilt dat gebruikers het ophalen.

belangrijke concepten

Een implementatiesjabloon heeft de volgende kenmerken:

  • Beperkt tot het register. Implementatiesjablonen bevinden zich in een Azure Machine Learning-register, niet in een werkruimte. U verwijst ernaar door hun registerasset-URI: azureml://registries/<registry-name>/deploymenttemplates/<template-name>/versions/<version>.
  • Geversioneerd. Elke implementatiesjabloon heeft een naam en een versie. Consumenten verwijzen naar een specifieke versie, zodat updates van de sjabloon de actieve implementaties pas wijzigen wanneer gebruikers opnieuw implementeren.
  • Typ Managed. Implementatiesjablonen ondersteunen momenteel het Managed type, dat is gericht op beheerde online-eindpunten.
  • Gebonden aan een registeromgeving. Het environment veld op een implementatiesjabloon moet verwijzen naar een omgeving met registerbereik. Omgevingen op werkruimteniveau en inline gedefinieerde omgevingen worden niet ondersteund.

Een model dat gebruikmaakt van implementatiesjablonen heeft twee gerelateerde velden:

  • default_deployment_template — het implementatiesjabloon dat wordt toegepast wanneer een gebruiker het model implementeert zonder een overschrijving op te geven.
  • allowed_deployment_templates — een optionele, zorgvuldig samengestelde lijst met implementatiesjablonen die de auteur van het model gebruikers aanbeveelt te gebruiken als overschrijvingen.

Een implementatie die verwijst naar een model met een default_deployment_template, kan dit overschrijven door properties."azureml.deploymentTemplateOverride" in te stellen op de register-asset-URI van de overschrijvingssjabloon.

Werkstroom in één oogopslag

Het end-to-endproces kent drie rollen: de eigenaar van de omgeving, de modelauteur en de modelgebruiker. Dezelfde persoon kan alle drie de rollen spelen.

  1. Creëer een omgeving. De eigenaar van de omgeving maakt een omgeving in een werkruimte en deelt deze met een register.
  2. Maak een implementatiesjabloon. De auteur van het model maakt in het register een implementatiesjabloon dat verwijst naar de omgeving met registerbereik en stelt infrastructuureigenschappen in, zoals default_instance_type, allowed_instance_types, scoringspad en poort, omgevingsvariabelen en probes.
  3. Registreer het model. De auteur van het model registreert het model in het register tijdens het uploaden van modelgewichten en -instellingen default_deployment_template (en optioneel allowed_deployment_templates) op het model.
  4. Het model implementeren. De consument maakt een beheerd online-eindpunt in een werkruimte en maakt een implementatie die verwijst naar het registermodel. De implementatie gebruikt de standaardimplementatiesjabloon van het model of specificeert een overschrijving die voorkomt in de lijst met toegestane overschrijvingen van het model.

Zie voor stapsgewijze instructies:

Relatie met omgevingen en modellen

Implementatiesjablonen bevinden zich tussen omgevingen en modellen in het register:

  • Een omgeving beschrijft de containerimage en Python-afhankelijkheden waarop uw scoringscode wordt uitgevoerd. Naar een omgeving met registerbereik kan worden verwezen door veel implementatiesjablonen.
  • In een implementatiesjabloon wordt beschreven hoe u een model uitvoert op een beheerd online-eindpunt door te verwijzen naar één omgeving met registerbereik plus infrastructuurinstellingen.
  • Een model in het register kan één standaardimplementatiesjabloon vastmaken en eventueel de set toegestane implementatiesjabloonoverschrijvingen beperken. Verschillende modellen kunnen dezelfde implementatiesjabloon opnieuw gebruiken of verschillende implementatiesjablonen vastmaken.

Mutability

Implementatiesjablonen en -modellen volgen verschillende regels voor de mutabiliteit, zodat een implementatiesjabloonversie een stabiel, reproduceerbaar doel blijft terwijl een modelversie bijgewerkte infrastructuurkoppelingen kan ophalen.

  • Implementatiesjabloonversie is onveranderbaar. Nadat u een versie van een implementatiesjabloon hebt gemaakt, kunnen alleen de velden tags en description in die versie rechtstreeks worden bijgewerkt. Velden die invloed hebben op runtimegedrag, zoals environment, environment_variables, default_instance_type, allowed_instance_types, , request_settingsen liveness_probereadiness_probe- kunnen onveranderbaar zijn. Als u een van deze wilt wijzigen, maakt u een nieuwe versie van de implementatiesjabloon. Dit garandeert dat een consument die vastloopt aan een specifieke versie van een implementatiesjabloon altijd dezelfde infrastructuurconfiguratie krijgt.
  • De modelversie is wijzigbaar voor verwijzingen naar implementatiesjablonen. Op een bestaande modelversie kunt u default_deployment_template en allowed_deployment_templates bijwerken zodat deze verwijzen naar nieuwe implementatiesjablonen of naar nieuwe versies van een bestaand implementatiesjabloon. U hoeft geen nieuwe modelversie te maken om een nieuwe infrastructuurconfiguratie uit te rollen; in plaats daarvan de versie van de implementatiesjabloon op te stoten en de aanwijzers van het model bij te werken, tenzij u ervoor kiest om een nieuwe modelversie te maken.

Beperkingen en overwegingen

  • Implementatiesjablonen zijn beschikbaar als preview-versie. Schema en gedrag kunnen veranderen.
  • Implementatiesjablonen ondersteunen alleen het Managed type. Gebruik ze met beheerde online-eindpunten, niet met Kubernetes online-eindpunten of batcheindpunten.
  • Het environment-veld moet verwijzen naar een omgeving op registerniveau. Deel werkruimteomgevingen met een register voordat u ernaar verwijst.
  • De lijst van het model allowed_deployment_templates vormt richtlijnen voor de auteur, geen bindende beperking. Een modelauteur gebruikt het om een zorgvuldig samengestelde set gevalideerde overschrijvingssjablonen te publiceren, maar het platform blokkeert geen implementatie die een sjabloon gebruikt dat niet op de lijst staat.
  • Een instance_type die voor een implementatie is opgegeven, moet voorkomen in de allowed_instance_types-lijst van de implementatiesjabloon wanneer die lijst is ingesteld voor de sjabloon.