Overzicht van adapteruitrol voor beheerde rekenresources (preview)

Een adapteruitrol host een LoRA-adapter (Low-Rank Adaptation) op de implementatie van een compatibel beheerd rekendoel in Microsoft Foundry. Voor adapterimplementaties is geen extra rekenkracht vereist. Ze delen de rekenkracht die wordt geleverd door de implementatie van het basismodel, aangeduid als de doelimplementatie. Hoewel adapterimplementaties geen extra rekenkracht vereisen, worden ze geleverd met hun eigen implementatienaam, waarmee u inferentieaanvragen kunt routeren via het inferentie-eindpunt van het Foundry-account.

Meerdere compatibele adapters kunnen één doelimplementatie delen. Deze configuratie wordt multi-LoRA-serving genoemd.

Dit artikel is alleen van toepassing op LoRA-adapters die het resultaat zijn van fine-tuning in Foundry. U kunt uw eigen adapters nog niet importeren.

Hoe LoRA-adapters een basismodel specialiseren

Low-rank adaptation is een fine-tuningtechniek waarmee een kleine set extra parameters wordt getraind in plaats van elke parameter in het basismodel bij te werken. De resulterende LoRA-adapter is een lichtgewicht set geleerde wijzigingen die het model specialiseren voor een taak of domein.

Een LoRA-adapter kan niet zelfstandig werken. Tijdens inferentie combineert de serverruntime de adapter met het compatibele basismodel. Het exacte basismodel en de exacte versie zijn belangrijk, omdat de geleerde wijzigingen van de adapter van toepassing zijn op de architectuur en gewichten van dat model.

Resources bij een adapteruitrol

Adapter-serving gebruikt gerelateerde model- en implementatiebronnen. Elke resource heeft een afzonderlijke verantwoordelijkheid.

Een doelimplementatie met de naam qwen-prod kan bijvoorbeeld adapterimplementaties met de naam qwen-support en qwen-finance hosten. Beide adapters gebruiken het basismodel, de rekenkracht en het eindpunt dat wordt geleverd door qwen-prod. Hun afzonderlijke deploymentnamen geven aan welk nauwkeurig afgestemd gedrag een toepassing selecteert.

Hoe multi-LoRA delen werkt

De doelimplementatie is de gedeelde serving-basis. De implementatiesjabloon bepaalt of de runtime LoRA ondersteunt en definieert het type accelerator, modelinstanties en andere runtimeconfiguratie.

Als u een adapter koppelt, wordt er geen ander modelexemplaar gemaakt of wordt de capaciteit van de doeldeployment verhoogd. Elke adapter op het doelsysteem maakt gebruik van dezelfde verwerkingscapaciteit. Als u de doelimplementatie schaalt, verandert de capaciteit die beschikbaar is voor het basismodel en alle gekoppelde adapters.

Hoe inferentie een adapter selecteert

De adapter moet de provisioning voltooien voordat deze aanvragen kan verwerken. Een geslaagde uitrol rapporteert een Succeeded provisioningstatus.

Stel dat qwen-prod de doelimplementatie van het basismodel is en qwen-support en qwen-finance de bijbehorende adapterimplementaties zijn. Verzend aanvragen naar het /openai/v1/chat/completions-eindpunt van het Foundry-account. Stel model deze in op de deploymentnaam die u wilt uitvoeren:

Met het volgende verzoek wordt de supportadapter geselecteerd. Kopieer het accounteindpunt vanuit de details van de adapterimplementatie in de portal. Voor Microsoft Entra ID authenticatie verkrijgt u een toegangstoken voor de https://ai.azure.com/.default scope.

POST {account-endpoint}/openai/v1/chat/completions
Authorization: Bearer {access-token}
Content-Type: application/json

{
  "model": "qwen-support",
  "messages": [
    {
      "role": "user",
      "content": "How do I reset my account password?"
    }
  ]
}

Als u de financiële adapter wilt aanroepen, moet u model in qwen-finance wijzigen en een prompt voor die taak gebruiken. De service verwerkt de doeldeployment van de adapter intern.

Zie Een adapter testen met chatvoltooiingen voor authenticatie- en testinstructies.

Compatibiliteits- en capaciteitsvereisten

Foundry valideert de adapter en doelimplementatie voordat de adapter beschikbaar wordt gesteld. De configuratie moet voldoen aan deze vereisten:

• De adapter is een geregistreerde uitvoer van een Foundry-taak voor fine-tuning.
• De doelimplementatie voert het compatibele basismodel en de bijbehorende versie uit.
• Het doel gebruikt een implementatiesjabloon dat ondersteuning biedt voor LoRA.
• De adapter past binnen het aantal ondersteunde adapters van de sjabloon, loRA-rang en beschikbaar geheugen.
• Het doelresource heeft voldoende beheerd rekenquotum en capaciteit voor zijn acceleratorfamilie en -regio.

Levenscyclus en afhankelijkheden van de adapter

Een adapterimplementatie en de geregistreerde LoRA-adapter zijn afzonderlijke resources. In de volgende regels wordt beschreven hoe wijzigingen in de deployment van invloed zijn op de adapter en de doeldeployment.

Een bestaande adapterimplementatie verwijst naar een vaste versie van de geregistreerde LoRA-adapter, niet naar het basismodel. Als u een andere adapterversie wilt inzetten, maakt u een nieuwe adapterdeployment of verwijdert u de bestaande deployment en maakt u deze opnieuw.

U kunt dezelfde adapterbron naar een andere compatibele doelimplementatie verplaatsen door de naam van de doelimplementatie bij te werken. Wacht totdat de update is voltooid voordat verzoeken naar de nieuwe doelresource worden omgeleid.

Als u een adapterimplementatie verwijdert, wordt de geregistreerde modelversie of doelimplementatie niet verwijderd. Het heeft ook geen invloed op andere adapters die het doel delen.

Verwijder afhankelijke adapterimplementaties voordat u een geregistreerde versie van het adaptermodel of doelimplementatie verwijdert. Met deze volgorde voorkomt u dat een adapterimplementatie verwijst naar een bron of doel dat niet meer bestaat.

Facturering, quotum en limieten

De doeldeployment wordt per uur per accelerator gefactureerd. Het beheerde rekenquotum wordt toegewezen per acceleratorfamilie en -regio, gescheiden van Azure quotum voor virtuele machines. Zie Facturering en quotum voor beheerde rekenkracht voor meer informatie.

Adapterimplementaties hebben geen afzonderlijke prijsstelling. Er worden kosten in rekening gebracht voor de rekenkracht van de doeldeployment.

Zie Adapters implementeren in de portal voor de limiet voor het aantal adapters.

Zie de Azure prijscalculator voor actuele tarieven voor beheerde rekenkracht.

Volgende stap

Implementeer en test een of meer geregistreerde LoRA-adapters op een compatibele doeldeployment.