Kommentar
Åtkomst till den här sidan kräver auktorisering. Du kan prova att logga in eller ändra kataloger.
Åtkomst till den här sidan kräver auktorisering. Du kan prova att ändra kataloger.
Important
Objekt som har markerats som förhandsversioner i den här artikeln är för närvarande i förhandsversion. Den här förhandsversionen tillhandahålls utan ett serviceavtal och Microsoft rekommenderar det inte för produktionsarbetsbelastningar. Vissa funktioner kanske inte stöds eller kan vara begränsade. Mer information finns i Kompletterande villkor för användning av Microsoft Azure-förhandsversioner.
Distribuera en eller flera LoRA-adaptrar (low-rank adaptation) som produceras av Foundry-finjustering till en kompatibel distribution till ett hanterat beräkningsmål. Du kan distribuera en adapter, testa den och ansluta fler adaptrar till samma måldistribution.
Den här artikeln gäller endast LoRA-adaptrar som produceras som utdata från finjustering i Foundry. Terminologi, arkitektur, delat inferensbeteende, livscykel, fakturering och gränser finns i Översikt över adapterdistribution för hanterad beräkning.
Prerequisites
En Azure-prenumeration och ett Foundry-projekt.
En registrerad LoRA-adapter som producerad genom finjustering i Foundry och som visas på projektets Models-sida.
Behörighet att hantera distributioner i Foundry-kontot, till exempel rollen Foundry-ägare eller Deltagare i Cognitive Services. Du behöver också åtkomst till den registrerade adaptermodellen.
Important
Foundrys RBAC-roller har nyligen namnändrats. Foundry User, Foundry Owner, Foundry Account Owner och Foundry Project Manager hette tidigare Azure AI-användare, Azure AI-ägare, Azure AI-kontoägare och Azure AI Project Manager. Du kanske fortfarande ser de tidigare namnen på vissa platser medan namnbytet distribueras. Roll-ID:na och kärnbehörigheterna ändras inte av namnbytet.
Foundry-användarrollen på kontot för inferens med Microsoft Entra ID. Se Åtkomstkontroll för hanterad datorkapacitet.
En kompatibel basmodell och En LoRA-aktiverad distributionsmall som är tillgänglig i din region.
Tillräcklig hanterad beräkningskvot för målimplementeringens acceleratorfamilj och region. Du kan välja en befintlig måldriftsättning eller skapa en sådan vid driftsättning av adaptern.
Hanterade beräkningsresurser omfattar inte inbyggd innehållsfiltrering. Granska dess begränsningar och programmets säkerhetskrav innan du distribuerar det.
Distribuera adaptrar i portalen
Börja från en registrerad LoRA-adapter som produceras genom finjustering i Foundry. Du hittar adaptern på Skapa>modeller eller börja från fliken Finjustering.
En mål-distribution stöder upp till åtta adapterdistributioner.
1. Välj adaptern och starta driftsättningsflödet
I Foundry-portalen använder du någon av följande startpunkter:
- Öppna Build>Models, välj den LoRA-adapter som du vill distribuera och välj sedan Distribuera. Den här startpunkten öppnar distributionsflödet för hanterad compute direkt.
- Öppna fliken Finjustering, välj den adapter som skapats av det slutförda finjusteringsjobbet och välj sedan Distribuera. Välj Hanterad datorkapacitet bland de tillgängliga distributionsalternativen.
2. Välj eller skapa målmiljön
En registrerad adapter behöver inte egna beräkningsresurser, men adaptern behöver en kompatibel måldistribution för att hantera begäranden. Välj den i fältet Måldistribution .
- Om det redan finns en kompatibel LoRA-aktiverad måldistribution väljer du den i Måldistribution och fortsätter att distribuera adaptern.
- Om det inte finns någon kompatibel driftsättning skapar du en måldriftsättning i adapterns driftsättningsflöde.
Fönstret för att skapa måldistribution har LoRA-stöd aktiverat som standard. Så här skapar du distribution:
- Välj en LoRA-aktiverad driftsättningsmall.
- Granska mallinformationen, inklusive inferenskörning, modell-ID och distributionsmall-ID.
- Välj den acceleratortyp, till exempel H100, som matchar den valda mallen.
- Slutför konfigurationen för måldistribution och välj Distribuera.
- Vänta tills målinstallationen har slutfört etableringen av resurser. Den här åtgärden kan ta flera minuter. När provisioneringen är klar fylls fältet Målimplementering i automatiskt.
Mer information om måldistributionskonfiguration och kapacitet finns i Distribuera modeller med öppen källkod med hanterade beräkningsresurser.
3. Driftsätt adaptern
- Ange ett namn på adapterdistributionen, till exempel
qwen-support. Använd ett namn som är unikt i kontot och som skiljer sig från måldistributionens namn. - Granska den valda målinstallationen och välj Distribuera.
- Vänta tills distributionen av adaptern har slutförts. Den distribuerade adaptern visas i listan över adapterdistributioner.
Namn på adapterdriftsättning kan innehålla 1 till 64 bokstäver, siffror, punkter, understreck eller bindestreck. Starta namnet med en bokstav eller siffra.
Välj den driftsatta adaptern för att öppna dess information. Från den här sidan kan du:
- Öppna den i playgrounden.
- Lägg till den i en agent.
- Visa slutpunkts- och autentiseringsinformation för inferens.
- Visa dess måldriftsättning.
- Kopiera ett kodfragment för att anropa adaptern.
- Använd snabbkonfigurationen för Visual Studio Code.
Öppna adaptern i Playground och skicka en fråga som är relevant för dess finjusteringsuppgift. Använd kodfragmentet för adapterdriftsättningen för att testa det från ditt program. Att bara anropa målmiljön testar inte adaptern.
4. Distribuera fler adaptrar till samma målmiljö
Så här delar du en måldistribution mellan adaptrar:
- Välj en annan kompatibel adapter på Bygg>modeller och välj Distribuera.
- Ge den ett annat distributions-/driftsättningsnamn, till exempel
qwen-finance. - Välj samma måldistribution i Måldistribution.
- Välj Deploy och vänta tills distributionen har slutförts.
- Öppna måldriftsättningens information för att bekräfta att båda adapterdriftsättningarna visas.
Den här konfigurationen är en multi-LoRA-driftsättning. Varje adapter har ett eget distributionsnamn, men båda delar måldistributionens beräknings- och inferensslutpunkt.
Testa en adapter med chat completions
När driftsättningen av adaptern har nått provisioneringstillståndet Succeeded skickar du en begäran till den OpenAI-kompatibla chat-completions-rutten. Kopiera kontots slutpunkt från distributionsinformationen för adaptern i portalen. För Microsoft Entra ID-autentisering hämtar du en åtkomsttoken för scope https://ai.azure.com/.default.
Ange model adapterns distributionsnamn, inte måldistributionens namn. Tjänsten använder det här värdet för att välja adaptern och fastställer dess måldistribution internt.
POST {account-endpoint}/openai/v1/chat/completions
Authorization: Bearer {access-token}
Content-Type: application/json
{
"model": "qwen-support",
"messages": [
{
"role": "user",
"content": "How do I reset my account password?"
}
]
}
Svaret följer svarsschemat för chat completions och returnerar namnet på den valda adapterdistributionen i model. Om du vill testa den andra adaptern i multi-LoRA-exemplet ändrar du model till qwen-finance och skickar en uppmaning om dess finjusterade uppgift. Begäran kräver ingen query-parameter api-version.
Distribuera och hantera adaptrar med REST
Använd REST för att skapa och hantera adapterdriftsättningar med API-versionen 2026-09-15-preview.
Skapa en adapterdriftsättning genom att ange dess registrerade källmodell-ID och måldistributionsnamn. Använd en åtkomsttoken för Azure Resource Manager i auktoriseringshuvudet. Se Hantera Azure resurser med REST.
PUT https://management.azure.com/subscriptions/{subscriptionId}/resourceGroups/{resourceGroup}/providers/Microsoft.CognitiveServices/accounts/{accountName}/adapterDeployments/{adapterDeploymentName}?api-version=2026-09-15-preview
Authorization: ******
Content-Type: application/json
{
"properties": {
"sourceModelId": "azureai://accounts/{accountName}/projects/{projectName}/models/{modelName}/versions/{version}",
"targetDeploymentName": "{targetDeploymentName}"
}
}
Driftsättningen är asynkron. Avsök URL:en som returneras i Azure-AsyncOperation, i enlighet med retry-after, tills åtgärden lyckas eller misslyckas. Kontrollera att properties.provisioningState är Succeeded innan du testar adaptern.
Kontrollera status för en adapterdriftsättning:
GET https://management.azure.com/subscriptions/{subscriptionId}/resourceGroups/{resourceGroup}/providers/Microsoft.CognitiveServices/accounts/{accountName}/adapterDeployments/{adapterDeploymentName}?api-version=2026-09-15-preview
Authorization: ******
Lista adaptrar som är kopplade till en måldistribution:
GET https://management.azure.com/subscriptions/{subscriptionId}/resourceGroups/{resourceGroup}/providers/Microsoft.CognitiveServices/accounts/{accountName}/adapterDeployments?api-version=2026-09-15-preview&$filter=properties%2FtargetDeploymentName%20eq%20%27{targetDeploymentName}%27
Authorization: ******
Svaret är sidindelat; följ nextLink tills den inte längre visas.
Ta bort en adapterutrullning:
DELETE https://management.azure.com/subscriptions/{subscriptionId}/resourceGroups/{resourceGroup}/providers/Microsoft.CognitiveServices/accounts/{accountName}/adapterDeployments/{adapterDeploymentName}?api-version=2026-09-15-preview
Authorization: ******
Borttagningen kan också vara asynkron. För ett 202-svar följer du åtgärds-URL:en tills borttagningen har slutförts. Ett 204 svar kräver ingen ytterligare avsökning.
Hantera och rensa driftsättningar
Hantera varje adapter med dess distributionsnamn. Om du vill flytta en adapter till en annan kompatibel måldistribution uppdaterar du targetDeploymentName medan du behåller samma sourceModelId. Vänta tills uppdateringen har slutförts innan du förlitar dig på den nya målmiljön.
Du kan inte ändra källmodellversionen för en befintlig adapterdriftsättning. Om du vill distribuera en ny finjusterad version skapar du en ny adapterdistribution med ett annat namn eller tar bort och återskapar den befintliga distributionen.
Ta bort en adapterdistribution när du inte längre behöver tillhandahålla den. Använd REST-borttagningsbegäran i Distribuera och hantera adaptrar med REST.
Om du tar bort en adapterdistribution tas inte dess registrerade modellversion eller måldistribution bort. Andra adaptrar använder fortfarande de delade beräkningsresurserna.
Ta bort alla anslutna adapterdriftsättningar innan du tar bort en måldriftsättning som du skapade för den här övningen. Om du har lagt till den valfria qwen-finance adaptern tar du också bort den. Ta inte bort en delad måldriftsättning som andra program fortfarande behöver.
Ta bort de adapterdistributioner som använder den innan du tar bort en registrerad version av adaptermodell.
Skala delade beräkningsresurser via måldistributionen. En kapacitetsändring påverkar de beräkningsresurser som delas av dess adaptrar.
Troubleshoot
Kontrollera adapterregistreringen, basmodellens kompatibilitet och distributionsstatus innan du försöker igen.
| Symtom | Vad du bör kontrollera |
|---|---|
| Adaptern visas inte på Models | Bekräfta att adaptern är registrerad i det valda projektet. Att avsluta träningen bara räcker inte. |
| Det går inte att distribuera en adapter | Bekräfta att adaptern är registrerad som utdata från ett Foundry-finjusteringsjobb. Det här flödet stöder endast adaptrar som produceras av finjustering i Foundry. |
| Inget distributionstillfälle visas i Måldistribution | Skapa en kompatibel LoRA-aktiverad mål-distribution i adapterdistributionsflödet. |
| Ingen kompatibel mall visas | Bekräfta att en LoRA-aktiverad mall är tillgänglig för modellen och regionen. En mall utan LoRA-stöd kan inte hysa adaptern. |
| Det går inte att skapa måldistributionen på grund av ett kvotfel | Kontrollera acceleratorfamiljen, regionen och antalet instanser. Begär hanterad beräkningskvot om det behövs. |
| Adaptern och basmodellen matchar inte | Jämför den exakta basmodellen och versionen som används för finjustering med den distribuerade basmodellen. |
| Adaptern överskrider gränsen för en mall | Kontrollera antal adaptrar, LoRA-rank och minneskraven mot de gränser som den valda mallen stöder. |
| Ett svar ser ut som grundmodellen | Bekräfta att adapterdistributionen har slutförts och att du testar adaptern, inte bara måldistributionen. Använd adapterns portalkodfragment. |
| Det går inte att uppdatera källmodellversionen | Skapa en ny adapterdriftsättning eller ta bort och återskapa den befintliga. Källmodellversionen är fast för en befintlig driftsättning. |
Relaterat innehåll
Läs mer om distributioner av adaptrar, distributioner till målmiljöer, delad beräkningskapacitet och andra distributionsalternativ för finjusterade modeller: