Wdrażanie dostosowanych adapterów LoRA do zarządzanych zasobów obliczeniowych (wersja zapoznawcza)

Important

Elementy oznaczone podglądem w tym artykule są obecnie w wersji zapoznawczej. Ta wersja zapoznawcza jest udostępniana bez umowy dotyczącej poziomu usług, a Microsoft nie zaleca korzystania z niej w przypadku obciążeń produkcyjnych. Niektóre funkcje mogą nie być obsługiwane lub mogą mieć ograniczone możliwości. Aby uzyskać więcej informacji, zobacz Warunki dodatkowe korzystania z testowych wersji Microsoft Azure.

Wdróż co najmniej jeden adapter adaptacji niskiego rzędu (LoRA) utworzony w wyniku dostrajania w Foundry do zgodnego zarządzanego środowiska obliczeniowego. Możesz wdrożyć adapter, przetestować go i dołączyć więcej adapterów do tego samego wdrożenia docelowego.

Ten artykuł dotyczy tylko adapterów LoRA produkowanych jako dane wyjściowe dostrajania w narzędziu Foundry. Aby zapoznać się z terminologią, architekturą, sposobem działania współdzielonego wnioskowania, cyklem życia, rozliczeniami i limitami, zobacz Omówienie wdrażania adaptera dla zarządzanych zasobów obliczeniowych.

Prerequisites

  • Subskrypcja Azure i projekt Foundry.

  • Zarejestrowany adapter LoRA utworzony przez precyzyjne dostrajanie w narzędziu Foundry i widoczny na stronie Modele projektu.

  • Uprawnienie do zarządzania wdrożeniami na koncie usługi Foundry, takim jak rola Właściciel usługi Foundry lub Współautor usług Cognitive Services . Potrzebny jest również dostęp do zarejestrowanego modelu adaptera.

    Important

    Niedawno zmieniono nazwy ról RBAC w usłudze Foundry. Użytkownik Foundry, właściciel Foundry, właściciel konta Foundry i menedżer projektu Foundry były wcześniej nazywane odpowiednio użytkownikiem Azure AI, właścicielem Azure AI, właścicielem konta Azure AI i menedżerem projektu Azure AI. Poprzednie nazwy mogą być nadal widoczne w niektórych miejscach, podczas gdy zmiana nazwy jest wdrażana. Identyfikatory ról i uprawnienia podstawowe są niezmienione przez zmianę nazwy.

  • Rola Użytkownika usługi Foundry na koncie do wnioskowania za pomocą Microsoft Entra ID. Zobacz Zarządzana kontrola dostępu do zasobów obliczeniowych.

  • Zgodny model podstawowy i szablon wdrażania z obsługą usługi LoRA dostępny w Twoim regionie.

  • Wystarczający limit przydziału zarządzanych zasobów obliczeniowych dla rodziny akceleratorów i regionu wdrożenia docelowego. Możesz wybrać istniejące wdrożenie docelowe lub utworzyć je podczas wdrażania adaptera.

Wersja zapoznawcza usługi Managed Compute nie obejmuje wbudowanego filtrowania zawartości. Przed wdrożeniem zapoznaj się z ograniczeniami i wymaganiami bezpieczeństwa Twojej aplikacji.

Wdróż adaptery w portalu

Zacznij od zarejestrowanego adaptera LoRA utworzonego w wyniku dostrajania w Foundry. Adapter można znaleźć na karcie Kompilacja>Modele lub rozpocząć od karty Dostrajanie.

Jedno wdrożenie docelowe obsługuje maksymalnie osiem wdrożeń adapterów.

1. Wybierz adapter i uruchom przepływ wdrażania

W portalu Foundry użyj jednego z następujących punktów wejścia:

  • Otwórz Build>, wybierz adapter LoRA, który chcesz wdrożyć, a następnie wybierz pozycję Wdróż. Ten punkt wejścia otwiera bezpośrednio proces wdrażania zarządzanych zasobów obliczeniowych.
  • Otwórz kartę Dostrajanie, wybierz adapter utworzony przez ukończone zadanie dostrajania, a następnie wybierz pozycję Wdróż. Wybierz pozycję Zarządzane zasoby obliczeniowe z dostępnych opcji wdrażania.

2. Wybierz lub utwórz docelowe wdrożenie

Zarejestrowany adapter nie potrzebuje własnego środowiska obliczeniowego, ale wymaga zgodnego wdrożenia docelowego w celu obsługi żądań. Wybierz je w polu Wdrożenie docelowe .

  • Jeśli zgodne wdrożenie docelowe z włączoną obsługą loRA już istnieje, wybierz je we wdrożeniu docelowym i przejdź do Wdróż adapter.
  • Jeśli nie istnieje zgodne wdrożenie, utwórz wdrożenie docelowe w ramach przepływu wdrożenia adaptera.

Okno tworzenia wdrożenia docelowego ma domyślnie włączoną obsługę loRA. Aby utworzyć wdrożenie:

  1. Wybierz szablon wdrożenia z obsługą usługi LoRA.
  2. Przejrzyj szczegóły szablonu, w tym identyfikator środowiska uruchomieniowego wnioskowania, identyfikator modelu i identyfikator szablonu wdrożenia.
  3. Wybierz typ akceleratora, taki jak H100, który jest zgodny z wybranym szablonem.
  4. Ukończ konfigurację wdrożenia docelowego i wybierz pozycję Wdróż.
  5. Poczekaj na zakończenie aprowizacji wdrożenia docelowego. Ta operacja może potrwać kilka minut. Po zakończeniu aprowizacji pole Target deployment jest wypełniane automatycznie.

Aby uzyskać więcej informacji na temat docelowej konfiguracji wdrożenia i wydajności, zobacz Wdrażanie modeli typu open source za pomocą zarządzanych zasobów obliczeniowych.

3. Wdróż adapter

  1. Wprowadź nazwę wdrożenia adaptera, na przykład qwen-support. Użyj nazwy unikatowej w ramach konta i innej niż nazwa wdrożenia docelowego.
  2. Przejrzyj wybrane wdrożenie docelowe i wybierz pozycję Wdróż.
  3. Poczekaj na zakończenie wdrażania adaptera. Wdrożony adapter pojawia się na liście wdrażania adapterów.

Nazwy wdrożenia adaptera mogą zawierać od 1 do 64 liter, cyfr, kropek, podkreśleń lub łączników. Rozpocznij nazwę literą lub cyfrą.

Wybierz wdrożony adapter, aby otworzyć jego szczegóły. Z poziomu tej strony można:

  • Otwórz go w Playground.
  • Dodaj to do agencie.
  • Wyświetl szczegóły punktu końcowego inferencji i uwierzytelniania.
  • Wyświetl jego docelowe wdrożenie.
  • Skopiuj fragment kodu, aby wywołać adapter.
  • Użyj szybkiej konfiguracji dla Visual Studio Code.

Otwórz adapter w Playground i wyślij monit odpowiedni do zadania dostrajania. Użyj fragmentu kodu wdrożenia adaptera, aby przetestować go w swojej aplikacji. Wywołanie tylko wdrożenia docelowego nie powoduje przetestowania adaptera.

4. Wdrażanie większej liczby adapterów w tym samym wdrożeniu docelowym

Aby udostępnić docelowe wdrożenie między adapterami:

  1. Wybierz inną zgodną kartę w obszarze Kompilacja>Modele i wybierz pozycję Wdróż.
  2. Nadaj mu inną nazwę wdrożenia, na przykład qwen-finance.
  3. Wybierz to samo wdrożenie docelowe w polu Wdrożenie docelowe.
  4. Wybierz pozycję Wdróż i poczekaj na zakończenie wdrożenia.
  5. Otwórz szczegóły wdrożenia docelowego, aby potwierdzić, że oba wdrożenia adapterów zostały wyświetlone.

Ta konfiguracja jest wdrożeniem typu multi-LoRA. Każdy adapter ma własną nazwę wdrożenia, ale oba współdzielą punkt końcowy obliczeń i wnioskowania wdrożenia docelowego.

Przetestuj adapter za pomocą uzupełniania czatu

Gdy wdrożenie adaptera osiągnie stan aprowizacji Succeeded, wyślij żądanie do ścieżki chat-completions zgodnej z interfejsem OpenAI. Skopiuj punkt końcowy konta ze szczegółów wdrożenia adaptera w portalu. W przypadku uwierzytelniania Microsoft Entra ID uzyskaj token dostępu dla zakresu scope https://ai.azure.com/.default.

Ustaw model na nazwę wdrożenia adaptera, a nie nazwę wdrożenia docelowego. Usługa używa tej wartości do wybrania adaptera i wewnętrznie określa jego wdrożenie docelowe.

POST {account-endpoint}/openai/v1/chat/completions
Authorization: Bearer {access-token}
Content-Type: application/json

{
  "model": "qwen-support",
  "messages": [
    {
      "role": "user",
      "content": "How do I reset my account password?"
    }
  ]
}

Odpowiedź jest zgodna ze schematem odpowiedzi uzupełniania czatów i zwraca nazwę wdrożenia wybranego adaptera w model. Aby przetestować drugi adapter w przykładzie multi-LoRA, zmień wartość model na qwen-finance i wyślij monit dotyczący jego zadania dostrojonego. Żądanie nie wymaga parametru api-version zapytania.

Wdrażanie adapterów i zarządzanie nimi za pomocą interfejsu REST

Użyj interfejsu REST do tworzenia wdrożeń adapterów i zarządzania nimi przy użyciu wersji interfejsu API 2026-09-15-preview.

Utwórz wdrożenie adaptera, podając identyfikator zarejestrowanego modelu źródłowego i docelową nazwę wdrożenia. Użyj tokenu dostępu dla Azure Resource Manager w nagłówku autoryzacji. Zobacz Zarządzanie zasobami Azure za pomocą interfejsu REST.

PUT https://management.azure.com/subscriptions/{subscriptionId}/resourceGroups/{resourceGroup}/providers/Microsoft.CognitiveServices/accounts/{accountName}/adapterDeployments/{adapterDeploymentName}?api-version=2026-09-15-preview
Authorization: ******
Content-Type: application/json

{
  "properties": {
    "sourceModelId": "azureai://accounts/{accountName}/projects/{projectName}/models/{modelName}/versions/{version}",
    "targetDeploymentName": "{targetDeploymentName}"
  }
}

Wdrożenie jest asynchroniczne. Sonduj adres URL zwrócony w Azure-AsyncOperation, z uwzględnieniem retry-after, aż operacja zakończy się powodzeniem albo niepowodzeniem. Upewnij się, że Succeeded jest properties.provisioningState przed przetestowaniem adaptera.

Sprawdź stan wdrożenia adaptera:

GET https://management.azure.com/subscriptions/{subscriptionId}/resourceGroups/{resourceGroup}/providers/Microsoft.CognitiveServices/accounts/{accountName}/adapterDeployments/{adapterDeploymentName}?api-version=2026-09-15-preview
Authorization: ******

Wyświetl adaptery dołączone do wdrożenia docelowego:

GET https://management.azure.com/subscriptions/{subscriptionId}/resourceGroups/{resourceGroup}/providers/Microsoft.CognitiveServices/accounts/{accountName}/adapterDeployments?api-version=2026-09-15-preview&$filter=properties%2FtargetDeploymentName%20eq%20%27{targetDeploymentName}%27
Authorization: ******

Odpowiedź jest podzielona na strony; przechodź dalej za pomocą nextLink, aż przestanie się pojawiać.

Usuń wdrożenie adaptera:

DELETE https://management.azure.com/subscriptions/{subscriptionId}/resourceGroups/{resourceGroup}/providers/Microsoft.CognitiveServices/accounts/{accountName}/adapterDeployments/{adapterDeploymentName}?api-version=2026-09-15-preview
Authorization: ******

Usuwanie może być również asynchroniczne. W przypadku odpowiedzi 202 postępuj zgodnie z adresem URL operacji do momentu zakończenia usuwania. 204 Odpowiedź nie wymaga dalszego sondowania.

Zarządzanie wdrożeniami i ich porządkowanie

Zarządzaj każdym adapterem według nazwy wdrożenia. Aby przenieść adapter do innego zgodnego wdrożenia docelowego, zaktualizuj go w targetDeploymentName, zachowując ten sam sourceModelId. Poczekaj, aż aktualizacja zakończy się pomyślnie, zanim zaczniesz korzystać z nowego wdrożenia docelowego.

Nie można zmienić wersji modelu źródłowego istniejącego wdrożenia adaptera. Aby wdrożyć nową dostrojoną wersję, utwórz nowe wdrożenie adaptera o innej nazwie lub usuń i utwórz ponownie istniejące wdrożenie.

Usuń wdrożenie adaptera, gdy nie musisz już go obsługiwać. Użyj żądania usuwania REST w temacie Wdrażanie adapterów i zarządzanie nimi za pomocą interfejsu REST.

Usunięcie wdrożenia adaptera nie powoduje usunięcia zarejestrowanej wersji modelu ani wdrożenia docelowego. Inne adaptery nadal używają współużytkowanych zasobów obliczeniowych.

Usuń wszystkie dołączone wdrożenia adapterów przed usunięciem wdrożenia docelowego utworzonego na potrzeby tego ćwiczenia. Jeśli dodano opcjonalny qwen-finance adapter, usuń go też. Nie usuwaj udostępnionego wdrożenia docelowego, którego nadal potrzebują inne aplikacje.

Przed usunięciem zarejestrowanej wersji modelu adaptera usuń wdrożenia adaptera, które z niej korzystają.

Skaluj współużytkowane zasoby obliczeniowe za pomocą wdrożenia docelowego. Zmiana wydajności wpływa na zasoby obliczeniowe współużytkowane przez adaptery.

Troubleshoot

Przed ponowną próbą sprawdź rejestrację adaptera, zgodność modelu podstawowego i stan wdrożenia.

Objaw Co należy sprawdzić?
Adapter nie znajduje się na liście modeli Upewnij się, że adapter jest zarejestrowany w wybranym projekcie. Samo ukończenie treningu nie wystarczy.
Nie można wdrożyć adaptera Upewnij się, że adapter jest zarejestrowany jako dane wyjściowe zadania dostrajania w Foundry. Ten przepływ obsługuje tylko adaptery utworzone przez dostrajanie w narzędziu Foundry.
Żadne wdrożenie nie pojawia się w wdrożeniu docelowym Utwórz zgodne wdrożenie docelowe z obsługą LoRA w ramach przepływu wdrażania adaptera.
Nie pojawia się żaden zgodny szablon Upewnij się, że szablon z obsługą usługi LoRA jest dostępny dla modelu i regionu. Szablon bez obsługi loRA nie może hostować adaptera.
Tworzenie wdrożenia docelowego kończy się niepowodzeniem z powodu błędu przydziału Sprawdź rodzinę akceleratorów, region i liczbę instancji. W razie potrzeby poproś o limit przydziału zarządzanych zasobów obliczeniowych.
Adapter i model bazowy nie są zgodne Porównaj dokładny model podstawowy i wersję używaną do dostrajania z wdrożonym modelem podstawowym.
Adapter przekracza limit szablonu Sprawdź liczbę adapterów, rangę LoRA i wymagania dotyczące pamięci względem obsługiwanych limitów wybranego szablonu.
Odpowiedź wygląda jak model bazowy Upewnij się, że wdrożenie adaptera zostało ukończone i że testujesz adapter, a nie tylko wdrożenie docelowe. Użyj fragmentu kodu portalu adaptera.
Nie można zaktualizować wersji modelu źródłowego Utwórz nowe wdrożenie adaptera lub usuń i utwórz ponownie istniejące wdrożenie. Wersja modelu źródłowego jest ustalona dla istniejącego wdrożenia.

Treści powiązane

Dowiedz się więcej na temat wdrożeń adapterów, wdrożeń docelowych, współużytkowanych zasobów obliczeniowych i innych dostosowanych opcji wdrażania modelu:

  • Ostatnia aktualizacja o