Omówienie wdrażania adaptera dla zarządzanych zasobów obliczeniowych (wersja zapoznawcza)

Wdrożenie adaptera udostępnia adapter adaptacji niskiego rzędu (LoRA) w zgodnym zarządzanym wdrożeniu docelowym obliczeń w Microsoft Foundry. Wdrożenia adapterów nie wymagają dodatkowych zasobów obliczeniowych. Współużytkują zasoby obliczeniowe udostępniane przez wdrożenie modelu bazowego, nazywane wdrożeniem docelowym. Mimo że wdrożenia adapterów nie wymagają dodatkowych zasobów obliczeniowych, są dostarczane z własną nazwą wdrożenia, co umożliwia kierowanie żądań wnioskowania za pośrednictwem punktu końcowego wnioskowania konta Foundry.

Wiele zgodnych adapterów może współużytkować jedno wdrożenie docelowe. Ta konfiguracja jest nazywana „multi-LoRA serving”.

Ten artykuł dotyczy tylko adapterów LoRA produkowanych jako dane wyjściowe dostrajania w narzędziu Foundry. Nie można jeszcze zaimportować własnych adapterów.

Jak adaptery LoRA specjalizują model podstawowy

Adaptacja niskiego rzędu jest techniką dostrajania, polegającą na trenowaniu niewielkiego zestawu dodatkowych parametrów zamiast aktualizować każdy parametr w modelu podstawowym. Wynikowy adapter LoRA to lekki zestaw wyuczonych zmian, które specjalizują model dla zadania lub domeny.

Adapter LoRA nie może działać samodzielnie. W czasie wnioskowania środowisko uruchomieniowe obsługujące łączy adapter z zgodnym modelem bazowym. Dokładny model podstawowy i wersja mają znaczenie, ponieważ zmiany wyuczone przez adapter dotyczą architektury i wag tego modelu.

Zasoby we wdrożeniu adaptera

Serwowanie adaptera korzysta z powiązanych zasobów modelu i wdrażania. Każdy zasób ma odrębną odpowiedzialność.

Na przykład wdrożenie docelowe o nazwie qwen-prod może hostować wdrożenia adapterów o nazwach qwen-support i qwen-finance. Oba adaptery używają modelu podstawowego, obliczeń i punktu końcowego dostarczonych przez qwen-prod. Ich oddzielne nazwy wdrożeń określają, które dostrojone zachowanie wybiera aplikacja.

Jak działa udostępnianie multi-LoRA

Docelowe wdrożenie jest wspólną platformą usługową. Szablon wdrożenia określa, czy środowisko uruchomieniowe obsługuje loRA i definiuje typ akceleratora, wystąpienia modelu i inną konfigurację środowiska uruchomieniowego.

Dołączanie adaptera nie powoduje utworzenia innego wystąpienia modelu ani zwiększenia pojemności wdrożenia docelowego. Każdy adapter docelowy korzysta z tej samej przepustowości obsługowej. Skalowanie wdrożenia docelowego zmienia pojemność dostępną dla modelu podstawowego i wszystkich dołączonych adapterów.

Jak wnioskowanie wybiera adapter

Adapter musi zakończyć aprowizację, zanim będzie mógł obsługiwać żądania. Pomyślne wdrożenie zgłasza stan inicjowania obsługi Succeeded.

Załóżmy, że qwen-prod jest docelowym wdrożeniem modelu podstawowego, a qwen-support i qwen-finance są wdrożeniami adapterów. Wysyłaj żądania do punktu końcowego /openai/v1/chat/completions konta usługi Foundry. Ustaw model na nazwę wdrożenia, którą chcesz wywołać:

Następujące żądanie wybiera adapter obsługi. Skopiuj punkt końcowy konta ze szczegółów wdrożenia adaptera w portalu. W przypadku uwierzytelniania Microsoft Entra ID uzyskaj token dostępu dla zakresu https://ai.azure.com/.default.

POST {account-endpoint}/openai/v1/chat/completions
Authorization: Bearer {access-token}
Content-Type: application/json

{
  "model": "qwen-support",
  "messages": [
    {
      "role": "user",
      "content": "How do I reset my account password?"
    }
  ]
}

Aby wywołać adapter finansowy, zmień wartość model na qwen-finance i użyj monitu dla jego zadania. Usługa rozwiązuje wdrożenie docelowe adaptera wewnętrznie.

Aby uzyskać instrukcje dotyczące uwierzytelniania i testowania, zobacz Testowanie adaptera z ukończeniami czatu.

Wymagania dotyczące zgodności i pojemności

Program Foundry sprawdza poprawność adaptera i wdrożenia docelowego przed udostępnieniem adaptera. Konfiguracja musi spełniać następujące wymagania:

• Adapter jest zarejestrowanym wynikiem zadania dostrajania w Foundry.
• Wdrożenie docelowe uruchamia obsługiwany model podstawowy i wersję.
• Element docelowy używa szablonu wdrożenia obsługującego usługę LoRA.
• Adapter mieści się w limitach obsługiwanej liczby adapterów szablonu, rangi LoRA i dostępnej pamięci.
• Zasób docelowy ma wystarczający zarządzany limit przydziału mocy obliczeniowej i pojemność obliczeniową dla rodziny akceleratorów i regionu.

Cykl życia i zależności adaptera

Wdrożenie adaptera i zarejestrowany adapter LoRA są oddzielnymi zasobami. W poniższych regułach opisano, jak zmiany wdrożenia wpływają na wdrożenie adaptera i wdrożenie docelowe.

Istniejące wdrożenie adaptera odwołuje się do stałej wersji zarejestrowanego adaptera LoRA, a nie modelu podstawowego. Aby obsłużyć inną wersję adaptera, utwórz nowe wdrożenie adaptera lub usuń i utwórz ponownie istniejące wdrożenie.

To samo źródło adaptera można przenieść do innego zgodnego wdrożenia docelowego, aktualizując nazwę wdrożenia docelowego. Poczekaj na pomyślne zakończenie aktualizacji przed kierowaniem żądań do nowego celu.

Usunięcie wdrożenia adaptera nie powoduje usunięcia zarejestrowanej wersji modelu ani wdrożenia docelowego. Nie ma to również wpływu na inne karty współdzielące obiekt docelowy.

Usuń zależne wdrożenia adaptera przed usunięciem zarejestrowanej wersji modelu adaptera lub wdrożenia docelowego. Ta kolejność uniemożliwia, aby wdrożenie adaptera odwoływało się do źródła lub obiektu docelowego, które już nie istnieją.

Rozliczenia, przydziały i limity

Wdrożenie docelowe jest rozliczane co godzinę za każdy akcelerator. Limit zarządzanych zasobów obliczeniowych jest przydzielany na rodzinę akceleratorów i region, niezależnie od limitu przydziału maszyn wirtualnych Azure. Aby uzyskać więcej informacji, zobacz Rozliczenia i limity przydziału dla managed compute.

Wdrożenia adapterów nie są wyceniane oddzielnie. Opłaty dotyczą zasobów obliczeniowych wdrożenia docelowego.

Aby uzyskać informacje na temat limitu liczby adapterów, zobacz Wdrażanie adapterów w portalu.

Aby uzyskać informacje na temat bieżących stawek zasobów obliczeniowych zarządzanych, zobacz kalkulator cen Azure.

Następny krok

Wdróż i przetestuj jeden lub więcej zarejestrowanych adapterów LoRA w zgodnym wdrożeniu docelowym.