Otwórz narzędzie LLM modelu

Warning

Przepływ monitów w usłudze Microsoft Foundry i Azure Machine Learning zostanie wycofany 20 kwietnia 2027 r. Przepływ monitów nie jest już zalecany w przypadku nowego programowania. Przeprowadź migrację istniejących aplikacji i wdrożeń przepływu monitów do platformy agentów Microsoft przed 20 kwietnia 2027 r.

Obrazy kontenerów przepływu monitu nie otrzymują już aktualizacji, w tym aktualizacji zabezpieczeń i pakietów. Dotyczy to obrazów środowiska uruchomieniowego Monituj o przepływ, w tym promptflow-runtime, promptflow-runtime-stablei promptflow-python.

Po 20 kwietnia 2027 r. przepływ monitu, w tym środowisko tworzenia w sieci Web w usłudze Microsoft Foundry i Azure Machine Learning, rozszerzenia programu VS Code i powiązane obrazy kontenera przepływu monitów, nie będą już obsługiwane ani dostępne.

Jeśli aplikacja zależy od wdrożeń przepływu monitu lub obrazów środowiska uruchomieniowego, zaplanuj przeniesienie tych obciążeń do obsługiwanych alternatyw, takich jak Microsoft Agent Framework przed datą wycofania. Aby uzyskać wskazówki dotyczące migracji, zobacz Przewodnik po migracji przepływu monitów i przykłady kodu migracji.

Narzędzie Open Model LLM umożliwia wykorzystanie różnych modeli Open Model i Foundational Models, takich jak Falcon i Llama 2 do przetwarzania języka naturalnego w przepływie monitu Azure Machine Learning.

Ostrzeżenie

Powiadomienie o wycofaniu: Narzędzie Open Model LLM zostało uznane za narzędzie LLM, które zapewniają obsługę wszystkich modeli obsługiwanych przez interfejs API wnioskowania modelu sztucznej inteligencji Azure a tym samym zapewniają większą elastyczność.

Poniżej przedstawiono sposób działania rozszerzenia przepływu monitu Visual Studio Code. W tym przykładzie narzędzie jest używane do wywoływania punktu końcowego czatu LlaMa-2 i pytania "Co to jest ciągła integracja?".

Screenshot przedstawiający narzędzie Open Model LLM w Visual Studio Code rozszerzenia przepływu monitu.

To narzędzie przepływu monitów obsługuje dwa różne typy interfejsów API LLM:

  • Czat: pokazany w poprzednim przykładzie. Typ interfejsu API czatu ułatwia interaktywne konwersacje z danymi wejściowymi i odpowiedziami opartymi na tekście.
  • Uzupełnianie: typ interfejsu API uzupełniania służy do generowania uzupełniania tekstu pojedynczej odpowiedzi na podstawie podanych danych wejściowych monitu.

Krótkie omówienie: Jak używać narzędzia Open Model LLM?

  1. Wybierz model z katalogu modeli Azure Machine Learning i pobierz go do wdrożenia.
  2. Nawiąż połączenie z wdrożeniem modelu.
  3. Skonfiguruj ustawienia narzędzi open model llm.
  4. Przygotuj monit.
  5. Uruchom przepływ.

Wymagania wstępne: wdrażanie modelu

  • Wybierz model pasujący do scenariusza z katalogu modeli Azure Machine Learning.
  • Użyj przycisku Deploy, aby wdrożyć model w punkcie końcowym wnioskowania Azure Machine Learning online.
    • Użyj jednej ze standardowych opcji wdrażania.

Aby dowiedzieć się więcej, zobacz Wdrażanie modeli podstawowych w punktach końcowych na potrzeby wnioskowania.

Wymagania wstępne: nawiązywanie połączenia z modelem

Aby przepływ monitował o użycie wdrożonego modelu, musisz nawiązać z nim połączenie. Istnieją dwa sposoby nawiązywania połączenia.

Połączenia punktów końcowych

Po skojarzeniu przepływu z obszarem roboczym Azure Machine Learning lub Microsoft Foundry narzędzie Open Model LLM może używać punktów końcowych w tym obszarze roboczym.

  • Używanie obszarów roboczych Azure Machine Learning lub Foundry: Jeśli używasz przepływu monitu w jednym z obszarów roboczych przeglądarek opartych na stronie internetowej, punkty końcowe online dostępne w tym obszarze roboczym, który jest automatycznie aktualizowany.

  • Najpierw przy użyciu programu VS Code lub kodu: jeśli używasz przepływu monitów w programie VS Code lub jednej z ofert Code First, musisz nawiązać połączenie z obszarem roboczym. Narzędzie Open Model LLM używa klienta azure.identity DefaultAzureCredential do autoryzacji. Jednym ze sposobów jest ustawienie wartości poświadczeń środowiska.

Połączenia niestandardowe

Narzędzie Open Model LLM używa polecenia CustomConnection. Przepływ monitów obsługuje dwa typy połączeń:

  • Połączenia obszaru roboczego — połączenia przechowywane jako wpisy tajne w obszarze roboczym Azure Machine Learning. Chociaż te połączenia mogą być używane, w wielu miejscach są one często tworzone i utrzymywane w interfejsie użytkownika programu Studio. Aby dowiedzieć się, jak utworzyć połączenie niestandardowe w interfejsie użytkownika programu Studio, zobacz jak utworzyć połączenie niestandardowe.

  • Połączenia lokalne — połączenia przechowywane lokalnie na maszynie. Te połączenia nie są dostępne w środowisku użytkownika programu Studio, ale mogą być używane z rozszerzeniem programu VS Code. Aby dowiedzieć się, jak utworzyć lokalne połączenie niestandardowe, zobacz jak utworzyć połączenie lokalne.

Wymagane klucze do ustawienia to:

  • endpoint_url
    • Tę wartość można znaleźć w utworzonym wcześniej punkcie końcowym wnioskowania.
  • endpoint_api_key
    • Upewnij się, że ustawiono ją jako wartość wpisu tajnego.
    • Tę wartość można znaleźć w utworzonym wcześniej punkcie końcowym wnioskowania.
  • model_family
    • Obsługiwane wartości: LLAMA, DOLLY, GPT2 lub FALCON
    • Ta wartość zależy od typu docelowego wdrożenia.

Uruchamianie narzędzia: dane wejściowe

Narzędzie Open Model LLM ma wiele parametrów, z których niektóre są wymagane. Aby uzyskać szczegółowe informacje, zobacz poniższą tabelę, aby uzyskać szczegółowe informacje, możesz dopasować te parametry do powyższego zrzutu ekranu, aby uzyskać czytelność wizualną.

Nazwa/nazwisko Typ Opis Wymagane
api ciąg Tryb interfejsu API, który zależy od używanego modelu i wybranego scenariusza. Obsługiwane wartości: (Ukończenie | Czat) Yes
endpoint_name ciąg Nazwa punktu końcowego wnioskowania online z wdrożonym modelem. Przejmuje priorytet nad połączeniem. Yes
temperatura float Losowość wygenerowanego tekstu. Wartość domyślna to 1. No
max_new_tokens liczba całkowita Maksymalna liczba tokenów do wygenerowania w zakończeniu. Wartość domyślna to 500. No
top_p float Prawdopodobieństwo użycia najlepszego wyboru z wygenerowanych tokenów. Wartość domyślna to 1. No
model_kwargs słownik Te dane wejściowe są używane do zapewnienia konfiguracji specyficznej dla używanego modelu. Na przykład model Llama-02 może używać elementu {"temperature":0.4}. Domyślny: {} No
nazwa_wdrożenia ciąg Nazwa wdrożenia docelowego w punkcie końcowym wnioskowania online. Jeśli żadna wartość nie zostanie przekazana, zostaną użyte ustawienia ruchu modułu równoważenia obciążenia wnioskowania. No
monit ciąg Monit tekstowy używany przez model językowy do wygenerowania odpowiedzi. Yes

Dane wyjściowe

API Zwracany typ Opis
Ukończenie ciąg Tekst jednego przewidywanego ukończenia
Chat ciąg Tekst jednej odpowiedzi int konwersacji

Wdrażanie w punkcie końcowym online

Podczas wdrażania przepływu zawierającego narzędzie Open Model LLM do punktu końcowego online istnieje dodatkowy krok konfigurowania uprawnień. Podczas wdrażania za pośrednictwem stron internetowych istnieje wybór typów tożsamości przypisanych przez system i tożsamości przypisanych przez użytkownika. Tak czy inaczej, korzystając z portalu Azure (lub podobnej funkcjonalności), dodaj rolę funkcji zadania "Czytelnik" do tożsamości w obszarze roboczym Azure Machine Learning lub w projekcie Ai Studio, który hostuje punkt końcowy. Może być konieczne odświeżenie wdrożenia przepływu monitu.

  • Last updated on