Monitorowanie wdrożeń modeli w modelach Microsoft Foundry

W tym artykule wyjaśniono, jak używać metryk i dzienników Azure Monitor do śledzenia dostępności, wydajności i użycia wdrożeń modeli w Foundry Models. Azure Monitor automatycznie zbiera i agreguje metryki i dzienniki z wdrożeń modeli foundry, dzięki czemu można wyświetlać dane wydajności w czasie rzeczywistym i konfigurować alerty dotyczące problemów.

Wymagania wstępne

Aby korzystać z możliwości monitorowania wdrożeń modeli w Foundry Models, potrzebujesz następujących elementów:

• Zasób Microsoft Foundry.

  Wskazówka

  Jeśli używasz bezserwerowych punktów końcowych interfejsu API i chcesz skorzystać z możliwości monitorowania opisanych w tym artykule, przenieś swoje bezserwerowe punkty końcowe interfejsu API do Foundry Models.

• Co najmniej jedno wdrożenie modelu.

• Aby wyświetlić metryki, użytkownik potrzebuje co najmniej roli Czytelnik monitorowania w zasobie.

• Aby skonfigurować ustawienia diagnostyczne: użytkownik potrzebuje roli Współautor monitorowania (lub równoważnej) dla zasobu.

Metryki

Azure Monitor automatycznie zbiera metryki z Foundry Models. Nie jest wymagana żadna konfiguracja. Oto następujące metryki:

• Przechowywane w bazie danych metryk szeregów czasowych Azure Monitor.
• Lekki i zdolny do obsługi alertów niemal w czasie rzeczywistym.
• Służy do śledzenia wydajności zasobu w czasie.

Wyświetlanie metryk

Azure Monitor metryki mogą być odpytywane przy użyciu wielu narzędzi, w tym:

Portal usługi Foundry

Metryki można wyświetlić w portalu Foundry. Aby je wyświetlić, wykonaj następujące kroki:

1. Przejdź do portalu Foundry.

2. W obszarze Moje zasoby w menu paska bocznego wybierz pozycję Modele i punkty końcowe, a następnie wybierz nazwę wdrożenia, o którym chcesz wyświetlić metryki.

3. Wybierz kartę Metryki .

4. Możesz uzyskać dostęp do przeglądu typowych metryk, które mogą być interesujące. W przypadku metryk związanych z kosztami wybierz link Azure Cost Management który zapewnia dostęp do szczegółowych metryk kosztów po użyciu w sekcji Analiza kosztów znajdująca się w portalu Azure.

   

   Dane kosztów w portalu Azure wyświetlają rzeczywiste opłaty po zużyciu związane z użytkowaniem modelu, w tym z innymi zasobami sztucznej inteligencji w narzędziu Foundry. Aby uzyskać pełną listę zasobów sztucznej inteligencji, zobacz Tworzenie przy użyciu dostosowywalnych interfejsów API i modeli. Jest około pięciogodzinne opóźnienie od zdarzenia dotyczącego rozliczeń do momentu, kiedy można je wyświetlić w analizie kosztów w portalu Azure.

   Ważne

   Link Azure Cost Management udostępnia bezpośredni link w portalu Azure, umożliwiając użytkownikom dostęp do szczegółowych metryk kosztów wdrożonych modeli sztucznej inteligencji. Ten hiperlink integruje się z widokiem usługi Azure Cost Analysis, oferując transparentne i praktyczne spostrzeżenia na temat kosztów na poziomie modelu.

   Link bezpośredni kieruje użytkowników do widoku Analiza kosztów w portalu Azure, zapewniając środowisko wyświetlania za pomocą jednego kliknięcia dla każdego zasobu, w tym kosztu i użycia żetonu wejściowego i wyjściowego. Aby wyświetlić dane dotyczące kosztów, musisz mieć co najmniej read dostęp do konta Azure. Aby uzyskać informacje na temat przypisywania dostępu do danych usługi Cost Management, zobacz Przypisywanie dostępu do danych.

5. Metryki można wyświetlać i analizować za pomocą eksploratora Azure Monitor metrics w celu dalszego fragmentowania i filtrowania metryk wdrażania modelu.

   

Eksplorator metryk

Eksplorator metryk to narzędzie w portalu Azure, które umożliwia wyświetlanie i analizowanie metryk tych zasobów Azure. Aby uzyskać więcej informacji, zobacz Analyze metrics with Azure Monitor metrics explorer.

Aby użyć Azure Monitor, wykonaj następujące kroki:

1. Przejdź do portalu Azure.

2. Wpisz i wybierz Monitor w polu wyszukiwania.

3. Wybierz pozycję Metryki w menu paska bocznego.

4. W obszarze Wybierz zakres wybierz zasoby, które chcesz monitorować. Możesz wybrać jeden zasób lub wybrać grupę zasobów lub subskrypcję. Jeśli tak jest, upewnij się, że wybierzesz Typy zasobów jako Narzędzia odlewnicze.

5. Zostanie wyświetlony eksplorator metryk. Wybierz metryki , które chcesz eksplorować. W poniższym przykładzie pokazano liczbę żądań skierowanych do wdrożeń modelu w zasobie.

   

   Ważne

   Metryki w kategorii Azure OpenAI zawierają metryki dla modeli Azure OpenAI w zasobie. Kategoria Models0 zawiera wszystkie modele dostępne w zasobie, w tym Azure OpenAI, DeepSeek i Phi. Zalecamy przejście do tego nowego zestawu metryk.

6. Możesz dodać dowolną liczbę metryk do tego samego wykresu lub do nowego wykresu.

7. Jeśli potrzebujesz, możesz filtrować metryki według dowolnego z dostępnych wymiarów.

   

8. Warto podzielić określone metryki według niektórych wymiarów. W poniższym przykładzie pokazano, jak podzielić liczbę żądań wysyłanych do zasobu według modelu przy użyciu opcji Dodaj podział:

   

9. Pulpity nawigacyjne można zapisywać w dowolnym momencie, aby uniknąć konieczności ich każdorazowego konfigurowania.

Inne narzędzia

Narzędzia, które umożliwiają bardziej złożoną wizualizację, obejmują:

• Workbooks: dostosowywalne raporty, które można tworzyć w portalu Azure. Skoroszyty mogą zawierać tekst, metryki i zapytania dziennika.
• Grafana: otwarte narzędzie, które świetnie sprawdza się w tworzeniu operacyjnych dashboardów. Za pomocą narzędzia Grafana można tworzyć pulpity nawigacyjne zawierające dane z wielu źródeł innych niż Azure Monitor.
• Power BI: usługa analizy biznesowej, która udostępnia interaktywne wizualizacje w różnych źródłach danych. Możesz skonfigurować Power BI, aby automatycznie importować dane dziennika z Azure Monitor w celu korzystania z tych wizualizacji.

Odniesienie do metryk

Dostępne są następujące kategorie metryk:

Modele — żądania

Modele — opóźnienie

Modele — użycie

Dzienniki

Dzienniki zasobów zapewniają wgląd w operacje wykonywane przez zasób Azure. Dzienniki są generowane automatycznie, ale należy skierować je do dzienników Azure Monitor w celu zapisania lub wykonania zapytania przez konfigurowanie ustawienia diagnostycznego. Dzienniki są zorganizowane w kategoriach. Podczas tworzenia ustawienia diagnostycznego należy określić kategorie dzienników do zebrania.

Dostępne są następujące kategorie dzienników dla Foundry Models:

Aby uzyskać więcej informacji na temat wszystkich dostępnych kategorii dzienników, zobacz Azure Monitor kategorie dzienników zasobów.

Konfigurowanie ustawień diagnostycznych

Wszystkie metryki można eksportować przy użyciu ustawień diagnostycznych w Azure Monitor. Aby analizować dzienniki i dane metryk przy użyciu zapytań Azure Monitor Log Analytics, możesz skonfigurować ustawienia diagnostyczne dla zasobu narzędzi Foundry Tools. Wykonaj tę operację na każdym zasobie.

Aby skonfigurować ustawienia diagnostyczne dla zasobu usługi Foundry:

1. Przejdź do portalu Azure i znajdź zasób Foundry.

2. W obszarze Monitorowanie w menu paska bocznego wybierz pozycję Ustawienia diagnostyczne.

3. Wybierz pozycję Dodaj ustawienie diagnostyczne.

4. Wprowadź nazwę ustawienia diagnostycznego.

5. W obszarze Dzienniki wybierz kategorie dzienników , które chcesz zebrać (na przykład RequestResponseLogs).

6. W obszarze Metryki wybierz pozycję Wszystkie metryki , aby wyeksportować metryki.

7. W obszarze Szczegóły miejsca docelowego wybierz opcję Wyślij do obszaru roboczego Log Analytics i wybierz obszar roboczy w subskrypcji.

8. Wybierz pozycję Zapisz.

Przeszukiwanie dzienników za pomocą KQL

Po skonfigurowaniu ustawień diagnostycznych w celu wysyłania metryk do Log Analytics można przeprowadzać zapytania i analizować dane dzienników przy użyciu języka zapytań Kusto (KQL).

Aby wykonać zapytanie dotyczące metryk, wykonaj następujące kroki:

1. Przejdź do portalu Azure.

2. Znajdź zasób Foundry, który chcesz zapytać.

3. W obszarze Monitorowanie w menu paska bocznego wybierz pozycję Dzienniki. Jeśli zostaną wypełnione opcje okna zapytania, zamknij okno.

4. Zostanie wypełniona nowa karta zapytania. Wybierz listę rozwijaną z Trybem próbkowania i wybierz Tryb KQL.

5. Aby zbadać metryki Azure, wpisz zapytanie niestandardowe lub skopiuj i wklej następujące zapytanie:

   AzureMetrics
   | take 100
   | project TimeGenerated, MetricName, Total, Count, Maximum, Minimum, Average, TimeGrain, UnitName
   

6. Wybierz Uruchom

   Uwaga

   Po wybraniu Monitorowanie>Logs w menu zasobu zostanie otwarty Log Analytics z zakresem zapytania ustawionym na bieżący zasób. Widoczne zapytania dziennika obejmują dane tylko z tego konkretnego zasobu. Aby uruchomić zapytanie zawierające dane z innych zasobów lub danych z innych usług Azure, wybierz Logs z menu Azure Monitor w portalu Azure. Aby uzyskać więcej informacji, zobacz Zakres zapytania i przedział czasowy w Azure Monitor Log Analytics.

Rozwiązywanie problemów

Następne kroki

• Konfigurowanie alertów dotyczących metryk dla zasobów Azure
• Tworzenie skoroszytów Azure Monitor
• Zapoznaj się z typami wdrożeń w Foundry Models
• omówienie Azure Monitor