Monitorowanie kondycji i wydajności agenta w całej floty

W miarę, jak organizacja skaluje się od izolowanych kopilotów do autonomicznych flot wielu agentów, utrzymanie widoczności i kontroli staje się krytyczne. Microsoft Foundry Control Plane to ujednolicone centrum poleceń, w którym można monitorować wszystkich agentów, modele i narzędzia w całym przedsiębiorstwie od kompilacji do środowiska produkcyjnego.

Monitorowanie floty obsługuje wiele ról:

• Menedżerowie zespołów uzyskują nadzór nad operacjami agentów i produktywnością zespołów.
• Administratorzy wymuszają zasady ładu i śledzą stan zgodności.
• Menedżerowie kosztów optymalizują wydatki i identyfikują nieefektywność zasobów.
• Zespoły ds. zabezpieczeń monitorują zabronione zachowania i naruszenia zasad.

W tym artykule pokazano, jak używać funkcjonalności Control Plane Foundry do śledzenia kondycji agenta, wydajności, zgodności oraz efektywności kosztowej na dużą skalę. Korzystając ze scentralizowanego monitorowania, można zidentyfikować problemy na wczesnym etapie, zoptymalizować zużycie zasobów i zapewnić bezpieczne i niezawodne działanie systemów sztucznej inteligencji.

Wymagania wstępne

• Konto Azure z aktywną subskrypcją. Jeśli go nie masz, utwórz konto free Azure, które obejmuje subskrypcję bezpłatnej wersji próbnej.

• Projekt Foundry. Jeśli go nie masz, utwórz projekt.

• Następujące uprawnienia:
  • Odczyt dostępu do projektu i subskrypcji, dla której chcesz wyświetlić dane
  • Log Analytics Reader rola lub wyższa w zasobie Application Insights skojarzonym z agentem
  • Rola Czytelnika Cost Management

Jak działa monitorowanie

Foundry Control Plane odkrywa wszystkich agentów, do których masz dostęp. Używa ona zasobów usługi Application Insights hostujących agentów, aby ułatwić monitorowanie i diagnozowanie tych agentów.

Foundry Control Plane obsługuje:

Ponieważ Płaszczyzna Kontrolna Foundry agreguje informacje wśród zasobów w ramach subskrypcji, różni użytkownicy mogą mieć różne listy agentów w zależności od swojego poziomu dostępu.

Płaszczyzna sterowania Foundry agreguje dzienniki i metryki dostępne w każdym zasobie usługi Application Insights, które są połączone z każdym agentem.

Płaszczyzna sterowania programu Foundry wymaga od agentów rejestrowania informacji diagnostycznych zgodnie ze standardami OpenTelemetry z konwencjami semantycznymi dla aplikacji generatywnej sztucznej inteligencji. Nie musisz konfigurować usługi Application Insights dla każdego zasobu, ale jest to zdecydowanie zalecane. Gdy płaszczyzna sterowania zawiera te dane, może dostarczyć następujące dane:

• Metryki kondycji floty: śledzenie aktywnych agentów, wskaźniki ukończenia działań i trendy błędów w całej flocie.
• Śledzenie kosztów i wydajności: monitorowanie użycia tokenów, użycia budżetu i wydajności zasobów we wszystkich agentach.
• Wykrywanie anomalii: identyfikowanie skoków kosztów, obniżenie wydajności i pojawiających się problemów za pośrednictwem analizy trendów.
• Analiza wgłębna: Przejście od metryk na poziomie floty do poszczególnych tras i dzienników agentów na potrzeby szczegółowego zbadania.

Konfigurowanie monitorowania

Wykonaj następujące kroki dla każdego projektu, w którym chcesz skonfigurować monitorowanie:

1. Zaloguj się do Microsoft Foundry. Upewnij się, że przełącznik New Foundry jest włączony. Te kroki dotyczą rozwiązania Foundry (nowy).

   

2. Na pasku narzędzi wybierz pozycję Zarządzaj.

3. W okienku po lewej stronie wybierz pozycję Project szczegóły.

4. Wybierz kartę Połączone zasoby .

5. Sprawdź, czy istnieje skojarzony zasób dla kategorii AppInsights.

   

6. Jeśli nie ma skojarzonego zasobu, dodaj go, wybierając pozycję Dodaj połączenie , a następnie wybierając pozycję Application Insights.

   Wskazówka

   Możesz wysyłać ślady do różnych zasobów usługi Application Insights lub do tego samego zasobu, w zależności od wymagań dotyczących ładu i zabezpieczeń.

Projekt jest teraz skonfigurowany do obserwowania i śledzenia. Aby sprawdzić, czy monitorowanie jest aktywne, przejdź do pozycji Przegląd działania>w portalu Foundry, wybierz projekt z listy rozwijanej i upewnij się, że metryki agenta są wyświetlane na pulpicie nawigacyjnym. Wypełnienie metryk może potrwać kilka minut po początkowej konfiguracji.

Wyświetlanie metryk

Zagregowane metryki dla wszystkich agentów w wybranym projekcie można wyświetlić przy użyciu narzędzia Foundry. Okienko Przegląd zawiera szczegółowe informacje na temat kondycji floty, zgodności i trendów wydajności.

1. Zaloguj się do Microsoft Foundry. Upewnij się, że przełącznik New Foundry jest włączony. Te kroki dotyczą rozwiązania Foundry (nowy).

   

2. Na pasku narzędzi wybierz pozycję Obsługa.

3. Przejrzyj metryki wyświetlane w okienku Przegląd , w którym są domyślnie wyświetlane typowe metryki i szczegółowe informacje dla wszystkich odnalezionych agentów w ramach subskrypcji.

   

4. Z listy rozwijanej projektu wybierz projekt, aby w razie potrzeby ograniczyć zakres metryk.

5. Wybierz zakres dat przy użyciu selektorów dat w prawym górnym rogu.

Okienko Przegląd zawiera wyniki kondycji na poziomie floty, podsumowania alertów, liczby aktywnych agentów, współczynniki błędów i metryki zgodności dla wybranego zakresu czasu. Użyj tego widoku, aby szybko ocenić stan operacyjny floty i zidentyfikować obszary, które wymagają uwagi.

Wyświetlanie poszczególnych metryk agenta

Wszystkie zasoby można wyświetlić w ramach określonego projektu wraz z metrykami najwyższego poziomu z witryny Foundry.

1. Zaloguj się do Microsoft Foundry. Upewnij się, że przełącznik New Foundry jest włączony. Te kroki dotyczą rozwiązania Foundry (nowy).

   

2. Na pasku narzędzi wybierz pozycję Obsługa.

3. W okienku po lewej stronie wybierz pozycję Zasoby.

4. Wybierz kartę Agenci .

   

   Karta zawiera szczegóły agentów odnalezionych w ramach subskrypcji. Aby dowiedzieć się więcej o tych szczegółach, zobacz Spis agentów.

5. Aby wyświetlić bardziej szczegółowe informacje na temat wydajności poszczególnych agentów, wybierz agenta. Wyświetlone okienko zapewnia szybki wgląd w kondycję wybranego agenta i jego niedawną aktywność. Służy do identyfikowania problemów i podejmowania działań naprawczych.

   

   Okienko zawiera następujące sekcje:

   • Aktywne alerty: wyświetl alerty dotyczące zasad, zabezpieczeń i oceny pogrupowane według ważności i podejmij działania.
   • Aktywność: Zobacz kluczowe metryki, takie jak współczynnik błędów w czasie, informacje o wszystkich uruchomieniach i informacje na temat zużycia tokenów.

Aby dowiedzieć się więcej na temat zarządzania poszczególnymi agentami, zobacz Zarządzanie agentami na dużą skalę.

Rozwiązywanie problemów z monitorowaniem

Jeśli na pulpicie nawigacyjnym nie widzisz oczekiwanych metryk ani agentów, sprawdź następujące typowe przyczyny:

• Agenci nie są wyświetlani w okienku Zasoby: upewnij się, że masz uprawnienia do odczytu subskrypcji i projektu, w którym agenci są wdrażani. Różni użytkownicy widzą różnych agentów w zależności od poziomu dostępu.
• Metryki są puste lub brakujące: upewnij się, że zasób usługi Application Insights jest połączony z projektem (zobacz Konfigurowanie monitorowania). Wypełnienie metryk może potrwać kilka minut po początkowym połączeniu.
• Metryki kondycji lub ślady nie są dostępne dla określonego agenta: agent może być uruchomiony na zasobie bez skonfigurowanej usługi Application Insights. Połącz zasób usługi Application Insights z projektem agenta, aby włączyć dane o stanie zdrowia i szczegółowe analizy.
• Dane kosztów nie pojawiają się: Sprawdź, czy masz rolę Czytelnik zarządzania kosztami w subskrypcji.

Powiązana zawartość

• Co to jest Microsoft Foundry Control Plane?
• Zarządzanie agentami na dużą skalę
• Rejestrowanie agentów niestandardowych i zarządzanie nimi