Środowisko testowe agenta w Agencie Azure SRE

Przetestuj zachowanie agenta niestandardowego w czasie rzeczywistym przed wdrożeniem zmian. Edytuj instrukcje, narzędzia i przekazy, otrzymując natychmiastową informację zwrotną w układzie z podzielonym ekranem. Oceń jakość agenta za pomocą oceniania opartego na sztucznej inteligencji i szybkich poprawek.

Problem

Tworzenie efektywnych konfiguracji agentów jest procesem iteracyjnym. Piszesz instrukcje, przypisujesz narzędzia i konfigurujesz przekazywanie. Może się okazać, że agent błędnie rozumie intencję lub nie ma krytycznego narzędzia dopiero po wdrożeniu. Każdy cykl edycji, wdrażania, testowania i naprawiania marnuje czas i ryzyko zakłócania przepływów pracy produkcyjnych.

Bez dedykowanego środowiska testowego wdrażasz zmiany, aby zobaczyć, jak zachowują się. Testujesz w konwersacjach na żywo, które wpływają na rzeczywiste wątki. Domyślasz się, czy instrukcje są wystarczająco jasne.

Jak działa plac zabaw

Plac zabaw to dedykowany widok na Kanwie Agenta wraz z widokami Kanwy i Tabeli. Wybierz pozycję Test playground z przełącznika widoku, aby wejść do środowiska z podziałem ekranu, gdzie edytujesz i testujesz.

Wybierz, co chcesz przetestować

Użyj listy rozwijanej Agent niestandardowy/Narzędzie u góry, aby wybrać, co należy przetestować.

Edytowanie i testowanie obok siebie

W przypadku agentów niestandardowych plac zabaw dzieli się na dwa panele.

Edytor:

• Widok formularza: Edycja niestandardowej nazwy agenta, instrukcji, instrukcji przekazania, przekazywania niestandardowych agentów, narzędzi oraz dostępu do bazy wiedzy.
• Widok YAML: edytuj pełną konfigurację agenta jako YAML.

Testowanie:

• Karta testu: Porozmawiaj z agentem za pomocą bieżącej konfiguracji.
• Karta Oceny: Uruchamianie analizy jakości opartej na sztucznej inteligencji.

Co sprawia, że takie podejście różni się

W przeciwieństwie do testowania konwersacji na żywo plac zabaw zapewnia izolowane środowisko, w którym zmiany nie wpływają na wątki produkcyjne. Układ ekranu podzielonego oznacza, że efekt instrukcji zmienia się natychmiast bez przełączania między widokami lub oczekiwania na wdrożenia.

Funkcja oceny wykracza poza testowanie ręczne. Sztuczna inteligencja analizuje konfigurację agenta i zachowanie czatu, aby napotkać problemy, których możesz przegapić: niejasne instrukcje, brakujące narzędzia, luki bezpieczeństwa i niezgodność intencji.

Ocena jakości agenta

Karta Ocena zawiera ocenę jakości opartej na sztucznej inteligencji dla konfiguracji agenta. Wybierz pozycję Oceń , aby przeanalizować bieżącą konfigurację i ostatnie zachowanie czatu.

Ocena zwraca następujące wyniki:

Szybkie poprawki

Gdy ocena identyfikuje ulepszenia, wybierz pozycję Przejrzyj i zastosuj , aby otworzyć okno dialogowe szybkich poprawek. Wybierz żądane poprawki, wyświetl podgląd różnic YAML, a następnie użyj przycisku Akceptuj wybrane poprawki . Możesz kontynuować edytowanie lub zapisywanie natychmiast.

Testowanie narzędzi w izolacji

Narzędzia systemowe i narzędzia Kusto można testować niezależnie od placu zabaw agenta.

Narzędzia systemowe

Wybierz narzędzie systemowe z listy rozwijanej Agent niestandardowy/Narzędzie , aby niezależnie przetestować wbudowane funkcje. Wprowadź wartości parametrów i wybierz opcję Wykonaj narzędzie, aby wyświetlić nieprzetworzone dane wyjściowe JSON.

Narzędzia Kusto

Wybierz narzędzie Kusto, aby przetestować zapytanie względem połączonych klastrów. Na panelu testowym są wyświetlane wyniki zapytania z liczbami wierszy, kolumnami i czasem wykonywania. Dostosuj język KQL i uruchom ponownie.

Aby uzyskać instrukcje krok po kroku, zobacz Testowanie narzędzia na placu zabaw.

Konfiguracja wspomagana przez sztuczną inteligencję

Plac zabaw zawiera dwie funkcje wsparcia sztucznej inteligencji do doskonalenia niestandardowych instrukcji agenta:

• Uściślij za pomocą sztucznej inteligencji: ponownie napisz instrukcje i opis przekazywania. Ta funkcja bezpośrednio zastępuje bieżący tekst wersją ulepszoną przez sztuczną inteligencję, dlatego przed zapisaniem przejrzyj zmiany.
• Wyświetl sugestie dotyczące sztucznej inteligencji: otwiera panel tylko do odczytu wraz z formularzem zawierającym zalecenia dotyczące sztucznej inteligencji: sugestie dotyczące ulepszeń, ostrzeżenia dotyczące potencjalnych problemów oraz ulepszone wersje instrukcji i opisu przekazywania. Ta funkcja nie modyfikuje konfiguracji. Użyj go jako odwołania podczas edytowania.

Wprowadzenie

Treści powiązane