Testuj i monitoruj agenta Genie

Przetestuj agenta Genie z rzeczywistymi pytaniami, przejrzyj wygenerowany kod SQL i wizualizacje, edytuj odpowiedzi, gdy usługa Genie się myli, oraz monitoruj użycie agenta i opinie użytkowników, aby zapewnić dokładność agenta w miarę rozwoju danych i pytań. Użyj testów porównawczych, aby ocenić dokładność odpowiedzi na dużą skalę.

Przetestuj agenta Genie

Większość interakcji użytkownika odbywa się w oknie czatu. Najlepszym sposobem, aby dowiedzieć się, czy agent działa tak, jak chcesz, jest przetestowanie go za pomocą realistycznych pytań, które oczekujesz od użytkowników biznesowych.

Przykładowe pytania skonfigurowane w ustawieniach agenta są wyświetlane w oknie czatu. Genie może również generować przykładowe pytania na podstawie kontekstu agenta, aby ułatwić użytkownikom rozpoczęcie eksplorowania danych. Użytkownicy mogą kliknąć przykładowe pytanie lub wprowadzić własne pytania w polu tekstowym w dolnej części ekranu.

Odpowiedzi pojawiają się nad polem tekstowym. Po wprowadzeniu pytania przez użytkownika zostanie on zapisany w historii czatu.

Aby rozpocząć nową konwersację:

1. Kliknij Nowy czat, aby rozpocząć nowy czat. Kliknij Aby otworzyć poprzednią konwersację.
2. Wpisz pytanie w pole tekstowe Zadaj pytanie....

Przeglądanie odpowiedzi

Odpowiedzi są zwykle dostarczane jako odpowiedzi języka naturalnego na pytania i tabela przedstawiająca odpowiedni zestaw wyników. Gdy usługa Genie wykryje, że wizualizacja może poprawić przejrzystość odpowiedzi, zwraca również wizualizację. Dokładna struktura odpowiedzi różni się w zależności od pytania. Jeśli zapytanie SQL zostało wygenerowane, aby odpowiedzieć na pytanie, jest ono zawarte w odpowiedzi.

Informacja zwrotna na odpowiedź

Każda odpowiedź monituje użytkownika o udzielenie odpowiedzi Czy jest to poprawne?. Użytkownicy mogą odpowiedzieć w jeden z następujących sposobów:

• Tak: Potwierdza, że odpowiedź wydaje się prawidłowa.
• Napraw to: Oznacza odpowiedź jako niepoprawną. Użytkownicy mogą wybrać spośród typowych problemów lub wprowadzić własne wyjaśnienie. Mogą wtedy:
  • Kliknij Zatwierdź i spróbuj ponownie, aby odtworzyć odpowiedź z użyciem podanych uwag.
  • Kliknij Prześlij, aby wysłać opinię bez ponownego generowania odpowiedzi.
• Zgłoszenie do przeglądu: Oznacza odpowiedź do ręcznej weryfikacji. Użytkownicy mogą dodać opcjonalny komentarz, aby zapewnić dodatkowy kontekst.

Jako redaktor możesz przeglądać opinie i oznaczone odpowiedzi w interfejsie Genie. Zachowanie Twojego agenta Genie nie zmienia się wyłącznie na podstawie opinii użytkowników. Należy użyć opinii, aby zidentyfikować możliwości poprawy lub odpowiedzieć bezpośrednio na pytania użytkowników. Usługa Databricks zaleca zachęcanie użytkowników do przekazywania opinii na temat agenta przy użyciu tego mechanizmu.

Użytkownicy biznesowi mogą wyświetlać aktualizacje pytań oznaczonych do przeglądu na stronie Monitorowanie . Użytkownicy z co najmniej uprawnieniami CAN MANAGE w agencie Genie mogą przeglądać konkretną wymianę, komentować żądanie i potwierdzać lub poprawiać odpowiedź. Mogą oni uzyskiwać dostęp do opinii i przeglądać żądania na stronie monitorowania. Następnie możesz wykorzystać te informacje zwrotne do dostrojenia odpowiedzi i wprowadzania kolejnych iteracji agenta. Zobacz Monitorowanie agenta.

Inne akcje odpowiedzi

W przypadku odpowiedzi, które obejmują wygenerowany kod SQL, dodatkowe opcje umożliwiają interakcję z zwracanymi danymi.

• Kopiowanie pliku CSV: Użytkownicy Agent mogą pobrać około 1 GB danych wynikowych w formacie CSV. Ostateczny rozmiar pobierania pliku może być nieco większy lub mniejszy niż 1 GB, ponieważ limit 1 GB jest stosowany do wcześniejszego kroku niż pobieranie pliku końcowego. Aby pobrać wyniki, kliknij ikonę pobierania w odpowiedzi.

• Pokaż kod: Kliknij Pokaż kod, aby zobaczyć wygenerowane zapytanie. To może być przydatne do rozwiązywania problemów z nierzetelnymi odpowiedziami. Zobacz Edytuj i zapisz zapytania.

• Menu kebab: Uzyskaj dostęp do następujących akcji:

  • Kopiuj plik CSV: skopiuj odpowiedź CSV do schowka.
  • Dodaj jako instrukcję: Aby dodać interakcje, które mogą być pomocne w nauczaniu Geniego, jak odpowiadać na podobne pytania, kliknij Dodaj jako instrukcję. To otwiera interfejs użytkownika do zapisywania przykładowych zapytań SQL, wypełniony pytaniem i wygenerowanym SQL. Możesz zostawić przykład w takiej formie, jak jest, lub edytować i zapisać, aby wprowadzić zmiany. Zobacz Dodawanie przykładowych zapytań SQL i funkcji.
  • Dodaj jako pytanie benchmarkowe: Dodaj pytanie jako pytanie benchmarkowe. Zobacz Testy porównawcze.
  • Odśwież dane: odśwież dane, uruchamiając wcześniej wygenerowane zapytanie.
  • Ponownie wygeneruj odpowiedź: ponownie prześlij pytanie, aby Genie wygenerował odpowiedź.

Edytuj i zapisz zapytania

Zapytania SQL Geniego można sprawdzać pod kątem poprawności i edytować w miarę potrzeby. Autorzy agentów Genie zwykle znają obszar i dane, dzięki czemu potrafią rozpoznać, kiedy Genie generuje błędną odpowiedź. Często błędy można naprawić za pomocą niewielkiej ilości ręcznego dostrajania do wygenerowanego zapytania SQL. Kliknij pozycję Pokaż wygenerowany kod , aby sprawdzić zapytanie i wyświetlić wygenerowany kod SQL dla dowolnej odpowiedzi.

Możesz edytować wygenerowaną instrukcję SQL, aby ją poprawić, jeśli masz uprawnienia CAN EDIT lub większe na agencie Genie. Po wprowadzeniu poprawek uruchom zapytanie. Następnie możesz zapisać go jako instrukcję, aby nauczyć Genie, jak odpowiedzieć w przyszłości. Aby zapisać edytowane zapytanie, kliknij Dodaj jako instrukcję.

Debugowanie odpowiedzi za pomocą kodu Genie

Gdy usługa Genie zwraca nieprawidłową odpowiedź, użyj kodu Genie, aby zdiagnozować problem i poprawić kontekst agenta:

1. Otwórz kod Genie z odpowiedzi.
2. Opisz problem i żądane zachowanie.
3. Przejrzyj zmiany kontekstu proponowane przez kod Genie i zaakceptuj te, które chcesz zachować.

The Genie Agent is using calendar quarters instead of our fiscal calendar. Update its context to use our fiscal quarters: Q1 is February through April, Q2 is May through July, Q3 is August through October, and Q4 is November through January.

Możesz również użyć kodu Genie, aby zapisać kontekst semantyczny z konwersacji. Gdy użytkownicy wprowadzą nowe terminy lub skorygują zachowanie Genie, poproś Genie Code, aby zapisał to, czego się nauczył. Przejrzyj każdą sugestię i zaakceptuj kontekst, który chcesz dodać do agenta.

Monitoruj agenta

Agent Genie może być uważany za długoterminowe narzędzie do współpracy między zespołami danych a użytkownikami biznesowymi. Gromadzi wiedzę w czasie, a nie służy jako jednorazowe wdrożenie. Gdy użytkownicy zadają nowe pytania, możesz udoskonalić agenta w celu zwiększenia zasięgu i dokładności.

Użyj karty Monitor , aby przejrzeć poszczególne pytania i odpowiedzi, wyświetlić opinie użytkowników i zidentyfikować odpowiedzi oflagowane do przeglądu.

Na karcie Monitor są wyświetlane wszystkie pytania i odpowiedzi, które zostały zadane w agencie. Pytania można filtrować według czasu, oceny, użytkownika lub stanu. Monitorując agenta, użytkownicy z uprawnieniami CAN MANAGE mogą aktywnie zrozumieć zapytania zgłaszane przez użytkowników biznesowych i sposób reagowania agenta Genie.

Zidentyfikowanie pytań, z którymi zmaga się Genie, może pomóc w zaktualizowaniu agenta Genie za pomocą określonych instrukcji w celu ulepszenia odpowiedzi. Kliknij pytanie, aby otworzyć tekst pytania i odpowiedzi i wyświetlić pełny wątek czatu.

Przegląd użycia i trendów

Użyj sekcji Cotygodniowy skrót na karcie Monitor, aby przejrzeć tygodniowy wolumen wiadomości, aktywnych użytkowników i opinie kciukiem w górę/w dół. Aby zidentyfikować najważniejsze trendy użytkowania i typowe problemy, kliknij Analizuj wykorzystanie agentów. Uruchamia to Genie Code, który przegląda wiadomości, opinie i problemy użytkowników z ostatnich sześciu miesięcy oraz raportuje na temat typowych tematów, powtarzających się problemów i sugerowanych ulepszeń kontekstu. Odpowiedzi zawierają cytaty, które odsyłają do odpowiednich rozmów w Twoim agencie. Kliknij cytat, aby otworzyć konwersację bezpośrednio w wątku Kodu Genie.

Przeglądanie konwersacji pod kątem jakości

Udostępnianie czatów Genie umożliwia menedżerom agentów przeglądanie pełnych konwersacji, które użytkownicy biznesowi mają za pomocą agenta Genie. Gdy rozmowa jest ustawiona jako Możliwa do przejrzenia przez menedżerów agentów, użytkownicy z uprawnieniem CAN MANAGE mogą otworzyć rozmowę z zakładki monitoringu, aby przejrzeć cały przebieg rozmowy. Pozwala to ocenić jakość odpowiedzi Genie, reagować na opinie użytkowników i identyfikować obszary, w których dodatkowe instrukcje lub przykładowe zapytania poprawiłyby dokładność. W przypadku rozmów ustawionych jako Prywatne menedżerowie agentów mogą wyświetlać prompty użytkowników na karcie Monitorowanie, ale nie mogą zobaczyć pełnej rozmowy ani wyników. Aby uzyskać więcej informacji, zobacz Udostępnianie konwersacji.

Usuwanie konwersacji

Użytkownicy z uprawnieniem CAN MANAGE w agencie Genie mogą trwale usunąć dowolną konwersację w agencie ze strony monitorowania. Spowoduje to usunięcie konwersacji i jej wiadomości dla wszystkich użytkowników.

1. Otwórz agenta Genie i kliknij kartę Monitor .
2. Kliknij rozmowę, aby otworzyć panel rozmowy.
3. Kliknij pozycję Usuń konwersację.
4. W oknie dialogowym potwierdzenia kliknij przycisk Usuń , aby trwale usunąć konwersację, lub Anuluj , aby zamknąć okno dialogowe bez usuwania.

Benchmarks

Testy porównawcze umożliwiają utworzenie zestawu pytań testowych, które można uruchomić w celu oceny dokładności odpowiedzi Genie. Dobrze zaprojektowany zestaw benchmarków obejmujący najczęściej zadawane pytania użytkowników pomaga ocenić dokładność agenta Genie w miarę jego udoskonalania. Każdy agent Genie może zawierać maksymalnie 500 pytań porównawczych.

Pytania benchmarkowe są uruchamiane jako nowe konwersacje. Nie mają tego samego kontekstu co wątkowa rozmowa Genie. Każde pytanie jest przetwarzane jako nowe zapytanie, korzystając z instrukcji zdefiniowanych w agencie, w tym wszystkich podanych przykładowych funkcji SQL i SQL.

Pytania porównawcze obsługują dwa tryby:

• Tryb czatu: tryb domyślny. Genie ocenia dokładność, porównując wyniki wygenerowane przez program SQL z podaną odpowiedzią SQL.
• Tryb agenta: wykonuje pytania porównawcze przy użyciu tego samego wieloetapowego rozumowania co tryb agenta Genie. Sędzia LLM ocenia odpowiedzi. Możesz podać opcjonalną notatkę ewaluającą, aby przeprowadzić klasyfikację.

Wybierasz tryb podczas testów, a nie przy dodawaniu pytania. Użyj przełącznika trybu w prawym górnym rogu karty Benchmarks, aby wybrać tryb Czat lub Agent dla uruchomienia. Wybrany tryb dotyczy wszystkich pytań w tej rozgrywce.

Dodawanie pytań dotyczących testów porównawczych

Pytania porównawcze powinny odzwierciedlać różne sposoby fraz typowych pytań, które zadają użytkownicy. Można ich używać do sprawdzania odpowiedzi Genie na odmiany fraz pytań lub różnych formatów pytań.

Podczas tworzenia pytania porównawczego możesz opcjonalnie dołączyć zapytanie SQL, którego zestaw wyników jest prawidłową odpowiedzią. Podczas przebiegów testów porównawczych dokładność jest oceniana przez porównanie zestawu wyników z zapytania SQL do tego wygenerowanego przez usługę Genie. Możesz również użyć funkcji SQL katalogu Unity jako wzorcowych odpowiedzi na testy porównawcze.

Aby dodać pytanie porównawcze:

1. W górnej części agenta Genie kliknij pozycję Testy porównawcze.

2. Kliknij pozycję Dodaj test porównawczy.

3. W polu Pytanie wprowadź pytanie porównawcze do przetestowania.

4. (Opcjonalnie) Podaj zapytanie SQL, które odpowiada na pytanie. Możesz napisać własne zapytanie, wpisując je w polu SQL Answer, w tym używając funkcji SQL Unity Catalog. Alternatywnie kliknij pozycję Generuj sql , aby genie zapisało zapytanie SQL. Użyj instrukcji SQL, która dokładnie odpowiada na wprowadzone pytanie.

   Note

   Ten krok jest zalecany przy uruchomieniach trybu czatu. Tylko pytania, które zawierają tę przykładowe instrukcje SQL, można automatycznie ocenić pod kątem dokładności. Wszelkie pytania, które nie zawierają SQL Odpowiedź, wymagają ręcznej oceny. Jeśli używasz przycisku Generuj język SQL , przejrzyj instrukcję , aby upewnić się, że dokładnie odpowiada na to pytanie.

5. (Opcjonalnie) W polu Notatki Oceny wpisz wskazówki dotyczące poprawnej odpowiedzi lub oczekiwanej treści. Podczas działania w trybie Agent Genie przekazuje notatkę z oceną do sędziego LLM. Uwaga może odwoływać się do oczekiwanej zawartości w raportach tekstowych generowanych przez tryb agenta.

6. (Opcjonalnie) Kliknij pozycję Uruchom, aby uruchomić zapytanie i wyświetlić wyniki.

7. Po zakończeniu edytowania kliknij pozycję Dodaj test porównawczy.

8. Aby zaktualizować pytanie po zapisaniu, kliknij ikonę ołówka, aby otworzyć okno dialogowe Aktualizowanie pytania .

Używanie testów porównawczych do testowania alternatywnych fraz pytań

Podczas oceny dokładności agenta Genie ważne jest, aby testy były skonstruowane tak, by odzwierciedlały realistyczne scenariusze. Użytkownicy mogą zadać to samo pytanie na różne sposoby. Usługa Databricks zaleca dodanie wielu fraz tego samego pytania i użycie tego samego przykładowego kodu SQL w testach porównawczych w celu pełnej oceny dokładności. Większość agentów Genie powinna zawierać od dwóch do czterech sformułowań tego samego pytania.

Uruchom pytania testów porównawczych

Użytkownicy z co najmniej uprawnieniami CAN EDIT w agencie genie mogą uruchamiać ocenę porównawczą w dowolnym momencie. Możesz uruchomić wszystkie pytania porównawcze lub wybrać podzbiór pytań do przetestowania.

Dla każdego pytania Genie interpretuje dane wejściowe, generuje sql i zwraca wyniki. Wygenerowane dane SQL i wyniki są następnie porównywane z odpowiedzią SQL zdefiniowaną w pytaniu porównawczym.

Aby uruchomić wszystkie pytania porównawcze:

1. W górnej części agenta Genie kliknij pozycję Testy porównawcze.
2. Kliknij pozycję Uruchom testy porównawcze , aby rozpocząć przebieg testu.

Aby uruchomić podzbiór pytań porównawczych:

1. W górnej części agenta Genie kliknij pozycję Testy porównawcze.
2. Zaznacz pola wyboru obok pytań, które chcesz przetestować.
3. Kliknij Uruchom wybrane, aby rozpocząć przebieg testu na wybranych pytaniach.

Możesz również wybrać podzbiór pytań z poprzedniego wyniku testu porównawczego i ponownie uruchomić te konkretne pytania, aby przetestować ulepszenia.

Testy porównawcze są nadal uruchamiane po opuszczeniu strony. Wyniki można sprawdzić na zakładce Ocena po zakończeniu przebiegu.

Po zakończeniu przebiegu możesz użyć Genie Code, aby przejrzeć wyniki z całego przebiegu i zaproponować ulepszenia kontekstu. Zobacz Analizowanie przebiegu testu porównawczego przy użyciu kodu Genie.

Klasyfikacje trybu czatu

Poniższe kryteria określają, jak usługa Genie ocenia odpowiedzi w trybie czatu:

Gdy wynik zostaje oceniony jako Zły, wyjaśnienie wskazuje rodzaj niedopasowania.

Wymagana recenzja ręczna: odpowiedzi są oznaczone tą etykietą, gdy usługa Genie nie może ocenić poprawności lub gdy wyniki zapytania wygenerowane przez genie nie zawierają dokładnego dopasowania do wyników z podanej odpowiedzi SQL. Wszelkie pytania porównawcze, które nie zawierają odpowiedzi SQL, należy przejrzeć ręcznie.

Klasyfikacje trybu agenta

Sędzia LLM ocenia odpowiedzi w trybie agenta, a nie przy użyciu porównania SQL. Jeśli podano notatkę dotycząca oceny, sędzia LLM używa jej jako wskazówki podczas oceny odpowiedzi, w tym wszelkich oczekiwanych treści w raporcie tekstowym, który generuje tryb agenta. Sędzia ocenia odpowiedzi, które spełniają kryteria noty oceny jako Dobre.

Oceny testów porównawczych dostępu

Możesz uzyskać dostęp do wszystkich ocen benchmarkowych, aby śledzić, jak z czasem zmienia się dokładność Agenta Genie. Po otwarciu testów porównawczych agenta na karcie Oceny zostanie wyświetlona lista czasowa przebiegów oceny. Jeśli nie znaleziono żadnych przebiegów oceny, zobacz Dodawanie pytań porównawczych lub Uruchamianie pytań porównawczych.

Zakładka Oceny zawiera przegląd ocen oraz ich wyników zgłoszonych w następujących kategoriach:

Nazwa oceny: sygnatura czasowa wskazująca, kiedy wystąpił przebieg oceny. Kliknij znacznik czasu, aby wyświetlić szczegółowe informacje dotyczące tej oceny. Stan wykonania: wskazuje, czy ocena została ukończona, wstrzymana lub nieudana. Jeśli przebieg oceny zawiera pytania porównawcze, które nie mają wstępnie zdefiniowanych odpowiedzi SQL, zostanie on oznaczony do przeglądu w tej kolumnie. Dokładność: ocena liczbowa dokładności we wszystkich pytaniach porównawczych. W przypadku przebiegów oceny, które wymagają ręcznego przeglądu, miara dokładności jest wyświetlana dopiero po przejrzeniu tych pytań. Utworzone przez: wskazuje nazwę użytkownika, który uruchomił ocenę.

Przeglądanie indywidualnych ocen

Poszczególne oceny można przejrzeć, aby uzyskać szczegółowe informacje na temat każdej odpowiedzi. Możesz edytować ocenę pod kątem dowolnego pytania i aktualizować wszystkie elementy, które wymagają ręcznego przeglądu.

Aby przejrzeć poszczególne oceny:

1. W górnej części agenta Genie kliknij pozycję Test porównawczy.

2. Kliknij znacznik czasu dla dowolnej oceny w kolumnie Nazwa oceny, aby otworzyć szczegółowy widok tego przebiegu testu.

   

3. Użyj listy pytań po lewej stronie ekranu, aby wyświetlić szczegółowy widok każdego pytania.

4. Przejrzyj i porównaj odpowiedź modelu z odpowiedzią danych referencyjnych.

   W przypadku wyników ocenianych jako nieprawidłowe wyjaśnienie pojawia się opisujące, dlaczego wynik został oceniony jako Nieprawidłowy. Pomaga to zrozumieć konkretne różnice między wygenerowanym wyjściem a oczekiwanym stanem rzeczy.

   Note

   Wyniki tych odpowiedzi są wyświetlane w szczegółach oceny przez jeden tydzień. Po upływie jednego tygodnia wyniki nie są już widoczne. Wygenerowana instrukcja SQL i przykładowa instrukcja SQL pozostają.

5. Kliknij przycisk Zaktualizuj dane wzorcowe, aby zapisać odpowiedź jako nowe dane wzorcowe dla tego pytania. Jest to przydatne, jeśli nie istnieje prawda naziemna lub jeśli odpowiedź jest lepsza lub dokładniejsza niż istniejące podstawowe stwierdzenie prawdy.

6. Kliknij etykietę, aby edytować ocenę.

   Oznacz każdy wynik jako dobry lub zły , aby uzyskać dokładny wynik dla tej oceny.

Analizowanie przebiegu testu porównawczego za pomocą kodu Genie

Po zakończeniu przebiegu testu porównawczego użyj kodu Genie, aby przejrzeć wyniki w całym przebiegu zamiast sprawdzać każde pytanie samodzielnie. Uruchom kod Genie z oceny i poproś go o przeanalizowanie przebiegu. Funkcja Genie Code przegląda oczekiwane wyniki, wygenerowane przez agenta oraz bieżący kontekst agenta w celu znalezienia luk, a następnie sugeruje ulepszenia instrukcji i kontekstu, które należy przejrzeć i zapisać.