Skonfiguruj ocenę przeprowadzaną przez ludzi dla agentów (wersja próbna)

W tym artykule wyjaśniono, jak skonfigurować ocenę ludzką dla agenta platformy Foundry. Jako konstruktor agentów definiujesz szablony pytań oceny skoncentrowane na kluczowych aspektach zainteresowania. Recenzenci — rówieśnicy, analitycy danych lub członkowie zespołu ds. zgodności — uzupełniają te szablony dla każdej odpowiedzi agenta w środowisku podglądu agenta. Po przesłaniu oceny przez recenzentów możesz wyświetlić i pobrać wyniki bezpośrednio z portalu Foundry w celu dalszej analizy.

Wymagania wstępne

• Projekt Foundry z co najmniej jednym agentem.

• Usługa Application Insights skonfigurowana dla projektu.

• rola Foundry Project Manager (lub wyższa) w projekcie Foundry, aby tworzyć szablony ocen i nimi zarządzać. Aby uzyskać więcej informacji, zobacz kontrola dostępu oparta na rolach w usłudze Microsoft Foundry.

  Ważne

  Niedawno zmieniono nazwy ról RBAC w usłudze Foundry. Użytkownik Foundry, właściciel Foundry, właściciel konta Foundry i menedżer projektu Foundry były wcześniej nazywane odpowiednio użytkownikiem Azure AI, właścicielem Azure AI, właścicielem konta Azure AI i menedżerem projektu Azure AI. Poprzednie nazwy mogą być nadal widoczne w niektórych miejscach, podczas gdy zmiana nazwy jest wdrażana. Identyfikatory ról i uprawnienia podstawowe są niezmienione przez zmianę nazwy.

• Dla recenzentów: rola Foundry User (co najmniej) w projekcie Foundry oraz Reader na poziomie konta, aby uzyskać dostęp do podglądowej aplikacji internetowej i przesłać uwagi.

• Aby uzyskać informacje o wszystkich wymaganiach dotyczących roli oceny przez człowieka, zobacz Konfigurowanie uprawnień dla przepływów pracy oceny.

Tworzenie szablonu oceny człowieka

Aby rozpocząć ocenę ludzką agenta Foundry, zdefiniuj szablon zawierający zestaw pytań, które recenzenci muszą wypełnić na podstawie odpowiedzi agenta.

1. Wybierz agenta, który chcesz ocenić z tabeli agentów na karcie Agenci .

2. Przejdź do karty Ocena ludzka w obszarze Ocena.

3. Wybierz pozycję Utwórz nowy szablon , aby rozpocząć proces tworzenia szablonu.

4. W oknie podręcznym Tworzenie szablonu oceny człowieka przypisz nazwę i opis, edytuj lub usuń przykładowe pytania i dodaj nowe pytania na podstawie celów oceny. Obsługiwane typy pytań obejmują kciuki w górę/w dół, suwak, wybór wielokrotny i dowolny tekst.

   Wskazówka

   Przykładowe pytania według typu:

   • Kciuki w górę/w dół: "Czy ta odpowiedź była dokładna?"
   • Suwak (1–5): "Oceń pomocność tej odpowiedzi".
   • Wybór wielokrotny: "Która najlepiej opisuje tę odpowiedź? (Odpowiedź poprawna/Częściowo poprawna/Niepoprawna)"
   • Dowolny tekst formularza: "Jaki dodatkowy kontekst poprawiłby tę odpowiedź?"

5. Po skonfigurowaniu szablonu wybierz pozycję Utwórz , aby go sfinalizować.

Nowy szablon zostanie wyświetlony w tabeli szablonów ze stanem Nieaktywne . Aktywuj go przed rozpoczęciem oceny przez recenzentów.

Zarządzanie szablonami oceny

Możesz utworzyć wiele szablonów oceny na podstawie potrzeb oceny. Tabela szablonów umożliwia edytowanie, usuwanie i ustawianie szablonów jako aktywnych lub nieaktywnych.

• Wybierz pozycję Edytuj w tabeli szablonów, aby zaktualizować szablon. Szablon zostanie otwarty w oknie podręcznym z możliwością edycji.
• Wybierz pozycję Usuń , aby usunąć szablon.

  Uwaga

  Po usunięciu nie można pobrać szablonu i skojarzonych z nim wyników oceny z portalu.

• Aby ustawić szablon jako aktywny, wybierz pozycję Ustaw jako aktywny w tabeli szablonów. W danym momencie może być aktywny tylko jeden szablon. Aktywowanie nowego szablonu powoduje automatyczne dezaktywowanie poprzedniego szablonu. Wybierz opcję Ustaw jako nieaktywną, aby zatrzymać przechwytywanie wyników oceny manualnej dla bieżącego szablonu.

Przeprowadzanie oceny ludzkiej

Po skonfigurowaniu szablonu oceny i ustawieniu go jako aktywnego dla agenta docelowego recenzenci mogą rozpocząć ocenę za pośrednictwem aplikacji internetowej w wersji zapoznawczej. Ta aplikacja internetowa to oparty na przeglądarce interfejs czatu uruchamiany bezpośrednio z poziomu konstruktora agenta.

1. Wybierz pozycję Podgląd w prawym górnym rogu konstruktora agenta, aby otworzyć agenta w interfejsie czatu opartym na przeglądarce.
2. Wprowadź dane wejściowe i wybierz pozycję Wyślij , aby wyzwolić uruchomienie agenta.
3. Gdy agent odpowie, wybierz przycisk Opinie, aby ocenić odpowiedź przez człowieka.
   • Zostanie wyświetlony panel boczny z aktywnym szablonem oceny.
   • Recenzenci mogą odpowiedzieć na niektóre lub wszystkie pytania w formularzu.
4. Wybierz pozycję Zapisz , aby zapisać dane ewaluacyjne, lub anuluj , aby je odrzucić.
5. Kontynuuj ocenianie dodatkowych odpowiedzi, wprowadzając nowe dane wejściowe lub przechodząc do poprzednich odpowiedzi.
   • Recenzenci mogą pominąć oceny dla niektórych odpowiedzi lub przesłać wiele ocen dla tej samej odpowiedzi.

Konstruktorzy agentów mogą wyświetlać zapisane oceny dla każdej odpowiedzi agenta w sekcji Wyniki oceny .

Przeglądanie wyników oceny dokonywanej przez ludzi

Po zakończeniu oceny przez recenzentów, konstruktorzy agentów mogą za pośrednictwem portalu Foundry wyświetlać podgląd i pobierać wyniki w celu dalszej analizy.

1. Przejdź do tabeli szablonów na karcie Ocena ludzka i wybierz szablon, dla którego chcesz przejrzeć wyniki.
2. Wszystkie odpowiednie wyniki oceny są wyświetlane w sekcji Wyniki oceny . Każde wystąpienie jest wyświetlane ze znacznikiem czasu w celach referencyjnych.
3. Wybierz instancję ewaluacyjną, aby wyświetlić jej podsumowanie JSON w sekcji Wyjście JSON. Kod JSON zawiera następujące elementy:
   • Sygnatura czasowa
   • Monit użytkownika
   • Odpowiedź agenta
   • Pytania dotyczące szablonu oceny
   • Odpowiedzi recenzenta
4. Aby pobrać wszystkie wyniki oceny dla szablonu, wybierz pozycję Pobierz wyniki. Wyniki są eksportowane jako plik CSV zawierający wszystkie informacje z widoku JSON dla każdego wystąpienia oceny.

Pobrany plik CSV zawiera jeden wiersz na wystąpienie oceny z kolumnami dla każdego pola z widoku JSON.

Powiązana zawartość

• Ocena agentów sztucznej inteligencji
• Omówienie śledzenia agentów
• Rozwiązywanie problemów z oceną i obserwacją