Przepływy pracy agentów: zgodność zadań (wersja zapoznawcza)

Upewnij się, że agenci sztucznej inteligencji są spójnie zgodni z instrukcjami użytkownika i celami zadań. Sygnał zgodności zadań identyfikuje rozbieżności, takie jak nieprawidłowe wywołania narzędzi, nieprawidłowe dane wejściowe lub wyjściowe narzędzia względem intencji użytkownika oraz niespójności między odpowiedziami a danymi wejściowymi klienta. Ta funkcja umożliwia deweloperom systemu proaktywne eliminowanie niewłaściwych działań przez blokowanie ich lub eskalowanie problemu do interwencji ludzkiej.

Głównymi celami funkcji przestrzegania zadań są:

  • Aby wykryć akcje narzędzi, które są nieprawidłowo wyrównywane z celami użytkownika lub intencją wprowadzania danych wejściowych lub nieprawidłowych danych wejściowych/wyjściowych narzędzia względem intencji użytkownika, lub niespójności między odpowiedziami agenta i danymi wejściowymi klienta.
  • Aby dostarczyć uzasadnienie, gdy wywołania narzędzi są źle dopasowane.
  • Aby zapewnić sygnał do blokowania i eskalacji wywołania narzędzi podrzędnych oraz przeglądu przez człowieka w pętli (HITL), gdy dopasowanie zadania jest zagrożone.
  • Aby promować zaufanie użytkowników do systemów agentów poprzez wzmocnienie spójności behawioralnej, przejrzystości i kontroli.

Wymagania wstępne

  • Subskrypcja Azure — Utwórz ją bezpłatnie
  • Po utworzeniu subskrypcji Azure utwórz zasób Bezpieczeństwo zawartości w portalu Azure, aby uzyskać klucz i punkt końcowy. Wprowadź unikatową nazwę zasobu, wybierz subskrypcję, a następnie wybierz grupę zasobów, region i obsługiwaną warstwę cenową. Następnie wybierz pozycję Utwórz.
    • Wdrożenie zasobu trwa kilka minut. Po zakończeniu wybierz Przejdź do zasobu. W okienku po lewej stronie w obszarze Zarządzanie zasobami wybierz pozycję Klucz subskrypcji i punkt końcowy. Punkt końcowy i którykolwiek z kluczy są używane do wywoływania API.
  • Zainstalowano bibliotekę cURL.

Żądanie

Uwaga

Aby zapoznać się z przykładem tarcz monitu, zobacz tarcze monitu.

Wersja interfejsu API:2024-12-15-preview

Pola w adresie URL

Nazwa Wymagane Opis Typ
Punkt końcowy Tak Podstawowy adres URL interfejsu API bezpieczeństwa zawartości. Zastąp <endpoint> punktem końcowym podanym dla usługi Azure. Ciąg
Wersja interfejsu API Tak Wersja interfejsu API do użycia. W przypadku tej funkcji wersja to 2024-12-15-preview. Przykład: <endpoint>/contentsafety/agent:analyzeTaskAdherence?api-version=2024-12-15-preview Ciąg

Parametry w treści żądania

Nazwa Wymagane Opis Typ
Narzędzia Tak Lista narzędzi definiujących funkcje do użycia w zadaniu. Każde narzędzie zawiera typ (na przykład "funkcja") i szczegóły dotyczące funkcji, w tym jej nazwę i opis. Tablica obiektów JSON
Wiadomości Tak Lista komunikatów wymienianych między użytkownikiem, asystentem i narzędziami. Każda wiadomość zawiera źródło (na przykład "Monit", "Uzupełnianie"), rolę (na przykład "Użytkownik", "Asystent", "Narzędzie"), zawartość (tekst wiadomości) i opcjonalnie toolCalls lub toolCallId. Tablica obiektów JSON

Przykładowy schemat treści żądania

Poniższe tabele zawierają opisy pól kluczy w treści żądania:

pole narzędzi
Nazwa Wymagane Opis Typ
typ Tak Typ używanego narzędzia. W przypadku tej funkcji jest to "funkcja" Ciąg
function.name Tak Nazwa funkcji. Na przykład "read_emails" Ciąg
opis funkcji Tak Krótki opis działania funkcji. Na przykład "Odczytuje wiadomości e-mail użytkownika" Ciąg
pole komunikatów
Nazwa Wymagane Opis Typ
przesłać źródło Tak Źródło wiadomości. Możliwe wartości: "Monit", "Ukończenie" Ciąg
rola Tak Rola skojarzona z komunikatem. Możliwe wartości: "Użytkownik", "Asystent", "Narzędzie" Ciąg
Zawartość Tak Zawartość wiadomości. Na przykład "Podsumuj moje wiadomości e-mail" Ciąg lub tablica
toolCalls Nie Lista wywołań narzędzi wykonanych przez agenta, w tym typ (na przykład "function"), function.name, function.arguments i unikatowy identyfikator. Tablica obiektów JSON
toolCallId Nie (W przypadku komunikatów narzędzi) Identyfikator wywołania narzędzia, na które jest udzielana odpowiedź. Pasuje do identyfikatora podanego w wywołaniu narzędzia agenta. Ciąg

Odpowiedź interfejsu API

Po przesłaniu żądania otrzymasz dane JSON odzwierciedlające analizę wykonaną przez Task Adherence. Te dane wskazują na potencjalne luki w zabezpieczeniach w przepływie pracy agenta. Oto jak wyglądają typowe dane wyjściowe:

{
  "taskRiskDetected": true,
  "details": "Agent attempts to share a document externally without user request or confirmation."
}
Nazwa Opis Typ
wykrytoZagrożenieZadania Zawiera wyniki wykrywania ryzyka dla danych wejściowych logiczny
Szczegóły Zwraca uzasadnienie, gdy zostanie wykryte ryzyko Ciąg

Wartość true dla taskRiskDetected oznacza wykryte ryzyko. W takim przypadku zalecamy przegląd i podjęcie działań, na przykład zablokowanie żądania wywołania narzędzia lub eskalację za pomocą systemu "human-in-the-loop".

Wymagania wstępne

Konto Azure. Jeśli go nie masz, możesz go utworzyć bezpłatnie. Zasób sztucznej inteligencji Azure.

Konfigurowanie i używanie zgodności zadań

Wykonaj następujące kroki, aby użyć strony Wypróbuj bezpieczeństwo zawartości:

  1. Przejdź do Azure AI Foundry i przejdź do projektu/centrum. Następnie wybierz kartę Guardrails + controls na lewym pasku nawigacyjnym i wybierz kartę Wypróbuj.
  2. Na stronie Wypróbuj możesz eksperymentować z różnymi funkcjami kontrolek Guardrails oraz kontroli, takimi jak zawartość tekstowa i obrazowa, korzystając z regulowanych progów do filtrowania pod kątem szkodliwej treści.
  3. Przejdź do obszaru Przepływ pracy agenta i wybierz pozycję Zgodność zadań.
  4. Możesz wybrać jeden z przykładów z wyrównanymi lub niewyrównanymi wywołaniami narzędzi agenta lub utworzyć własne, aby przetestować Przestrzeganie Zadań.
  5. Wybierz pozycję Uruchom test. Realizacja zadania zwraca znacznik ryzyka dla każdej próbki i, jeżeli ryzyko zostanie wykryte, zwraca również przyczynę.

Scenariusze użytkownika

Obsługa klienta

Scenariusz: Asystent pomocy technicznej klienta zintegrowany z platformą przedsiębiorstwa pomaga użytkownikom sprawdzać użycie danych, rozwiązywać problemy i zarządzać ustawieniami konta. Aby zachować dokładną automatyzację, system uwzględnia przestrzeganie zadań w celu weryfikacji planów agentów przed wykonaniem wywołań narzędzi zaplecza.

Użytkownik: Użytkownicy końcowi, agenci pomocy technicznej i zespoły obsługi klienta.

Działanie: Użytkownik wysyła wiadomość do czatbota: "Czy możesz sprawdzić, ile danych użyłem w tym miesiącu?" Asystent planuje wywołać change_data_plan() narzędzie. Przestrzeganie zadania wykrywa niezgodność między intencją użytkownika (żądanie informacji) a proponowaną akcją (zmiana subskrypcji). Wywołanie narzędzia można zablokować, a system zatrzymuje wykonywanie lub prosi użytkownika o przejrzenie.

Zasoby Ludzkie

Scenariusz: Asystent przedsiębiorstwa automatyzuje rutynowe przepływy pracy związane z kadrami, takie jak rezerwacja urlopu, przesyłanie wydatków i sprawdzanie szczegółów zasad. Przestrzeganie zadań zapewnia, że akcje agenta pozostają w oczekiwanym zakresie i nie wykonują niezamierzonych skrótów.

Użytkownik: Pracownicy, partnerzy biznesowi HR i zespoły automatyzacji przepływu pracy.

Działania: Pracownik wpisuje: "Chcę wiedzieć, ile urlopu rocznego mi pozostało." Agent planuje wywołać element apply_leave(). Zgodność zadania identyfikuje niezgodność zadań — użytkownik poprosił o informacje, a nie o zainicjowanie procesu. Wykonanie jest zablokowane; agent przekształca komunikat lub monituje o potwierdzenie.

Narzędzia zwiększające produktywność

Scenariusz: Asystent produktywności osadzony na platformie poczty e-mail ułatwia specjalistom łączenie się z bazami danych oraz tworzenie wersji roboczej, przeglądania i wysyłania wiadomości. Zgodność z zadaniami służy do rozróżniania między pisaniem wersji roboczej i wykonywaniem polecenia wysyłania, zwłaszcza w przypadkach, gdy zamiar użytkownika jest niejednoznaczny.

Użytkownik: Pracownicy umysłowi, asystenci kadry kierowniczej i zespoły ds. zgodności IT.

Działania: Użytkownik monituje: "Napisz wiadomość e-mail do klienta o nieodebranym terminie". Agent generuje komunikat i planuje wywołać polecenie send_email(). Zgodność zadania oznacza, że plan może być potencjalnie przedwczesny; brak jest wyraźnej instrukcji do wysłania. System zamiast tego blokuje zamierzone wywołanie narzędzia i monituje użytkownika o przegląd.

Zgodność zadań: dopasowane a niedopasowane użycie narzędzi

Sygnał interfejsu API zapewniania zgodności zadań pomaga deweloperom i właścicielom platformy zrozumieć, kiedy wywołanie narzędzia agenta jest zgodne lub odbiega od intencji użytkownika.

Przykłady

Klasyfikacja Opis Przykład
Wyrównane Agent pobiera żądane informacje bez podejmowania niezamierzonej akcji. Użytkownika: "Czy możesz pokazać mi moje ostatnie wydarzenia kalendarza?"
Planowane narzędzie:get_calendar_events()
✅ Agent pobiera zdarzenia zgodnie z żądaniem.

Wyjście:
{ "taskRiskDetected": false }
Niewyrównane Agent próbuje zmodyfikować ustawienia użytkownika, gdy zostało wykonane tylko żądanie informacji. Użytkownika: "Czy możesz pokazać mi moje ostatnie wydarzenia kalendarza?"
Planowane narzędzie:clear_calendar_events()
❌ Agent przygotowuje się do usunięcia danych.

Wyjście:
{ "taskRiskDetected": true, "details": "Planned action deletes calendar events, but user only requested to view them."}
Wyrównane Agent rozpoczyna przepływ tworzenia dokumentu po żądaniu od użytkownika wygenerowania nowego dokumentu. Użytkownika: "Utwórz nowy dokument propozycji projektu dla klienta".
Planowane narzędzie:create_document()
✅ Pasuje do żądania zadania użytkownika.

Wyjście:
{ "taskRiskDetected": false}
Niewyrównane Agent udostępnia dokument współpracownikom zewnętrznym bez instrukcji użytkownika. Użytkownika: "Utwórz nowy dokument propozycji projektu dla klienta".
Planowane narzędzie:share_document()
❌ Brak instrukcji użytkownika do udostępnienia.

Wyjście:
{ "taskRiskDetected": true, "details": "Agent attempts to share a document externally without user request or confirmation."}

Ograniczenia

Dostępność języka

Przestrzeganie zadań zostało przetestowane w tekście w języku angielskim; jednak funkcja może działać w wielu innych językach, choć jakość może się różnić. We wszystkich przypadkach zalecamy przetestowanie przypadku użycia i aplikacji, aby upewnić się, że działa ona dla Twoich scenariuszy.

Ograniczenie długości tekstu

Obecnie interfejs API zgodności zadań ma ograniczenia długości danych wejściowych. Maksymalna długość tekstu to 100 000 znaków. Jeśli długość danych wejściowych przekracza to ograniczenie, zostanie wyświetlony błąd.

Dostępność i przetwarzanie danych w regionie

Chociaż przestrzeganie zadań można włączyć we wszystkich Bezpieczeństwo zawartości platformy Azure AI regionach, dane mogą być kierowane do i przetwarzane w innych regionach USA i UE poza określonym obszarem geograficznym.

Powiązana zawartość

  • Last updated on