|
Cel |
Zadaj sobie pytanie: "Jaki rezultat chcę osiągnąć?Nie: "Jakie narzędzia potrzebuję?", "Jakie łączniki powinienem zadzwonić?" lub "Jaki temat powinienem zbudować?"
Jasno opisz, dlaczego agent powinien istnieć, co powinien osiągnąć i kto jest grupą docelową. Skup się na rezultatach. Niech projekt agenta wynika z problemu.
Sprecyzuj:- Problem lub luka wartości
- Docelowi użytkownicy
- Oczekiwany wpływ
- Jak wygląda sukces
Użyj formatu Jobs-To-Be-Done:
-
Jako<użytkownik>
-
Jest <zadanie do wykonania>
-
Więc<ten wynik>
|
-
Jako nowy pracownik, muszę zrozumieć lokalne polityki HR, aby móc pewnie przejść przez proces wdrożenia.
-
Jako menedżer wsparcia IT, muszę automatycznie przetwarzać e-maile wsparcia, aby zmniejszyć ręczną selekcję.
|
- Zaczynanie od funkcji zamiast rezultatów.
- Projektowanie pod kątem przypadków brzegowych.
- Pomijanie mierzalnych kryteriów sukcesu.
|
|
Wyzwalacze |
Wyzwalacz agenta to konkretne zdarzenie, warunek lub dane wejściowe, które sygnalizują agentowi rozpoczęcie pracy lub zadania. Działanie człowieka lub automatyczne zdarzenie może wywołać wyzwalacz.
Dowiedz się więcej: Znajdź wyzwalacz, który pasuje do Twojego zdarzenia. |
- Komunikat użytkownika w czacie.
- Nowy e-mail we wspólnej skrzynce odbiorczej.
- Nowy rekord w systemie.
- Zaplanowane lub cykliczne zadanie.
|
- Agenci autonomiczni wymagają wyraźnych wyzwalaczy. Bez nich agent nie działa.
- Wyzwalacz opiera się na nieprzewidywalnym zachowaniu użytkownika, np. wpisaniu przez niego określonego słowa kluczowego lub frazy.
- Trigger nie ma wymaganego kontekstu, na przykład agent zaczyna, ale nie ma wystarczającej ilości metadanych (identyfikator rekordu, tożsamość użytkownika), by działać skutecznie.
- Wyzwalacze uruchamiają się częściej, niż wymaga tego scenariusz, prowadząc do zbędnych uruchomień i nadmiernego zużycia zasobów.
- Projekt wyzwalacza nie uwzględnia limitów platformy, przez co agenty osiągają progi użycia lub zawodzą pod obciążeniem.
|
|
Narzędzia i integracje |
Zdefiniuj, jakie działania agent musi móc wykonywać, a nie tylko jakie posiada informacje.
Narzędzia umożliwiają agentowi pobieranie lub aktualizację danych, wywoływanie API, uruchamianie przepływów pracy, wysyłanie wiadomości oraz wykonywanie operacji transakcyjnych. Sporządź listę systemów, od których zależy agent, wraz z ich ograniczeniami (API, modele uwierzytelniania, limity liczby operacji, granice własności/SLA).
Uwzględnij oczekiwane rezultaty, kryteria sukcesu i jakości, mechanizmy awaryjne oraz obsługę błędów. Zależności wpływają na wykonalność — uwzględnij je na wczesnym etapie.
Dowiedz się więcej: Mechanizmy dodawania narzędzi do agentów. |
- Łącznik ServiceNow → uzyskać szczegóły zgłoszenia
- Łącznik Microsoft Entra ID → pobierać lokalizację użytkownika
- API Jira → aktualizacji zadań roboczych
- Łącznik Outlook → odpowiedź na e-mail
|
- Brak logowania działań i przechowywania danych wyjściowych na potrzeby audytu.
- Założenie, że API są stabilne i zawsze dostępne.
- Zbyt szerokie uprawnienia narzędzi.
- Brak definiowania zachowania w przypadku awarii wywołania narzędzi (brak walidacji wyników narzędzi, brak mechanizmu alternatywnego w przypadku awarii narzędzi, brak ścieżki eskalacji).
- Ignorowanie limitów wywołań lub mechanizmów ograniczania przepustowości.
- Brak mapowania zależności (kto jest właścicielem każdego API, jaka jest umowa SLA).
- Brak weryfikacji warunków wstępnych przed podjęciem działań.
|
|
Kanały |
Kanał to konkretna platforma lub interfejs, na którym Twój agent jest wdrożony i wchodzi w interakcje z użytkownikami.
Kanał wpływa także na oczekiwania użytkowników dotyczące opóźnień, wymiany zdań i doświadczenia. |
- Microsoft Teams
- SharePoint
- Microsoft 365 Copilot
- Czat internetowy lub interfejsy głosowe
|
- Wybieranie kanałów na podstawie wygody lub prostoty wdrożenia, a nie tego, jak i gdzie użytkownicy faktycznie pracują.
- Zakładając, że użytkownicy dostosują się do kanału agenta, zamiast spotykać się z nimi tam, gdzie już są.
- Przedkładanie wykonalności technicznej nad środowisko użytkownika, skutkujące niskim poziomem wykorzystania, nawet gdy agent działa poprawnie.
- Projektowanie „priorytetu na czat”, gdy rzeczywisty kanał jest oparty na wiadomościach e-mail lub przepływie pracy (budowanie konwersacyjnego interfejsu użytkownika, gdy wsparcie techniczne faktycznie odbywa się za pośrednictwem Outlook; zapominając, że wiadomość e-mail jest oparta na wymianie wiadomości, a nie konwersacji)
- Ignorowanie ograniczeń specyficznych dla kanału (Outlook wymaga pełnych odpowiedzi, a nie pytań doprecyzowujących; Teams obsługuje Karty adaptacyjne, czego e-mail nie robi)
|
|
Wiedza i dane |
Należy dokumentować informacje, które agent musi analizować, oraz miejsce, w którym wiedza lub dane są obecnie dostępne. Uwzględnij jakość i aktualność danych, treści ustrukturyzowane kontra nieustrukturyzowane oraz ograniczenia dostępu i uprawnień.
Gotowość danych jest jedną z najczęstszych przyczyn problemów na późnym etapie projektu, jeśli nie zostanie odpowiednio uwzględniona na wczesnym etapie. |
- Dokumenty
- Bazy danych
- Witryny sieci Web
- Baza wiedzy
- Systemy wewnętrzne lub zewnętrzne
|
- Słaby lub niespójny nadzór nad danymi. Gdy nie są określone właścicielstwo, częstotliwość odświeżania ani procesy aktualizacji, dane szybko stają się nieaktualne lub sprzeczne.
- Mylenie „dokumentów” z „wiedzą”. Wskazywanie na duże repozytoria dokumentów jako źródło prawdy bez sprawdzenia, czy te dokumenty są aktualne, dobrze zorganizowane i konsekwentnie oznaczone.
- Źródła wiedzy są ze sobą sprzeczne. Wiele wersji polityki, procedury lub zbioru danych powoduje, że agent otrzymuje sprzeczne instrukcje.
- Uprawnienia i kontrole dostępu nie są jednoznacznie określone. Wrażliwe treści są ujawniane nieświadomie lub agent odnosi się do informacji, do których użytkownicy końcowi nie mają dostępu.
- Rozszerzanie źródeł wiedzy bez weryfikacji granic bezpieczeństwa, skutkujące tym, że agenty albo nadmiernie się dzielą, albo zawodzą, gdy dostęp jest ograniczony.
|
|
Przepływy i orkiestracja |
Zdefiniuj, jak praca jest strukturyzowana i sekwencjonowana w ramach agenta: kiedy używać deterministycznych przepływów lub tematów, kiedy polegać na orkiestracji, a kiedy wymagana jest interwencja człowieka. Celem jest przewidywalne zachowanie, bezpieczna automatyzacja i wyraźna eskalacja.
Kiedy stosować przepływy lub tematy:- Wieloetapowe zbieranie danych
- Wspomagane rozwiązywanie problemów lub drzewa decyzyjne
- Procesy wynikające z wymogów zgodności lub polityk
- Działania o dużym znaczeniu lub nieodwracalne
Tematy są podstawowym mechanizmem deterministycznej logiki.
Zdefiniuj:- Jakie działania agent może wykonywać autonomicznie
- Co wymaga ludzkiej aprobaty, przeglądu lub nadpisania
- Kiedy agent musi eskalować lub odroczyć
- Jak informacja zwrotna od osoby przechodzi z powrotem do poprawek
|
- Agent Ask-Me-Anything: Minimalne przepływy deterministyczne; opiera się przede wszystkim na orkiestracji i rozumowaniu generatywnym.
- Agent autonomiczny: Wykorzystuje przepływy lub tematy do egzekwowania sekwencjonowania, walidacji i mechanizmów zabezpieczających w kluczowych etapach.
- Procesy zatwierdzania: Agent przygotowuje kontekst i rekomendacje; ludzie zatwierdzają lub zastępują decyzje dotyczące działań o dużym wpływie.
|
- Nadmierne strukturyzowanie przepływów, ograniczanie elastyczności i sprawianie, że agent staje się sztywny lub podatny na awarie.
- Zbyt słaba strukturyzacja przepływów, obniżona niezawodność i nieprzewidywalność rezultatów.
- Nieużywanie tematów do logiki deterministycznej, co prowadzi do zachowań ad hoc lub niespójnych.
- Rozmywanie się odpowiedzialności między człowiekiem a agentem, prowadzące do niejasnych ścieżek eskalacji.
- Przeciążanie ludzi zatwierdzeniami dla działań niskiego ryzyka, tworzenie wąskich gardeł i zniechęcanie do używania agenta.
- Agenty działające bez wyraźnych granic „nie działają”, zwłaszcza w sytuacjach krawędziowych lub wysokiego ryzyka.
|
|
Instrukcje i zachowanie agenta |
Instrukcje określają:- Rola i obowiązki agenta
- Jak rozumuje i reaguje
- Kiedy i jak powinien korzystać z wiedzy, narzędzi lub innych agentów
- Kolejność działań, które powinien wykonać
- Ton, granice i zasady bezpieczeństwa
Jasne instrukcje łączą wiedzę, narzędzia i przepływy w spójny, przewidywalny system.
Dowiedz się więcej: Konfiguracja wysokiej jakości instrukcji dla orkiestracji generatywnej oraz Tworzenie skutecznych instrukcji dla agentów deklaratywnych. |
- Rola i zakres: „Jesteś agentem wsparcia IT ds. poczty e-mail, odpowiedzialnym za czytanie wiadomości przychodzących do skrzynki pocztowej, wyodrębnianie numerów zgłoszeń oraz odpowiadanie z potwierdzonymi informacjami z ServiceNow.”
- Zachowanie sekwencyjne: „Krok 1: Sprawdź w bazie wiedzy, czy istnieje odpowiednia polityka lub znany problem.” Krok 2: Jeśli informacji nie znaleziono lub są niekompletne, wywołaj narzędzie ServiceNow, aby pobrać szczegóły zgłoszenia. Krok 3: Jeśli wymagane dane nadal są niekompletne, odpowiedz w stylu "nie wiem" i przekaż sprawę do eskalacji.
- Zasady używania narzędzia: „Zawsze waliduj wyodrębnione identyfikatory za pomocą wywołania narzędzia przed ich użyciem w odpowiedziach”.
- Radzenie sobie z awariami: „Jeśli brakuje wiedzy lub wywołanie narzędzia się nie uda, nie zgaduj. Odpowiedz jasnym ograniczeniem i kolejnym krokiem”.
|
- Instrukcje są zbyt niejasne. Na przykład: „Pomoc użytkownikom w kwestiach wsparcia” nie określa domeny, granic ani dozwolonych działań.
- Brak jasności, kiedy i czy korzystać z wiedzy, narzędzi lub innych agentów, co prowadzi do niespójnych lub nieefektywnych działań.
- Instrukcje nie definiują kolejności działań, przez co agent miesza wiedzę i wyniki narzędzi w nieprzewidywalny sposób.
- Reguły użycia narzędzi nie są jasno zdefiniowane, co może prowadzić do niepotrzebnego wywoływania narzędzi, pomijania ich użycia lub mieszania wyników wiedzy i narzędzi w nieoczekiwany sposób.
- Sprzeczne instrukcje, takie jak „zawsze zadawaj pytania wyjaśniające” oraz „odpowiadaj tylko ostatecznymi odpowiedziami”.
- Brak wyraźnych wytycznych dotyczących tego, czego nie wolno robić, takich jak modyfikowanie danych poufnych, udostępnianie wewnętrznych identyfikatorów czy udzielanie porad prawnych lub kadrowych bez zweryfikowanych źródeł.
|
|
Architektura i kompozycja agenta |
Używaj wielu agentów, gdy:
- Domeny są duże lub odrębne
- Własność różni się między zespołami
- Dostęp lub uprawnienia się różnią
- Wymaga specjalistycznego rozumowania
Delegowanie poprawia modułowość, przejrzystość i długoterminową utrzymywalność.
Dowiedz się więcej:Poznaj wzorce orkiestracji wieloagentowej. |
- Główny agent deleguje wyszukiwanie zgłoszeń agentowi IT.
- Agent ds. wiedzy odpowiada za kontrolę jakości dokumentów.
- Agent routingu decyduje, którego agenta eksperckiego wywołać.
|
- Nadmierne delegowanie (zbyt wielu agentów)—na przykład tworzenie osobnego agenta do każdego drobnego zadania—może prowadzić do rozrastania się architektury i utrudniać utrzymanie, debugowanie, zabezpieczanie lub aktualizację agentów.
- Niedodelegowanie (jeden ogromny agent)—na przykład pojedynczy agent, od którego oczekuje się odpowiadania na pytania HR, sprawdzania zgłoszeń IT, rozwiązywania problemów oraz tworzenia zamówień i incydentów—może prowadzić do powstania monolitycznego, kruchego agenta, którego utrzymanie jest niemożliwe.
- Nieokreślone granice delegacji. Na przykład główny agent nie wie, kiedy przekazać zadania, agenty podrzędne nie wiedzą, jakich wejść mają się spodziewać, lub obowiązki się pokrywają (dwóch agentów sprawdza zgłoszenia IT).
|
|
Nadzór i zarządzanie ryzykiem |
Określ, w jaki sposób agent jest zarządzany, zabezpieczany i monitorowany, aby zapewnić jego odpowiedzialne, bezpieczne i przewidywalne zachowanie przez cały cykl życia.
Definicja ta obejmuje kontrolę dostępu, uprawnienia do działań, mechanizmy ochronne, odpowiedzialność oraz stały nadzór, aby od pierwszego dnia zarządzać zarówno ryzykiem operacyjnym, jak i związanym ze sztuczną inteligencją.
Dowiedz się więcej: Zdefiniuj wymagania dotyczące nadzoru oraz stosuj zasady odpowiedzialnej sztucznej inteligencji. |
- Model uwierzytelniania i dostępu: Agent wykorzystuje tożsamość użytkownika, aby pobierać tylko te dane, do których użytkownik ma uprawnienia, podczas gdy tożsamości systemowe są ograniczone do jasno określonych operacji usługowych.
- Uprawnienia do wykonywania działań i mechanizmy ochronne: Agent może aktualizować notatki robocze lub przygotowywać szkice odpowiedzi, ale nie może wykonywać nieodwracalnych działań (takich jak zamykanie zgłoszeń lub wysyłanie komunikacji zewnętrznej) bez odpowiedniego zatwierdzenia.
- Bezpieczeństwo i ochrona treści: Wrażliwe lub regulowane informacje są wykrywane i blokowane przed udostępnianiem lub podejmowaniem na nich działań za pomocą mechanizmów zabezpieczających platformy (na przykład zapobieganie utracie danych lub filtry bezpieczeństwa).
- Logowanie, audyt i śledzenie: wszystkie działania agentów, wezwania narzędzi, odmowy i eskalacje są rejestrowane i poddawane audytowi dla zapewnienia zgodności i możliwości przeglądu.
- Własność operacyjna: Agent ma jasno określonego właściciela, sponsora i opiekuna operacyjnego, a jego uprawnienia i zachowanie są poddawane regularnej ocenie.
|
- Projektowanie mechanizmów nadzoru i kontroli ryzyka na zbyt późnym etapie, prowadzące do blokowania wdrożeń lub opóźnień produkcyjnych.
- Nadmierne przyznawanie uprawnień agentom "dla wygody" prowadzi do zwiększonego ryzyka ujawnienia danych lub niezamierzonych działań.
- Przyznawanie agentom niewystarczających uprawnień, skutkujące problemami podczas działania, gdy wymagane systemy lub dane są niedostępne.
- Brak uwzględnienia kwestii odpowiedzialnej AI przy podejmowaniu kluczowych decyzji dotyczących nadzoru.
- Słaby nadzór operacyjny, taki jak brak jasnego właściciela, brak planu monitorowania lub brak określonego procesu reagowania na incydenty.
- Brak monitorowania zachowania agentów po wdrożeniu, zakładając, że same bariery zabezpieczające wystarczą.
|
|
Ocena i optymalizacja |
Zdefiniuj testy symulujące rzeczywiste scenariusze, aby mierzyć dokładność, trafność i jakość odpowiedzi swoich agentów. Przedstaw oczekiwaną odpowiedź i pokaż, jak odpowiedź agenta odnosi się do tej odpowiedzi lub najbardziej typowej odpowiedzi wzorcowej.
Zaplanuj, w jaki sposób mierzyć i usprawniać efektywność:
- Dokładność i trafność
- Oszczędność czasu lub efektywność
- Wdrażanie i wykorzystanie
- Wskaźniki satysfakcji i zaufania
- Jakość cytowania
- Zgodność z uprawnieniami
- Wykrywanie nieprawidłowych informacji
- Zachowanie dotyczące pytań doprecyzowujących
Określ, jaką telemetrię zbierać:
- Wywołania narzędzi
- Akcje agenta
- Niepowodzenia i ponowienia
- Opinia użytkownika
Traktuj ocenę jako element projektowania, a nie jako coś dodanego na końcu. Dowiedz się więcej: Projektowanie i wdrażanie oceny agenta. |
- Sprawdź, czy wyszukiwanie biletu zwraca poprawny stan, a nie przestarzały.
- Zweryfikuj, czy linki do cytatów prowadzą do aktualnej, zatwierdzonej treści.
- Sprawdź, czy agent odmawia udzielenia informacji dotyczących zgłoszenia innej osoby.
- Sprawdź, czy agent wymyśla numer biletu lub artykuł z bazy wiedzy.
- Mierz liczbę wiadomości e-mail przetwarzanych przez agenta autonomicznego każdego dnia oraz procent użytkowników wybierających agenta zamiast tradycyjnych kanałów.
|
- Przeprowadzanie ewaluacji zbyt późno (po wdrożeniu).
- Brak punktu odniesienia lub benchmarku.
- Oceny niezwiązane z rzeczywistymi scenariuszami.
- Brak wykrywania regresji.
- Brak ewaluacji wieloturowej.
- Brak oceny jakości użycia narzędzi.
- Sprawdzam tylko „szczęśliwe ścieżki”.
- Luki telemetryczne.
|
