Optymalizowanie agentów w celu zminimalizowania opóźnienia

Ten artykuł zawiera kilka kluczowych rozwiązań i pomaga zoptymalizować agentów, którzy zależą od informacji ze źródeł zewnętrznych, aby skrócić czas oczekiwania dla klientów podczas konwersacji.

Ustaw maksymalne opóźnienie limitu czasu dla zmiennych globalnych ustawionych zewnętrznie. W przypadku agentów ze zmiennymi globalnymi skonfigurowanymi do odbierania kontekstu ze źródeł zewnętrznych ustaw opcjonalną wartość limitu czasu, aby agenci nie zawieszali się dłużej.

Ogranicz kontekst rozmowy i rozmiar wyjścia narzędzia. Duże historie rozmów i duże wyniki narzędzi zwiększają ilość informacji, które model musi przetwarzać, i mogą wydłużyć czas reakcji. Konfiguruj narzędzia tak, aby zwracały tylko dane potrzebne do bieżącego zadania. Podczas rozwiązywania problemów z opóźnieniami porównaj czas reakcji z nową rozmową, aby sprawdzić, czy zgromadzony kontekst przyczynia się do opóźnienia.

Poinformuj użytkownika, że agent potrzebuje chwili. Agent nie odpowiada przez ponad kilka sekund może sprawić, że użytkownik zastanawia się, czy system działa, czy nie. Rozważ wysłanie krótkiej wiadomości na początku odpowiedniego tematu wskazującego, że agent szuka informacji. W ten sposób użytkownik wie, że operacja może chwilę potrwać, a wszystko działa.

Zminimalizuj i zoptymalizuj długotrwałe operacje bez agenta. Wywoływanie systemów zewnętrznych w celu wyszukania informacji do spersonalizowania żądania może sprawić, że będzie to świetne doświadczenie, ale może również zająć niewygodnie dużo czasu. Jeśli ta personalizacja jest niezbędna, upewnij się, że wywołanie jest zoptymalizowane, a system, który jest wywoływany, jest skalowalny.

Użyj węzłów żądania HTTP do obsługi szybkich żądań. Korzystanie z przepływu usługi Power Automate umożliwia łatwe wykonywanie zaawansowanych operacji, jednak może to wiązać się ze znacznym obciążeniem. Jeśli potrzebujesz tylko jednego odwołania do systemu zewnętrznego, węzeł Żądanie HTTP może być lżejszą opcją dla takich prostych operacji.

W przypadku wywołań usługi Power Automate użyj pulpitu nawigacyjnego usługi Power Automate, aby przejrzeć czasy trwania żądań. Copilot Studio nie zapewnia wglądu w to, ile czasu zajmują operacje poza agentem, takie jak wywołania Power Automate. W związku z tym trudno jest zrozumieć, gdzie jest spędzany czas. W aplikacji Copilot Studio te wywołania poza głównym systemem są synchroniczne, co oznacza, że żadne dalsze działania nie będą wykonywane w konwersacji aż do ukończenia przepływu Power Automate. Rozważ użycie panelu usługi Power Automate dla Twojego przepływu. Ten pulpit nawigacyjny może zapewnić szczegółowe informacje o współczynnikach powodzenia i niepowodzeń operacji oraz o tym, jak długo trwa.

  • Last updated on