Skaler agenter med delte færdigheder og værktøjer

Hvis du vil skalere agenttjenester, skal du oprette flere agentforekomster, der deler de samme færdigheder og værktøjsdefinitioner. Dette mønster understøtter vandret skalering, holder funktionsmåden ensartet og reducerer administrationsomkostningerne.

Vigtigste fordele

  • Aktivering af parallelle værktøjer: Opfostrede agenter kan aktivere de samme værktøjer samtidigt, så systemet kan håndtere trafikstigninger uden at overbelaste en forekomst af en enkelt agent.
  • Statsløse værktøjskataloger: Delte færdigheder og værktøjsdefinitioner eliminerer duplikering og reducerer administrationsomkostningerne. Hver af de forgrenede agenter indlæser det samme skemakatalog.
  • Effektiv ressourceudnyttelse: Værktøjsbackends (databaser, API'er og tjenester) kan håndtere parallelle anmodninger fra flere agentforekomster og skalere vandret med efterspørgslen.

Skaleringsarkitektur

Når du installerer flere agentforekomster:

  1. Definer delte færdigheder én gang: Alle agentforekomster refererer til de samme kompetencedefinitioner, så du sikrer ensartet funktionsmåde og reducerer konfigurationsforskydningen.
  2. Registrer værktøjer centralt: Vedligehold værktøjskataloger (skemaer, slutpunkter, godkendelse) i en central registreringsdatabase, som alle agenter har adgang til på kørselstidspunktet.
  3. Opret agenter dynamisk: Efterhånden som belastningen øges, kan der oprettes nye agentforekomster, som straks arver det delte værktøjskatalog uden yderligere konfiguration.
  4. Distribuer anmodninger: Distribuer indgående anmodninger til tilgængelige agentforekomster. Hver agent kan aktivere værktøjer uafhængigt og parallelt.

Eksempel: Stor kundesupport

I et scenarie med kundesupport med variabel belastning:

  • Oprindelig plan: Fem agentforekomster håndterer standardanmodninger, der hver især aktiverer "search_knowledge_base"-færdigheder og "create_ticket"-værktøjet.
  • Trafikspids: Mængden af indgående anmodninger fordobles i spidsbelastningstimer. Opret automatisk fem yderligere agentinstanser.
  • Parallel udførelse: Alle 10 agenter aktiverer de samme værktøjer samtidigt. Backendværktøjet "create_ticket" modtager anmodninger fra 10 agentforekomster samtidigt og sætter dem i kø til behandling.
  • Scale-down: Når trafikken normaliseres, skal du trække forekomster af ekstra agenter tilbage. De fem resterende agenter fortsætter med at behandle anmodninger med de samme definitioner af færdigheder og værktøjer.

Overvejelser

  • Værktøjsbackendkapacitet: Sørg for, at dine værktøjsbackends (databaser, API'er og eksterne tjenester) kan håndtere parallelle anmodninger fra flere agentforekomster. Overvej hastighedsbegrænsning, forbindelsesgruppering og vandret skalering af værktøjets backend.
  • Tilstandsløst agentdesign: Hold agentinstanser tilstandsløse, så du kan oprette eller nedlægge enhver instans uden at miste kontekst eller data. Persist agenttilstand (samtalehistorik, brugerindstillinger) i eksternt lager, hvis det er nødvendigt.
  • Sortering af værktøjskald: Når en agent aktiverer flere værktøjer i rækkefølge, skal du sikre, at værktøjsbackends bevarer konsistens og håndterer samtidige anmodninger fra forskellige agenter korrekt.
  • Last updated on