|
Ziel |
Fragen Sie sich: „Welches Ergebnis möchte ich erreichen?“Nicht: „Welche Tools brauche ich?“, „Welche Connectors sollte ich aufrufen?“ oder „Welches Thema sollte ich erstellen?“
Beschreiben Sie klar, warum der Agent existieren sollte, was er erreichen soll und wer die Zielgruppe ist. Konzentrieren Sie sich auf die Resultate. Lassen Sie das Design des Agent sich vom Problem ableiten.
Klarstellen:- Das Problem oder das Wertdefizit
- Zielbenutzende
- Die erwarteten Auswirkungen
- Wie Erfolg aussieht
Verwenden Sie einen Zu-erledigende-Jobs-Ansatz:
-
Als <Benutzer>
-
Ich muss die<Arbeit erbringen>
-
Also dieses<Ergebnis>
|
-
Als neuer Mitarbeitender muss ich meine lokalen HR-Richtlinien verstehen, damit ich das Onboarding selbstbewusst durchlaufen kann.
-
Als IT-Support-Manager muss ich Support-E-Mails automatisch bearbeiten, damit die manuelle Triage reduziert wird.
|
- Beginnen Sie mit Features anstatt mit Ergebnissen.
- Entwerfen für Sonderfälle.
- Messbare Erfolgskriterien auslassen.
|
|
Auslöser |
Ein Agent-Trigger bezeichnet das spezifische Ereignis, die Bedingung oder die Eingabe, die einen Agent dazu veranlasst, seine Aufgabe zu starten. Eine menschliche Handlung oder ein automatisiertes Ereignis kann den Trigger auslösen.
Weitere Informationen: Finden Sie den Trigger, der zu Ihrem Ereignis passt. |
- Eine Benutzernachricht in Chat.
- Eine neue E-Mail in einem gemeinsamen Posteingang.
- Ein neuer Datensatz in einem System.
- Ein geplanter oder wiederkehrender Job.
|
- Autonome Agents benötigen explizite Auslöser. Ohne sie läuft der Agent nicht.
- Trigger hängt von unvorhersehbarem Benutzerverhalten ab, z. B. von der Eingabe eines bestimmten Schlüsselworts oder Ausdrucks.
- Dem Trigger fehlt der erforderliche Kontext, zum Beispiel startet der Agent, hat aber nicht genug Metadaten (Datensatz-ID, Benutzeridentität), um effektiv zu handeln.
- Trigger werden häufiger aktiviert, als das Szenario tatsächlich erfordert, was zu unnötigen Ausführungen und Ressourcenverbrauch führt.
- Das Trigger-Design berücksichtigt keine Plattformquoten oder -begrenzungen, wodurch Agenten Nutzungsgrenzen erreichen oder unter Last ausfallen.
|
|
Werkzeuge und Integrationen |
Definieren Sie, welche Aktionen der Agent durchführen muss, nicht nur, was er weiß.
Tools ermöglichen es dem Agent, Daten abzurufen oder zu aktualisieren, APIs aufzurufen, Workflows auszulösen, Nachrichten zu senden und transaktionale Vorgänge abzuschließen. Listen Sie die Systeme auf, von denen der Agent abhängig ist, sowie deren Einschränkungen (APIs, Authentifizierungsmodelle, Rate-Limits und Eigentums-/SLA-Grenzen).
Berücksichtigen Sie erwartete Ergebnisse, Erfolgs- und Qualitätskriterien sowie Ausweich- und Fehlerverhalten. Abhängigkeiten bestimmen häufig die Machbarkeit – adressieren Sie sie frühzeitig.
Weitere Informationen: Mechanismen zum Hinzufügen von Tools zu Agents. |
- ServiceNow-Connector → Ticketdetails abrufen
- Microsoft Entra ID-Konnektor → Benutzerstandort abrufen
- Jira-API → Arbeitsobjekte aktualisieren
- Outlook-Connector → E-Mails beantworten
|
- Keine Aktionen protokollieren oder Ergebnisse für Audits speichern.
- Annahme, dass APIs stabil und immer verfügbar sind.
- Tools mit übermäßigen Berechtigungen.
- Fehlende Definition des Tool-Call-Fallback-Verhaltens (keine Validierung der Tool-Ausgabe, kein Fallback bei Tool-Ausfällen und kein Eskalationspfad).
- Ignorieren von Rate Limits oder Drosselung.
- Fehlende Abhängigkeitszuordnung (wer jede API besitzt, was ist die Vereinbarung zum Servicelevel).
- Keine Validierung von Voraussetzungen vor der Durchführung von Aktionen.
|
|
Kanäle |
Ein Kanal ist die spezifische Plattform oder Schnittstelle, auf der der Agent eingesetzt wird und mit Benutzern interagiert.
Der Kanal beeinflusst außerdem die Benutzererwartungen bezüglich Wartezeiten, Gesprächsführung und Erlebnis. |
- Microsoft Teams
- SharePoint
- Microsoft 365 Copilot
- Web-Chat oder Sprachschnittstellen
|
- Kanäle nach Bequemlichkeit oder Einfachheit der Bereitstellung auswählen, statt danach, wie und wo Nutzer tatsächlich arbeiten.
- Annehmen, dass sich Nutzer dem Kanal des Agents anpassen, statt sie dort abzuholen, wo sie bereits sind.
- Die technische Machbarkeit wird der Nutzererfahrung vorgezogen, was zu niedriger Nutzerakzeptanz führt, selbst wenn der Agent korrekt funktioniert.
- „Chat-First“-Design, wenn der tatsächliche Kanal E-Mail- oder workflowgesteuert ist (Erstellung einer dialogfähigen Erfahrung, wenn Unterstützung tatsächlich über Outlook erfolgt; dabei wird vergessen, dass E-Mail nicht dialogorientiert ist, sondern mehrteilig verläuft)
- Ignorieren kanalspezifischer Einschränkungen (Outlook erfordert vollständige Antworten, keine klärenden Fragen; Teams unterstützt adaptive Karten, während E-Mail dies nicht tut)
|
|
Wissen und Daten |
Dokumentieren Sie die Informationen, die der Agent verarbeiten muss, sowie den Speicherort, an dem das Wissen oder die Daten aktuell verfügbar sind. Berücksichtigen Sie die Datenqualität und Aktualität, die Art der Inhalte (strukturiert oder unstrukturiert) sowie Zugriffs- und Berechtigungsgrenzen.
Die Datenbereitschaft ist eine der häufigsten Ursachen für Blockierungen in späten Projektphasen, sofern sie nicht frühzeitig angegangen wird. |
- Dokumente
- Datenbanken
- Websites
- Wissensdatenbank
- Interne oder externe Systeme
|
- Schlechte oder inkonsistente Daten-Governance. Wenn Verantwortlichkeiten, Aktualisierungsfrequenz und Aktualisierungsprozesse nicht definiert sind, werden Daten schnell veraltet oder widersprüchlich.
- Verwechslung von „Dokumenten“ mit „Wissen“. Große Dokumentenbestände werden als Referenzquelle herangezogen, ohne zu berücksichtigen, ob diese Dokumente aktuell, gut organisiert oder eindeutig gekennzeichnet sind.
- Wissensquellen widersprechen sich. Mehrere Versionen einer Richtlinie, eines Verfahrens oder Datensatzes führen dazu, dass der Agent widersprüchliche Anweisungen erhält.
- Berechtigungen und Zugriffskontrollen sind nicht explizit gestaltet. Sensible Inhalte werden unbeabsichtigt offengelegt oder der Agent verweist auf Wissen, auf das Endnutzer keinen Zugriff haben.
- Wissensquellen werden erweitert, ohne Sicherheitsgrenzen zu validieren, was dazu führt, dass Agents entweder zu viele Informationen teilen oder scheitern, wenn der Zugriff eingeschränkt ist.
|
|
Flows und Orchestrierung |
Definieren Sie, wie die Arbeit im Agent strukturiert ist und abläuft: wann deterministische Flows oder Themen verwendet werden, wann auf Orchestrierung zurückgegriffen wird und wann menschliche Beteiligung erforderlich ist. Das Ziel ist vorhersehbares Verhalten, sichere Automatisierung und klare Eskalation.
Wann sollten Flows oder Themen eingesetzt werden:- Datensammlung mit mehreren Schritten
- Geführte Fehlerbehebung oder Entscheidungsbäume
- Compliance- oder richtliniengetriebene Prozesse
- Wirkungsvolle oder irreversible Aktionen
Themen sind der Hauptmechanismus für deterministische Logik.
Definieren:- Was der Agent autonom tun kann
- Was menschliche Genehmigung, Überprüfung oder außer Kraft setzen erfordert
- Wenn der Agent Anfragen eskalieren oder zurückstellen muss
- Wie menschliches Feedback in Verbesserungen einfließt
|
- Ask-Me-Anything-Agent: Minimale deterministische Abläufe; basiert hauptsächlich auf Orchestrierung und generativem Schlussfolgern.
- Autonomer Agent: Verwendet Flows oder Themen, um Sequenzierung, Validierungen und Leitlinien für kritische Schritte durchzusetzen.
- Genehmigungsprozesse: Der Agent stellt Kontext und Empfehlungen bereit; Menschen bestätigen oder verhindern kritische Maßnahmen.
|
- Zu stark strukturierte Abläufe, weniger Flexibilität und der Agent erscheint dadurch rigide oder anfällig.
- Unzureichend strukturierte Abläufe, reduzierte Zuverlässigkeit und unvorhersehbare Ergebnisse.
- Das Fehlen einer expliziten Nutzung von Themen für deterministische Logik führt zu ad-hoc oder inkonsistentem Verhalten.
- Verantwortlichkeiten zwischen Mensch und Agent verschwimmen, was zu unklaren Eskalationswegen führt.
- Menschen werden mit Genehmigungen für risikoarme Maßnahmen überlastet, was zu Engpässen führt und die Nutzung von Agenten entmutigt.
- Agents, die ohne klare „Nicht-Handeln“-Grenzen agieren, insbesondere bei Sonderfällen oder in Hochrisikoszenarien.
|
|
Anweisungen und Verhalten |
Anleitungen definieren:- Rolle und Verantwortlichkeiten des Agents
- Wie es resoniert und reagiert
- Wann und wie es Wissen, Tools oder andere Agents einsetzen sollte
- Die Reihenfolge von Aktion, der sie folgen sollte
- Ton, Grenzen und Sicherheitsregeln
Klare Anweisungen verbinden Wissen, Tools und Abläufe zu einem kohärenten, vorhersehbaren System.
Erfahren Sie mehr: Konfigurieren Sie hochwertige Anweisungen für generative Orchestrierung und Schreiben Sie effektive Anweisungen für deklarative Agents. |
- Rolle und Aufgabenbereich: „Sie sind der IT-E-Mail-Support-Agent und verantwortlich für das Lesen eingehender Postfachnachrichten, das Extrahieren von Ticketnummern und das Antworten mit validierten Informationen aus ServiceNow.“
- Ablaufverhalten: „Schritt 1: Überprüfen Sie die Wissensdatenbank auf eine bestehende Richtlinie oder ein bekanntes Problem.“ „Schritt 2: Wenn die Informationen nicht gefunden werden oder unvollständig sind, verwenden Sie das ServiceNow-Tool, um die Ticketdetails abzurufen.“ „Schritt 3: Wenn die notwendigen Daten weiterhin fehlen, antworten Sie nach dem „Ich weiß nicht“-Antwortmuster und eskalieren Sie.“
- Tool-Nutzungsregeln: „Überprüfen Sie extrahierte IDs immer per Toolaufruf, bevor Sie sie in Antworten verwenden.“
- Fehlerbehandlung: „Wenn Wissen fehlt oder ein Tool-Aufruf fehlschlägt, sollte nicht geraten werden“ „Antworten Sie mit einer klaren Einschränkung und dem nächsten Schritt.“
|
- Die Anweisungen sind zu vage. Zum Beispiel legt die Anweisung „Benutzern bei Support-Problemen helfen“ weder den Anwendungsbereich, noch die Grenzen oder erlaubte Aktionen fest.
- Es ist nicht klar, wann Wissen, Tools oder andere Agents eingesetzt werden sollen, was zu inkonsistentem oder ineffizientem Verhalten führt.
- Anweisungen definieren nicht die Reihenfolge der Schritte, wodurch der Agent Wissen und Ergebnisse von Tools auf unvorhersehbare Weise vermischt.
- Toolnutzungsregeln sind nicht explizit definiert, was dazu führen kann, dass Tools unnötig oder gar nicht eingesetzt werden oder Wissen und Ergebnisse von Tools auf unerwartete Weise vermischt werden.
- Widersprüchliche Anweisungen, wie zum Beispiel „immer Rückfragen stellen“ und „ausschließlich mit finalen Antworten antworten.“
- Keine expliziten Vorgaben, was nicht getan werden darf, wie etwa das Ändern vertraulicher Daten, das Weitergeben interner Kennungen oder das Erteilen von Rechts- oder HR-Ratschlägen ohne verifizierte Quellen.
|
|
Agentarchitektur und Komposition |
Mehrere Agents verwenden wenn:
- Domänen groß oder unterschiedlich sind
- Zuständigkeiten sich zwischen den Teams unterscheiden
- Zugriff oder Berechtigungen variieren
- Spezialisiertes Denken erforderlich ist
Delegation verbessert Modularität, Klarheit und langfristige Unterhaltbarkeit.
Mehr erfahren: Muster der Multi-Agent-Orchestrierung erkennen. |
- Ein Hauptagent delegiert die Ticketabfrage an einen IT-Agent.
- Ein Wissensagent übernimmt die Qualitätssicherung von Dokumenten.
- Ein Routing-Agent entscheidet, welchen Fachagent er aufruft.
|
- Überdelegierung (zu viele Agents) – zum Beispiel, wenn für jede kleine Aufgabe ein separater Agent erstellt wird – kann zu Architektur-Wildwuchs führen und es erschweren, die Agents zu warten, zu debuggen, abzusichern oder zu aktualisieren.
- Eine Unterdelegierung (ein riesiger Agent) – z. B. ein einzelner Agent, der HR-Fragen beantworten, IT-Tickets bearbeiten, eine Problembehandlung durchführen und noch Bestellungen und Vorfälle erstellen soll – kann zu einem monolithischen, fragilen Agent führen, der schwierig zu warten ist.
- Undefinierte Delegationsgrenzen. Beispiele: der Haupt-Agent weiß nicht, wann er Aufgaben weitergeben soll, untergeordnete Agents wissen nicht, welche Eingaben sie erwarten sollen, oder es kommt zu Überschneidungen bei den Aufgabenbereichen (beide Agents bearbeiten IT-Tickets).
|
|
Einheitliche Governance und Risikomanagement |
Definieren Sie, wie der Agent verwaltet, gesichert und überwacht wird, um sicherzustellen, dass er sich während seines gesamten Lebenszyklus verantwortungsvoll, sicher und vorhersehbar verhält.
Diese Definition umfasst Zugangskontrolle, Aktionsberechtigungen, Sicherheitsleitplanken, Verantwortlichkeit und kontinuierliche Überwachung, um sowohl operative als auch KI-bezogene Risiken von Anfang an zu steuern.
Erfahren Sie mehr: Erfassen Sie Governance-Anforderungen und Verantwortungsvolle KI-Prinzipien anwenden. |
- Authentifizierungs- und Zugriffsmodell: Der Agent verwendet Benutzeridentitäten, um nur die Daten abzurufen, die ein Benutzer sehen darf, während Systemidentitäten auf klar definierte Serviceoperationen beschränkt sind.
- Aktionsberechtigungen und Leitplanken: Der Agent kann Arbeitsnotizen oder Antwortentwürfe aktualisieren, darf jedoch irreversible Aktionen (wie das Schließen von Tickets oder das Versenden externer Mitteilungen) nur mit Genehmigung durchführen.
- Sicherheits- und Inhaltsschutz: Sensible oder regulierte Informationen werden erkannt und daran gehindert, weitergegeben oder verarbeitet zu werden, mithilfe von Plattformschutzmaßnahmen (z. B. Datenverlustprävention oder Sicherheitsfilter).
- Protokollierung, Prüfung und Nachverfolgbarkeit: Alle Agentaktionen, Tool-Aufrufe, Ablehnungen und Eskalationen werden protokolliert und sind für Compliance und Überprüfung auditierbar.
- Betriebsverantwortung: Der Agent hat einen definierten Eigentümer, Sponsor und Betriebsbeauftragten; Berechtigungen und Verhalten werden regelmäßig überprüft.
|
- Governance- und Risikokontrollen zu spät zu implementieren, was zu blockierten Bereitstellungen oder Verzögerungen im Produktionsbetrieb führt.
- Agents aus Bequemlichkeit mit zu vielen Berechtigungen auszustatten, erhöht das Risiko von Datenlecks oder unbeabsichtigten Aktionen.
- Agents mit unzureichenden Berechtigungen, die zu Fehlern zur Laufzeit führen, weil benötigte Systeme oder Daten nicht zugänglich sind.
- Fehlende Berücksichtigung von Bedenken hinsichtlich verantwortungsvoller KI bei zentralen Governance-Entscheidungen.
- Schwache operative Governance, wie keine klare verantwortliche Person, kein Überwachungsplan oder kein definierter Prozess für die Reaktion auf Vorfälle.
- Versäumnis, das Verhalten der Agents nach der Bereitstellung zu überwachen, in der Annahme, dass Leitlinien allein ausreichend sind.
|
|
Evaluierung und Optimierung |
Definieren Sie Tests, die realistische Szenarien simulieren, um die Genauigkeit, Relevanz und Antwortqualität Ihrer Agents zu messen. Geben Sie eine erwartete Antwort vor und zeigen Sie, wie die Agentantwort mit Ihrer Antwort oder einer Standardantwort übereinstimmt.
Planen Sie, wie Sie die Leistung messen und verbessern können:
- Genauigkeit und Relevanz
- Zeitersparnis oder Effizienz
- Annahme und Nutzung
- Zufriedenheits- und Vertrauenssignale
- Zitierqualität
- Berechtigungskonformität
- Erkennung falscher Informationen
- Verhalten bei Rückfragen
Definieren Sie, welche Telemetriedaten zu erfassen sind:
- Tool-Aufrufe
- Agent-Aktionen
- Fehler und erneute Versuche
- Benutzerfeedback
Behandeln Sie die Bewertung als Teil des Designs, nicht als nachträglichen Gedanken. Erfahren Sie mehr: Gestalten und operationalisieren Sie die Agentbewertung. |
- Stellen Sie sicher, dass die Ticketabfrage den aktuellen Status und nicht einen veralteten zurückgibt.
- Validieren Sie, dass Quellenlinks auf aktuell genehmigte Inhalte verweisen.
- Stellen Sie sicher, dass der Agent sich weigert, Details zu Tickets anderer Personen preiszugeben.
- Testen Sie, ob der Agent eine Ticketnummer oder einen KB-Artikel erfindet.
- Stellen Sie fest, wie viele E-Mails pro Tag vom autonomen Agent bearbeitet werden und wie hoch der Prozentsatz der Nutzer ist, die den Agent anstelle manueller Kanäle wählen.
|
- Evaluierungen zu spät durchführen (nach dem Einsatz).
- Keine Baseline oder Benchmark.
- Evaluierungen ohne Bezug zu realen Szenarien.
- Keine Regressionserkennung.
- Keine Multi-Turn-Evaluierung.
- Keine Bewertung der Tool-Nutzungsqualität.
- Es werden nur „Happy Paths“ überprüft.
- Telemetrielücken.
|
