Verbessern von Agents mithilfe von auswertungsgesteuerter Triage und Wartung

Die Erstellung eines effektiven KI-Agents geht über die Erstellung von Anweisungen und die Verbindung von Daten und Tools hinaus. Nach der Bereitstellung müssen Teams das Verhalten von Agents kontinuierlich evaluieren, diagnostizieren und verbessern, um sicherzustellen, dass es den geschäftlichen, qualitativen und sicherheitsbezogenen Anforderungen entspricht.

Diese Artikelreihe stellt ein praxisnahes Framework für die Optimierungsphase des Lebenszyklus der Agententwicklung vor. Mit dem Framework können Sie Bewertungsergebnisse (Bewertungen, fehlgeschlagene Testfälle und Regressionen) in klare, priorisierte Maßnahmen umsetzen.

Verwenden Sie dieses Framework, wenn Sie Bewertungsergebnisse haben und entscheiden müssen, wie Sie weiter vorgehen sollen. Zu den häufigen Szenarios gehören:

• Ein Bewertungssatz liegt unter einem erwarteten Schwellenwert.
• Bestimmte Testfälle schlagen fehl und die genaue Ursache ist unklar.
• Die Ergebnisse verbessern sich in einem Bereich, verschlechtern sich aber in einem anderen.
• Mehrere Bewertungssets scheitern und die Prioritäten sind unklar.
• Das Verhalten eines Agents ändert sich unerwartet nach einem Update.

Dieses Rahmenwerk geht davon aus, dass Sie bereits bestehende oder nicht-bestandene Ergebnisse für einzelne Testfälle über ein oder mehrere Bewertungssets hinweg haben.

Nächster Schritt

Verstehen Sie die Ziele des Triage- und Remediation-Frameworks, einschließlich seiner Struktur und Designprinzipien.

Verwandte Informationen

• Automatisieren von Tests mit Agentbewertung in Microsoft Copilot Studio
• Entwerfen und Umsetzen der Agentbewertung
• Entwicklung von Agent-Lösungen: Bewertungsframeworks
• Architektur von Agentlösungen: Gängige Bewertungsansätze