Hinweis
Für den Zugriff auf diese Seite ist eine Autorisierung erforderlich. Sie können versuchen, sich anzumelden oder das Verzeichnis zu wechseln.
Für den Zugriff auf diese Seite ist eine Autorisierung erforderlich. Sie können versuchen, das Verzeichnis zu wechseln.
Wichtig
In diesem Artikel markierte Elemente (Vorschau) befinden sich derzeit in der öffentlichen Vorschau. Diese Vorschau wird ohne Vereinbarung auf Serviceebene bereitgestellt und wird für Produktionsworkloads nicht empfohlen. Bestimmte Features werden möglicherweise nicht unterstützt oder weisen eingeschränkte Funktionen auf. Weitere Informationen finden Sie unter Supplementale Nutzungsbedingungen für Microsoft Azure Previews.
Hinweis
Die Ablaufverfolgung ist grundsätzlich für Prompt- und gehostete Agents verfügbar. Der Workflow und externe Agenten sind als Vorschau verfügbar.
Microsoft Foundry bietet eine Einblick-Plattform für die Überwachung und Ablaufverfolgung von KI-Agenten. Es erfasst wichtige Details während einer Agentausführung, z. B. Eingaben, Ausgaben, Toolverwendung, Wiederholungen, Latenzen und Kosten. Das Verständnis der Gründe für die Ausführungen Ihres Agents ist wichtig für die Fehlersuche und das Debuggen. Das Verständnis komplexer Agents stellt jedoch aus verschiedenen Gründen Herausforderungen dar:
- Es kann eine hohe Anzahl von Schritten beim Generieren einer Antwort geben, was es schwierig macht, alle nachzuverfolgen.
- Die Reihenfolge der Schritte kann je nach Benutzereingabe variieren.
- Die Eingaben und Ausgaben in jeder Phase könnten lang sein und eine genauere Prüfung erfordern.
- Jeder Schritt der Laufzeit eines Agenten kann auch Verschachtelungen umfassen. Beispielsweise kann ein Agent ein Tool aufrufen, das einen anderen Prozess verwendet, der dann ein anderes Tool aufruft. Wenn Ihnen eine seltsame oder falsche Ausgabe bei der Ausführung eines Top-Level-Agenten auffällt, kann es schwierig sein, genau zu bestimmen, wo in der Ausführung das Problem eingeführt wurde.
Traces begegnen diesen Herausforderungen, indem sie Ihnen ermöglichen, die Ein- und Ausgaben jeder primitiven Komponente anzuzeigen, die an einem bestimmten Agentenlauf beteiligt ist, und zwar in der Reihenfolge, in der sie aufgerufen wurden. So lässt sich das Verhalten Ihres KI-Agenten leicht verstehen und debuggen.
Voraussetzungen
Zum Verwenden der Ende-zu-Ende Ablaufverfolgung benötigen Sie Folgendes:
- Ein Foundry-Projekt mit aktiviertem Tracing. Informationen zum Einrichten finden Sie unter How to set up tracing in Microsoft Foundry.
- Zugriff auf die Application Insights-Ressource, die mit Ihrem Projekt verbunden ist. Hintergrundinformationen finden Sie unter Azure Monitor Application Insights.
- Eine Log Analytics Reader-Rolle zur Anzeige von Traces, Insights und Visualisierungen in Foundry.
Hinweis
Tracing speichert Telemetriedaten in Azure Monitor Application Insights, was je nach Datenvolumen und Aufbewahrungseinstellungen Kosten verursachen kann. Preisdetails finden Sie unter Application Insights-Preise.
OpenTelemetry in Foundry
OpenTelemetry (OTel) bietet standardisierte Protokolle zum Sammeln und Weiterleiten von Telemetriedaten. Foundry verwendet die semantischen Konventionen von OpenTelemetry, sodass Traces über unterstützte Tools und Integrationen hinweg konsistent sind.
Wichtige Konzepte nachvollziehen
Die folgenden wichtigsten Konzepte gelten in diesem Artikel:
| Schlüsselkonzepte | Beschreibung |
|---|---|
| Spuren | Ablaufverfolgungen erfassen die Reise einer Anforderung oder eines Workflows durch Ihre Anwendung, indem Ereignisse und Zustandsänderungen aufgezeichnet werden (Funktionsaufrufe, Werte, Systemereignisse). Siehe OpenTelemetry-Ablaufverfolgungen. |
| Spans | Spans sind die Bausteine von Verfolgungen und stellen einzelne Vorgänge innerhalb einer Verfolgung dar. Jede Spannweite erfasst Start- und Endzeiten, Attribute und kann geschachtelt werden, um hierarchische Beziehungen anzuzeigen, sodass Sie den vollständigen Aufrufstapel und die Abfolge von Vorgängen sehen können. |
| Attribute | Attribute sind Schlüssel-Wert-Paare, die Traces und Spans zugeordnet sind und Kontextmetadaten bereitstellen, wie zum Beispiel Funktionsparameter, Rückgabewerte oder benutzerdefinierte Anmerkungen. Diese bereichern Ablaufverfolgungsdaten und machen sie für die Analyse informativer und nützlicher. |
| Semantische Konventionen | OpenTelemetry definiert semantische Konventionen für die Standardisierung von Namen und Formaten von Tracing-Datenattributen und vereinfacht deren Interpretation und Analyse über verschiedene Tools und Plattformen hinweg. Weitere Informationen finden Sie in den Semantikkonventionen von OpenTelemetry GenAI. |
| Ablaufverfolgungsexporter | Trace-Exporter senden Trace-Daten an Back-End-Systeme zur Speicherung und Analyse. In Foundry werden Traces in Azure Monitor Application Insights gespeichert. Informationen zum Aktivieren und Anzeigen von Ablaufverfolgungen finden Sie unter Einrichten der Ablaufverfolgung in Microsoft Foundry. |
Funktionsweise der Nachverfolgung in Foundry
Die Ablaufverfolgung hilft Ihnen bei der Beantwortung von Fragen wie "Woher stammt diese Antwort?" und "Welcher Schritt hat einen Fehler oder eine Latenzspitze eingeführt?"
Auf allgemeiner Ebene erfasst die Ablaufverfolgung Folgendes:
- Benutzereingaben und Agentausgabe.
- Toolverwendung, einschließlich Toolaufrufe und Ergebnisse.
- Tokenverbrauch.
- Zeitsignale wie Dauer und Latenz.
Wenn Sie die Ablaufverfolgung für Ihr Projekt aktivieren, können Sie Ablaufverfolgungen im Foundry-Portal und in Azure Monitor Application Insights überprüfen. Die schrittweisen Einrichtungs- und Anzeigeoptionen finden Sie unter How to set up tracing in Microsoft Foundry.
Erweitern von OpenTelemetry mit Multi-Agent-Observability
Microsoft trägt in Zusammenarbeit mit Cisco Outshift semantische Konventionen für Multi-Agent-Systeme bei. Diese Konventionen bauen auf OpenTelemetry GenAI-Agent- und Framework-Spans und W3C Trace Context auf. Sie standardisieren Telemetrie für Multi-Agent-Workflows, einschließlich Agentaufrufe, Workflow-Orchestrierung, Planung, Modellaufrufe und Toolausführung.
Wichtig
Die OpenTelemetry GenAI-Semantikkonventionen weisen den Entwicklungsstatus auf und können sich in zukünftigen Versionen ändern.
Diese Verbesserungen sind in folgendes integriert:
- Giesserei
- Microsoft Agent Framework
- LangChain
- LangGraph
- OpenAI Agents SDK
Weitere Informationen finden Sie unter Tracing-Integrationen.
Die folgende Tabelle beschreibt gängige OpenTelemetry GenAI-Konventionen für die Observability von Multi-Agenten-Systemen. Spans erfassen Vorgänge, untergeordnete Spans zeigen verschachtelte Abläufe, und Attribute liefern Metadaten. Die gezeigten Parent-Spans sind gängige Beispiele; die tatsächliche Verschachtelung hängt vom instrumentierten Agenten oder Framework ab.
| Typ | Kontext/übergeordnete Spanne | Name/Attribut/Ereignis | Zweck |
|---|---|---|---|
| Bereich | — | invoke_agent |
Ruft einen Agent über einen Remotedienst oder innerhalb desselben Prozesses auf. |
| Untergeordneter Bereich | invoke_agent |
invoke_agent |
Verfolgt den Aufruf eines anderen Agenten über eine Parent-Child-Span-Beziehung nach. |
| Untergeordneter Span | invoke_agent |
plan |
Zeichnet eine Planungsphase eines Agenten oder eine Aufgabenzerlegungsphase auf. |
| Bereich | — | invoke_workflow |
Ruft einen koordinierten Workflow auf, der Agents oder andere generative KI-Vorgänge enthält. |
| Untergeordneter Span |
invoke_agent oder invoke_workflow |
execute_tool |
Zeichnet eine Toolausführung auf. |
| Untergeordneter Span |
invoke_agent oder invoke_workflow |
create_memory, search_memory, update_memory, upsert_memory oder delete_memory |
Zeichnet einen Speichervorgang auf. |
| Attribut | invoke_agent |
gen_ai.tool.definitions |
Zeichnet Definitionen von Tools auf, die einem Agent oder Modell zur Verfügung stehen. |
| Attribut | execute_tool |
gen_ai.tool.call.arguments |
Zeichnet die Argumente auf, die an einen Toolaufruf übergeben werden. |
| Attribut | execute_tool |
gen_ai.tool.call.result |
Zeichnet das Ergebnis auf, das von einem erfolgreichen Toolaufruf zurückgegeben wird. |
Bewährte Methoden
- Verwenden Sie konsistente Span-Attribute: Wenden Sie die gleichen Attributnamen und Formate für alle Agents und Tools an, um die Abfrage und Analyse zu vereinfachen.
- Korrelieren von Auswertungsausführungs-IDs: Verknüpfen Sie Ablaufverfolgungsdaten mit Auswertungsläufen, um Sowohl Qualität als auch Leistung in einer einheitlichen Ansicht zu analysieren.
- Bearbeiten Sie vertraulichen Inhalt: Entfernen oder maskieren Sie personenbezogene Daten, Geheimnisse und Anmeldeinformationen aus Eingabeaufforderungen, Toolargumenten und Span-Attributen, bevor sie die Telemetrie erreichen.
Sicherheit und Datenschutz
Die Nachverfolgung kann sensible Informationen erfassen, z. B. Benutzereingaben, Modellausgaben sowie Argumente und Ergebnisse von Tools. Verwenden Sie diese Methoden, um Risiken zu reduzieren:
- Speichern Sie geheime Schlüssel, Anmeldeinformationen oder Token nicht in Eingabeaufforderungen, Toolargumenten oder Span-Attributen.
- Reduzieren oder entfernen Sie persönliche Daten und andere sensible Inhalte, bevor sie in der Telemetrie erscheinen.
- Behandeln Sie Ablaufverfolgungsdaten als Produktionstelemetrie, und wenden Sie dieselben Zugriffssteuerungen und Aufbewahrungsrichtlinien an, die Sie für Protokolle und Metriken verwenden.
Informationen zu Schritten zum Weiterleiten vertraulicher Inhalte an die dedizierte Tabelle und das Einschränken des Zugriffs darauf finden Sie unter Einschränken des Zugriffs auf vertrauliche Inhalte.
Problembehandlung
Wenn Traces nicht im Foundry-Portal oder in Application Insights angezeigt werden:
- Stellen Sie sicher, dass Ihr Foundry-Projekt mit einer Application Insights-Ressource verbunden ist.
- Überprüfen Sie, ob Ihr Konto über die erforderlichen Berechtigungen zum Abfragen der Telemetrie verfügt.
- Stellen Sie sicher, dass Ihr Agentcode die erforderliche Instrumentierung enthält. Frameworkspezifisches Setup finden Sie unter Tracing-Integrationen.
Tipp
Die Ablaufverfolgung ist in allen Regionen verfügbar, in denen Foundry unterstützt wird. Die Datenaufbewahrung und das Sampling richten sich nach Ihrer Application Insights-Konfiguration. Ausführliche Informationen finden Sie unter Datenaufbewahrung und -archiv in Azure Monitor Protokollen.