Vue d’ensemble du suivi de l’agent

Important

Les éléments indiqués comme (aperçu) dans cet article sont en aperçu public. Cette préversion est fournie sans contrat de niveau de service. Nous vous déconseillons donc de l’utiliser dans des charges de travail de production. Certaines fonctionnalités peuvent ne pas être prises en charge ou avoir des fonctionnalités contraintes. Pour plus d’informations, consultez Conditions d'utilisation supplémentaires pour les versions préliminaires de Microsoft Azure.

Note

Le suivi est généralement disponible pour les agents prompt et les agents hébergés. Workflow et les agents externes sont en préversion.

Microsoft Foundry fournit une plateforme d’observabilité pour la surveillance et le suivi des agents IA. Il capture les détails clés lors de l’exécution d’un agent, tels que les entrées, les sorties, l’utilisation des outils, les nouvelles tentatives, les latences et les coûts. Comprendre les raisons derrière les exécutions de votre agent est important pour la résolution des problèmes et le débogage. Toutefois, la compréhension des agents complexes présente des défis pour plusieurs raisons :

  • Il peut y avoir un grand nombre d’étapes impliquées dans la génération d’une réponse, ce qui rend difficile le suivi de tous ces éléments.
  • La séquence d’étapes peut varier en fonction de l’entrée de l’utilisateur.
  • Les entrées et sorties à chaque étape peuvent être longues et méritent une inspection plus détaillée.
  • Chaque étape du runtime d’un agent peut également impliquer l’imbrication. Par exemple, un agent peut appeler un outil, qui utilise un autre processus, puis appelle un autre outil. Si vous remarquez une sortie étrange ou incorrecte d'une tâche d'agent de niveau supérieur, il peut être difficile de déterminer exactement où, au cours de l’exécution, le problème a été introduit.

Les traces répondent à ces défis en vous permettant d’afficher les entrées et sorties de chaque primitive impliquée dans une exécution d’agent particulière, affichée dans l’ordre dans lequel elles ont été appelées, ce qui facilite la compréhension et le débogage du comportement de votre agent IA.

Conditions préalables

Pour utiliser le suivi de bout en bout, vous avez besoin des éléments suivants :

Note

Le suivi stocke les données de télémétrie dans Azure Monitor Application Insights, ce qui peut entraîner des coûts en fonction du volume de données et des paramètres de rétention. Pour plus d’informations sur la tarification, consultez la tarification d’Application Insights.

OpenTelemetry dans Foundry

OpenTelemetry (OTel) fournit des protocoles standardisés pour la collecte et le routage des données de télémétrie. Foundry utilise des conventions sémantiques OpenTelemetry afin que les traces soient cohérentes entre les outils et les intégrations pris en charge.

Tracer les concepts clés

Les concepts clés suivants s’appliquent tout au long de cet article :

Concepts clés Description
Traces Les traces capturent le parcours d’une requête ou d’un flux de travail via votre application en enregistrant les événements et les modifications d’état (appels de fonction, valeurs, événements système). Voir Traces OpenTelemetry.
Étendues Les spans sont les éléments constitutifs des traces, représentant des opérations uniques au sein d’une trace. Chaque span capture les horodatages de début et de fin ainsi que des attributs, et peut être imbriqué pour afficher des relations hiérarchiques, ce qui permet de visualiser la pile d’appels complète et la séquence des opérations.
Attributs Les attributs sont des paires clé-valeur attachées à des traces et des segments, fournissant des métadonnées contextuelles telles que des paramètres de fonction, des valeurs de retour ou des annotations sur mesure. Ces données enrichissent les données de trace, ce qui les rend plus informatives et utiles pour l’analyse.
Conventions sémantiques OpenTelemetry définit des conventions sémantiques pour normaliser les noms et les formats des attributs de données de trace, ce qui facilite l’interprétation et l’analyse entre les outils et les plateformes. Pour plus d’informations, consultez les conventions sémantiques OpenTelemetry GenAI.
Exportateurs de traces Les exportateurs de trace envoient des données de trace aux systèmes principaux pour le stockage et l’analyse. Dans Foundry, les traces sont stockées dans Azure Monitor Application Insights. Pour savoir comment activer et afficher les traces, consultez How to configure tracing in Microsoft Foundry.

Fonctionnement du traçage dans Foundry

Le suivi vous aide à répondre à des questions telles que « Où cette réponse provient-elle ? » et « Quelle étape a introduit un pic d’erreur ou de latence ? »

À un niveau élevé, le suivi capture :

  • Entrées utilisateur et sorties de l’agent.
  • Utilisation de l’outil, y compris les appels d’outils et les résultats.
  • Consommation de jetons.
  • Signaux temporels tels que la durée et la latence.

Lorsque vous activez le suivi pour votre projet, vous pouvez inspecter les traces dans le portail Foundry et dans Azure Monitor Application Insights. Pour connaître les options de configuration et d’affichage pas à pas, consultez Comment configurer le suivi dans Microsoft Foundry.

Étendre OpenTelemetry avec une observabilité multi-agent

Microsoft, en collaboration avec Cisco Outshift, contribue à des conventions sémantiques pour les systèmes multi-agents. Ces conventions s’appuient sur l’agent OpenTelemetry GenAI et les étendues d’infrastructure et le contexte de trace W3C. Ils normalisent les données de télémétrie pour les workflows multi-agents, notamment les appels d’agent, l’orchestration des flux de travail, la planification, les appels de modèle et l’exécution d’outils.

Important

Les conventions sémantiques OpenTelemetry GenAI ont un état de développement et peuvent changer dans les futures versions.

Ces améliorations sont intégrées aux éléments suivants :

  • Fonderie
  • Infrastructure de l’agent Microsoft
  • LangChain
  • LangGraph
  • Kit de développement logiciel (SDK) Des agents OpenAI

Pour plus d’informations, consultez suivi des intégrations.

Le tableau suivant décrit les conventions OpenTelemetry GenAI courantes pour l’observabilité multi-agent. Les étendues capturent les opérations, les étendues enfants représentent les opérations imbriquées, et les attributs fournissent des métadonnées. Les étendues parentes affichées sont des exemples courants ; l’imbrication réelle dépend de l’agent instrumenté ou de l’infrastructure.

Type Étendue de contexte/parent Nom/Attribut/Événement Objectif
Étendue — invoke_agent Appelle un agent via un service distant ou dans le même processus.
Étendue enfant invoke_agent invoke_agent Trace un appel d’un autre agent via une relation d’étendue parent-enfant.
Étendue enfant invoke_agent plan Enregistre une phase de planification de l’agent ou de décomposition des tâches.
Étendue — invoke_workflow Appelle un workflow coordonné qui contient des agents ou d’autres opérations d’IA génératives.
Étendue enfant invoke_agent ou invoke_workflow execute_tool Enregistre une exécution d’outil.
Étendue enfant invoke_agent ou invoke_workflow create_memory, search_memory, update_memory, upsert_memory oudelete_memory Enregistre une opération de mémoire.
Attribut invoke_agent gen_ai.tool.definitions Enregistre les définitions d’outils disponibles pour un agent ou un modèle.
Attribut execute_tool gen_ai.tool.call.arguments Enregistre les arguments passés à un appel d’outil.
Attribut execute_tool gen_ai.tool.call.result Enregistre le résultat retourné par un appel d’outil réussi.

Meilleures pratiques

  • Utilisez des attributs d’étendue cohérents : appliquez les mêmes noms et formats d’attributs à tous les agents et outils pour simplifier l’interrogation et l’analyse.
  • Mettre en corrélation les ID d’exécution d’évaluation : lier des données de trace avec des exécutions d’évaluation pour analyser la qualité et les performances dans une vue unifiée.
  • Rédiger le contenu sensible : supprimer ou masquer les données personnelles, les secrets et les identifiants des prompts, des arguments d’outils et des attributs de spans avant qu’ils n’atteignent la télémétrie.

Sécurité et confidentialité

Le suivi peut capturer des informations sensibles, telles que les entrées utilisateur, les sorties de modèle et les arguments et les résultats des outils. Utilisez ces pratiques pour réduire les risques :

  • Ne stockez pas de secrets, d’informations d’identification ou de jetons dans des invites, des arguments d’outil ou des attributs d’étendue.
  • Réactez ou réduisez les données personnelles et d’autres contenus sensibles avant qu’elles ne s’affichent dans la télémétrie.
  • Traitez les données de trace comme des données de télémétrie de production et appliquez les mêmes contrôles d’accès et stratégies de rétention que vous utilisez pour les journaux et les métriques.

Pour découvrir les étapes permettant d’acheminer du contenu sensible vers la table dédiée et de restreindre l’accès à celui-ci, consultez Restreindre l’accès au contenu sensible.

Dépannage

Si les traces ne s’affichent pas dans le portail Foundry ou Application Insights :

  • Vérifiez que votre projet Foundry est connecté à une ressource Application Insights.
  • Vérifiez que votre compte dispose des autorisations requises pour interroger la télémétrie.
  • Vérifiez que votre code d’agent inclut l’instrumentation nécessaire. Pour une configuration spécifique à l’infrastructure, consultez Intégrations de suivi.

Conseil

Le suivi est disponible dans toutes les régions où Foundry est pris en charge. La rétention et l’échantillonnage des données de trace suivent votre configuration Application Insights. Pour plus d’informations, consultez Rétention et archivage des données dans Azure Monitor Logs.

Contenu connexe

  • Last updated on