Översikt över agentspårning

Viktigt

Objekt markerade (förhandsversion) i den här artikeln är för närvarande i offentlig förhandsversion. Den här förhandsversionen tillhandahålls utan ett serviceavtal och vi rekommenderar det inte för produktionsarbetsbelastningar. Vissa funktioner kanske inte stöds eller har begränsade funktioner. Mer information finns i Supplemental Terms of Use for Microsoft Azure Previews.

Observera

Spårning är allmänt tillgänglig för promptagenter och värdbaserade agenter. Arbetsflödet och externa agenter är i förhandsversion.

Microsoft Foundry är en observerbarhetsplattform för övervakning och spårning av AI-agenter. Den samlar in viktig information under en agentkörning, till exempel indata, utdata, verktygsanvändning, återförsök, svarstider och kostnader. Att förstå resonemanget bakom agentens körningar är viktigt för felsökning och avlusning. Men att förstå komplexa agenter innebär utmaningar av flera skäl:

  • Det kan finnas ett stort antal steg som krävs för att generera ett svar, vilket gör det svårt att hålla reda på dem alla.
  • Stegsekvensen kan variera beroende på användarens indata.
  • Indata och utdata i varje steg kan vara långa och förtjänar mer detaljerad inspektion.
  • Varje steg i en agents körning kan också innebära nästling. En agent kan till exempel anropa ett verktyg som använder en annan process som sedan anropar ett annat verktyg. Om du ser konstiga eller felaktiga utdata från en agentkörning på toppnivå kan det vara svårt att avgöra exakt var i körningen problemet introducerades.

Spårningar hanterar dessa utmaningar genom att låta dig visa indata och utdata för varje primitiv som är involverad i en viss agentkörning, som visas i den ordning de anropades, vilket gör det enkelt att förstå och felsöka AI-agentens beteende.

Förutsättningar

Om du vill använda spårning från slutpunkt till slutpunkt behöver du:

Observera

Spårning lagrar telemetridata i Azure Monitor Application Insights, vilket kan medföra kostnader baserat på inställningar för datavolym och kvarhållning. Prisinformation finns i Priser för Application Insights.

OpenTelemetry i Foundry

OpenTelemetry (OTel) tillhandahåller standardiserade protokoll för insamling och routning av telemetridata. Foundry använder OpenTelemetry-semantiska konventioner så att spårningar är konsekventa mellan verktyg och integreringar som stöds.

Spåra viktiga begrepp

Följande viktiga begrepp gäller i den här artikeln:

Viktiga begrepp Beskrivning
Spår Spårningar registrerar resan för en begäran eller ett arbetsflöde via ditt program genom att registrera händelser och tillståndsändringar (funktionsanrop, värden, systemhändelser). Se OpenTelemetry Traces.
Spänner Intervall är byggstenarna i spårningar som representerar enskilda åtgärder i en spårning. Varje intervall samlar in start- och sluttider, attribut och kan kapslas för att visa hierarkiska relationer, så att du kan se hela anropsstacken och sekvensen med åtgärder.
Attribut Attribut är nyckel/värde-par som är kopplade till spårningar och intervall, vilket ger kontextuella metadata, till exempel funktionsparametrar, returvärden eller anpassade anteckningar. Dessa berikar spårningsdata, vilket gör dem mer informativa och användbara för analys.
Semantiska konventioner OpenTelemetry definierar semantiska konventioner för att standardisera namn och format för attribut för spårningsdata, vilket gör det lättare att tolka och analysera mellan verktyg och plattformar. Mer information finns i OpenTelemetry GenAI-semantiska konventioner.
Spårningsexportörer Spårningsexportörer skickar spårningsdata till serverdelssystem för lagring och analys. I Foundry lagras spårningar i Azure Monitor Application Insights. Mer information om hur du aktiverar och visar spårningar finns i Så här konfigurerar du spårning i Microsoft Foundry.

Så här fungerar spårning i Foundry

Spårning hjälper dig att svara på frågor som "Var kom det här svaret ifrån?" och "Vilket steg introducerade ett fel eller svarstidstoppar?"

Spårningsfångst på hög nivå:

  • Användarindata och agentutdata.
  • Verktygsanvändning, inklusive verktygsanrop och resultat.
  • Tokenförbrukning.
  • Tidssignaler som varaktighet och svarstid.

När du aktiverar spårning för projektet kan du granska spårningar i Foundry-portalen och i Azure Monitor Application Insights. Stegvisa konfigurations- och visningsalternativ finns i Så här konfigurerar du spårning i Microsoft Foundry.

Utöka OpenTelemetry med observerbarhet för flera agenter

Microsoft i samarbete med Cisco Outshift bidrar med semantiska konventioner för system med flera agenter. Dessa konventioner bygger på OpenTelemetry GenAI-agent- och ramverksspann och W3C Trace Context. De standardiserar telemetri för arbetsflöden med flera agenter, inklusive agentanrop, arbetsflödesorkestrering, planering, modellanrop och verktygskörning.

Viktigt

OpenTelemetry GenAI-semantiska konventioner har utvecklingsstatus och kan komma att ändras i framtida versioner.

Dessa förbättringar är integrerade i:

  • Gjuteri
  • Microsoft Agent Framework
  • LangChain
  • LangGraph
  • OpenAI Agents SDK

Mer information finns i spåra integreringar.

I följande tabell beskrivs vanliga OpenTelemetry GenAI-konventioner för observerbarhet för flera agenter. Spann registrerar operationer, barnspann visar nästlat arbete och attribut ger metadata. De överordnade intervall som visas är vanliga exempel. faktisk kapsling beror på instrumenterad agent eller ramverk.

Typ Kontext/överordnat område Namn/attribut/händelse Syfte
Omfång — invoke_agent Anropar en agent via en fjärrtjänst eller inom samma process.
Underordnat spann invoke_agent invoke_agent Spårar ett anrop till en annan agent via en överordnad-underordnad-relation mellan span.
Underordnat spann invoke_agent plan Registrerar en agents planerings- eller uppgiftsnedbrytningsfas.
Omfång — invoke_workflow Anropar ett samordnat arbetsflöde som innehåller agenter eller andra generativa AI-åtgärder.
Underordnat spann invoke_agent eller invoke_workflow execute_tool Registrerar en körning av ett verktyg.
Underordnat spann invoke_agent eller invoke_workflow create_memory, search_memory, update_memory, upsert_memoryeller delete_memory Registrerar en minnesoperation.
Attribut invoke_agent gen_ai.tool.definitions Registrerar definitioner av verktyg som är tillgängliga för en agent eller modell.
Attribut execute_tool gen_ai.tool.call.arguments Registrerar argumenten som skickas till ett verktygsanrop.
Attribut execute_tool gen_ai.tool.call.result Registrerar resultatet som returneras av ett lyckat verktygsanrop.

Metodtips

  • Använd konsekventa span-attribut: Använd samma attributnamn och format för alla agenter och verktyg för att förenkla frågekörning och analys.
  • Korrelera utvärderingskörnings-ID: Länka spårningsdata med utvärderingskörningar för att analysera både kvalitet och prestanda i en enhetlig vy.
  • Redigera känsligt innehåll: Ta bort eller maskera personliga data, hemligheter och autentiseringsuppgifter från prompter, verktygsargument och span-attribut innan de når telemetri.

Säkerhet och sekretess

Spårning kan samla in känslig information, till exempel användarindata, modellutdata och verktygsargument och resultat. Använd dessa metoder för att minska risken:

  • Lagra inte hemligheter, autentiseringsuppgifter eller token i prompter, verktygsargument eller span-attribut.
  • Redigera eller minimera personliga data och annat känsligt innehåll innan de visas i telemetri.
  • Behandla spårningsdata som produktionstelemetri och tillämpa samma åtkomstkontroller och kvarhållningsprinciper som du använder för loggar och mått.

Information om hur du dirigerar känsligt innehåll till den dedikerade tabellen och begränsar åtkomsten till det finns i Begränsa åtkomst till känsligt innehåll.

Felsökning

Om spårningar inte visas i Foundry-portalen eller Application Insights:

  • Kontrollera att ditt Foundry-projekt är anslutet till en Application Insights-resurs.
  • Kontrollera att ditt konto har de behörigheter som krävs för att fråga telemetri.
  • Se till att agentkoden innehåller nödvändig instrumentation. Mer information om ramverksspecifik konfiguration finns i Spårningsintegreringar.

Tips

Spårning är tillgänglig i alla regioner där Foundry stöds. Spårning av datalagring och sampling styrs av din Application Insights-konfiguration. Mer information finns i Datakvarhållning och arkiv i Azure Monitor Loggar.

Relaterat innehåll

  • Last updated on