Behandeln von Bewertungs- und Beobachtbarkeitsproblemen

Dieser Artikel enthält Informationen, mit denen Sie häufig auftretende Probleme lösen können, wenn Sie Auswertungs- und Observability-Features in Microsoft Foundry verwenden. Einige Probleme beziehen sich auf die Konfiguration des Speicherkontos, die rollenbasierte Zugriffssteuerung (RBAC) oder die Netzwerkeinstellungen für das Foundry-Projekt. Andere Probleme treten auf, während eine Auswertung ausgeführt wird, z. B. Authentifizierungsfehler, Modellkapazitäts- oder Kontingentbeschränkungen, Datenformatprobleme oder fehlende Bewertungen.

Speicherkonto nicht mit dem Foundry-Projekt verknüpft

Auswertungsfeatures erfordern ein Speicherkonto, das über eine Verbindung mit Ihrem Foundry-Projekt verknüpft ist. Wenn das Speicherkonto nicht verbunden ist, schlagen Auswertungen fehl, da der Dienst keine Auswertungsdaten lesen oder schreiben kann.

Symptome:

• Auswertungen schlagen mit Fehlern im Zusammenhang mit dem Speicherzugriff oder fehlender Speicherkonfiguration fehl.
• Der Auswertungsdienst kann keine Auswertungsergebnisse hochladen oder Datasets herunterladen.

Verbinden eines Speicherkontos mit dem Foundry-Projekt

Verbinden Sie Ihr Speicherkonto mit dem Foundry-Projekt, indem Sie eine Azure Blob Storage Verbindung erstellen. Für schrittweise Anleitungen sehen Sie unter „Hinzufügen einer neuen Verbindung zu Ihrem Projekt“ nach.

Sie können die Verbindung mithilfe eines Accountschlüssels oder Microsoft Entra ID (empfohlen) authentifizieren. Wenn Sie Entra ID verwenden, finden Sie Informationen zum Konfigurieren der erforderlichen Berechtigungen unter Fehlende RBAC-Rollenzuweisung für die Entra ID-Authentifizierung.

Weitere Informationen zum Einbringen Ihres eigenen Speichers für Auswertungen finden Sie unter "Rate limits", "Regionsunterstützung" und "Enterprise-Features für die Auswertung".

Fehlende RBAC-Rollenzuweisung für Microsoft Entra ID Authentifizierung

Wenn Sie Ihr Speicherkonto mithilfe Microsoft Entra ID Authentifizierung verbinden, muss die verwaltete Identität des Foundry-Projekts über die Rolle Storage Blob Data Contributor für das Speicherkonto verfügen. Ohne diese Rolle kann der Dienst keine Blob-Daten lesen oder schreiben und Auswertungen schlagen fehl.

Symptome:

• Auswertungen scheitern aufgrund von 403 Forbidden- oder AuthorizationPermissionMismatch-Fehlern.
• Es werden Fehler angezeigt, die angeben, dass nicht genügend Berechtigungen für den Zugriff auf das Speicherkonto vorhanden sind.
• Speichervorgänge laufen ab oder werden abgelehnt.

Überprüfen der Rollenzuweisung für die verwaltete Identität

Verwenden Sie die folgenden Azure CLI Befehle, um zu überprüfen, ob die richtige RBAC-Rolle der verwalteten Identität des Foundry-Projekts auf dem Speicherkonto zugewiesen ist.

Rufen Sie zunächst die Prinzipal-ID der verwalteten Identität für Ihr Foundry-Projekt ab:

az resource show \
  --resource-group <your-resource-group> \
  --name <your-foundry-account-name> \
  --resource-type "Microsoft.CognitiveServices/accounts" \
  --query "identity.principalId" \
  --output tsv

Listen Sie dann die Rollenzuweisungen für das Speicherkonto auf, und filtern Sie nach der verwalteten Identität:

az role assignment list \
  --scope "/subscriptions/<subscription-id>/resourceGroups/<resource-group>/providers/Microsoft.Storage/storageAccounts/<storage-account-name>" \
  --assignee <principal-id> \
  --output table

Überprüfen Sie, ob die Ausgabe eine Rollenzuweisung enthält, in der RoleDefinitionName auf Mitwirkender an Storage-Blobdaten (oder Besitzer von Speicherblobdaten) festgelegt ist.

Zuweisen der Rolle "Storage Blob Data Contributor"

Wenn die Rollenzuweisung fehlt, weisen Sie der verwalteten Identität des Foundry-Projekts die Rolle " Storage Blob Data Contributor " zu:

az role assignment create \
  --assignee <principal-id> \
  --role "Storage Blob Data Contributor" \
  --scope "/subscriptions/<subscription-id>/resourceGroups/<resource-group>/providers/Microsoft.Storage/storageAccounts/<storage-account-name>"

Netzwerkzugriffseinschränkungen für Speicherkonten

Wenn Sie Microsoft Entra ID Authentifizierung verwenden, muss das Speicherkonto über aktivierten öffentlichen Netzwerkzugriff verfügen. Wenn der Netzwerkzugriff eingeschränkt ist, kann der Findry-Auswertungsdienst möglicherweise nicht das Speicherkonto erreichen.

Symptome:

• Auswertungen schlagen mit netzwerkbezogenen Fehlern oder Timeouts fehl.
• Sie sehen 403 Forbidden Fehler, obwohl RBAC-Rollen korrekt zugewiesen sind.
• Verbindungen mit dem Speicherkonto werden abgelehnt.

Überprüfen der Netzwerkkonfiguration des Speicherkontos

Verwenden Sie den folgenden Azure CLI Befehl, um die Netzwerkzugriffseinstellungen Ihres Speicherkontos zu überprüfen:

az storage account show \
  --resource-group <resource-group> \
  --name <storage-account-name> \
  --query "{publicNetworkAccess: publicNetworkAccess, defaultAction: networkRuleSet.defaultAction, virtualNetworkRules: networkRuleSet.virtualNetworkRules, ipRules: networkRuleSet.ipRules}" \
  --output json

Überprüfen Sie die Ausgabe auf die folgenden Werte:

Wenn publicNetworkAccess auf Disabled oder defaultAction auf Deny festgelegt wird, kann der Auswertungsdienst das Speicherkonto nicht erreichen.

Aktivieren des Öffentlichen Netzwerkzugriffs

Aktivieren des öffentlichen Netzwerkzugriffs auf das Speicherkonto:

az storage account update \
  --resource-group <resource-group> \
  --name <storage-account-name> \
  --public-network-access Enabled

Wenn Sie die Firewall aktiviert lassen, den Zugriff jedoch zulassen müssen, legen Sie die Standardaktion auf "Zulassen" fest:

az storage account update \
  --resource-group <resource-group> \
  --name <storage-account-name> \
  --default-action Allow

Prüfliste zur Problembehandlung

Verwenden Sie diese Checkliste, um Ihre Evaluierungseinrichtung schnell zu überprüfen:

1. Storage-Verbindung ist vorhanden: Vergewissern Sie sich, dass eine Azure Blob Storage Verbindung in Ihrem Foundry-Projekt konfiguriert ist. Navigieren Sie zu Build-Werkzeuge> im Foundry Portal, um es zu überprüfen.

2. Authentication-Typ: Ermitteln Sie, ob die Verbindung einen Kontoschlüssel oder Microsoft Entra ID verwendet. Falls Entra ID vorhanden ist, führen Sie die verbleibenden Prüfungen aus.

3. Zugewiesene RBAC-Rolle: Überprüfen Sie, ob die verwaltete Identität des Foundry-Projekts die Rolle " Storage Blob Data Contributor " für das Speicherkonto aufweist.

   az role assignment list \
     --scope "/subscriptions/<subscription-id>/resourceGroups/<resource-group>/providers/Microsoft.Storage/storageAccounts/<storage-account-name>" \
     --assignee <principal-id> \
     --query "[].{Role:roleDefinitionName, Principal:principalId}" \
     --output table
   

4. Netzwerkzugriff: Stellen Sie sicher, dass das Speicherkonto den zugriff auf das öffentliche Netzwerk aktiviert hat.

   az storage account show \
     --resource-group <resource-group> \
     --name <storage-account-name> \
     --query "publicNetworkAccess" \
     --output tsv
   

5. Verteilungsverzögerung: Wenn Sie kürzlich RBAC- oder Netzwerkänderungen vorgenommen haben, warten Sie mindestens 10 Minuten, bevor Sie den Vorgang wiederholen.

Die Ausführung der Auswertung ist langsam, hängt fest oder schlägt mit Kapazitäts- oder Kontingentfehlern fehl.

Ein Evaluierungslauf kann lange im Status Wird ausgeführt oder ausstehend verbleiben, langsam laufen oder aufgrund von Quotenfehlern fehlschlagen. Diese Bedingung tritt in der Regel auf, wenn die Bereitstellung des Richtermodells nicht über genügend Kapazität verfügt, sodass der Dienst Anforderungen drosselt oder erneut anfordert.

Symptome:

• Der Lauf verbleibt viel länger im Wird ausgeführt oder ausstehenden Status als erwartet.
• Die Ausführung schlägt mit einem 429 Too Many Requests Fehler fehl.
• Es werden Fehler angezeigt, die Kontingent- oder Ratelimits erwähnen.

Auflösung:

• Vergewissern Sie sich, dass die Bereitstellung des Richtermodells über genügend Kontingent verfügt. Das für KI-unterstützte Bewerter verwendete Bewertungsmodell wird auf Ihr Azure OpenAI-Kontingent angerechnet.
• Erhöhen Sie das Token-Kontingent pro Minute (TPM) für die Modellbereitstellung im Azure-Portal, und führen Sie die Auswertung erneut aus.
• Verringern Sie die Größe Ihres Datasets, oder teilen Sie sie in kleinere Batches auf. Verringern Sie bei Simulationen die maximale Anzahl an Dialogzügen pro Konversation.
• Verwenden Sie eine kleinere oder kostengünstigere Modellbereitstellung für schnellere, günstigere Ausführungen.
• Wenn ein SDK-Lauf hängt, brechen Sie ihn mit client.evals.runs.cancel(run_id, eval_id=eval_id) ab, erhöhen Sie die Kapazität und senden Sie ihn dann erneut ab.
• Überprüfen Sie bei einem 429-Fehler die im retry-after-Header empfohlene Wartezeit und verwenden Sie bei Wiederholungsversuchen eine exponentielle Backoff-Strategie.

Authentifizierungs- oder Autorisierungsfehler (401 oder 403)

Wenn eine Evaluierung mit dem Fehler 401 Unauthorized oder 403 Forbidden fehlschlägt, der nicht mit dem Speicher zusammenhängt, liegt die Ursache in der Regel an der Projektauthentifizierung oder an einer fehlenden Rollenzuweisung.

Auflösung:

• Vergewissern Sie sich, dass diese DefaultAzureCredential ordnungsgemäß konfiguriert ist. Wenn Sie die Azure CLI verwenden, führen Sie den Befehl ausaz login. Wenn Sie die Azure Developer CLI verwenden, führen Sie azd auth login aus.
• Vergewissern Sie sich, dass Ihr Konto über die Rolle " Foundry User " im Foundry-Projekt verfügt.
• Überprüfen Sie, ob die URL des Projektendpunkts korrekt ist und sowohl die Konto- als auch die Projektnamen enthält.

Datenformat- oder Feldzuordnungsfehler

Wenn eine Auswertung aufgrund eines Schema-, Datenzuordnungs- oder Feldzuordnungsfehlers fehlschlägt, entsprechen die Testdaten nicht dem, was von den Auswertungen erwartet wird.

Auflösung:

• Überprüfen Sie, ob ihre JSONL-Datei genau ein gültiges JSON-Objekt pro Zeile aufweist.
• Vergewissern Sie sich, dass die Feldnamen in Der Datenzuordnung exakt mit den Feldnamen in Ihrem Dataset übereinstimmen. Bei Feldnamen wird die Groß-/Kleinschreibung beachtet.
• Überprüfen Sie, ob das von Ihnen definierte Schema, z item_schema . B. im SDK, den Feldern in Ihrem Dataset entspricht.
• Überprüfen Sie bei Portalauswertungen, ob Ihr Dataset die erforderlichen Spalten für den Auswertungsbereich enthält. Stellen Sie bei Unterhaltungsauswertungen sicher, dass die Nachrichtenspalte ordnungsgemäß formatierte Chatnachrichten enthält.
• Wenn Sie auf Gesprächsebene auswerten, entfernen Sie die Auswerter, die nur die Gesprächsbeiträge bewerten, oder wechseln Sie zur Auswertung auf Gesprächsbeitragsebene. Ein nur auf Gesprächsrunden basierender Evaluator, der mit einer Auswertung auf Konversationsebene verwendet wird, führt zu einem Fehler auf inkompatibler Auswertungsebene.

Fehlende oder null Bewertungsergebnisse

Nach Abschluss eines Durchlaufs fehlen möglicherweise einige Bewertungswerte oder sind unerwartet null.

Fehler des Agentenbewertungstools

Wenn ein Agent-Evaluator einen Fehler für nicht unterstützte Tools zurückgibt:

• Überprüfen Sie die unterstützten Tools für Agent-Auswertungen.
• Umschließen Sie als Problemumgehung nicht unterstützte Tools als benutzerdefinierte Funktionstools, damit der Evaluator sie bewerten kann.

Azure Developer CLI (azd) Bewertungsprobleme

Diese Probleme gelten, wenn Sie Agent-Auswertungen mit den azd ai agent eval Befehlen ausführen.

Den vollständigen Azd-Auswertungsworkflow finden Sie unter Ausführen von Agent-Auswertungen mit der azd CLI.

Probleme bei der Ablaufverfolgungsauswertung

Die Ablaufverfolgungsauswertung führt Auswertungen anhand von Agenteninteraktionen aus, die Application Insights bereits erfasst hat, anstatt Anfragen erneut abzuspielen.

Der projektverwalteten Identität fehlen Leseberechtigungen für die Ablaufverfolgung

Die verwaltete Identität des Foundry-Projekts liest Traces aus Application Insights. Ohne die richtige Rolle kann der Dienst keine Traces abfragen, und die Traceauswertung liefert keine Daten oder schlägt fehl.

Symptome:

• Die Traceauswertung schlägt mit einem Berechtigungs- oder Autorisierungsfehler fehl.
• Der Lauf findet keine Spuren, obwohl in Application Insights Spuren vorhanden sind.

Auflösung:

Weisen Sie der verwalteten Identität des Projekts die Rolle Log Analytics-Lesersowohl auf der Application Insights-Ressource als auch auf dem zugehörigen Log Analytics-Arbeitsbereich zu. Informationen dazu, wie Sie die Prinzipal-ID der verwalteten Identität finden, finden Sie unter Überprüfen der Rollenzuweisung der verwalteten Identität.

az role assignment create \
  --assignee <principal-id> \
  --role "Log Analytics Reader" \
  --scope "<application-insights-or-log-analytics-resource-id>"

Führen Sie den Befehl zweimal aus: einmal für die Application Insights-Ressource und einmal für den Log Analytics Arbeitsbereich, mit dem er verknüpft ist. Rollenzuweisungen können bis zu 10 Minuten dauern, bis sie verteilt werden. Details zum Setup finden Sie unter Einrichten der Ablaufverfolgung in Microsoft Foundry.

Abgerufene Traces haben keine Eingabe- oder Ausgabenachrichten.

Qualitätsbewerter lesen die Abfrage und die Antwort aus jeder Ablaufverfolgung. Wenn die abgerufenen invoke_agent Spannen weder das Attribut gen_ai.input.messages noch das Attribut gen_ai.output.messages haben, haben die Evaluatoren keinen Gesprächsinhalt zur Bewertung.

Symptome:

• Qualitätsbewerter wie Kohärenz, Flüssigkeit, Relevanz und Auflösung der Absicht geben score=None zurück.
• Sicherheitsbewertungen laufen, erzeugen aber keine aussagekräftigen Ergebnisse.

Ursache: Der Agent übermittelt die GenAI-Nachrichtenattribute nicht an seinen invoke_agent-Spans, sodass die erfassten Traces keine Gesprächsinhalte enthalten. Der Auswertungsdienst liest nur die Bereiche, bei denen gen_ai.operation.name mit invoke_agent identisch ist.

Auflösung:

• Stellen Sie sicher, dass Ihr Agent OpenTelemetry-Spans ausgibt, die den GenAI-semantischen Konventionen entsprechen, einschließlich der Attribute gen_ai.input.messages und gen_ai.output.messages auf invoke_agent-Spans.

• Für Python-Agenten, die mit dem Azure AI Agent Server SDK erstellt wurden, installieren Sie das Tracing-Extra, damit Spans automatisch ausgegeben werden:

  pip install "azure-ai-agentserver-core[tracing]"
  

• Bestätigen Sie in Application Insights, dass die invoke_agent Spanne die Nachrichtenattribute enthält, bevor Sie die Auswertung erneut ausführen.

Menschliche Bewertung

In diesem Abschnitt werden häufige Probleme mit der Funktion "Menschliche Auswertung" für Foundry-Agenten behandelt.

Die Feedbackschaltfläche wird nicht angezeigt, nachdem der Agent reagiert.

Ursache: Für den Agent ist keine Evaluierungsvorlage als aktiv festgelegt.

Auflösung: Wählen Sie auf der Registerkarte " Menschliche Auswertung " die Option "Als aktiv festlegen " für die gewünschte Vorlage aus. Es kann jeweils nur eine Vorlage aktiv sein. Weitere Informationen finden Sie unter Einrichten der menschlichen Auswertung für Ihre Agents.

Im Abschnitt "Auswertungsergebnisse" sind keine Ergebnisse sichtbar.

Ursache: Application Insights ist nicht für das Projekt konfiguriert, oder es gibt eine Datenaufnahmeverzögerung (bis zu 5 Minuten nach der Übermittlung einer Auswertung).

Auflösung: Stellen Sie sicher, dass Application Insights mit Ihrem Projekt verbunden ist. Anweisungen zum Einrichten finden Sie unter Konfigurieren von Application Insights für die Agent-Ablaufverfolgung. Wenn Application Insights bereits konfiguriert ist, warten Sie einige Minuten, und aktualisieren Sie die Seite.

Der Prüfer kann nicht auf die Vorschau-Web-App zugreifen.

Ursache: Der Prüfer verfügt nicht über die erforderliche Rolle für das Foundry-Projekt.

Auflösung: Weisen Sie dem Prüfer für das Foundry-Projekt die Rolle " Foundry User " zu. Anweisungen finden Sie unter Role-based access control in Microsoft Foundry.

Verwandte Inhalte

• Hinzufügen einer neuen Verbindung zu Ihrem Projekt
• Herstellen einer Verbindung mit Ihrem eigenen Speicher
• Bewertungsgrenzwerte, Regionsunterstützung und Enterprise-Features für die Auswertung
• Bewerten Sie Ihre KI-Agenten
• Ausführen von Agent-Auswertungen mit der azd CLI
• Ausführen von Auswertungen aus dem Gießereiportal
• Anzeigen von Auswertungsergebnissen im Gießereiportal
• Ablaufverfolgung in Microsoft Foundry einrichten
• Richten Sie die menschliche Bewertung für Ihre Agenten ein