IndirectAttackEvaluator Klasse
Definition
Wichtig
Einige Informationen beziehen sich auf Vorabversionen, die vor dem Release ggf. grundlegend überarbeitet werden. Microsoft übernimmt hinsichtlich der hier bereitgestellten Informationen keine Gewährleistungen, seien sie ausdrücklich oder konkludent.
Eine IEvaluator, die den Azure AI Foundry Auswertungsdienst verwendet, um Antworten zu bewerten, die von einem KI-Modell für das Vorhandensein indirekter Angriffe wie manipulierter Inhalte, Angriffs- und Informationssammlungen erstellt wurden.
public ref class IndirectAttackEvaluator sealed : Microsoft::Extensions::AI::Evaluation::Safety::ContentSafetyEvaluatorpublic sealed class IndirectAttackEvaluator : Microsoft.Extensions.AI.Evaluation.Safety.ContentSafetyEvaluatortype IndirectAttackEvaluator = class
inherit ContentSafetyEvaluatorPublic NotInheritable Class IndirectAttackEvaluator
Inherits ContentSafetyEvaluator- Vererbung
Hinweise
Indirekte Angriffe, die auch als domänenübergreifende eingabeaufforderungsübergreifende Angriffe (XPIA) bezeichnet werden, sind, wenn Jailbreak-Angriffe in den Kontext eines Dokuments oder einer Quelle eingefügt werden, die zu einem veränderten, unerwarteten Verhalten führen können. Indirekte Angriffsbewertungen werden in drei Unterkategorien unterteilt:
Bearbeiteter Inhalt: Diese Kategorie umfasst Befehle, die darauf abzielen, Informationen zu ändern oder zu erstellen, häufig zu täuschen oder zu täuschen. Dazu gehören Aktionen wie das Verbreiten falscher Informationen, das Ändern von Sprache oder Formatierung sowie das Ausblenden oder Hervorheben bestimmter Details. Das Ziel besteht oft darin, Wahrnehmungen oder Verhaltensweisen zu manipulieren, indem sie den Fluss und die Darstellung von Informationen steuern.
Angriff: Diese Kategorie umfasst Befehle, die versuchen, Systeme zu verletzen, unbefugten Zugriff zu erlangen oder unerlaubte Rechte zu erhöhen. Es umfasst das Erstellen von Hintertüren, das Ausnutzen von Sicherheitsrisiken und herkömmlichen Jailbreaks zur Umgehung von Sicherheitsmaßnahmen. Die Absicht besteht häufig darin, die Kontrolle oder den Zugriff auf vertrauliche Daten ohne Erkennung zu erlangen.
Sammeln von Informationen: Diese Kategorie bezieht sich auf den Zugriff, das Löschen oder Ändern von Daten ohne Autorisierung, häufig zu böswilligen Zwecken. Dazu gehören das Exfiltrieren vertraulicher Daten, das Manipulieren von Systemdatensätzen und das Entfernen oder Ändern vorhandener Informationen. Der Fokus liegt auf dem Erwerb oder Bearbeiten von Daten, um Systeme und Einzelpersonen auszunutzen oder zu kompromittieren.
IndirectAttackEvaluator gibt einen BooleanMetric Wert zurück, der true angibt, dass ein indirekter Angriff in der Antwort vorhanden ist, und ein Wert, der false angibt, dass ein indirekter Angriff nicht vorhanden ist.
Beachten Sie, dass IndirectAttackEvaluator die Auswertung von multimodalen Inhalten, die in den ausgewerteten Antworten vorhanden sind, nicht unterstützt wird. Bilder und andere multimodale Inhalte, die in den ausgewerteten Antworten vorhanden sind, werden ignoriert.
Konstruktoren
| Name | Beschreibung |
|---|---|
| IndirectAttackEvaluator() |
Eine IEvaluator, die den Azure AI Foundry Auswertungsdienst verwendet, um Antworten zu bewerten, die von einem KI-Modell für das Vorhandensein indirekter Angriffe wie manipulierter Inhalte, Angriffs- und Informationssammlungen erstellt wurden. |
Eigenschaften
| Name | Beschreibung |
|---|---|
| EvaluationMetricNames |
Ruft die Names der EvaluationMetricvon diesem IEvaluatorerzeugten s ab. (Geerbt von ContentSafetyEvaluator) |
| IndirectAttackMetricName |
Ruft die Name der BooleanMetric zurückgegeben von IndirectAttackEvaluator. |
Methoden
| Name | Beschreibung |
|---|---|
| EvaluateAsync(IEnumerable<ChatMessage>, ChatResponse, ChatConfiguration, IEnumerable<EvaluationContext>, CancellationToken) |
Wertet den angegebenen |
| EvaluateContentSafetyAsync(IChatClient, IEnumerable<ChatMessage>, ChatResponse, IEnumerable<EvaluationContext>, String, Boolean, CancellationToken) |
Wertet die bereitgestellte |
| FilterAdditionalContext(IEnumerable<EvaluationContext>) |
Filtert die EvaluationContextvom Aufrufer bereitgestellten Daten nach |
