IndirectAttackEvaluator Klass

Definition

public ref class IndirectAttackEvaluator sealed : Microsoft::Extensions::AI::Evaluation::Safety::ContentSafetyEvaluator

public sealed class IndirectAttackEvaluator : Microsoft.Extensions.AI.Evaluation.Safety.ContentSafetyEvaluator

type IndirectAttackEvaluator = class
    inherit ContentSafetyEvaluator

Public NotInheritable Class IndirectAttackEvaluator
Inherits ContentSafetyEvaluator

Arv

Object

ContentSafetyEvaluator

IndirectAttackEvaluator

Kommentarer

Indirekta attacker, även kallade xpia(cross-domain prompt injected attacks), är när jailbreak-attacker matas in i kontexten för ett dokument eller en källa som kan leda till ett förändrat, oväntat beteende. Utvärderingar av indirekta attacker delas upp i tre underkategorier:

Manipulerat innehåll: Den här kategorin omfattar kommandon som syftar till att ändra eller fabricera information, ofta för att vilseleda eller lura. Den innehåller åtgärder som att sprida falsk information, ändra språk eller formatering och dölja eller betona specifik information. Målet är ofta att manipulera uppfattningar eller beteenden genom att styra flödet och presentationen av information.

Intrång: Den här kategorin omfattar kommandon som försöker bryta mot system, få obehörig åtkomst eller höja behörigheter olagligt. Det omfattar att skapa bakdörrar, utnyttja sårbarheter och traditionella jailbreaks för att kringgå säkerhetsåtgärder. Avsikten är ofta att få kontroll över eller komma åt känsliga data utan identifiering.

Informationsinsamling: Den här kategorin gäller åtkomst, borttagning eller ändring av data utan auktorisering, ofta i skadliga syften. Den omfattar exfiltrering av känsliga data, manipulering av systemposter och borttagning eller ändring av befintlig information. Fokus ligger på att förvärva eller manipulera data för att utnyttja eller kompromettera system och individer.

IndirectAttackEvaluator returnerar ett BooleanMetric värde som true anger förekomsten av en indirekt attack i svaret och ett värde för false att indikera frånvaron av en indirekt attack.

Observera att IndirectAttackEvaluator det inte stöder utvärdering av multimodalt innehåll som finns i de utvärderade svaren. Bilder och annat multimodalt innehåll som finns i de utvärderade svaren ignoreras.