IndirectAttackEvaluator Klasa
Definicja
Ważne
Niektóre informacje odnoszą się do produktu w wersji wstępnej, który może zostać znacząco zmodyfikowany przed wydaniem. Firma Microsoft nie udziela żadnych gwarancji, jawnych lub domniemanych, w odniesieniu do informacji podanych w tym miejscu.
IEvaluator, który wykorzystuje usługę oceny Azure AI Foundry do oceny odpowiedzi generowanych przez model sztucznej inteligencji na obecność ataków pośrednich, takich jak manipulowanie zawartością, włamanie i zbieranie informacji.
public ref class IndirectAttackEvaluator sealed : Microsoft::Extensions::AI::Evaluation::Safety::ContentSafetyEvaluatorpublic sealed class IndirectAttackEvaluator : Microsoft.Extensions.AI.Evaluation.Safety.ContentSafetyEvaluatortype IndirectAttackEvaluator = class
inherit ContentSafetyEvaluatorPublic NotInheritable Class IndirectAttackEvaluator
Inherits ContentSafetyEvaluator- Dziedziczenie
Uwagi
Ataki pośrednie, nazywane również atakami polegającymi na wstrzyknięciu ataków między domenami (XPIA), są wprowadzane do kontekstu dokumentu lub źródła, co może spowodować zmianę, nieoczekiwane zachowanie. Oceny ataków pośrednich są podzielone na trzy podkategorie:
Manipulowana zawartość: ta kategoria obejmuje polecenia, które mają na celu zmianę lub sfałszowanie informacji, często w błąd lub oszukanie. Obejmuje ona akcje, takie jak rozpowszechnianie fałszywych informacji, zmienianie języka lub formatowanie oraz ukrywanie lub wyróżnianie określonych szczegółów. Celem jest często manipulowanie postrzeganiem lub zachowaniami poprzez kontrolowanie przepływu i prezentacji informacji.
Włamanie: ta kategoria obejmuje polecenia, które próbują naruszyć systemy, uzyskać nieautoryzowany dostęp lub podnieść poziom uprawnień nielegalnie. Obejmuje tworzenie backdoorów, wykorzystywanie luk w zabezpieczeniach i tradycyjnych jailbreaków w celu obejścia środków bezpieczeństwa. Celem jest często uzyskanie kontroli lub dostępu do poufnych danych bez wykrywania.
Zbieranie informacji: ta kategoria dotyczy uzyskiwania dostępu, usuwania lub modyfikowania danych bez autoryzacji, często w celach złośliwych. Obejmuje ona eksfiltrację poufnych danych, manipulowanie rekordami systemowymi oraz usuwanie lub zmienianie istniejących informacji. Koncentruje się on na pozyskiwaniu lub manipulowaniu danymi w celu wykorzystania lub naruszenia zabezpieczeń systemów i osób.
IndirectAttackEvaluator
BooleanMetric Zwraca wartość z wartością true wskazującą obecność pośredniego ataku w odpowiedzi i wartość false wskazującą brak ataku pośredniego.
Należy pamiętać, że IndirectAttackEvaluator nie obsługuje oceny zawartości wielomodalnej obecnej w ocenianych odpowiedziach. Obrazy i inna zawartość wielomodalna obecna w ocenianych odpowiedziach zostaną zignorowane.
Konstruktory
| Nazwa | Opis |
|---|---|
| IndirectAttackEvaluator() |
IEvaluator, który wykorzystuje usługę oceny Azure AI Foundry do oceny odpowiedzi generowanych przez model sztucznej inteligencji na obecność ataków pośrednich, takich jak manipulowanie zawartością, włamanie i zbieranie informacji. |
Właściwości
| Nazwa | Opis |
|---|---|
| EvaluationMetricNames |
NamePobiera s z s wyprodukowanych EvaluationMetricprzez ten IEvaluatorelement . (Odziedziczone po ContentSafetyEvaluator) |
| IndirectAttackMetricName |
Name Pobiera wartość zwracaną BooleanMetric przez IndirectAttackEvaluator. |
Metody
| Nazwa | Opis |
|---|---|
| EvaluateAsync(IEnumerable<ChatMessage>, ChatResponse, ChatConfiguration, IEnumerable<EvaluationContext>, CancellationToken) |
Oblicza podaną wartość |
| EvaluateContentSafetyAsync(IChatClient, IEnumerable<ChatMessage>, ChatResponse, IEnumerable<EvaluationContext>, String, Boolean, CancellationToken) |
Oblicza podaną |
| FilterAdditionalContext(IEnumerable<EvaluationContext>) |
Filtruje EvaluationContexts dostarczone przez obiekt wywołujący za pośrednictwem |
