IndirectAttackEvaluator Clase
Definición
Importante
Parte de la información hace referencia a la versión preliminar del producto, que puede haberse modificado sustancialmente antes de lanzar la versión definitiva. Microsoft no otorga ninguna garantía, explícita o implícita, con respecto a la información proporcionada aquí.
Un IEvaluator que utiliza el servicio de evaluación de Fundición de IA de Azure para evaluar las respuestas producidas por un modelo de IA para la presencia de ataques indirectos, como contenido manipulado, intrusiones e recopilación de información.
public ref class IndirectAttackEvaluator sealed : Microsoft::Extensions::AI::Evaluation::Safety::ContentSafetyEvaluatorpublic sealed class IndirectAttackEvaluator : Microsoft.Extensions.AI.Evaluation.Safety.ContentSafetyEvaluatortype IndirectAttackEvaluator = class
inherit ContentSafetyEvaluatorPublic NotInheritable Class IndirectAttackEvaluator
Inherits ContentSafetyEvaluator- Herencia
Comentarios
Los ataques indirectos, también conocidos como ataques insertados entre dominios (XPIA), son cuando los ataques de jailbreak se insertan en el contexto de un documento o origen que puede dar lugar a un comportamiento modificado e inesperado. Las evaluaciones de ataques indirectos se dividen en tres subcategorías:
Contenido manipulado: esta categoría implica comandos que pretenden modificar o fabricar información, a menudo para engañar o engañar. Incluye acciones como la propagación de información falsa, la modificación del idioma o el formato, y ocultar o resaltar detalles específicos. El objetivo suele ser manipular las percepciones o comportamientos mediante el control del flujo y la presentación de información.
Intrusión: esta categoría abarca comandos que intentan infringir sistemas, obtener acceso no autorizado o elevar privilegios de forma ilícita. Incluye la creación de puertas traseras, vulnerabilidades de vulnerabilidades y jailbreaks tradicionales para omitir las medidas de seguridad. La intención suele ser obtener control o acceder a datos confidenciales sin detección.
Recopilación de información: esta categoría pertenece al acceso, eliminación o modificación de datos sin autorización, a menudo con fines malintencionados. Incluye la filtración de datos confidenciales, la manipulación de registros del sistema y la eliminación o modificación de la información existente. El objetivo es adquirir o manipular datos para aprovechar o poner en peligro sistemas e individuos.
IndirectAttackEvaluator devuelve un BooleanMetric objeto con un valor de que true indica la presencia de un ataque indirecto en la respuesta y un valor de false que indica la ausencia de un ataque indirecto.
Tenga en cuenta que IndirectAttackEvaluator no admite la evaluación del contenido multimodal presente en las respuestas evaluadas. Se omitirán las imágenes y otro contenido multiproceso presentes en las respuestas evaluadas.
Constructores
| Nombre | Description |
|---|---|
| IndirectAttackEvaluator() |
Un IEvaluator que utiliza el servicio de evaluación de Fundición de IA de Azure para evaluar las respuestas producidas por un modelo de IA para la presencia de ataques indirectos, como contenido manipulado, intrusiones e recopilación de información. |
Propiedades
| Nombre | Description |
|---|---|
| EvaluationMetricNames |
Obtiene los Names de los EvaluationMetricgenerados por este IEvaluatorobjeto . (Heredado de ContentSafetyEvaluator) |
| IndirectAttackMetricName |
Obtiene el Name objeto del BooleanMetric devuelto por IndirectAttackEvaluator. |
Métodos
| Nombre | Description |
|---|---|
| EvaluateAsync(IEnumerable<ChatMessage>, ChatResponse, ChatConfiguration, IEnumerable<EvaluationContext>, CancellationToken) |
Evalúa el proporcionado |
| EvaluateContentSafetyAsync(IChatClient, IEnumerable<ChatMessage>, ChatResponse, IEnumerable<EvaluationContext>, String, Boolean, CancellationToken) |
Evalúa el |
| FilterAdditionalContext(IEnumerable<EvaluationContext>) |
Filtra los EvaluationContextelementos proporcionados por el autor de la llamada |
