Nota:
El acceso a esta página requiere autorización. Puede intentar iniciar sesión o cambiar directorios.
El acceso a esta página requiere autorización. Puede intentar cambiar los directorios.
¿Qué es una nota de transparencia?
Un sistema de inteligencia artificial incluye no solo la tecnología, sino también las personas que la usan, las personas afectadas por ella y el entorno en el que se implementa. La creación de un sistema adecuado a su finalidad requiere comprender cómo funciona la tecnología, cuáles son sus capacidades y limitaciones, y cómo conseguir el mejor rendimiento. Las notas de transparencia de Microsoft le ayudan a comprender cómo funciona nuestra tecnología de inteligencia artificial, las opciones que los propietarios del sistema pueden hacer que influyen en el rendimiento y el comportamiento del sistema, y la importancia de pensar en todo el sistema, incluida la tecnología, las personas y el entorno. Use notas de transparencia al desarrollar o implementar su propio sistema o compártalas con las personas que usan o se ven afectadas por el sistema.
Las notas de transparencia de Microsoft forman parte de un esfuerzo más amplio en Microsoft para poner en práctica nuestros principios de inteligencia artificial. Para obtener más información, consulte los principios de inteligencia artificial de Microsoft.
Conceptos básicos del agente de operaciones de Real-Time Intelligence
Introducción
El agente de operaciones de Real-Time Intelligence es una plataforma para crear agentes que supervisan flujos de datos, detectan anomalías o condiciones y recomiendan acciones basadas en eventos reales. Estos agentes automatizan tareas, proporcionan información y admiten la toma de decisiones oportunas. Mediante la configuración de objetivos empresariales, orígenes de conocimiento, acciones e instrucciones, el agente crea un plan para realizar un seguimiento de los objetivos, supervisar los datos y aplicar reglas para detectar condiciones. El agente notifica a los usuarios las acciones recomendadas si se producen condiciones adecuadas.
Términos clave
Origen de conocimiento: conexión de base de datos que el agente puede usar para buscar y supervisar datos.
Herramienta: una funcionalidad integrada que permite al agente realizar tareas, como generar consultas estructuradas a partir de lenguaje natural, realizar la detección de anomalías y enviar mensajes de correo electrónico o Microsoft Teams.
Subproceso: una sesión de conversación entre un agente y un usuario. Los hilos almacenan mensajes y controlan automáticamente el truncamiento para que el contenido se ajuste al contexto de un modelo.
Cuaderno de estrategias: representación interna del agente de las entidades, datos, reglas y posibles acciones que forman su manual operativo.
Entidad: un objeto de tu negocio que el agente está supervisando. Por ejemplo, en un negocio de alquiler de bicicletas, las bicicletas y las estaciones de acoplamiento pueden ser entidades relevantes. En la gestión del aeropuerto, las líneas de registro de entrada, los puntos de control de seguridad y los pasajeros son entidades relevantes.
Instancias: apariciones específicas de una entidad, como
Bike 0451oFlight MS1234.Reglas: condiciones o patrones en los datos que el agente supervisa antes de realizar recomendaciones.
Reglas autónomas: reglas que tienen acciones asociadas que el agente puede realizar sin una confirmación humana primero.
Capabilities
Comportamiento del sistema
Al crear un agente de operaciones, configure las siguientes opciones: objetivos empresariales, orígenes de conocimiento, posibles acciones e instrucciones. Con estas entradas, el agente utiliza modelos de lenguaje de gran tamaño (LLMs) para crear un manual de estrategias de entidades, datos mapeados y reglas para supervisar. Puede refinar el modelo ajustando los objetivos e instrucciones. Al activar el agente, el agente supervisa los datos en segundo plano. Cuando las condiciones coinciden con las reglas, analiza los datos, identifica la causa y recomienda acciones para lograr objetivos empresariales.
El agente le notifica a través de Teams con alertas de lenguaje natural, lo que le mantiene informado para obtener recomendaciones iniciales. Puede aprobar, rechazar o hacer que la regla sea autónoma, lo que permite al agente actuar sin confirmación adicional.
Dado que el agente usa LLM para crear el cuaderno de estrategias del agente y para recomendar acciones, debe:
Revise cuidadosamente el modelo de comportamiento antes de iniciar el agente.
Supervise detenidamente las recomendaciones del agente y confirme el razonamiento que usa para realizar recomendaciones antes de actuar.
Revise cuidadosamente las reglas autónomas que cree con el agente. Estas reglas impulsan automáticamente la acción.
Casos de uso
Usos previstos
Puede usar agentes de operaciones en varios escenarios. Los usos previstos del sistema incluyen:
Administración del alquiler de bicicletas: puede configurar el agente de operaciones para supervisar continuamente la disponibilidad de bicicletas en varias estaciones mediante datos en tiempo real. Establezca un objetivo para garantizar la disponibilidad de las bicicletas, por lo que encuentra las consultas adecuadas para realizar el seguimiento de ese valor para cada estación de acoplamiento.
Optimización de turbinas eólicas: el agente supervisa los datos procedentes de parques eólicos, las métricas de seguimiento como la salida de energía y la dirección y el ángulo de las hojas. Busca anomalías o caídas en la salida de energía y recomienda ajustes a los parámetros operativos.
Equilibrio de inventario de almacenamiento: el agente supervisa los niveles de existencias en varios almacenes en tiempo real. Establezca un objetivo para mantener una distribución óptima del inventario y evitar existencias o excesos.
Supervisión de gastos: proporcione al agente acceso a los datos sobre las solicitudes e informes de gastos. Pídale que marque los gastos que no cumplen las reglas comunes y que detecte anomalías en patrones a largo plazo para cada empleado o centro de costos.
Automatización de respuesta a incidentes: el agente supervisa los registros y la telemetría de la infraestructura de TI para detectar signos de degradación del servicio o anomalías de seguridad. Su objetivo es reducir el tiempo medio para detectar (MTTD) y el tiempo medio para resolver (MTTR).
Consideraciones al seleccionar los casos de uso
Le animamos a aplicar agentes de operaciones en sus soluciones o aplicaciones innovadoras. Sin embargo, tenga en cuenta los siguientes factores para asegurarse de que el agente es adecuado para su caso de uso específico:
Evite escenarios en los que el uso o el mal uso del sistema podrían dar lugar a lesiones físicas o psicológicas significativas para un individuo. Por ejemplo, los escenarios que diagnostican pacientes o recetan medicamentos pueden causar daños significativos.
Evite escenarios en los que el uso o el uso indebido del sistema podrían tener un impacto consecuente en las oportunidades de vida o el estado legal. Entre los ejemplos se incluyen escenarios en los que el sistema o agente de inteligencia artificial podría afectar al estado legal, los derechos legales o su acceso al crédito, educación, empleo, salud, vivienda, seguro, beneficios de bienestar social, servicios, oportunidades o los términos en los que se proporcionan.
Evite escenarios de alto riesgo que podrían provocar daños. El modelo usado en un agente podría reflejar ciertas opiniones sociales, sesgos y otro contenido no deseado presente en los datos de entrenamiento o los ejemplos proporcionados en el mensaje. Como resultado, se advierte sobre el uso de agentes en escenarios de alto riesgo en los que un comportamiento injusto, no confiable o ofensivo podría ser costoso o provocar daños.
Considere cuidadosamente los casos de uso en un dominio o sector de alto riesgo en el que las acciones del agente son irreversibles o muy consecuentes. Entre estos sectores se incluyen, entre otros, los dominios sanitarios, médicos, financieros o legales.
Consideraciones legales y normativas. Las organizaciones deben evaluar posibles obligaciones legales y normativas específicas al usar cualquier servicio y soluciones de inteligencia artificial, lo que podría no ser adecuado para su uso en todos los sectores o escenarios. Las restricciones pueden variar en función de los requisitos normativos regionales o locales. Además, los servicios o soluciones de inteligencia artificial no están diseñados para y podrían no usarse de maneras prohibidas en términos de servicio aplicables y códigos de conducta pertinentes.
Limitaciones
Limitaciones técnicas, factores operativos e intervalos
A pesar del entrenamiento intensivo de OpenAI y la implementación de controles de inteligencia artificial responsables por Parte de Microsoft, los servicios de INTELIGENCIA artificial son fallibles y probabilísticos. Esta limitación hace que sea difícil bloquear exhaustivamente todo el contenido inapropiado, lo que conduce a posibles sesgos, estereotipos o falta de fundamento en el contenido generado por IA. Para más información sobre las limitaciones conocidas del contenido generado por IA, consulte la nota de transparencia de Azure OpenAI, que incluye referencias a los modelos de lenguaje grandes (LLM) que respaldan a los agentes de operaciones.
Puede proporcionar a los agentes de operaciones una amplia gama de instrucciones y objetivos. La naturaleza probabilística de los modelos de comportamiento de LLM significa que es posible que no pueda alinear los agentes con sus requisitos. La descripción del modelo de comportamiento del agente también se genera mediante ia, por lo que es posible que no sea totalmente precisa.
Para usar los agentes de operaciones de forma eficaz, necesita entrenamiento para interactuar de forma eficaz con el servicio y beneficiarse de él.
Los modelos avanzados de inteligencia artificial requieren recursos computacionales significativos, lo que puede afectar al rendimiento, especialmente en entornos limitados por recursos. Es posible que experimente problemas de latencia o rendimiento durante los tiempos de uso máximo.
Dado que los agentes combinan modelos de lenguaje con sistemas externos, es posible que le resulte difícil comprender por qué eligió determinadas herramientas o combinaciones de herramientas para responder a una consulta. Este desafío complica la confianza y la comprobación de las salidas o acciones del agente.
Las organizaciones deben tener en cuenta sus obligaciones legales y de cumplimiento específicas al usar agentes de operaciones, especialmente en sectores regulados. Microsoft examina los requisitos normativos que se aplican a Microsoft como proveedor de la tecnología y los aborda dentro del producto a través de un proceso de mejora continua.
A través de la experiencia del usuario del agente, puede interrumpir o apagar rápidamente el agente en cualquier momento. Esta acción detiene la supervisión de los datos nuevos y cualquier acción nueva que el agente pueda recomendar o realizar. Es posible que las acciones invocadas por el agente en otros sistemas (por ejemplo, iniciar un flujo de trabajo de Power Automate) no se detengan inmediatamente. El agente inicia estas acciones como procesos independientes que necesita administrar en esas otras experiencias de producto.
Los mensajes entre el agente y el usuario se entregan a través de Teams. Al enviar mensajes al agente, Azure Bot Service procesa los mensajes. El uso de azure AI Bot Service tiene una limitación técnica de que cada bot solo puede tener un único punto de conexión global. En el caso de los bots de primera parte de Teams, las solicitudes se envían al punto de conexión global y, a continuación, se redirigen a un punto de conexión regional cerca del usuario. Los agentes de operaciones usan un punto de conexión ubicado en la UE, lo que significa que los datos de usuario se pueden mover fuera de su región geográfica para su procesamiento.
Rendimiento del sistema
En los sistemas de inteligencia artificial, el rendimiento suele estar vinculado a la precisión (con qué frecuencia el sistema proporciona salidas correctas). En el caso de los agentes de operaciones, el rendimiento es más flexible, ya que los usuarios pueden interpretar las salidas de forma diferente. Los errores suelen producirse cuando el agente mal entiende objetivos, datos o entidades clave en el proceso de negocio. Cuando el agente realiza recomendaciones, los usuarios deben revisar cuidadosamente el contexto proporcionado antes de aprobar las acciones.
Prácticas recomendadas para mejorar el rendimiento del sistema
Para lograr los mejores resultados con agentes de operaciones, céntrese en la creación de mensajes detallados y bien estructurados. Los objetivos e instrucciones que proporciona ayudan al agente a identificar los puntos de datos y las reglas correctos para supervisar los cambios a lo largo del tiempo. Mejore la precisión definiendo explícitamente los valores de datos y las condiciones que el agente debe supervisar. Describa claramente cómo las acciones influyen en los resultados y cómo se espera que cambien los valores supervisados.
Los datos de alta calidad son igualmente importantes. Asegúrese de que las estructuras de datos están bien organizadas, con nombres de columna significativos en lugar de valores codificados. Aplanar los datos de eventos anidados cuando sea posible. Esta estructura facilita la localización y supervisión de la información pertinente de forma eficaz.
Evaluación de agentes de operaciones
Métodos de evaluación
La plataforma del agente de operaciones usa un proceso riguroso y de varias fases para evaluar la precisión, la seguridad y la mejora continua. En su núcleo se trata de un ciclo de tres fases:seguimiento>iterar>evaluar. Este ciclo comienza mediante la implementación de telemetría para supervisar los procesos de toma de decisiones del agente, incluida la planificación, la formación de ontologías, la base de datos, la generación de reglas y la ejecución. Los conjuntos de datos de evaluación proceden de casos de uso reales y datos sintéticos que presentan variabilidad. Se miden métricas como la precisión, la convergencia, las tasas de error y la seguridad a lo largo del ciclo de vida del agente, desde el desarrollo hasta la producción.
El entorno de evaluación refleja las condiciones de producción y enfatiza la separación entre las canalizaciones de desarrollo y evaluación para evitar sesgos. Los conjuntos de datos iniciales se seleccionan manualmente y se definen las ontologías y salidas esperadas de antemano. Más adelante, se escalan estos conjuntos de datos mediante la generación sintética. Los conjuntos de datos se centran en los objetivos operativos relevantes para la supervisión empresarial y la toma de decisiones. Aunque representan escenarios reales, aún no incluyen configuraciones de objetivos dinámicos ni poblaciones de usuarios más amplias. Este enfoque mantiene las evaluaciones centradas, reproducibles y alineadas con los principios de inteligencia artificial responsables.
Resultados de la evaluación
Nuestros procesos de evaluación utilizan una metodología estructurada de seguimiento, >iteración y >evaluación. Insertamos evaluaciones en cada fase de los bucles de toma de decisiones del agente. Estas evaluaciones confirmaron que el agente genera constantemente ontologías precisas, genera consultas válidas y pertinentes y selecciona las acciones adecuadas alineadas con los objetivos del usuario. Estos resultados respaldan la alineación del sistema con los objetivos de responsabilidad, especialmente en la garantía de que funciona según lo previsto en contextos operativos del mundo real.
Los conjuntos de datos de entrenamiento y prueba usados en la evaluación se seleccionaron cuidadosamente para reflejar una amplia gama de escenarios operativos. Los conjuntos de datos iniciales se construyen manualmente a partir de casos de uso reales, con salidas esperadas claramente definidas, incluidas las ontologías y los resultados de la consulta. Más adelante, expandió estos conjuntos de datos mediante la generación sintética para aumentar la variabilidad y la cobertura. Ha diseñado los conjuntos de datos para representar los tipos de objetivos y entornos de datos que se espera que encuentre el agente, incluidas las variaciones en la complejidad del esquema, la disponibilidad de los datos y la intención del usuario. Este enfoque garantiza que la evaluación capturó una variedad representativa de factores operativos y configuraciones, lo que respalda el desarrollo y la implementación del sistema responsables.
Los resultados de la evaluación influyeron en varias restricciones de diseño clave en el sistema. Por ejemplo, hemos introducido límites en el tamaño máximo de consulta y la complejidad mínima de la ontología para garantizar un rendimiento coherente y reducir las tasas de error. Aunque los resultados son ampliamente aplicables a muchos escenarios de supervisión operativa y soporte técnico para la toma de decisiones, la evaluación inicial no incluía algunas áreas, como la reconfiguración de objetivos dinámicos y la colaboración multiagente. Estas áreas representan oportunidades para futuras pruebas y desarrollo.
Evaluación e integración de agentes de operaciones para su uso
El comportamiento de un agente está conformado por las instrucciones, los objetivos, los datos y las acciones que proporcione. Mensajes precisos, datos limpios y bien organizados con nombres de columna intuitivos mejoran la exactitud y reducen los errores.
Después de configurar el agente, valide las reglas y los modelos de comportamiento del agente revisando las consultas de KQL para garantizar la alineación con los procesos empresariales. Aunque las condiciones basadas en reglas desencadenan el agente, sus recomendaciones generadas por modelos de lenguaje de gran escala (LLM) pueden contener imprecisiones, por lo que siempre revise los resultados antes de actuar.
Los agentes con gran capacidad de respuesta pueden provocar notificaciones excesivas o el uso excesivo de acciones automatizadas, lo que puede provocar inestabilidad del sistema. Para mitigar los riesgos, ajuste las reglas, realice auditorías periódicas, simule casos perimetrales e interfaces de diseño que promuevan la transparencia. Por ejemplo, muestre puntuaciones de confianza y explicaciones claras para las recomendaciones.