Nota de transparência do agente de operações

O que é uma nota de transparência?

Um sistema de IA inclui não apenas a tecnologia, mas também as pessoas que a usam, as pessoas afetadas por ela e o ambiente no qual ela é implantada. A criação de um sistema adequado para sua finalidade pretendida requer uma compreensão de como a tecnologia funciona, quais são suas funcionalidades e limitações e como obter o melhor desempenho. As notas de transparência da Microsoft ajudam você a entender como nossa tecnologia de IA funciona, as opções que os proprietários do sistema podem fazer que influenciam o desempenho e o comportamento do sistema e a importância de pensar em todo o sistema, incluindo a tecnologia, as pessoas e o meio ambiente. Use notas de transparência ao desenvolver ou implantar seu próprio sistema ou compartilhá-las com as pessoas que usam ou são afetadas pelo seu sistema.

As notas de transparência da Microsoft fazem parte de um esforço mais amplo da Microsoft para colocar nossos Princípios de IA em prática. Para obter mais informações, consulte os princípios de IA da Microsoft.

As noções básicas do agente de operações do Real-Time Intelligence

Introdução

O agente de operações do Real-Time Intelligence é uma plataforma para criar agentes que monitoram fluxos de dados, detectam anomalias ou condições e recomendam ações com base em eventos do mundo real. Esses agentes automatizam tarefas, fornecem insights e dão suporte à tomada de decisões oportuna. Ao configurar metas de negócios, fontes de conhecimento, ações e instruções, o agente cria um plano para rastrear metas, monitorar dados e aplicar regras para detectar condições. O agente notifica os usuários com ações recomendadas se ocorrerem condições apropriadas.

Principais termos

  • Fonte de conhecimento: uma conexão de banco de dados que o agente pode usar para localizar e monitorar dados.

  • Ferramenta: uma funcionalidade interna que permite que o agente execute tarefas, como gerar consultas estruturadas de linguagem natural, executar detecção de anomalias e enviar mensagens de email ou do Microsoft Teams.

  • Thread: uma sessão de conversa entre um agente e um usuário. Os threads armazenam mensagens e manipulam automaticamente o truncamento para ajustar o conteúdo ao contexto de um modelo.

  • Guia estratégico: a representação interna do agente das entidades, dados, regras e possíveis ações que formam seu manual operacional.

  • Entidade: um objeto em sua empresa que o agente está monitorando. Por exemplo, em um negócio de aluguel de bicicletas, bicicletas e estações de encaixe podem ser entidades relevantes. No gerenciamento de aeroportos, as linhas de check-in, os pontos de verificação de segurança e os passageiros são entidades relevantes.

  • Instâncias: ocorrências específicas de uma entidade, como Bike 0451 ou Flight MS1234.

  • Regras: Condições ou padrões em dados que o agente monitora antes de fazer recomendações.

  • Regras autônomas: regras que têm ações associadas que o agente pode tomar sem uma confirmação humana primeiro.

Capabilities

Comportamento do sistema

Ao criar um agente de operações, você define as seguintes configurações: metas de negócios, fontes de conhecimento, possíveis ações e instruções. Com essas entradas, o agente usa LLMs (grandes modelos de linguagem) para criar um guia estratégico de entidades, dados mapeados e regras para monitorar. Você pode refinar o modelo ajustando metas e instruções. Quando você ativa o agente, o agente monitora os dados em segundo plano. Quando as condições correspondem às regras, ela analisa os dados, identifica a causa e recomenda ações para atingir as metas de negócios.

O agente notifica você por meio do Teams com alertas de linguagem natural, mantendo você informado sobre recomendações iniciais. Você pode aprovar, rejeitar ou tornar a regra autônoma, permitindo que o agente aja sem confirmação adicional.

Como o agente usa LLMs para criar o guia estratégico do agente e recomendar ações, você deve:

  • Revise o modelo de comportamento cuidadosamente antes de iniciar o agente.

  • Monitore de perto as recomendações do agente e confirme o raciocínio usado para fazer recomendações antes de agir.

  • Revise cuidadosamente todas as regras autônomas que você criar com o agente. Essas regras acionam a ação automaticamente.

Casos de uso

Usos pretendidos

Você pode usar agentes de operações em vários cenários. Os usos pretendidos do sistema incluem:

  • Gerenciamento de aluguel de bicicletas: você pode configurar o agente de operações para monitorar continuamente a disponibilidade da bicicleta em várias estações usando dados em tempo real. Defina uma meta para garantir a disponibilidade das bicicletas, de modo que encontre as consultas corretas para acompanhar esse valor para cada estação de encaixe.

  • Otimização da turbina eólica: o agente monitora os dados provenientes de parques eólicos, acompanhando métricas como saída de energia e direção e ângulo das folhas. Ele procura anomalias ou quedas na saída de energia e recomenda ajustes nos parâmetros operacionais.

  • Balanceamento de inventário de armazém: o agente monitora os níveis de estoque em vários armazéns em tempo real. Defina uma meta para manter a distribuição de estoque ideal e evitar estoques ou excesso de estoque.

  • Monitoramento de despesas: dê ao agente acesso aos dados sobre solicitações de despesas e relatórios. Peça a ele para sinalizar despesas que estão fora de conformidade com regras comuns e para detectar anomalias em padrões de longo prazo para cada funcionário ou centro de custo.

  • Automação de resposta a incidentes: o agente monitora logs de infraestrutura de TI e telemetria em busca de sinais de degradação de serviço ou anomalias de segurança. Sua meta é reduzir o tempo médio para detectar (MTTD) e o tempo médio para resolver (MTTR).

Considerações ao escolher outros casos de uso

Incentivamos você a aplicar agentes de operações em suas soluções ou aplicativos inovadores. No entanto, considere os seguintes fatores para garantir que o agente seja adequado para seu caso de uso específico:

  • Evite cenários em que o uso ou uso indevido do sistema possa resultar em danos físicos ou psicológicos significativos a um indivíduo. Por exemplo, cenários que diagnosticam pacientes ou prescrevem medicamentos têm o potencial de causar danos significativos.

  • Evite cenários em que o uso ou uso indevido do sistema possa ter um impacto conseqüente nas oportunidades de vida ou no status legal. Exemplos incluem cenários em que o sistema ou agente de IA pode afetar o status legal, os direitos legais ou o acesso a crédito, educação, emprego, saúde, moradia, seguro, benefícios de assistência social, serviços, oportunidades ou os termos nos quais eles são fornecidos.

  • Evite cenários de alto risco que possam levar a danos. O modelo usado em um agente pode refletir certas visões sociais, preconceitos e outros conteúdos indesejáveis presentes nos dados de treinamento ou nos exemplos fornecidos no prompt. Como resultado, alertamos contra o uso de agentes em cenários de alto risco em que comportamentos injustos, não confiáveis ou ofensivos podem ser caros ou levar a danos.

  • Considere cuidadosamente os casos de uso em um domínio de alto risco ou setor em que as ações do agente são irreversíveis ou altamente conseqüentes. Essas indústrias incluem, mas não se limitam a áreas de saúde, medicina, finanças ou domínios legais.

  • Considerações legais e regulatórias. As organizações precisam avaliar possíveis obrigações legais e regulatórias específicas ao usar quaisquer serviços e soluções de IA, o que pode não ser apropriado para uso em todos os setores ou cenários. As restrições podem variar de acordo com os requisitos regulatórios regionais ou locais. Além disso, os serviços ou soluções de IA não são projetados e podem não ser usados de maneiras proibidas em termos de serviço aplicáveis e códigos de conduta relevantes.

Limitações

Limitações técnicas, fatores operacionais e intervalos

  • Apesar do treinamento intensivo do OpenAI e da implementação de controles de IA responsáveis pela Microsoft, os serviços de IA são falíveis e probabilísticos. Essa limitação faz com que seja desafiador bloquear de forma abrangente todo o conteúdo inadequado, levando a possíveis preconceitos, estereótipos ou falta de fundamento no conteúdo gerado por IA. Para obter mais informações sobre as limitações conhecidas do conteúdo gerado por IA, consulte a nota transparência do Azure OpenAI, que inclui referências às LLMs por trás de agentes de operações.

  • Você pode fornecer aos agentes de operações uma ampla gama de instruções e metas. A natureza probabilística dos modelos de comportamento llm significa que você pode não ser capaz de alinhar os agentes com seus requisitos. A descrição do modelo de comportamento do agente também é gerada usando IA, portanto, pode não ser totalmente precisa.

  • Para usar agentes de operações com eficiência, você precisa de treinamento para interagir e se beneficiar efetivamente do serviço.

  • Modelos avançados de IA exigem recursos computacionais significativos, o que pode afetar o desempenho, especialmente em ambientes restritos a recursos. Você pode enfrentar problemas de latência ou desempenho durante os horários de pico de uso.

  • Como os agentes combinam LLMs com sistemas externos, talvez seja difícil entender por que ele escolheu determinadas ferramentas ou combinações de ferramentas para responder a uma consulta. Esse desafio complica a confiança e a verificação das saídas ou ações do agente.

  • As organizações precisam considerar suas obrigações legais e de conformidade específicas ao usar agentes de operações, especialmente em setores regulamentados. A Microsoft está a analisar os requisitos regulamentares que se aplicam à Microsoft como fornecedor da tecnologia e a abordá-los no produto através de um processo de melhoria contínua.

  • Por meio da interface do agente para o usuário, você pode interromper ou encerrar rapidamente o agente a qualquer momento. Essa ação interrompe o monitoramento de novos dados e quaisquer novas ações que o agente possa recomendar ou executar. As ações que o agente invocou em outros sistemas (por exemplo, iniciando um fluxo de trabalho do Power Automate) podem não parar imediatamente. O agente inicia essas ações como processos independentes que você precisa gerenciar nessas outras experiências de produto.

  • As mensagens entre o agente e o usuário são entregues por meio do Teams. Quando você envia mensagens para o agente, o Serviço de Bot do Azure processa as mensagens. A utilização do Azure AI Serviço de Bot tem uma limitação técnica de que cada bot só pode ter um único ponto final global. Para bots de primeira parte do Teams, as solicitações são enviadas para o ponto final global e, em seguida, reencaminhadas para um ponto final regional próximo ao usuário. Os agentes de operações usam um ponto de extremidade localizado na UE, o que significa que os dados do usuário podem ser movidos para fora da sua região geográfica para processamento.

Desempenho do sistema

Em sistemas de IA, o desempenho geralmente está vinculado à precisão (com que frequência o sistema fornece saídas corretas). Para agentes de operações, o desempenho é mais flexível, pois os usuários podem interpretar as saídas de maneira diferente. Erros normalmente ocorrem quando o agente não entende metas, dados ou entidades-chave no processo de negócios. Quando o agente faz recomendações, os usuários devem examinar cuidadosamente o contexto fornecido antes de aprovar ações.

Práticas recomendadas para melhorar o desempenho do sistema

Para obter os melhores resultados com agentes de operações, concentre-se na criação de prompts detalhados e bem estruturados. As metas e instruções fornecidas ajudam o agente a identificar os pontos de dados e as regras corretos para monitorar as alterações ao longo do tempo. Melhore a precisão definindo explicitamente os valores de dados e as condições que o agente deve monitorar. Descrever claramente como as ações influenciam os resultados e como os valores monitorados devem ser alterados.

Dados de alta qualidade são igualmente importantes. Verifique se as estruturas de dados estão bem organizadas, com nomes de coluna significativos em vez de valores codificados. Nivele os dados de evento aninhados quando possível. Essa estrutura torna mais fácil para o agente localizar e monitorar as informações relevantes efetivamente.

Avaliação de agentes de operações

Métodos de avaliação

A plataforma do agente de operações usa um processo rigoroso de vários estágios para avaliar a precisão, a segurança e a melhoria contínua. Em seu núcleo há um ciclo de três estágios: rastreamento>iteração>avaliação. Esse ciclo começa implementando a telemetria para monitorar os processos de tomada de decisão do agente, incluindo planejamento, formação de ontologia, aterramento de dados, geração de regras e execução. Os conjuntos de dados de avaliação vêm de casos de uso do mundo real e dados sintéticos que introduzem variabilidade. Você mede métricas como precisão, convergência, taxas de falha e segurança em todo o ciclo de vida do agente, do desenvolvimento à produção.

O ambiente de avaliação espelha as condições de produção e enfatiza a distinção entre os pipelines de desenvolvimento e avaliação para evitar viés. Você faz a curadoria manual dos conjuntos de dados iniciais e define as ontologias e saídas esperadas com antecedência. Posteriormente, você dimensiona esses conjuntos de dados usando a geração sintética. Os conjuntos de dados se concentram em metas operacionais relevantes para o monitoramento de negócios e a tomada de decisões. Embora representem cenários do mundo real, eles ainda não incluem populações de usuários mais amplas ou configurações de metas dinâmicas. Essa abordagem mantém as avaliações focadas, reproduzíveis e alinhadas com princípios de IA responsáveis.

Resultados da avaliação

Nossos processos de avaliação usam uma metodologia estruturada de rastreamento>iteração>avaliação. Inserimos avaliações em cada estágio dos ciclos de tomada de decisão do agente. Essas avaliações confirmaram que o agente produz consistentemente ontologias precisas, gera consultas válidas e relevantes e seleciona as ações apropriadas alinhadas às metas do usuário. Esses resultados dão suporte ao alinhamento do sistema com as metas de responsabilidade, especialmente para garantir que ele seja executado conforme o esperado em contextos operacionais do mundo real.

Os conjuntos de dados de treinamento e teste usados na avaliação foram cuidadosamente coletados para refletir uma ampla gama de cenários operacionais. Você construiu manualmente conjuntos de dados iniciais a partir de casos de uso do mundo real, com saídas esperadas claramente definidas, incluindo ontologias e resultados de consulta. Posteriormente, você expandiu esses conjuntos de dados usando a geração sintética para aumentar a variabilidade e a cobertura. Você projetou os conjuntos de dados para representar os tipos de metas e ambientes de dados que o agente deve encontrar, incluindo variações na complexidade do esquema, disponibilidade de dados e intenção do usuário. Essa abordagem garantiu que a avaliação capturava uma gama representativa de fatores operacionais e configurações, dando suporte ao desenvolvimento e à implantação do sistema responsável.

Os resultados da avaliação influenciaram várias restrições de design importantes no sistema. Por exemplo, introduzimos limites no tamanho máximo da consulta e na complexidade mínima da ontologia para garantir o desempenho consistente e reduzir as taxas de falha. Embora os resultados sejam amplamente aplicáveis a muitos cenários operacionais de monitoramento e suporte a decisões, a avaliação inicial não incluiu algumas áreas, como reconfiguração de meta dinâmica e colaboração de vários agentes. Essas áreas representam oportunidades para testes e desenvolvimento futuros.

Avaliando e integrando agentes de operações para seu uso

O comportamento de um agente é moldado pelas instruções, metas, dados e ações que você fornece. Prompts precisos e dados limpos e bem organizados com nomes de coluna intuitivos melhoram a precisão e reduzem erros.

Depois de configurar o agente, valide os modelos comportamentais e as regras do agente examinando as consultas KQL para garantir o alinhamento com os processos de negócios. Embora as condições baseadas em regras ativem o agente, as suas recomendações geradas por LLM podem conter imprecisões, portanto, sempre examine os resultados antes de agir.

Agentes altamente responsivos podem levar a notificações excessivas ou uso excessivo de ações automatizadas, potencialmente causando instabilidade no sistema. Para atenuar riscos, ajuste regras, realize auditorias regulares, simule casos extremos e projete interfaces que promovam a transparência. Por exemplo, mostre pontuações de confiança e explicações claras para recomendações.

Conteúdo relacionado

  • Last updated on