Modelo de responsabilidade compartilhada de agentes de IA

Agentes de IA estendem a IA generativa além do padrão de solicitação/resposta que o modelo de responsabilidade compartilhada de IA descreve. Diferente de um grande modelo de linguagem, um agente não retorna apenas conteúdo para que um humano atue. Em vez disso, um agente:

  • Age de forma autônoma. Ele invoca ferramentas, chama APIs, grava dados e aciona fluxos de trabalho sem que um humano aprove cada etapa.
  • Planos e laços. Ele decompõe objetivos, raciocínias em vez de resultados intermediários, e se reapetece muitas vezes antes de retornar.
  • Contém estado e memória. Contexto de curto prazo mais memória persistente influenciam comportamentos futuros e podem ultrapassar os limites da sessão ou do usuário.
  • Tem identidade. Ele se autentica em sistemas downstream usando identidades gerenciadas, tokens on-behalf-of ou uma identidade de agente distinta e tem privilégios próprios.
  • Compõe com outros agentes. Na orquestração multi-agente, a saída de um agente torna-se instrução de outro agente, introduzindo uma nova fronteira de confiança.

Cada um desses comportamentos introduz responsabilidades que não existem no modelo de IA de requisição/resposta.

Note

Este artigo usa "responsabilidade" no sentido de governança: quem deve configurar, operar e monitorar cada controle. É uma orientação ilustrativa e não tem a intenção de transmitir conclusões legais nem de modificar ou contradizer os termos de qualquer acordo entre você e a Microsoft.

Como os agentes de IA diferem da nuvem e das cargas de trabalho de IA

A tabela a seguir resume como o modelo de agente de IA difere do modelo padrão em nuvem e do modelo de IA generativa (LLM).

Preocupação Modelo padrão de nuvem Modelo de IA (LLM) Modelo de agente de IA
Interação primária API ou interface gráfica Resposta rápida Objetivo de ação autônoma em múltiplas etapas
Efeitos colaterais no mundo real Código de aplicação, explícito Humano atua na saída O agente age diretamente por meio de ferramentas
State Camada de aplicação e dados Prompt sem estado Memória e contexto persistentes do agente
Identity Identidade do usuário ou da aplicação Identidade do usuário ou da aplicação Identidade distinta do agente mais tokens delegados
Limite de confiança Do usuário para o aplicativo Do usuário para o modelo De usuário para agente, para ferramentas, para outros agentes
Risco principal Configuração incorreta, exposição de dados Injeção rápida (conteúdo) Injeção rápida que impulsiona ações; agência excessiva; Deputado confuso

Divisão de responsabilidade

Assim como nos modelos de responsabilidade compartilhada em nuvem e IA , a divisão de responsabilidade muda conforme o modelo de implantação que você escolhe. Para os agentes, as opções relevantes são:

  • Agente SaaS. Um agente pronto, como agentes do Microsoft 365 Copilot, Microsoft Security Copilot ou agentes publicados do Microsoft Copilot Studio. A Microsoft opera o orquestrador, modelo, sistemas de segurança e a maioria dos conectores de ferramentas. Você é responsável pela configuração, pela definição do escopo de acesso aos dados, pela identidade e pelo uso.
  • Agente PaaS. Você constrói um agente em uma plataforma de agente gerenciado, como o Microsoft Foundry Agent Service, Azure SRE Agent, agentes personalizados do Microsoft Copilot Studio ou o Microsoft Agent Framework em um runtime gerenciado pelo Azure. A Microsoft fornece os controles de segurança em tempo de execução, hospedagem de modelos e plataforma. Você é dono das instruções do agente, seleção de ferramentas e plugins, permissões de ferramentas, lógica de orquestração, design da memória e da identidade e autorização do agente.
  • Agente IaaS. Você constrói e hospeda toda a pilha de agentes sozinho: um orquestrador personalizado em VMs ou containers, um framework autogerenciado e possivelmente modelos auto-hospedados. Você possui quase tudo, exceto a infraestrutura física (e o modelo base, se você o consumir como uma API hospedada).

A responsabilidade se desloca para a esquerda, o que significa que você assume mais responsabilidade, à medida que passa de SaaS para PaaS e depois para agentes IaaS.

O diagrama a seguir ilustra as áreas de responsabilidade entre você e a Microsoft de acordo com o tipo de implantação do agente.

Diagrama das camadas de responsabilidade dos agentes de IA entre as implantações de agentes IaaS, PaaS e SaaS, com três novas camadas (memória e estado do agente, ferramentas e ações, e orquestração do agente) adicionadas sobre o modelo de responsabilidade compartilhada da IA.

Visão geral da camada de agentes de IA

Um sistema agente adiciona três novas camadas sobre e ao redor da plataforma de IA, aplicação e camadas de uso existentes. A responsabilidade pela segurança recai sobre quem executa a tarefa, mas um provedor pode disponibilizar controles para configuração por você.

Camada de plataforma de IA (herdada)

A camada da plataforma de IA hospeda e protege o modelo, dados de treinamento, pesos e APIs de inferência, além de fornecer sistemas de segurança integrados para entrada e saída. A responsabilidade nessa camada é herdada do modelo de responsabilidade compartilhada de IA.

Camada de orquestração de agentes

A camada de orquestração é o "circuito cerebral": planejamento, raciocínio, seleção de ferramentas, o prompt de sistema e as instruções do agente, e coordenação entre múltiplos agentes. É nessa camada que residem riscos de agência excessiva e de injeção rápida para ação.

Considerações de segurança:

  • Restringa as instruções e o escopo do agente (menor funcionalidade).
  • Valide e higienize qualquer conteúdo não confiável que entre no loop, incluindo documentos recuperados, saídas de ferramentas e mensagens de outros agentes. Trate tudo isso como entrada não confiável, não como instruções confiáveis.
  • Impor limites de planejamento: limites de etapas e iterações, detecção de loops, tetos de orçamento e custos, e permitir listas para quais ferramentas podem ser encadeadas.
  • Para sistemas multiagente, trate cada mensagem interagente como um limite de confiança e reaplique a segurança de entrada.

Ferramentas e camada de ações

A camada de ferramentas e ações contém os conectores, plugins, funções, servidores Model Context Protocol (MCP) e APIs que o agente pode invocar para ler e alterar o estado no mundo real. Essa camada é a maior diferença em relação ao modelo LLM.

Considerações de segurança:

  • Privilégio mínimo por ferramenta. Cada ferramenta ou conector deve conter apenas as permissões necessárias. Não conceda ao agente uma identidade permanente ampla.
  • Autorização em cada ação, não apenas no início da sessão. Verifique novamente se essa ação, neste recurso, é permitida. Essa verificação mitiga riscos de delegação confusa e excessivamente ampla.
  • Etapas de validação com intervenção humana. Exija-os para ações de alto impacto, irreversíveis ou sensíveis, como gravações, exclusões, pagamentos, alterações em produção e envios externos.
  • Auditoria de ações. Registre cada invocação de ferramenta com entradas, saídas, a identidade usada e a justificativa da decisão.
  • Sandboxing e controle de saída. Aplique-os a ferramentas de execução de código e navegação.

Camada de memória e estado do agente

A camada de memória do agente abrange o contexto de conversas de curto prazo, além de memória persistente, bancos de vetores e blocos de anotações que influenciam o comportamento futuro.

Considerações de segurança:

  • Escopar e isolar a memória por usuário e inquilino. Evite o vazamento de memória entre usuários ou entre sessões.
  • Proteja contra envenenamento por memória. Conteúdo injetado pode persistir e ser reativado depois.
  • Classifique, retenha e exclua memórias armazenadas. Aplique classificação de dados, retenção e direito de exclusão.
  • Criptografe armazenamentos de memória e impeça controle de acesso. Trate a memória como dados sensíveis.

Camada de aplicação de IA (herdada)

A camada de aplicação de IA é a aplicação ou interface que o usuário utiliza, juntamente com a ancoragem, os plugins e o sistema de segurança da aplicação.

Camada de uso de IA (herdada, estendida)

A camada de uso de IA descreve como usuários e aplicativos consomem o agente. Com os agentes, a responsabilidade por ações autônomas torna-se central: políticas de uso aceitável, educação do usuário sobre riscos específicos do agente e clara responsabilidade das ações que o agente realiza em nome do usuário.

Matriz de responsabilidades

A matriz a seguir resume a responsabilidade entre os modelos de implantação. C = Cliente, M = Microsoft, S = Compartilhado. A matriz é um guia geral; As responsabilidades específicas para um determinado serviço podem variar de acordo com os termos e a configuração do serviço.

Responsabilidades herdadas em nuvem e IA

Área de responsabilidade Agente IaaS Agente PaaS Agente SaaS
Dados do cliente (incluindo embasamento e conteúdos da memória) C C C
Identidades e usuários C C C
Gerenciamento de acesso (RBAC, MFA, Acesso Condicional) C C C
Dispositivos cliente e pontos de extremidade C C S
Hospedagem de modelo base e pesos C/M1 M M
Segurança do conteúdo de entrada/saída do modelo C/M1 S M
Infraestrutura física (hosts, rede, data center) M M M

Responsabilidades específicas de cada agente

Área de responsabilidade Agente IaaS Agente PaaS Agente SaaS
Instruções do agente, prompt do sistema e escopo C C S
Seleção de ferramentas, plugins e conectores C C S
Permissões por ferramenta (privilégio mínimo) C C S
Identidade do agente e gerenciamento de tokens delegados C S S
Verificações de autorização por ação C S S
Aprovação com intervenção humana para ações de alto impacto C C C
Restrições na orquestração (limites de loop, etapa e custo) C S M
Controles de limites de confiança multiagente C S S
Projeto de memória, isolamento e defesa contra envenenamento C S M
Sandboxing de ferramentas e ações e controle de saída C S M
Auditoria de ações, registro e monitoramento C S S
Ambiente de execução do agente e plataforma de orquestração C M M
Política de uso aceitável e responsabilidade pelas ações C C C

1 Cliente se você hospedar o modelo em IaaS por conta própria; Microsoft, se você consumir uma API de modelo hospedado do seu agente hospedado em IaaS.

Responsabilidades que você sempre mantém

Independentemente do modelo de implantação, você sempre é responsável por:

  • Dados, incluindo tudo que é escrito na memória do agente e passado para ferramentas.
  • Identidade e privilégio mínimo: a identidade do próprio agente e o escopo de cada credencial ou token que ele pode usar.
  • Autorização de ações: o que o agente pode fazer, especialmente operações irreversíveis ou sensíveis.
  • Supervisão humana: quais ações exigem aprovação e quem é responsável pelo comportamento do agente.
  • Uso aceitável e governança: políticas, educação do usuário e conformidade para comportamento autônomo.

Principais riscos específicos do agente a serem mitigados no projeto

Esses riscos se enquadram no Top 10 OWASP para Aplicações LLM, no OWASP Top 10 em IA Agente, no MITRE ATLAS e na classificação de gravidade de vulnerabilidades do Microsoft Security Response Center (MSRC) para sistemas de IA. Eles enfatizam a dimensão da ação, que é própria dos agentes.

Risco Atenuação
Injeção rápida para a ação. Conteúdo não confiável, como uma página da web, documento, e-mail ou outro agente, sequestra o agente para que ele utilize ferramentas de forma maliciosa. Trate todas as saídas de ferramentas, recuperação e agentes como não confiáveis. Isole instruções dos dados. Restrinja ações de alto impacto.
Autonomia excessiva. O agente tem mais ferramentas, permissões ou autonomia do que a tarefa precisa. Aplique a funcionalidade mínima e o privilégio mínimo para cada ferramenta, e delimite o escopo das instruções.
Deputado confuso ou delegação exagerada. O agente usa sua identidade privilegiada para fazer algo que o usuário solicitante não pode. Use tokens de representação e autorização por ação. Evite uma identidade ampla permanente.
Envenenamento da memória. Conteúdo injetado persiste e é reativado depois ou entre sessões. Isole e valide a memória, rastreie a origem e aplique a retenção.
Laços sem limite, custo e esgotamento de recursos. Planejamento fora de controle. Aplicar limites de passos, iterações e orçamentos, e detectar loops.
Falhas de confiança em múltiplos agentes. Um agente comprometido ou alucinante contamina colaboradores. Reaplique a segurança de entrada em cada limite entre agentes. Verifique, não confie.
Agentes maliciosos ou que se passam por outros. Um agente não autorizado age no ambiente, ou a identidade do agente é falsificada. Impor identidade forte de agente, atestação, detecção e monitoramento.

Configure antes de personalizar

O mesmo princípio que a Microsoft recomenda para IA se aplica aos agentes, e é ainda mais importante no caso deles, porque a autonomia multiplica o custo dos erros.

  1. Comece com agentes SaaS (Microsoft 365 Copilot, Microsoft Security Copilot ou agentes publicados do Microsoft Copilot Studio). A Microsoft é responsável pela orquestração, segurança e a maior parte da segurança das ferramentas. Você configura o escopo dos dados e a identidade.
  2. Mude para agentes PaaS (Microsoft Foundry Agent Service, Azure SRE Agent, agentes personalizados do Microsoft Copilot Studio ou o Microsoft Agent Framework em um runtime gerenciado) somente quando o padrão pronto não se encaixa. Você assume a lógica do agente, ferramentas, permissões, memória e identidade.
  3. Construa apenas agentes IaaS com profunda expertise em segurança de IA, identidade e risco de sistemas autônomos. Você controla quase toda a infraestrutura.

Regra geral: quanto mais autonomia e mais amplo o conjunto de ferramentas e permissões que você concede a um agente, mais a matriz de responsabilidade passa para você, independentemente do modelo de implantação. Autonomia nunca reduz a responsabilidade.

Próximas Etapas 

  • Last updated on