Modello di responsabilità condivisa degli agenti IA

Gli agenti IA estendono l'IA generativa oltre il modello richiesta/risposta descritto dal modello di responsabilità condivisa dell'IA . A differenza di un grande modello linguistico, un agente non restituisce solo contenuti affinché un umano possa agire su di loro. Invece, un agente:

• Agisce in modo autonomo. Invoca strumenti, chiama API, scrive dati e attiva flussi di lavoro senza che un umano approvi ogni passaggio.
• Piani e cicli. Decompone gli obiettivi, le ragioni rispetto ai risultati intermedi, e si ripresenta molte volte prima di tornare.
• Contiene stato e memoria. Il contesto a breve termine più la memoria persistente influenza il comportamento futuro e può superare i confini della sessione o dell'utente.
• Ha un'identità. Si autentica ai sistemi a valle utilizzando identità gestite, token di delega o un'identità agente distinta e dispone di privilegi propri.
• Scrive con altri agenti. Nell'orchestrazione multi-agente, l'output di un agente diventa l'istruzione di un altro agente, introducendo un nuovo confine di fiducia.

Ognuno di questi comportamenti introduce responsabilità che non esistono nel modello di IA richiesta/risposta.

In che modo gli agenti AI si differenziano dal cloud e dai carichi di lavoro AI

La tabella seguente riassume in che modo il modello agente AI differisce dal modello cloud standard e dal modello generativo AI (LLM).

Divisione di responsabilità

Come per i modelli di responsabilità condivisa cloud e AI , la divisione delle responsabilità cambia con il modello di distribuzione che scegli. Per gli agenti, le opzioni rilevanti sono:

• Agente SaaS. Un agente già pronto, come agenti Microsoft 365 Copilot, Microsoft Security Copilot o agenti Microsoft Copilot Studio pubblicati. Microsoft gestisce l'orchestratore, il modello, i sistemi di sicurezza e la maggior parte dei connettori degli utensili. Possiedi la configurazione, l'ambito degli accessi dati, l'identità e l'utilizzo.
• Agente PaaS. Costruisci un agente su una piattaforma di agente gestito, come Microsoft Foundry Agent Service, Azure SRE Agent, Microsoft Copilot Studio agent personalizzati o il Microsoft Agent Framework su un runtime gestito da Azure. Microsoft fornisce il runtime, l'hosting dei modelli e i controlli di sicurezza della piattaforma. Possiedi le istruzioni dell'agente, la selezione degli strumenti e dei plugin, i permessi degli strumenti, la logica di orchestrazione, la progettazione della memoria e l'identità e l'autorizzazione dell'agente.
• Agente IaaS. Costruisci e ospiti tu stesso l'intero stack di agenti: un orchestratore personalizzato su VM o container, un framework autogestito e possibilmente modelli auto-ospitati. Possiedi quasi tutto tranne l'infrastruttura fisica (e il modello base, se lo consumi come API ospitata).

La responsabilità si sposta a sinistra, il che significa che prendi più responsabilità, man mano che passi da SaaS a PaaS e poi agli agenti IaaS.

Il diagramma seguente illustra le aree di responsabilità tra te e Microsoft in base al tipo di distribuzione dell'agente.

Panoramica del livello degli agenti AI

Un sistema agentico aggiunge tre nuovi livelli sopra e attorno alla piattaforma IA esistente, ai livelli di applicazione e di utilizzo. La responsabilità della sicurezza ricade su chi esegue l’attività, ma un provider potrebbe rendere disponibili dei controlli sotto forma di opzioni di configurazione.

Livello della piattaforma IA (ereditato)

Il livello della piattaforma IA ospita e protegge le API di modello, dati di addestramento, pesi e inferenze, e fornisce sistemi di sicurezza integrati in input e output. La responsabilità in questo livello è ereditata dal modello di responsabilità condivisa dell'IA.

Livello di orchestrazione degli agenti

Il livello di orchestrazione è il "fulcro cognitivo": pianificazione, ragionamento, selezione degli strumenti, il prompt di sistema e le istruzioni dell'agente, e coordinamento tra agenti. Questo livello è dove risiedono i rischi di eccessiva agenzia e di inserimento rapido all'azione .

Considerazioni di sicurezza:

• Limita le istruzioni e l'ambito dell'agente (funzionalità minima).
• Valida e sanifica qualsiasi contenuto non affidabile che entra nel ciclo, inclusi documenti recuperati, output degli strumenti e messaggi di altri agenti. Tratta tutto come input non fidata, non come istruzioni affidabili.
• Imporre vincoli di pianificazione: limiti al numero di passaggi e iterazioni, rilevamento dei loop, soglie massime di budget e costo ed elenchi di autorizzazione degli strumenti che possono essere concatenati.
• Nei sistemi multi-agente, considera ogni messaggio tra agenti come un confine di attendibilità e riapplica i controlli di sicurezza sugli input.

Livello strumenti e azioni

Il livello strumenti e azioni contiene i connettori, i plugin, le funzioni, i server Model Context Protocol (MCP) e le API che l'agente può invocare per leggere e cambiare stato nel mondo reale. Questo strato è la differenza più grande rispetto al modello LLM.

Considerazioni di sicurezza:

• Minimo privilegio per ogni strumento. Ogni strumento o connettore dovrebbe contenere solo i permessi richiesti. Non concedere all'agente un'identità permanente con privilegi estesi.
• Autorizzazione su ogni azione, non solo all'inizio della sessione. Ricontrolla che questa azione, su questa risorsa, sia permessa. Questo controllo riduce i rischi di delega di deputati confusi e troppo ampi.
• Porte umane nel loop. Richiedile per azioni ad alto impatto, irreversibili o sensibili, come operazioni di scrittura, eliminazioni, pagamenti, modifiche in produzione e invii esterni.
• Controllo delle azioni. Registra ogni invocazione di uno strumento con input, output, l'identità utilizzata e la motivazione decisionale.
• Sandboxing e controllo delle uscite. Applicali a strumenti di esecuzione del codice e navigazione.

Memoria degli agenti e livello di stato

Il livello di memoria dell'agente copre il contesto delle conversazioni a breve termine più memoria persistente, archivi vettoriali e scratchpad che influenzano il comportamento futuro.

Considerazioni di sicurezza:

• Definire l'ambito e isolare la memoria per ogni utente e tenant. Prevenire la perdita di memoria tra utenti o sessioni.
• Proteggi dall'avvelenamento della memoria. Il contenuto iniettato può persistere e riattivarsi in seguito.
• Classifica, conserva ed elimina la memoria memorizzata. Applicare la classificazione dei dati, la conservazione e il diritto di cancellazione.
• Criptare memoria e applicare il controllo degli accessi. Tratta la memoria come dati sensibili.

Livello applicativo dell'IA (ereditato)

Il livello applicativo dell’IA è l’applicazione o l’interfaccia di cui l’utente fruisce, insieme al grounding, ai plugin e al sistema di sicurezza dell’applicazione.

Livello di utilizzo dell'IA (ereditato, esteso)

Il livello di utilizzo dell'IA descrive come utenti e applicazioni consumano l'agente. Con gli agenti, la responsabilità per le azioni autonome diventa centrale: politiche di uso accettabile, formazione degli utenti sui rischi specifici dell'agente e chiara proprietà delle azioni che l'agente intraprende per conto dell'utente.

Matrice di responsabilità

La matrice seguente riassume la responsabilità tra i modelli di implementazione. C = Cliente, M = Microsoft, S = Condiviso. La matrice è una guida generale; Le responsabilità specifiche per un determinato servizio possono variare in base ai termini e alla configurazione del servizio.

Responsabilità ereditate nel cloud e nell'IA

Responsabilità specifiche per l'agente

¹ Cliente se auto-ospita il modello su IaaS; Microsoft, se consumi un'API di modello ospitato dal tuo agente ospitato in IaaS.

Responsabilità che si mantengono sempre

Indipendentemente dal modello di implementazione, sei sempre responsabile di:

• Dati, compreso tutto ciò che è stato scritto nella memoria dell'agente e passato agli strumenti.
• Identità e minore privilegio: l'identità dell'agente e l'ambito di ogni credenziale o token che può utilizzare.
• Autorizzazione delle azioni: cosa è permesso fare all'agente, specialmente operazioni irreversibili o sensibili.
• Supervisione umana: quali azioni richiedono l'approvazione e chi è responsabile del comportamento dell'agente.
• Uso e governance accettabili: politiche, formazione degli utenti e conformità per il comportamento autonomo.

Principali rischi specifici degli agenti da mitigare in fase di progettazione

Questi rischi corrispondono alla Top 10 OWASP per applicazioni LLM, alla Top 10 OWASP per Agentic AI, a MITRE ATLAS e alla classificazione della gravità delle vulnerabilità del Microsoft Security Response Center (MSRC) per i sistemi IA. Enfatizzano la dimensione d'azione unica degli agenti.

Configura prima di personalizzare

Lo stesso principio che Microsoft raccomanda per l'IA si applica agli agenti, ed è più forte per gli agenti perché l'autonomia moltiplica il costo di sbagliare.

1. Inizia con agenti SaaS (Microsoft 365 Copilot, Microsoft Security Copilot o agenti pubblicati di Microsoft Copilot Studio). Microsoft si occupa dell'orchestrazione, della sicurezza e della maggior parte della sicurezza degli strumenti. Configuri l'ambito dei dati e l'identità.
2. Passa a agenti PaaS (Microsoft Foundry Agent Service, Azure SRE Agent, agenti personalizzati di Microsoft Copilot Studio o Microsoft Agent Framework in un runtime gestito) solo quando le soluzioni predefinite non sono adatte. Ti occupi della logica degli agenti, degli strumenti, dei permessi, della memoria e dell'identità.
3. Crea solo agenti IaaS con una profonda esperienza in sicurezza dell'IA, identità e rischio nei sistemi autonomi. Hai il controllo di quasi tutto lo stack.

Regola generale: più autonomia e più ampio è lo strumento e il set di permessi che concedi a un agente, più la matrice di responsabilità si sposta su di te, indipendentemente dal modello di deployment. L'autonomia non riduce mai la responsabilità.

Passaggi successivi

• Informazioni sulle responsabilità condivise per il cloud computing.
• Scopri il modello di responsabilità condivisa dell'IA.
• Scopri le migliori pratiche di sicurezza per Azure AI.