Standard operativi per gli agenti di intelligenza artificiale

Questo articolo aiuta i decision maker a stabilire standard operativi coerenti per gli agenti di intelligenza artificiale nell'intera organizzazione.

Gli standard operativi per gli agenti di intelligenza artificiale sono i requisiti comuni che regolano il modo in cui i team sviluppano e gestiscono gli agenti. Gli agenti necessitano di questi standard perché effettuano decisioni ed eseguono azioni. Gli standard aiutano i team a sviluppare agenti affidabili e a gestire il comportamento degli agenti durante il ciclo di vita. Queste linee guida aiutano i decision maker a stabilire requisiti comuni tra le piattaforme degli agenti.

Gli standard operativi devono essere applicati a tutti gli agenti predefiniti e personalizzati, se pertinenti. Ogni piattaforma fornisce i propri controlli. Gli agenti creati dai dipendenti e le soluzioni gestite dall'ingegneria necessitano di requisiti di implementazione diversi. Non tutti gli standard richiedono la stessa implementazione in tutti i tipi di agente.

Risultato: al termine della definizione degli standard operativi, l'organizzazione deve avere stabilito requisiti coerenti per lo sviluppo e l'uso degli agenti di IA in modo sicuro ed efficiente su larga scala.

Albero delle decisioni e architettura dell'agente di intelligenza artificiale

1. Sviluppo

Quali standard a livello di organizzazione sono consigliabili da prendere in considerazione per lo sviluppo di agenti? Gli standard di sviluppo stabiliscono requisiti comuni per le funzionalità degli agenti senza prescrivere in che modo i team creano singoli agenti. Questi standard sono importanti perché le scelte incoerenti tra i team moltiplicano i rischi e i costi di supporto. La decisione centrale consiste nel decidere quali funzionalità necessitano di restrizioni organizzative e quali scelte i team possono fare in modo indipendente. Standard troppo restrittivi spingono i creatori verso strumenti non approvati. Standard che limitano troppo poco lasciano il rischio non gestito.

1.1 Conoscenza e azioni

Quali standard a livello di organizzazione dovremmo considerare per le conoscenze e le azioni degli agenti? Le fonti di conoscenza forniscono informazioni che gli agenti usano per completare le attività. Gli strumenti consentono agli agenti di interagire con i sistemi ed eseguire azioni. Gli standard di sviluppo devono impostare limiti per entrambe le capacità senza l'approvazione centrale per ogni integrazione.

• Accesso alla conoscenza: le organizzazioni devono consentire agli agenti di accedere alle fonti di conoscenza consentite dai criteri di governance dei dati esistenti. L'approvazione aggiuntiva deve essere applicata quando l'accesso introduce rischi che i criteri esistenti non affrontano. Questo approccio evita la creazione di processi di approvazione separati per le integrazioni di routine.

• Autorizzazioni per le azioni: le organizzazioni devono stabilire standard su quali azioni gli agenti possono eseguire autonomamente. Le azioni di routine possono essere eseguite nell'ambito delle autorizzazioni approvate. Le azioni con conseguenze aziendali significative potrebbero richiedere restrizioni aggiuntive o l'approvazione umana. I controlli appropriati dipendono dal potenziale impatto di un'azione errata.

Funzionalità della piattaforma: per Foundry, Skills descrive il modo in cui gli autori raggruppano funzionalità approvate. Per Copilot Studio, Knowledge e Tools descrivono come gli agenti si connettono a fonti e azioni approvate. Le competenze in Copilot Studio trattano le funzionalità riutilizzabili.

1.2 Selezione del modello

Quali standard a livello di organizzazione dovremmo considerare per la selezione del modello di intelligenza artificiale? I modelli di intelligenza artificiale determinano il modo in cui gli agenti interpretano le informazioni e generano risposte. Gli standard del modello devono impedire l'uso di modelli che non soddisfano i requisiti dell'organizzazione senza limitare inutilmente i team a un piccolo set di opzioni approvate. Le organizzazioni possono controllare la selezione del modello nelle piattaforme di sviluppo personalizzate, ma hanno meno scelte negli agenti SaaS predefiniti.

• Governance del modello: la governance centrale deve impedire modelli che non soddisfano i requisiti dell'organizzazione noti. Altri modelli possono rimanere disponibili quando soddisfano i criteri stabiliti, ad esempio i requisiti per i provider di modelli o i percorsi di elaborazione dati. Questo approccio consente ai team di selezionare modelli conformi senza richiedere l'approvazione individuale per ogni modello. L'applicazione di questi criteri potrebbe richiedere controlli diversi tra le piattaforme degli agenti.

• Provisioning dei modelli: il provisioning centrale è appropriato quando molti team usano gli stessi modelli e la gestione condivisa offre vantaggi operativi o finanziari. Il provisioning decentralizzato è appropriato quando i team necessitano di modelli specializzati o configurazioni di distribuzione diverse. Le organizzazioni possono combinare entrambi gli approcci offrendo modelli condivisi come valori predefiniti e consentendo altri modelli conformi quando necessario.

Funzionalità della piattaforma: per Foundry, vedere Foundry Models sold by Azure. Per Copilot Studio, vedere Scegliere un modello di intelligenza artificiale primario o Usare un modello personalizzato per le richieste.

1.3 Memoria

Quali standard a livello di organizzazione sono consigliabili considerare per la memoria dell'agente? La memoria dell'agente consente agli agenti di conservare le informazioni tra le interazioni. Gli standard di memoria definiscono quali informazioni gli agenti possono conservare e come i team devono proteggerle. Questi requisiti dovrebbero ampliare i criteri esistenti di governance e conservazione dei dati. La memoria dell'agente non deve avere una durata maggiore delle esigenze aziendali o dei requisiti di conservazione applicabili.

Funzionalità della piattaforma: per Foundry, Memory e configurazione standard dell'agente descrivono le opzioni. La memoria in Copilot Studio spiega il comportamento della piattaforma.

1.5 Misure di sicurezza del runtime

Quali standard a livello di organizzazione sono consigliabili considerare per le misure di sicurezza degli agenti? Le misure di sicurezza di runtime proteggono gli agenti da contenuti dannosi e attacchi, ad esempio il prompt injection.

• Misure di sicurezza di base: una baseline comune stabilisce protezioni minime tra le piattaforme degli agenti. Questo approccio semplifica l'applicazione e offre una protezione coerente. Gli standard devono identificare quali misure di sicurezza devono rimanere abilitate e quali impostazioni i team possono modificare. I requisiti uniformi migliorano la coerenza, ma potrebbero limitare inutilmente alcuni casi d'uso legittimi.

• Misure di sicurezza specifiche dello scenario: gli agenti con maggiore esposizione a informazioni non attendibili o azioni consequenziali potrebbero richiedere protezioni più avanzate. Le politiche di governance esistenti devono determinare quando si applicano questi requisiti. Questo approccio supporta esigenze aziendali diverse, ma richiede ai team di applicare i controlli pertinenti in modo coerente.

• Eccezioni: gli standard devono stabilire in che modo i team richiedono eccezioni alle misure di sicurezza obbligatorie. Le eccezioni richiedono una giustificazione documentata e controlli di compensazione appropriati. Alcune misure di sicurezza potrebbero rimanere obbligatorie senza eccezioni.

Funzionalità della piattaforma: per Foundry, vedere Panoramica di guardrail e controlli. Per Copilot Studio, vedere Sicurezza e governance di Copilot Studio.

1.6 Framework e interoperabilità degli agenti

Quali standard a livello di organizzazione sono consigliabili da considerare per i framework e l'interoperabilità degli agenti? I framework di sviluppo degli agenti offrono le funzionalità usate per creare e coordinare il comportamento degli agenti. L'approccio di sviluppo influisce sulla responsabilità di progettazione e sulla dipendenza dalle funzionalità specifiche della piattaforma.

• Approcci di sviluppo: le organizzazioni devono supportare approcci di sviluppo che soddisfano i requisiti di progettazione e governance. La standardizzazione in un set limitato di framework può semplificare il supporto e promuovere il riutilizzo. Consentire più framework offre ai team una maggiore flessibilità, ma aumenta il livello di competenza richiesto per gestirli. Le organizzazioni devono stabilire framework preferiti e definire quando i team possono usare alternative.

• Interoperabilità: le organizzazioni devono stabilire standard di interoperabilità per i casi in cui gli agenti devono connettersi con strumenti condivisi o comunicare tra piattaforme. I protocolli come MCP e A2A possono ridurre la complessità dell'integrazione. Richiedere questi protocolli per ogni agente può introdurre vincoli non necessari. Gli standard devono riflettere i requisiti di interoperabilità effettivi.

Funzionalità della piattaforma: per Foundry, gli agenti ospitati eseguono agenti basati su codice nell'infrastruttura gestita. Microsoft Agent Framework offre in dettaglio l'opzione basata su codice.

2. Test e valutazione

Come è consigliabile standardizzare test e valutazione? Gli agenti di intelligenza artificiale possono essere eseguiti correttamente ma produrre risultati non corretti o eseguire azioni non intenzionali. Gli standard di test e valutazione stabiliscono le prove che i team devono fornire prima di distribuire gli agenti nell'ambiente di produzione. La valutazione stabilisce se un agente soddisfa gli obiettivi previsti. Il test stabilisce se si comporta in modo accettabile in condizioni previste e impreviste. L'organizzazione necessita di standard per entrambi.

2.1 Valutazione

Quali standard a livello di organizzazione sono consigliabili considerare per le valutazioni degli agenti? I criteri di valutazione definiscono il modo in cui i team misurano se un agente esegue correttamente le attività previste. Gli standard devono stabilire aspettative di valutazione comuni e richiedere ai proprietari degli agenti di definire criteri di successo misurabili per gli scenari aziendali.

• Requisiti comuni: tutti gli agenti devono dimostrare che soddisfano lo scopo previsto e operano all'interno delle autorizzazioni approvate. Gli standard centrali possono stabilire aspettative minime di valutazione. I proprietari degli agenti devono definire criteri specifici dello scenario che riflettono i requisiti aziendali. Ad esempio, gli agenti di knowledge base potrebbero misurare l'accuratezza delle risposte. Un agente che esegue azioni richiede anche prove che seleziona le azioni appropriate e rispetta i limiti di approvazione.

• Criteri di accettazione: ogni agente di produzione deve avere definito soglie di accettazione. I proprietari aziendali devono approvare i criteri che determinano se un agente offre risultati accettabili. Gli agenti che eseguono azioni consequenziali potrebbero richiedere una revisione aggiuntiva prima della distribuzione.

Funzionalità della piattaforma: per Foundry, Evaluation descrive gli analizzatori predefiniti. Per Copilot Studio, la progettazione e l'operazionalizzazione della valutazione dell'agente descrive l'approccio.

2.2 Verifica

Quali standard a livello di organizzazione dovremmo considerare per i test degli agenti? Gli standard di test definiscono la garanzia necessaria prima che gli agenti entrino nell'ambiente di produzione. Le organizzazioni devono stabilire requisiti minimi di test per tutti gli agenti e aumentare la garanzia in base alle conseguenze del comportamento errato. I processi di test software esistenti devono fornire le basi, con requisiti aggiuntivi per i rischi specifici dell'agente.

• Test di base: tutti gli agenti di produzione devono dimostrare il comportamento previsto all'interno delle autorizzazioni approvate. Gli agenti a basso rischio possono usare scenari rappresentativi e funzionalità di test supportate dalla piattaforma. Questo approccio riduce il lavoro di approvazione, ma offre minori garanzie in caso di condizioni insolite.

• Test basati sui rischi: gli agenti che accedono a informazioni riservate o eseguono azioni consequenziali devono sottoporsi a test aggiuntivi per comportamenti imprevisti e uso improprio. Test più rigorosi migliorano la fiducia, ma aumentano lo sforzo di rilascio.

Funzionalità della piattaforma: per Foundry, AI Red Teaming Agent automatizza i test avversariali. In Copilot Studio, Progettare una strategia di test per gli agenti descrive le procedure di test.

3. Standard di distribuzione e ciclo di vita

Quali standard a livello di organizzazione si dovrebbero considerare per la distribuzione e la gestione del ciclo di vita degli agenti? Gli standard di distribuzione e ciclo di vita mantengono gli agenti di produzione coerenti con la configurazione approvata. Assicurano inoltre che gli agenti lascino la produzione in modo pulito quando non hanno più uno scopo.

• Standard di rilascio: la distribuzione controllata e ripetibile deve essere lo standard dell'organizzazione. L'organizzazione deve estendere i processi di rilascio esistenti e supportare funzionalità di distribuzione native della piattaforma. I metodi di distribuzione possono variare in base alla piattaforma. Le aspettative per la gestione della configurazione e l'approvazione della produzione rimangono coerenti. La Sample Solution Gallery offre esempi funzionanti di modelli di agente comprovati.

• Gestione delle modifiche: le modifiche che possono influire materialmente sul comportamento dell'agente devono attivare la rivalutazione prima della distribuzione di produzione. Le sostituzioni dei modelli e gli aggiornamenti delle istruzioni possono modificare gli output dell'agente. Le autorizzazioni espanse possono comportare rischi aggiuntivi. Gli standard devono richiedere una valutazione proporzionale al potenziale impatto anziché imporre test completi per ogni modifica.

• Gestione delle versioni: I team devono mantenere una cronologia delle versioni sufficiente per identificare le modifiche e ripristinare le configurazioni approvate, se supportate. I processi esistenti di gestione delle release devono fornire le basi per il controllo delle modifiche dell'agente.

• Dismissione: gli standard devono stabilire condizioni che attivano la dismissione dell'agente. Queste condizioni possono includere la perdita di proprietà aziendale o un rischio operativo inaccettabile. Anche gli agenti che non offrono un valore sufficiente devono essere considerati per il ritiro. La dismissione deve disabilitare l'esecuzione dell'agente e revocare le autorizzazioni associate. Le informazioni archiviate devono rispettare i requisiti di conservazione applicabili. I proprietari dell'agente devono confermare che la disattivazione è completa.

Funzionalità della piattaforma: per Foundry, vedere Bicep e Terraform. Per Copilot Studio, vedere esempi di Copilot Studio e agenti.

4. Monitoraggio

Quali standard a livello di organizzazione dovremmo considerare per il monitoraggio degli agenti? Gli standard di monitoraggio definiscono che cosa i responsabili degli agenti osservano nell'ambiente di produzione. Il monitoraggio tradizionale rileva interruzioni. Il monitoraggio dell'agente deve anche rilevare risposte errate e azioni indesiderate da parte di agenti che appaiono apparentemente funzionanti.

4.1 Telemetria

Quali standard a livello di organizzazione dovremmo considerare per la telemetria degli agenti? I dati di telemetria sono i dati generati dagli agenti relativi all'attività. La profondità dei dati di telemetria deve variare in funzione del rischio. Le organizzazioni devono stabilire requisiti minimi di visibilità per gli agenti di produzione. Questi requisiti devono supportare l'identificazione dell'utilizzo e dei malfunzionamenti. Gli agenti che eseguono azioni consequenziali richiedono record aggiuntivi per supportare l'indagine e la responsabilità. Il tracciamento dettagliato deve dipendere dal rischio e dai requisiti applicabili in materia di protezione dei dati.

Per quanto riguarda Foundry, Observability in generative AI descrive il tracciamento. Per informazioni su Copilot Studio, Monitorare le prestazioni dell'agente in Copilot Studio descrive le funzionalità di analisi.

4.2 Qualità

Quali standard a livello di organizzazione dovremmo considerare per la qualità degli agenti? Il monitoraggio della qualità controlla se gli agenti di produzione soddisfano ancora i criteri di valutazione. Le organizzazioni devono stabilire requisiti minimi di monitoraggio della qualità per gli agenti di produzione. Gli agenti rivolti agli utenti possono usare commenti e suggerimenti per identificare i problemi. Gli agenti che eseguono azioni con conseguenze rilevanti potrebbero richiedere una valutazione sistematica del comportamento di produzione. La profondità di monitoraggio deve riflettere le conseguenze degli errori non rilevati.

Funzionalità della piattaforma: per Foundry, vedere Observability in generative AI. Per Copilot Studio, vedere Monitorare le prestazioni dell'agente in Copilot Studio.

5. Risposta agli incidenti

Quali standard a livello di organizzazione sono consigliabili per gli incidenti degli agenti? La risposta agli incidenti degli agenti definisce il modo in cui le organizzazioni identificano e contengono comportamenti dannosi degli agenti. Gli incidenti dell'agente differiscono dalle interruzioni perché un agente integro può comunque eseguire azioni dannose. I leader devono decidere quali malfunzionamenti vengono conteggiati come incidenti e chi può arrestare un agente. Le organizzazioni devono estendere i processi esistenti di gestione degli incidenti per includere errori specifici dell'agente. La gravità degli eventi imprevisti deve riflettere le conseguenze delle azioni dell'agente, non solo della disponibilità del servizio.

• Classificazione degli incidenti: le organizzazioni devono definire incidenti che coinvolgono azioni non corrette o accessi non autorizzati. I problemi di qualità di routine possono seguire i processi di supporto stabiliti. Gli errori con conseguenze aziendali significative devono attivare la gestione formale degli incidenti.

• Sospensione agente: le organizzazioni devono stabilire condizioni che richiedono la sospensione immediata o la restrizione delle funzionalità dell'agente. Gli errori ad alto impatto possono giustificare il contenimento automatico. I malfunzionamenti con impatto inferiore possono seguire un processo di correzione approvato. Un contenimento più forte riduce l'esposizione, ma potrebbe interrompere le operazioni aziendali.

• Autorità di ripristino: le policy per gli incidenti devono identificare chi può approvare il ripristino dopo un incidente dell'agente. Gli agenti a rischio più elevato potrebbero richiedere un'ulteriore garanzia prima di riprendere l'operazione. Il ripristino deve dipendere dall'evidenza che il problema sottostante sia stato risolto.

6. Gestione dei costi

Quali standard a livello di organizzazione è consigliabile considerare per la gestione dei costi degli agenti? Gli standard di gestione dei costi degli agenti definiscono il modo in cui i proprietari degli agenti gestiscono il consumo delle risorse e migliorano l'efficienza operativa. I costi dell'agente possono variare in modo significativo perché una singola attività aziendale può attivare più richieste di modello o esecuzioni di strumenti.

• Soglie di spesa: le organizzazioni devono stabilire soglie di spesa in base alla criticità dell'agente e ai budget approvati. Gli agenti sperimentali devono avere limiti di consumo restrittivi per evitare costi imprevisti. Gli agenti business critical potrebbero richiedere limiti più elevati e procedure di escalation per evitare interruzioni del servizio.

• Monitoraggio dei costi: le organizzazioni devono stabilire report sui costi coerenti tra le piattaforme degli agenti. La creazione di report deve fornire ai proprietari dell'azienda visibilità sulla spesa rispetto ai budget approvati. Se supportato, il consumo deve essere attribuibile a singoli agenti o funzioni aziendali.

• Efficienza dei costi: le organizzazioni devono stabilire i requisiti per misurare i costi operativi degli agenti rispetto ai risultati aziendali positivi. Il costo per ogni attività completata con successo fornisce una misura utile quando i risultati sono confrontabili. I team devono ottimizzare il consumo senza ridurre la qualità al di sotto dei criteri di accettazione approvati.

• Requisiti di ottimizzazione: i proprietari dell'agente devono esaminare periodicamente i costi operativi rispetto ai risultati previsti. Aumenti costanti dei costi o cali dei tassi di successo delle attività devono attivare una revisione aggiuntiva. Gli agenti che non giustificano più i costi operativi devono essere ottimizzati o dismessi.

Funzionalità della piattaforma: per Foundry, vedere Pianificare e gestire i costi, Gestire e aumentare le quote e Agent Optimizer. Per Copilot Studio, vedere Tariffe e gestione della fatturazione e Visualizzare l'utilizzo della fatturazione dell'agente.

Passaggio successivo