Nota
L'accesso a questa pagina richiede l'autorizzazione. È possibile provare ad accedere o modificare le directory.
L'accesso a questa pagina richiede l'autorizzazione. È possibile provare a modificare le directory.
Si applica a:✅ Microsoft Copilot
Microsoft Copilot applica protezioni a più livelli in più fasi di elaborazione delle richieste. Queste protezioni consentono di ridurre i rischi per la sicurezza, la privacy, la conformità e la protezione dei dati prima che una richiesta raggiunga un modello linguistico, durante la messa a terra dei dati dell'organizzazione e prima che le risposte vengano fornite agli utenti.
Questo articolo descrive le protezioni proattive che consentono di ridurre i rischi correlati all'intelligenza artificiale, le protezioni runtime che si applicano durante tutto il ciclo di vita della richiesta e come Microsoft contribuisce a proteggere dagli attacchi di prompt injection.
Protezioni proattive che aiutano a ridurre il rischio dell'intelligenza artificiale
Le protezioni proattive riducono i rischi migliorando la visibilità, limitando l'esposizione a contenuti dannosi, controllando l'individuazione dei contenuti e proteggendo i dati dei clienti.
| Protezione | Descrizione |
|---|---|
| Trasparenza in uscita delle competenze di terze parti | Gli amministratori possono esaminare i dettagli dell'agente, incluse le origini dati, gli strumenti e le connessioni usate dagli agenti. Queste informazioni consentono agli amministratori di valutare i rischi e prendere decisioni per la distribuzione. Vedere Informazioni dettagliate sull'agente nell'interfaccia di amministrazione di Microsoft 365. |
| Log di controllo dell'inserimento prompt | Microsoft offre funzionalità di controllo e monitoraggio della sicurezza per Microsoft Copilot e le interazioni tra applicazioni IA. I record di controllo e i relativi segnali di sicurezza aiutano le organizzazioni a indagare sulle interazioni IA potenzialmente rischiose e sull'attività degli agenti. JailbreakDetected Cerca come flag booleano per indicare se è stato effettuato un tentativo di jailbreak utilizzando un messaggio di richiesta. Vedere Log di controllo per Copilot e le applicazioni di intelligenza artificiale. |
| Blocco di posta indesiderata, truffe e contenuti sospetti | Microsoft applica protezioni per ridurre la probabilità che Microsoft Copilot recuperi o presenti contenuti Web dannosi, dannosi, ingannevoli o di bassa qualità durante le esperienze basate sul Web. Vedere Sicurezza per Microsoft Copilot. |
| Nessun radicamento nella posta o nelle chat di spam | Microsoft Copilot esclude determinate categorie di contenuti indesiderati da fonti di grounding per ridurre il rischio che istruzioni dannose o ingannevoli influenzino le risposte. |
| Individuazione del contenuto con restrizioni | Gli amministratori possono configurare l'individuazione del contenuto con restrizioni per limitare l'individuabilità del contenuto di SharePoint nelle esperienze di ricerca a livello di organizzazione e Copilot, senza modificare le autorizzazioni del sito. Vedere Limitare l'individuazione di siti e contenuti di SharePoint |
| Protezione da prompt injection per la posta elettronica | Microsoft Defender per Office 365 Piano 2 rileva il contenuto della richiesta di inserimento nella posta elettronica in entrata prima che il contenuto raggiunga un utente o un assistente di intelligenza artificiale. Vedere Protezione da injection di prompt in Microsoft Defender per Office 365. |
| Condizioni aggiornate del prodotto per la ricerca sul Web | Microsoft afferma che i prompt, le risposte e i dati di Microsoft Graph non vengono usati per eseguire il training dei modelli di base. Altre protezioni si applicano alle query basate sul Web, inclusi gli impegni contrattuali relativi alla gestione dei dati dei clienti. Vedere Dati, privacy e sicurezza per la ricerca sul Web in Microsoft Copilot e Microsoft Copilot Chat. |
Protezioni di runtime per tutto il ciclo di vita dei prompt
Le protezioni runtime consentono di ridurre i rischi per la sicurezza, la privacy, la conformità e i dati prima che una richiesta raggiunga un modello linguistico, durante la messa a terra dei dati dell'organizzazione e prima che le risposte vengano fornite agli utenti.
Le fasi seguenti rappresentano il flusso di una tipica interazione con Microsoft Microsoft Copilot:
- Fase 1: Input prompt: un utente immette un prompt o allega contenuto a un'esperienza di Microsoft Copilot o agente.
- Fase 2: ingresso prompt: il prompt viene inviato all'agente di orchestrazione di Microsoft Copilot.
- Fase 3: Grounding: il contenuto viene recuperato da documenti, messaggi, riunioni e altri dati di Microsoft 365.
- Fase 4: Ricerca Web: se abilitata, viene recuperato il contenuto Web.
- Fase 5: uscita della risposta: viene visualizzata una risposta.
Nota
Microsoft gestisce alcuni controlli e l'utente ne configura altri. La disponibilità di alcune protezioni descritte in questo articolo dipende dalle licenze dell'organizzazione. Alcune funzionalità potrebbero richiedere Microsoft Purview, Microsoft Defender o altre licenze applicabili.
Fase 1: Prompt input
Durante la fase di input del prompt, un utente immette un prompt o allega contenuto a un'esperienza di Microsoft Copilot o agentic. Se disponi di Microsoft DLP Purview per Microsoft Copilot, si applica la protezione seguente:
| Protezione | Descrizione |
|---|---|
| Controlli Incolla nel browser | Gli amministratori possono impedire agli utenti di incollare contenuto riservato in applicazioni basate su browser usando Microsoft Purview Endpoint DLP. Consultate Evitare la perdita di contenuti sensibili limitando le azioni Incolla nei browser. |
Fase 2: ingresso prompt
Durante l'ingresso dei prompt, il sistema invia i prompt all'agente di orchestrazione di Microsoft Copilot. Prima che i sistemi di intelligenza artificiale sottostanti lo richiedano, Microsoft applica molteplici misure di sicurezza progettate per rilevare e ridurre i contenuti potenzialmente dannosi. È inoltre possibile configurare determinati controlli, ad esempio Microsoft DLP Purview per Microsoft Copilot, per proteggere i dati.
| Protezione | Descrizione |
|---|---|
| Elenco indirizzi bloccati | Microsoft aggiorna continuamente le misure di sicurezza che consentono di identificare e bloccare prompt dannosi noti, tentativi di jailbreak e altre interazioni non sicure. Vedi Dati, privacy e sicurezza per Microsoft Copilot. |
| Filtro del classificatore IA responsabile | Microsoft implementa classificatori di intelligenza artificiale responsabile in Microsoft Copilot. Scopri come Copilot blocca i contenuti dannosi. |
| Materiali protetti | Microsoft applica protezioni progettate per aiutare a rilevare e prevenire la generazione di materiale protetto o protetto da copyright, quando applicabile. Vedi Copilot fornisce un rilevamento protetto del materiale. |
| Controlli di Microsoft Purview DLP Purview per l'elaborazione richiesta | Gli amministratori possono configurare Microsoft DLP Purview per proteggere le interazioni con Microsoft Copilot e Copilot Chat. Microsoft DLP Purview per i prompt di Copilot aiuta le organizzazioni a proteggere i dati sensibili nel punto di interazione con l'intelligenza artificiale. Applicando i criteri di prevenzione della perdita dei dati sulle richieste inviate a Microsoft Copilot e Copilot Chat, le organizzazioni possono impedire l'inclusione di informazioni sensibili nelle richieste, contribuendo a ridurre la perdita di dati, la condivisione eccessiva e l'esposizione a contenuti rischiosi o non autorizzati. Vedi Informazioni sull'uso di Prevenzione della perdita dei dati Microsoft Purview per proteggere le interazioni con Microsoft Copilot e Copilot Chat. |
| Blocca le istruzioni Unicode nascoste nelle richieste di copia e incolla | Microsoft Copilot aiuta a proteggersi dagli attacchi di istruzioni nascoste rilevando e disinfettando alcune tecniche di offuscamento basate su Unicode che possono nascondere le istruzioni nel testo copiato e incollato. Ciò impedisce al contenuto invisibile di influenzare l'elaborazione delle richieste. In base alle descrizioni di sicurezza nei materiali interni Unicode per la sanificazione e la mitigazione dell'iniezione rapida. |
Fase 3: messa a terra
Durante la fase di grounding, Microsoft Copilot genera risposte combinando modelli linguistici di grandi dimensioni con contenuti organizzativi a cui gli utenti sono già autorizzati ad accedere. Il contenuto recuperato durante il grounding può includere documenti, messaggi di posta elettronica, riunioni, chat e altre origini dati di Microsoft 365. Se si dispone di Microsoft Purview, è possibile configurare i controlli per proteggere file e messaggi di posta elettronica sensibili.
| Protezione | Descrizione |
|---|---|
| Microsoft DLP Purview per Microsoft Copilot | Gli amministratori possono configurare Microsoft DLP Purview per limitare l'elaborazione di file sensibili e messaggi di posta elettronica con etichette di riservatezza da parte di Copilot ed esperienze agentiche. Vedere Bloccare l'elaborazione di file e messaggi di posta elettronica con etichette di riservatezza. |
| Analisi della catena di strumenti | L'analisi di Microsoft include la valutazione dell'utilizzo dello strumento, la valutazione del rischio di un attacco di prompt injection, la convalida delle funzionalità dello strumento e la decisione se bloccare o consentire una richiesta. L'analisi della catena di strumenti produce un segnale che viene usato per supportare l'aderenza alle attività. |
Fase 4: ricerca sul Web
Durante questa fase, Microsoft Copilot usa i contenuti Web, se abilitati. Alcune esperienze di Copilot usano contenuti Web per migliorare la qualità delle risposte. Il grounding Web è separato dal grounding di Microsoft Graph e non modifica le autorizzazioni di Microsoft 365 esistenti applicate al contenuto dell'organizzazione. Quando si utilizza il Web Grounding, Microsoft applica misure di sicurezza aggiuntive per migliorare la sicurezza e la qualità della risposta.
| Protezione | Descrizione |
|---|---|
| Controlli di Web Grounding | Per impostazione predefinita, la ricerca Web è abilitata per Microsoft Copilot e Microsoft Copilot Chat nei tenant commerciali, ma non per i tenant U.S. Government Community Cloud (GCC, GCC-High e DoD). Gli amministratori possono configurare se consentire la ricerca Web. Consulta Controlli disponibili per gestire la ricerca Web. |
| Controlli DLP per informazioni sensibili nelle ricerche Web | Microsoft DLP Purview consente alle organizzazioni di impedire agli utenti di esporre inavvertitamente informazioni sensibili durante l'interazione con esperienze di intelligenza artificiale che utilizzano contenuti Web. Gli amministratori possono configurare i criteri di prevenzione della perdita dei dati per rilevare e bloccare l'inclusione di dati sensibili, come numeri di carta di credito, dati regolamentati o altre informazioni protette, nelle richieste inviate ai servizi di intelligenza artificiale basati sul Web. Questi controlli DLP aiutano a ridurre i rischi di perdita di dati, consentendo al contempo ai dipendenti di beneficiare in modo sicuro delle funzionalità di intelligenza artificiale basate sul Web. Vedere Bloccare i tipi di informazioni sensibili nelle ricerche Web. |
Fase 5: uscita della risposta
Durante la fase di uscita della risposta, prima che Microsoft Copilot mostri una risposta a un utente, applica misure di sicurezza aggiuntive per identificare e prevenire output potenzialmente dannosi. Se si dispone di Microsoft Microsoft Defender per Office 365, è possibile configurare la protezione dei collegamenti sicuri.
| Protezione | Descrizione |
|---|---|
| Resilienza e completezza delle citazioni | Microsoft Copilot fornisce citazioni e riferimenti per aiutare gli utenti a comprendere le fonti utilizzate per generare risposte e migliorare la trasparenza. |
| Filtro del classificatore RAI in uscita | Le protezioni dell'intelligenza artificiale responsabile di Microsoft valutano il contenuto generato prima che venga presentato all'utente. Scopri come Copilot blocca i contenuti dannosi. |
| Collegamenti sicuri | Gli amministratori possono configurare la protezione dei collegamenti sicuri per proteggere gli utenti quando seguono i collegamenti restituiti da Microsoft Copilot. Gli URL vengono valutati nel momento in cui vengono selezionati, in modo da identificare le destinazioni dannose prima che gli utenti vi accedano. Le organizzazioni con Microsoft Defender per Office 365 possono usare i criteri dei collegamenti sicuri per una maggiore protezione degli URL. Vedere Collegamenti sicuri in Defender per Office 365. |
| Sensibilizzazione degli utenti sul contenuto esterno | Microsoft mostra indicatori che aiutano gli utenti a distinguere il contenuto dell'organizzazione dal contenuto esterno nelle esperienze supportate. |
| Utente nel loop | Microsoft Copilot è progettato per assistere gli utenti, che rimangono responsabili della revisione, della convalida e dell'azione in merito ai contenuti generati. |
| Dichiarazioni di non responsabilità | Microsoft ricorda agli utenti che il contenuto generato dall'intelligenza artificiale deve essere esaminato per verificarne l'accuratezza e l'adeguatezza prima dell'uso. |
Difesa dagli attacchi di prompt injection
Microsoft fornisce controlli per la protezione da entrambi i tipi di attacchi di prompt injection e strumenti per rispondere a un attacco. Ecco una panoramica generale del flusso di risposta agli attacchi:
Si verifica un tentativo di iniezione imparziale. Gli attacchi di prompt injection possono essere attacchi diretti o indiretti.
- Diretto: l'utente digita un prompt progettato per costringere Microsoft Copilot a fare qualcosa di dannoso.
- Indiretto: il prompt dell'utente si riferisce a istruzioni che tentano di costringere Microsoft Copilot a fare qualcosa di dannoso. Le istruzioni possono essere contenute in file di testo, immagini, codice, file o testo codificato, ma non nella richiesta stessa.
Microsoft applica protezioni di prompt injection e altri controlli di sicurezza per rilevare e attenuare le istruzioni dannose. Esempi di protezioni applicate durante l'elaborazione richiesta includono:
- Prompt injection e mitigazione del jailbreak
- Rilevamento di posta indesiderata, truffe e contenuti sospetti
A seconda di ciò che include il piano di Microsoft 365, gli amministratori possono usare le funzionalità di Microsoft Defender XDR e Microsoft Purview per proteggersi da attacchi di prompt injection.
Vengono creati avvisi. Microsoft gestisce i classificatori di jailbreak per conto dei clienti. Quando questi classificatori vengono attivati, espongono i segnali in due posizioni: il portale di Microsoft Defender e la registrazione di controllo di Microsoft Purview. Questi segnali informano il team delle operazioni di sicurezza (SecOps) dell'organizzazione e gli amministratori della sicurezza dei dati in modo che possano indagare.
Nel portale di Microsoft Defender (https://security.microsoft.com/), i team SecOps esaminano gli avvisi usando Microsoft Defender XDR e Microsoft Sentinel. Gli avvisi vengono arricchiti con dati di intelligence sulle minacce per fornire più contesto e le azioni automatizzate di indagine, correzione e interruzione degli attacchi possono essere usate per contenere le minacce e accelerare la risposta. Vedere Risposta alle minacce nel portale di Microsoft Defender.
Utilizzando i log di controllo per Copilot e le applicazioni di intelligenza artificiale, gli amministratori della sicurezza dei dati e gli investigatori possono esaminare le attività degli utenti. Dopo l'onboarding, il sistema genera automaticamente i log di controllo quando un utente interagisce con Copilot o con un'applicazione di intelligenza artificiale. Questi record di controllo contengono dettagli su quale utente ha interagito con Copilot, quando è avvenuta l'interazione e dove si è verificata. I record di controllo includono anche riferimenti a file, siti o altre risorse a cui Copilot e le applicazioni di intelligenza artificiale hanno eseguito l'accesso per generare risposte alle richieste degli utenti.
Nota
Le funzionalità aggiuntive di Microsoft Purview, ad esempio la gestione dei rischi Insider, consentono di rilevare, analizzare e ridurre potenziali attività interne dannose o involontarie. Vedere Usare Microsoft Purview per gestire la sicurezza & la conformità dei dati per Microsoft Copilot & Microsoft Copilot Chat.