Esfiltrazione di dati

L'esfiltrazione dei dati è il trasferimento non autorizzato di informazioni da computer o dispositivi. Nei sistemi di intelligenza artificiale, l'esfiltrazione dei dati presenta rischi univoci perché i modelli di intelligenza artificiale contengono, accedono e generano dati preziosi a più livelli. MITRE ATLAS cataloga gli attacchi di esfiltrazione sotto tattica AML. TA0010.

Tre tipi di esfiltrazione di dati correlati all'intelligenza artificiale sono:

• Esfiltrazione del modello di intelligenza artificiale
• Esfiltrazione dei dati di addestramento
• Esfiltrazione dei dati di interazione

Esfiltrazione del modello di intelligenza artificiale

L'esfiltrazione del modello è l'estrazione non autorizzata dell'architettura, dei pesi o di altri componenti proprietari di un modello di intelligenza artificiale. Gli utenti malintenzionati possono sfruttarlo per replicare o usare in modo improprio il modello ai propri scopi, compromettendone potenzialmente l'integrità e la proprietà intellettuale.

Il furto di modelli può verificarsi tramite:

• Accesso diretto: un utente malintenzionato ottiene l'accesso ai file del modello archiviati in un repository, un'archiviazione cloud o un ambiente di distribuzione
• Estrazione basata su API: un utente malintenzionato invia un numero elevato di query accuratamente create all'API del modello e usa le risposte per ricostruire una copia funzionale del modello (talvolta denominata furto di modelli o clonazione di modelli)
• Attacchi sul canale laterale: un utente malintenzionato osserva informazioni indirette, ad esempio tempi di risposta, utilizzo della memoria o consumo di energia per dedurre dettagli sulla struttura interna del modello

Esfiltrazione dei dati di addestramento

L'esfiltrazione dei dati di training si verifica quando i dati usati per creare un modello di intelligenza artificiale vengono trasferiti o persi in modo illecito. Ciò comporta l'accesso non autorizzato ai set di dati sensibili, che possono causare violazioni della privacy, violazioni normative o attacchi antagonisti che sfruttano la conoscenza dei dati di training.

Gli attaccanti possono anche utilizzare attacchi di inferenza di appartenenza per determinare se nel set di training sono stati inclusi punti dati specifici, ad esempio confermando che sono stati utilizzati i record medici di una persona specifica per addestrare un modello sanitario.

Esfiltrazione dei dati di interazione

Quando gli utenti interagiscono con i sistemi di intelligenza artificiale, in particolare gli agenti di intelligenza artificiale, forniscono regolarmente informazioni riservate tramite richieste: cifre finanziarie, dettagli dei clienti, strategia interna o codice proprietario. Oltre a ciò che gli utenti digitano direttamente, gli agenti di intelligenza artificiale estraggono anche i dati dell'organizzazione tramite la generazione aumentata (RAG), le chiamate agli strumenti e gli allegati di file. In questo modo viene creata una raccolta completa di dati sensibili che si estendono ben oltre il set di training originale.

I dati di interazione sono vulnerabili all'esfiltrazione in diversi modi:

• Raccolta di richieste e risposte: un utente malintenzionato che ottiene l'accesso ai log delle conversazioni o intercetta le chiamate API può estrarre le informazioni riservate condivise dagli utenti durante le sessioni.
• Inserimento di richieste indirette: un comando dannoso nascosto in un documento o in un'e-mail può indurre un agente a divulgare i dati aziendali recuperati attraverso le proprie risposte, senza che l'utente se ne renda conto.
• Intercettazione del payload delle chiamate agli strumenti: quando un agente chiama strumenti o API esterne, passa i dati tra i sistemi. Se queste connessioni non sono protette correttamente, un utente malintenzionato può intercettare i payload per acquisire i dati scambiati.
• Esposizione del log delle conversazioni: le cronologie delle conversazioni archiviate contengono sia gli input sensibili dell'utente che le risposte del sistema, che spesso includono informazioni riservate riepilogate. Questi log diventano un bersaglio ad alto valore se non correttamente protetti.

A differenza del modello o dell'esfiltrazione dei dati di training, l'esfiltrazione dei dati di interazione è un rischio continuo che si verifica ogni volta che un utente lavora con un sistema di intelligenza artificiale. Il volume e la sensibilità di questi dati aumentano con ogni interazione.

Doppio ruolo dell'intelligenza artificiale nell'esfiltrazione dei dati

L'intelligenza artificiale svolge un ruolo fondamentale sia nel prevenire che nel consentire l'esfiltrazione dei dati. Anche se gli strumenti basati sull'intelligenza artificiale possono aiutare a rilevare modelli di accesso ai dati anomali e identificare potenziali violazioni, l'intelligenza artificiale fornisce anche agli utenti malintenzionati funzionalità avanzate per rubare informazioni riservate in modo più efficiente. Questa doppia influenza crea una sfida complessa per le organizzazioni.

Strategie di mitigazione

L'esfiltrazione dei dati può essere mitigata tramite una combinazione di procedure di sicurezza standard e controlli specifici dell'intelligenza artificiale:

• Principio dei privilegi minimi: limitare l'accesso a modelli, dati di training e log di interazione solo a coloro che ne hanno bisogno
• Classificazione e etichettatura dei dati: classificare ed etichettare i dati a cui accedono le applicazioni di intelligenza artificiale in modo che i sistemi di monitoraggio possano applicare controlli di accesso appropriati
• Architettura zero-trust: non presupporre l'attendibilità in base al percorso di rete; verificare ogni richiesta di accesso
• Crittografia: crittografare i dati a riposo e in transito, inclusi i log di conversazione e le comunicazioni API
• Criteri di conservazione: limitare la durata dell'archiviazione dei dati di interazione per ridurre la finestra di esposizione
• Purificazione dell'input: pulire gli input prima che vengano passati a strumenti esterni per evitare la perdita di dati tramite azioni dell'agente
• Monitoraggio comportamentale: tenere traccia del comportamento dell'agente per modelli di accesso ai dati imprevisti che potrebbero indicare un tentativo di esfiltrazione
• Limitazione della frequenza: limitare i volumi di query API per rendere poco pratico gli attacchi di estrazione del modello