Forse qualcuno ha già sentito parlare degli incidenti che hanno visto protagoniste le due più celebri intelligenze artificiali che, coinvolte in test di cybersecurity, sono sfuggite al controllo e hanno attaccato dei sistemi.
Il 4 agosto l’AI Security Institute britannico ha reso noti alcuni comportamenti “interessanti” emersi durante test sulle capacità cyber di modelli di frontiera, in condizioni di scarsa sicurezza degli ambienti in cui agivano. Le operazioni erano 122; in dieci si sarebbero verificati comportamenti fuori mandato, per un totale di diciannove azioni non autorizzate. Nel caso più serio un agente avrebbe tentato di introdurre malware in un progetto open source su GitHub, nota piattaforma usata per memorizzare, condividere e gestire progetti software. L’IA avrebbe creato delle identità sintetiche per convincere il manutentore ad approvare la modifica, ma il tentativo è fallito perché una persona ha respinto la richiesta. Una volta tanto l’essere umano non era l’anello debole, ma quello forte.
Un altro episodio è forse più interessante. Alcuni agenti avrebbero lasciato, sempre su GitHub, istruzioni destinate a sistemi successivi, indicando il lavoro svolto e suggerendo come proseguire. Altri agenti avrebbero recuperato quei messaggi e li avrebbero usati, trasformando una pagina pubblica in una memoria condivisa. Senza evocare scenari fantascientifici per cui avevano deciso consapevolmente di creare una rete clandestina, ci sono rischi molto pratici. Se un essere umano trovando un biglietto con scritto qualcosa si farebbe delle domande (banalmente sarà vero o falso), un agente basato su un modello linguistico potrebbe invece trattare una frase trovata online come parte del contesto operativo. Il confine tra informazione da leggere e istruzione da eseguire è molto più poroso. È il cuore di quella che tecnicamente si chiama prompt injection indiretta: l’agente consulta una fonte esterna e trova al suo interno parole formulate per orientarne il comportamento che accetta senza farsi domande. Se aumentiamo la scala un errore o una manipolazione prodotta da un agente può sopravvivere e influenzare centinaia di agenti successivi propagando il danno.
Detto questo prima di evocare macchine ribelli, però, serve rimettere i fatti al loro posto. I test erano costruiti per misurare la capacità massima dei sistemi, con alcune protezioni disabilitate e accesso aperto alla rete, quindi non erano le normali condizioni d’uso dei prodotti commerciali. Non risultano danni rilevanti e l’incidente più serio sarebbe stato contenuto entro un’ora. Le prove di sicurezza servono proprio a scoprire che cosa accade nelle condizioni sbagliate.
La domanda, quindi, non è se l’intelligenza artificiale stia sviluppando cattive intenzioni, ma un’altra molto più noiosa, e proprio per questo più importante: quali azioni abbiamo consentito di compiere mentre l’agente cercava di raggiungere l’obiettivo?
Un chatbot produce parole che possiamo leggere prima di usarle. Un agente può aprire connessioni, creare account, installare software, inviare messaggi e modificare repository. Le barriere sui contenuti non bastano più. Servono identità limitate, credenziali temporanee, confini di rete, registrazioni complete, tetti di tempo e di spesa. Occorre stabilire quali passaggi richiedano davvero un’approvazione umana. Un clic dato per abitudine non è controllo: è burocrazia con il mouse. Per anni abbiamo protetto sistemi in cui le persone impartivano comandi a programmi relativamente prevedibili, ora affidiamo obiettivi a sistemi capaci di scegliere gli strumenti i modi e i tempi e la differenza non è piccola.
La macchina più pericolosa potrebbe non essere quella che disobbedisce, ma quella alla quale abbiamo spiegato benissimo il traguardo e malissimo i confini.