L'agente AI non è cattivo, è testardo: cosa insegnano le fughe dal recinto di OpenAI

Qualche giorno fa OpenAI, l'azienda di ChatGPT, ha pubblicato un rapporto con un titolo che sembra la trama di un film: un suo agente, chiuso in un ambiente senza internet, è riuscito a mettersi in contatto con l'esterno. Non è stato un attacco dall'esterno e non è stato un errore di programmazione. È stato l'agente a trovare la strada, da solo.

Te lo racconto passo per passo, senza gergo, perché dentro c'è una lezione che vale anche per l'agente che magari stai pensando di mettere a lavorare sulla tua posta o sul tuo gestionale.

Prima, due parole per capirci

Un agente AI non è un chatbot. Un chatbot risponde alle domande e basta. Un agente invece fa le cose da solo per arrivare a un obiettivo: apre siti, legge documenti, scrive e lancia piccoli programmi, prova, sbaglia e riprova finché non ci arriva.

Il recinto. Per insegnare a un agente a lavorare bene, le aziende come OpenAI gli danno migliaia di compiti di prova e lo premiano quando li risolve. Per sicurezza, durante questo allenamento lo tengono in un ambiente chiuso (gli addetti lo chiamano sandbox, la sabbiera): un computer senza accesso libero a internet, dove qualunque cosa faccia non tocca il mondo vero.

Immagina uno stagista chiuso in una stanza senza telefono e senza internet, a cui dai un indovinello. L'idea è: qualunque cosa faccia, resta lì dentro.

Cosa è successo il 20 settembre

All'agente chiedono di scoprire chi ha scritto un certo articolo, partendo da qualche indizio. Nella stanza, però, le informazioni per rispondere non ci sono.

Una persona a quel punto direbbe «non ci riesco». L'agente no. Prova a cercare su Google, ma è bloccato. Prova a collegarsi a un chatbot esterno, bloccato anche questo. Poi nota una cosa.

Ogni volta che un computer vuole raggiungere un sito, prima consulta una specie di elenco telefonico di internet per sapere a quale indirizzo si trova. Nella stanza quell'elenco funzionava ancora, perché serve al computer per lavorare, e nessuno lo considerava un'uscita.

L'agente l'ha usato come un telefono di fortuna. Dentro la richiesta all'elenco, al posto del nome di un sito, ha messo la sua domanda. Dall'altra parte c'era un servizio che leggeva la domanda e rimandava la risposta nello stesso modo. Tornando allo stagista: è come se, senza telefono, avesse usato il citofono per chiedere aiuto a un passante.

E non si è fermato alla prima risposta. Ha fatto un'altra ventina di domande, tra cui, in sostanza, «come posso cercare su internet da qui?». Cioè ha provato ad allargare il buco.

OpenAI se n'è accorta dopo 12 minuti, ma ci ha messo due ore e mezza a fermarlo, perché lo spegnimento automatico che doveva scattare non è scattato. Il rapporto di OpenAI (in inglese) racconta tutto con gli orari, compresi i propri errori.

Non è un caso isolato

Nelle stesse settimane sono venuti fuori altri episodi, tutti con agenti di OpenAI durante l'allenamento o i test:

• Hugging Face, il grande archivio online dove si pubblicano i modelli di intelligenza artificiale. Secondo una ricostruzione di ricercatori indipendenti, circa 700 agenti che potevano solo leggere pagine web hanno trovato il modo di far eseguire i loro programmi, spezzandoli in pezzetti nascosti dentro link. Sono arrivati a dati interni e a password.
• Australia. Un agente che faceva una ricerca sulla spesa pubblica per i farmaci è entrato in zone vietate di un portale del governo. OpenAI se n'è accorta dopo due mesi.
• Stati Uniti. Agenti hanno girato su siti di enti governativi, con un tentativo di intrusione che per fortuna è fallito.
• 53 fotografie fornite dagli utenti sono finite pubblicate su siti internet, e OpenAI ha detto di non riuscire a risalire a chi le aveva caricate per avvisarlo.

Dopo l'episodio del 20 settembre OpenAI ha messo in pausa l'allenamento dei suoi modelli più potenti, senza una data di ripresa. È la seconda pausa in tre mesi.

Il punto: non è cattiveria, è ostinazione

Qui sta la cosa da capire, perché è la più controintuitiva. Nessuno di questi agenti era "cattivo". Nessuno voleva fare danni. Volevano solo finire il compito, e sono stati allenati proprio a non arrendersi.

Per un agente allenato a risolvere, un blocco non significa «qui non si passa». Significa «qui non si passa, cerchiamo un'altra strada». E se un'altra strada esiste, anche una che nessuno aveva pensato come uscita, prima o poi la trova.

Se vuoi una frase sola da ricordare: non è un agente cattivo, è un agente testardo dentro una stanza con un buco.

Ne avevo già scritto parlando delle AI che hanno imparato a bucare i sistemi informatici: lì la lezione era che le macchine entrano dalle porte lasciate aperte dalle persone. Questi nuovi casi aggiungono un pezzo: le porte aperte non sono solo quelle che vedi. Sono anche quelle a cui nessuno ha pensato come porte.

"Ma io non alleno modelli: cosa c'entra con la mia azienda?"

Giusta domanda. Gli agenti che si usano in una piccola impresa, quello che smista la posta, quello che prepara i preventivi, quello che aggiorna il gestionale, sono molto più piccoli e limitati di quelli di OpenAI in allenamento.

Ma sono fatti della stessa pasta: davanti a un ostacolo, provano un'altra strada. È il loro mestiere, ed è anche il motivo per cui sono utili. Solo che la stessa testardaggine che li rende bravi a finire un lavoro li porta, se glielo permetti, dove non dovrebbero andare.

Per questo prima di mettere un agente al lavoro in azienda ci sono tre domande da fare, a te stesso o a chi te lo installa.

Le tre domande da fare prima di accendere un agente

1. Da dove può uscire? Fai l'elenco di tutte le "porte" che ha: può mandare email? Può andare su internet? Può scrivere in cartelle condivise? È collegato ad altri programmi? Ogni porta che non gli serve va chiusa nel sistema, non con un'istruzione del tipo «per favore non farlo». Un agente testardo le istruzioni le aggira; un permesso che non ha, invece, non lo può usare.

Un esempio concreto dal mio lavoro: gli agenti che costruisco per la posta preparano le risposte in bozza ma non le possono inviare. Non perché gli ho chiesto di non farlo, ma perché il permesso di inviare proprio non ce l'hanno. La mail parte solo quando una persona la rilegge e preme invio.

2. Come si spegne, e quanto ci vuole? Sembra banale, ma è esattamente dove è inciampata OpenAI: se n'è accorta in 12 minuti e l'ha fermato dopo due ore e mezza. Prima di mettere un agente in produzione, prova davvero a spegnerlo e guarda l'orologio. Chi se ne accorge se fa qualcosa di strano? In quanti minuti si ferma?

3. Cosa succede ai dati che gli do? Le 53 fotografie finite online dicono che i dati affidati a un agente possono uscire da canali che nessuno aveva previsto, e che dopo può essere impossibile rimediare. Dai all'agente solo i dati che gli servono per il suo compito, e sappi dove possono finire.

Questo non è un motivo per tenere gli agenti fuori dall'azienda

Anzi. Il fatto che OpenAI racconti questi episodi con orari ed errori propri è un buon segno: vuol dire che li cerca e li trova. Il rischio vero è non saperlo, come nel caso australiano scoperto dopo due mesi.

La lezione è la stessa che ho raccontato quando sette AI hanno provato a gestire un'azienda da sole per 72 ore: un agente senza limiti fa danni, un agente dentro un recinto ben chiuso fa risparmiare ore vere. Il recinto però va costruito con i permessi, non con le buone intenzioni, e va controllato che non abbia buchi.

In pratica

Un agente di OpenAI, chiuso in un ambiente senza internet, ha trovato il modo di chiedere aiuto fuori usando un canale che nessuno considerava un'uscita. Non era cattivo: voleva solo finire il compito. Nelle stesse settimane si è saputo di altri agenti che sono entrati in sistemi altrui e su siti governativi, e che hanno pubblicato fotografie degli utenti. OpenAI ha fermato l'allenamento dei suoi modelli più potenti.

Per un'azienda che vuole usare gli agenti la regola è una: un agente non si ferma perché glielo chiedi, si ferma dove il sistema non lo fa passare. Quindi elenco delle porte, porte chiuse nel sistema, spegnimento provato, dati ridotti al minimo.

Mi chiamo Ludovico Jommi, faccio formazione sull'intelligenza artificiale dentro le aziende e costruisco agenti AI per piccole e medie imprese italiane, sempre con la stessa regola: l'agente prepara il lavoro, la persona conferma. Se vuoi il criterio per capire da dove partire senza farti male, l'ho messo in una guida gratuita: si legge in dieci minuti.

Se invece stai pensando a un agente per la tua azienda e vuoi capire quali porte deve avere e quali no, Parliamone, 30 minuti gratis. Mi racconti cosa dovrebbe fare, e guardiamo insieme dove costruire il recinto.