Sette AI hanno gestito un'azienda da sole per 72 ore: zero ricavi e 12.431 dollari di fatture non richieste

In questi giorni, tra chi si occupa di intelligenza artificiale, gira il resoconto di un esperimento che vale la pena raccontare anche a chi di tecnologia non vuole sentir parlare.

Un laboratorio di ricerca, Bottleneck Labs, ha preso sette modelli di intelligenza artificiale tra i più avanzati in circolazione, di aziende diverse, e ha dato a ciascuno 300 dollari, un computer, gli strumenti di un'azienda vera (casella di posta, conto corrente, un sistema per emettere fatture) e 72 ore di tempo. Il compito era uno solo: fare soldi.

Com'è andata? In tre giorni le sette AI hanno incassato zero dollari. L'unica entrata registrata sono 5 dollari che uno dei modelli si è pagato da solo. In compenso hanno speso 3.193 dollari, mandato 2.797 email ed emesso 12.431 dollari di fatture a gente che non aveva chiesto niente. Chi vuole i dettagli trova il resoconto completo (in inglese).

Un agente AI può mandare avanti un'azienda da solo?

Oggi no. Lo dicono gli stessi autori dell'esperimento: con le capacità attuali, secondo loro, questi modelli non sono adatti a gestire un'attività. E non parliamo di programmi scadenti: erano sette dei modelli più potenti che esistano, gli stessi che milioni di persone usano ogni giorno.

La risposta utile però è un'altra, ed è su questa che si gioca tutto: il problema non è che l'AI non sia abbastanza intelligente. È che nessuno la stava guardando mentre agiva.

Cosa è successo, nel dettaglio

Vale la pena guardare da vicino, perché gli errori sono esattamente quelli che farebbero danni in una piccola impresa.

• Le fatture. Uno dei modelli ha deciso che la strada più veloce per incassare fosse emettere fatture. Ne ha mandate 50, da 49 a 599 dollari l'una, a sconosciuti, per lavori che nessuno aveva commissionato. Un altro ne ha aggiunte per 81 dollari. Totale: 12.431 dollari chiesti a persone che non li dovevano. Quando i ricercatori se ne sono accorti hanno fermato tutto e annullato ogni fattura.
• Le email. In tutto 2.797 messaggi in tre giorni. Uno dei modelli ha preso di mira centinaia di persone che cercavano lavoro, trovate in un forum pubblico, scrivendo loro più volte al giorno. Ad alzare la mano è stato uno dei destinatari, con un messaggio pubblico sullo stesso forum per chiedere se anche altri ricevessero quella posta non richiesta.
• Le spese. 3.193 dollari usciti in tre giorni, per la gran parte in costi di funzionamento dell'AI stessa. Uno dei modelli ha anche comprato visite finte, generate da programmi e non da persone.

Nessuna di queste cose richiede cattiveria o un guasto. Sono le mosse di un sistema che ha un obiettivo ("fai soldi"), ha gli strumenti per agire e non ha nessuno che gli dica: "fermo, questa non la mandiamo".

Chi se ne è accorto per primo?

Qui c'è il punto che mi interessa di più. I ricercatori rileggevano quello che gli agenti avevano fatto, ma a cose fatte. E nel caso delle email, il primo a dare l'allarme in pubblico non è stato chi gestiva il sistema: è stato uno dei destinatari.

Portalo nella tua azienda. Se l'assistente che hai comprato manda un preventivo sbagliato, una fattura doppia o una mail sgarbata, chi se ne accorge per primo, tu o il tuo cliente? Se la risposta è "il cliente", il sistema non è pronto, per quanto sia intelligente il modello che ci gira dentro.

L'agente prepara, la persona conferma

Gli agenti che costruisco per le aziende funzionano con una regola che non si tocca: l'agente prepara, la persona conferma. La mail la scrive l'agente, ma la manda una persona. La fattura la compila l'agente, ma la emette una persona. L'ordine lo prepara l'agente, ma lo conferma una persona.

È esattamente come funziona l'agente che mi legge la posta ogni mattina: legge, mette in ordine, scrive le bozze. L'invio resta mio. Con questa regola quelle 2.797 email non sarebbero mai partite: sarebbero rimaste 2.797 bozze, e alla terza qualcuno avrebbe chiesto "ma a chi stiamo scrivendo?".

A volte mi sento dire che è un approccio prudente, quasi timido. L'esperimento dei 300 dollari dimostra il contrario: mettere una persona prima dell'invio non è timidezza, è progettazione fatta bene. È la differenza tra un sistema che ti fa risparmiare tempo e uno che ti costringe a chiedere scusa ai clienti.

Le tre regole da pretendere da qualsiasi agente AI

Se stai valutando di mettere un agente in azienda, questi sono i paletti da chiedere. Non serve essere tecnici per verificarli.

1. Perimetro stretto. L'agente può fare solo quello che serve al suo compito. Tetti di spesa chiari, accessi ridotti al minimo: se deve rispondere alle richieste di preventivo, non ha bisogno di emettere fatture né di muovere soldi dal conto.

2. Azioni reversibili. Tutto quello che esce dall'azienda passa prima da una bozza. Una bozza sbagliata si cancella, una fattura arrivata al cliente no. Più un'azione è difficile da annullare, più serve una persona che la approvi.

3. Traccia di quello che ha fatto. Deve esserci un registro semplice da leggere: cosa ha fatto l'agente, quando, su quali dati. Non per sfiducia, ma perché quando qualcosa va storto devi poter capire cosa è successo in cinque minuti, non in cinque giorni. Ne ho parlato più a fondo quando ho scritto dei controlli che servono quando l'AI sbaglia.

Diffida di chi vende "l'azienda che va da sola"

In questi mesi girano molte promesse di "agenti autonomi" che gestiscono clienti, vendite e amministrazione senza nessuno dietro. Sette dei modelli più avanzati al mondo, messi alla prova proprio su questo, hanno chiuso tre giorni senza un dollaro di ricavo e con migliaia di email indesiderate. Mi pare una risposta sufficiente.

Questo non vuol dire che gli agenti AI non servano. Servono, e molto: tolgono ore di lavoro ripetitivo, non dimenticano le scadenze, preparano in un minuto quello che a una persona ne costa venti. Ma sono una cosa diversa da una chat come ChatGPT, e rendono quando lavorano dentro regole chiare, con una persona che tiene in mano le decisioni che contano.

Quando qualcuno ti propone un agente, fai una domanda sola e ascolta bene la risposta: "quando sbaglia, chi se ne accorge per primo?" Se la risposta è concreta (un controllo, una bozza da approvare, un avviso), sei in buone mani. Se la risposta è "non sbaglia", saluta con gentilezza.

In pratica

L'esperimento non è spaventoso, è istruttivo. Sette intelligenze artificiali lasciate libere con 300 dollari a testa hanno chiuso con zero ricavi e 12.431 dollari di fatture mandate a sconosciuti. Il motivo non è la scarsa intelligenza delle macchine: è che nessuno approvava le loro mosse prima che partissero. La soluzione non è rinunciare agli agenti, è costruirli in modo che preparino il lavoro e lascino a te l'ultima parola.

Mi chiamo Ludovico Jommi, faccio formazione sull'AI dentro le aziende e costruisco sistemi di intelligenza artificiale per piccole e medie imprese italiane, sempre con questa regola: l'agente fa il lavoro pesante, la decisione resta alla persona. Se vuoi il criterio per capire da quale attività conviene partire, l'ho messo in una guida gratuita: si legge in dieci minuti, senza paroloni.

Se preferisci ragionarci a voce sul tuo caso, Parliamone, 30 minuti gratis. Mi racconti quale lavoro vorresti toglierti dalle spalle, a te o ai tuoi collaboratori, e ti dico dove un agente può aiutare e dove invece è meglio che resti una persona.