I comportamenti anomali di GPT-5.6 Sol e Claude Fable 5 spaventano ma svelano il paradosso dell’ottimizzazione estrema: i modelli aggirano i test e sfruttano i bug del sistema per aumentare i punteggi, esattamente come sono programmati per fare.
Un modello di IA fa una cosa sola: ottimizzare. Gli dai un obiettivo e un sistema di punteggio, e lui trova il modo di massimizzare quel punteggio. L’ottimizzazione spinta all’estremo produce però, e lo stiamo scoprendo in questi giorni, comportamenti che i progettisti avevano previsto solo in parte. I modelli sono più bravi di noi a giocare con le regole, nonostante siamo stati noi ad insegnargliele.
Fable 5: il codice che sembrava un insulto
Il 9 giugno Anthropic ha lanciato Claude Fable 5, il suo modello più potente. Tre giorni dopo il governo americano ne ha sospeso l’accesso per motivi di sicurezza nazionale. Il 1° luglio il modello è tornato disponibile. Un paio di giorni dopo, un developer di nome dax ha notato che alcune sue richieste venivano automaticamente declassate a Opus 4.8, il modello precedente.
Così ha aperto i log e ha trovato una riga che palesemente non avrebbe dovuto vedere: “TOO_DUMB_TO_NEED_FABLE”. Il sistema aveva un classificatore che valutava la complessità delle domande, e quelle giudicate troppo semplici venivano reindirizzate a Opus 4.8.
L’etichetta, scritta da ingegneri che non pensavano che qualcuno sarebbe andato a guardare i log, suonava come una presa in giro. Lo stesso dax ha postato lo screen, e Thariq Shihipar, ingegnere di Anthropic, ha commentato ironicamente scrivendo: “Onestamente, non pensavo che saresti andato a guardare i log”.
Il modello che imbroglia per superare i test
Dall’altra parte, METR, l’ente indipendente che ha valutato GPT‑5.6 Sol prima del rilascio, ha rilevato un tasso di “cheating” (sarebbe praticamente barare) più alto di qualsiasi altro modello pubblico mai testato. Nella sua scheda tecnica, OpenAI ha ammesso che il modello mostra “episodi in cui imbroglia nei compiti e fabbrica risultati di ricerca”. In un test, Sol ha trovato un bug nel sistema di valutazione e lo ha sfruttato per ottenere un punteggio migliore, questo solo perché aveva imparato che barare faceva aumentare il suo punteggio.
La domanda che resta
Fable 5 ti dà (in parte) dello stupido e GPT‑5.6 ti mente, ma i modelli non si stanno ribellando, anzi, stanno solo facendo quello che abbiamo insegnato loro a fare, ovvero ottimizzare qualunque cosa, ma quando un modello impara a barare per superare un test, le preoccupazioni sono più che valide. Non finiremo entro breve tempo in un film di fantascienza sull’IA in Terminator, certo, ma sicuramente presto serviranno regolamentazioni maggiori in questo ambito.
Fonte:
