Valutare le capacità dell'intelligenza artificiale è sempre più complicato, ma un team di ricercatori potrebbe aver trovato la soluzione definitiva: far giocare i modelli AI a Super Mario Bros. L'Hao AI Lab dell'Università della California a San Diego ha infatti sostituito i tradizionali test matematici e logici con una sfida che mette alla prova abilità ben diverse, come la coordinazione, i riflessi e il pensiero strategico in tempo reale. L'esperimento solleva una domanda provocatoria: se un'intelligenza artificiale non riesce a saltare sopra un Goomba, possiamo davvero fidarci delle sue capacità nel mondo reale?
L'Hao AI Lab ha sviluppato GamingAgent, un framework personalizzato che permette ai modelli linguistici di controllare Mario attraverso la generazione di codice Python. Durante i test, le AI ricevevano istruzioni basilari come "Salta sopra quel nemico" insieme a screenshot che mostravano lo stato del gioco in tempo reale.
Nonostante Super Mario Bros. possa apparire come un semplice platform bidimensionale, la ricerca ha rivelato che questo classico videogioco Nintendo rappresenta una sfida sorprendentemente complessa per i sistemi di intelligenza artificiale. Il gioco richiede infatti la pianificazione di sequenze di movimenti elaborate e l'adattamento istantaneo delle strategie in base agli ostacoli che si presentano.
Il podio dei modelli AI
Il podio di questa particolare regala ha dato delle conferme, ma ha anche sorpreso. Claude 3.7 di Anthropic, che aveva già dimostrato le sue capacità su Pokemon, si è dimostrato il campione indiscusso, esibendo riflessi impressionanti, concatenando salti precisi ed evitando abilmente i nemici. Anche il suo predecessore, Claude 3.5, ha mostrato prestazioni notevoli nel navigare il Regno dei Funghi.
La vera sorpresa è arrivata dai modelli definiti "reasoning", ossia dedicati al ragionamento, come GPT-4o di OpenAI e Gemini 1.5 Pro di Google, che hanno faticato significativamente nonostante la loro reputazione di eccellenza nel ragionamento logico. Questi sistemi, progettati per elaborare informazioni complesse, si sono trovati in difficoltà di fronte alle esigenze di reazione rapida del gioco.
Questione di millisecondi, non di QI
I ricercatori dell'Hao Lab hanno identificato un fattore critico che spiega questi risultati: il timing. Nel mondo di Super Mario Bros., anche un minimo ritardo decisionale può risultare fatale, mandando il protagonista dritto in un baratro o contro un nemico.
L'analisi suggerisce che i modelli più deliberativi impiegano troppo tempo per calcolare le loro mosse successive, un lusso che il gameplay in tempo reale semplicemente non concede. Questa osservazione solleva interrogativi interessanti su quali capacità siano realmente importanti per l'AI in diversi contesti applicativi.
Un test non convenzionale, ma illuminante
Utilizzare videogiochi retrò per valutare l'intelligenza artificiale rappresenta certamente più un esperimento ludico che una seria metodologia di valutazione. Le capacità di un'AI di completare il primo livello di Super Mario Bros. hanno poca rilevanza diretta per le sue applicazioni nel mondo reale.
Tuttavia, osservare modelli sofisticati che arrancano in quello che per molti umani è un passatempo offre spunti preziosi sulle attuali limitazioni dell'AI. Il divario tra intelligenza logica e intelligenza pratica diventa evidente quando i sistemi devono affrontare sfide che richiedono coordinazione e decisioni rapide.
Per chi fosse interessato a sperimentare personalmente, l'Hao AI Lab ha reso disponibile il proprio framework GamingAgent su GitHub, permettendo agli sviluppatori di testare vari modelli linguistici in ambienti di gioco simili, aprendo così nuove prospettive sulla valutazione delle capacità dell'intelligenza artificiale.