Un recente esperimento condotto dal Dipartimento di Scienze Cognitive dell'Università della California a San Diego ha messo alla prova moderni sistemi di intelligenza artificiale in un test di Turing, ideato per valutare se ChatGPT possa realmente comportarsi come un essere umano a tal punto che un giudice non sia in grado di distinguere tra umano e macchina basandosi solo sulle sue risposte.
L'esperienza ha incluso non solo gli avanzati GPT-3.5 e GPT-4 di OpenAI, ma anche ELIZA, un semplice chatbot basato su regole sviluppato negli anni '60.
I partecipanti, divisi in cinque gruppi, hanno avuto conversazioni di cinque minuti con partner che potevano essere umani o uno dei tre sistemi AI, tramite un'interfaccia che simula un'applicazione di messaggistica.
Al termine del dialogo, ogni partecipante doveva decidere se il loro interlocutore fosse umano o una macchina e motivare la propria scelta.
I risultati mostrati nel test sono piuttosto interessanti: GPT-4 è stato riconosciuto come umano nel 54% dei casi, mentre GPT-3.5 ha raggiunto il 50%, entrambi significativamente più convincenti di ELIZA, che si ferma al 22%.
Nonostante ciò, entrambi i modelli aggiornati sono rimasti dietro agli umani veri, identificati correttamente nel 67% dei casi. La difficoltà nel distinguere GPT-4 dall'umano dimostra la sofisticazione raggiunta dalle attuali tecnologie AI, capaci di ingannare efficacemente riguardo alla loro natura non umana.
I criteri di giudizio si sono basati su fattori come lo stile linguistico, le capacità socio-emotive e le domande basate sulla conoscenza. Il dettaglio del setup sperimentale indicava che ai modelli AI veniva dato un prompt per rispondere come giovani che usano slang e commettono occasionali errori di ortografia, un tentativo di conferire una ‘personalità’ più casual e giovanile alla conversazione.
Questo studio, i cui risultati sono disponibili su arXiv preprint server, evidenzia le crescenti capacità delle intelligenze artificiali di generare testi sempre più fluidi e convincenti, arrivando a mettere in dubbio la distinzione tra ciò che è scritto da un umano e ciò che è generato da una macchina.
In un mondo sempre più digitalizzato, tali sviluppi sollevano riflessioni significative sul futuro dell'interazione umano-macchina e sulle implicazioni di sistemi AI sempre più avanzati in vari ambiti della società.