L'Istituto Statunitense per la Sicurezza dell'IA, parte del National Institute of Standards and Technology (NIST), ha finalmente ufficializzato i propri vertici.
Paul Christiano, ex ricercatore di OpenAI noto per avere sviluppato una tecnica fondamentale per la sicurezza dell'IA denominata apprendimento per rinforzo da feedback umano (RLHF), ma anche per avere stimato che esista una possibilità su due che lo sviluppo dell'IA possa risultare in un "disastro", è stato nominato a capo della sicurezza dell'IA.
Fonti anonime citate da un controverso rapporto di VentureBeat suggerivano una presunta rivolta del personale del NIST, motivata dalle visioni pessimistiche di Christiano sull'IA. Tali visioni, legate all'altruismo effettivo e al "longtermismo", potrebbero, secondo alcuni, compromettere l'obiettività e l'integrità dell'istituto.
La missione del NIST si concentra sul promuovere innovazione e competitività industriale negli Stati Uniti avanzando la scienza delle misurazioni, gli standard e la tecnologia per migliorare la sicurezza economica e la qualità della vita. Le filosofie di altruismo effettivo e longtermismo, che Christiano sostiene, si focalizzano su approcci più soggettivi e basati sulle opinioni rispetto agli obiettivi scientifici e misurabili del NIST.
In occasione della sua partecipazione al podcast Bankless, Christiano sostenne che: "c'è qualcosa come un 10-20 percento di possibilità di un takeover dell'IA", risultante nella possibile estinzione dell'umanità, e "in generale, si potrebbe arrivare fino a un 50-50 di possibilità di disastro poco dopo aver sviluppato sistemi di intelligenza artificiale a livello umano".
Critici del pessimismo verso l'IA hanno messo in guardia sulla possibilità che un'enfasi eccessiva su scenari ipotetici di sistemi di intelligenza artificiale distruttivi possa distogliere l'attenzione da problemi attuali legati all'IA, che includono questioni ambientali, di privacy, etiche e di pregiudizio. La professoressa Emily Bender esprime preoccupazione sul fatto che discorsi qualificati come "pessimismo sull'IA" siano stati inclusi nell'ordine esecutivo sull'IA di Joe Biden, indirizzando il NIST a concentrarsi su questi scenari fantascientifici.
Da un lato, la nomina di Christiano a capo della sicurezza dell'IA lo incarica di monitorare rischi attuali e potenziali. Dovrà "progettare e condurre test su modelli di intelligenza artificiale avanzata, concentrandosi su valutazioni del modello per capacità di interesse per la sicurezza nazionale", guidare i processi di valutazione e implementare "mitigazioni del rischio per migliorare la sicurezza e la sicurezza dei modelli avanzati", secondo il comunicato stampa del Dipartimento del Commercio.
Con la sua esperienza nella mitigazione dei rischi dell'IA e la fondazione del Alignment Research Center (ARC), un'organizzazione di ricerca no-profit dedicata all'allineamento dei futuri sistemi di apprendimento automatico con gli interessi umani, Christiano porta nel ruolo una profonda comprensione delle sfide della sicurezza dell'IA.
Tuttavia, la reazione alla sua nominazione resta mista. Se da un lato ci sono esperti come Divyansh Kaushik che elogiano la scelta per l'elevata qualificazione di Christiano nell'affrontare i rischi dell'intelligenza artificiale, dall'altro vi è preoccupazione per la potenziale perdita di personale del NIST dovuta a disaccordi rispetto alla direzione presa.