Gli algoritmi che ti mandano in prigione, o come gli USA stanno diventando un romanzo distopico

Negli USA gli algoritmi di intelligenza artificiale stabiliscono chi deve andare in galera, ma sbagliano.

Avatar di Valerio Porcu

a cura di Valerio Porcu

Senior Editor

I sistemi di intelligenza artificiale come strumenti per il sistema giudiziario stanno producendo problemi di discriminazione negli Stati Uniti. Ma giudici e procuratori continuano a usarli, e in molti altri paesi i sistemi predittivi si stanno facendo strada nelle aule e tra le forze di polizia.

Come racconta Karen Hao su MIT Technology Review, infatti, il sistema giudiziario statunitense già si avvale di algoritmi predittivi, almeno per due azioni. La prima è per indirizzare le pattuglie, e la seconda per stabilire quanto un accusato potrebbe diventare recidivo. Informazione che poi il giudice usa per stabilire la pena. Inoltre vengono usati sistemi di riconoscimento facciale per identificare i sospetti. L'introduzione di questi strumenti è una conseguenza della "immensa pressione per ridurre l'affollamento carcerario, senza rischiare allo stesso tempo un aumento del crimine".

Uno scenario fantascientifico, che rimanda a opere come Minority Report, ma invece sono tecnologie già usate più o meno quotidianamente. E questo nonostante siano foriere di problemi anche molto seri. Ci sono infatti diverse ricerche che dimostrano come i sistemi di Intelligenza Artificiale non siano ancora pronti per usi di questo genere.

Il riconoscimento facciale, per esempio, non è ancora abbastanza preciso: è capitato che un parlamentare statunitense fosse scambiato per un noto criminale (due volti ben conosciuti, entrambi afroamericani), ed è successo che una donna fosse accusata di attraversare fuori dalle strisce quando invece davanti alle telecamere era passato un autobus con un cartello pubblicitario.

Ma soprattutto è noto il problema del pregiudizio dovuto ai dataset. Dato che gli algoritmi si nutrono di dati storici, e che questi dati contengono pregiudizi verso uno o più gruppi sociali, va a finire che gli algoritmi ripropongono gli stessi pregiudizi in modo acritico e aprioristico.

Il punto più problematico è la valutazione del rischio, cioè l'idea di affidarsi a un algoritmo per determinare se un accusato diventerà recidivo. Per fare la sua valutazione l'algoritmo viene addestrato con dati storici. Dati secondo cui in certe aree geografiche ci sono più criminali che altrove, o che certi gruppi etnici siano più inclini a violare la legge. I dati però non riflettono la realtà, ma solo l'atteggiamento umano o la conseguenza di condizioni sociali.

Diciamo che i lillipuziani vivono in gran parte sotto la soglia di povertà. Se capita che ci siano molti criminali lillipuziani, dunque, non si può dedurre che ciò sia dovuto alla loro etnia, ma bisogna tenere in conto anche la condizione socioeconomica. Non si può dire che i lillipuziani sono tutti criminali, ma nemmeno che lo siano tutti i poveri; è necessario affrontare la complessità, con considerazioni ad hoc caso per caso.

Sono considerazioni che però gli algoritmi non fanno; anzi, nota Hao, commettono spesso l'errore di trasformare una semplice correlazione in qualcosa di rilevante e rappresentativo. Potrebbero dedurre che visto che Tom è povero e ha taccheggiato un negozio, allora Tom molto probabilmente finirà per diventare un criminale incallito, e consiglierà di imprigionarlo per stare tranquilli.

Si ottiene così il risultato contrario: affidandosi a una macchina si spera di ridurre il peso dei pregiudizi umani del giudice, ma si finisce per aggiungere quelli della macchina stessa - che sono comunque di origine umana. Non accetteremmo mai da un giudice (né da nessun altro) il principio secondo cui "i poveri sono tutti criminali" o sue varianti generalmente incentrate su una minoranza. Eppure stiamo cominciando ad accettare posizioni simili dalle macchine.

"Come risultato", scrive Hao, "l'algoritmo potrebbe amplificare e perpetrare pregiudizi integrati, e generare ancora più dati alterati alimentando un circolo vizioso. E siccome la maggior parte degli algoritmi è chiusa, è impossibile indagare sulle loro decisioni o dar loro delle responsabilità". Ed ecco perché secondo alcuni osservatori i sistemi di analisi dei rischi basati sui dati sono "un metodo per legittimare e sanitizzare i regimi oppressivi".

Al momento, tuttavia, non sembra che ci sia l'intenzione di rinunciare agli algoritmi. Anzi, sembra piuttosto probabile una loro diffusione anche nel resto del mondo. Da questo punto di vista l'Europa potrebbe rappresentare un'area a maggior tutela, grazie al GDPR. Le nuove norme impongono infatti un uso più attento dei dati e che gli algoritmi possano spiegare le proprie decisioni - limiti che in teoria mettono i cittadini al riparo da situazioni distopiche. In teoria.