I pregiudizi razziali degli algoritmi hanno fatto la loro prima vittima

Del problema del razzismo degli algoritmi – in particolare di quelli di riconoscimento facciale usati anche dalle forze dell’ordine – si parla da anni. E sono ormai numerosi gli studi che hanno dimostrato come questi strumenti hanno un pregiudizio nei confronti delle minoranze etniche dell’Occidente; qanto siano, per farla molto breve, accurati solo quando si tratta di riconoscere persone bianche, soprattutto se uomini.

Questi studi, e le conseguenti prese di posizione politiche, sono stati spesso accolti con scetticismo: come fa un algoritmo che sfrutta la statistica ad avere dei pregiudizi razziali? Ovviamente, i sistemi di deep learning alla base del riconoscimento facciale non sono programmati apposta per essere così. Il problema è semmai che la nostra società è così intrinsecamente (e spesso inconsapevolmente) razzista che non si rende neanche conto di aver incorporato i suoi pregiudizi negli algoritmi che sviluppa.

È esattamente ciò che avviene con gli algoritmi di face recognition, addestrati utilizzando immagini d’archivio – per esempio gli stock delle agenzie fotografiche – composte in larghissima parte da uomini bianchi (anche se la situazione sta gradualmente cambiando). Risultato? Inevitabilmente, gli strumenti di riconoscimento facciale diventeranno molto accurati quando si tratta di riconoscere uomini bianchi, meno accurati quando si tratta di uomini di etnie diverse e per niente accurati quando le persone da riconoscere sono, per esempio, donne nere.

Ma poiché questi algoritmi sono sempre più spesso utilizzati dalle forze dell’ordine nel corso delle loro indagini – che li utilizzano per identificare i sospetti ripresi dalle videocamere di sicurezza – era inevitabile che prima o poi qualcosa andasse storto.

Mi sa che il computer ha sbagliato

Nel gennaio di quest’anno, racconta il New York Times, Robert Julian-Borchak Williams ha ricevuto una chiamata da parte della polizia mentre si trovava nel suo ufficio. Le forze dell’ordine gli intimavano di recarsi alla stazione di Detroit per essere arrestato. Pensando a uno scherzo, Williams ha ignorato la richiesta ed è poi stato arrestato non appena giunto a casa, davanti alla moglie e alle figlie.

L’accusa era di aver rubato alcuni orologi nel negozio di lusso Shinola nell’ottobre 2018, per un totale di 3.800 dollari. Sulla scrivania degli agenti che lo stavano interrogando erano presenti tre fotogrammi delle videocamere di sorveglianza. Non appena guardate le foto sfocate, la reazione di Williams è stata immediata: “Questo non sono io, credete che gli uomini neri siano tutti uguali?”.

Non è detto che gli agenti pensassero una cosa del genere. Molto probabilmente lo ha invece pensato (se così si può dire) l’algoritmo di riconoscimento facciale incaricato di confrontare le immagini salvate dalle videocamere con i database a disposizione delle forze dell’ordine (che non utilizzano solo le foto segnaletiche, ma anche, per esempio, quelle della patente). Subito dopo il furto, le immagini riprese dalle videocamere vennero infatti inviate a un investigatore assoldato dal negozio che, dopo averne selezionate alcune, le spedì alla polizia di Detroit. Qui, cinque mesi dopo, l’addetta all’esame delle immagini digitali ha caricato una “immagine probante nel database. L’algoritmo ha così iniziato a cercare una corrispondenza con il suo archivio di 49 milioni di immagini.

Tra i match ottenuti, c’era anche la foto della patente di Williams. La segnalazione è stata quindi inviata agli agenti che si occupavano del caso, segnalando però come si trattasse soltanto di un “indizio investigativo. Il documento evidenziava infatti fin dall’inizio che la corrispondenza trovata “non era un’identificazione, ma solo un indizio che non poteva condurre a un arresto”. Gli agenti avrebbero dovuto compiere le loro indagini, sentire testimoni, scoprire se Williams indossava uno degli orologi rubati, analizzare le celle telefoniche. Trovare insomma altre prove sulla base di questo indizio.

Evidentemente, invece, si sono affidati al computer. E così, quando nella saletta degli interrogatori Williams ha affiancato i fotogrammi al suo volto – mostrando come si trattasse di una persona diversa – uno degli agenti non ha potuto che commentare: “Mi sa che il computer si è sbagliato”. Nonostante questo, Williams ha dovuto trascorrere 30 ore in prigione e pagare mille dollari di cauzione. Il processo è stato archiviato sei mesi dopo. Le figlie di Williams, invece, sono ancora sotto shock dopo aver assistito all’arresto del padre.

Presunzione di colpevolezza

Da tempo questi algoritmi sono sotto accusa per svariate ragioni: l’uso sempre più diffuso che ne viene fatto, spesso incorporandoli direttamente nelle videocamere disseminate nelle grandi e medie città, rischia di erodere la nostra privacy e instaurare una cultura della sorveglianza. Non solo: la gran quantità di falsi positivi rischia di ribaltare i fondamenti giuridici, facendoci passare dalla presunzione d’innocenza alla presuzione di colpevolezza. Com’è avvenuto nel caso di Williams, insomma, siamo noi a dover dimostrare di essere innocenti, di non essere la persone riprese in video.

Qualcosa però inizia a muoversi: in città come San Francisco, Oakland, Somervile (Massachusetts) e altre il riconoscimento facciale è stato messo al bando. In Europa si è discusso della possibilità di sospenderne l’utilizzo finché non sarà considerato sicuro. Alcuni dei colossi che impiegano questi sistemi – come IBM, Microsoft e Amazon – hanno invece annunciato di aver interrotto o almeno messo in pausa la vendita alle forze dell’ordine dei loro sistemi.

Ma non è abbastanza: “Questi gesti sono per lo più simbolici, dal momento che le aziende citate non sono i principali player del settore”, spiega il Nyt. “La tecnologia usata dai dipartimenti di polizia è fornita da società dai nomi meno noti, come Vigilant Solutions, Cognitec, Nec, Rank One Computing e Clearview AI.

Nel caso che ha visto coinvolti la polizia di Detroit e Robert Julian-Borchak Williams, il software utilizzato sfruttava componenti del gigante giapponese NEC e di Rank One Computing. Due algoritmi che nel 2019 sono stati sottoposti – assieme a un centinaio di altri – a uno studio federale statunitense in cui è stato dimostrato che i sistemi di riconoscimento facciale sono da 10 a 100 volte meno accurati quando devono riconoscere volti afroamericani o asiatici rispetto a volti caucasici.

Era inevitabile che capitasse quanto avvenuto a Williams. Ed è molto probabile che non si sia trattato davvero del primo caso, ma solo del primo di cui siamo venuti a conoscenza: “Stiamo suonando da tempo i campanelli d’allarme sul riconoscimento facciale, in quanto minaccia alla privacy quando funziona e minaccia razzista quando non funziona, ha spiegato Phil Mayor, avvocato della American Civil Liberties Union. “Sappiamo che queste vicende stanno capitando, ma è difficile venirne a conoscenza perché le persone solitamente non capiscono che sono vittime di un riconoscimento facciale che non è andato a buon fine”.

Non si tratta, come si potrebbe pensare, di un problema solo americano. Al contrario: anche in Italia questa tecnologia si sta facendo largo nonostante le voci critiche continuino ad aumentare. Como, per esempio, si sta dotando di videocamere dotate di riconoscimento facciale, così come a Firenze (dove sono state installate mille videocamere) si sperimentano sistemi in grado di riconoscere i “comportamenti sospetti”. Nonostante gli studi, le critiche e adesso anche le testimonianze dirette stiano mostrando come questi sistemi, semplicemente, non funzionino, la loro avanzata sembra inarrestabile. Quanto manca prima che, anche da noi, qualche membro delle etnie più discriminate debba affrontare quanto vissuto da Williams?

The post I pregiudizi razziali degli algoritmi hanno fatto la loro prima vittima appeared first on Wired.