- AIR: Cosa intendiamo per bias – soprattutto nel contesto tecnologico digitale – e di conseguenza, cosa significa la formula gender bias applicata ad algoritmi e intelligenza artificiale?
- DH: Il termine bias è un termine profondamente tecnico, utilizzato in psicologia, statistica, informatica e moltissime altre discipline e dipendente dal contesto, tanto che è difficile tradurlo in italiano. La traduzione italiana “pregiudizio” tende a tralasciare un significato ben più ampio. Il bias, infatti, oltre a indicare comunemente un pregiudizio generalizzato, indica un errore sistematico. Per questo un concetto molto adatto a descrivere tutti gli stereotipi di genere. Con gender bias si indica infatti un errore di classificazione (di matrice sociale) che porta a trattare le persone in modo iniquo e diverso in base al genere di appartenenza, e che colpisce soprattutto le donne (e i generi diversi da quello maschile dalla nascita).
Nel caso dei bias algoritmici, interessante pensare come lo stesso termine venga utilizzato sia come in questo caso per indicare dei pregiudizi perpetrati dagli algoritmi, sia dall’informatica per descrivere una stima non corretta o delle classificazioni problematiche. Si tratta di ciò che un algoritmo svolge quotidianamente: stimare e classificare. Ovviamente non sempre ci prende, a volte sbaglia, niente di grave verrebbe da pensare. Ma cosa significa oggi un errore algoritmico? E' questo il punto.
In un momento storico in cui affidiamo miliardi di decisioni ad algoritmi (vengono usati dalla polizia, dai governi, dalle aziende per erogare servizi “personalizzati” e concedere o meno dei servizi in base all’affidabilità che secondo l’algoritmo abbiamo come individui), una loro classificazione sbagliata causa danni reali e importanti. Basti pensare al fatto che il mercato del lavoro, soprattutto quello tecnologico, non abituato storicamente (per colpa di discriminazioni sociali) ad assumere donne; pertanto, quando si assegna a un algoritmo il compito di scremare dei CV per scegliere dei candidati, come ha fatto Amazon qualche anno fa, succede che l’algoritmo scarti tutte le donne.
Questo ciò che intendo con errore sistematico.- AIR: In quali contesti si applica maggiormente questo squilibrio di genere in conseguenza a tali pregiudizi di base?- DH: Gli effetti si notano in qualsiasi contesto in cui vengono impiegati processi algoritmici in supporto alle decisioni umane. L’ambito sanitario, quello lavorativo, quello bancario, la sicurezza e il controllo, l’attraversamento dei confini, sono tutti contesti altamente automatizzati. In base a una decisione algoritmica si può concedere o meno un prestito, per esempio, oppure un passaporto.
Le macchine non solo riflettono le nostre discriminazioni sociali. Purtroppo hanno anche il potere di amplificarle. Molto spesso, la colpa risiede nella scelta dei dati su cui addestrare l’algoritmo, che idealmente dovrebbero cambiare di volta in volta, in base al compito che il sistema deve svolgere. Molte volte però non così, e per motivi pratici e di convenienza vengono usati gli stessi dataset per fini completamente diversi. Questo crea squilibri incredibili. Questi campioni di big data, poi, molto spesso presentano un problema: mancano di dati specifici di genere.
L’errore commesso da Amazon nell’impiegare un algoritmo per reclutare nuovi dipendenti stato quello di addestrarlo sui dati storici: il sistema, in questo modo, ha imparato che siccome negli anni l’azienda ha assunto quasi solo uomini, doveva essere di nuovo così. I dati storici però hanno un grande limite: non percepiscono il progresso, non ne hanno la “sensibilità”. La quantità di dati utilizzati per formare il set di dati fondamentale per avere una rappresentazione accurata e diversificata della popolazione.
Per essere abbastanza rappresentativo, un algoritmo dovrebbe essere addestrato su enormi quantità di dati, che andrebbero selezionati secondo specifici criteri di inclusività. Se ci immaginiamo un algoritmo che viene creato per fare predizioni di interesse pubblico, e che quindi verrà applicato a tutta la popolazione di una certa area, capiamo che i dati su cui viene addestrato dovrebbero rappresentare la pluralità tipica della nostra società, composta in ugual modo da donne e uomini, altri generi non binari, di diversa provenienza, età e appartenenza sociale.
Troppe volte si presta poca attenzione ai dati e a chi appartengono, e soprattutto alla loro enorme potenzialità.- AIR: Perché è così difficile controllare gli algoritmi e relativi bias? Cosa intendiamo per black box?- DH: Ci sono varie ragioni per cui l'output di una decisione algoritmica può risultare discriminatorio – pertanto i motivi di difficoltà nel rilevare questi bias sono molteplici. Innanzitutto, perché, trattandosi di pregiudizi sociali, possono essere nella mente di chiunque sia coinvolto in un qualsiasi momento della creazione di un algoritmo.
Un algoritmo (parliamo di casi complessi, come quello del machine learning) viene ideato, pensato, e poi programmato e addestrato su dei dati. Le fasi che portano alla sua creazione sono quindi tante e altamente complesse. Sono stati studiati e individuati vari tipi di bias in base al momento del processo in cui si originano. Ci sono i bias storici, di training, di focus, quelli di risultato... Ognuno di questi la diretta conseguenza di una scelta di design. A incorporare un bias nel processo algoritmico potrebbe essere qualsiasi essere umano (al 70% sono uomini) coinvolto nella sua creazione, e quindi programmatori, designer, ideatori e così via...
Queste persone possono inconsapevolmente introdurre uno stereotipo all’interno della macchina, perché i pensieri e le considerazioni personali di chi crea questi pezzi di tecnologia incide inevitabilmente sul risultato finale. Anche se parliamo di intelligenza artificiale, vale la pena sottolineare che siamo ancora noi a crearla.- AIR: Non solo genere: quali altri gruppi sociali subiscono discriminazioni tecnologiche?- DH: Accade esattamente ciò che accade nella realtà, essendo la tecnologia un diretto riflesso di essa.
Quindi, se le donne subiscono discriminazioni, figuriamoci uomini e donne transessuali, o chiunque si riconosca in un’identità diversa dal binarismo di genere. E poi, ovviamente, ogni altra forma di discriminazione viene ingigantita: soprattutto nei confronti delle persone di colore, vittime di strali digitali ancor più che le donne, persone svantaggiate economicamente, rifugiati, immigrati... Un esempio perfetto è quello della sorveglianza biometrica: tecnologia di intelligenza artificiale che consiste nel collegare database che contengono miliardi di dati e informazioni con un sistema di riconoscimento dei volti, o dell’iride, o della voce.
Ci sono diversi autorevoli studi che dimostrano come questi sistemi falliscano nel riconoscere le persone di colore, sia nel caso dei volti sia in quello delle voci. Basta cercare “racial bias AI” e si trovano infiniti risultati. Stiamo parlando di percentuali di errore altissime: 50, 60, 70%. Addirittura, più del 90%, se pensiamo all’esempio della polizia di Detroit, che quest’anno ha arrestato due uomini solo perché in entrambi i casi un sistema di riconoscimento facciale aveva suggerito un match sbagliato tra i loro volti catturati in tempo reale da una videocamera e le foto segnaletiche in dotazione alla polizia.
Prima di arrestarli, nessun essere umano si è preoccupato di verificare l'attendibilità di quel match, e ora uno dei due uomini ha fatto causa alla polizia: nel frattempo ha perso il lavoro e, a quanto racconta lui stesso, anche la reputazione.di Alessandro Isidoro RE
La rubrica “Le ultime della sera” è a cura della Redazione Amici di Penna. Per contatti, suggerimenti, articoli e altro scrivete a: amicidipenna2020@gmail.com
