Il lato oscuro dell'IA nel servizio pubblico

L'intelligenza artificiale e l'apprendimento automatico hanno il potenziale per rivoluzionare il nostro modo di vivere e lavorare, ma poiché ci affidiamo sempre più a queste tecnologie, è fondamentale assicurarsi che siano progettate, implementate e monitorate in modo etico. Purtroppo non è sempre così, come dimostrano numerosi esempi del lato oscuro dell'IA in tutto il mondo. Dal sistema di IA distorto utilizzato per prevedere la criminalità a Chicago, alle valutazioni assistenziali basate sull'IA in Australia, fino all'uso dell'IA nel sistema di giustizia penale in Germania, queste tecnologie hanno troppo spesso perpetuato pregiudizi e disuguaglianze esistenti. In questo articolo esamineremo alcuni di questi esempi e discuteremo di ciò che governi e società devono fare per prevenire futuri scandali legati all'IA e ridurre i punti ciechi della società e dei governi.

Quali sono i punti ciechi della società?

I punti ciechi si riferiscono ad aree della società in cui gli individui o i gruppi hanno pregiudizi o non hanno informazioni o comprensione sufficienti. In politica e nella società, questi punti ciechi possono manifestarsi in vari modi, tra cui:

1. Mancanza di rappresentanza: I punti ciechi in politica possono verificarsi quando alcuni gruppi, come le donne, le persone di colore o la comunità LGBTQ+, sono sottorappresentati nel processo decisionale politico e non vengono prese in considerazione le loro prospettive ed esperienze.
2. Pregiudizi inconsci: i punti ciechi della società possono anche derivare da pregiudizi inconsci, in cui gli individui hanno nozioni preconcette su alcuni gruppi che influenzano le loro percezioni e azioni, anche se non ne sono consapevoli.
3. Comprensione limitata: I punti ciechi possono anche derivare da una comprensione limitata di alcuni problemi o esperienze sociali, come la povertà o le disabilità. Questo può portare a politiche o soluzioni inadeguate che non affrontano le cause alla radice di questi problemi.
4. Camere dell'eco: Nell'era dei social media, gli individui sono spesso esposti a informazioni e prospettive che si allineano alle loro convinzioni e ai loro valori, creando "camere dell'eco" in cui è difficile mettere in discussione i propri pregiudizi e presupposti.

Questi punti ciechi nella politica e nella società possono avere conseguenze negative, tra cui il perpetuarsi di disuguaglianze e ingiustizie e l'ostacolare i progressi verso la creazione di una società più inclusiva e giusta. Affrontare questi punti ciechi richiede uno sforzo continuo per aumentare la rappresentanza e la comprensione, sfidare i pregiudizi e le ipotesi e cercare prospettive ed esperienze diverse.

I pericoli di un'adozione non regolamentata dell'intelligenza artificiale: Perpetuare i pregiudizi e amplificare i punti ciechi

L'adozione massiccia dell'IA e dell'apprendimento automatico, così come l'aumento dell'automazione da parte dei governi, potrebbe potenzialmente portare a maggiori punti ciechi nella società. Questo perché i sistemi di IA sono validi solo quanto i dati e gli algoritmi che li guidano, e se questi sistemi non sono progettati e implementati tenendo conto della diversità, dell'equità e della trasparenza, possono perpetuare o amplificare i pregiudizi e le ingiustizie esistenti.

Ad esempio, se un sistema di IA viene addestrato su dati distorti, prenderà decisioni che riflettono tali pregiudizi, portando potenzialmente a risultati diseguali. Inoltre, se il processo decisionale dei sistemi di IA non è trasparente, può essere difficile identificare e affrontare le fonti di pregiudizio, il che può esacerbare ulteriormente i punti ciechi esistenti.

Esempi di IA governativa andata male

Paesi Bassi

Lo scandalo degli assegni familiari (in olandese: toeslagen affaire) nei Paesi Bassi è un esempio di come l'uso dell'IA e dell'apprendimento automatico nel processo decisionale del governo possa portare a punti ciechi della società e a gravi conseguenze.

In questo caso, il governo olandese ha utilizzato un sistema di intelligenza artificiale per individuare le frodi nel programma di assistenza all'infanzia (toeslagenschandaal). Tuttavia, il sistema si basava su presupposti errati e non era stato adeguatamente testato, con la conseguenza che migliaia di famiglie sono state erroneamente accusate di frode e si sono viste togliere i sussidi. Lo scandalo ha provocato un'ampia indignazione da parte dell'opinione pubblica, poiché molte delle famiglie colpite stavano lottando per arrivare a fine mese e non erano in grado di contestare facilmente la decisione.

Lo scandalo degli assegni familiari evidenzia l'importanza di considerare i punti ciechi della società quando si implementano sistemi di intelligenza artificiale e di apprendimento automatico nel processo decisionale del governo. In questo caso, il governo non ha tenuto adeguatamente conto delle esperienze e delle prospettive delle famiglie a basso reddito, dando vita a un sistema che non solo era impreciso, ma aveva anche conseguenze devastanti per le persone coinvolte.

Stati Uniti

Negli Stati Uniti, la città di Chicago ha implementato un sistema di intelligenza artificiale per prevedere i luoghi in cui si sarebbe verificata la criminalità, ma si è scoperto che il sistema aveva un pregiudizio significativo nei confronti delle comunità afroamericane. Ciò ha comportato un aumento della sorveglianza da parte della polizia in quelle aree, causando danni alle comunità e contribuendo a un circolo vizioso di eccesso di polizia e di criminalizzazione. La distorsione nel sistema di IA era dovuta all'uso di dati storici sulla criminalità, che erano distorti per riflettere l'eccesso di polizia nelle comunità afroamericane.

India

In India, l'intelligenza artificiale è stata introdotta per valutare la salute finanziaria delle piccole imprese e determinare l'approvazione dei prestiti, ma si è scoperto che il sistema era prevenuto nei confronti delle imprese di proprietà delle donne e delle persone di bassa estrazione. Ciò ha comportato una disparità di accesso ai finanziamenti e ha perpetuato le disuguaglianze sociali esistenti. La distorsione del sistema di intelligenza artificiale era dovuta a una scarsa rappresentazione di questi gruppi nei dati di addestramento, che portava a una valutazione imprecisa della loro salute finanziaria. 

Regno Unito

Nel Regno Unito è stato introdotto un sistema di intelligenza artificiale per determinare l'ammissibilità alle prestazioni di invalidità, ma si è presto scoperto che il sistema era impreciso e insensibile. Ciò ha fatto sì che a molte persone con disabilità venissero erroneamente negati i sussidi e subissero difficoltà economiche. Le imprecisioni del sistema di IA erano dovute alla mancanza di comprensione delle complesse esigenze delle persone con disabilità e alla dipendenza da dati e processi errati.

Australia

In Australia è stato introdotto un sistema di intelligenza artificiale per determinare l'idoneità dei beneficiari del welfare, ma si è presto scoperto che era eccessivamente punitivo. Ciò ha fatto sì che a molte persone venissero erroneamente negati i sussidi o che questi venissero ridotti, causando notevoli difficoltà finanziarie e stress. L'approccio severo del sistema di IA era dovuto a una mancanza di comprensione della complessità della vita delle persone e a un'eccessiva dipendenza da regole e algoritmi rigidi.

Germania

In Germania, si è scoperto che un sistema di intelligenza artificiale progettato per valutare il rischio di recidiva tra gli imputati penali ha un pregiudizio nei confronti delle persone di colore. Ciò ha comportato una disparità di trattamento all'interno del sistema giudiziario del Paese, dove le persone di colore hanno maggiori probabilità di essere considerate ad alto rischio e di subire condanne più severe o il rifiuto della libertà vigilata rispetto alle loro controparti bianche con precedenti simili.

Canada

In Canada, un sistema di intelligenza artificiale utilizzato per determinare lo status di immigrato e l'ammissibilità ai sussidi è risultato essere largamente impreciso. Ciò ha fatto sì che numerosi individui venissero erroneamente espulsi o privati dei sussidi, con conseguenze devastanti per le loro vite e le loro famiglie.

IA equa per un futuro migliore

L'Intelligenza Artificiale (IA) ha il potenziale per rivoluzionare il modo in cui i governi e le società operano, ma è fondamentale adottare misure per garantire che il suo utilizzo sia equo, accurato e imparziale. Per raggiungere questo obiettivo, è necessario considerare e affrontare diversi fattori chiave.

1. Maggiore trasparenza e responsabilità nello sviluppo e nell'implementazione dei sistemi di IA.
2. Monitoraggio e valutazione continui per garantire che i sistemi di IA funzionino in modo equo e accurato.
3. Rappresentazione di diverse prospettive ed esperienze nello sviluppo e nell'implementazione di sistemi di intelligenza artificiale.
4. Inclusione nel processo di sviluppo di individui di razza, genere e provenienza socio-economica diversi.
5. Affrontare i potenziali pregiudizi ed errori nei sistemi di IA, soprattutto in aree sensibili come la giustizia penale, il welfare e l'occupazione.

Lettura essenziale

Per i lettori interessati ad approfondire l'impatto del lato oscuro dell'intelligenza artificiale, il libro ‘Weapons of Math Destruction’ by Cathy O’Neil is a valuable resource. It highlights the ways in which mathematical models can perpetuate and amplify social inequalities, and provides recommendations for how to create more responsible and equitable use of data and technology.