Le côté obscur de l'IA dans le service public

L'intelligence artificielle et l'apprentissage automatique ont le potentiel de révolutionner notre façon de vivre et de travailler, mais comme nous nous appuyons de plus en plus sur ces technologies, il est crucial de s'assurer qu'elles sont conçues, mises en œuvre et surveillées de manière éthique. Malheureusement, ce n'est pas toujours le cas, comme le montrent de nombreux exemples du côté obscur de l'IA dans le monde entier. Du système d'IA biaisé utilisé pour prédire la criminalité à Chicago aux évaluations de l'aide sociale alimentées par l'IA en Australie, en passant par l'utilisation de l'IA dans le système de justice pénale en Allemagne, ces technologies ont trop souvent perpétué les préjugés et les inégalités existants. Dans cet article, nous examinerons certains de ces exemples et discuterons de ce que les gouvernements et les sociétés doivent faire pour prévenir les futurs scandales liés à l'IA et réduire les angles morts sociétaux et gouvernementaux.

Quels sont les angles morts de la société ?

Les angles morts désignent les domaines de la société dans lesquels les individus ou les groupes ont des préjugés ou ne disposent pas d'informations ou de connaissances suffisantes. En politique et dans la société, ces points aveugles peuvent se manifester de plusieurs façons, notamment :

1. Manque de représentation : Les angles morts en politique peuvent se produire lorsque certains groupes, comme les femmes, les personnes de couleur ou la communauté LGBTQ+, sont sous-représentés dans la prise de décision politique et que leurs perspectives et expériences ne sont pas prises en compte.
2. Préjugés inconscients : les angles morts de la société peuvent également résulter de préjugés inconscients, c'est-à-dire que les individus ont des idées préconçues sur certains groupes qui façonnent leurs perceptions et leurs actions, même s'ils n'en sont pas conscients.
3. Une compréhension limitée : Les points aveugles peuvent également résulter d'une compréhension limitée de certaines questions ou expériences sociales, telles que la pauvreté ou les handicaps. Cela peut conduire à des politiques ou des solutions inadéquates qui ne s'attaquent pas aux causes profondes de ces problèmes.
4. Chambres d'écho : À l'ère des médias sociaux, les individus sont souvent exposés à des informations et à des perspectives qui s'alignent sur leurs propres croyances et valeurs, créant ainsi des "chambres d'écho" où il est difficile de remettre en question ses propres préjugés et hypothèses.

Ces angles morts dans la politique et la société peuvent avoir des conséquences négatives, notamment en perpétuant les inégalités et l'injustice et en entravant les progrès vers la création d'une société plus inclusive et plus juste. S'attaquer à ces points aveugles exige un effort continu pour accroître la représentation et la compréhension, remettre en question les préjugés et les hypothèses, et rechercher des perspectives et des expériences diverses.

Les dangers de l'adoption non réglementée de l'IA : Perpétuer les préjugés et amplifier les points aveugles

L'adoption massive de l'IA et de l'apprentissage automatique, ainsi que l'automatisation croissante par les gouvernements, pourraient potentiellement conduire à des angles morts plus importants dans la société. En effet, les systèmes d'IA ne sont aussi bons que les données et les algorithmes qui les alimentent, et si ces systèmes ne sont pas conçus et mis en œuvre en tenant compte de la diversité, de l'équité et de la transparence, ils peuvent perpétuer ou amplifier les préjugés et les injustices existants.

Par exemple, si un système d'IA est formé sur des données biaisées, il prendra des décisions qui reflètent ces biais, ce qui peut conduire à des résultats inégaux. En outre, si le processus décisionnel des systèmes d'IA n'est pas transparent, il peut être difficile d'identifier et de traiter les sources de biais, ce qui peut exacerber les angles morts existants.

Exemples d'IA gouvernementale qui tourne mal

Pays-Bas

Le scandale des allocations familiales (en néerlandais : toeslagen affaire) aux Pays-Bas est un exemple de la façon dont l'utilisation de l'IA et de l'apprentissage automatique dans la prise de décision gouvernementale peut entraîner des angles morts sociétaux et de graves conséquences.

Dans cette affaire, le gouvernement néerlandais a utilisé un système d'IA pour détecter les fraudes dans le programme d'allocations familiales (toeslagenschandaal). Cependant, le système reposait sur des hypothèses erronées et n'a pas été correctement testé, ce qui a conduit à ce que des milliers de familles soient accusées à tort de fraude et se voient retirer leurs allocations. Le scandale a suscité l'indignation générale du public, car de nombreuses familles concernées avaient du mal à joindre les deux bouts et n'étaient pas en mesure de contester facilement la décision.

Le scandale des allocations familiales souligne l'importance de tenir compte des angles morts de la société lors de la mise en œuvre de systèmes d'IA et d'apprentissage automatique dans le processus décisionnel du gouvernement. Dans ce cas, le gouvernement n'a pas correctement pris en compte les expériences et les perspectives des familles à faible revenu, ce qui a conduit à un système non seulement inexact, mais qui a également eu des conséquences dévastatrices pour les personnes concernées.

États-Unis

Aux États-Unis, la ville de Chicago a mis en place un système d'IA pour prédire où la criminalité se produirait, mais il s'est avéré que le système avait un parti pris important contre les communautés afro-américaines. Il en a résulté une surveillance policière accrue dans ces zones, ce qui a porté préjudice aux communautés et contribué à un cercle vicieux de surpolice et de surcriminalisation. La partialité du système d'IA était due à l'utilisation de données historiques sur la criminalité, qui étaient faussées de manière à refléter une surpolice dans les communautés afro-américaines.

Inde

En Inde, l'IA a été introduite pour évaluer la santé financière des petites entreprises et déterminer les approbations de prêts, mais on a découvert que le système était biaisé à l'encontre des entreprises appartenant aux femmes et aux personnes de basse caste. Cela a entraîné un accès inégal au financement et a perpétué les inégalités sociétales existantes. Le biais du système d'IA était dû à un manque de représentation de ces groupes dans les données de formation, ce qui conduisait à une évaluation inexacte de leur santé financière. 

Royaume-Uni

Au Royaume-Uni, un système d'IA a été mis en place pour déterminer l'admissibilité aux prestations d'invalidité, mais on a rapidement découvert que le système était inexact et insensible. De nombreuses personnes handicapées se sont donc vu refuser à tort des prestations et ont subi des difficultés financières. Les inexactitudes du système d'IA étaient dues à un manque de compréhension des besoins complexes des personnes handicapées et à l'utilisation de données et de processus erronés.

Australie

En Australie, un système d'IA a été mis en place pour déterminer l'éligibilité des bénéficiaires de l'aide sociale, mais on a vite découvert qu'il était trop punitif. De nombreuses personnes se sont vu refuser à tort des prestations ou les ont réduites, ce qui a entraîné des difficultés financières et un stress importants. L'approche sévère du système d'IA était due à un manque de compréhension de la complexité de la vie des gens et à une dépendance excessive à l'égard de règles et d'algorithmes stricts.

Allemagne

En Allemagne, on a découvert qu'un système d'intelligence artificielle conçu pour évaluer le risque de récidive chez les prévenus avait un préjugé défavorable envers les personnes de couleur. Cela a entraîné une inégalité de traitement au sein du système judiciaire du pays, où les personnes de couleur sont plus susceptibles d'être jugées à haut risque et de se voir infliger des peines plus sévères ou refuser la libération conditionnelle par rapport à leurs homologues blancs ayant un casier judiciaire similaire.

Canada

Au Canada, il s'est avéré qu'un système d'intelligence artificielle utilisé pour déterminer le statut d'immigrant et l'admissibilité aux prestations comportait de nombreuses inexactitudes. De nombreuses personnes ont ainsi été expulsées à tort ou se sont vu refuser des prestations, ce qui a eu des conséquences dévastatrices sur leur vie et leur famille.

Une IA équitable pour un avenir meilleur

L'intelligence artificielle (IA) a le potentiel de révolutionner le mode de fonctionnement des gouvernements et des sociétés, mais il est crucial que des mesures soient prises pour garantir que son utilisation est juste, précise et impartiale. Pour y parvenir, plusieurs facteurs clés doivent être pris en compte et traités.

1. Une transparence et une responsabilité accrues dans le développement et le déploiement des systèmes d'IA.
2. Un suivi et une évaluation continus pour garantir que les systèmes d'IA fonctionnent de manière équitable et précise.
3. Représentation de diverses perspectives et expériences dans le développement et le déploiement de systèmes d'IA.
4. L'inclusion de personnes de races, de sexes et de milieux socio-économiques différents dans le processus de développement.
5. S'attaquer aux biais et erreurs potentiels des systèmes d'IA, en particulier dans des domaines sensibles tels que la justice pénale, la protection sociale et l'emploi.

Lecture essentielle

Pour les lecteurs désireux d'explorer plus avant l'impact du côté obscur de l'IA, le livre ‘Weapons of Math Destruction’ by Cathy O’Neil is a valuable resource. It highlights the ways in which mathematical models can perpetuate and amplify social inequalities, and provides recommendations for how to create more responsible and equitable use of data and technology.