El lado oscuro de la IA en la función pública

La inteligencia artificial y el aprendizaje automático tienen el potencial de revolucionar la forma en que vivimos y trabajamos, pero a medida que dependemos cada vez más de estas tecnologías, es crucial que nos aseguremos de que se diseñan, implementan y supervisan de manera ética. Por desgracia, no siempre es así, como demuestran numerosos ejemplos del lado oscuro de la IA en todo el mundo. Desde el sesgado sistema de IA utilizado para predecir la delincuencia en Chicago, pasando por las evaluaciones de bienestar impulsadas por IA en Australia, hasta el uso de IA en el sistema de justicia penal en Alemania, estas tecnologías han perpetuado con demasiada frecuencia los sesgos y las desigualdades existentes. En este artículo examinaremos algunos de estos ejemplos y debatiremos qué deben hacer los gobiernos y las sociedades para evitar futuros escándalos relacionados con la IA y reducir los puntos ciegos sociales y gubernamentales.

¿Cuáles son los puntos ciegos de la sociedad?

Los puntos ciegos se refieren a áreas de la sociedad en las que individuos o grupos tienen prejuicios o carecen de suficiente información o comprensión. En la política y la sociedad, estos puntos ciegos pueden manifestarse de varias maneras, entre ellas:

1. Falta de representación: Los puntos ciegos en política pueden producirse cuando determinados grupos, como las mujeres, las personas de color o la comunidad LGBTQ+, están infrarrepresentados en la toma de decisiones políticas y no se tienen en cuenta sus perspectivas y experiencias.
2. Prejuicios inconscientes: Los puntos ciegos de la sociedad también pueden deberse a prejuicios inconscientes, en los que las personas tienen ideas preconcebidas sobre determinados grupos que determinan sus percepciones y acciones, aunque no sean conscientes de ello.
3. Comprensión limitada: Los puntos ciegos también pueden deberse a una comprensión limitada de determinados problemas o experiencias sociales, como la pobreza o las discapacidades. Esto puede dar lugar a políticas o soluciones inadecuadas que no abordan las causas profundas de estos problemas.
4. Cámaras de eco: En la era de las redes sociales, las personas suelen estar expuestas a información y perspectivas que coinciden con sus propias creencias y valores, lo que crea "cámaras de eco" en las que es difícil cuestionar los propios prejuicios y suposiciones.

Estos puntos ciegos en la política y la sociedad pueden tener consecuencias negativas, como perpetuar la desigualdad y la injusticia, y obstaculizar el avance hacia la creación de una sociedad más integradora y justa. Abordar estos puntos ciegos requiere un esfuerzo continuo para aumentar la representación y la comprensión, cuestionar los prejuicios y las suposiciones, y buscar perspectivas y experiencias diversas.

Los peligros de la adopción no regulada de la IA: Perpetuar los prejuicios y amplificar los puntos ciegos

La adopción masiva de la IA y el aprendizaje automático, así como la creciente automatización por parte de los gobiernos, podrían dar lugar a mayores puntos ciegos en la sociedad. Esto se debe a que los sistemas de IA son tan buenos como los datos y algoritmos que los impulsan, y si estos sistemas no se diseñan e implementan teniendo en cuenta la diversidad, la equidad y la transparencia, pueden perpetuar o amplificar los sesgos y las injusticias existentes.

Por ejemplo, si un sistema de IA se entrena con datos sesgados, tomará decisiones que reflejen esos sesgos, lo que puede conducir a resultados desiguales. Además, si el proceso de toma de decisiones de los sistemas de IA no es transparente, puede ser difícil identificar y abordar las fuentes de sesgo, lo que puede exacerbar aún más los puntos ciegos existentes.

Ejemplos de IA gubernamental malograda

Países Bajos

El escándalo de las prestaciones por hijos a cargo en los Países Bajos es un ejemplo de cómo el uso de la IA y el aprendizaje automático en la toma de decisiones gubernamentales puede llevar a puntos ciegos sociales y a graves consecuencias.

En este caso, el gobierno neerlandés utilizó un sistema de IA para detectar fraudes en el programa de prestaciones por hijos a cargo (toeslagenschandaal). Sin embargo, el sistema se basaba en suposiciones incorrectas y no se probó adecuadamente, lo que provocó que miles de familias fueran acusadas erróneamente de fraude y se les retiraran las prestaciones. El escándalo provocó una gran indignación pública, ya que muchas de las familias afectadas tenían dificultades para llegar a fin de mes y no podían impugnar fácilmente la decisión.

El escándalo de las prestaciones por hijos a cargo pone de relieve la importancia de tener en cuenta los puntos ciegos de la sociedad a la hora de aplicar sistemas de IA y aprendizaje automático en la toma de decisiones gubernamentales. En este caso, el gobierno no tuvo debidamente en cuenta las experiencias y perspectivas de las familias con bajos ingresos, lo que dio lugar a un sistema que no solo era inexacto, sino que también tuvo consecuencias devastadoras para los afectados.

Estados Unidos

En Estados Unidos, la ciudad de Chicago implantó un sistema de IA para predecir dónde se produciría la delincuencia, pero se descubrió que el sistema tenía un sesgo significativo contra las comunidades afroamericanas. El resultado fue un aumento de la vigilancia policial en esas zonas, lo que perjudicó a las comunidades y contribuyó a un círculo vicioso de exceso de vigilancia y de criminalización. El sesgo del sistema de IA se debía al uso de datos históricos sobre delincuencia, que estaban sesgados para reflejar el exceso de vigilancia en las comunidades afroamericanas.

India

En la India se introdujo la IA para evaluar la salud financiera de las pequeñas empresas y determinar la aprobación de préstamos, pero se descubrió que el sistema estaba sesgado en contra de las empresas propiedad de mujeres y personas de casta baja. Esto provocó un acceso desigual a la financiación y perpetuó las desigualdades sociales existentes. El sesgo del sistema de IA se debía a la falta de representación de estos grupos en los datos de entrenamiento, lo que conducía a una evaluación inexacta de su salud financiera. 

Reino Unido

En el Reino Unido se introdujo un sistema de IA para determinar el derecho a prestaciones por discapacidad, pero pronto se descubrió que el sistema era inexacto e insensible. Esto llevó a que a muchas personas con discapacidad se les denegaran erróneamente las prestaciones y sufrieran penurias económicas. Las imprecisiones del sistema de IA se debían a la falta de comprensión de las complejas necesidades de las personas con discapacidad y a la dependencia de datos y procesos defectuosos.

Australia

En Australia se introdujo un sistema de IA para determinar los requisitos de los beneficiarios de prestaciones sociales, pero pronto se descubrió que era excesivamente punitivo. El resultado fue que a muchas personas se les denegaron o redujeron erróneamente las prestaciones, lo que les causó importantes dificultades económicas y estrés. La dureza del sistema de IA se debió a una falta de comprensión de la complejidad de la vida de las personas y a una excesiva dependencia de normas y algoritmos estrictos.

Alemania

En Alemania, se ha descubierto que un sistema de inteligencia artificial diseñado para evaluar el riesgo de reincidencia entre los acusados de delitos tiene un sesgo en contra de las personas de color. Esto ha dado lugar a un trato desigual en el sistema judicial del país, donde las personas de color tienen más probabilidades de ser consideradas de alto riesgo y enfrentarse a condenas más duras o a la denegación de la libertad condicional en comparación con sus homólogos blancos con antecedentes similares.

Canadá

En Canadá, se descubrió que un sistema de inteligencia artificial utilizado para determinar el estatus migratorio y la elegibilidad para recibir prestaciones presentaba inexactitudes generalizadas. Numerosas personas fueron deportadas por error o se les denegaron prestaciones, lo que tuvo consecuencias devastadoras para sus vidas y sus familias.

IA justa para un futuro mejor

La Inteligencia Artificial (IA) tiene el potencial de revolucionar la forma en que operan los gobiernos y las sociedades, pero es crucial que se tomen medidas para garantizar que su uso sea justo, preciso e imparcial. Para lograrlo, deben considerarse y abordarse varios factores clave.

1. Mayor transparencia y responsabilidad en el desarrollo y despliegue de los sistemas de IA.
2. Seguimiento y evaluación continuos para garantizar que los sistemas de IA funcionan de forma justa y precisa.
3. Representación de diversas perspectivas y experiencias en el desarrollo y despliegue de sistemas de IA.
4. Inclusión en el proceso de desarrollo de personas de distintas razas, géneros y entornos socioeconómicos.
5. Abordar los posibles sesgos y errores de los sistemas de IA, especialmente en ámbitos delicados como la justicia penal, la asistencia social y el empleo.

Lecturas imprescindibles

Para los lectores interesados en profundizar en el impacto del lado oscuro de la IA, el libro ‘Weapons of Math Destruction’ by Cathy O’Neil is a valuable resource. It highlights the ways in which mathematical models can perpetuate and amplify social inequalities, and provides recommendations for how to create more responsible and equitable use of data and technology.