| Getting your Trinity Audio player ready... |
인공지능과 머신러닝은 우리의 생활과 업무 방식을 혁신할 잠재력을 가지고 있지만, 이러한 기술에 대한 의존도가 높아짐에 따라 윤리적인 방식으로 설계, 구현, 모니터링하는 것이 매우 중요합니다. 안타깝게도 전 세계의 수많은 AI의 어두운 면을 보여주는 사례에서 알 수 있듯이 항상 그런 것은 아닙니다. 시카고에서 범죄를 예측하는 데 사용된 편향된 AI 시스템부터 호주의 AI 기반 복지 평가, 독일의 형사 사법 시스템에서의 AI 사용까지, 이러한 기술은 기존의 편견과 불평등을 영속화시키는 경우가 너무 많습니다. 이 글에서는 이러한 사례 중 몇 가지를 살펴보고 향후 AI로 인한 스캔들을 예방하고 사회적, 정부적 사각지대를 줄이기 위해 정부와 사회가 해야 할 일에 대해 논의해 보겠습니다.
사회적 사각지대란 무엇인가요?
사각지대는 개인이나 집단이 편견을 갖고 있거나 충분한 정보나 이해가 부족한 사회 영역을 의미합니다. 정치와 사회에서 이러한 사각지대는 다음과 같은 다양한 방식으로 나타날 수 있습니다:
- 대표성 부족: 정치의 사각지대는 여성, 유색인종, 성소수자 커뮤니티와 같은 특정 집단이 정치적 의사 결정에서 과소 대표되고 그들의 관점과 경험이 고려되지 않을 때 발생할 수 있습니다.
- 무의식적 편견: 사회적 사각지대는 개인이 인식하지 못하더라도 특정 집단에 대한 선입견을 가지고 인식과 행동을 형성하는 무의식적 편견으로 인해 발생할 수도 있습니다.
- 제한된 이해: 사각지대는 빈곤이나 장애와 같은 특정 사회 문제나 경험에 대한 이해가 제한되어 발생할 수도 있습니다. 이로 인해 이러한 문제의 근본 원인을 해결하지 못하는 부적절한 정책이나 솔루션으로 이어질 수 있습니다.
- 에코 챔버: 소셜 미디어 시대에 개인은 종종 자신의 신념과 가치에 부합하는 정보와 관점에 노출되어 자신의 편견과 가정에 도전하기 어려운 '에코 챔버'를 형성합니다.
정치와 사회에서 이러한 사각지대는 불평등과 불공정을 고착화하고 보다 포용적이고 정의로운 사회를 만들기 위한 진전을 저해하는 등 부정적인 결과를 초래할 수 있습니다. 이러한 사각지대를 해소하려면 대표성과 이해도를 높이고, 편견과 가정에 도전하며, 다양한 관점과 경험을 추구하기 위한 지속적인 노력이 필요합니다.
규제되지 않은 AI 도입의 위험성: 편견의 영속화와 사각지대 증폭
AI와 머신러닝의 대규모 도입과 정부의 자동화 확대는 잠재적으로 사회에서 더 큰 사각지대를 초래할 수 있습니다. AI 시스템은 이를 구동하는 데이터와 알고리즘만큼만 우수하며, 이러한 시스템이 다양성, 공정성, 투명성을 염두에 두고 설계 및 구현되지 않으면 기존의 편견과 불공정을 영속화하거나 증폭시킬 수 있기 때문입니다.
예를 들어, 편향된 데이터로 학습된 AI 시스템은 이러한 편견을 반영한 의사결정을 내릴 수 있으며, 이는 잠재적으로 불공평한 결과를 초래할 수 있습니다. 또한 AI 시스템의 의사결정 과정이 투명하지 않으면 편향의 원인을 파악하고 해결하기 어려워 기존의 사각지대를 더욱 악화시킬 수 있습니다.
정부 AI가 잘못 사용된 사례
네덜란드
네덜란드의 아동수당(네덜란드어: 토슬라겐 어페어) 스캔들은 정부 의사 결정에 AI와 머신러닝을 사용할 경우 사회적 사각지대와 심각한 결과를 초래할 수 있음을 보여주는 사례입니다.
이 사례에서 네덜란드 정부는 아동 수당(토스라겐스찬달) 프로그램의 사기를 탐지하기 위해 AI 시스템을 사용했습니다. 그러나 이 시스템은 잘못된 가정을 기반으로 하고 제대로 테스트되지 않았기 때문에 수천 명의 가족이 사기 혐의로 기소되어 수당을 박탈당하는 사태가 발생했습니다. 이 스캔들로 인해 많은 피해 가족들이 생계를 유지하기 위해 고군분투하고 있었고 이 결정에 쉽게 이의를 제기할 수 없었기 때문에 대중의 분노가 확산되었습니다.
아동수당 스캔들은 정부 의사 결정에 AI와 머신러닝 시스템을 도입할 때 사회적 사각지대를 고려하는 것이 얼마나 중요한지를 강조합니다. 이 사건에서 정부는 저소득 가정의 경험과 관점을 제대로 고려하지 않았고, 그 결과 부정확할 뿐만 아니라 영향을 받는 사람들에게 치명적인 결과를 초래한 시스템을 만들었습니다.
미국
미국 시카고시는 범죄가 발생할 지역을 예측하기 위해 AI 시스템을 도입했지만, 이 시스템이 아프리카계 미국인 커뮤니티에 상당한 편향성을 가지고 있는 것으로 밝혀졌습니다. 이로 인해 해당 지역에 대한 경찰의 감시가 증가했고, 이는 지역 사회에 피해를 입히고 과잉 단속과 과잉 범죄의 악순환을 초래했습니다. AI 시스템의 편향성은 아프리카계 미국인 커뮤니티의 과잉 치안을 반영하도록 왜곡된 과거 범죄 데이터를 사용했기 때문입니다.
인도
인도에서는 중소기업의 재무 건전성을 평가하고 대출 승인을 결정하기 위해 AI를 도입했지만, 이 시스템이 여성과 카스트가 낮은 사람들이 소유한 기업에 편향되어 있다는 사실이 밝혀졌습니다. 이로 인해 자금 조달에 대한 접근성이 불평등해지고 기존의 사회적 불평등이 지속되었습니다. AI 시스템의 편향성은 학습 데이터에 이러한 그룹의 대표성이 부족하여 재무 건전성에 대한 부정확한 평가로 이어졌습니다.
영국
영국에서는 장애 수당 수급 자격을 판단하기 위해 AI 시스템이 도입되었지만, 곧 이 시스템이 부정확하고 민감하지 않다는 사실이 밝혀졌습니다. 이로 인해 많은 장애인이 부당하게 수당을 거부당하고 경제적 어려움을 겪었습니다. AI 시스템의 부정확성은 장애인의 복잡한 요구사항에 대한 이해 부족과 결함이 있는 데이터 및 프로세스에 의존했기 때문입니다.
호주
호주에서는 복지 수혜자의 자격을 판단하기 위해 AI 시스템이 도입되었지만, 곧 지나치게 징벌적이라는 사실이 밝혀졌습니다. 그 결과 많은 사람들이 부당하게 혜택을 거부당하거나 혜택이 삭감되어 심각한 재정적 어려움과 스트레스를 겪게 되었습니다. AI 시스템의 가혹한 접근 방식은 사람들의 복잡한 삶에 대한 이해가 부족하고 엄격한 규칙과 알고리즘에 지나치게 의존했기 때문입니다.
독일
독일에서 형사 피고인의 재범 위험을 평가하기 위해 고안된 인공지능 시스템이 유색인종에 대한 편견을 가지고 있는 것으로 밝혀졌습니다. 이로 인해 유색인종은 비슷한 전과를 가진 백인에 비해 고위험군으로 간주되어 더 가혹한 형을 선고받거나 가석방이 거부될 가능성이 높아지는 등 독일 사법 시스템 내에서 불평등한 대우를 받고 있습니다.
캐나다
캐나다에서 이민 신분과 수당 수급 자격을 결정하는 데 활용된 인공 지능 시스템에 광범위한 부정확성이 있는 것으로 밝혀졌습니다. 이로 인해 수많은 사람들이 부당하게 추방되거나 혜택이 거부되어 그들의 삶과 가족에게 치명적인 결과를 초래했습니다.
더 나은 미래를 위한 공정한 AI
인공지능(AI)은 정부와 사회의 운영 방식을 혁신할 수 있는 잠재력을 가지고 있지만, 공정하고 정확하며 편견 없는 사용을 보장하기 위한 조치를 취하는 것이 중요합니다. 이를 위해서는 몇 가지 핵심 요소를 고려하고 해결해야 합니다.
- AI 시스템 개발 및 배포의 투명성과 책임성 강화.
- AI 시스템이 공정하고 정확하게 작동하는지 확인하기 위한 지속적인 모니터링 및 평가.
- AI 시스템 개발 및 배포에 대한 다양한 관점과 경험을 대표합니다.
- 개발 과정에 다양한 인종, 성별, 사회경제적 배경을 가진 개인을 포함시킵니다.
- 특히 형사 사법, 복지, 고용과 같은 민감한 영역에서 AI 시스템의 잠재적인 편견과 오류를 해결합니다.
필수 읽기
AI의 어두운 면이 미치는 영향에 대해 더 자세히 알아보고 싶은 독자를 위해 다음과 같은 책을 추천합니다. ‘Weapons of Math Destruction’ by Cathy O’Neil is a valuable resource. It highlights the ways in which mathematical models can perpetuate and amplify social inequalities, and provides recommendations for how to create more responsible and equitable use of data and technology.
