公共サービスにおけるAIの暗部

人工知能と機械学習は、私たちの生活や仕事の仕方を大きく変える可能性を秘めています。しかし、これらのテクノロジーへの依存度が高まる中、倫理的な方法で設計、実装、監視されていることを確認することが極めて重要です。残念ながら、これは常にそうであるとは限りません。シカゴで犯罪予測に使われた偏ったAIシステムから、オーストラリアでのAIによる福祉評価、ドイツでの刑事司法制度におけるAIの利用まで、これらのテクノロジーはあまりにも頻繁に既存の偏見や不平等を永続させてきたのです。今回は、こうした事例のいくつかを検証し、今後のAIによる不祥事を防ぎ、社会や政府の盲点を減らすために、政府や社会が何をすべきかを議論します。

社会的な盲点とは？

盲点とは、社会の中で個人や集団が偏見を持ち、情報や理解が十分でない部分を指します。政治や社会では、このような盲点が様々な形で現れます。

1. 代表性の欠如政治における盲点は、女性、有色人種、LGBTQ+コミュニティなど、特定の集団が政治的意思決定において十分に代表されておらず、彼らの視点や経験が考慮されていない場合に生じることがあります。
2. 無意識の偏見：社会的盲点は、無意識の偏見から生じることもあります。これは、個人が意識していなくても、特定のグループに対して先入観を持ち、それが彼らの認識や行動を形成しているというものです。
3. 限られた理解。盲点は、貧困や障害など、特定の社会問題や経験に対する限定的な理解から生じることもあります。その結果、不適切な政策や解決策が生まれ、これらの問題の根本的な原因に対処できない可能性があります。
4. エコーチェンバーソーシャルメディアの時代には、自分の信念や価値観に近い情報や考え方に接することが多く、自分の偏見や思い込みに挑戦することが難しい「エコーチェンバー（反響室）」を作り出してしまうことがあります。

政治や社会におけるこうした盲点は、不平等や不公正を永続させ、より包括的で公正な社会の実現に向けた前進を妨げるなど、否定的な結果をもたらす可能性があります。これらの盲点に対処するためには、代表性と理解を高め、偏見と仮定に挑戦し、多様な視点と経験を求める継続的な努力が必要です。

無秩序なAI導入の危険性。バイアスの永続化と死角の増幅

AIや機械学習の大量導入や、政府による自動化の進展は、社会の盲点を大きくする可能性があります。なぜなら、AIシステムは、それを動かすデータとアルゴリズムがあってこそのものであり、これらのシステムが多様性、公平性、透明性を考慮して設計・実装されていなければ、既存の偏見や不正を永続させたり増幅させたりする可能性があるからです。

例えば、AIシステムが偏ったデータで学習した場合、その偏りを反映した意思決定を行うことになり、不平等な結果につながる可能性があります。さらに、AIシステムの意思決定プロセスが透明でない場合、偏りの原因を特定し対処することが困難となり、既存の盲点をさらに悪化させる可能性があります。

政府のAIが失敗した例

オランダ

オランダで起きた児童手当（オランダ語：toeslagen affaire）スキャンダルは、政府の意思決定にAIや機械学習を利用することで、社会の盲点を突き、深刻な事態を招いた例といえるでしょう。

この事例では、オランダ政府が児童手当（toeslagenschandaal）プログラムの不正を検出するためにAIシステムを使用しました。しかし、このシステムは誤った仮定に基づき、適切なテストが行われなかったため、数千世帯が不正の疑いをかけられ、給付金を取り上げられるという事態に発展しました。このスキャンダルは、被害を受けた家庭の多くが生活苦にあえいでおり、その決定に容易に異議を唱えることができなかったため、広く世間を騒がせる結果となった。

児童手当のスキャンダルは、政府の意思決定にAIや機械学習システムを導入する際に、社会の盲点を考慮することの重要性を浮き彫りにしています。このケースでは、政府が低所得者層の経験や視点を適切に考慮しなかったため、不正確であるだけでなく、影響を受けた人々に壊滅的な結果をもたらすシステムになってしまったのです。

米国

米国では、シカゴ市が犯罪発生場所を予測するAIシステムを導入しましたが、そのシステムがアフリカ系アメリカ人のコミュニティに対して著しい偏りをもっていることが判明しました。その結果、それらの地域で警察の監視が強化され、コミュニティに被害を与え、過剰な取り締まりと過剰な犯罪の悪循環を助長することになった。AIシステムの偏りは、過去の犯罪データを使用したためで、アフリカ系アメリカ人コミュニティでの過剰な取り締まりを反映するように偏っていたのです。

インド

インドでは、中小企業の財務状況を評価し、融資の可否を判断するためにAIを導入しましたが、女性や低カーストの人が経営する企業に偏ったシステムであることが判明しました。その結果、融資へのアクセスが不平等になり、既存の社会的不平等を永続させることになったのです。AIシステムの偏りは、学習データにこれらのグループが含まれていなかったため、財務状態の評価が不正確になっていたことが原因でした。 

イギリス

イギリスでは、障害者手当の受給資格を判断するためにAIシステムが導入されましたが、すぐにこのシステムが不正確で無神経であることが判明しました。その結果、多くの障害者が誤って給付を拒否され、経済的な困難に見舞われることになりました。AIシステムの不正確さは、障害者の複雑なニーズに対する理解不足と、欠陥のあるデータとプロセスへの依存が原因でした。

オーストラリア

オーストラリアでは、生活保護受給者の受給資格を判定するためにAIシステムが導入されましたが、すぐに過剰な懲罰的なシステムであることが発覚しました。その結果、多くの人が誤って受給を拒否されたり、受給額を減らされたりし、大きな経済的困難とストレスを抱えることになったのです。AIシステムの厳しいアプローチは、人々の複雑な生活に対する理解不足と、厳格なルールやアルゴリズムへの過度の依存が原因でした。

ドイツ

ドイツでは、刑事被告人の再犯リスクを評価するために設計された人工知能システムが、有色人種に対して偏りをもっていることが発覚しました。この結果、同国の司法制度の中で不平等な扱いを受けることになり、有色人種は同様の記録を持つ白人と比較して、高リスクとみなされ、厳しい判決を受けたり仮釈放が拒否されたりする可能性が高くなりました。

カナダ

カナダでは、移民資格や給付金の受給資格の判断に活用されていた人工知能システムに、不正確な部分が広く存在することが判明しました。その結果、多数の人が誤って強制送還されたり、給付を拒否されたりし、その人の人生や家族に壊滅的な影響を与えることになりました。

より良い未来のために、公正なAIを

人工知能（AI）は、政府や社会のあり方を大きく変える可能性を秘めていますが、その利用が公正、正確、かつ不偏不党であることを保証するための措置を講じることが極めて重要です。そのためには、いくつかの重要な要素を考慮し、対処する必要があります。

1. AIシステムの開発・展開における透明性と説明責任の向上。
2. AIシステムが公正かつ正確に機能していることを確認するための継続的なモニタリングと評価。
3. AIシステムの開発・展開における多様な視点と経験の表現。
4. 開発プロセスに異なる人種、性別、社会経済的背景を持つ個人を含めること。
5. 特に刑事司法、福祉、雇用などのセンシティブな領域において、AIシステムに潜在する偏りやエラーに対処すること。

エッセンシャルリーディング

AIのダークサイドの影響をさらに追求したい読者のために、本書では ‘Weapons of Math Destruction’ by Cathy O’Neil is a valuable resource. It highlights the ways in which mathematical models can perpetuate and amplify social inequalities, and provides recommendations for how to create more responsible and equitable use of data and technology.