How I'm fighting bias in algorithms | Joy Buolamwini

翻訳: Yoichi Fukuoka 校正: Yuko Yoshida

Hello, I'm Joy, a poet of code,

こんにちは コードの詩人 ジョイです

on a mission to stop an unseen force that's rising,

私の使命は 強まりつつある 目に見えない力

a force that I called "the coded gaze,"

「コード化された視線」 と私が呼ぶ―

my term for algorithmic bias.

アルゴリズムにおける偏見を 阻止することです

Algorithmic bias, like human bias, results in unfairness.

アルゴリズムも 人と同じで 偏見が入り込むと不公正な結果を生みます

However, algorithms, like viruses, can spread bias on a massive scale

しかも アルゴリズムはウイルスのように 偏見をどんどん拡散してしまいます

at a rapid pace.

それも急速にです

Algorithmic bias can also lead to exclusionary experiences

アルゴリズムの偏見は 排他的な扱いや

and discriminatory practices.

差別行為を生む恐れもあります

Let me show you what I mean.

具体的にお見せしましょう

(Video) Joy Buolamwini: Hi, camera. I've got a face.

（ビデオ）ねえ カメラくん 私には顔があるわ

Can you see my face?

私の顔が見える？

No-glasses face?

メガネを外した方がいいかな？

You can see her face.

この人の顔は見えるわね

What about my face?

私の顔はどう？

I've got a mask. Can you see my mask?

お面をつけるわ このお面は見える？

Joy Buolamwini: So how did this happen?

（ジョイ）何が起きたのでしょう？

Why am I sitting in front of a computer

私が白い仮面をつけて

in a white mask,

コンピュータの前に座り

trying to be detected by a cheap webcam?

安いウェブカメラで検知されるか 試している理由は？

Well, when I'm not fighting the coded gaze

コードの詩人として コード化された視線と

as a poet of code,

戦うとき以外の私は

I'm a graduate student at the MIT Media Lab,

MITメディアラボの大学院生で

and there I have the opportunity to work on all sorts of whimsical projects,

ちょっと変わったプロジェクトに いろいろ関わっています

including the Aspire Mirror,

その１つの 「Aspire Mirror（鼓舞する鏡）」は

a project I did so I could project digital masks onto my reflection.

鏡に映った自分の顔に デジタルの仮面を重ねるものです

So in the morning, if I wanted to feel powerful,

朝起きてパワフルな気分に なりたければ

I could put on a lion.

ライオンの面をつけたり

If I wanted to be uplifted, I might have a quote.

気分を高めるために 何かを「引用」したりできます

So I used generic facial recognition software

このとき 私は 一般的な顔認識ソフトを使い

to build the system,

システムを組もうとしたのですが

but found it was really hard to test it unless I wore a white mask.

白い仮面をつけないと テストすら難しいと気づきました

Unfortunately, I've run into this issue before.

実は この問題に悩まされたのは 初めてではありませんでした

When I was an undergraduate at Georgia Tech studying computer science,

ジョージア工科大学で コンピュータ科学を学んでいたとき

I used to work on social robots,

ソーシャルロボットを研究していて

and one of my tasks was to get a robot to play peek-a-boo,

ロボット相手に 代わりばんこに

「いないいないばあ」をするという 課題がありました

a simple turn-taking game

where partners cover their face and then uncover it saying, "Peek-a-boo!"

顔を覆った手を 「ばあ！」のところで どけて顔を見せる遊びですね

The problem is, peek-a-boo doesn't really work if I can't see you,

相手の顔が見えないと 成立しないゲームですが

and my robot couldn't see me.

ロボットは私の顔を 認識できませんでした

But I borrowed my roommate's face to get the project done,

私はルームメイトの顔を借りて どうにか作業を終え

submitted the assignment,

課題を提出しました

and figured, you know what, somebody else will solve this problem.

そのときは このバグも誰かが 直してくれると思っていました

Not too long after,

それから少しして 私は

I was in Hong Kong for an entrepreneurship competition.

起業コンテストに参加するため 香港に行きました

The organizers decided to take participants

参加者たちは いくつかの地元の新興企業に

on a tour of local start-ups.

案内されました

One of the start-ups had a social robot,

ある会社の製品は ソーシャルロボットで

and they decided to do a demo.

デモを見せてもらうことに なりました

The demo worked on everybody until it got to me,

デモは成功し 私の番がやって来ます

and you can probably guess it.

結果はご想像のとおり

It couldn't detect my face.

私の顔は検知されません

I asked the developers what was going on,

「どうなってるの？」 と開発者たちに尋ねたら

and it turned out we had used the same generic facial recognition software.

私と同じ顔認識ソフトを 使っていることが判明しました

Halfway around the world,

世界を半周して分かったのは

I learned that algorithmic bias can travel as quickly

アルゴリズムの偏見が 広がるのはすごく早いことです

as it takes to download some files off of the internet.

ネットからダウンロードする 時間しかかかりません

So what's going on? Why isn't my face being detected?

どうなっているのか？ なぜ私の顔は検知されないのか？

Well, we have to look at how we give machines sight.

機械に視覚を持たせる仕組みを 考えてみましょう

Computer vision uses machine learning techniques

コンピュータビジョンでは 機械学習の技術を使って

to do facial recognition.

顔を認識します

So how this works is, you create a training set with examples of faces.

顔のサンプルを集めて トレーニングするのです

This is a face. This is a face. This is not a face.

これは顔 これは顔 これは顔じゃない

And over time, you can teach a computer how to recognize other faces.

やがてコンピュータは 顔を認識する方法を習得します

However, if the training sets aren't really that diverse,

でもトレーニング用のサンプルに あまり多様性がなかったら

any face that deviates too much from the established norm

そこで確立された基準から 大きく外れた顔は

will be harder to detect,

検知するのが難しくなります

which is what was happening to me.

私の場合はそれでした

But don't worry -- there's some good news.

でも大丈夫 希望の持てる面もあります

Training sets don't just materialize out of nowhere.

顔のサンプル集は ひとりでに できるわけではありません

We actually can create them.

私たちにだって作れます

So there's an opportunity to create full-spectrum training sets

ですから 網羅的な トレーニング用のサンプルを作り

that reflect a richer portrait of humanity.

さまざまな人間の姿形を しっかり反映させれば いいんです

Now you've seen in my examples

私の例でお見せしたように

how social robots

ソーシャルロボットの振る舞いから

was how I found out about exclusion with algorithmic bias.

アルゴリズムの偏見による 切り捨てが見つかりました

But algorithmic bias can also lead to discriminatory practices.

この偏見は 差別行為にも つながりうるものです

Across the US,

米国では全国的に

police departments are starting to use facial recognition software

警察が顔認識ソフトを使って

in their crime-fighting arsenal.

犯罪に対処し始めています

Georgetown Law published a report

ジョージタウン大学 ロースクールの報告によると

showing that one in two adults in the US -- that's 117 million people --

米国の成人２人に１人 １億1700万人の顔が

have their faces in facial recognition networks.

何らかの顔認識用のデータベースに 記録されています

Police departments can currently look at these networks unregulated,

警察は現在 制限なしに これらのシステムを参照できますが

using algorithms that have not been audited for accuracy.

使っているアルゴリズムの 正確さは検証されていません

Yet we know facial recognition is not fail proof,

でも 顔認識は完璧でなく

and labeling faces consistently remains a challenge.

顔と名前を一致させるのは なおも難しい課題です

You might have seen this on Facebook.

Facebookで こんな経験をしたことは？

My friends and I laugh all the time when we see other people

写真の中の人が正しく認識されず おかしなタグが付いていて

mislabeled in our photos.

私は いつも友達と大笑いしています

But misidentifying a suspected criminal is no laughing matter,

でも 犯罪者と間違われたら 笑い事では済みません

nor is breaching civil liberties.

市民の自由が侵された どころでもありません

Machine learning is being used for facial recognition,

機械学習は顔認識に 利用されるとともに

but it's also extending beyond the realm of computer vision.

コンピュータビジョンの 利用範囲を拡大しています

In her book, "Weapons of Math Destruction,"

データ・サイエンティストの キャシー・オニールは

data scientist Cathy O'Neil talks about the rising new WMDs --

『Weapons of Math Destruction （数学破壊兵器）』の中で

widespread, mysterious and destructive algorithms

不可解で破壊的なアルゴリズムが 「数学破壊兵器」として台頭し

that are increasingly being used to make decisions

ますます広く意思決定に 使われるようになり

that impact more aspects of our lives.

私たちの暮らしの多くの場面に 影響を与えていると述べています

So who gets hired or fired?

仕事の採用・不採用を分けるものは？

Do you get that loan? Do you get insurance?

ローンが組めるかどうか 保険に入れるかどうか

Are you admitted into the college you wanted to get into?

志望大学に入学できるかどうか

Do you and I pay the same price for the same product

同じところで同じ製品を 購入するのなら

purchased on the same platform?

誰でも値段は同じかどうか といったことにもです

Law enforcement is also starting to use machine learning

警察は機械学習を 予測警備にも

for predictive policing.

使い始めています

Some judges use machine-generated risk scores to determine

裁判官の中には 機械が出したリスク評価をもとに

how long an individual is going to spend in prison.

何年の懲役にすべきか 決める人もいます

So we really have to think about these decisions.

だから こうした判断について よく考えなければなりません

Are they fair?

判断は公平なのでしょうか？

And we've seen that algorithmic bias

すでに見た通り アルゴリズムの偏見により

doesn't necessarily always lead to fair outcomes.

出てくる結果は必ずしも 公平ではありません

So what can we do about it?

私たちに何ができるでしょう

Well, we can start thinking about how we create more inclusive code

どうすれば より包括的なコードを作り

and employ inclusive coding practices.

それを実践していけるのか 考えることから始めましょう

It really starts with people.

まずは人からです

So who codes matters.

つまり コードを書く人が大事です

Are we creating full-spectrum teams with diverse individuals

多様なメンバーで チームを構成し

who can check each other's blind spots?

互いの盲点を チェックできているか？

On the technical side, how we code matters.

技術的な面では コードをどう作るかが重要です

Are we factoring in fairness as we're developing systems?

システム開発の要素に 公正さを組み込んでいるか？

And finally, why we code matters.

最後に 何のために コードを書くかも重要です

We've used tools of computational creation to unlock immense wealth.

私たちはコンピュータを使って 莫大な富を生み出してきましたが

We now have the opportunity to unlock even greater equality

今 より一層の平等も 生み出すことができるのです

if we make social change a priority

社会の変革を 後付けでなく

and not an afterthought.

優先事項とすれば良いのです

And so these are the three tenets that will make up the "incoding" movement.

このように「インコーディング」運動には ３つの柱があるわけです

Who codes matters,

誰がコードを書くかが重要

how we code matters

どのようにコードを書くかが重要

and why we code matters.

なぜコードを書くかが重要 なのです

So to go towards incoding, we can start thinking about

インコーディングに向けて まず手を付けるべきは

building platforms that can identify bias

偏りを発見できる プラットフォームを作ること

by collecting people's experiences like the ones I shared,

私が紹介したような 経験を集積して

but also auditing existing software.

今あるソフトウェアの 点検もします

We can also start to create more inclusive training sets.

トレーニング用サンプルにも もっと多様性を盛り込みましょう

Imagine a "Selfies for Inclusion" campaign

「インクルージョンに向けた自撮り」 キャンペーンを展開して

where you and I can help developers test and create

多様性のあるサンプルを 開発者が作成しテストするのを

more inclusive training sets.

支援することもできます

And we can also start thinking more conscientiously

さらには 開発中の技術が 社会に与える影響について

about the social impact of the technology that we're developing.

もっと注意深く 考えるようにしましょう

To get the incoding movement started,

インコーディング運動を 始めるために

I've launched the Algorithmic Justice League,

私は「Algorithmic Justice League」 を設立しました

where anyone who cares about fairness can help fight the coded gaze.

公正さに関心がある人なら誰でも コード化された視線との戦いに参加できます

On codedgaze.com, you can report bias,

偏ったコードの通報や監査依頼

request audits, become a tester

試験者の参加申し込みは codedgaze.comへ

and join the ongoing conversation,

話題の共有には

#codedgaze.

#codedgazeを使ってください

So I invite you to join me

ぜひ皆さんに 参加してほしいんです

in creating a world where technology works for all of us,

テクノロジーが 一部の人でなく みんなの役に立つ―

not just some of us,

世界を創りましょう

a world where we value inclusion and center social change.

インクルージョンを大事にし 自ら社会を変える そんな世界にしましょう

Thank you.

ありがとうございました

(Applause)

（拍手）

But I have one question:

でも ほんとに大丈夫？

Will you join me in the fight?

本気で参加してくれますね？

(Laughter)

（笑）

(Applause)

（拍手）