How I'm fighting bias in algorithms | Joy Buolamwini

번역: HASTSanggyu Lee 검토: Gichung Lee

Hello, I'm Joy, a poet of code,

안녕하세요. 코드의 시인, 조이입니다.

on a mission to stop an unseen force that's rising,

저는 보이지 않는 힘이 일어나는 것을

막기 위한 사명을 띠고 있어요.

a force that I called "the coded gaze,"

제가 '코드화된 시선'이라 부르는 힘인데요.

my term for algorithmic bias.

다른 사람은 알고리즘의 편견이라 부르죠.

Algorithmic bias, like human bias, results in unfairness.

알고리즘의 편견은 인간의 편견처럼 불평등을 초래하지만

However, algorithms, like viruses, can spread bias on a massive scale

알고리즘은 바이러스처럼 대규모의 편견을 빠른 속도로 퍼뜨릴 수 있어요.

at a rapid pace.

Algorithmic bias can also lead to exclusionary experiences

또한, 알고리즘의 편견은 자신이 배제되는 경험이나

차별적인 대우로 이어질 수 있어요.

and discriminatory practices.

Let me show you what I mean.

자세히 설명해 드리죠.

(Video) Joy Buolamwini: Hi, camera. I've got a face.

(비디오) 안녕, 카메라야. 이게 내 얼굴이야.

Can you see my face?

내 얼굴이 보이니?

No-glasses face?

안경을 벗으면 보이니?

You can see her face.

이 친구의 얼굴은 보이잖아.

What about my face?

내 얼굴은 보여?

I've got a mask. Can you see my mask?

그럼 가면을 쓸게. 내 가면이 보이니?

Joy Buolamwini: So how did this happen?

이런 일이 왜 일어난 걸까요?

Why am I sitting in front of a computer

제가 왜 컴퓨터 앞에 앉아서

in a white mask,

하얀 가면을 쓰고

trying to be detected by a cheap webcam?

싸구려 웹캠에 인식이 되도록 노력하고 있을까요?

Well, when I'm not fighting the coded gaze

제가 코드의 시인으로서

'코드화된 시선'과 싸우기 전에

as a poet of code,

I'm a graduate student at the MIT Media Lab,

저는 MIT 미디어랩의 대학원생이었어요.

and there I have the opportunity to work on all sorts of whimsical projects,

그곳에서 많은 기발한 프로젝트에 참여할 수 있었는데

including the Aspire Mirror,

염원의 거울도 있었습니다.

a project I did so I could project digital masks onto my reflection.

제가 참여한 프로젝트로, 거울에 비친 제 모습에 디지털 가면을 씌우는 것이죠.

So in the morning, if I wanted to feel powerful,

아침에 힘찬 느낌을 원하면

I could put on a lion.

사자 가면을 씌울 수 있고

If I wanted to be uplifted, I might have a quote.

희망찬 느낌을 받고 싶다면 명언을 띄울 수 있었죠.

So I used generic facial recognition software

저는 일반적인 얼굴 인식 소프트웨어를 사용하여

to build the system,

시스템을 만들었지만

but found it was really hard to test it unless I wore a white mask.

제가 흰 가면을 쓰지 않으면 굉장히 테스트하기 어려웠어요.

Unfortunately, I've run into this issue before.

불행하게도, 저는 전에도 이런 문제에 부딪힌 적이 있어요.

When I was an undergraduate at Georgia Tech studying computer science,

제가 조지아 공대에서 컴퓨터 공학 전공생이었을 때

I used to work on social robots,

저는 사회적 로봇을 연구했어요.

and one of my tasks was to get a robot to play peek-a-boo,

과제들 중 하나는 까꿍놀이하는 로봇을 만들기였죠.

a simple turn-taking game

간단한 순서 교대 게임으로,

where partners cover their face and then uncover it saying, "Peek-a-boo!"

얼굴을 가렸다가 보이며 "까꿍!"이라고 말하는 게임이죠.

The problem is, peek-a-boo doesn't really work if I can't see you,

문제는, 까꿍 놀이는 제가 여러분의 얼굴을 볼 수 있어야 하는데

and my robot couldn't see me.

로봇이 저를 보지 못했어요.

But I borrowed my roommate's face to get the project done,

하지만 저는 룸메이트의 얼굴을 빌려서 프로젝트를 끝냈고

submitted the assignment,

과제를 제출한 다음

and figured, you know what, somebody else will solve this problem.

다른 누군가가 이 문제를 해결하겠지 라고 생각했어요.

Not too long after,

그로부터 오래 지나지 않아

I was in Hong Kong for an entrepreneurship competition.

창업 대회 참가를 위해 홍콩에 갔어요.

The organizers decided to take participants

주최 측은 참여자들이

on a tour of local start-ups.

그 지역의 스타트업 기업들을 방문하도록 했어요.

One of the start-ups had a social robot,

한 스타트업에 사회적 로봇이 있었고

and they decided to do a demo.

시범을 보여주기로 했어요.

The demo worked on everybody until it got to me,

로봇은 모두에게 잘 작동했죠. 저만 빼고요.

and you can probably guess it.

아마 짐작하셨을 거예요.

It couldn't detect my face.

제 얼굴을 인식하지 못했어요.

I asked the developers what was going on,

저는 개발자들에게 무슨 일이냐고 물었고

and it turned out we had used the same generic facial recognition software.

제가 썼던 그 얼굴 인식 소프트웨어를 쓴 게 문제였어요.

Halfway around the world,

지구 반대편에서

I learned that algorithmic bias can travel as quickly

저는 알고리즘의 편견이 인터넷에서 파일을 다운로드받는 것처럼

as it takes to download some files off of the internet.

빠르게 퍼질 수 있다는 걸 알았어요.

So what's going on? Why isn't my face being detected?

어떻게 된 걸까요? 왜 제 얼굴은 인식되지 않죠?

Well, we have to look at how we give machines sight.

자, 우리가 어떻게 기계가 볼 수 있게 하는지 알아보세요.

Computer vision uses machine learning techniques

컴퓨터의 시야는 머신 러닝 기술을 사용해

to do facial recognition.

얼굴을 인식해요.

So how this works is, you create a training set with examples of faces.

우리는 여러 예시 얼굴들로 이루어진 연습 세트를 만들어 놓죠.

This is a face. This is a face. This is not a face.

이건 얼굴이다. 이건 얼굴이다. 이건 얼굴이 아니다.

And over time, you can teach a computer how to recognize other faces.

그리고 시간이 지나면, 컴퓨터에게 얼굴 인식을 가르칠 수 있어요.

However, if the training sets aren't really that diverse,

하지만, 연습 세트가 그렇게 다양하지 않다면

any face that deviates too much from the established norm

규정된 표준에서 너무 벗어나는 얼굴들은

will be harder to detect,

인식하기 어려울 거예요.

which is what was happening to me.

저한테 일어났던 일과 같죠.

But don't worry -- there's some good news.

하지만 걱정하지 마세요. 좋은 소식도 있어요.

Training sets don't just materialize out of nowhere.

연습 세트는 하늘에서 뚝 떨어지지 않아요.

We actually can create them.

우리가 직접 만들 수 있죠.

So there's an opportunity to create full-spectrum training sets

따라서 전 영역을 아울러 다양한 인류의 얼굴을 반영하는

that reflect a richer portrait of humanity.

연습 세트를 만들 기회가 있어요.

Now you've seen in my examples

여러분은 방금

how social robots

사회적 로봇이 어떤지

was how I found out about exclusion with algorithmic bias.

제가 어떻게 알고리즘의 편견에 의한 배제에 대해 알게되었는지 보셨어요.

But algorithmic bias can also lead to discriminatory practices.

하지만 알고리즘의 편견은 차별적 관행으로 이어질 수도 있습니다.

Across the US,

미국 전역에서

police departments are starting to use facial recognition software

경찰서들이 범죄 근절의 무기로

in their crime-fighting arsenal.

얼굴 인식 소프트웨어를 사용하기 시작했어요.

Georgetown Law published a report

조지타운대 법학센터에 따르면

showing that one in two adults in the US -- that's 117 million people --

총 1억1천7백만명에 달하는 미국 성인 둘 중 한 명의 얼굴이

have their faces in facial recognition networks.

얼굴 인식 네트워크에 올려져 있어요.

Police departments can currently look at these networks unregulated,

경찰은 현재 이 네트워크를 제한 없이 살펴볼 수 있어요.

using algorithms that have not been audited for accuracy.

정확성이 검증되지 않은 알고리즘을 사용하면서요.

Yet we know facial recognition is not fail proof,

우리는 얼굴 인식이 잘못될 수 있다는 것을 알고 있고

and labeling faces consistently remains a challenge.

얼굴을 일관되게 표시하는 것은 과제로 남아있어요.

You might have seen this on Facebook.

아마 페이스북에서 보셨을 거예요.

My friends and I laugh all the time when we see other people

저와 제 친구들은 다른 사람의 이름이

mislabeled in our photos.

우리 사진에 표시된 것을 보고 매번 웃어요.

But misidentifying a suspected criminal is no laughing matter,

하지만 범죄 용의자를 잘못 파악하는 것은

웃을 일이 아니며 시민의 자유를 침해하죠.

nor is breaching civil liberties.

Machine learning is being used for facial recognition,

머신러닝은 현재 얼굴인식에 사용되지만

but it's also extending beyond the realm of computer vision.

컴퓨터 시각을 넘어선 곳까지 확장되고 있어요.

In her book, "Weapons of Math Destruction,"

'대량살상무기 (WMD)'라는 책에서

data scientist Cathy O'Neil talks about the rising new WMDs --

데이터 과학자 캐시 오닐은 새로운 대량살상무기에 대해서 말해요.

widespread, mysterious and destructive algorithms

널리 퍼진, 알 수 없는 파괴적인 알고리즘이죠.

that are increasingly being used to make decisions

이들은 우리 삶에 큰 영향을 미치는 선택에

that impact more aspects of our lives.

점점 많이 사용되고 있어요.

So who gets hired or fired?

누가 고용되고 누가 해고되는가?

Do you get that loan? Do you get insurance?

빚을 질까? 보험에 가입할까?

Are you admitted into the college you wanted to get into?

원하는 대학에 합격하는가?

Do you and I pay the same price for the same product

여러분과 당신이 같은 상품에 대해서

purchased on the same platform?

같은 가격을 지불하는가?

Law enforcement is also starting to use machine learning

법 집행에서도 예방적 치안을 위해

for predictive policing.

머신 러닝 사용을 시작했어요.

Some judges use machine-generated risk scores to determine

몇몇 판사들은 기계가 만든 위험 점수를 사용하여

how long an individual is going to spend in prison.

사람들의 형량을 결정하기도 해요.

So we really have to think about these decisions.

그래서 우린 이런 선택에 대해 생각해 봐야 해요.

Are they fair?

이 선택이 공정한가?

And we've seen that algorithmic bias

게다가 우리는 알고리즘의 선택이

doesn't necessarily always lead to fair outcomes.

매번 공정하지는 않다는 걸 봤어요.

So what can we do about it?

그럼 어떻게 해야 할까요?

Well, we can start thinking about how we create more inclusive code

우리는 포괄적인 코드를 만들고

and employ inclusive coding practices.

포괄적인 코딩 선례를 도입해야 해요.

It really starts with people.

이것은 사람들로부터 시작됩니다.

So who codes matters.

따라서, 누가 코딩을 하는지가 중요하죠.

Are we creating full-spectrum teams with diverse individuals

우리는 지금 다양한 개인들로 이루어져

서로의 맹점을 볼 수 있는 팀을 만들고 있나요?

who can check each other's blind spots?

On the technical side, how we code matters.

기술적인 면에서 우리가 어떻게 코딩을 하는지가 중요해요.

Are we factoring in fairness as we're developing systems?

지금 우리는 시스템을 개발하면서 공정함을 염두에 두고 있나요?

And finally, why we code matters.

마지막으로, 우리가 왜 코딩을 하는지가 중요해요.

We've used tools of computational creation to unlock immense wealth.

우리는 엄청난 부를 위하여 컴퓨터를 도구로 사용했어요.

We now have the opportunity to unlock even greater equality

이제 우리에겐 더 큰 평등을 얻을 기회가 있어요.

if we make social change a priority

우리가 사회적 변화를 미루지 않고

and not an afterthought.

우선순위에 둔다면요.

And so these are the three tenets that will make up the "incoding" movement.

이 세 가지 요소가 '인코딩' 운동을 구성합니다.

Who codes matters,

누가 코딩을 하는지

how we code matters

어떻게 코딩을 하는지

and why we code matters.

왜 코딩을 하는지가 중요해요.

So to go towards incoding, we can start thinking about

그리고 인코딩을 향해 가며 우리는 편견을 분별하는 플랫폼을

building platforms that can identify bias

구축할 수 있어요.

by collecting people's experiences like the ones I shared,

제가 공유한 것과 같은 다른 사람들의 경험을 모으고

but also auditing existing software.

현존하는 소프트웨어를 검사하면서 말이죠.

We can also start to create more inclusive training sets.

우리는 또한 더욱 포용적인 연습 세트를 만들기 시작할 수 있어요.

Imagine a "Selfies for Inclusion" campaign

"포괄적인 셀카" 캠페인을 상상해 보세요.

where you and I can help developers test and create

여러분과 제가 더욱 포용적인 연습 세트를 만드는 데

more inclusive training sets.

셀카를 보내면서 도움을 줄 수 있는 거예요.

And we can also start thinking more conscientiously

그리고 우리가 개발하는 기술의 사회적 영향에 대해

about the social impact of the technology that we're developing.

보다 양심적으로 생각할 수 있어요.

To get the incoding movement started,

인코딩 운동을 시작하기 위해서

I've launched the Algorithmic Justice League,

저는 알고리즘 정의 연합을 창설했어요.

where anyone who cares about fairness can help fight the coded gaze.

공정함을 중요시 여기는 사람 누구든 '코딩된 시선'에 맞서 싸우는 걸 도와줍니다.

On codedgaze.com, you can report bias,

codedgaze.com에서 편견을 보고하거나

request audits, become a tester

검사를 요청하거나 테스터가 될 수 있으며

and join the ongoing conversation,

진행되는 대화에 참여할 수도 있어요.

#codedgaze.

해시태그 codedgaze입니다.

So I invite you to join me

그래서 저는 여러분이 저와 함께

in creating a world where technology works for all of us,

기술이 일부만이 아닌

모두를 위해 쓰이는 세상을

not just some of us,

a world where we value inclusion and center social change.

포용성을 중요시여기고 사회적 변화를 중시하는 세상을 만드는데 동참하셨으면 합니다.

Thank you.

감사합니다.

(Applause)

(박수)

But I have one question:

하지만 여러분에게 질문이 하나 있어요.

Will you join me in the fight?

여러분은 이 싸움에 동참하실 건가요?

(Laughter)

(웃음)

(Applause)

(박수)