How to keep human bias out of AI | Kriti Sharma

Translator: Ivana Korom Reviewer: Joanna Pietrulewicz

번역: Minji Kim 검토: Jihyeon J. Kim

How many decisions have been made about you today,

여러분은 인공지능의 도움을 받아서

or this week or this year,

오늘이나 이번 주 혹은 올해

by artificial intelligence?

얼마나 많은 결정을 내리셨나요?

I build AI for a living

제 직업은 인공지능을 구축하는 것입니다.

so, full disclosure, I'm kind of a nerd.

그러니까 밝히자면 좀 범생이에요.

And because I'm kind of a nerd,

제가 범생이라서

wherever some new news story comes out

새로운 뉴스에서 인공지능이 일자리를 뺏는다거나

about artificial intelligence stealing all our jobs,

or robots getting citizenship of an actual country,

실제 국가의 시민권을 획득한다거나 하는

I'm the person my friends and followers message

뉴스가 나오면 친구들과 주변인들이

freaking out about the future.

그렇게 될까 봐 기겁해서 저에게 메시지를 보내요.

We see this everywhere.

로봇 과다 현상이 세상을 점령한다는

This media panic that our robot overlords are taking over.

미디어 공포 현상은 여기저기에 만연해 있어요.

We could blame Hollywood for that.

할리우드로 비난의 화살을 돌리기도 합니다.

But in reality, that's not the problem we should be focusing on.

하지만 현실은 그걸 걱정할 때가 아닙니다.

There is a more pressing danger, a bigger risk with AI,

인공지능에는 더 큰 위험이 도사리고 있는데

that we need to fix first.

이것부터 고쳐야 합니다.

So we are back to this question:

이 질문으로 돌아가 볼게요.

How many decisions have been made about you today by AI?

여러분은 오늘 인공지능 도움으로 얼마나 많은 결정을 내렸나요?

And how many of these

얼마나 많은 결정이

were based on your gender, your race or your background?

성별, 인종, 배경에 기반해서 이루어졌나요?

Algorithms are being used all the time

알고리즘은 항상 우리가 누구이고

to make decisions about who we are and what we want.

무엇을 원하는지 결정을 내리는데 이용됩니다.

Some of the women in this room will know what I'm talking about

여기 계신 몇몇 여성분들은 무슨 말인지 아실 거예요.

if you've been made to sit through those pregnancy test adverts on YouTube

유튜브로 임신 테스트를

like 1,000 times.

한 1,000번 정도 했는지

Or you've scrolled past adverts of fertility clinics

또는 페이스북에서 가임 클리닉 광고를 보고

on your Facebook feed.

스크롤을 내리며 지나쳤는지와 같은 것들 말입니다.

Or in my case, Indian marriage bureaus.

아니면 제 경우에는 인도 결혼 상담소가 있어요.

(Laughter)

(웃음)

But AI isn't just being used to make decisions

인공지능은 단지 무엇을 살지 또는

about what products we want to buy

무슨 티브이 프로그램을 돌려가며 볼지에 대해

결정을 내리는 데에만 활용되는 것이 아닙니다.

or which show we want to binge watch next.

누가 이런 생각을 한다면 어떨지 한 번 생각해보세요.

I wonder how you'd feel about someone who thought things like this:

"흑인이나 라틴계 사람이

"A black or Latino person

is less likely than a white person to pay off their loan on time."

백인보다 대출금을 제때 잘 갚지 않는다."

"존이라는 사람이 메리라는 사람보다

"A person called John makes a better programmer

더 나은 프로그래머다."

than a person called Mary."

"흑인 남성은 백인 남성보다 더 자주 범죄를 되풀이한다."

"A black man is more likely to be a repeat offender than a white man."

You're probably thinking,

그러면 여러분은 아마 이렇게 생각하실 겁니다.

"Wow, that sounds like a pretty sexist, racist person," right?

"와, 그건 성차별적이고 인종차별적인 발언이야."라고요.

These are some real decisions that AI has made very recently,

최근에 인공지능이 내린 결정 중에서는

based on the biases it has learned from us,

우리 인간에게 배운 편향에

from the humans.

의한 것이었습니다.

인공지능은 구직 면접을 받을지 여부와

AI is being used to help decide whether or not you get that job interview;

자동차 보험에 얼마를 지불할지,

how much you pay for your car insurance;

신용 점수는 얼마나 좋은지

how good your credit score is;

and even what rating you get in your annual performance review.

심지어 연례 실적 평가로 몇 점을 주어야 할 지도 결정합니다.

하지만 이러한 결정들이 우리의 정체성, 인종, 성별, 나이에

But these decisions are all being filtered through

its assumptions about our identity, our race, our gender, our age.

근거한 추측을 거쳐서 만들어집니다.

어떻게 이런 일이 일어나는 걸까요?

How is that happening?

이제 한 채용 담당자가 회사의 차기 기술 선도자를

Now, imagine an AI is helping a hiring manager

find the next tech leader in the company.

뽑는데 인공지능이 관여한다고 상상해보세요.

So far, the manager has been hiring mostly men.

지금까지 채용 담당자는 대부분 남자였습니다.

So the AI learns men are more likely to be programmers than women.

그래서 인공지능은 프로그래머가 대부분 여자가 아닌 남자라고 배웁니다.

And it's a very short leap from there to:

여기서 매우 짧은 도약으로 인공지능은

men make better programmers than women.

남자가 여자보다 더 나은 프로그래머라는 결정을 내립니다.

We have reinforced our own bias into the AI.

우리의 편향을 인공지능에 보강하고 있었던 겁니다.

And now, it's screening out female candidates.

이제, 여성 후보자들을 선별합니다.

Hang on, if a human hiring manager did that,

잠시만요, 만약 인간 채용 담당자가 그랬다면

we'd be outraged, we wouldn't allow it.

우리는 분노하며 허용하지 않을 것입니다.

This kind of gender discrimination is not OK.

이러한 성차별은 옳지 않습니다.

히지만 어쩐 일인지 인공지능이 법 우위에 서게 되었습니다.

And yet somehow, AI has become above the law,

because a machine made the decision.

왜냐하면 기계가 결정을 내리니까요.

이게 다가 아닙니다.

That's not it.

우리는 또한 인공지능과 상호 작용 하는데 편향을 강화하고 있습니다.

We are also reinforcing our bias in how we interact with AI.

How often do you use a voice assistant like Siri, Alexa or even Cortana?

시리, 알렉사, 코타나와 같은 음성 비서를 얼마나 자주 사용하나요?

They all have two things in common:

이러한 음성 보조 장치에는 전부 두 가지 공통점이 있습니다.

one, they can never get my name right,

첫째, 내 이름을 전혀 올바르게 발음하지 못합니다.

and second, they are all female.

둘째, 모두 여자입니다.

우리에게 순종하는 하인이 되도록 설계되어

They are designed to be our obedient servants,

명령에 따라 전등을 켜고 끄고, 장을 대신 보기도 합니다.

turning your lights on and off, ordering your shopping.

남성 인공지능도 있지만 더 책임이 막중한 일을 맡습니다.

You get male AIs too, but they tend to be more high-powered,

like IBM Watson, making business decisions,

IBM 왓슨처럼 사업 의사 결정을 내리거나

Salesforce Einstein or ROSS, the robot lawyer.

판매 담당자 아인슈타인이나 로봇 변호사 로스가 됩니다.

불쌍한 로봇들, 직장에서도 성차별로 고통받는군요.

So poor robots, even they suffer from sexism in the workplace.

(웃음)

(Laughter)

이 두 가지가 결합해서 인공지능이 존재하는 오늘날

Think about how these two things combine

and affect a kid growing up in today's world around AI.

자라나는 어린이에게 어떤 영향을 미칠지 생각해보세요.

So they're doing some research for a school project

아이들은 학교 프로젝트를 위해 조사를 합니다.

and they Google images of CEO.

최고경영자 이미지를 구글링합니다.

The algorithm shows them results of mostly men.

알고리즘은 대부분 남성을 보여줍니다.

And now, they Google personal assistant.

그리고 이제 아이들은 개인 비서를 구글링합니다.

예상하신 대로 대부분 여성을 보여줍니다.

As you can guess, it shows them mostly females.

그리고 아이들은 음악도 넣고 음식도 주문하고 싶을 거예요.

And then they want to put on some music, and maybe order some food,

순종적인 여성 음성 비서에게 아이들은 소리쳐 주문합니다.

and now, they are barking orders at an obedient female voice assistant.

Some of our brightest minds are creating this technology today.

몇몇의 뛰어난 지성인들이 오늘날 이 기술을 창조합니다.

Technology that they could have created in any way they wanted.

그들이 원하는 대로 기술을 창조할 수 있습니다.

And yet, they have chosen to create it in the style of 1950s "Mad Man" secretary.

그런데도 굳이 1950년대 "매드 맨" 비서 스타일로 만들기로 선택했네요.

Yay!

만세!

But OK, don't worry,

하지만 괜찮아요, 걱정 마세요

제가 말씀드리려는 것은 이게 끝이 아닙니다.

this is not going to end with me telling you

that we are all heading towards sexist, racist machines running the world.

성차별적이고 인종차별적인 기계가 세상을 움직인다고 말씀드렸지만

The good news about AI is that it is entirely within our control.

인공지능에 대한 좋은 소식은 우리가 전적으로 통제할 수 있다는 것입니다.

We get to teach the right values, the right ethics to AI.

인공지능에게 올바른 가치와 윤리관을 가르칠 수 있습니다.

So there are three things we can do.

여기에 우리가 할 수 있는 세 가지가 있습니다.

One, we can be aware of our own biases

첫째, 우리 고유의 편향을 인지하고

and the bias in machines around us.

우리 주변에 있는 기계가 가진 편향을 인지할 수 있습니다.

Two, we can make sure that diverse teams are building this technology.

둘째, 다양한 팀이 이러한 기술을 구축하도록 할 수 있습니다.

And three, we have to give it diverse experiences to learn from.

셋째, 기계가 배울 수 있도록 다양한 경험을 제공해야 합니다.

I can talk about the first two from personal experience.

제 개인적인 경험을 통해 첫 번째와 두 번째에 대해 말씀드릴게요.

When you work in technology

기술 분야에서 일을 할 때

and you don't look like a Mark Zuckerberg or Elon Musk,

여러분은 마크 주커버그나 엘론 머스크처럼 생기지 않았다면

삶은 조금 더 어렵고 능력도 의심받습니다.

your life is a little bit difficult, your ability gets questioned.

Here's just one example.

하나의 예를 들어볼게요.

Like most developers, I often join online tech forums

대부분의 개발자처럼 저도 온라인 기술 포럼에 참여해서

and share my knowledge to help others.

타인을 돕기 위해 지식을 공유합니다.

And I've found,

그리고 제가 발견한 것은

when I log on as myself, with my own photo, my own name,

제 사진과 이름을 공개하고 로그인할 때

I tend to get questions or comments like this:

다음과 같은 질문이나 말을 듣는다는 것입니다.

"어떻게 당신이 인공지능에 대해 말할 자격이 있다고 생각하는 거죠?"

"What makes you think you're qualified to talk about AI?"

"What makes you think you know about machine learning?"

"어떻게 당신이 기계 학습에 대해 안다고 생각하는 거죠?"

So, as you do, I made a new profile,

그래서 여러분처럼 저도 새로운 프로필을 만들었습니다.

and this time, instead of my own picture, I chose a cat with a jet pack on it.

이번에는 제 사진 대신 제트 팩을 메고 있는 고양이 사진을 선택했어요.

And I chose a name that did not reveal my gender.

그리고 제 성별을 알 수 없는 이름을 선택했어요.

You can probably guess where this is going, right?

무슨 일이 벌어질지 예상되시죠?

So, this time, I didn't get any of those patronizing comments about my ability

이번에는 제 능력을 깔보는 말을 하는 사람이 없었어요.

and I was able to actually get some work done.

그리고 실제로 몇 가지 일도 완수할 수 있었고요.

And it sucks, guys.

이건 정말 짜증 나는 일이에요.

I've been building robots since I was 15,

전 15살 때부터 로봇을 만들어 왔고

I have a few degrees in computer science,

컴퓨터 과학 분야에 학위도 몇 개 갖고 있어요.

and yet, I had to hide my gender

그럼에도 제 성별을 숨겨야만 했어요.

in order for my work to be taken seriously.

그래야 제 일이 진지하게 받아들여지니까요.

So, what's going on here?

여기에 무슨 일이 일어나고 있는 건가요?

Are men just better at technology than women?

기술 면에서 남자가 여자보다 더 뛰어나나요?

Another study found

다른 연구에서 발견한 사실은

that when women coders on one platform hid their gender, like myself,

플랫폼에서 여성 프로그래머들이 저처럼 자기 성별을 숨길 때

their code was accepted four percent more than men.

코딩이 남자보다 4% 더 많이 받아들여졌어요.

So this is not about the talent.

그러니까 이건 재능에 관한 게 아니에요.

This is about an elitism in AI

이것은 인공지능에 있는 엘리트 의식에 관한 거예요.

that says a programmer needs to look like a certain person.

그건 프로그래머가 특정한 사람처럼 보여야 한다는 것을 의미하죠.

What we really need to do to make AI better

더 나은 인공지능을 만들기 위해 우리가 해야 할 일은

is bring people from all kinds of backgrounds.

각기 다른 배경에서 자란 모든 사람들을 데려오는 겁니다.

We need people who can write and tell stories

인공지능의 개성을 만들도록 도와줄

글을 쓰고 이야기를 할 수 있는 사람을 필요로 합니다.

to help us create personalities of AI.

문제를 해결할 수 있는 사람을 필요로 합니다.

We need people who can solve problems.

다른 도전을 마주하고

We need people who face different challenges

and we need people who can tell us what are the real issues that need fixing

고쳐야 하는 진짜 문제에 대해 말해줄 수 있고,

and help us find ways that technology can actually fix it.

그걸 고칠 수 있는 기술을 찾도록 도와줄 사람을 필요로 합니다.

Because, when people from diverse backgrounds come together,

왜냐하면 다양한 배경을 가진 사람들이 모일 때,

when we build things in the right way,

우리가 올바른 것들을 만들 수 있을 때,

the possibilities are limitless.

가능성은 무궁무진하기 때문입니다.

And that's what I want to end by talking to you about.

이것이 여러분에게 말씀드리며 끝맺고 싶은 이야기입니다.

Less racist robots, less machines that are going to take our jobs --

덜 인종차별적인 로봇, 우리 일자리를 덜 빼앗아 갈 기계

and more about what technology can actually achieve.

그리고 우리가 실제로 성취할 수 있는 더 많은 기술에 대한 것입니다.

맞아요, 인공지능의 세계와 기술의 세계에서

So, yes, some of the energy in the world of AI,

일부 에너지는

in the world of technology

여러분이 스트림에서 볼 수 있는 광고에 쓰일 것입니다.

is going to be about what ads you see on your stream.

But a lot of it is going towards making the world so much better.

하지만 그중 많은 에너지는 더 나은 세상을 만드는데 쓰입니다.

Think about a pregnant woman in the Democratic Republic of Congo,

콩고 민주 공화국에 있는 임산부를 생각해보세요.

who has to walk 17 hours to her nearest rural prenatal clinic

가장 가까운 시골 산전 클리닉에 가려면 17시간을 걸어야 합니다.

to get a checkup.

검진받기 위해서요.

What if she could get diagnosis on her phone, instead?

만약 임산부가 그 대신 전화로 진단받을 수 있다면 어떨까요?

Or think about what AI could do

아니면 인공지능이 할 수 있는 일을 생각해 보세요.

for those one in three women in South Africa

남아프리카 여성 3명 중 1명은

who face domestic violence.

가정 폭력에 노출되어 있습니다.

If it wasn't safe to talk out loud,

만약 크게 소리 내어 말하는 것이 안전하지 않다면

they could get an AI service to raise alarm,

인공지능 서비스를 이용해 경보를 울려

재정과 법률 상담을 받을 수 있습니다.

get financial and legal advice.

이것은 현재 저를 포함해 사람들이 인공지능을 이용해

These are all real examples of projects that people, including myself,

작업하고 있는 프로젝트의 실제 사례입니다.

are working on right now, using AI.

So, I'm sure in the next couple of days there will be yet another news story

며칠 뒤에 또 다른 보도 기사가 있을 거라 확신합니다.

about the existential risk,

로봇이 여러분의 일자리를 점령하러 오는 것에 대한

robots taking over and coming for your jobs.

실존적인 위험에 대해서요.

(Laughter)

(웃음)

And when something like that happens,

그런 일이 일어날 때,

I know I'll get the same messages worrying about the future.

미래에 대해 걱정하는 똑같은 메시지를 받게 될 것도 압니다.

하지만 저는 이 기술에 대해 매우 긍정적입니다.

But I feel incredibly positive about this technology.

이것이야말로 세상을 더 평등한 곳으로 만들 기회입니다.

This is our chance to remake the world into a much more equal place.

But to do that, we need to build it the right way from the get go.

하지만 그러기 위해서는 처음부터 올바른 방법으로 만들어야 합니다.

We need people of different genders, races, sexualities and backgrounds.

다른 성별, 인종, 성적 취향, 배경 출신의 사람들을 필요로 합니다.

We need women to be the makers

여성이 제작자가 되어야 합니다.

and not just the machines who do the makers' bidding.

단지 제작자 입찰을 하는 기계뿐만이 아니라 말이죠.

We need to think very carefully what we teach machines,

우리는 기계에게 무엇을 가르치고 어떤 데이터를 제공할지에 대해

what data we give them,

매우 신중하게 생각해야 합니다.

so they don't just repeat our own past mistakes.

과거와 같은 실수를 하지 않기 위해서 말이죠.

So I hope I leave you thinking about two things.

여러분에게 생각할 거리 두 가지를 드릴게요.

First, I hope you leave thinking about bias today.

첫째, 오늘날 편향에 대해 생각해보시길 바랍니다.

And that the next time you scroll past an advert

그리고 다음번에 여러분이 관심 있어 할 거라 가정하는

that assumes you are interested in fertility clinics

불임 클리닉 광고나

or online betting websites,

온라인 도박 웹사이트 광고를 스크롤 하며 지나칠 때

that you think and remember

생각하고 기억해주세요.

that the same technology is assuming that a black man will reoffend.

같은 기술이 흑인은 다시 법을 위반할 것이라고 가정한다는 것을,

Or that a woman is more likely to be a personal assistant than a CEO.

또는 최고경영자의 개인 비서는 여성일 가능성이 많다고 가정한다는 것을요.

And I hope that reminds you that we need to do something about it.

이것에 대해 우리는 무언가를 해야 한다는 것도 기억해주세요.

And second,

두 번째로,

I hope you think about the fact

다음과 같은 사실을 기억해 주시길 바랍니다.

that you don't need to look a certain way

여러분은 어떤 특정한 사람처럼 보여야 하거나

or have a certain background in engineering or technology

특정한 공학이나 기술 배경을 가져야만

to create AI,

미래를 위한 놀랄 만한 세력이 될 인공지능을

which is going to be a phenomenal force for our future.

만들 수 있는 것이 아니라는 것을 말입니다.

마크 주커버그처럼 생기지 않아도 되고

You don't need to look like a Mark Zuckerberg,

you can look like me.

그냥 저처럼 생겨도 됩니다.

이 공간에 있는 모두에게 달렸습니다.

And it is up to all of us in this room

정부와 기업을 설득해서

to convince the governments and the corporations

to build AI technology for everyone,

모두를 위한 인공지능 기술을 구축하도록 하는 것 말입니다.

including the edge cases.

엣지 케이스를 포함해서요.

And for us all to get education

그리고 우리는 이런 놀라운 미래 기술에 대해 교육받아야 합니다.

about this phenomenal technology in the future.

왜냐하면 우리가 그렇게 할 경우, 그것은

Because if we do that,

then we've only just scratched the surface of what we can achieve with AI.

우리가 인공지능으로 성취할 수 있는 것에 대한 시작이기 때문입니다.

Thank you.

감사합니다.

(Applause)

(박수)