Machine intelligence makes human morals more important | Zeynep Tufekci

번역: Jeongmin Kim 검토: JY Kang

So, I started my first job as a computer programmer

저는 제 첫 번째 직업인 컴퓨터 프로그래머 일을

in my very first year of college --

대학 1학년 때 시작했습니다.

basically, as a teenager.

아직 십대였죠.

Soon after I started working,

일을 시작한 지 얼마 안 되어

writing software in a company,

회사에서 프로그래밍을 하고 있는데

a manager who worked at the company came down to where I was,

회사의 한 관리자 제 자리로 와서는

and he whispered to me,

저한테 속삭였어요.

"Can he tell if I'm lying?"

"내가 거짓말하면 쟤가 알아챌까요?"

There was nobody else in the room.

하지만 방에는 둘밖에 없었어요.

"Can who tell if you're lying? And why are we whispering?"

"누가 알아챈다는 거죠? 아무도 없는데 왜 속삭이시는 거예요?"

The manager pointed at the computer in the room.

매니저는 방에 있는 컴퓨터를 가리켰어요.

"Can he tell if I'm lying?"

"저놈이 알아챌 수 있을까요?"

Well, that manager was having an affair with the receptionist.

그 매니저는 회사 접수계 직원과 바람을 피우고 있었죠.

(Laughter)

(웃음)

And I was still a teenager.

전 아직 십대였기에

So I whisper-shouted back to him,

그 사람 귀에 대고 소리쳤죠.

"Yes, the computer can tell if you're lying."

"네, 저 컴퓨터는 당신 부정을 알 수 있을 거예요."

(Laughter)

(웃음)

Well, I laughed, but actually, the laugh's on me.

전 웃고 말았지만, 결국 제가 어리석었죠.

Nowadays, there are computational systems

요즘 컴퓨터 시스템은

that can suss out emotional states and even lying

감정 상태나, 심지어 거짓말까지

from processing human faces.

인간 표정으로 알아낼 수 있거든요.

Advertisers and even governments are very interested.

광고 업체와 정부까지도 이 기술에 관심을 기울이고 있죠.

I had become a computer programmer

저는 어릴 때 수학과 과학을 매우 좋아해서

because I was one of those kids crazy about math and science.

자연스레 프로그래머가 되었습니다.

But somewhere along the line I'd learned about nuclear weapons,

그런데 언젠가 핵무기를 알게 되었을 때

and I'd gotten really concerned with the ethics of science.

저는 과학 윤리에 대해 괌심이 많아졌습니다.

I was troubled.

고민을 많이 했죠.

However, because of family circumstances,

하지만 집안 사정 때문에

I also needed to start working as soon as possible.

최대한 빨리 일을 해야 했죠.

So I thought to myself, hey, let me pick a technical field

그래서 과학기술 분야 중에서

where I can get a job easily

직업을 쉽게 가질 수 있으면서도

and where I don't have to deal with any troublesome questions of ethics.

복잡한 윤리적 고민을 할 필요가 없는 일을 고르기로 했습니다.

So I picked computers.

그래서 컴퓨터 관련된 일을 골랐죠.

(Laughter)

(웃음)

Well, ha, ha, ha! All the laughs are on me.

하하하! 그런데 또 어리석은 생각이었네요.

Nowadays, computer scientists are building platforms

요즘 컴퓨터 과학자들이 만드는 플랫폼은

that control what a billion people see every day.

십억 명이 매일 접하게 되는 시스템을 통제합니다.

They're developing cars that could decide who to run over.

누굴 치게 될지도 모를 차를 개발하고

They're even building machines, weapons,

전쟁에서 사람을 죽일 수 있는

that might kill human beings in war.

기계나 무기도 설계하고 있죠.

It's ethics all the way down.

모두 윤리에 관한 거죠.

Machine intelligence is here.

인공지능의 시대입니다.

We're now using computation to make all sort of decisions,

컴퓨터는 점점 다양한 의사결정에 사용되고 있고

but also new kinds of decisions.

그 중엔 새로운 것도 있죠.

We're asking questions to computation that have no single right answers,

주관적이고 가치 판단이 필요한

정답이 없는 열린 질문까지도 컴퓨터에게 묻고 있습니다.

that are subjective

and open-ended and value-laden.

We're asking questions like,

이를테면 이런 질문들이죠.

"Who should the company hire?"

"누굴 채용해야 할까요?"

"Which update from which friend should you be shown?"

"어느 친구의 어떤 소식을 업데이트해야 할까요?

"Which convict is more likely to reoffend?"

"어느 재소자가 재범 가능성이 더 높을까요?"

"Which news item or movie should be recommended to people?"

"어떤 뉴스 기사나 영화를 추천 목록에 넣을까요?"

Look, yes, we've been using computers for a while,

인간은 컴퓨터를 꽤 오래 사용했지만

but this is different.

이건 좀 다른 문제죠.

This is a historical twist,

역사적 반전입니다.

because we cannot anchor computation for such subjective decisions

왜냐하면 그런 주관적인 결정까지 컴퓨터에 의지할 수는 없거든요.

the way we can anchor computation for flying airplanes, building bridges,

비행기 조종이나 다리를 짓거나 달에 가는 것과 다르죠.

going to the moon.

Are airplanes safer? Did the bridge sway and fall?

비행기가 안전할 것인가. 다리가 흔들리고 무너질 것인가.

There, we have agreed-upon, fairly clear benchmarks,

이런 문제는 명확하고 모두가 동의할 만한 기준이 있고

and we have laws of nature to guide us.

자연법칙에 따라 판단하면 되죠.

We have no such anchors and benchmarks

하지만 인간 사회의 일을 판단하는 데에는

for decisions in messy human affairs.

그런 기준이 존재하지 않습니다.

To make things more complicated, our software is getting more powerful,

더욱이 요즘 소프트웨어는 점점 더 강력해지고 있지만

but it's also getting less transparent and more complex.

동시에 더욱 불투명해지고 이해하기 힘들어지고 있습니다.

Recently, in the past decade,

지난 십 년 동안

complex algorithms have made great strides.

복합 알고리즘에는 굉장한 진전이 있었죠.

They can recognize human faces.

사람 얼굴을 인식할 수 있고

They can decipher handwriting.

손글씨도 읽어내며

They can detect credit card fraud

신용카드 사기를 간파하고

and block spam

스팸을 막고

and they can translate between languages.

번역도 할 수 있어요.

They can detect tumors in medical imaging.

영상 의료 사진에서 종양을 식별할 수 있고

They can beat humans in chess and Go.

인간과 체스나 바둑을 두어 이길 수 있습니다.

Much of this progress comes from a method called "machine learning."

이 진전에는 '기계 학습'이라는 기법의 공이 큽니다.

Machine learning is different than traditional programming,

기계 학습은 기존의 프로그래밍과는 다릅니다.

where you give the computer detailed, exact, painstaking instructions.

기존에는 컴퓨터에게 명확하고 자세한 지시를 내려야 했죠.

It's more like you take the system and you feed it lots of data,

이제는 시스템을 만든 뒤에 대량의 데이터를 입력합니다.

including unstructured data,

우리의 디지털 시대에 생성된

like the kind we generate in our digital lives.

구조화되지 않은 데이터들까지 포함해서 말이죠.

And the system learns by churning through this data.

시스템은 이 데이터를 헤쳐나가면서 학습합니다.

And also, crucially,

또 중요한 사실이 있는데

these systems don't operate under a single-answer logic.

이 시스템은 정답을 단정짓는 논리로 작동하지 않습니다.

They don't produce a simple answer; it's more probabilistic:

확정적인 정답을 내기보다는 확률적 결론을 내리죠.

"This one is probably more like what you're looking for."

"이게 당신이 찾던 결과일 가능성이 높습니다."라고요.

Now, the upside is: this method is really powerful.

장점은 이 방식이 정말 강력하다는 겁니다.

The head of Google's AI systems called it,

구글의 인공지능 시스템 책임자는 이를 두고

'정보의 과잉 효율성'이라고 표현했죠.

"the unreasonable effectiveness of data."

The downside is,

단점은

we don't really understand what the system learned.

그 시스템이 무엇을 배웠는지 우리는 알 수 없다는 겁니다.

In fact, that's its power.

사실 장점이기도 하죠.

This is less like giving instructions to a computer;

컴퓨터에 명령을 내린다기 보다

it's more like training a puppy-machine-creature

우리가 이해하거나 통제하지 못하는 강아지 같은 기계를

we don't really understand or control.

훈련시키는 거라고 할 수 있죠.

So this is our problem.

그런데 문제가 있어요.

It's a problem when this artificial intelligence system gets things wrong.

이 인공지능이 잘못된 것을 학습할 때 문제가 발생하죠.

It's also a problem when it gets things right,

그리고 잘 학습했어도 문제가 됩니다.

because we don't even know which is which when it's a subjective problem.

왜냐하면 주관적인 문제에서는 뭐가 뭔지도 모르니까요.

We don't know what this thing is thinking.

무슨 생각으로 이런 판단을 했는지 알 수가 없는 거죠.

So, consider a hiring algorithm --

채용 알고리즘을 생각해 보세요.

a system used to hire people, using machine-learning systems.

사람을 가려내는 기계 학습 시스템입니다.

Such a system would have been trained on previous employees' data

이런 시스템은 이전 직원들 데이터를 바탕으로 훈련되었을 것이고

and instructed to find and hire

성과가 좋을 만한 직원들을

people like the existing high performers in the company.

미리 찾아서 고용하려고 하겠죠.

Sounds good.

괜찮아 보입니다.

I once attended a conference

저는 인사부와 임원들

that brought together human resources managers and executives,

회사 고위직들이 한데 모인 그런 채용 시스템 도입을

high-level people,

주제로 한 컨퍼런스에 참석한 적이 있습니다.

using such systems in hiring.

They were super excited.

그 분들은 정말 들떠 있었죠.

They thought that this would make hiring more objective, less biased,

그들은 이 시스템이 편파적이지 않고 객관적인 채용을 가능케 하고

and give women and minorities a better shot

편견을 가진 인간 관리자보다 여성과 소수자에게

against biased human managers.

더 많은 기회를 주리라 기대했습니다.

And look -- human hiring is biased.

사람에 의한 고용은 편향됐죠.

I know.

저도 알아요.

I mean, in one of my early jobs as a programmer,

프로그래머로서의 제 초기 직장 중 하나에서

my immediate manager would sometimes come down to where I was

제 직속 상사는 가끔 제가 아침 일찍부터

really early in the morning or really late in the afternoon,

밤 늦게까지 일하던 자리로 와서

and she'd say, "Zeynep, let's go to lunch!"

"제이넵, 점심 먹으러 갑시다" 라고 말했었어요.

I'd be puzzled by the weird timing.

시계를 보고 의아해했죠.

It's 4pm. Lunch?

오후 4시에 점심이라니?

I was broke, so free lunch. I always went.

전 돈이 없었으니 점심 사 준다니까 항상 갔죠.

I later realized what was happening.

나중에 무슨 이유인지 알게 되었어요.

My immediate managers had not confessed to their higher-ups

제 직속 상사는 그녀가 고용한 프로그래머가

that the programmer they hired for a serious job was a teen girl

청바지에 운동화를 신고 일터에 오는 십대 학생이란 걸

who wore jeans and sneakers to work.

말하지 않았던 거죠.

I was doing a good job, I just looked wrong

일은 잘 하고 있었지만 입은 옷과 나이와 성별이

and was the wrong age and gender.

'적절치 않았던' 거죠.

So hiring in a gender- and race-blind way

그래서 나이와 인종을 가리지 않은 채용은

certainly sounds good to me.

저에게는 좋아 보입니다.

But with these systems, it is more complicated, and here's why:

하지만 이 시스템이 양날의 칼인 이유는 따로 있죠.

Currently, computational systems can infer all sorts of things about you

현재 이런 시스템은 여러분이 공개하지 않은 개인 정보도

from your digital crumbs,

여러분이 남긴 정보 부스러기에서 추론할 수 있기 때문입니다.

even if you have not disclosed those things.

They can infer your sexual orientation,

여러분의 성적 취향을 추측할 수 있고

your personality traits,

성격 특성과

your political leanings.

정치 성향까지 추측하죠.

They have predictive power with high levels of accuracy.

상당히 높은 수준의 적중률로요.

Remember -- for things you haven't even disclosed.

공개하지도 않은 정보를 알아냅니다.

This is inference.

추론한 것이죠.

I have a friend who developed such computational systems

제 친구 하나가 SNS 자료를 통해

to predict the likelihood of clinical or postpartum depression

질병이나 산후 우울증 가능성을 예측하는 시스템을 개발했습니다.

from social media data.

The results are impressive.

결과는 인상적이었습니다.

Her system can predict the likelihood of depression

그녀가 만든 시스템은 증상이 시작되기 몇 달 전에

months before the onset of any symptoms --

우울증 발생 가능성을 예측할 수 있었어요.

months before.

몇 달 전에요.

No symptoms, there's prediction.

증상도 없이 예측한 것이죠.

She hopes it will be used for early intervention. Great!

그녀는 이게 우울증 예방에 사용될 거라 생각했어요. 좋은 일이죠?

But now put this in the context of hiring.

하지만 지금 그 기술은 채용 시스템에 적용되었습니다.

So at this human resources managers conference,

저는 인사 담당자들이 모인 아까 그 학회에서

I approached a high-level manager in a very large company,

대기업의 고위직 관리자에게 다가가서 이렇게 말했습니다.

and I said to her, "Look, what if, unbeknownst to you,

"당신이 모르는 사이에 프로그램이

your system is weeding out people with high future likelihood of depression?

우울증 발병 가능성이 높은 사람들을 가려내고 있다면 어떻게 될까요?

They're not depressed now, just maybe in the future, more likely.

지금은 우울증이 없지만, 미래에 위험 가능성이 있죠.

What if it's weeding out women more likely to be pregnant

지금은 임신하지 않았지만

1,2년 내에 출산 휴가를 낼 만한 여성들을 미리 가려내고 있다면요?

in the next year or two but aren't pregnant now?

What if it's hiring aggressive people because that's your workplace culture?"

직장 문화에 적합하다는 이유로 공격적인 사람만을 고용한다면요?"

You can't tell this by looking at gender breakdowns.

이건 남녀 성비만으로는 판단할 수 없어요.

Those may be balanced.

성비는 이미 균형잡혀 있겠죠.

And since this is machine learning, not traditional coding,

그리고 전통적인 프로그래밍 방식이 아닌 기계 학습이기 때문에

there is no variable there labeled "higher risk of depression,"

'우울증 위험성 높음'이라는 변수명은 존재하지 않아요.

"higher risk of pregnancy,"

'임신 가능성 높음'

"aggressive guy scale."

'남성 공격성 척도'도 없죠.

Not only do you not know what your system is selecting on,

시스템이 어떤 기준으로 선택하는지 모르는 것은 물론

you don't even know where to begin to look.

어디부터 봐야 할지조차 모르는 거죠.

It's a black box.

블랙박스입니다.

It has predictive power, but you don't understand it.

그 예측 능력을 우리는 알지 못하죠.

"What safeguards," I asked, "do you have

그래서 제가 물었죠.

to make sure that your black box isn't doing something shady?"

"블랙박스가 뭔가 이상한 짓을 못하도록 어떤 안전 장치를 마련하시겠어요?"

She looked at me as if I had just stepped on 10 puppy tails.

제가 엄청난 사건을 일으킨 것처럼 쳐다보더라고요.

(Laughter)

(웃음)

She stared at me and she said,

저를 빤히 쳐다보곤 이렇게 말하더군요.

"I don't want to hear another word about this."

"이것에 대해서는 더 이상 듣고 싶지 않네요."

And she turned around and walked away.

그리고 돌아서서 가 버렸어요.

Mind you -- she wasn't rude.

그렇다고 무례했던 건 아니에요.

It was clearly: what I don't know isn't my problem, go away, death stare.

자기가 모르는 건 자기 문제가 아니니 신경쓰게 하지 말라는 경고였죠.

(Laughter)

(웃음)

Look, such a system may even be less biased

시스템은 인간 관리자와 달리 편견이 없을 수도 있어요.

than human managers in some ways.

And it could make monetary sense.

인사 업무에 돈도 덜 써도 되겠죠.

But it could also lead

하지만 이 시스템은 지속적이고 암묵적으로

to a steady but stealthy shutting out of the job market

우울증 위험이 높은 사람들의 고용 기회를 박탈할 수 있습니다.

of people with higher risk of depression.

Is this the kind of society we want to build,

이해하지도 못하는 기계에게 의사결정을 맡기면서

without even knowing we've done this,

because we turned decision-making to machines we don't totally understand?

우리 모르게 기회를 박탈하는 게 바람직한 사회인가요?

Another problem is this:

또 다른 문제도 있습니다.

these systems are often trained on data generated by our actions,

이 시스템은 우리 인간의 행동방식이 만들어 낸 정보들로 학습을 합니다.

human imprints.

인간이 남긴 흔적들이죠.

Well, they could just be reflecting our biases,

그러면 우리의 편견을 그대로 반영하게 되고

and these systems could be picking up on our biases

시스템은 그 편견을 익히고 확대시켜 우리에게 결과로 보여주게 됩니다.

and amplifying them

and showing them back to us,

while we're telling ourselves,

우리는 그걸 합리화하죠.

"We're just doing objective, neutral computation."

"지금 객관적이고 공정한 계산 결과를 뽑는 중이야~" 라면서요.

Researchers found that on Google,

연구 결과에 따르면 구글 검색의 경우에는

women are less likely than men to be shown job ads for high-paying jobs.

여성은 남성보다 고소득 구인 광고에 덜 노출된다고 합니다.

And searching for African-American names

그리고 흑인계 이름으로 검색해 보면

is more likely to bring up ads suggesting criminal history,

범죄 전과를 시사하는 광고가 더 많이 나온다고 해요.

even when there is none.

전과가 없는데도 말이죠.

Such hidden biases and black-box algorithms

이런 암묵적 편견과 블랙박스 속 알고리즘은

that researchers uncover sometimes but sometimes we don't know,

연구자들이 모두 밝혀낼 수 없어 우리도 모르는 사이에

can have life-altering consequences.

개인의 삶에 영향을 미칠 수 있죠.

In Wisconsin, a defendant was sentenced to six years in prison

위스콘신에서는 어느 피고인이 경찰 수사를 거부한 죄로

for evading the police.

6년형을 선고받았습니다.

You may not know this,

알고 계실지 모르겠지만

but algorithms are increasingly used in parole and sentencing decisions.

알고리즘이 가석방과 형량 판결에 점점 더 많이 사용되고 있습니다.

He wanted to know: How is this score calculated?

그는 대체 그런 결정이 어떻게 나오는지 알고 싶었죠.

It's a commercial black box.

그건 상업적인 블랙박스였고

The company refused to have its algorithm be challenged in open court.

개발사는 알고리즘이 법정에서 심판받는 것을 거부했죠.

But ProPublica, an investigative nonprofit, audited that very algorithm

하지만 ProPublica라는 비영리 수사 기구가

각종 데이터로 그 알고리즘을 검사했고

with what public data they could find,

and found that its outcomes were biased

밝혀진 사실은 그 알고리즘 예측 성능이 우연과 별다르지 않은 수준이었으며

and its predictive power was dismal, barely better than chance,

and it was wrongly labeling black defendants as future criminals

흑인 피고를 잠재적 범죄자로 낙인찍는 확률이

at twice the rate of white defendants.

백인 피고에 비해 두 배나 높다는 것이었습니다.

So, consider this case:

다른 경우도 살펴 볼까요.

This woman was late picking up her godsister

오른쪽 여성은 플로리다 브로워드 카운티의 학교에 다니는

from a school in Broward County, Florida,

교회 동생을 데리러 갈 약속에 늦는 바람에

running down the street with a friend of hers.

친구와 함께 뛰어가고 있었죠.

They spotted an unlocked kid's bike and a scooter on a porch

그러다 어느 집 현관에 있던 자전거와 스쿠터를 발견하고는

and foolishly jumped on it.

어리석게도 그걸 집어 탔어요.

As they were speeding off, a woman came out and said,

그들이 속도를 내며 달아날 때 한 여자가 뛰어나와 소리쳤죠.

"Hey! That's my kid's bike!"

"우리 애 자전거로 뭐 하는 거야!"

They dropped it, they walked away, but they were arrested.

그들은 자전거를 버리고 걸어서 달아났지만 체포되었습니다.

She was wrong, she was foolish, but she was also just 18.

그들이 잘못했고, 어리석긴 했어요. 그런데 겨우 열여덟 살이었죠.

She had a couple of juvenile misdemeanors.

그녀는 청소년 범죄 전과가 몇 건 있었죠.

Meanwhile, that man had been arrested for shoplifting in Home Depot --

한편, 이 남성은 마트에서 85달러어치 좀도둑질을 하다가 체포되었습니다.

85 dollars' worth of stuff, a similar petty crime.

비슷한 범죄죠.

But he had two prior armed robbery convictions.

하지만 그에게는 두 번의 무장강도 전과가 있었어요.

But the algorithm scored her as high risk, and not him.

그런데 알고리즘은 남자가 아니라 여자를 고위험군으로 분류했죠.

Two years later, ProPublica found that she had not reoffended.

2년 뒤에

ProPublica가 조사해보니 여성은 재범하지 않았습니다.

It was just hard to get a job for her with her record.

전과가 있었기에 취직이 어렵긴 했죠.

He, on the other hand, did reoffend

반면 남자는 재범하였고

and is now serving an eight-year prison term for a later crime.

그 이후 저지른 범죄로 현재 8년을 복역 중입니다.

Clearly, we need to audit our black boxes

우리는 블랙박스를 잘 검수해서

and not have them have this kind of unchecked power.

엉뚱한 권한을 갖지 않도록 분명히 해야 합니다.

(Applause)

(박수)

Audits are great and important, but they don't solve all our problems.

검수는 중요하고 또 유효하지만 모든 문제를 해결하진 못합니다.

Take Facebook's powerful news feed algorithm --

페이스북의 강력한 뉴스 피드 알고리즘을 살펴 보죠.

you know, the one that ranks everything and decides what to show you

모든 것을 순위대로 나열하고

팔로우하는 모든 친구와 페이지에서 무엇을 보여 줄지를 결정하죠.

from all the friends and pages you follow.

Should you be shown another baby picture?

아기 사진을 또 봐야 할까요?

(Laughter)

(웃음)

A sullen note from an acquaintance?

아니면 지인의 삐진 듯한 글?

An important but difficult news item?

어렵지만 중요한 뉴스 기사?

There's no right answer.

정답은 없습니다.

Facebook optimizes for engagement on the site:

알고리즘은 페이스북 활동에 최적화되어 있습니다.

likes, shares, comments.

좋아요, 공유, 댓글이죠.

In August of 2014,

2014년 8월에

protests broke out in Ferguson, Missouri,

백인 경찰관이 범행이 불확실한 상황에서

after the killing of an African-American teenager by a white police officer,

십대 흑인에게 발포하여 살해한 사건 후, 미주리 주 퍼거슨에서

under murky circumstances.

시위가 일어났습니다.

The news of the protests was all over

시위 뉴스는 알고리즘 필터가 없는

my algorithmically unfiltered Twitter feed,

트위터 글목록에는 나타났지만

but nowhere on my Facebook.

페이스북에는 흔적이 없었습니다.

Was it my Facebook friends?

페이스북 친구 때문인가 생각하고 알고리즘을 해제해 보았습니다.

I disabled Facebook's algorithm,

which is hard because Facebook keeps wanting to make you

페이스북은 계속 알고리즘이 추천하는 글을 보여주려고 해서 좀 까다로웠죠.

come under the algorithm's control,

and saw that my friends were talking about it.

친구들이 시위 이야기를 하지 않던 게 아니었습니다.

It's just that the algorithm wasn't showing it to me.

알고리즘이 전달을 막고 있었던 겁니다.

I researched this and found this was a widespread problem.

전 이걸 조사하고는 광범위한 문제임을 알았습니다.

The story of Ferguson wasn't algorithm-friendly.

퍼거슨 사건은 알고리즘이 선호할 만한 게 아니죠.

It's not "likable."

좋아요가 적습니다.

Who's going to click on "like?"

댓글 남기기도 껄끄러운데

It's not even easy to comment on.

누가 좋아요를 누르겠어요?

Without likes and comments,

좋아요와 댓글이 적어서

the algorithm was likely showing it to even fewer people,

알고리즘이 더 보여주고 싶지 않아했고

so we didn't get to see this.

결국 우리가 보지 못한 겁니다.

Instead, that week,

대신 그 주에 페이스북 알고리즘이 선호한 것은

Facebook's algorithm highlighted this,

which is the ALS Ice Bucket Challenge.

루게릭 병 모금을 위한 아이스 버킷 챌린지였습니다.

Worthy cause; dump ice water, donate to charity, fine.

얼음물 세례를 맞고 기부를 한다는 취지 자체는 괜찮죠.

But it was super algorithm-friendly.

하지만 알고리즘이 과하게 좋아할 만한 것이었습니다.

The machine made this decision for us.

기계가 결정을 내려 버린 거죠.

A very important but difficult conversation

페이스북이 유일한 소통 창구였다면

might have been smothered,

중요하지만 까다로운 쟁점이 묻힐 뻔했습니다.

had Facebook been the only channel.

Now, finally, these systems can also be wrong

마지막으로, 이 시스템은 인간과는 다른 방식으로

in ways that don't resemble human systems.

오류를 범할 수 있습니다.

Do you guys remember Watson, IBM's machine-intelligence system

퀴즈 프로그램에서 인간 참가자를 누르고 우승을 차지한

that wiped the floor with human contestants on Jeopardy?

IBM의 인공지능 왓슨을 기억하시나요?

It was a great player.

대단한 실력이었죠.

But then, for Final Jeopardy, Watson was asked this question:

하지만 왓슨이 맞이한 마지막 문제를 보시면

"Its largest airport is named for a World War II hero,

"이 도시 최대 공항 이름은 2차 대전 영웅을,

its second-largest for a World War II battle."

두 번째로 큰 공항은 2차 대전 전투를 따서 지어졌다.

(Hums Final Jeopardy music)

(Jeopardy 대기 음악)

Chicago.

답은 시카고죠.

The two humans got it right.

인간 참가자는 모두 맞췄습니다.

Watson, on the other hand, answered "Toronto" --

하지만 왓슨은 '토론토'라고 썼죠.

for a US city category!

주제가 미국 도시였는데도 말이죠.

The impressive system also made an error

또한 이 뛰어난 시스템은

that a human would never make, a second-grader wouldn't make.

초등학교 2학년생도 하지 않을 실수를 저질렀죠.

Our machine intelligence can fail

인공지능은 인간의 오류와는 다른 방식으로 오작동할 수 있고

in ways that don't fit error patterns of humans,

in ways we won't expect and be prepared for.

그래서 우리가 예상하거나 대비하기 어렵습니다.

It'd be lousy not to get a job one is qualified for,

능력에 맞는 직업을 갖지 못한다면 기분 나쁠 거예요.

but it would triple suck if it was because of stack overflow

그런데 그 이유가 프로그램 함수의 과부하 오류 때문이라면

in some subroutine.

몇 배는 더 기분 나쁘겠죠.

(Laughter)

(웃음)

In May of 2010,

2010년 5월에

a flash crash on Wall Street fueled by a feedback loop

월가의 매도 알고리즘의 피드백 반복문 오류로 주가가 폭락했고

in Wall Street's "sell" algorithm

wiped a trillion dollars of value in 36 minutes.

36분 만에 1조 달러어치의 가치가 사라진 일이 있었죠.

I don't even want to think what "error" means

살상 무기의 경우에 '오류'가 일어나면 어떻게 될지

in the context of lethal autonomous weapons.

생각하고 싶지도 않습니다.

So yes, humans have always made biases.

인간의 결정에는 결함이 많죠.

Decision makers and gatekeepers,

의사결정과 보안

in courts, in news, in war ...

법정, 언론, 전쟁에서

they make mistakes; but that's exactly my point.

모두 실수가 일어나지만 저는 그래야 한다고 생각합니다.

We cannot escape these difficult questions.

우리는 어려운 문제를 피할 수 없습니다.

We cannot outsource our responsibilities to machines.

기계에게 책임을 떠넘겨서는 안 됩니다.

(Applause)

(박수)

Artificial intelligence does not give us a "Get out of ethics free" card.

인공지능이 '윤리적 문제의 면죄부'를 주지는 않습니다.

Data scientist Fred Benenson calls this math-washing.

데이터 과학자인 프레드 베넨슨은 이를 두고 '논리 세탁'이라 표현했죠.

We need the opposite.

정반대 태도가 필요합니다.

We need to cultivate algorithm suspicion, scrutiny and investigation.

알고리즘을 의심하고 조사하고 검수하는 능력을 길러야 합니다.

We need to make sure we have algorithmic accountability,

알고리즘에 대한 회계와 감사 그리고 투명성 제고 방법을

auditing and meaningful transparency.

구축해야 합니다.

We need to accept that bringing math and computation

인간 사회의 가치 판단 문제에 수학과 컴퓨터를 도입한다고 해서

to messy, value-laden human affairs

객관적인 일이 되지는 않는다는 걸

does not bring objectivity;

받아들여야 합니다.

rather, the complexity of human affairs invades the algorithms.

오히려 인간 문제의 복잡성이 알고리즘을 주관적으로 만들죠.

Yes, we can and we should use computation

물론 더 나은 의사결정을 위해서라면 컴퓨터를 이용할 수도 있을 겁니다.

to help us make better decisions.

But we have to own up to our moral responsibility to judgment,

하지만 우리 판단의 도덕적 책임은 우리 스스로가 짊어져야 합니다.

and use algorithms within that framework,

알고리즘은 그 틀 안에서만 이용되어야 할 뿐이고

not as a means to abdicate and outsource our responsibilities

우리의 도덕적 책임을 다른 쪽에 전가하는 수단이 되어서는 안되죠.

to one another as human to human.

Machine intelligence is here.

인공지능의 시대에는

That means we must hold on ever tighter

인간 가치와 윤리가

to human values and human ethics.

더욱더 중요합니다.

Thank you.

감사합니다.

(Applause)

(박수)