Damon Horowitz calls for a "moral operating system"

번역: Jeong-Lan Kinser 검토: Jimin Lee

Power.

권력

That is the word that comes to mind.

그 말이 제 마음으로 들어서는군요.

We're the new technologists.

우리는 신세대 테크놀로지스트들입니다.

We have a lot of data, so we have a lot of power.

우리에게는 많은 양의 데이터가 있어서, 우리에겐 많은 권력이 있지요.

How much power do we have?

얼마나 많은 권력을 우리가 가지고 있나요?

Scene from a movie: "Apocalypse Now" -- great movie.

영화의 한장면: "아포칼립스 나우"--굉장한 영화지요.

We've got to get our hero, Captain Willard, to the mouth of the Nung River

우리는 우리의 영웅, 윌라드 대장을, 넝 강(Nung River) 의 입구로 가서 체포해야 해요.

so he can go pursue Colonel Kurtz.

그래서 그는 커츠 대령을 쫒을 수 있지요.

The way we're going to do this is fly him in and drop him off.

우리가 이걸 하려는 방식은 그를 비행기로 태워다가 떨구어 놓는 겁니다.

So the scene:

그래서 그 장면은:

the sky is filled with this fleet of helicopters carrying him in.

하늘은 그를 운반해 들여오는 이 헬리콥터의 무리로 가득차 있죠.

And there's this loud, thrilling music in the background,

또 거기에는 이 요란한, 스릴있는 음악이 배경에 깔려있습니다,

this wild music.

이 야생적인 음악.

♫ Dum da ta da dum ♫

♫덤 다 타 다 덤♫

♫ Dum da ta da dum ♫

♫덤 다 타 다 덤♫

♫ Da ta da da ♫

♫다 타 다 다♫

That's a lot of power.

그것은 대단한 권력입니다.

That's the kind of power I feel in this room.

그건 제가 이 장소에서 느끼는 것과 같은 종류의 권력입니다.

That's the kind of power we have

그건 우리가 가지고 있는 종류의 권력입니다

because of all of the data that we have.

왜냐하면 우리가 가지고 있는 데이터의 전부이기 때문이지요.

Let's take an example.

예를 들어봅시다.

What can we do

우리가 뭘 할수 있을까요

with just one person's data?

한사람의 데이터를 가지구요?

What can we do

우리가 뭘 할 수 있을까요

with that guy's data?

저 남자의 데이터를 가지고 말이죠?

I can look at your financial records.

저는 여러분의 재정 기록상황을 볼 수 있습니다.

I can tell if you pay your bills on time.

저는 여러분이 제때에 요금을 지불하는지 말할 수 있습니다.

I know if you're good to give a loan to.

저는 여러분이 융자를 얻을만큼 신용이 있는지 알 수 있지요.

I can look at your medical records; I can see if your pump is still pumping --

저는 여러분의 의료 기록을 볼 수 있고, 여러분의 심장이 제대로 작동하는 지 볼 수 있지요--

see if you're good to offer insurance to.

여러분이 보험을 제공받을 만큼 신용이 있는 지 볼 수 있고.

I can look at your clicking patterns.

여러분이 클릭하는 패턴을 볼 수 있습니다.

When you come to my website, I actually know what you're going to do already

여러분이 제 웹사이트로 갔을 때, 저는 실제로 여러분이 뭘 할 것인지를 알고 있습니다,

because I've seen you visit millions of websites before.

왜냐하면 저는 여러분이 전에 그 웹사이트를 방문한 것을 보았기 때문이지요.

And I'm sorry to tell you,

그리고 저는 여러분에게 말하는것을 죄송하게 생각합니다,

you're like a poker player, you have a tell.

여러분이 포커 플레이어같아서, 할말이 있다는 것을요.

I can tell with data analysis what you're going to do

저는 그 데이터 분석으로 여러분이 무엇을 할 것인지를 압니다

before you even do it.

여러분이 그것을 시작하기도 전에 말이죠.

I know what you like. I know who you are,

저는 여러분이 좋아하는것을 압니다. 저는 여러분이 누구인지를 압니다.

and that's even before I look at your mail

그것은 심지어 제가 여러분의 메일이나

or your phone.

여러분의 전화를 보기도 이전입니다.

Those are the kinds of things we can do

그런것들이 우리가 할 수 있는 종류의 것들입니다

with the data that we have.

우리가 가진 데이터를 가지고 말이죠.

But I'm not actually here to talk about what we can do.

하지만 저는 실제로 여기에서 우리가 할 수 있는것에 관해서 이야기하려고 온것이 아닙니다.

I'm here to talk about what we should do.

저는 우리가 해야만 하는 것들에 대해서 말하려고 왔어요.

What's the right thing to do?

무엇이 해야만 하는 정당한 것일까요?

Now I see some puzzled looks

자 몇몇의 혼란해하는 표정이 보이는군요.

like, "Why are you asking us what's the right thing to do?

"왜 당신이 우리에게 무엇이 해야만 하는 정당한 일인지를 묻는거야?

We're just building this stuff. Somebody else is using it."

우리는 이것을 만들고 있을 뿐이야. 다른 누군가가 그것을 이용하고 있어."

Fair enough.

충분히 정당하죠.

But it brings me back.

하지만 그것은 저를 다시 되돌려 옵니다.

I think about World War II --

저는 제 2차 세계대전에 대해 생각해 봅니다.

some of our great technologists then,

그당시 우리의 대단한 테그놀로지스트들 몇명과,

some of our great physicists,

우리의 대단한 물리학자들 몇명이,

studying nuclear fission and fusion --

핵 분열과 퓨전에 대해 공부하고 있었습니다--

just nuclear stuff.

단지 핵의 물건일 뿐이었습니다.

We gather together these physicists in Los Alamos

우리는 로스 알라모스에서 이 물리학자들과 함께 모였습니다

to see what they'll build.

그들이 지을 것이 무엇인지를 보려구요.

We want the people building the technology

우리는 사람들이 그 테크놀로지를 건축하는것을 바랍니다

thinking about what we should be doing with the technology.

우리가 테크놀로지로 무엇을 해야만 할 것인지를 생각하면서 말이지요.

So what should we be doing with that guy's data?

자 저 남자의 데이터를 가지고 우리는 무엇을 해야만 할 까요?

Should we be collecting it, gathering it,

우리가 그걸 모으고, 집합시켜야 할까요,

so we can make his online experience better?

그래서 우리가 그의 온라인 경험을 더 낫게 하기 위해서?

So we can make money?

그래서 우리가 돈을 벌수 있도록?

So we can protect ourselves

그래서 우리가 우리 자신을 보호할 수 있도록

if he was up to no good?

만약 그가 신용이 없어질 때까지?

Or should we respect his privacy,

또는 우리가 그의 개인 정보를 존중해야 할까요,

protect his dignity and leave him alone?

그의 존엄을 보호하고 그를 혼자서 내버려 두어야 할까요?

Which one is it?

어떤것이어야 할까요?

How should we figure it out?

우리가 어떻게 알아내야 할까요?

I know: crowdsource. Let's crowdsource this.

저는 압니다: 크라우드 소스. 이것을 크라우드 소스시킵시다.

So to get people warmed up,

그래서 사람들에게 준비를 시키기 위해서,

let's start with an easy question --

쉬운 질문으로 시작합시다--

something I'm sure everybody here has an opinion about:

제가 확신하기로 여기 있는 모든 사람들이 의견을 가지고 있는 무엇으로:

iPhone versus Android.

아이폰 대 안드로이드.

Let's do a show of hands -- iPhone.

손을 보여봅시다--아이폰

Uh huh.

좋아요.

Android.

안드로이드.

You'd think with a bunch of smart people

여러분이 영리한 많은 사람들이 생각하기를

we wouldn't be such suckers just for the pretty phones.

"우리는 단지 예쁜 전화만을 원하는 바보는 안될거야." 라고 하시겠죠.

(Laughter)

(웃음)

Next question,

다음 질문,

a little bit harder.

약간 더 어려운것.

Should we be collecting all of that guy's data

우리가 그 남자의 데이터를 모두 수집해서

to make his experiences better

그의 경험의 질을 높이기 위해

and to protect ourselves in case he's up to no good?

또 그가 신용이 없어질 경우에 우리를 지킬 수 있도록 해야 할까요?

Or should we leave him alone?

또는 그를 혼자 내버려 두어야 할까요?

Collect his data.

그의 데이터를 수집해라.

Leave him alone.

그를 혼자 내버려 두어라.

You're safe. It's fine.

여러분은 안전합니다. 좋아요.

(Laughter)

(웃음)

Okay, last question --

좋아요, 마지막 질문--

harder question --

어려운 질문--

when trying to evaluate

우리가 이 사례에서 무엇을 해야만 할 지

what we should do in this case,

평가하려는 노력을 할때,

should we use a Kantian deontological moral framework,

우리는 칸트방식의 의미론전 도덕 체계를 이용해야 할까요

or should we use a Millian consequentialist one?

또는 우리가 밀방식의 결과론적인 것을 이용해야 할까요?

Kant.

칸트.

Mill.

밀.

Not as many votes.

투표가 많이 없군요.

(Laughter)

(웃음)

Yeah, that's a terrifying result.

맞아요, 그건 끔찍한 결과입니다.

Terrifying, because we have stronger opinions

끔찍합니다, 왜냐하면 우리는 우리가 우리의 결정을 하는데 도움을 주는

about our hand-held devices

도덕적인 체계에 대한 것보다

than about the moral framework

우리의 소형기기 장치에 대해서

we should use to guide our decisions.

보다 강한 의견을 가지고 있기 때문이죠

How do we know what to do with all the power we have

만일 우리가 도덕적인 체계를 가지지 않았다면

if we don't have a moral framework?

우리가 가진 모든 권력을 가지고 무엇을 해야할지 어떻게 알겠습니까?

We know more about mobile operating systems,

우리는 모빌 운영 시스템에 관해 보다 더 많이 알고 있지만,

but what we really need is a moral operating system.

우리에게 정말 필요한 것은 도덕적인 운영 시스템입니다.

What's a moral operating system?

무엇이 도덕적인 운영 시스템일까요?

We all know right and wrong, right?

우리모두는 옳고 그름을 압니다, 맞지요?

You feel good when you do something right,

여러분이 뭔가 바른 일을 했을때 여러분은 기분이 좋음을 느낍니다,

you feel bad when you do something wrong.

여러분이 뭔가 나쁜 일을 했을때 여러분은 기분이 좋지 않음을 느낍니다.

Our parents teach us that: praise with the good, scold with the bad.

우리의 부모들이 그걸 가르쳤지요; 좋은것은 칭찬하고, 나쁜것은 꾸짖어라.

But how do we figure out what's right and wrong?

하지만 어떤것이 옳고 그른지 어떻게 알 수 있을까요?

And from day to day, we have the techniques that we use.

하지만 매일 매일, 우리에게는 우리가 이용하는 기술을 갖고 있습니다.

Maybe we just follow our gut.

우리는 어쩌면 우리의 본능을 그저 따라갑니다.

Maybe we take a vote -- we crowdsource.

우리는 어쩌면 투표를 합니다--우리는 크라우드 소스를 합니다.

Or maybe we punt --

또는 어쩌면 우리는 펀트(손에서 떨어뜨린 공이 땅에 닿기 전에 차기)를 하겠죠--

ask the legal department, see what they say.

법률부서에 물어봐, 그들이 뭐라고 하는지 보자.

In other words, it's kind of random,

달리 말하면, 그건 무작위적이죠,

kind of ad hoc,

일종의 임시 응변적이죠,

how we figure out what we should do.

우리가 무엇을 해야할 지 알아내는것은요.

And maybe, if we want to be on surer footing,

그리고 어쩌면, 만약 우리가 보다 확실한 거점을 확보하고 싶다면,

what we really want is a moral framework that will help guide us there,

우리가 정말 원하는 것은 우리를 저 곳으로,

that will tell us what kinds of things are right and wrong in the first place,

우리에게 처음부터 어떤 것들이 옳고 그른것인지 알려주고

and how would we know in a given situation what to do.

우리가 주어진 상황에서 무엇을 할 지 우리가 어떻게 아는 장소로 데려갈 도덕적인 체계입니다.

So let's get a moral framework.

그러니 도덕적인 체계를 마련합시다.

We're numbers people, living by numbers.

우리는 숫자에 따라 사는 숫자의 사람들입니다.

How can we use numbers

도덕적인 체계를 위한 토대로서

as the basis for a moral framework?

우리가 어떻게 숫자를 이용할까요?

I know a guy who did exactly that.

저는 바로 그렇게 한 남자를 알고 있습니다.

A brilliant guy --

굉장히 영리한 남자죠--

he's been dead 2,500 years.

그는 2,500 년전에 죽었습니다.

Plato, that's right.

플라토, 맞아요.

Remember him -- old philosopher?

그를 기억하시나요--늙은 철학자를?

You were sleeping during that class.

여러분은 그 수업에 잠을 자고 있었죠.

And Plato, he had a lot of the same concerns that we did.

자 플라토, 그는 우리가 가진것과 같은 근심을 많이 가지고 있었습니다.

He was worried about right and wrong.

그는 옳고 그름에 관해 걱정을 했습니다.

He wanted to know what is just.

그는 무엇이 정의인지에 대해서 알고 싶어했지요.

But he was worried that all we seem to be doing

하지만 그는 우리 모두가 하고 있는것과 같은

is trading opinions about this.

이것에 관한 의견을 교환하는것에 대해 걱정했습니다.

He says something's just. She says something else is just.

"그는 무엇인가가 정의라고 말해. 그녀는 다른 어떤것이 정의라고 말해," 라고 하는 것을요.

It's kind of convincing when he talks and when she talks too.

그가 말할때 그것은 신뢰할만 하고, 그녀가 말할때도 신뢰할만 하죠.

I'm just going back and forth; I'm not getting anywhere.

저는 단지 왔다 갔다 할 뿐이죠; 어떤 곳에도 도달하지 않아요.

I don't want opinions; I want knowledge.

저는 의견을 원하는 것이 아닙니다, 저는 지식을 원해요.

I want to know the truth about justice --

저는 정의에 관한 진리를 알고 싶어요--

like we have truths in math.

우리가 수학에서 진리를 가지고 있는것처럼.

In math, we know the objective facts.

수학에서, 우리는 객관적인 사실을 압니다.

Take a number, any number -- two.

숫자를 택하세요, 임의의 숫자--2.

Favorite number. I love that number.

가장 좋아하는 숫자. 저는 그 숫자를 사랑합니다.

There are truths about two.

2에 관한 진실이 있어요.

If you've got two of something,

여러분이 두개의 뭔가를 가졌다며,

you add two more, you get four.

두개를 더하면, 4를 얻게 됩니다.

That's true no matter what thing you're talking about.

그건 여러분이 어떤것에 이야기 하는지 상관없이 사실입니다.

It's an objective truth about the form of two,

그건 2의 추상적인 형태에 관한

the abstract form.

객관적인 진실입니다,

When you have two of anything -- two eyes, two ears, two noses,

여러분이 어떤것 2개를 가졌을때 --2개의 눈, 2개의 귀, 코에

just two protrusions --

단지 2개의 돌출부--

those all partake of the form of two.

그것들은 모두 2개 형태에 한몫으로 낍니다.

They all participate in the truths that two has.

그들은 모두 2가 가지는 진실에 가담합니다.

They all have two-ness in them.

그들에게는 모두 2 형태를 가지고 있어요.

And therefore, it's not a matter of opinion.

그러므로, 그것은 의견의 문제가 아닙니다.

What if, Plato thought,

만약 플라토가 생각하기를,

ethics was like math?

윤리가 수학과 같은거라고 생각했다면 어떨까요?

What if there were a pure form of justice?

만약 정의에 순수한 형태가 존재한다면요?

What if there are truths about justice,

만약 정의에 관한 진실이 있고,

and you could just look around in this world

여러분은 이 세상을 돌아보아

and see which things participated,

어떤것들이 참여되어서,

partook of that form of justice?

정의의 형태에 참가했다면은요?

Then you would know what was really just and what wasn't.

그러면 여러분은 무엇이 진실이고 무엇이 진실이 아니었는지 알 수 있을겁니다.

It wouldn't be a matter

단지 의견이나 단지 외양은

of just opinion or just appearances.

문제가 되지 않을것입니다.

That's a stunning vision.

그것은 굉장한 통찰력입니다.

I mean, think about that. How grand. How ambitious.

생각해 보세요. 얼마나 거대합니까. 얼마나 야심적인 것인가요.

That's as ambitious as we are.

그건 우리가 야심찬 정도와 같지요.

He wants to solve ethics.

우리는 윤리학을 풀고 싶어합니다.

He wants objective truths.

그는 객관적인 진실을 바랍니다.

If you think that way,

만일 여러분이 그런 방식으로 생각한다면,

you have a Platonist moral framework.

여러분은 플라톤식의 윤리체계를 가지고 있습니다.

If you don't think that way,

만일 여러분이 그런식으로 생각하지 않는다면,

well, you have a lot of company in the history of Western philosophy,

글쎄요, 여러분은 서부 철학의 역사에서 많은 동료를 공유합니다,

because the tidy idea, you know, people criticized it.

왜냐하면 그 정돈된 생각은--아시죠, 사람들이 그걸 비판합니다.

Aristotle, in particular, he was not amused.

특히, 아리스토텔레스는 그것을 즐겨하지 않았지요.

He thought it was impractical.

그는 그게 비실용적이라고 생각했습니다.

Aristotle said, "We should seek only so much precision in each subject

아리스토텔레스가 말하길, "우리는 각 주제에 그 주제가 허락하는

as that subject allows."

그 정도만의 정확성을 추구해야만 합니다."

Aristotle thought ethics wasn't a lot like math.

아리스토텔레스는 윤리가 수학과 같지 않다고 생각했어요.

He thought ethics was a matter of making decisions in the here-and-now

그는 윤리가 즉결을 요구하는 의사결정의,

using our best judgment

바른 행로를 찾기위해

to find the right path.

우리의 가장 훌륭한 판단을 이용하는 문제라고 생각했어요.

If you think that, Plato's not your guy.

만약 여러분이 그렇게 생각했다면, 플라톤은 여러분의 사람이 아닙니다.

But don't give up.

하지만 포기하지는 마세요.

Maybe there's another way

어쩌면 다른 방법이 있을수도 있습니다.

that we can use numbers as the basis of our moral framework.

우리의 윤리 체계의 기반으로서 숫자를 이용하는 것입니다.

How about this:

이건 어떨까요:

What if in any situation you could just calculate,

만약 여러분이 단지 계산할 수 있는 임의의 상황이 있다면,

look at the choices,

그 선택사항들을 보세요,

measure out which one's better and know what to do?

어떤것이 더 나은지 또 무엇을 해야할 지 아는지를 측정하세요?

That sound familiar?

그게 친숙하게 들리나요?

That's a utilitarian moral framework.

그것은 공리주의 도덕 체계입니다.£

John Stuart Mill was a great advocate of this --

존 스튜어트 밀이

nice guy besides --

좋은 사람이었던고

and only been dead 200 years.

200년 전에 타계했던것 이외에도 이 공리주의의 굉장한 주창자였지요.

So basis of utilitarianism --

그래서 공리주의의 기반은--

I'm sure you're familiar at least.

적어도 여러분이 친숙할 거라고 확신합니다.

The three people who voted for Mill before are familiar with this.

이전에 밀을 위해 투표했던 세사람은 이 실용주의에 대해 친숙합니다.

But here's the way it works.

하지만 여기 그게 운영되는 방식이 있습니다.

What if morals, what if what makes something moral

만약 윤리가, 만약 뭔가 도덕적인것을 만드는 무엇인가가

is just a matter of if it maximizes pleasure

쾌락을 극대화하고 고통을 극소화시키는 것에 대한

and minimizes pain?

문제라면 어떨까요?

It does something intrinsic to the act.

그건 그 행위에 본능적인 뭔가를 합니다.

It's not like its relation to some abstract form.

그건 추상적인 형태로의 관계와 같은 게 아닙니다.

It's just a matter of the consequences.

그건 단지 결과의 문제입니다.

You just look at the consequences

여러분은 단지 결과를 보고

and see if, overall, it's for the good or for the worse.

만약, 그게 선을 위한것인지 또는 악을 위한것인지를 전체적으로 보지요.

That would be simple. Then we know what to do.

그건 간단한 것일 겁니다. 그러면 우리는 무엇을 할 지 알지요.

Let's take an example.

예를 들어봅시다.

Suppose I go up

제가 올라가서 말하기를

and I say, "I'm going to take your phone."

"나는 너의 전화를 압수하겠어," 라고 했다고 가정해 봅시다.

Not just because it rang earlier,

그게 전에 울렸기 때문이 아니라,

but I'm going to take it because I made a little calculation.

내가 작은 계산을 했기 때문에 그것을 가질거라고.

I thought, that guy looks suspicious.

저는, 저 남자가 수상하게 보인다고 생각했습니다.

And what if he's been sending little messages to Bin Laden's hideout --

만일 그가 작은 메세지를 빈 라든의 은거장소로

or whoever took over after Bin Laden --

또는 빈 라든의 이후 세력을 물려받은 그 누구에게라도 보내왔고

and he's actually like a terrorist, a sleeper cell.

그는 실제로 테러리스트와 같은, 슬리퍼 핸드폰같다구요.

I'm going to find that out, and when I find that out,

저는 그것을 알아낼거고, 제가 그것을 알아냈을때는,

I'm going to prevent a huge amount of damage that he could cause.

그가 유발할 수도 있는 거대한 양의 손상을 방지할것입니다.

That has a very high utility to prevent that damage.

그 손상을 방지하는 것은 굉장히 높은 실용성이 있습니다.

And compared to the little pain that it's going to cause --

그리고 그것은 그것이 유발할 작은 고통으로 비교됩니다.

because it's going to be embarrassing when I'm looking on his phone

왜냐하면 제가 그의 전화기를 보면서

and seeing that he has a Farmville problem and that whole bit --

그 전화기를 바라보며 압도적으로 전체가

that's overwhelmed

팜빌 (Farmville) 문제가 있다는 것을 보는것은

by the value of looking at the phone.

창피하게 느껴질 것이기 때문입니다.

If you feel that way,

만일 여러분이 그런식으로 느낀다면,

that's a utilitarian choice.

그것은 실용주의자적인 선택입니다.

But maybe you don't feel that way either.

하지만 여러분은 그런 방식으로 느끼지 않을지도 모릅니다.

Maybe you think, it's his phone.

어쩌면은 여러분은, "그건 그의 전화야" 라고 생각할 지도 모릅니다.

It's wrong to take his phone

"그의 전화를 압수하는 것은 옳지않아,

because he's a person

왜냐하면 그는 사람이고

and he has rights and he has dignity,

그에게는 권리가 있고 존엄성이 있고,

and we can't just interfere with that.

우리는 그것을 그냥 그렇게 방해할 수는 없어.

He has autonomy.

그는 자율성을 가졌어.

It doesn't matter what the calculations are.

계산이 어떤것인지는 문제가 되지않아.

There are things that are intrinsically wrong --

본능적으로 그른것들이 있습니다--

like lying is wrong,

거짓말이 그른것과 같이요.

like torturing innocent children is wrong.

순진한 어린이들을 괴롭히는것이 그른것과 같이요.

Kant was very good on this point,

칸트는 이 요점에 관해 아주 탁월했고,

and he said it a little better than I'll say it.

그는 제가 말할 것보다 조금 더 잘 말했죠.

He said we should use our reason

그가 말하길 우리는 우리의 이성을 이용하여

to figure out the rules by which we should guide our conduct,

우리의 행실을 안내해야만하는 규칙들을 알아내야만 한다고 말했습니다.

and then it is our duty to follow those rules.

그리고 그 규칙들을 따르는 것은 우리의 의무라고요.

It's not a matter of calculation.

그것은 계산의 문제가 아닙니다.

So let's stop.

그러니 멈추도록 합시다.

We're right in the thick of it, this philosophical thicket.

우리는 그것의 밀집의 중심에 있습니다, 이것은 철학적인 착잡함이죠.

And this goes on for thousands of years,

이것은 수천년동안 지속됩니다,

because these are hard questions,

왜냐하면 이것들은 어려운 질문들이기 때문이고

and I've only got 15 minutes.

저는 단지 15분만을 가지고 있습니다.

So let's cut to the chase.

그러니 단도 직입적으로 말합시다.

How should we be making our decisions?

우리가 어떻게 우리의 의사결정을 해야만 할까요?

Is it Plato, is it Aristotle, is it Kant, is it Mill?

플라토인가요, 아리스토텔레스인가요, 칸트인가요, 밀인가요?

What should we be doing? What's the answer?

우리가 무엇을 해야만 할까요? 무엇이 대답인가요?

What's the formula that we can use in any situation

우리가 그 남자의 데이타를 이용해야만 할 지 아닌지

to determine what we should do,

우리가 어떤 상황에나 이용할 수 있는

whether we should use that guy's data or not?

우리가 무엇을 해야만 할 지를 결정하는 공식은 무엇일까요?

What's the formula?

그 공식은 무엇일까요?

There's not a formula.

공식은 없습니다.

There's not a simple answer.

단순한 대답이 있는것은 아닙니다.

Ethics is hard.

윤리학은 어렵습니다.

Ethics requires thinking.

윤리학은 생각을 요구합니다.

And that's uncomfortable.

그리고 그것은 편안하지 않지요.

I know; I spent a lot of my career

알아요; 저는 제 직업의 많은 부분을

in artificial intelligence,

인공지능에 소비했습니다,

trying to build machines that could do some of this thinking for us,

우리릉 위해 이러한 생각을 조금할 수 있는,

that could give us answers.

우리에게 대답을 줄 수 있는 기계를 설립하려고 시도하면서 말이죠.

But they can't.

그러나 기계들은 할 수 없습니다.

You can't just take human thinking

단지 인간의 생각을 택해서

and put it into a machine.

기계에 집어넣을 수는 없어요.

We're the ones who have to do it.

그것을 해야만 하는 사람은 우리입니다.

Happily, we're not machines, and we can do it.

행복하게도, 우리는 기계가 아니어서 우리는 그것을 할 수 있지요.

Not only can we think,

우리는 생각할 수 있을 뿐만이 아니라,

we must.

우리는 생각해야만 합니다.

Hannah Arendt said,

하나 아렌드트가 말하길,

"The sad truth

"슬픈 진실은

is that most evil done in this world

이 세상에 치루어진 악의 대부분은

is not done by people

악인이 되기로 선택한 사람들에

who choose to be evil.

의해서 그렇게 된것이 아니다.

It arises from not thinking."

악은 생각을 안하는 것으로부터 제기된다."

That's what she called the "banality of evil."

그것이 그녀가 "악의 진부," 라고 부르는 것입니다.

And the response to that

그리고 그에 대한 반응은

is that we demand the exercise of thinking

우리가 모든 정신을 제대로 가진 사람에게서

from every sane person.

생각의 연습을 요구하는 것입니다.

So let's do that. Let's think.

그러니 그렇게 하도록 합시다. 생각하도록 합시다.

In fact, let's start right now.

사실, 지금 그것을 바로 시작합시다.

Every person in this room do this:

이 장소에 있는 모든사람이 이렇게 하세요:

think of the last time you had a decision to make

여러분이 맨 마직막으로 의사결정을 했어야 할때를 생각하세요

where you were worried to do the right thing,

바른일을 하는것에 대해 걱정했던것

where you wondered, "What should I be doing?"

"내가 뭘해야만 하나?" 라고 의심쩍어 하던것

Bring that to mind,

그걸 마음속으로 데려오세요.

and now reflect on that

이제 그걸 회상해서

and say, "How did I come up that decision?

말하길, "어떻게 내가 그 결정에 도달했지?

What did I do? Did I follow my gut?

내가 뭘 했지? 내가 본능을 따랐나?

Did I have somebody vote on it? Or did I punt to legal?"

그걸 가지고 사람들이 투표를 하게 했나? 또는 내가 법률 전문가에게 펀트를 했나?"

Or now we have a few more choices.

또는 이제 우리는 몇가지 더 많은 선택사항들이 있습니다.

"Did I evaluate what would be the highest pleasure

"밀이 할것과 같이 가장 최상의 쾌락상태가

like Mill would?

되도록 평가했나?

Or like Kant, did I use reason to figure out what was intrinsically right?"

또는 칸트와 같이, 이성을 이용하여 본능적으로 무엇이 옳은지 알아내도록 했나?"

Think about it. Really bring it to mind. This is important.

그것에 대해 생각해 보세요. 그것을 정말로 마음속으로 들여오세요. 이것은 중요합니다.

It is so important

그것은 아주 중요합니다

we are going to spend 30 seconds of valuable TEDTalk time

우리는 귀중한 TEDTalk 시간의 30초를

doing nothing but thinking about this.

이것에 관해서만 생각해 보는데 소비할 것입니다.

Are you ready? Go.

준비 되셨나요? 하세요.

Stop. Good work.

멈추세요. 좋은 작업입니다.

What you just did,

여러분이 방금하신것은,

that's the first step towards taking responsibility

우리가 가진 권력의 전부를 가지고 우리가 무엇을 해야할

for what we should do with all of our power.

책임감을 취하는 방향으로 가는 첫번째의 단계입니다

Now the next step -- try this.

자 이제 다음 단계--이걸 시도해 보세요.

Go find a friend and explain to them

친구하나를 찾아서 설명하세요

how you made that decision.

여러분이 그 결정을 어떻게 내렸는지 말이죠.

Not right now. Wait till I finish talking.

지금말구요. 제가 이야기를 끝낼때까지 기다리세요.

Do it over lunch.

점심시간동안 그것을 하세요.

And don't just find another technologist friend;

또 다른 테크놀로지스트 친구를 찾지 마시고;

find somebody different than you.

여러분과 다른 어떤 다른 사람을 찾으세요.

Find an artist or a writer --

예술가나 작가를 찾으세요--

or, heaven forbid, find a philosopher and talk to them.

또는 천국이 금지한, 철학자를 찾아서 그에게 이야기 하세요.

In fact, find somebody from the humanities.

사실, 인문학에서의 사람을 찾으세요.

Why? Because they think about problems

왜냐구요? 왜냐하면 그들은 문제들에 관해서

differently than we do as technologists.

우리 테크놀로지스트들이 생각하는 것과는 다르게 생각하기 때문이죠.

Just a few days ago, right across the street from here,

단지 몇일전에, 여기서 바로 맞은편 거리에,

there was hundreds of people gathered together.

수백명의 사람들이 모여있었습니다.

It was technologists and humanists

테크놀로지스트들과 인문학자들이

at that big BiblioTech Conference.

거대한 비블리오 테크 컨퍼런스에서 있었지요.

And they gathered together

그들이 함께 모였습니다

because the technologists wanted to learn

왜냐하면 그들은 인문학자적인 관점에서

what it would be like to think from a humanities perspective.

생각하는것은 어떤지를 배우고 싶어서였기 때문입니다.

You have someone from Google

구글회사에서 일하는 어떤사람이

talking to someone who does comparative literature.

비교 문학을 하는 누군가에게 이야기를 합니다.

You're thinking about the relevance of 17th century French theater --

17세기의 불란서 연극과의 관련성에 대해 이야기 합니다.

how does that bear upon venture capital?

그것이 어떻게 벤처 캐피털에 이익을 산출할까요?

Well that's interesting. That's a different way of thinking.

글쎄 그게 재미있는것입니다. 그것은 다른 방식의 생각입니다.

And when you think in that way,

여러분이 그런 방식으로 생각할 때,

you become more sensitive to the human considerations,

여러분은 인간 고려점들에 대해 보다 민감하게 되지요.

which are crucial to making ethical decisions.

그건 윤리적인 의사결정을 하는데 필수적인 것입니다.

So imagine that right now

그러니 바로 여기서 상상해 보세요.

you went and you found your musician friend.

여러분이 가서 음악가 친구를 찾았습니다.

And you're telling him what we're talking about,

우리가 여기서 이야기 하는것에 대해서 그에게 이야기 합니다.

about our whole data revolution and all this --

우리의 전체적인 데이터 혁명과 이러한 모든것에 관해서--

maybe even hum a few bars of our theme music.

어쩌면 우리 테마 음악의 몇소절을 허밍할 수 도 있죠.

♫ Dum ta da da dum dum ta da da dum ♫

♫ 덤 타 다 다 덤 덤 타 다 다 덤 ♫

Well, your musician friend will stop you and say,

글쎄요, 여러분의 음악가 친구는 여러분에게 멈추어서 말하길,

"You know, the theme music

"있잖아, 그 테마 음악은

for your data revolution,

너의 데이터의 혁명을 위한 거야

that's an opera, that's Wagner.

저건 오페라야, 저건 바그너야

It's based on Norse legend.

그건 고대 스칸디나비아의 전설에 근거한 거야.

It's Gods and mythical creatures

그건 신들과 신화적인 생명체들이

fighting over magical jewelry."

마력의 보석을 놓고 싸우는것에 관한거야."

That's interesting.

그건 흥미롭습니다.

Now it's also a beautiful opera,

자 그것은 또한 아름다운 오페라입니다.

and we're moved by that opera.

또 우리는 그 오페라에 의해서 감동을 받죠.

We're moved because it's about the battle

우리는 감동을 받습니다 왜냐하면 그것은

between good and evil,

선과 악사이의 전쟁,

about right and wrong.

옳고 그름에 관한 것이기 때문입니다.

And we care about right and wrong.

우리는 옳고 그름에 대해 우려합니다.

We care what happens in that opera.

우리는 그 오페라에서 무슨 일이 일어나는지 우려합니다.

We care what happens in "Apocalypse Now."

우리는 "아포칼립소 나우"에서 무슨일이 일어나는지 염려합니다.

And we certainly care

또 우리는 확실히 염려합니다.

what happens with our technologies.

우리의 테크놀로지에 무슨일이 일어나느지를.

We have so much power today,

우리는 오늘날 대단히 많은 권력을 가지고 있습니다,

it is up to us to figure out what to do,

그것을 가지고 무엇을 할지 그것은 우리에게 달려있습니다.

and that's the good news.

그것은 좋은 뉴스입니다.

We're the ones writing this opera.

우리가 이 오페라를 쓰는 사람들입니다.

This is our movie.

이것은 우리의 영화입니다.

We figure out what will happen with this technology.

우리는 이 테크놀로지에 무슨일이 일어날지 알아냅니다.

We determine how this will all end.

이것이 어떻게 종결이 될지는 우리가 결정합니다.

Thank you.

감사합니다.

(Applause)

(박수)