The danger of AI is weirder than you think | Janelle Shane

번역: Chaelim Lee 검토: DK Kim

So, artificial intelligence

인공지능은

is known for disrupting all kinds of industries.

온갖 종류의 산업을 와해시키는 것으로 알려져 있죠.

What about ice cream?

아이스크림 시장은 어떨까요?

What kind of mind-blowing new flavors could we generate

어떤 새롭고 놀라운 맛들을

고도의 인공지능으로 만들 수 있을까요?

with the power of an advanced artificial intelligence?

So I teamed up with a group of coders from Kealing Middle School

그래서 저는 킬링 중학교 학생들과

to find out the answer to this question.

이 문제의 답을 찾아 보고자 했습니다.

They collected over 1,600 existing ice cream flavors,

현재 존재하는 1600가지가 넘는 아이스크림 맛들을 모으고,

and together, we fed them to an algorithm to see what it would generate.

어떤 것을 만들 수 있는지 보기 위해 알고리즘을 적용했습니다.

And here are some of the flavors that the AI came up with.

그리고 여기 AI가 만들어낸 맛들이 있습니다.

[Pumpkin Trash Break]

[호박 쓰레기 브레이크]

(Laughter)

(웃음)

[Peanut Butter Slime]

[땅콩 버터 슬라임]

[Strawberry Cream Disease]

[딸기 크림 질병]

(Laughter)

(웃음)

These flavors are not delicious, as we might have hoped they would be.

이 맛들은 저희가 바랐던 것 만큼 맛있지 않습니다.

So the question is: What happened?

무슨 일이 일어난 것일까요? 뭐가 잘못된 거죠?

What went wrong?

Is the AI trying to kill us?

AI가 우리를 죽이려고 하는 것일까요?

Or is it trying to do what we asked, and there was a problem?

아니면 우리가 요청했던 걸 하려 했지만 문제가 있었던 걸까요?

In movies, when something goes wrong with AI,

영화에서 AI와 관련해 뭔가 잘못되면,

it's usually because the AI has decided

보통은 AI가 인간에게 더 이상 복종하기 싫다고 결정하고

that it doesn't want to obey the humans anymore,

and it's got its own goals, thank you very much.

AI 스스로의 목표를 가지기 때문이죠, 아주 감사하게도요.

In real life, though, the AI that we actually have

실제 상황에서는 그러나, 실제 AI는

is not nearly smart enough for that.

전혀 그렇게 똑똑하지 않습니다.

It has the approximate computing power

AI의 연산 능력은 대략 지렁이 정도,

of an earthworm,

or maybe at most a single honeybee,

아마 기껏해봐야 꿀벌 한마리,

and actually, probably maybe less.

사실, 아마 그것도 안 될 겁니다.

Like, we're constantly learning new things about brains

우리는 끊임없이 두뇌에 대해 새로운 것을 배워서

that make it clear how much our AIs don't measure up to real brains.

AI가 실제 두뇌에 얼마나 못미치는지 분명히 알 수 있죠.

So today's AI can do a task like identify a pedestrian in a picture,

오늘날의 AI는 사진 속의 행인을 식별하기 같은 일을 할 수 있죠.

but it doesn't have a concept of what the pedestrian is

그러나 AI는 행인이 무엇이라는 개념은 가지고 있지 않습니다.

beyond that it's a collection of lines and textures and things.

그것은 선과 질감같은 것들의 덩어리 너머의 것입니다.

It doesn't know what a human actually is.

AI는 실제 인간이라는 게 무엇인지 알지 못합니다.

So will today's AI do what we ask it to do?

그래서 오늘날의 AI는 우리가 요청한 것을 수행할까요?

It will if it can,

할 수 있다면 하겠죠,

but it might not do what we actually want.

그러나 우리가 진짜 원하는 것을 하지 않을 수도 있습니다.

So let's say that you were trying to get an AI

가령 여러분이 AI를 이용해서 이 로봇 부품들로

to take this collection of robot parts

and assemble them into some kind of robot to get from Point A to Point B.

로봇을 조립해서 A에서 B로 간다고 생각해 봅시다.

Now, if you were going to try and solve this problem

만약 여러분이 이 문제를 해결하기 위해

전통적인 방식의 컴퓨터 프로그래밍을 이용한다면,

by writing a traditional-style computer program,

you would give the program step-by-step instructions

이 프로그램에 단계별 지시를 주겠죠.

on how to take these parts,

부품들은 다루는 방법이라든가, 다리가 있는 로봇으로 만드는 방법과,

how to assemble them into a robot with legs

and then how to use those legs to walk to Point B.

그 다리로 B까지 걸어가는 방법을요.

But when you're using AI to solve the problem,

그러나 AI를 이용해서 이 문제를 해결한다면,

it goes differently.

다른 이야기가 됩니다.

You don't tell it how to solve the problem,

어떻게 문제를 해결하는지에 대해 AI에게 알려주지 않고

you just give it the goal,

여러분은 그냥 목표를 줍니다.

and it has to figure out for itself via trial and error

그리고 그것은 시행착오를 통해 스스로 목표에 도달할 방법을 알아내는 것이죠.

how to reach that goal.

And it turns out that the way AI tends to solve this particular problem

AI가 이 특정한 문제를 푸는 방식은

is by doing this:

이렇습니다.

it assembles itself into a tower and then falls over

스스로를 탑으로 조립한 다음에 쓰러져서 B에 떨어지는 것이죠.

and lands at Point B.

And technically, this solves the problem.

그리고, 따지고 보면, 이건 문제를 해결하긴 합니다.

Technically, it got to Point B.

기술적으로는, B까지 도달한 것이죠.

The danger of AI is not that it's going to rebel against us,

AI의 위험은 그것이 우리에게 맞설 것이라는 것이 아니라,

it's that it's going to do exactly what we ask it to do.

우리가 요청한 것을 아주 그대로 할 것이라는 겁니다.

So then the trick of working with AI becomes:

따라서 AI를 사용할 때의 요점은

How do we set up the problem so that it actually does what we want?

AI가 우리가 원하는 결과를 만들도록 어떻게 문제를 설정하느냐입니다.

So this little robot here is being controlled by an AI.

여기 이 조그만 로봇은 AI가 조종합니다.

The AI came up with a design for the robot legs

AI는 로봇다리의 디자인을 생각해냈고

and then figured out how to use them to get past all these obstacles.

모든 장애물들을 지나가기 위해 다리를 이용할 방법을 알아냈습니다.

But when David Ha set up this experiment,

그러나 데이비드 하씨가 이 실험을 고안할 때,

he had to set it up with very, very strict limits

그는 아주, 아주 엄격한 제한을 설정해야만 했습니다.

on how big the AI was allowed to make the legs,

AI가 만들 수 있는 다리의 크기에요.

because otherwise ...

그렇지 않았다면...

(Laughter)

(웃음)

And technically, it got to the end of that obstacle course.

그리고 엄밀히 말하면, 이것은 장애물 코스를 통과했습니다.

So you see how hard it is to get AI to do something as simple as just walk.

이처럼 그냥 걷는 것 같은 간단한 일도 AI에게는 어렵습니다.

So seeing the AI do this, you may say, OK, no fair,

그래서 AI가 이러는 것을 보면, 여러분은 아마 이렇게 말할 겁니다.

규칙위반이야, 그냥 큰 탑이 돼서 넘어지면 안돼.

you can't just be a tall tower and fall over,

you have to actually, like, use legs to walk.

걸으려면 다리같은 걸 써야지.

And it turns out, that doesn't always work, either.

그런데 그 방법도 항상 되지는 않죠.

This AI's job was to move fast.

이 AI의 목표는 빠르게 움직이는 것입니다.

They didn't tell it that it had to run facing forward

그들은 AI에게 앞으로 달려야 하고,

or that it couldn't use its arms.

팔을 사용하면 안된다고 알려주지 않았습니다.

So this is what you get when you train AI to move fast,

AI에게 빨리 움직이는 것을 훈련시키면 이런 결과를 얻을 것입니다.

you get things like somersaulting and silly walks.

공중제비를 하거나 바보같은 걸음같은 것을 볼 수 있죠.

It's really common.

이건 아주 흔합니다.

So is twitching along the floor in a heap.

바닥에서 웅크리고 씰룩거리는 것도요.

(Laughter)

(웃음)

So in my opinion, you know what should have been a whole lot weirder

그래서 제 생각에는, 더 이상했어야 했던 것은

is the "Terminator" robots.

“터미네이터” 로봇입니다.

Hacking "The Matrix" is another thing that AI will do if you give it a chance.

“매트릭스”를 해킹하는 것은 기회를 주면 AI가 할 또다른 일이죠.

So if you train an AI in a simulation,

만약 여러분이 시뮬레이션에서 AI를 훈련시킨다면,

it will learn how to do things like hack into the simulation's math errors

시뮬레이션의 수학적 오류들을 해킹하는 것과 같은 방법을 배워서

and harvest them for energy.

그것들을 통해 에너지를 얻을 것입니다.

Or it will figure out how to move faster by glitching repeatedly into the floor.

아니면 반복적으로 바닥에 고장을 내 더 빨리 움직이는 방법을 알아내겠죠.

When you're working with AI,

AI와 일하는 것은 사람과 일하는 것과 다르고,

it's less like working with another human

and a lot more like working with some kind of weird force of nature.

자연의 어떤 이상한 힘과 일하는 것과 더 유사합니다.

And it's really easy to accidentally give AI the wrong problem to solve,

실수로 AI에게 잘못된 문제를 주는 것도 쉬운 일입니다.

and often we don't realize that until something has actually gone wrong.

보통 실제로 일이 잘못될 때까지 우리는 그걸 알아채지 못하죠.

So here's an experiment I did,

제가 진행한 실험이 하나 있습니다.

where I wanted the AI to copy paint colors,

저는 AI가 물감 색들을 복사해서

to invent new paint colors,

새로운 물감을 만들어내기를 원했습니다.

given the list like the ones here on the left.

여기 왼쪽에 있는 목록을 주고요.

And here's what the AI actually came up with.

이게 AI가 실제로 만들어낸 것입니다.

[Sindis Poop, Turdly, Suffer, Gray Pubic]

[신디스 똥, 똥덩어리같은, 고생하다, 회색 음부]

(Laughter)

(웃음)

So technically,

그래서 엄밀히 말하면,

it did what I asked it to.

제가 요청한 것을 하긴 했습니다.

I thought I was asking it for, like, nice paint color names,

저는 제가 멋진 물감 이름들을 요청했다고 생각했는데

but what I was actually asking it to do

실제로 제가 요청했던 것은

was just imitate the kinds of letter combinations

원래에 있던 것들에 보이는 문자조합을 그냥 모방하는 것이었습니다.

that it had seen in the original.

And I didn't tell it anything about what words mean,

그 단어들의 뜻이 무엇인지에 대해 알려주지 않았습니다.

or that there are maybe some words

혹은 물감에 사용하면 안되는 단어도 있을 수 있다는 것도요.

that it should avoid using in these paint colors.

So its entire world is the data that I gave it.

AI가 알고 있는 세계는 제가 준 데이터가 전부였지요.

Like with the ice cream flavors, it doesn't know about anything else.

아이스크림 맛처럼, 다른 것에 대해서는 전혀 아는 것이 없었습니다.

So it is through the data

그래서 이 데이터를 통해서

that we often accidentally tell AI to do the wrong thing.

우리는 AI에게 잘못된 것을 하라고 종종 실수로 말합니다.

This is a fish called a tench.

이건 잉어라고 불리는 물고기입니다.

And there was a group of researchers

연구자들이 AI를 훈련시켜 사진에서 잉어를 식별하도록 했습니다.

who trained an AI to identify this tench in pictures.

But then when they asked it

그러나 그들이 AI에게 사진의 어떤 부분을

what part of the picture it was actually using to identify the fish,

물고기를 식별하는데 썼는지 물어보자

here's what it highlighted.

이것이 나타났습니다.

Yes, those are human fingers.

네, 저것들은 사람의 손가락입니다.

Why would it be looking for human fingers

왜 물고기를 식별하는데 사람의 손가락을 찾고 있을까요?

if it's trying to identify a fish?

Well, it turns out that the tench is a trophy fish,

잉어는 기념사진으로 남길만한 물고기여서,

and so in a lot of pictures that the AI had seen of this fish

AI가 훈련동안 보았던 이 물고기의 사진들은

during training,

the fish looked like this.

이러했습니다.

(Laughter)

(웃음)

And it didn't know that the fingers aren't part of the fish.

손가락이 물고기의 일부가 아니라는 것을 몰랐죠.

So you see why it is so hard to design an AI

그래서 여러분은 진짜로 무엇을 찾고 있는지 이해할 수 있는

that actually can understand what it's looking at.

AI를 디자인하는 것이 왜 어려운지 알 수 있을 것입니다.

And this is why designing the image recognition

그리고 이것이 자율주행 자동차에서의 이미지 인식을

in self-driving cars is so hard,

디자인하는 것이 왜 그렇게 힘든 일인 지에 대한 이유이고

and why so many self-driving car failures

많은 자율주행 자동차의 실패들의 이유는 AI가 혼란스러워했기 때문입니다.

are because the AI got confused.

I want to talk about an example from 2016.

2016년에 있었던 한 예에 대해 이야기해보고 싶습니다.

There was a fatal accident when somebody was using Tesla's autopilot AI,

테슬라 자동조종 AI를 이용하던 사람이 아주 치명적인 사고를 당했습니다.

but instead of using it on the highway like it was designed for,

원래 고속도로에서 사용하도록 디자인되었는데

they used it on city streets.

도시 도로에서 사용되었습니다.

And what happened was,

그리고 어떤 일이 일어났냐면,

a truck drove out in front of the car and the car failed to brake.

어떤 트럭이 차 앞으로 나왔는데, 그 차는 서지 못했습니다.

Now, the AI definitely was trained to recognize trucks in pictures.

AI는 분명히 사진들에서 트럭을 인식하도록 훈련되었습니다.

But what it looks like happened is

그러나 좀더 들여다 보면

the AI was trained to recognize trucks on highway driving,

AI가 고속도로에 있는 트럭들을 인식하도록 훈련된 거 같아 보였습니다.

where you would expect to see trucks from behind.

트럭의 뒷모습을 볼 것이라고 생각하도록 말이죠.

Trucks on the side is not supposed to happen on a highway,

트럭의 옆모습을 보는 것은 고속도로에는 일어나지 않는 일이었고,

and so when the AI saw this truck,

이 AI가 이 트럭을 봤을 땐,

it looks like the AI recognized it as most likely to be a road sign

아마도 트럭을 도로 표지판으로 인식하고

and therefore, safe to drive underneath.

따라서 운전을 해도 안전하다고 판단한 것이죠.

Here's an AI misstep from a different field.

여기, 다른 분야에서 AI의 실수가 있습니다.

Amazon recently had to give up on a résumé-sorting algorithm

아마존은 이력서분류 알고리즘을 포기해야만 했습니다.

that they were working on

실제 적용에서 이 알고리즘이 여성을 차별한다는 것을 발견한 것이죠.

when they discovered that the algorithm had learned to discriminate against women.

그들이 AI 훈련용으로 사용한 이력서는

What happened is they had trained it on example résumés

of people who they had hired in the past.

과거에 고용한 사람들의 것이었습니다.

And from these examples, the AI learned to avoid the résumés of people

그 예시들로부터, AI는 이런 사람들을 기피하는 것을 배웠습니다.

who had gone to women's colleges

여대를 나온 사람들,

or who had the word "women" somewhere in their resume,

이력서 어딘가에 ‘여성’이라는 단어가 있는 사람들,

as in, "women's soccer team" or "Society of Women Engineers."

예를 들어 '여자 축구팀', '여성공학자협회'같은 단어말이죠.

The AI didn't know that it wasn't supposed to copy this particular thing

AI는 이 특정한 행동을 따라 해선 안된다는 것을 모르고 있었죠.

that it had seen the humans do.

인간들이 하는 걸 봤더라도요.

And technically, it did what they asked it to do.

그리고 엄밀히 말하자면, AI는 아마존이 요청한 것을 했습니다.

They just accidentally asked it to do the wrong thing.

그들은 그저 실수로 잘못된 일을 시킨 것이죠.

And this happens all the time with AI.

AI에게 이런 일은 항상 일어납니다.

AI can be really destructive and not know it.

AI는 아주 해로운 일을 하는 와중에, 해롭다는 것을 모를 수 있습니다.

So the AIs that recommend new content in Facebook, in YouTube,

페이스북, 유튜브에서 새로운 콘텐츠를 추천해주는 AI들은

they're optimized to increase the number of clicks and views.

클릭 수와 조회 수를 늘리도록 최적화되어 있습니다.

And unfortunately, one way that they have found of doing this

그리고 불행하게도, 그들이 찾은 방법은

is to recommend the content of conspiracy theories or bigotry.

음모론이나 심한 편견이 있는 콘텐츠를 추천하는 것입니다.

The AIs themselves don't have any concept of what this content actually is,

AI들 자체에는 이 콘텐츠들이 실제로 무엇인지에 대한 개념이 없습니다.

and they don't have any concept of what the consequences might be

그리고 그들은 결과가 어떨 것인지에 대한 개념도 없습니다.

of recommending this content.

이러한 콘텐츠를 추천해줌으로써 발생될 결과요.

So, when we're working with AI,

그래서 우리가 AI와 일할 때,

it's up to us to avoid problems.

문제들을 피하는 것은 우리에게 달려있습니다.

And avoiding things going wrong,

일들이 잘못되는 것을 피하는 것은,

that may come down to the age-old problem of communication,

아주 오래된 소통의 문제로 이어집니다.

where we as humans have to learn how to communicate with AI.

인간인 우리가 AI와 소통하는 방법을 배워야하는 거죠.

We have to learn what AI is capable of doing and what it's not,

AI가 할 수 있는 일과 없는 일이 무엇인지 알아야 합니다.

and to understand that, with its tiny little worm brain,

또한 AI는 그 조그만 지렁이같은 뇌로

AI doesn't really understand what we're trying to ask it to do.

우리가 어떤 것을 요청하려고 하는지 이해하지 못한다는 것을 알아야합니다.

So in other words, we have to be prepared to work with AI

다시 말해, 우리는 준비해야 합니다.

that's not the super-competent, all-knowing AI of science fiction.

우리가 사용할 AI는 공상과학에나 있는 전지전능한 AI가 아닙니다.

We have to be prepared to work with an AI

현재 우리가 실제로 갖고 있는 AI와 함께 일하도록 준비해야 합니다.

that's the one that we actually have in the present day.

And present-day AI is plenty weird enough.

그리고 오늘날의 AI는 대단히 이상합니다.

Thank you.

감사합니다.

(Applause)

(박수)