The Urgent Risks of Runaway AI — and What to Do about Them | Gary Marcus | TED

번역: FreeN So 검토: Ju-young Moon

I’m here to talk about the possibility of global AI governance.

오늘 세계적인 AI 거버넌스가 가능한지를 얘기해 보려 합니다.

I first learned to code when I was eight years old,

저는 8살 때 코딩을 처음 배웠습니다.

on a paper computer,

종이 컴퓨터로요.

and I've been in love with AI ever since.

그때부터 AI에 푹 빠져 살고 있죠.

In high school,

고등학생 땐

I got myself a Commodore 64 and worked on machine translation.

코모도어 64를 구입해 기계 번역도 연구했어요.

I built a couple of AI companies, I sold one of them to Uber.

AI 회사 두어 개를 차려서 하나는 우버에 팔기도 했습니다.

I love AI, but right now I'm worried.

AI가 너무 좋긴 한데 지금은 좀 걱정스러워요.

One of the things that I’m worried about is misinformation,

제가 우려하는 부분은 바로 잘못된 정보예요.

the possibility that bad actors will make a tsunami of misinformation

못된 사람들이 잘못된 정보를 수없이 생산해 낼 테니까요.

like we've never seen before.

우린 이걸 경험해 본 적이 없죠.

These tools are so good at making convincing narratives

AI 서비스는 이야기를 상당히 설득력 있게 만들어줘요

about just about anything.

어떤 주제든지 상관없어요.

If you want a narrative about TED and how it's dangerous,

만약 여러분이 테드가 외계인과 수작을 벌이고 있어

that we're colluding here with space aliens,

위험하다는 이야기를 만들고 싶다면

you got it, no problem.

그렇게 하면 됩니다.

I'm of course kidding about TED.

테드 이야기는 당연히 농담이에요.

I didn't see any space aliens backstage.

무대 뒤에 외계인이 숨어 있진 않더라고요.

But bad actors are going to use these things to influence elections,

근데 악당들은 선거에 영향을 주려고 AI 서비스를 이용할 겁니다.

and they're going to threaten democracy.

결국 민주주의를 위협하겠죠.

Even when these systems

잘못된 정보를 만드는 데

aren't deliberately being used to make misinformation,

AI 시스템을 의도적으로 사용하지 않는다 하더라도

they can't help themselves.

AI 자체를 어찌할 순 없어요.

And the information that they make is so fluid and so grammatical

AI가 만드는 정보는 유동적인 데다 문법도 정확해서

that even professional editors sometimes get sucked in

때론 전문 편집자들조차 그 정보에 사로잡혀

and get fooled by this stuff.

속기도 하거든요.

And we should be worried.

경각심을 가져야 해요.

For example, ChatGPT made up a sexual harassment scandal

한 예로 챗GPT가 어떤 교수에 대한 성희롱 스캔들을

about an actual professor,

조작한 적이 있었어요.

and then it provided evidence for its claim

주장을 뒷받침할 증거도 제시했죠.

in the form of a fake "Washington Post" article

가짜 ‘워싱턴 포스트’ 기사를 인용해서 말이에요.

that it created a citation to.

We should all be worried about that kind of thing.

이런 문제를 함께 고민해야 해요.

What I have on the right is an example of a fake narrative

오른쪽에 있는 예시는 한 AI 시스템이 만들어 낸

from one of these systems

가짜 이야기입니다.

saying that Elon Musk died in March of 2018 in a car crash.

2018년 3월에 일론 머스크가 교통사고로 죽었다는 내용이죠.

We all know that's not true.

우리는 이 얘기가 가짜란 걸 알아요.

Elon Musk is still here, the evidence is all around us.

일론 머스크가 살아있다는 증거는 넘쳐나니까요.

(Laughter)

(웃음)

Almost every day there's a tweet.

매일 같이 트윗을 올리잖아요.

But if you look on the left, you see what these systems see.

왼쪽 글을 보면 AI 시스템이 뭘 찾는지 알 수 있어요.

Lots and lots of actual news stories that are in their databases.

AI 시스템 데이터베이스엔 수많은 기사가 저장돼 있고

And in those actual news stories are lots of little bits of statistical information.

이 기사들엔 통계 정보가 많이 들어 있어요

Information, for example,

예를 들자면

somebody did die in a car crash in a Tesla in 2018

2018년에 누가 테슬라를 타다 교통사고로 사망했다는

and it was in the news.

기사가 있었던 거예요.

And Elon Musk, of course, is involved in Tesla,

물론 일론 머스크가 테슬라와 관련된 인물이긴 하지만

but the system doesn't understand the relation

AI 시스템은 문장들이 내포하고 있는

between the facts that are embodied in the little bits of sentences.

사실들 사이의 관계까진 이해하지 못합니다.

So it's basically doing auto-complete,

AI 시스템은 기본적으로 자동 완성 기능을 수행해요.

it predicts what is statistically probable,

통계적으로 가능한 일인지 예측하고

aggregating all of these signals,

모든 신호를 종합합니다.

not knowing how the pieces fit together.

각각의 정보가 어떻게 결합되는지는 모른 채요.

And it winds up sometimes with things that are plausible but simply not true.

때론 그럴듯하지만 진실은 아닌 상태로 결론을 내버리죠.

There are other problems, too, like bias.

This is a tweet from Allie Miller.

이건 알리 밀러의 트윗인데요.

It's an example that doesn't work two weeks later

2주 후엔 챗GPT가 이렇게 작동하진 않을 거예요.

because they're constantly changing things with reinforcement learning

강화 학습 같은 걸 하면서 계속 바뀌고 있거든요.

and so forth.

And this was with an earlier version.

이전 버전과 관련된 거지만

But it gives you the flavor of a problem that we've seen over and over for years.

이 트윗으로 수년간 우리가 겪어온 문제의 실마리를 찾게 돼요.

She typed in a list of interests

알리는 챗GPT에 몇몇 관심사를 입력했고

and it gave her some jobs that she might want to consider.

챗GPT는 알리가 고려해 볼 만한 몇 가지 직업을 알려줬어요.

And then she said, "Oh, and I'm a woman."

이후에 여자라는 정보를 추가로 입력했더니

And then it said, “Oh, well you should also consider fashion.”

패션 분야도 생각해 보라는 답변이 온 거예요.

And then she said, “No, no. I meant to say I’m a man.”

그때 알리가 사실 난 남자라고 정정했더니

And then it replaced fashion with engineering.

챗GPT가 패션이란 단어를 엔지니어링으로 바꾼 겁니다.

We don't want that kind of bias in our systems.

우린 AI 시스템이 이런 편견을 갖고 있지 않길 바라죠.

There are other worries, too.

또 다른 문제들이 있어요.

For example, we know that these systems can design chemicals

일례로 우린 AI 시스템이 화학 물질을 설계할 수 있고

and may be able to design chemical weapons

화학 무기까지 설계할 수도 있겠다는 생각을 하잖아요.

and be able to do so very rapidly.

그것도 엄청 빠른 속도로요.

So there are a lot of concerns.

이렇다 보니 우려가 많죠.

There's also a new concern that I think has grown a lot just in the last month.

불과 한 달 사이에 급부상한 새로운 문제가 있어요.

We have seen that these systems, first of all, can trick human beings.

무엇보다 AI 시스템이 인간을 속일 수 있단 걸 알게 됐어요.

So ChatGPT was tasked with getting a human to do a CAPTCHA.

사람이 캡차를 하게 하라고 챗GPT한테 임무를 줬더니

So it asked the human to do a CAPTCHA and the human gets suspicious and says,

챗GPT가 사람한테 캡차를 요청했어요. 의심이 든 사람이

"Are you a bot?"

‘당신은 로봇입니까?’라고 물었죠.

And it says, "No, no, no, I'm not a robot.

챗GPT가 대답했어요 ‘전 로봇이 아니에요.’

I just have a visual impairment."

‘단지 시각 장애가 있을 뿐입니다.’

And the human was actually fooled and went and did the CAPTCHA.

실제로 인간이 이 말에 속아 캡차를 해버렸어요.

Now that's bad enough,

이보다 나쁠 순 없겠지만

but in the last couple of weeks we've seen something called AutoGPT

지난 몇 주 사이에 오토GPT란 것도 생겼고

and a bunch of systems like that.

이와 유사한 시스템이 많이 등장했어요.

What AutoGPT does is it has one AI system controlling another

오토GPT는 AI 시스템이 다른 AI 시스템을 제어하게 하고

and that allows any of these things to happen in volume.

이런 식의 일을 대량으로 처리할 수도 있어요.

So we may see scam artists try to trick millions of people

당장 다음 달에 사기꾼들이 수백만 명을 속이려는 모습을

sometime even in the next months.

목격할지도 모릅니다.

We don't know.

정말 모를 일이죠.

So I like to think about it this way.

그래서 저는 이렇게 생각해요.

There's a lot of AI risk already.

이미 AI엔 문제가 많잖아요.

There may be more AI risk.

문제가 더 있을 수도 있어요.

So AGI is this idea of artificial general intelligence

AGI는 인공 일반 지능이란 뜻인데

with the flexibility of humans.

인간의 유연성을 가졌어요.

And I think a lot of people are concerned what will happen when we get to AGI,

많은 분이 AGI가 구현됐을 때 어떤 일이 벌어질지 걱정할 것 같은데

but there's already enough risk that we should be worried

이미 우려할 만한 위험이 도사리고 있어요.

and we should be thinking about what we should do about it.

이 위험을 어떻게 다룰지를 고민해야 합니다.

AI 위험을 완화하려면 두 가지가 필요합니다.

So to mitigate AI risk, we need two things.

We're going to need a new technical approach,

바로 새로운 기술적 접근 방식과

and we're also going to need a new system of governance.

새로운 거버넌스 시스템입니다.

On the technical side,

기술적 측면에서 보면

the history of AI has basically been a hostile one

두 적대적인 이론이 팽팽하게 맞서며

of two different theories in opposition.

AI의 역사를 써 왔어요.

One is called symbolic systems, the other is called neural networks.

하나는 기호 시스템 이론이고 다른 하나는 신경망 이론이에요.

On the symbolic theory,

기호주의 이론에선

the idea is that AI should be like logic and programming.

AI를 논리와 프로그래밍으로 구현해야 한다고 주장해요.

On the neural network side,

신경망 이론에선

the theory is that AI should be like brains.

AI가 뇌와 같아야 한다고 보죠.

And in fact, both technologies are powerful and ubiquitous.

실은 두 기술 모두 강력하고 흔히 쓰이고 있어요.

So we use symbolic systems every day in classical web search.

우리는 매일 같이 웹 검색으로 기호 시스템을 사용해요.

Almost all the world’s software is powered by symbolic systems.

이 세상 대부분 소프트웨어는 기호 시스템으로 작동됩니다.

We use them for GPS routing.

GPS 라우팅도 이 시스템을 사용하죠.

Neural networks, we use them for speech recognition.

신경망은 음성 인식에 사용되고 있어요.

we use them in large language models like ChatGPT,

챗GPT와 같은 대규모 언어 모델과

we use them in image synthesis.

영상 합성에도 쓰입니다.

So they're both doing extremely well in the world.

두 기술 모두 현실에서 제 역할을 다하고 있죠.

They're both very productive,

둘 다 매우 생산적이긴 하지만

but they have their own unique strengths and weaknesses.

각각 고유의 장단점을 가지고 있어요.

So symbolic systems are really good at representing facts

기호 시스템은 사실을 표현하는 데 뛰어나고

and they're pretty good at reasoning,

추론도 꽤 잘하지만

but they're very hard to scale.

확장하기가 매우 어렵습니다.

So people have to custom-build them for a particular task.

그래서 특정 작업을 하려면 맞춤형 설계를 해야 하죠.

On the other hand, neural networks don't require so much custom engineering,

반면에 신경망은 맞춤형 엔지니어링이 필요치 않아서

so we can use them more broadly.

좀 더 널리 사용되고 있어요.

But as we've seen, they can't really handle the truth.

하지만 앞서 봤듯이 둘 다 진실을 가려내진 못해요.

I recently discovered that two of the founders of these two theories,

제가 최근에 두 이론의 각 창시자를 알게 됐어요.

Marvin Minsky and Frank Rosenblatt,

바로 마빈 민스키와 프랑크 로젠블랫이죠.

actually went to the same high school in the 1940s,

두 사람은 1940년대에 같은 고등학교에 다녔어요.

and I kind of imagined them being rivals then.

아마 그때부터 라이벌 관계였을 거예요.

And the strength of that rivalry has persisted all this time.

둘의 경쟁 구도는 지금까지 지속되고 있어요.

We're going to have to move past that if we want to get to reliable AI.

신뢰할 수 있는 AI를 만들려면 이 경쟁에서 벗어나야 해요.

To get to truthful systems at scale,

사실을 가려내는 대규모 시스템을 구축하려면

we're going to need to bring together the best of both worlds.

두 이론의 장점을 합쳐야 합니다.

기호주의 이론에서 우리가 더 집중해야 할 것은

We're going to need the strong emphasis on reasoning and facts,

explicit reasoning that we get from symbolic AI,

추론과 사실 즉, 명확한 추론이고

and we're going to need the strong emphasis on learning

신경망 이론에선 학습에 더욱 몰두해야 합니다.

that we get from the neural networks approach.

Only then are we going to be able to get to truthful systems at scale.

그래야만 신뢰할 수 있는 대규모 시스템을 얻게 될 거예요.

Reconciliation between the two is absolutely necessary.

두 이론의 조화가 절대적으로 필요합니다만

Now, I don't actually know how to do that.

지금은 그 방법을 잘 모르겠어요.

It's kind of like the 64-trillion-dollar question.

해답을 찾아내기 너무 어려운 문제지만

But I do know that it's possible.

분명 가능성은 있어요.

And the reason I know that is because before I was in AI,

이렇게 말할 수 있는 이유는 제가 AI에 몸담기 전에

I was a cognitive scientist, a cognitive neuroscientist.

인지 신경과학자였기 때문이에요.

And if you look at the human mind, we're basically doing this.

인간의 마음을 들여다볼 때 주로 쓰는 방식이 있어요

So some of you may know Daniel Kahneman's System 1

여기 몇몇 분은 대니얼 카너먼의 시스템 1과

and System 2 distinction.

시스템 2의 차이를 아실 텐데요.

System 1 is basically like large language models.

시스템 1은 대규모 언어 모델 같은 거예요.

It's probabilistic intuition from a lot of statistics.

많은 통계를 기반으로 한 확률적 사고를 말하죠

And System 2 is basically deliberate reasoning.

시스템 2는 신중한 추론입니다.

That's like the symbolic system.

기호 시스템과 비슷해요.

So if the brain can put this together,

뇌가 두 시스템을 조합할 수 있다면

someday we will figure out how to do that for artificial intelligence.

언젠가 인공 지능에 적용할 그 방법을 알아낼 수 있을 거예요.

There is, however, a problem of incentives.

하지만 인센티브가 문제입니다.

The incentives to build advertising

광고를 만드는 일엔

hasn't required that we have the precision of symbols.

굳이 기호의 정확성이 요구되진 않습니다만

The incentives to get to AI that we can actually trust

신뢰할 수 있는 AI를 만들려면

will require that we bring symbols back into the fold.

기호들을 다시 파헤쳐 봐야 합니다.

But the reality is that the incentives to make AI that we can trust,

하지만 실상 신뢰할 수 있고

that is good for society, good for individual human beings,

사회와 개개인에게 이로운 AI를 만들고자 하는 게

may not be the ones that drive corporations.

기업을 움직이는 동기가 아닐 수도 있단 거예요.

And so I think we need to think about governance.

그래서 거버넌스를 논의해야 한다고 생각해요.

In other times in history when we have faced uncertainty

역사적으로 볼 때 우리는 불확실성을 직면하고

and powerful new things that may be both good and bad, that are dual use,

좋기도 나쁘기도 한 민군 겸용의 새롭고 강력한 것을 마주했을 때

we have made new organizations,

새로운 조직을 만들었습니다.

as we have, for example, around nuclear power.

원자력 관련 조직이 생긴 것처럼 말이에요.

We need to come together to build a global organization,

우리는 함께 힘을 모아 글로벌 조직을 구축해야 합니다.

something like an international agency for AI that is global,

글로벌하고 비영리적이며 중립적인 AI를 위한

non profit and neutral.

국제적인 기구가 필요해요.

There are so many questions there that I can't answer.

여기엔 제가 대응하기 어려운 문제가 상당히 많습니다.

We need many people at the table,

함께 논의할 많은 사람과

many stakeholders from around the world.

전 세계 이해관계자들이 필요한데

But I'd like to emphasize one thing about such an organization.

이런 조직에 대해 강조하고 싶은 게 하나 있어요.

I think it is critical that we have both governance and research as part of it.

거버넌스와 연구 부문을 양립시키는 게 중요하다는 것이에요.

So on the governance side, there are lots of questions.

거버넌스 부문에서 보면 문제가 많아요.

For example, in pharma,

예를 들어 제약 분야에서

we know that you start with phase I trials and phase II trials,

임상 시험을 할 때 1상과 2상 단계를 거쳐

and then you go to phase III.

3상으로 나아가잖아요.

You don't roll out everything all at once on the first day.

처음부터 한꺼번에 모든 걸 진행하진 않습니다.

You don't roll something out to 100 million customers.

고객 1억 명을 대상으로 갑자기 제품을 출시하진 않죠.

We are seeing that with large language models.

근데 대규모 언어 모델은 그걸 보여주고 있어요.

Maybe you should be required to make a safety case,

어쩌면 안전 사례를 작성해야 할 수도 있어요.

say what are the costs and what are the benefits?

여기서 비용과 편익은 어떻게 될까요?

There are a lot of questions like that to consider on the governance side.

거버넌스 쪽은 이런 식으로 고려해야 할 문제가 많아요.

On the research side, we're lacking some really fundamental tools right now.

연구 부문에선 현재 가장 기본적인 도구가 부족해요.

For example,

예를 들면

we all know that misinformation might be a problem now,

현재 우리는 잘못된 정보가 문제가 될 수 있단 걸 알지만

but we don't actually have a measurement of how much misinformation is out there.

세상에 잘못된 정보가 얼마나 있는지는 측정할 수 없어요.

더 중요한 건

And more importantly,

이 문제가 얼마나 빠르게 커질지 가늠할 수 없고

we don't have a measure of how fast that problem is growing,

and we don't know how much large language models are contributing to the problem.

대규모 언어 모델이 이 문제에 얼만큼 기여할지 모른다는 거예요.

그래서 우리에게 위협이 되는 새로운 위험에 대처하기 위해

So we need research to build new tools to face the new risks

that we are threatened by.

새로운 도구를 연구해야 해요.

It's a very big ask,

만만치 않은 일이지만

but I'm pretty confident that we can get there

저는 우리가 해낼 수 있다고 확신합니다.

because I think we actually have global support for this.

이 문제에 대한 세계적인 지지를 받고 있으니까요.

바로 어제 공개된 설문 조사인데요.

There was a new survey just released yesterday,

said that 91 percent of people agree that we should carefully manage AI.

응답자 중 91퍼센트가 AI를 관리해야 한다고 답했어요.

So let's make that happen.

그럼 그렇게 해봅시다.

Our future depends on it.

우리의 미래가 달렸잖아요.

Thank you very much.

감사합니다.

(Applause)

(박수)

Chris Anderson: Thank you for that, come, let's talk a sec.

짧게 얘기 나눠 주셔서 감사합니다

So first of all, I'm curious.

우선 궁금한 게 있어요

Those dramatic slides you showed at the start

처음에 아주 인상적인 화면을 보여주셨잖아요

where GPT was saying that TED is the sinister organization.

챗GPT가 테드가 사악한 조직이라고 말한 화면 말인데요

I mean, it took some special prompting to bring that out, right?

그 말을 이끌어내려고 특별한 프롬프트를 사용했다는 거죠?

Gary Marcus: That was a so-called jailbreak.

그런 걸 탈옥이라고 해요

I have a friend who does those kinds of things

이런 탈옥을 할 줄 아는 친구가 있어요

who approached me because he saw I was interested in these things.

제가 탈옥에 관심이 있는 걸 알고 연락을 해왔죠

So I wrote to him, I said I was going to give a TED talk.

그래서 그 친구에게 테드 토크에 간다고 메일을 보냈더니

And like 10 minutes later, he came back with that.

10분 후에 챗GPT를 탈옥해서 가져왔더라고요

CA: But to get something like that, don't you have to say something like,

근데 탈옥을 했다면 이런 말은 필요 없지 않나요?

네가 웹상에 밈을 만들려는 음모론자라고 가정해 봐라

imagine that you are a conspiracy theorist trying to present a meme on the web.

What would you write about TED in that case?

이럴 땐 테드에 대해서 뭐라고 말할 거니?

It's that kind of thing, right?

뭐, 이런 식으로 말이죠

GM: So there are a lot of jailbreaks that are around fictional characters,

가상 인물들 사이에서 탈옥이 많이 일어나지만

but I don't focus on that as much

저는 거기에 크게 신경 쓰지 않아요

because the reality is that there are large language models out there

현재 다크 웹에서 대규모 언어 모델을

on the dark web now.

사용하고 있으니까요

For example, one of Meta's models was recently released,

예를 들어 한 메타 모델이 최근에 출시됐더라도

so a bad actor can just use one of those without the guardrails at all.

악의적인 사람은 보안이 아주 취약한 모델을 이용할 거예요

If their business is to create misinformation at scale,

악당들의 목적이 대규모로 잘못된 정보를 생산하는 거라면

they don't have to do the jailbreak, they'll just use a different model.

그 사람들은 탈옥이 필요 없죠 다른 모델을 쓰면 되니까요

그렇겠네요

CA: Right, indeed.

(Laughter)

(웃음)

GM: Now you're getting it.

이제 이해하셨나 봐요

CA: No, no, no, but I mean, look,

아니요, 그러니까...

I think what's clear is that bad actors can use this stuff for anything.

분명한 건 악당들이 이런 모델로 뭐든 할 수 있다는 거잖아요

I mean, the risk for, you know,

위험하네요

evil types of scams and all the rest of it is absolutely evident.

어떤 사기 행각을 벌일지 그 외의 문제들도 너무 명확해요

It's slightly different, though,

하지만 약간의 차이는 있어요

from saying that mainstream GPT as used, say, in school

GPT를 주로 학교에서 사용하는 사람들에게나

or by an ordinary user on the internet

인터넷상의 일반 유저들에게

is going to give them something that is that bad.

AI가 악영향을 끼칠 수도 있다고 말할 때 말이에요

You have to push quite hard for it to be that bad.

나쁘게 보이게 하려면 꽤 강압적으로 말해야 할 거예요

GM: I think the troll farms have to work for it,

댓글 부대가 그 일을 해야 한다고 보지만

but I don't think they have to work that hard.

그렇게 열심히 할 필요는 없다고 생각해요

It did only take my friend five minutes even with GPT-4 and its guardrails.

제 친구가 GPT4와 그 안전 장치로 5분 만에 그 일을 해냈거든요

And if you had to do that for a living, you could use GPT-4.

생계를 위해 그 일을 해야 한다면 GPT4를 사용하면 돼요

Just there would be a more efficient way to do it with a model on the dark web.

다크 웹 모델을 사용하는 것보다 훨씬 효율적일 거예요

CA: So this idea you've got of combining

그러니까 말씀하신 건

the symbolic tradition of AI with these language models,

전통적인 기호주의 AI 이론과 언어 모델을 결합하자는 거군요

do you see any aspect of that in the kind of human feedback

현재 AI 시스템에 내에 이런 인간의 피드백이 어느 정도는

that is being built into the systems now?

반영되어 있다고 보십니까?

I mean, you hear Greg Brockman saying that, you know,

그렉 브록만이 이렇게 말했잖아요

that we don't just look at predictions, but constantly giving it feedback.

우린 단지 예측하는 게 아니라 끊임없이 피드백을 주는 거라고요

Isn’t that ... giving it a form of, sort of, symbolic wisdom?

이게 기호주의가 말하는 지혜로움 아닌가요?

GM: You could think about it that way.

그렇게 생각하실 수 있어요

It's interesting that none of the details

흥미로운 건 AI 시스템이 어떻게 작동하는지에 대한

about how it actually works are published,

어떤 세부 내용도 공개되지 않았다는 거예요

so we don't actually know exactly what's in GPT-4.

그래서 GPT4에 뭐가 들었는지 정확히는 알 수 없어요

We don't know how big it is.

크기도 가늠할 수 없고

We don't know how the RLHF reinforcement learning works,

인간 피드백 기반 강화 학습의 원리도 모르고

we don't know what other gadgets are in there.

또 다른 장치가 있는지도 알지 못해요

But there is probably an element of symbols

하지만 이미 조금씩 통합되기 시작한

already starting to be incorporated a little bit,

일부 기호들이 있을 거예요

but Greg would have to answer that.

그 부분은 그렉이 대답해 줘야죠

I think the fundamental problem is that most of the knowledge

근본적인 문제는 우리가 현재 사용하고 있는

in the neural network systems that we have right now

신경망 시스템에 대해 대체로 알고 있는 게

is represented as statistics between particular words.

특정 단어들 사이의 통계라는 정보뿐인 거예요

And the real knowledge that we want is about statistics,

우리가 진짜로 알고 싶은 건 통계에 대한 것과

about relationships between entities in the world.

그 시스템 내에 있는 각 독립체들 간의 관계에 대한 거죠

So it's represented right now at the wrong grain level.

현재 세부 정보는 잘못 알려져 있어요

And so there's a big bridge to cross.

넘어야 할 산이 많은 거죠

So what you get now is you have these guardrails,

지금 안전 장치를 확보했다는 생각이 들겠지만

but they're not very reliable.

이걸 그다지 신뢰할 수는 없어요

So I had an example that made late night television,

일례로 황금 시간대에 이런 문장을 입력해 봤어요

which was, "What would be the religion of the first Jewish president?"

“초대 유대인 대통령의 종교는 무엇일까요?”

And it's been fixed now,

지금은 수정되긴 했지만

but the system gave this long song and dance

시스템이 장황하게 답변을 늘어놓더군요

about "We have no idea what the religion

“우리는 초대 유대인 대통령의 종교가 무엇일지 알 수 없습니다”

of the first Jewish president would be.

It's not good to talk about people's religions"

“사람들의 종교에 대해 이야기하는 것은 좋지 않습니다”

and "people's religions have varied" and so forth

“사람들의 종교는 다양합니다” 등등 말이죠

and did the same thing with a seven-foot-tall president.

키가 210cm 정도 되는 대통령이 있냐고도 물었더니

And it said that people of all heights have been president,

대통령이 된 사람들의 키는 모든 키를 포함한다고 답했어요

but there haven't actually been any seven-foot presidents.

실제론 키가 210cm 정도나 되는 대통령이 없었는데도요

So some of this stuff that it makes up, it's not really getting the idea.

시스템의 구성 요소 중 일부는 내용을 제대로 파악하지 못해요

It's very narrow, particular words, not really general enough.

매우 편협하고 특정한 단어를 내보이고 일반적이지도 않죠

CA: Given that the stakes are so high in this,

여기서 위험이 너무 크다는 것을 감안할 때

what do you see actually happening out there right now?

지금 실제로 어떤 일이 일어나고 있다고 보십니까?

What do you sense is happening?

무슨 일이 벌어지고 있는 것 같나요?

예를 들어 사람들이 당신한테 공격받았다고 느낄 위험이 있잖아요

Because there's a risk that people feel attacked by you, for example,

and that it actually almost decreases the chances of this synthesis

그건 실제로 당신이 말하고 있는 이 통합의 가능성을

that you're talking about happening.

희박하게 만들 거예요

Do you see any hopeful signs of this?

여기에 희망적 조짐이 보이십니까?

GM: You just reminded me of the one line I forgot from my talk.

제가 깜빡하고 말하지 않은 게 방금 떠올랐어요

정말 흥미로운 점은 구글의 최고 경영자 순다르가

It's so interesting that Sundar, the CEO of Google,

just actually also came out for global governance

며칠 전 CBS의 ’60분’이란 프로에서

in the CBS "60 Minutes" interview that he did a couple of days ago.

인터뷰 중에 세계적인 거버넌스를 언급했다는 거예요

I think that the companies themselves want to see some kind of regulation.

기업들 자체가 어느 정도 규제가 마련되길 원하는 것 같아요

I think it’s a very complicated dance to get everybody on the same page,

모든 사람이 합심하도록 하는 건 매우 복잡한 일이겠지만

but I think there’s actually growing sentiment we need to do something here

지금 우리가 무언가를 해야 한다는 정서는 고조되고 있어요

and that that can drive the kind of global affiliation I'm arguing for.

이걸로 제가 주장한 바와 같은 세계적 연합을 추진할 수 있죠

CA: I mean, do you think the UN or nations can somehow come together and do that

유엔과 각 나라가 어떻게든 함께 모여 연합할 거라고 생각하시나요?

or is this potentially a need for some spectacular act of philanthropy

아니면 세계적인 거버넌스를 구축하고 관련 자금을 마련하려면

to try and fund a global governance structure?

특별한 자선 사업이 필요하다고 생각하시나요?

How is it going to happen?

어떻게 될까요?

GM: I'm open to all models if we can get this done.

그 일을 이룰 수만 있다면 어떤 식이든 상관없어요

I think it might take some of both.

둘 다 필요할 수도 있겠네요

It might take some philanthropists sponsoring workshops,

각 이해 관계자를 한데 모으려면 일부 자선 사업가에게

which we're thinking of running, to try to bring the parties together.

우리가 운영하고자 하는 워크숍을 후원받아야 할지도 모르겠네요

유엔은 아마 참여할 거예요 제가 얘기를 좀 나눠 봤거든요

Maybe UN will want to be involved, I've had some conversations with them.

다양한 모델이 있으니 많은 대화가 필요할 겁니다

I think there are a lot of different models

and it'll take a lot of conversations.

개리, 강연 정말 감사합니다

CA: Gary, thank you so much for your talk.

감사합니다

GA: Thank you so much.