How to Govern AI — Even If It’s Hard to Predict | Helen Toner | TED

번역: Jaikyoung Oh 검토: DK Kim

When I talk to people about artificial intelligence,

인공 지능에 대해 사람들과 이야기하면

something I hear a lot from non-experts is “I don’t understand AI.”

비전문가들은 주로 이렇게 말합니다.

“저는 AI가 이해가 안 됩니다.“

But when I talk to experts, a funny thing happens.

그런데 전문가들과 이야기를 하면 재밌는 일이 벌어집니다.

그들은 이렇게 말하죠.

They say, “I don’t understand AI, and neither does anyone else.”

“저는 AI를 잘 모르겠고, 실은 아무도 이해하지 못해요.”

This is a pretty strange state of affairs.

이건 참 이상한 일이에요.

Normally, the people building a new technology

보통 새로운 기술을 개발하는 사람들은

understand how it works inside and out.

그 기술이 안팎으로 어떻게 작동하는지 이해합니다.

But for AI, a technology that's radically reshaping the world around us,

하지만 우리를 둘러싼 세계를 근본적으로 바꾸고 있는 기술인 AI의 경우에는

that's not so.

그렇지 않습니다.

Experts do know plenty about how to build and run AI systems, of course.

물론 전문가들은 AI를 구축하고 운영하는 방법은 잘 압니다.

But when it comes to how they work on the inside,

하지만 내부에서 작동하는 방식이라면

우리가 아는 것에 심각한 한계가 있습니다.

there are serious limits to how much we know.

And this matters because without deeply understanding AI,

이것이 중요한 이유는 AI에 대한 깊은 이해 없이는

it's really difficult for us to know what it will be able to do next,

AI가 다음에 무엇을 할 수 있을지 알기가 정말 어렵기 때문입니다.

or even what it can do now.

심지어 지금 무엇을 할 수 있는지조차도요.

And the fact that we have such a hard time understanding

그리고 기술의 상황을 이해하고 나아갈 방향 예측에

what's going on with the technology and predicting where it will go next,

그토록 어려움을 겪고 있다는 사실은

is one of the biggest hurdles we face in figuring out how to govern AI.

AI 통제에서 우리가 직면하는 아주 큰 장애물 중 하나입니다.

But AI is already all around us,

하지만 AI는 이미 우리 주변에 널려 있고,

so we can't just sit around and wait for things to become clearer.

그래서 상황이 더 명확해지기만을 가만히 앉아서 기다릴 수는 없습니다.

We have to forge some kind of path forward anyway.

어쨌든 우리는 앞으로 나아갈 방법을 만들어야 합니다.

저는 이러한 AI 정책과 통제 문제를

I've been working on these AI policy and governance issues

for about eight years,

약 8년 동안 처음에는 샌프란시스코에서,

First in San Francisco, now in Washington, DC.

지금은 워싱턴 DC에서 연구했습니다.

Along the way, I've gotten an inside look

그 과정에서 정부가 이 기술을 통제하기 위해

at how governments are working to manage this technology.

어떤 노력을 하고 있는지 내부에서 살펴보았습니다.

And inside the industry, I've seen a thing or two as well.

업계 내부에서도 한두 가지 사례를 본 적이 있습니다.

So I'm going to share a couple of ideas

그래서 저는 AI를 어떤 식으로 통제할 수 있을지

몇 가지 생각을 나누고자 합니다.

for what our path to governing AI could look like.

먼저 이야기할 것은

But first, let's talk about what actually makes AI so hard to understand

실제로 AI를 이해하고 예측하기 어렵게 만드는 것이 무엇인가입니다.

and predict.

One huge challenge in building artificial "intelligence"

인공 '지능'을 구축하는 데 한 가지 커다란 어려움은

is that no one can agree on what it actually means

지능이 과연 무엇인지에 대하여 의견이 다 다르다는 것입니다.

to be intelligent.

새로운 기술을 개발할 때 이런 문제가 있다면 이상하죠.

This is a strange place to be in when building a new tech.

When the Wright brothers started experimenting with planes,

라이트 형제가 비행기를 실험하기 시작했을 때

they didn't know how to build one,

비행기를 만드는 방법은 몰랐지만 비행이 무엇인지는 모두가 알았죠.

but everyone knew what it meant to fly.

With AI on the other hand,

반면 AI의 경우

different experts have completely different intuitions

지능의 핵심이 무엇인지에 대해서는

about what lies at the heart of intelligence.

전문가마다 견해가 전혀 다릅니다.

Is it problem solving?

문제 해결 능력일까요?

Is it learning and adaptation,

학습과 적응일까요,

are emotions,

감정일까요?

or having a physical body somehow involved?

아니면 육체가 어떤 식으로든 개입되는 것일까요?

We genuinely don't know.

우린 정말 몰라요.

But different answers lead to radically different expectations

하지만 이에 대한 답변이 다르면

기술이 어디로 향하고 얼마나 빨리 도달할지에 대한

about where the technology is going and how fast it'll get there.

생각이 근본적으로 달라집니다.

An example of how we're confused is how we used to talk

우리가 얼마나 혼란스러워하는지 보여주는 예로는

협소한 AI와 일반 AI를 보는 방식을 들 수 있습니다.

about narrow versus general AI.

For a long time, we talked in terms of two buckets.

오랫동안 우리는 두 범주로 논의를 했습니다.

A lot of people thought we should just be dividing between narrow AI,

많은 사람들은 AI를 구분할 때

한 가지 특정한 작업에 맞게 훈련되는 협소한 AI,

trained for one specific task,

like recommending the next YouTube video,

예를 들면 다음 유튜브 영상을 추천하는 AI와,

versus artificial general intelligence, or AGI,

인간이 할 수 있는 모든 것이 가능한 AGI라는 일반 인공 지능으로

that could do everything a human could do.

나누면 된다고 생각했습니다.

We thought of this distinction, narrow versus general,

우리는 협소한 AI와 일반 AI의 이런 구분이

as a core divide between what we could build in practice

우리가 만들 수 있는 것과 실제로 지능적인 것 사이의

and what would actually be intelligent.

핵심적인 차이라고 생각했습니다.

But then a year or two ago, along came ChatGPT.

그런데 한두 해 전에 챗GPT가 등장했습니다.

If you think about it,

생각해 보면,

you know, is it narrow AI, trained for one specific task?

이것은 특정 작업에 맞게 훈련된 협소한 AI일까요?

Or is it AGI and can do everything a human can do?

아니면 인간이 할 수 있는 모든 것을 할 수 있는 AGI일까요?

분명히 답은 둘 다 아니라는 겁니다.

Clearly the answer is neither.

It's certainly general purpose.

챗GPT는 확실히 범용입니다.

It can code, write poetry,

코딩하고, 시를 쓰고,

analyze business problems, help you fix your car.

사업 문제를 분석하고 자동차 수리를 도와줄 수 있죠.

But it's a far cry from being able to do everything

하지만 여러분이나 제가 하는 모든 것을 잘하는 것과는 거리가 멀죠.

as well as you or I could do it.

So it turns out this idea of generality

그러니까 일반성이라는 개념은

doesn't actually seem to be the right dividing line

지능적인지 아닌지를 구분하는 좋은 기준이 아닌 것 같네요.

between intelligent and not.

이런 종류의 일은

And this kind of thing

is a huge challenge for the whole field of AI right now.

현재 전체 AI 분야에서 큰 과제가 되고 있습니다.

We don't have any agreement on what we're trying to build

우리가 무엇을 만들려 하는지, 또는

or on what the road map looks like from here.

앞으로 전망이 어떻게 될지에 대한 그 어떤 합의도 없습니다.

We don't even clearly understand the AI systems that we have today.

심지어 현재 우리가 사용하는 AI조차 정확히 이해하지 못하고 있습니다.

왜 그럴까요?

Why is that?

Researchers sometimes describe deep neural networks,

연구자들은 오늘날 주로 구축되고 있는 AI의 주요 유형인 심층 신경망을

the main kind of AI being built today,

as a black box.

암흑 상자에 비유하기도 합니다.

But what they mean by that is not that it's inherently mysterious

하지만 이것이 의미하는 바는 그것이 본질적으로 불가사의해서

and we have no way of looking inside the box.

상자 안을 들여다 볼 방법이 없다는 뜻이 아닙니다.

The problem is that when we do look inside,

문제는 안을 들여다 볼 때 우리가 발견하는 것이

what we find are millions,

수백만 개, 수십억 개, 심지어 수조 개 숫자가

billions or even trillions of numbers

that get added and multiplied together in a particular way.

특정한 방식으로 더해지고 곱해지고 있는 것이라는 점입니다.

전문가들이 무슨 일이 일어나고 있는지 알기 어려운 이유는

What makes it hard for experts to know what's going on

is basically just, there are too many numbers,

단지 기본적으로 숫자가 너무 많아서

and we don't yet have good ways of teasing apart what they're all doing.

이들이 무엇을 하는지 잘 구별할 좋은 방법이 아직 없기 때문입니다.

There's a little bit more to it than that, but not a lot.

아예 없지는 않지만 많지는 않습니다.

So how do we govern this technology

그렇다면 우리가 이해하고 예측하는 데 어려움을 겪는 이 기술을

that we struggle to understand and predict?

어떻게 통제할 수 있을까요?

I'm going to share two ideas.

두 가지 방법을 말씀드릴게요.

One for all of us and one for policymakers.

하나는 우리 모두를 위한 것이고 다른 하나는 정책 입안자들용입니다.

First, don't be intimidated.

첫 번째로, 겁먹지 마세요.

기술 자체에든,

Either by the technology itself

or by the people and companies building it.

기술을 개발하는 사람과 회사에든 말이죠.

On the technology,

기술 면에서 AI는 복잡할 수 있지만 마법은 아닙니다.

AI can be confusing, but it's not magical.

AI에는 우리가 이미 잘 이해하고 있는 부분도 있고,

There are some parts of AI systems we do already understand well,

and even the parts we don't understand won't be opaque forever.

이해하지 못하는 부분도 영원히 불투명하지는 않을 것입니다.

An area of research known as “AI interpretability”

'AI 해석 가능성'이라는 연구 분야는

has made quite a lot of progress in the last few years

지난 몇 년 동안 상당한 진전을 보였고

in making sense of what all those billions of numbers are doing.

수십억 개 숫자가 무엇을 하는지 이해해 나가고 있습니다.

One team of researchers, for example,

예를 들어 한 연구팀은

found a way to identify different parts of a neural network

신경망의 여러 부분을 식별하여

that they could dial up or dial down

AI의 답변을 조작하는 방법을 알아냈습니다.

to make the AI's answers happier or angrier,

더 행복하거나, 더 화나게 하거나, 더 정직하게 하거나,

more honest,

more Machiavellian, and so on.

더 마키아벨리식으로도 만들 수 있는 거죠.

If we can push forward this kind of research further,

지금으로부터 5~10년 후에 이런 연구를 더 발전시킬 수 있다면,

then five or 10 years from now,

we might have a much clearer understanding of what's going on

이른바 블랙박스 안에서 무슨 일이 벌어지고 있는지

inside the so-called black box.

훨씬 더 명확하게 이해할 수 있을 것입니다.

And when it comes to those building the technology,

또 이러한 기술을 개발하는 사람들에 대해 말하자면,

기술자들은 때로

technologists sometimes act as though

if you're not elbows deep in the technical details,

누군가 기술적 세부 사항을 깊이 알지 못한다면,

then you're not entitled to an opinion on what we should do with it.

그 용도에 대해 의견을 낼 자격이 없다는 식으로 행동하곤 합니다.

Expertise has its place, of course,

물론 전문성이 필요한 분야가 있지만

but history shows us how important it is

역사를 보면 새로운 기술에 영향을 받는 사람들이

that the people affected by a new technology

기술을 사용하는 방식을 결정하는 데 참여하는 것이

get to play a role in shaping how we use it.

얼마나 중요한지 알 수 있습니다.

Like the factory workers in the 20th century who fought for factory safety,

작업장 안전을 위해 싸웠던 20세기의 공장 노동자들이나

or the disability advocates

장애인들도 월드 와이드 웹을 편히 쓸 수 있게 요구했던 이들처럼요.

who made sure the world wide web was accessible.

You don't have to be a scientist or engineer to have a voice.

목소리를 내기 위해 과학자나 공학자가 될 필요는 없습니다.

(Applause)

(박수)

Second, we need to focus on adaptability, not certainty.

둘째, 확실성이 아니라 적응성에 초점을 맞춰야 합니다.

A lot of conversations about how to make policy for AI

AI 정책을 만드는 방법을 논의하다가 교착 상태에 자주 빠집니다.

get bogged down in fights between, on the one side,

두 편이 싸우는데 한쪽에서는 이렇게 말합니다.

people saying, "We have to regulate AI really hard right now

“AI는 매우 위험하니 지금 당장 강하게 규제해야 합니다.“

because it's so risky."

And on the other side, people saying,

반대편에서는 이렇게 말합니다.

“하지만 규제는 혁신을 죽일 것이고 그런 위험은 어떻게든 수습됩니다.”

“But regulation will kill innovation, and those risks are made up anyway.”

But the way I see it,

그런데 제가 보기에는

it’s not just a choice between slamming on the brakes

브레이크나 가속 페달 중 하나만 선택할 수 있는 것은 아닙니다.

or hitting the gas.

If you're driving down a road with unexpected twists and turns,

예상치 못한 굴곡이 있는 도로를 주행할 때는

then two things that will help you a lot

이 두 가지가 큰 도움이 될 것입니다.

are having a clear view out the windshield

앞 유리 너머를 명확히 보는 것과

and an excellent steering system.

훌륭한 조향 장치입니다.

AI에서 이들의 의미는

In AI, this means having a clear picture of where the technology is

이 기술이 지금 어디에 있고 어디를 향하는지 명확하게 파악하고,

and where it's going,

and having plans in place for what to do in different scenarios.

다양한 상황에서 어떻게 할지 계획을 세워야 한다는 것입니다.

Concretely, this means things like investing in our ability to measure

구체적으로 말하면, 이는 AI가 할 수 있는 일을 측정할 수 있는

능력에 투자하는 것을 의미합니다.

what AI systems can do.

This sounds nerdy, but it really matters.

이상하게 들리지만 정말 중요합니다.

Right now, if we want to figure out

지금으로서는 AI가

whether an AI can do something concerning,

무언가 중요한 것을 할 수 있는지 없는지를 알고 싶을 떄,

like hack critical infrastructure

예를 들면 핵심 기반 시설을 해킹할 수 있는지, 또는

or persuade someone to change their political beliefs,

어떤 사람이 정치적 신념을 바꾸도록 설득할 수 있는지 알고자 할 때,

our methods of measuring that are rudimentary.

이를 측정할 방법이 미흡합니다.

We need better.

더 발전한 방법이 필요합니다.

We should also be requiring AI companies,

우리는 또한 AI 기업,

especially the companies building the most advanced AI systems,

특히 최첨단 AI를 구축하는 회사에게

to share information about what they're building,

무엇을 구축하고 있는지, 그들의 AI가 무엇을 할 수 있는지,

what their systems can do

위험을 어떻게 관리하는지에 대한 정보를 공개하도록 요구해야 합니다.

and how they're managing risks.

And they should have to let in external AI auditors to scrutinize their work

그리고 AI의 작업을 철저히 감시하는 외부 감사인을 두도록 해서

기업이 자신의 과제를 자신이 채점하지 않게 해야 합니다.

so that the companies aren't just grading their own homework.

(Applause)

(박수)

측정 방법의 마지막 예는

A final example of what this can look like

is setting up incident reporting mechanisms,

사고 보고 절차를 만드는 것입니다.

그래야 현실 세계에서 문제가 발생했을 때

so that when things do go wrong in the real world,

we have a way to collect data on what happened

무슨 일이 일어났는지와 다음에 어떻게 고칠 수 있는지에 대한

and how we can fix it next time.

자료를 수집할 수 있습니다.

Just like the data we collect on plane crashes and cyber attacks.

비행기 추락 사고나 사이버 공격 시에 데이터를 수집하는 것처럼 말이죠.

None of these ideas are mine,

이 아이디어들은 모두 제 것이 아니며,

and some of them are already starting to be implemented in places like Brussels,

이들 중 일부는 브뤼셀이나 런던,

워싱턴 같은 곳에서도 이미 구현되기 시작한 것도 있습니다.

London, even Washington.

하지만 제가 이러한 아이디어를 강조하는 이유는

But the reason I'm highlighting these ideas,

measurement, disclosure, incident reporting,

측정이나 공개 및 사고 보고와 같은 것은

is that they help us navigate progress in AI

AI가 진전하는 데 길잡이로 도움이 되기 때문입니다.

by giving us a clearer view out the windshield.

이는 앞 유리 너머로 명확하게 보는 것과 같습니다.

If AI is progressing fast in dangerous directions,

AI가 위험한 방향으로 빠르게 발전하고 있다면

these policies will help us see that.

이러한 정책이 이를 파악하는 데 도움이 될 것입니다.

And if everything is going smoothly, they'll show us that too,

모든 것이 순조롭게 진행된다면, 그 점도 우리에게 보여 줄 것이고,

and we can respond accordingly.

우리는 그에 따라 대응할 수 있습니다.

What I want to leave you with

제가 여러분께 전하고 싶은 것은 이 두 가지가 다 사실이라는 것입니다.

is that it's both true that there's a ton of uncertainty

하나는 AI 분야에는 엄청난 불확실성과 의견 차이가 있다는 것이고

and disagreement in the field of AI.

And that companies are already building and deploying AI

또 하나는 회사들은 어쨌든 우리 모두에게 영향을 미치는 방식으로

all over the place anyway in ways that affect all of us.

곳곳에 AI를 구축하고 배포하고 있다는 것입니다.

그들 자체의 도구에만 맡기면

Left to their own devices,

it looks like AI companies might go in a similar direction

AI 회사들은 소셜 미디어 기업과 비슷한 방향으로 나아갈 것입니다.

to social media companies,

spending most of their resources on building web apps

소비자의 관심을 끄는 앱을 개발하는 데 자원을 대부분 사용할 것입니다.

and for users' attention.

그리고 기본적으로 이는 더 발전된 AI의 엄청난 힘을

And by default, it looks like the enormous power of more advanced AI systems

might stay concentrated in the hands of a small number of companies,

소수 기업의 손에 집중하거나,

심지어 몇몇 개인에게 집중할 수도 있습니다.

or even a small number of individuals.

But AI's potential goes so far beyond that.

하지만 AI의 잠재력은 그 이상입니다.

AI already lets us leap over language barriers

AI를 통해 우리는 이미 언어 장벽을 뛰어넘고

and predict protein structures.

단백질 구조를 예측할 수 있습니다.

More advanced systems could unlock clean, limitless fusion energy

더 발전된 AI는 깨끗하고 무한한 핵융합 에너지의 비밀을 풀거나

식량을 키우는 방법을 혁신하거나, 천 가지 다른 일을 할 수 있습니다.

or revolutionize how we grow food

or 1,000 other things.

And we each have a voice in what happens.

우리는 어떤 일이 벌어질지에 대한 각자의 생각이 있죠.

We're not just data sources,

우리는 그저 데이터의 원천이 아닙니다.

we are users,

우리는 사용자이자 노동자이고

we're workers,

we're citizens.

시민입니다.

So as tempting as it might be,

따라서 아무리 매혹적일지라도

we can't wait for clarity or expert consensus

우리는 우리가 AI로 하고 싶은 것을 파악하기 위해

to figure out what we want to happen with AI.

명확성이나 전문가의 합의를 기다릴 수는 없습니다.

AI is already happening to us.

AI는 이미 우리에게 일어나고 있는 일입니다.

What we can do is put policies in place

우리가 할 수 있는 일은 기술이 어떻게 변하고 있는지를

to give us as clear a picture as we can get

최대한 명확하게 파악할 수 있는 정책을 시행하는 것입니다.

of how the technology is changing,

그러면 전장에 뛰어들어 우리가 진짜로 원하는 미래로 나아갈 수 있습니다.

and then we can get in the arena and push for futures we actually want.

Thank you.

감사합니다.

(Applause)

(박수)