AI Is Dangerous, but Not for the Reasons You Think | Sasha Luccioni | TED

번역: Jinsol Song 검토: DK Kim

So I've been an AI researcher for over a decade.

저는 인공 지능 연구원으로 십 년 넘게 일했습니다.

And a couple of months ago, I got the weirdest email of my career.

그런데 몇 개월 전, 최고로 이상한 메일을 받았죠.

A random stranger wrote to me

모르는 사람이 보냈는데,

saying that my work in AI is going to end humanity.

제가 연구하는 AI가 인류를 멸망시킬 거라고 했어요.

Now I get it, AI, it's so hot right now.

무슨 말인지 알겠어요, AI가 지금 한창이잖아요.

(Laughter)

(웃음)

매일 뉴스 머리기사에 뜨는데 때로는 아주 대단한 걸 때도 있죠.

It's in the headlines pretty much every day,

sometimes because of really cool things

의료용 새로운 분자를 발견했다거나 흰색 패딩을 입은 교황 같은 거요.

like discovering new molecules for medicine

or that dope Pope in the white puffer coat.

But other times the headlines have been really dark,

하지만 그를 제외하면 머리기사들은 정말 암담했죠.

like that chatbot telling that guy that he should divorce his wife

아내와 이혼하라고 부추기는 챗봇이라든가

or that AI meal planner app proposing a crowd pleasing recipe

사람들에게 대접할 음식으로

염소 가스가 들어간 요리법을 알려준 AI 식사 계획 어플이라든지요.

featuring chlorine gas.

And in the background,

또한 그와 함께 인류 최후의 날이라든가

we've heard a lot of talk about doomsday scenarios,

실존적인 위험, 그리고 특이점에 대해 많이 들었죠.

existential risk and the singularity,

with letters being written and events being organized

그런 일들이 일어나지 않도록 하려는 글이나 행사도 있었고요.

to make sure that doesn't happen.

Now I'm a researcher who studies AI's impacts on society,

저는 인공 지능이 사회에 미칠 영향에 대해 연구하지만

and I don't know what's going to happen in 10 or 20 years,

10년이나 20년 뒤에 무슨 일이 일어날진 모르겠어요.

and nobody really does.

사실 아무도 모르죠.

But what I do know is that there's some pretty nasty things going on right now,

제가 아는 건

지금 이 순간에 아주 안 좋은 일이 일어나고 있다는 거예요.

because AI doesn't exist in a vacuum.

AI는 혼자 존재하는 게 아니거든요.

It is part of society, and it has impacts on people and the planet.

AI는 사회의 일부분이고 인간과 지구에 영향을 미쳐요.

AI models can contribute to climate change.

기후 변화에 AI 모형이 영향을 줄 수도 있죠.

Their training data uses art and books created by artists

AI는 창작가의 동의 없이 그림이나 책을 사용해서 학습해요.

and authors without their consent.

And its deployment can discriminate against entire communities.

그리고 AI를 적용하면 한 집단 전체를 차별할 수도 있죠.

But we need to start tracking its impacts.

그 영향들을 추적하기 시작해야 해요.

We need to start being transparent and disclosing them and creating tools

이제 투명하게 밝히고 도구를 만들어서

so that people understand AI better,

인공 지능을 더 잘 이해할 수 있게 하고

so that hopefully future generations of AI models

미래 AI가 더욱 신뢰받고 지속 가능할 수 있게 하고

are going to be more trustworthy, sustainable,

maybe less likely to kill us, if that's what you're into.

여러분이 원하는 게 그거라면, 인간을 죽이지 않게 해야 해요.

But let's start with sustainability,

먼저 지속 가능성부터 봅시다.

because that cloud that AI models live on is actually made out of metal, plastic,

AI가 살아가는 ‘클라우드’는

사실 철, 플라스틱으로 되어 있고 에너지가 엄청나게 많이 필요하거든요.

and powered by vast amounts of energy.

And each time you query an AI model, it comes with a cost to the planet.

인공 지능에 질문을 할 때마다 지구의 자원이 소모되죠.

Last year, I was part of the BigScience initiative,

작년에 빅사이언스 계획에 참여했었는데

which brought together a thousand researchers

전 세계에서 연구자들 천 명이 모여서 '블룸'을 만드는 일이었죠.

from all over the world to create Bloom,

the first open large language model, like ChatGPT,

챗지피티 같은 것으로 최초 대규모 공개 언어 모델이지만

but with an emphasis on ethics, transparency and consent.

윤리, 투명성과 동의에 중점을 두었죠.

And the study I led that looked at Bloom's environmental impacts

저는 블룸이 환경에 미치는 영향 연구를 주도했는데

블룸을 훈련하는 것만으로도

found that just training it used as much energy

가정집 30곳이 일 년 내내 쓰는 에너지만큼을 소모하고

as 30 homes in a whole year

and emitted 25 tons of carbon dioxide,

이산화 탄소 25톤을 배출한다고 나타났죠.

차로 지구를 다섯 바퀴 도는 셈인데

which is like driving your car five times around the planet

just so somebody can use this model to tell a knock-knock joke.

AI로 그저 말장난을 하나 하는 데에 말이죠.

And this might not seem like a lot,

이건 그렇게 많아 보이지 않을지 몰라도

but other similar large language models,

지피티 3 같은 비슷한 다른 대규모 언어 모델들은

like GPT-3,

emit 20 times more carbon.

탄소를 20배나 더 배출합니다.

But the thing is, tech companies aren't measuring this stuff.

그런데 문제는 기술 회사들이 이걸 측정도 공개도 안 한다는 겁니다.

They're not disclosing it.

이것은 빙산의 일각에 불과해요.

And so this is probably only the tip of the iceberg,

even if it is a melting one.

녹고 있는 빙산이긴 하지만 말이죠.

And in recent years we've seen AI models balloon in size

최근 몇 년간 AI 모델 규모가 커지는 것을 봤는데

because the current trend in AI is "bigger is better."

이건 현재 AI 추세가 '클수록 좋다'이기 때문이에요.

But please don't get me started on why that's the case.

왜 그런 건지는 묻지 마세요.

In any case, we've seen large language models in particular

어쨌든 특히 대형 언어 모델들이

grow 2,000 times in size over the last five years.

지난 오 년간 이천 배나 성장했죠.

And of course, their environmental costs are rising as well.

물론 환경 비용도 증가하고 있습니다.

The most recent work I led, found that switching out a smaller,

최근에 제가 주도했던 연구에서는

작고 효율적인 모델을 더 큰 언어 모델로 바꾸게 되면

more efficient model for a larger language model

emits 14 times more carbon for the same task.

똑같은 작업에 탄소를 14배나 더 배출한다는 걸 알 수 있었죠.

Like telling that knock-knock joke.

아까 말한 말장난 같은 작업 말입니다.

And as we're putting in these models into cell phones and search engines

이런 모델을 휴대폰, 검색 엔진,

and smart fridges and speakers,

스마트 냉장고와 스피커에 적용하면서

the environmental costs are really piling up quickly.

환경 비용이 본격적으로 빠르게 상승하고 있죠.

So instead of focusing on some future existential risks,

그러므로 미래의 실존적 위험보다는

let's talk about current tangible impacts

지금 일어나고 있는 눈에 보이는 영향과

and tools we can create to measure and mitigate these impacts.

그 영향을 측정하고 완화할 도구에 대해 얘기해 봅시다.

I helped create CodeCarbon,

제가 제작에 참여했던 ‘코드카본’ 프로그램은

a tool that runs in parallel to AI training code

코드를 학습하는 인공 지능과 병행해서 작동하며

that estimates the amount of energy it consumes

인공 지능이 소비하는 에너지와 방출하는 탄소를 측정합니다.

and the amount of carbon it emits.

And using a tool like this can help us make informed choices,

이 프로그램을 사용하면 더 나은 선택을 할 수 있어요.

like choosing one model over the other because it's more sustainable,

예를 들어 모델들을 비교해 지속 가능성이 높은 걸 고르거나

or deploying AI models on renewable energy,

재생 가능한 에너지로 돌아가는 인공 지능을 사용할 수 있는데

which can drastically reduce their emissions.

그러면 탄소 배출량을 눈에 띄게 줄일 수 있겠죠.

But let's talk about other things

다른 것도 얘기해 볼까요?

because there's other impacts of AI apart from sustainability.

지속 가능성 외에도 AI가 미치는 영향들이 있죠.

For example, it's been really hard for artists and authors

예를 들어 예술가와 작가들은

자신들의 작품들이 AI 모델 학습에 쓰일 때

to prove that their life's work has been used for training AI models

그들의 동의를 받지 않았음을 증명하기가 무척 힘들었죠.

without their consent.

And if you want to sue someone, you tend to need proof, right?

누군가를 고소하려면 증거가 필요하잖아요?

So Spawning.ai, an organization that was founded by artists,

그래서 예술가들이 설립한 단체인 스파우닝 AI가

created this really cool tool called “Have I Been Trained?”

'내가 학습에 사용됐나?'라는 정말 멋진 프로그램을 만들었죠.

And it lets you search these massive data sets

그걸로 거대한 데이터를 검색해서 내 작품이 쓰였는지 알 수 있어요.

to see what they have on you.

Now, I admit it, I was curious.

사실 저도 궁금했죠.

I searched LAION-5B,

영상과 문자의 거대한 집합체인 LAION-5B를 조사했어요.

which is this huge data set of images and text,

to see if any images of me were in there.

제 사진도 있는지 궁금했거든요.

Now those two first images,

저 첫 번째 사진 두 장은 제가 강연한 행사에서 찍은 거예요.

that's me from events I've spoken at.

But the rest of the images, none of those are me.

하지만 나머지 사진들은 제가 아니에요.

They're probably of other women named Sasha

그것들은 사샤라는 다른 여자가 인터넷에 올린 사진일 거예요.

who put photographs of themselves up on the internet.

제가 이미지 생성 모델을 이용해서 사샤라는 여성의 사진을 만들면

And this can probably explain why,

when I query an image generation model

to generate a photograph of a woman named Sasha,

자꾸 비키니 모델 이미지가 나오는 이유가 바로 이것이겠죠.

more often than not I get images of bikini models.

Sometimes they have two arms,

팔이 두 개이기도 하고 가끔은 세 개이기도 하지만

sometimes they have three arms,

(웃음)

but they rarely have any clothes on.

옷을 제대로 갖춰 입은 사진은 거의 없죠.

And while it can be interesting for people like you and me

이런 사진을 찾아보는 저나 여러분에게는 재미있는 것이겠지만

to search these data sets,

for artists like Karla Ortiz,

카를라 오티즈 같은 예술가인 경우

this provides crucial evidence that her life's work, her artwork,

그녀의 예술 작품이 동의 없이 AI 모델을 훈련하는 데 사용되었다는

중요한 증거를 제공하는 프로그램이죠.

was used for training AI models without her consent,

and she and two artists used this as evidence

카를라와 예술가 두 명은 이 증거를 사용해서

to file a class action lawsuit against AI companies

AI 회사를 상대로 저작권 침해 혐의로 집단 소송을 제기했습니다.

for copyright infringement.

And most recently --

그리고 최근에,

(Applause)

(박수)

And most recently Spawning.ai partnered up with Hugging Face,

최근에 스파우닝 AI는 제 직장인 허깅페이스와 협약을 맺어

the company where I work at,

to create opt-in and opt-out mechanisms for creating these data sets.

이런 데이터 집합을 생성하는 데에 참여, 거부 절차를 만들었습니다.

Because artwork created by humans shouldn’t be an all-you-can-eat buffet

사람이 창작하는 예술은

AI 언어 모델 교육을 위한 무한 리필 뷔페가 아니니까요.

for training AI language models.

(Applause)

(박수)

The very last thing I want to talk about is bias.

마지막으로 편견에 대해서 봅시다.

You probably hear about this a lot.

이에 대해 많이 들어보셨을 거예요.

Formally speaking, it's when AI models encode patterns and beliefs

길게 말하자면 AI 모델이 고정 관념과 인종 차별,

that can represent stereotypes or racism and sexism.

그리고 성차별이 담긴 패턴과 신념을 부호화하는 것이죠.

One of my heroes, Dr. Joy Buolamwini, experienced this firsthand

제 영웅인 조이 부올람위니 박사가 이걸 직접 경험했죠.

when she realized that AI systems wouldn't even detect her face

조이가 흰색 마스크를 끼지 않으면 AI는 그의 얼굴을 감지하지 못했어요.

unless she was wearing a white-colored mask.

Digging deeper, she found that common facial recognition systems

더 깊이 파고들자 일반적인 안면 인식 시스템은

were vastly worse for women of color compared to white men.

백인 남성에 비해 유색 인종 여성에서 더욱 엉망이라는 점을 알게 되었죠.

And when biased models like this are deployed in law enforcement settings,

이렇게 편향된 프로그램들이 사법 체계에 적용되면

this can result in false accusations, even wrongful imprisonment,

누명이나 부당한 징역살이를 초래할 수도 있어요.

최근 몇 달간 이런 일이 여러 명에게 일어났죠.

which we've seen happen to multiple people in recent months.

For example, Porcha Woodruff was wrongfully accused of carjacking

임신 팔 개월 차인 포르차 우드러프는 억울하게 자동차 절도 혐의를 받았는데

at eight months pregnant

because an AI system wrongfully identified her.

그 이유는 AI 시스템이 그녀를 잘못 인식했기 때문이었죠.

But sadly, these systems are black boxes,

그런데 안타깝지만 이 시스템은 불랙박스예요.

and even their creators can't say exactly why they work the way they do.

왜 이렇게 작동하는지는 만든 사람조차 설명하지 못하죠.

And for example, for image generation systems,

예를 들어서 영상 생성 시스템이

if they're used in contexts like generating a forensic sketch

가해자에 대한 묘사를 바탕으로 용의자 몽타주를 생성할 때

based on a description of a perpetrator,

they take all those biases and they spit them back out

위험한 범죄자, 테러리스트, 범죄 집단이라는 단어를 넣으면

for terms like dangerous criminal, terrorists or gang member,

그에 대한 편견을 그대로 반영해서 답을 내놓죠.

which of course is super dangerous

이런 도구가 우리 사회에 적용되면 당연히 정말 위험합니다.

when these tools are deployed in society.

And so in order to understand these tools better,

저는 이러한 도구를 더 잘 알아보려고

I created this tool called the Stable Bias Explorer,

스테이블 바이어스 익스플로러라는 프로그램을 만들었죠.

which lets you explore the bias of image generation models

이것으로 영상 생성 모델들에 있는 직업에 대한 편견을 알아볼 수 있어요.

through the lens of professions.

So try to picture a scientist in your mind.

과학자에 대한 영상을 마음속으로 그려 보세요.

Don't look at me.

절 쳐다보지 마시구요.

What do you see?

뭐가 보이시나요?

A lot of the same thing, right?

이런 게 많이 보이죠?

Men in glasses and lab coats.

안경을 쓰고 실험복을 입은 남자들이요.

And none of them look like me.

저랑 닮은 사람은 한 명도 없네요.

And the thing is,

영상 생성 모델을 모두 봤는데 문제는 같은 현상을 많이 발견했다는 거예요.

is that we looked at all these different image generation models

and found a lot of the same thing:

significant representation of whiteness and masculinity

저희가 알아 본 직업 150개 모두에서 백인성과 남성성이 과하게 나타났죠.

across all 150 professions that we looked at,

even if compared to the real world,

미국 노동 통계국에 나와 있는 현실 세상과 비교해서도요.

the US Labor Bureau of Statistics.

이러한 모델들은 남성 변호사, 남성 CEO 등

These models show lawyers as men,

and CEOs as men, almost 100 percent of the time,

거의 모든 사람을 백인 남성으로 그렸죠.

even though we all know not all of them are white and male.

변호사나 CEO가 모두 백인 남자인 건 아닌데도요.

And sadly, my tool hasn't been used to write legislation yet.

안타깝지만 제 프로그램이 아직 법률 제정에 이용되진 않았죠.

But I recently presented it at a UN event about gender bias

하지만 최근 성 편견을 다룬 UN 행사에 프로그램을 소개하면서

as an example of how we can make tools for people from all walks of life,

각계각층의 사람들, 혹은 코딩을 할 줄 모르는 사람들을 위해서도

even those who don't know how to code,

AI에 관여하고 더 잘 이해할 수 있는 도구를 만들 수 있다는 걸 설명했죠.

to engage with and better understand AI because we use professions,

저희는 직업을 사용했지만 마음에 드는 어떤 단어로 해도 돼요.

but you can use any terms that are of interest to you.

And as these models are being deployed,

이런 모델들이 사용되면서

are being woven into the very fabric of our societies,

우리 사회의 모든 면과

our cell phones, our social media feeds,

핸드폰, 소셜미디어 피드,

even our justice systems and our economies have AI in them.

심지어 사법 체계나 경제까지 모든 것이 영향을 받습니다.

And it's really important that AI stays accessible

AI가 언제 잘 작동하고 언제 작동하지 않는지 알 수 있도록

so that we know both how it works and when it doesn't work.

AI에 언제나 접근할 수 있도록 하는 건 정말 중요합니다.

And there's no single solution for really complex things like bias

편견, 저작권, 기후 변화처럼 너무나 복잡한 문제들에는

or copyright or climate change.

간단한 해결 방법이 없어요.

But by creating tools to measure AI's impact,

하지만 AI의 영향을 측정하는 도구를 만들어서

we can start getting an idea of how bad they are

이것들이 얼마나 안 좋은지 알 수 있으며

and start addressing them as we go.

앞으로 문제를 해결해 나갈 수 있고

Start creating guardrails to protect society and the planet.

사회와 지구를 보호하는 방호책을 만들 수도 있죠.

And once we have this information,

일단 우리가 이 정보를 얻으면

companies can use it in order to say,

기업들은 이렇게 말할 거예요.

OK, we're going to choose this model because it's more sustainable,

"이 모델이 더 지속 가능하니까 이걸 써야겠군."

this model because it respects copyright.

"이 모델이 저작권을 보호하니까 이걸 써야겠군."

Legislators who really need information to write laws,

법률 제정에 정보가 정말로 필요한 국회의원들은

can use these tools to develop new regulation mechanisms

이 도구들을 이용해 새로운 법안을 개발하거나

or governance for AI as it gets deployed into society.

사회에 널리 쓰이는 인공 지능을 관리하는 방법을 모색할 수 있죠.

And users like you and me can use this information

저와 여러분 같은 이용자는 이러한 정보들을 사용해

to choose AI models that we can trust,

믿을 수 있는 AI 모델, 우리를 왜곡하지 않을 AI 모델,

not to misrepresent us and not to misuse our data.

우리 정보를 남용하지 않을 AI 모델을 선택할 수 있죠.

But what did I reply to that email

제 일이 인류를 멸망시킬 거라는 이메일에는 뭐라고 답했냐고요?

that said that my work is going to destroy humanity?

I said that focusing on AI's future existential risks

우리가 AI가 몰고 올 미래 실존 위험에 집중한다면

is a distraction from its current,

현재 일어나고 있는 매우 실질적인 영향을 무시하게 되고

very tangible impacts

and the work we should be doing right now, or even yesterday,

이런 영향을 줄이기 위해 오늘 할, 심지어는 어제 했어야 할

for reducing these impacts.

일들에 집중하지 못한다고 했습니다.

Because yes, AI is moving quickly, but it's not a done deal.

네, AI 발전이 빠르긴 하지만 아직 끝난 게 아니에요.

We're building the road as we walk it,

우리는 걸으면서 길을 만들고

and we can collectively decide what direction we want to go in together.

어디로 함께 나아갈지 같이 결정할 수 있습니다.

감사합니다.

Thank you.

(박수)

(Applause)