Your Right to Repair AI Systems | Rumman Chowdhury | TED

번역: Jihoo Cha 검토: Jihyeon J. Kim

I want to tell you a story

인공지능과 농부들에 대한

about artificial intelligence and farmers.

이야기를 들려드리고자 합니다.

Now, what a strange combination, right?

정말 이상한 조합이죠?

Two topics could not sound more different from each other.

이 두 가지 주제는 서로 관련이 없어 보입니다.

But did you know that modern farming actually involves a lot of technology?

하지만 현대 농업에는 실제로 많은 기술이 필요하다는 사실을 알고 계셨나요?

So computer vision is used to predict crop yields.

컴퓨터 비전은 농작물 수확량을 예측하는 데 사용됩니다.

And artificial intelligence is used to find,

그리고 인공 지능은 곤충을 찾고,

identify and get rid of insects.

식별하고, 없애는 데 사용됩니다.

Predictive analytics helps figure out extreme weather conditions

예측 분석은 가뭄이나 허리케인과

like drought or hurricanes.

같은 극한의 기상 조건을 파악하는 데 도움이 됩니다.

But this technology is also alienating to farmers.

하지만 이 기술은 농부들에게도 소외감을 안겨주죠.

And this all came to a head in 2017

2017년, 트랙터 회사인 죤 디어가

with the tractor company John Deere when they introduced smart tractors.

스마트 트랙터를 출시하면서 이 모든 것이 극에 달했습니다.

So before then, if a farmer's tractor broke,

이 이전에는 농부의 트랙터가 고장나면

they could just repair it themselves or take it to a mechanic.

직접 수리하거나 정비사에게 가져갈 수 있었죠.

Well, the company actually made it illegal

글쎄요, 회사는 농부들이 직접 장비를 고치는 것을 사실상

for farmers to fix their own equipment.

불법으로 규정했어요.

You had to use a licensed technician

면허를 받은 기술자를 고용해야만 했고

and farmers would have to wait for weeks

농부들은 농작물이 썩고 해충이

while their crops rot and pests took over.

기승을 부릴 때까지 몇 주를 기다려야 했습니다.

So they took matters into their own hands.

그래서 그들은 문제를 직접 해결했죠.

Some of them learned to program,

그들 중 몇몇은 프로그래밍을 배웠고,

and they worked with hackers to create patches to repair their own systems.

해커들과 함께 자신들의 시스템을 고칠 수 있는 패치를 만들었습니다.

In 2022,

2022년, 세계에서 가장 큰 해커 컨퍼런스 중 하나인 DEFCON에서

at one of the largest hacker conferences in the world, DEFCON,

Sick Codes라는 해커와 그 의 팀은 존 디어 트랙터에

a hacker named Sick Codes and his team

침입하는 방법을 모두에게 보여줬습니다.

showed everybody how to break into a John Deere tractor,

이는 기술이 취약하다는 사실 뿐만 아니라

showing that, first of all, the technology was vulnerable,

당신이 당신만의 장비를 소유할 수 있으며

but also that you can and should own your own equipment.

소유해야만 한다는 것을 나타냈죠.

To be clear, this is illegal,

분명히 말씀드리자면, 이것은 불법임에도 불구하고

but there are people trying to change that.

이것을 바꾸려는 사람들이 있습니다.

Now that movement is called the “right to repair.”

그리고 이 운동은 “수리할 권리”라고 불립니다.

The right to repair goes something like this.

수리할 권리란 다음과 같습니다.

If you own a piece of technology,

당신이 기술을 소유하고 있다면

it could be a tractor, a smart toothbrush,

이는 트랙터, 스마트 칫솔,

a washing machine,

세탁기 등이 될 수 있습니다.

you should have the right to repair it if it breaks.

그리고 이들이 고장났다면 수리할 권리가 있어야 하죠.

So why am I telling you this story?

그럼 제가 왜 이런 이야기를 하는 걸까요?

The right to repair needs to extend to artificial intelligence.

수리 권리는 인공 지능에까지 확대되어야 합니다.

Now it seems like every week

AI산업은 매주 새롭고 놀라운

there is a new and mind-blowing innovation in AI.

혁신이 펼쳐지는 곳처럼 보입니다.

But did you know that public confidence is actually declining?

하지만 대중의 신뢰도가 실제로 떨어지고 있다는 사실을 알고 계셨나요?

A recent Pew poll showed that more Americans are concerned

최근 Pew 여론 조사에 따르면 기술에 대해 기대하는 것보다

than they are excited about the technology.

우려하는 미국인이 더 많은 것으로 나타났습니다.

This is echoed throughout the world.

이는 전 세계에서도 울려 퍼지고 있습니다.

The World Risk Poll shows

World Risk Poll에 따르면

that respondents from Central and South America and Africa

중남미, 아프리카의 응답자들은

all said that they felt AI would lead to more harm than good for their people.

모두 AI가 국민에게 득보다 실이 더 많을 것이라고 생각한다고 답했습니다.

As a social scientist and an AI developer,

사회과학자이자 AI 개발자인 저에게는

this frustrates me.

이 점이 좌절감을 안겨줍니다.

I'm a tech optimist

저는 기술 낙관론자입니다.

because I truly believe this technology can lead to good.

왜냐하면 저는 이 기술이 좋은 결과를 가져올 수 있다고 진심으로 믿기 때문입니다.

So what's the disconnect?

그렇다면 무엇이 단점일까요?

Well, I've talked to hundreds of people over the last few years.

글쎄요, 저는 지난 몇 년 동안 수백 명의 사람들과 이야기를 나눴어요.

Architects and scientists, journalists and photographers,

건축가와 과학자, 저널리스트와 사진작가,

ride-share drivers and doctors,

공유 차량 운전자와 의사가

and they all say the same thing.

모두 같은 말을 합니다.

People feel like an afterthought.

사람들은 모두 나중에 하고 싶어해요.

They all know that their data is harvested often without their permission

사람들은 모두 자신의 데이터가 정교한 시스템을 만들 때

to create these sophisticated systems.

허락없이 수집되는 경우가 많다는 것을 알고 있습니다.

They know that these systems are determining their life opportunities.

그들은 이러한 시스템이 삶의 기회를 결정한다는 것을 알고 있습니다.

They also know that nobody ever bothered to ask them

하지만 그 누구도 시스템을 어떻게 구축해야 하는지는

how the system should be built,

물어보지 않는다는 것도 알고 있습니다.

and they certainly have no idea where to go if something goes wrong.

그리고 문제가 생기면 어디로 가야 할지도 전혀 모르고 있죠.

We may not own AI systems,

우리가 AI 시스템을 소유하고 있지 않을 수도 있지만

but they are slowly dominating our lives.

AI는 서서히 우리 삶을 지배하고 있습니다.

We need a better feedback loop

우리에겐 이러한 시스템을 만드는 사람들과

between the people who are making these systems,

이러한 AI 시스템이 우리의 세계 안에서

and the people who are best determined to tell us

어떻게 상호작용해야하는지 가장 잘 알려줄 수 있는 사람들

how these AI systems should interact in their world.

사이에 더 나은 피드백 루프가 필요합니다.

One step towards this is a process called red teaming.

이를 위한 한 걸음은 레드 팀 구성 (red teaming) 이라는 프로세스입니다.

Now, red teaming is a practice that was started in the military,

레드 팀 구성은 군대에서 시작된 관행으로

and it's used in cybersecurity.

사이버 보안에 사용되고 있습니다.

In a traditional red-teaming exercise,

기존의 레드팀 구성 방식에서는

external experts are brought in to break into a system,

외부 전문가를 초빙하여 시스템에 침입합니다.

sort of like what Sick Codes did with tractors, but legal.

Sick Codes가 트랙터로 했던 것과 비슷하지만 합법적이죠.

So red teaming acts as a way of testing your defenses

따라서 레드 팀 구성은 방어 체계를 테스트하는

and when you can figure out where something will go wrong,

하나의 수단으로 작용하며, 어디서 문제가 발생할지

you can figure out how to fix it.

파악할 수 있을 때 이를 고칠 방법을 찾아낼 수 있습니다.

But when AI systems go rogue,

하지만 AI 시스템이 무용지물이 된다면

it's more than just a hacker breaking in.

이는 단순히 해커가 침입하는 것을 넘어서게 됩니다.

The model could malfunction or misrepresent reality.

이 모델은 오작동을 일으키거나 현실을 잘못 표현할 수 있습니다.

So, for example, not too long ago,

예를 들어, 얼마 전까지만 해도 우린

we saw an AI system attempting diversity

AI 시스템이 과거에는 정확하지 않은 사진을 보여줌으로써

by showing historically inaccurate photos.

다양성을 시도하는 것을 볼 수 있었습니다.

Anybody with a basic understanding of Western history

서양 역사에 대한 기본적인 이해가 있는 사람이라면

could have told you that neither the Founding Fathers

누구나 건국의 아버지나 나치 시대 군인 모두

nor Nazi-era soldiers would have been Black.

흑인이 아니었을 것이라고 말할 수 있었을 것입니다.

In that case, who qualifies as an expert?

그렇다면 전문가가 될 자격이 있는 사람은 누구일까요?

You.

바로 당신입니다.

I'm working with thousands of people all around the world

저는 전 세계 수천 명의 사람들과 함께

on large and small red-teaming exercises,

크고 작은 팀 구성 연습을 하고 있으며,

and through them we found and fixed mistakes in AI models.

이를 통해 AI 모델의 실수를 발견하고 수정했습니다.

We also work with some of the biggest tech companies in the world:

우리는 또한 OpenAI, Meta, Anthropic, Google과 같은

OpenAI, Meta, Anthropic, Google.

세계 최대의 기술 회사들과도 협력하고 있습니다.

And through this, we've made models work better for more people.

이를 통해 우리는 모델이 더 많은 사람들에게 더 잘 작동하도록 만들었습니다.

Here's a bit of what we've learned.

우리가 알게 된 몇 가지 내용은 다음과 같습니다.

We partnered with the Royal Society in London to do a scientific,

우리는 런던의 왕립 학회와 협력하여 질병 과학자들과 함께

mis- and disinformation event with disease scientists.

과학적으로 잘못된 정보 및 허위 정보 이벤트를 열었습니다 .

What these scientists found

이 과학자들은

is that AI models actually had a lot of protections

AI 모델이 실제로 COVID의 잘못된 정보로부터

against COVID misinformation.

많은 보호 기능을 제공했음을 발견했습니다.

But for other diseases like measles, mumps and the flu,

하지만 홍역, 유행성 이하선염, 독감과 같은 다른 질병에는

the same protections didn't apply.

동일한 보호 조치가 적용되지 않았습니다.

We reported these changes,

우리는 이러한 변화를 보고했고, 수정했으며,

they’re fixed and now we are all better protected

이제 과학적인 오해와 허위 정보로부터

against scientific mis- and disinformation.

우리 모두를 더 잘 보호할 수 있게 되었습니다.

We did a really similar exercise with architects at Autodesk University,

Autodesk University의 건축가들과 정말 비슷한 실험을 하였고,

and we asked them a simple question:

그들에게 간단한 질문을 했습니다.

Will AI put them out of a job?

“AI가 그들을 직장에서 쫓아낼까요?”

Or more specifically,

좀 더 구체적으로 말하자면,

could they imagine a modern AI system

“현대 미술관의 사양을 설계할 수 있는

that would be able to design the specs of a modern art museum?

현대식 AI 시스템을 상상할 수 있을까요?”

The answer, resoundingly, was no.

답은 단연코 ‘아니요’ 였습니다.

Here's why, architects do more than just draw buildings.

건축가들이 단순히 건물을 그리는 것 이상의 일을 하는 이유가 바로 여기에 있습니다.

They have to understand physics and material science.

학생들은 물리학과 재료 과학을 이해해야 합니다.

They have to know building codes,

건축 법규를 알아야 하고,

and they have to do that

감정을 불러일으키는 무언가를 만들면서

while making something that evokes emotion.

이를 숙지해야 합니다.

What the architects wanted was an AI system

건축가들이 원했던 것은

that interacted with them, that would give them feedback,

그들과 상호작용하여 피드백을 주고 사전에

maybe proactively offer design recommendations.

설계 권장 사항을 제시할 수 있는 AI 시스템이었습니다.

And today's AI systems, not quite there yet.

그리고 오늘날의 AI 시스템은 아직 완성되지 않았습니다.

But those are technical problems.

하지만 이건 기술적인 문제입니다.

People building AI are incredibly smart,

AI를 만드는 사람들은 놀라울 정도로 똑똑합니다.

and maybe they could solve all that in a few years.

어쩌면 몇 년 안에 이 모든 것을 해결할 수 있을지도 모르지요.

But that wasn't their biggest concern.

하지만 그게 그들의 가장 큰 관심사는 아니었어요.

Their biggest concern was trust.

그들의 가장 큰 관심사는 신뢰였습니다.

Now architects are liable if something goes wrong with their buildings.

이제 건축가는 건물에 문제가 생기면 책임을 져야 합니다.

They could lose their license,

면허를 잃을 수도 있고, 벌금이 부과될 수도 있으며

they could be fined, they could even go to prison.

심지어 감옥에 갈 수도 있습니다.

And failures can happen in a million different ways.

실패는 백만 가지 방식으로 일어날 수 있습니다.

For example, exit doors that open the wrong way,

예를 들어 비상구가 잘못 열려서

leading to people being crushed in an evacuation crisis,

열려서 사람들이 대피 위기에 처하거나,

or broken glass raining down onto pedestrians in the street

길거리에서 바람이 너무 세게 불어 창문이 부서져

because the wind blows too hard and shatters windows.

깨진 유리가 보행자에게 쏟아지는 경우가 이에 해당합니다.

So why would an architect trust an AI system with their job,

그렇다면 왜 건축가는 실수를 찾아냈을 때

with their literal freedom,

직접 들어가 고칠 수 없음에도 불구하고

if they couldn't go in and fix a mistake if they found it?

AI시스템을 자신의 업무와 자유로움으로 신뢰할까요?

So we need to figure out these problems today, and I'll tell you why.

우리는 오늘 이 문제들을 알아내야 합니다. 그 이유를 말씀드리겠습니다.

The next wave of artificial intelligence systems, called agentic AI,

차세대 인공 지능 시스템인 에이전트 AI는

is a true tipping point

인간의 주체성을 유지할지,

between whether or not we retain human agency,

아니면 AI 시스템이 대신 결정을 내릴지

or whether or not AI systems make our decisions for us.

여부를 가르는 진정한 전환점입니다.

Imagine an AI agent as kind of like a personal assistant.

AI 에이전트가 일종의 개인 비서라고 상상해 보세요.

So, for example, a medical agent might determine

예를 들어, 의료 상담원은 가족에게

whether or not your family needs doctor's appointments,

진료 예약이 필요한지 여부를 결정하거나,

it might refill prescription medications, or in case of an emergency,

처방약을 보충하거나, 응급 상황이 발생했을 때에는

send medical records to the hospital.

의료 기록을 병원에 보낼 수 있습니다.

But AI agents can't and won't exist

하지만 우리에게 진정한 수리 권리가 없다면

unless we have a true right to repair.

AI 에이전트는 존재할 수 없으며 앞으로도 존재하지 않을 것입니다.

What parent would trust their child's health to an AI system

AI가 기본적인 진단도 할 수 없다면

unless you could run some basic diagnostics?

어떤 부모가 아이의 건강을 AI 시스템에 맡길까요?

What professional would trust an AI system with job decisions,

또, 주니어 직원처럼 AI 시스템을 재교육할 수 없다면

unless you could retrain it the way you might a junior employee?

어떤 전문가가 직무 결정을 내릴 때 AI 시스템을 신뢰할까요?

Now, a right to repair might look something like this.

수리 권리는 이런 방식으로 나타날 수 있습니다.

You could have a diagnostics board

당신은 직접 설계한 기본 테스트를

where you run basic tests that you design,

실행하는 진단 보드를 사용할 수 있습니다.

and if something's wrong, you could report it to the company

문제가 발생하면 회사에 보고하고

and hear back when it's fixed.

문제가 해결되면 답변을 들을 수 있습니다.

Or you could work with third parties like ethical hackers

아니면 오늘날 우리처럼 시스템용 패치를 만드는

who make patches for systems like we do today.

윤리적 해커와 같은 제3자와 협력할 수도 있습니다.

You can download them and use them to improve your system

패치를 다운로드하여 시스템을 원하는 방식으로

the way you want it to be improved.

개선하는 데 사용할 수 있습니다.

Or you could be like these intrepid farmers and learn to program

아니면 용감한 농부들처럼 자신만의 시스템을

and fine-tune your own systems.

프로그래밍하고 미세 조정하는 법을 배울 수도 있겠죠.

We won't achieve the promised benefits of artificial intelligence

사람들을 개발 프로세스에 참여시키는 방법을 알아내지 못하면

unless we figure out how to bring people into the development process.

약속했던 인공 지능의 이점을 얻을 수 없을 것입니다.

I've dedicated my career to responsible AI,

저는 책임감 있는 AI에 제 경력을 바쳤는데,

and in that field we ask the question,

그 분야에서 우리는 “사람들이 AI를 신뢰할 수 있으려면

what can companies build to ensure that people trust AI?

기업은 무엇을 구축해야 하는가“ 라는 질문을 던집니다.

Now, through these red-teaming exercises, and by talking to you,

이러한 팀원 구성 연습을 통해, 그리고 여러분과 이야기를 나누면서

I've come to realize that we've been asking the wrong question all along.

우리는 줄곧 잘못된 질문을 해왔다는 것을 깨닫게 되었습니다.

What we should have been asking is what tools can we build

우리가 물었어야 할 것은 “사람들이 AI를 유용하게

so people can make AI beneficial for them?

활용할 수 있도록 어떤 도구를 만들 수 있는가” 입니다.

Technologists can't do it alone.

기술자 혼자서는 할 수 없습니다.

We can only do it with you.

오직 여러분만이 할 수 있습니다.

Thank you.

감사합니다.

(Applause)

(박수)