With Spatial Intelligence, AI Will Understand the Real World | Fei-Fei Li | TED

번역: Jake Lee 검토: Jinsol Song

Let me show you something.

보여드릴 게 있습니다.

To be precise,

정확히 말하자면,

I'm going to show you nothing.

아무것도 보여주지 않을 겁니다.

This was the world 540 million years ago.

이것이 5억 4천만 년 전 세상입니다.

Pure, endless darkness.

순수하고 끝없는 어둠이었죠.

It wasn't dark due to a lack of light.

빛이 없어서 어두운게 아니라

It was dark because of a lack of sight.

시각이 없어 어두웠습니다.

Although sunshine did filter 1,000 meters

바다 표면 아래 1,000미터까지

beneath the surface of ocean,

햇빛이 들어오고,

a light permeated from hydrothermal vents to seafloor,

열수구에서 해저로 빛이 스며들어

brimming with life,

생명으로 가득 찼지만

there was not a single eye to be found in these ancient waters.

이 고대 바다에서는 눈 하나 찾아볼 수 없었습니다.

No retinas, no corneas, no lenses.

망막도, 각막도, 렌즈도 없었습니다.

So all this light, all this life went unseen.

그래서 아무도 이 모든 빛과 생명은 볼 수 없었죠.

There was a time that the very idea of seeing didn't exist.

‘본다’는 개념 자체가 존재하지 않았던 시절이 있었습니다.

It [had] simply never been done before.

전례가 없었던 일이었죠.

Until it was.

그때까지 말이죠.

So for reasons we're only beginning to understand,

우리가 이제 막 이해하기 시작한 여러가지 이유로

trilobites, the first organisms that could sense light, emerged.

빛을 감지할 수 있는 첫 번째 생물인 삼엽충이 등장했습니다.

They're the first inhabitants of this reality that we take for granted.

우리가 당연하게 여기는 주변세계를 처음으로 인식한 생명체들입니다.

First to discover that there is something other than oneself.

자신 이외에 다른 것이 있음을 발견한 첫 번째 존재들이죠.

A world of many selves.

수많은 존재가 있는 세상을 말이죠.

The ability to see is thought to have ushered in Cambrian explosion,

시각 능력이 캄브리아기 폭발을 촉발시켰다고 여겨지는데,

a period in which a huge variety of animal species

그로 인해 다양한 동물 종들이

entered fossil records.

화석 기록에 등장한 시기였어요.

What began as a passive experience,

처음에는 빛을 단순히 받아들이는

the simple act of letting light in,

수동적인 과정에 불과했지만,

soon became far more active.

곧 더 능동적인 행위가 되었죠.

The nervous system began to evolve.

신경계가 진화하기 시작하면서,

Sight turning to insight.

보는 것이 통찰로 이어졌고,

Seeing became understanding.

시각은 이해하는 능력이 되었습니다.

Understanding led to actions.

이해는 곧 행동을 이끌어냈습니다.

And all these gave rise to intelligence.

그리고 이러한 과정은 지능의 탄생을 이끌어냈습니다.

Today, we're no longer satisfied with just nature's gift of visual intelligence.

오늘날 우리는 자연이 준 시각 지능에 만족하지 않습니다.

Curiosity urges us to create machines to see just as intelligently as we can,

호기심은 인간만큼 똑똑하게 볼 수 있는 기계를

if not better.

개발하도록 이끌었죠.

Nine years ago, on this stage,

9년 전, 이 무대에서

I delivered an early progress report on computer vision,

저는 인공지능의 하위 분야인 컴퓨터 비전에 대한

초기 진행 상황을 발표한 적이 있습니다.

a subfield of artificial intelligence.

Three powerful forces converged for the first time.

세 가지 강력한 힘이 처음으로 한데 모였습니다.

Aa family of algorithms called neural networks.

신경망이라는 알고리즘 제품군,

Fast, specialized hardware called graphic processing units,

그래픽 처리 장치 또는 GPU로 불리는

or GPUs.

빠르고 전문화된 하드웨어,

And big data.

그리고 빅 데이터가 있었죠.

Like the 15 million images that my lab spent years curating called ImageNet.

제 연구실이 수년간 정리한 1,500만 개의 사진인 이미지넷이죠.

Together, they ushered in the age of modern AI.

이 모두가 합쳐져 현대의 AI 시대를 열었습니다.

We've come a long way.

우리는 많은 발전을 이루었습니다.

Back then, just putting labels on images was a big breakthrough.

그 당시에는 이미지를 분류하는 것만으로도 큰 혁신이었죠.

But the speed and accuracy of these algorithms just improved rapidly.

하지만 이제 알고리즘의 속도와 정확도가 빠르게 향상되었습니다.

The annual ImageNet challenge, led by my lab,

매년 열리는 ‘이미지넷’ 대회는 제 연구실에서 주관하며,

gauged the performance of this progress.

이 발전의 성과를 평가합니다.

And on this plot, you're seeing the annual improvement

그리고 이 도표에서 연도별 발전과

and milestone models.

주요 모델을 확인할 수 있지요.

We went a step further

우리는 한 걸음 더 나아가

and created algorithms that can segment objects

알고리즘을 만듬으로써, 물체를 분할하고

or predict the dynamic relationships among them

그들 간의 동적 관계를 예측할 수 있게 했습니다.

in these works done by my students and collaborators.

이는 제 학생들과 동료들이 수행한 작업입니다.

And there's more.

그 외에도 더 많은 성과가 있습니다.

Recall last time I showed you the first computer-vision algorithm

지난번에 인간의 자연어로 사진을 설명할 수 있는

that can describe a photo in human natural language.

최초의 컴퓨터 비전 알고리즘을 소개해 드렸던 것을 기억하실 겁니다.

That was work done with my brilliant former student, Andrej Karpathy.

그 작업은 제 뛰어난 옛 제자인 안드레이 카르파티와 함께했습니다.

At that time, I pushed my luck and said,

그때 저는 무리수를 두며 말했죠.

"Andrej, can we make computers to do the reverse?"

“안드레이, 컴퓨터가 이미지를 생성하도록 만들 수 있을까?”

And Andrej said, "Ha ha, that's impossible."

안드레가 말하길, “웃기네요, 그건 불가능해요.”

Well, as you can see from this post,

글쎄요, 이 글에서 볼 수 있듯이,

recently the impossible has become possible.

최근에 불가능했던 것이 가능해졌습니다.

That's thanks to a family of diffusion models

이것은 생성형 인공지능 알고리즘을 구동하는 확산 모델 덕분입니다.

that powers today's generative AI algorithm,

which can take human-prompted sentences

이 모델은 사람이 입력한 문장을 완전히 새로운 사진이나 영상으로

and turn them into photos and videos

of something that's entirely new.

변환할 수 있습니다.

Many of you have seen the recent impressive results of Sora by OpenAI.

많은 분들이 최근 OpenAI의 Sora가 보여준 인상적인 결과를

보셨을 것입니다.

But even without the enormous number of GPUs,

하지만 저희는 수많은 GPU 없이도,

my student and our collaborators

제 학생들과 동료들과 협력하여

have developed a generative video model called Walt

Sora보다 몇 달 먼저 생성형 비디오 모델인

months before Sora.

Walt를 개발했습니다.

And you're seeing some of these results.

그리고 이러한 결과 중 일부를 확인하실 수 있습니다.

There is room for improvement.

개선할 부분이 남아 있죠.

I mean, look at that cat's eye

고양이 눈이랑

and the way it goes under the wave without ever getting wet.

파도 안으로 들어간 후에도 전혀 젖지 않는 걸 보세요.

What a cat-astrophe.

정말 고양이 대참사군요.

(Laughter)

(웃음)

And if past is prologue,

그리고 과거가 시작이라면,

we will learn from these mistakes and create a future we imagine.

우리는 과거를 통해 배워 꿈꾸는 미래를 만들어갈 것입니다.

And in this future,

이 미래에

we want AI to do everything it can for us,

우리가 원하는건 AI가 가능한 모든 것을 해주거나

or to help us.

도와주기를 바라죠.

For years I have been saying

오랫동안 제가 말해온 것은

that taking a picture is not the same as seeing and understanding.

사진을 찍는 것과 보는 것, 이해하는 것이 다르다는 것이었는데

Today, I would like to add to that.

오늘은 그 말에 하나 더 추가하고 싶습니다.

Simply seeing is not enough.

단순히 보는 것만으로는 충분하지 않습니다.

Seeing is for doing and learning.

보는 것은 행동하고 배우기 위한 것입니다.

When we act upon this world in 3D space and time,

우리가 3D 공간과 시간 속에서 세상에 영향을 미칠 때,

we learn, and we learn to see and do better.

우리는 배우고, 더 잘 보고 행동하는 방법을 익힙니다.

Nature has created this virtuous cycle of seeing and doing

자연은 “공간 지능”을 기반으로 보고

powered by “spatial intelligence.”

행동하는 선순환 구조를 만들어냈습니다.

To illustrate to you what your spatial intelligence is doing constantly,

여러분의 공간 지능이 끊임없이 어떤 일을 하고 있는지를 보여주기 위해

look at this picture.

이 사진을 한번 보세요.

Raise your hand if you feel like you want to do something.

무언가를 하고 싶다고 느끼는 분들은 손을 들어보세요.

(Laughter)

(웃음)

In the last split of a second,

눈 깜짝할 사이에

your brain looked at the geometry of this glass,

여러분의 뇌는 이 유리잔의 구조,

its place in 3D space,

3D 공간에서의 위치,

its relationship with the table, the cat

테이블과 고양이, 그리고 주변의 모든 것과의

and everything else.

관계를 분석했습니다.

And you can predict what's going to happen next.

그리고 다음에 무슨 일이 일어날지를 예측할 수 있죠.

The urge to act is innate to all beings with spatial intelligence,

행동하고자 하는 본능은 공간 지능을 가진 모든 생명체에게 내재된 것입니다.

which links perception with action.

이는 인식과 행동을 연결합니다.

And if we want to advance AI beyond its current capabilities,

AI의 능력을 현재의 한계를 넘어 발전시키고자 한다면,

we want more than AI that can see and talk.

우리는 단순히 볼 수 있고 말할 수 있는 AI가 아니라

We want AI that can do.

실제로 일을 수행할 수 있는 AI를 원합니다.

Indeed, we're making exciting progress.

실제로 우리는 흥미로운 진전을 이루고 있습니다.

The recent milestones in spatial intelligence

최근의 공간 지능의 발전은

is teaching computers to see, learn, do

컴퓨터가 볼 수 있고, 배우고, 행동하며,

and learn to see and do better.

더 잘 보고 행동하는 방법을 가르치고 있습니다.

This is not easy.

하지만 이 작업은 쉽지 않습니다

It took nature millions of years to evolve spatial intelligence,

자연이 공간 지능을 진화시키는 데 수백만 년이 걸렸습니다.

which depends on the eye taking light,

이 과정은 눈이 빛을 받아들이고,

project 2D images on the retina

2D 이미지를 망막에 투사한 후,

and the brain to translate these data into 3D information.

뇌는 이 2D 데이터를 바탕으로 3D 정보로 변환합니다.

Only recently, a group of researchers from Google

최근에서야, 구글의 연구팀이

are able to develop an algorithm to take a bunch of photos

알고리즘을 개발하여 여러 장의 사진을 이용해

and translate that into 3D space,

이를 3D 공간으로 변환하도록 했습니다.

like the examples we're showing here.

여기 보여드리는 예시처럼 말이죠.

My student and our collaborators have taken a step further

제 학생과 동료들은 한걸음 더 나아가

and created an algorithm that takes one input image

입력 이미지 한 장만으로 3D 모양으로 바꾸는

and turn that into 3D shape.

알고리즘을 만들었습니다.

Here are more examples.

여기 몇 가지 예시가 더 있습니다.

Recall, we talked about computer programs that can take a human sentence

텍스트를 비디오로 변환할 수 있는 컴퓨터 프로그램에 대해

and turn it into videos.

이야기한 적이 있습니다.

A group of researchers in University of Michigan

미시간 대학교의 연구자들은

have figured out a way to translate that line of sentence

이러한 텍스트를 3D 공간 배치로

into 3D room layout, like shown here.

변환하는 방법을 찾아냈습니다.

여기 보이는 것처럼 말이죠.

And my colleagues at Stanford and their students

또한 스탠포드 대학교의 제 동료들과 학생들이

have developed an algorithm that takes one image

알고리즘 개발을 통해 한 장의 이미지를 이용해

and generates infinitely plausible spaces

관객이 탐험할 수 있는 무한한 현실감 넘치는 공간을

for viewers to explore.

생성할 수 있도록 했습니다.

These are prototypes of the first budding signs of a future possibility.

이것들이 미래의 가능성을 보여주는 초기 시제품입니다.

One in which the human race can take our entire world

인류가 우리 세상을 디지털 형태로 변환하고

and translate it into digital forms

그 안의 풍부함과 뉘앙스를

and model the richness and nuances.

모델링할 수 있는 시대가 열릴 것입니다.

What nature did to us implicitly in our individual minds,

자연이 우리 각자의 마음속에서 암묵적으로 해온 것처럼

spatial intelligence technology can hope to do

공간 지능 기술이 우리의 집단의식을 위해

for our collective consciousness.

실현될 수 있기를 바랍니다.

As the progress of spatial intelligence accelerates,

공간 지능의 발전이 가속화됨에 따라,

a new era in this virtuous cycle is taking place in front of our eyes.

이 선순환의 새로운 시대가 우리 눈앞에 펼쳐지고 있습니다.

This back and forth is catalyzing robotic learning,

이러한 상호작용은 로봇 학습을 촉진하고 있으며,

a key component for any embodied intelligence system

이는 3D 세계를 이해하고 상호작용해야 하는

that needs to understand and interact with the 3D world.

모든 구체적 지능 시스템의 핵심 요소입니다.

A decade ago,

10년 전,

ImageNet from my lab

저희 연구실에서 개발한 ‘이미지넷’은

enabled a database of millions of high-quality photos

수백만 장의 고품질 사진 데이터베이스를 통해,

to help train computers to see.

컴퓨터가 사물을 인식하도록 학습 시켰습니다.

Today, we're doing the same with behaviors and actions

오늘날 우리는 동일한 행동과 동작을 가르쳐

to train computers and robots how to act in the 3D world.

컴퓨터와 로봇에게 3D 세계에서의 행동 방법을 학습 시키고 있습니다.

But instead of collecting static images,

하지만 고정된 이미지를 수집하는 대신,

we develop simulation environments powered by 3D spatial models

우리는 3D 공간 모델을 기반으로 한 시뮬레이션 환경을 만들어,

so that the computers can have infinite varieties of possibilities

컴퓨터가 행동하는 법을 배울 수 있는

to learn to act.

무한한 가능성을 가질 수 있도록 합니다.

And you're just seeing a small number of examples

여러분은 제 연구실에서 진행하는 ‘행동’이라는 프로젝트에서

to teach our robots

로봇을 가르치기 위한

in a project led by my lab called Behavior.

소수의 예시를 보고 계실 뿐입니다.

We’re also making exciting progress in robotic language intelligence.

또한, 로봇의 언어 지능에서도 큰 진전을 이루고 있습니다.

Using large language model-based input,

대형 언어 모델 기반 입력을 사용하여,

my students and our collaborators are among the first teams

제 학생들과 동료들이 이끄는 팀은 음성 명령에 따라

that can show a robotic arm performing a variety of tasks

다양한 작업을 수행하는 로봇 팔을 시연할 수 있는

based on verbal instructions,

최초의 팀 중 하나입니다.

like opening this drawer or unplugging a charged phone.

예를 들어, 서랍을 열거나 충전 중인 전화를 뽑아내는 작업,

Or making sandwiches, using bread, lettuce, tomatoes

혹은 빵, 상추, 토마토를 사용해 샌드위치를 만들고

and even putting a napkin for the user.

사용자에게 냅킨을 준비하는 작업도 할 수 있습니다.

Typically I would like a little more for my sandwich,

물론 저는 샌드위치에 좀 더 많은 재료를 넣고 싶지만,

but this is a good start.

이것도 나쁘진 않습니다.

(Laughter)

(웃음)

In that primordial ocean, in our ancient times,

고대 시대에, 그 원시적인 바다에서

the ability to see and perceive one's environment

주변 환경을 보고 인식하는 능력이

kicked off the Cambrian explosion of interactions with other life forms.

다른 생명체와의 상호작용이 폭발적으로 증가한 캄브리아기의 시작을 알렸습니다.

Today, that light is reaching the digital minds.

오늘날 그 빛은 디지털 세계로 퍼져나가고 있습니다.

Spatial intelligence is allowing machines

공간 지능 덕분에 기계들은

to interact not only with one another,

서로 소통할 수 있을 뿐만 아니라,

but with humans, and with 3D worlds,

인간과 실제 또는 가상의 3D 세계와도 상호작용할 수 있게 해줍니다.

real or virtual.

And as that future is taking shape,

이러한 변화가 진행됨에 따라,

it will have a profound impact to many lives.

많은 사람들의 삶에 큰 영향을 미칠 것입니다.

Let's take health care as an example.

의료 부분을 살펴보겠습니다.

For the past decade,

지난 10년 동안,

my lab has been taking some of the first steps

AI 기술을 적용하는 첫 번째 단계에 들어서면서,

in applying AI to tackle challenges that impact patient outcome

환자의 치료 결과와 의료진의 과로 문제를

and medical staff burnout.

해결하기 위해 노력해왔습니다.

Together with our collaborators from Stanford School of Medicine

우리는 스탠포드 대학의 협력자들,

and partnering hospitals,

그리고 제휴병원과 함께,

we're piloting smart sensors

의료진이 병실에 들어가기 전

that can detect clinicians going into patient rooms

손을 제대로 씻지 않을 경우 이를 감지할 수 있는

without properly washing their hands.

스마트 센서를 시험하고 있습니다.

Or keep track of surgical instruments.

또한 수술 도구를 추적하고,

Or alert care teams when a patient is at physical risk,

환자가 넘어지거나 안전 위험이 있을 때

such as falling.

의료진에 알려주는 시스템도 개발하고 있습니다.

We consider these techniques a form of ambient intelligence,

우리는 이러한 기술을 생활 환경 지능이라고 부릅니다.

like extra pairs of eyes that do make a difference.

마치 추가적인 눈들이 우리의 안전을 지켜주는 것과 같죠.

But I would like more interactive help for our patients, clinicians

하지만 일손이 절실히 필요한 환자, 의료진, 간병인을 위해

and caretakers, who desperately also need an extra pair of hands.

더 많은 대화형 도움이 이루어졌으면 합니다.

Imagine an autonomous robot transporting medical supplies

예를 들어, 의료 용품을 운반하는 자율 로봇을 상상해 보세요.

while caretakers focus on our patients

그동안 간병인들은 환자에게 집중할 수 있으며,

or augmented reality, guiding surgeons to do safer, faster

또는 증강 현실 기술을 통해 수술자들이 더 안전하고 빠르게

and less invasive operations.

수술을 할 수 있도록 돕는 장면을 생각해 보세요.

Or imagine patients with severe paralysis controlling robots with their thoughts.

또는 중증 마비 환자들이 생각으로 로봇을 제어하는 모습을 상상해 보세요.

That's right, brainwaves, to perform everyday tasks

맞습니다, 뇌파를 이용해 우리가 당연히 여기는

that you and I take for granted.

일상적인 작업을 수행하는 것입니다.

You're seeing a glimpse of that future in this pilot study from my lab recently.

최근 진행한 초기 연구를 통해 앞으로의 가능성을 엿볼 수 있습니다.

In this video, the robotic arm is cooking a Japanese sukiyaki meal

이 비디오에서는 로봇 팔이 일본식 스키야키를 요리하고 있는데,

controlled only by the brain electrical signal,

뇌의 전기 신호에 의해 움직이고 있습니다.

non-invasively collected through an EEG cap.

이 신호는 EEG 모자를 통해 몸에 부담을 주지 않고 수집되었습니다.

(Applause)

(박수)

Thank you.

감사합니다.

The emergence of vision half a billion years ago

5억 년 전 시각의 출현은

turned a world of darkness upside down.

세상을 완전히 바꾸어 놓았습니다.

It set off the most profound evolutionary process:

이 과정은 가장 놀라운 진화적 변화를 일으켰습니다.

the development of intelligence in the animal world.

바로 동물계에서 지능이 발달한 것입니다.

AI's breathtaking progress in the last decade is just as astounding.

지난 10년간의 인공지능 발전도 그에 못지않게 놀랍습니다.

But I believe the full potential of this digital Cambrian explosion

하지만 인공지능의 진정한 가능성은

won't be fully realized until we power our computers and robots

공간 지능을 통해 3D 세상과 상호작용할 수 있을 때

with spatial intelligence,

완전히 실현될 것입니다.

just like what nature did to all of us.

자연이 우리 모두에게 한 것처럼 말이죠.

It’s an exciting time to teach our digital companion

지금은 디지털 동반자에게 추론하는 방법을 가르치고

to learn to reason

우리가 집이라고 부르는 이 아름다운 3D 공간 상호작용하는 법을

and to interact with this beautiful 3D space we call home,

가르칠 수 있는 흥미로운 시간입니다,

and also create many more new worlds that we can all explore.

또한 탐험할 수 있는 더 많은 새로운 세상을 만들어갈 수 있습니다.

To realize this future won't be easy.

이 미래를 실현하는 것은 쉽지 않을 것입니다.

It requires all of us to take thoughtful steps

모두가 신중한 접근을 통해

and develop technologies that always put humans in the center.

인간을 항상 중심에 두는 기술을 개발해야 하죠.

But if we do this right,

만약 이렇게 된다면,

the computers and robots powered by spatial intelligence

공간 지능으로 구동되는 컴퓨터와 로봇은

will not only be useful tools

단순한 도구가 아니라

but also trusted partners

신뢰할 수 있는 동반자가 되어

to enhance and augment our productivity and humanity

우리의 생산성과 인류를 향상시키고

while respecting our individual dignity

개인의 존엄성을 존중하며

and lifting our collective prosperity.

우리 모두의 번영을 높일 것입니다.

What excites me the most in the future

미래에 제가 가장 기대하는 것은

is a future in which that AI grows more perceptive,

인공지능이 더욱 예리하고,

insightful and spatially aware,

통찰력과 공간 인식 능력을 키워,

and they join us on our quest

우리와 함께 나아가

to always pursue a better way to make a better world.

더 나은 세상을 위한 방법을 끊임없이 추구하는 여정에 동참하는 것입니다.

Thank you.

감사합니다.

(Applause)

(박수)