With Spatial Intelligence, AI Will Understand the Real World | Fei-Fei Li | TED

Переводчик: Elvin Musayev Редактор: Alena Chernykh

Let me show you something.

Давайте я вам кое-что покажу.

To be precise,

А точнее,

I'm going to show you nothing.

я вам покажу отсутствие чего-либо.

This was the world 540 million years ago.

Таким был мир 540 миллионов лет назад.

Pure, endless darkness.

Бесконечная, кромешная тьма.

It wasn't dark due to a lack of light.

Было темно не из-за отсутсвия света.

It was dark because of a lack of sight.

Было темно из-за отсутствия зрения.

Although sunshine did filter 1,000 meters

Хоть и солнце проникало на глубину тысячи метров

beneath the surface of ocean,

под поверхность океана,

a light permeated from hydrothermal vents to seafloor,

распространяя свет сквозь чёрные курильщики на морское дно,

brimming with life,

наполненное жизнью,

there was not a single eye to be found in these ancient waters.

в этих древних водах не было ни одного глаза .

No retinas, no corneas, no lenses.

Ни сетчатки, ни роговицы, ни линз.

So all this light, all this life went unseen.

И весь этот свет, вся эта жизнь оставалась незамеченной.

There was a time that the very idea of seeing didn't exist.

Было время, когда самой идеи видеть не существовало.

It [had] simply never been done before.

Просто-напросто никто не мог это делать.

Until it was.

Пока этого не произошло.

So for reasons we're only beginning to understand,

И не просто так мы только начинаем понимать причины.

trilobites, the first organisms that could sense light, emerged.

Появились трилобиты — первые организмы, способные воспринимать свет.

They're the first inhabitants of this reality that we take for granted.

Они, первые обитатели мира, который мы принимаем как должное.

First to discover that there is something other than oneself.

Первые, кто обнаружили, что есть нечто иное, чем они сами.

A world of many selves.

Мир полный собственностей.

The ability to see is thought to have ushered in Cambrian explosion,

Считается, что способность видеть стала причиной кембрийского взрыва,

a period in which a huge variety of animal species

период, во время которого огромное разнобразие видов животных

entered fossil records.

появилось в ископаемых останках.

What began as a passive experience,

То, что начиналось пассиво,

the simple act of letting light in,

то есть с просто впуска света,

soon became far more active.

вскоре приобрело гораздо более активный характер.

The nervous system began to evolve.

Нервная система начала развиваться.

Sight turning to insight.

Зрение превратилось в понимание.

Seeing became understanding.

Способность видеть стала способностью понимать.

Understanding led to actions.

Способность понимать привела к действиям.

And all these gave rise to intelligence.

И все это породило интеллект.

Today, we're no longer satisfied with just nature's gift of visual intelligence.

Сейчас мы не довольны визуальным интеллектом — даром, данным нам природой.

Curiosity urges us to create machines to see just as intelligently as we can,

Любопытсво толкает нас на создание машин, способных видеть так же разумно как мы,

if not better.

если не лучше.

Nine years ago, on this stage,

Девять лет назад на этой сцене

I delivered an early progress report on computer vision,

я выступала с докладом о прогрессе компьютерного зрения,

a subfield of artificial intelligence.

которое является одним из подобластей искусственного интеллекта.

Three powerful forces converged for the first time.

Впервые три мощные силы сошлись воедино.

Aa family of algorithms called neural networks.

Семейство алгоритмов, называемое нейронными сетями.

Fast, specialized hardware called graphic processing units,

Быстрое специализированное оборудование, называемое графическими процессорами

or GPUs.

или просто GPUs.

And big data.

И большие данные.

Like the 15 million images that my lab spent years curating called ImageNet.

Как 15 миллионов изображений под названием ImageNet,

над отбором которых моя лаборатория потратила годы.

Together, they ushered in the age of modern AI.

Вместе они положили начало эпохе современного искусственного интеллекта.

We've come a long way.

Мы прошли долгий путь.

Back then, just putting labels on images was a big breakthrough.

Тогда, простое прикрепление этикеток на изображения было большим прорывом.

But the speed and accuracy of these algorithms just improved rapidly.

Но скорость и точность этих алгоритмов быстро улучшились.

The annual ImageNet challenge, led by my lab,

Ежегодный тест ImageNet, проводимый моей лабораторией,

gauged the performance of this progress.

позволил оценить эффективность прогресса.

And on this plot, you're seeing the annual improvement

И на этом графике мы видим модели ежегодных улучшений

and milestone models.

и промежуточные модели.

We went a step further

Мы заметно продвинулись в этих работах, сделанных нашими учениками и сотрудниками,

and created algorithms that can segment objects

и создали алгоритмы, способные разделить объекты на сегменты

or predict the dynamic relationships among them

или способные предсказать динамические взаимосвязи между ними

in these works done by my students and collaborators.

And there's more.

И это ещё не всё.

Recall last time I showed you the first computer-vision algorithm

Вспомните, как в прошлый раз я показала вам первый алгоритм компьютерного зрения,

that can describe a photo in human natural language.

который может описывать фотографию на естественном человеческом языке.

That was work done with my brilliant former student, Andrej Karpathy.

Это было сделано вместе с моим бывшим выдающимся учеником — Андреем Карпатым

В тот момент, я решила испытать свою удачу и спросила его:

At that time, I pushed my luck and said,

"Andrej, can we make computers to do the reverse?"

«Андрей, можем ли мы заставить компьютеры сделать обратное?»

And Andrej said, "Ha ha, that's impossible."

И Андрей ответил: «Ха-ха, это невозможно».

Well, as you can see from this post,

Что ж, как вы догодались с поста сверху,

recently the impossible has become possible.

С недавних пор невозможное стало возможным.

That's thanks to a family of diffusion models

Это стало возможным благодаря семейству диффузионных моделей,

that powers today's generative AI algorithm,

лежащих в основе современного алгоритма генеративного ИИ,

which can take human-prompted sentences

который может использовать предложения, созданные людьми

and turn them into photos and videos

и превращать их в фотографии и видео

of something that's entirely new.

чего-то совершенно нового.

Many of you have seen the recent impressive results of Sora by OpenAI.

Многие из вас знакомы с недавними впечатляющими результатами Sora от OpenAI.

But even without the enormous number of GPUs,

Но даже не имея огромного количества графических процессоров,

my student and our collaborators

мой ученик и наши сотрудники

have developed a generative video model called Walt

разработали генеративную видеомодель под названием Walt

months before Sora.

за несколько месяцев до Sora.

And you're seeing some of these results.

Вот некоторые из этих результатов.

There is room for improvement.

Ещё есть над чем работать.

I mean, look at that cat's eye

Просто посмотрите на глаз этого кота

and the way it goes under the wave without ever getting wet.

и на то, как он уходит под волну, но при этом не промокает.

What a cat-astrophe.

Что за кот-астрофа.

(Laughter)

(Смех)

And if past is prologue,

И если прошлое — это пролог,

we will learn from these mistakes and create a future we imagine.

мы извлечём уроки из этих ошибок и создадим себе будущее.

And in this future,

И в будущем, мы хотим,

we want AI to do everything it can for us,

чтобы ИИ делал для нас всё возможное

or to help us.

или помогал нам.

For years I have been saying

Я уже много лет говорю,

that taking a picture is not the same as seeing and understanding.

что фотографировать — это не одно и то же, что видеть и понимать.

Today, I would like to add to that.

Сегодня я хотела бы добавить к этому.

Simply seeing is not enough.

Простого зрения недостаточно.

Seeing is for doing and learning.

Видеть — значит делать и учиться.

When we act upon this world in 3D space and time,

Взаимодействуя с этим миром в трёхмерном пространстве и времени,

we learn, and we learn to see and do better.

мы учимся лучше видеть и справляться лучше.

Nature has created this virtuous cycle of seeing and doing

Природа создала этот эффективный цикл зрения и действий

powered by “spatial intelligence.”

на основе «пространственного интеллекта».

To illustrate to you what your spatial intelligence is doing constantly,

Чтобы понять вам, чем же постоянно занимается ваш пространственный интеллект,

look at this picture.

взгляните на эту картинку.

Raise your hand if you feel like you want to do something.

Поднимите руку, если хотите что-то сделать.

(Laughter)

(Смех)

In the last split of a second,

За последнюю долю секунды

your brain looked at the geometry of this glass,

ваш мозг изучил геометрию этого стакана,

its place in 3D space,

его место в трёхмерном пространстве,

its relationship with the table, the cat

его связь со столом, с кошкой

and everything else.

и со всем остальным.

And you can predict what's going to happen next.

И вы можете предсказать, что произойдёт дальше.

The urge to act is innate to all beings with spatial intelligence,

Стремление действовать присуще всем существам,

обладающим пространственным интеллектом,

which links perception with action.

который связывает восприятие с действием.

And if we want to advance AI beyond its current capabilities,

И если мы хотим вывести ИИ за пределы его нынешних возможностей,

we want more than AI that can see and talk.

нам нужно нечто большее, чем просто его умение видеть и говорить.

We want AI that can do.

Нам нужен искусственный интеллект, способный действовать.

Indeed, we're making exciting progress.

Действительно, мы добиваемся впечатляющих успехов.

The recent milestones in spatial intelligence

Последние достижения в области пространственного интеллекта —

is teaching computers to see, learn, do

это обучение компьютеров видеть, учиться, делать

and learn to see and do better.

и учиться видеть лучше и справляться лучше.

This is not easy.

Это непросто.

It took nature millions of years to evolve spatial intelligence,

Природе потребовались миллионы лет, чтобы развить пространственный интеллект,

which depends on the eye taking light,

зависящего от восприятия света глазами,

project 2D images on the retina

от проецирования двухмерных изображений на сетчатку

and the brain to translate these data into 3D information.

и от мозга, который преобразуют эти данные в трёхмерную информацию.

Only recently, a group of researchers from Google

Совсем недавно группа исследователей из Google

are able to develop an algorithm to take a bunch of photos

смогла разработать алгоритм, позволяющий сделать несколько фотографий

and translate that into 3D space,

и перевести их в трёхмерное пространство,

like the examples we're showing here.

как в показанных здесь примерах.

My student and our collaborators have taken a step further

Мой ученик и наши сотрудники продвинулись ещё на шаг вперёд

and created an algorithm that takes one input image

и создали алгоритм, который принимает одно изображение

and turn that into 3D shape.

и преобразует его в трёхмерную форму.

Here are more examples.

Вот ещё несколько примеров.

Recall, we talked about computer programs that can take a human sentence

Мы упомянули компьютерные программы, использующие человеческие предложения

and turn it into videos.

и затем превращающие их в видео.

A group of researchers in University of Michigan

Группа исследователей из Мичиганского университета

have figured out a way to translate that line of sentence

придумала способ перевести эту строку предложения

into 3D room layout, like shown here.

в трёхмерную планировку комнаты, как показано здесь.

And my colleagues at Stanford and their students

И мои коллеги из Стэнфорда и их ученики

have developed an algorithm that takes one image

разработали алгоритм, который берёт одно изображение

and generates infinitely plausible spaces

и превращает его в бесконечно правдоподобные пространства,

for viewers to explore.

который зрители могут изучать.

These are prototypes of the first budding signs of a future possibility.

Это прототипы первых признаков зарождающего будущего,

One in which the human race can take our entire world

в котором человечество сможет превратить весь наш мир

and translate it into digital forms

в цифровые формы

and model the richness and nuances.

и смоделировать его богатство и тонкости.

What nature did to us implicitly in our individual minds,

То, что природа косвенно сделала с нами в наших разумах,

spatial intelligence technology can hope to do

технология пространственного интеллекта может только надеяться сделать то же

for our collective consciousness.

с нашим коллективным сознанием.

As the progress of spatial intelligence accelerates,

С развитием пространственного интеллекта

a new era in this virtuous cycle is taking place in front of our eyes.

новая эра в этом выдающемся цикле появляется прямо на наших глазах.

This back and forth is catalyzing robotic learning,

Всё это постоянно стимулирует роботизированное обучение,

a key component for any embodied intelligence system

являющееся ключевым компонентом любой воплощённой интеллектуальной системы,

that needs to understand and interact with the 3D world.

которая должна понимать трёхмерный мир и взаимодействовать с ним.

A decade ago,

Десять лет назад

ImageNet from my lab

ImageNet, созданный моей лабораторией,

enabled a database of millions of high-quality photos

позволил создать базу данных из миллионов высококачественных фотографий,

to help train computers to see.

чтобы научить компьютеры видеть.

Today, we're doing the same with behaviors and actions

Сейчас же мы делаем то же самое с поведениями и действиями,

to train computers and robots how to act in the 3D world.

чтобы обучить компьютеры и роботов действиям в трёхмерном мире.

But instead of collecting static images,

Но вместо сбора статичных изображений

we develop simulation environments powered by 3D spatial models

мы разрабатываем симуляционные среды на основе 3D пространственных моделей,

so that the computers can have infinite varieties of possibilities

чтобы у компьютеров было бесконечное количество возможностей

to learn to act.

научиться действовать.

And you're just seeing a small number of examples

И вы видите лишь небольшое количество примеров

to teach our robots

обучения наших роботов

in a project led by my lab called Behavior.

в рамках проекта под руководством моей лаборатории под названием Behavior.

We’re also making exciting progress in robotic language intelligence.

Мы также добились впечатляющих успехов в роботизированном языковом интеллекте.

Using large language model-based input,

Используя ввод данных на основе больших языковых моделей,

my students and our collaborators are among the first teams

мои ученики и наши сотрудники стали одними из первых,

that can show a robotic arm performing a variety of tasks

кто показал роботизированную руку, выполняющую множество задач

based on verbal instructions,

на основе устных инструкций,

like opening this drawer or unplugging a charged phone.

таких как открытие этого ящика или снятие телефона с зарядки при полной батарее.

Or making sandwiches, using bread, lettuce, tomatoes

Или приготовление сэндвичей, используя хлеб, салат, помидоры

and even putting a napkin for the user.

и даже положив салфетку для пользователя.

Typically I would like a little more for my sandwich,

Обычно мне хочется побольше всего в сэндвиче,

but this is a good start.

но это хорошее начало.

(Laughter)

(Смех)

In that primordial ocean, in our ancient times,

В древние времена в этом первозданном океане

the ability to see and perceive one's environment

способность видеть и воспринимать окружающую среду

kicked off the Cambrian explosion of interactions with other life forms.

положила начало кембрийскому взрыву взаимодействий с другими формами жизни.

Today, that light is reaching the digital minds.

Сегодня же этот свет проникает в цифровые умы.

Spatial intelligence is allowing machines

Пространственный интеллект позволяет машинам взаимодействовать

to interact not only with one another,

не только друг с другом,

but with humans, and with 3D worlds,

но и с людьми, а также с реальными или виртуальными трёхмерными мирами.

real or virtual.

And as that future is taking shape,

И по мере того, как это будущее формируется,

it will have a profound impact to many lives.

оно окажет большое влияние на жизнь многих людей.

Let's take health care as an example.

К примеру, здравоохранение.

For the past decade,

В течение последнего десятилетия

my lab has been taking some of the first steps

моя лаборатория сделала первые шаги

in applying AI to tackle challenges that impact patient outcome

по применению ИИ для решения проблем, влияющих на результаты лечения пациентов

и эмоциональное выгорание медицинского персонала.

and medical staff burnout.

Together with our collaborators from Stanford School of Medicine

Вместе с нашими сотрудниками из Стэнфордской школы медицины

and partnering hospitals,

и больниц-партнёров

we're piloting smart sensors

мы тестируем интеллектуальные датчики,

that can detect clinicians going into patient rooms

которые обнаруживают врачей, заходящих к пациентам,

without properly washing their hands.

не помыв руки.

Or keep track of surgical instruments.

Или следят за хирургическими инструментами.

Or alert care teams when a patient is at physical risk,

Или предупреждает медицинские бригады о пациентах,

подвергшихся физическому риску, как падению, к примеру.

such as falling.

We consider these techniques a form of ambient intelligence,

Мы считаем, что эти методы являются формой окружающего интеллекта,

like extra pairs of eyes that do make a difference.

подобно дополнительной пары глаз, которые поменяют ситуацию.

But I would like more interactive help for our patients, clinicians

Но мне бы хотелось помочь нашим пациентам, врачам

and caretakers, who desperately also need an extra pair of hands.

и медсестрам, которым также нужна дополнительная пара рук.

Imagine an autonomous robot transporting medical supplies

Представьте себе автономного робота, перевозящего медикаменты,

while caretakers focus on our patients

в то время как лица, ухаживающие за пациентами,

or augmented reality, guiding surgeons to do safer, faster

или дополненная реальность, помогающая хирургам работать безопаснее

and less invasive operations.

и быстрее, а также делать менее инвазивные операции.

Or imagine patients with severe paralysis controlling robots with their thoughts.

Или пациентов с тяжелым параличом, управляющих роботами своими мыслями.

That's right, brainwaves, to perform everyday tasks

Именно те самые мозговые волны, выполняющие повседневные задачи,

that you and I take for granted.

о которых мы даже не задумываемся.

You're seeing a glimpse of that future in this pilot study from my lab recently.

Это тестовое исследование моей лабаратории позволяет нам заглянуть в это будущее.

In this video, the robotic arm is cooking a Japanese sukiyaki meal

На этом видео роботизированная рука готовит японское блюдо сукияки,

controlled only by the brain electrical signal,

контролируемое только электрическим сигналом мозга,

non-invasively collected through an EEG cap.

который неинвазивно передаётся через ЭЭГ.

(Applause)

(Аплодисменты)

Thank you.

Спасибо.

The emergence of vision half a billion years ago

Появление зрения полмиллиарда лет назад

turned a world of darkness upside down.

перевернуло мир темноты с ног на голову.

It set off the most profound evolutionary process:

Оно положило начало самому глубокому эволюционному процессу:

the development of intelligence in the animal world.

развитию интеллекта в животном мире.

AI's breathtaking progress in the last decade is just as astounding.

Поразительный прогресс, достигнутый ИИ за последнее десятилетие.

But I believe the full potential of this digital Cambrian explosion

Но я верю, что весь потенциал этого цифрового кембрийского взрыва

won't be fully realized until we power our computers and robots

не будет полностью реализован до тех пор, пока мы не наделим компьютеры и роботов

with spatial intelligence,

пространственным интеллектом,

just like what nature did to all of us.

как это сделала со всеми нами природа.

It’s an exciting time to teach our digital companion

Пришло время научить нашего цифрового компаньона

to learn to reason

учиться рассуждать

and to interact with this beautiful 3D space we call home,

и взаимодействовать с этим прекрасным 3D-пространством, называемым нашим домом,

and also create many more new worlds that we can all explore.

а также создавать множество новых миров, которые мы все сможем исследовать.

To realize this future won't be easy.

Реализовать это будущее будет непросто.

It requires all of us to take thoughtful steps

Все мы должны принимать продуманные меры

and develop technologies that always put humans in the center.

и разрабатывать технологии, в которых люди всегда в центре внимания.

But if we do this right,

Но если мы сделаем всё правильно,

the computers and robots powered by spatial intelligence

компьютеры и роботы, оснащённые пространственным интеллектом,

will not only be useful tools

станут не только полезными инструментами,

but also trusted partners

но и надёжными партнерами

to enhance and augment our productivity and humanity

для повышения и дополнения нашей производительности и гуманности

while respecting our individual dignity

при одновременном уважении человеческого достоинства

and lifting our collective prosperity.

и повышении уровня нашего коллективного процветания.

What excites me the most in the future

Меня больше всего в будущем рядует то,

is a future in which that AI grows more perceptive,

что ИИ станет более восприимчивым,

insightful and spatially aware,

проницательным и пространственно осведомлённым.

and they join us on our quest

И они будут всегда вместе с нами в нашем стремлении

to always pursue a better way to make a better world.

искать лучший способ сделать мир лучше.

Thank you.

Спасибо.

(Applause)

(Аплодисменты)