With Spatial Intelligence, AI Will Understand the Real World | Fei-Fei Li | TED

Перекладач: Ilya Rozenberg

Let me show you something.

Дозвольте мені вам щось показати.

To be precise,

Якщо бути точним,

I'm going to show you nothing.

я вам нічого не покажу.

This was the world 540 million years ago.

Це світ 540 мільйонів років тому.

Pure, endless darkness.

Чиста, нескінченна темрява.

It wasn't dark due to a lack of light.

Було темно не через брак світла.

It was dark because of a lack of sight.

Було темно через відсутність зору.

Although sunshine did filter 1,000 meters

I xоч сонячне світло проникало крізь 1000 метрів

beneath the surface of ocean,

від поверхні океану

a light permeated from hydrothermal vents to seafloor,

і через гідротермальні отвори пронизувало морське дно,

brimming with life,

сповнене життям,

there was not a single eye to be found in these ancient waters.

у цих водах далекого минулого не було жодного ока.

No retinas, no corneas, no lenses.

Ні сітківки, ні рогівки, ні лінз.

So all this light, all this life went unseen.

Отже, все це світло, все це життя залишилося непобаченим.

There was a time that the very idea of seeing didn't exist.

То був час, коли самої ідеї бачити не існувало.

It [had] simply never been done before.

Це просто ніколи раніше не відбувалося.

Until it was.

Поки не відбулося.

So for reasons we're only beginning to understand,

Тож з причин, які ми тільки починаємо розуміти,

trilobites, the first organisms that could sense light, emerged.

з’явилися трилобіти, перші організми, які могли відчути світло.

They're the first inhabitants of this reality that we take for granted.

Вони є першими мешканцями цієї реальності, яку ми сприймаємо як належне.

First to discover that there is something other than oneself.

Вони перші виявили, що є щось інше, крім самих себе.

A world of many selves.

Світ багатьох «Я».

The ability to see is thought to have ushered in Cambrian explosion,

Вважається, що здатність бачити почала так званий кембрійський вибух,

a period in which a huge variety of animal species

період, у якому величезна різноманітність видів тварин

entered fossil records.

залишила нам свої скам’янілості.

What began as a passive experience,

Те, що почалося як пасивний досвід,

the simple act of letting light in,

простий акт пропускання світла,

soon became far more active.

незабаром стало набагато активнішим.

The nervous system began to evolve.

Нервова система почала розвиватися.

Sight turning to insight.

Зір перетворюється на проникливість.

Seeing became understanding.

Побачення стало розумінням.

Understanding led to actions.

Розуміння призвело до дій.

And all these gave rise to intelligence.

І все це породило інтелект.

Today, we're no longer satisfied with just nature's gift of visual intelligence.

Сьогодні ми більше не задовольняємося лише даром природи — візуальним розумом.

Curiosity urges us to create machines to see just as intelligently as we can,

Цікавість спонукає нас створювати машини, що бачать так само розумно, як ми

if not better.

якщо не краще.

Nine years ago, on this stage,

Дев’ять років тому, у цьому залі,

I delivered an early progress report on computer vision,

я надала ранній звіт про прогрес комп’ютерного зору,

a subfield of artificial intelligence.

підгалузі штучного інтелекту.

Three powerful forces converged for the first time.

Тоді три потужні сили зійшлися вперше:

Aa family of algorithms called neural networks.

Сімейство ШІ алгоритмів так звані нейронні мережи.

Fast, specialized hardware called graphic processing units,

Швидке спеціалізоване обладнання - графічнi процесори,

or GPUs.

або GPU.

And big data.

І великі дані.

Like the 15 million images that my lab spent years curating called ImageNet.

Наприклад, 15 мільйонів зображень, які моя лабораторія ImageNet збирала роками.

Together, they ushered in the age of modern AI.

Разом вони відкрили епоху сучасного штучного інтелекту.

We've come a long way.

Ми пройшли довгий шлях.

Back then, just putting labels on images was a big breakthrough.

Тоді просто нанесення етикеток на зображення було великим проривом.

But the speed and accuracy of these algorithms just improved rapidly.

Але швидкість і точність цих алгоритмів просто швидко покращилися.

The annual ImageNet challenge, led by my lab,

Щорічний виклик ImageNet під керівництвом моєї лабораторії

gauged the performance of this progress.

оцінював ефективність цього прогресу.

And on this plot, you're seeing the annual improvement

І на цьому графіку ви бачите щорічні вдосконалення

and milestone models.

та етапні моделі.

We went a step further

Ми пішли на крок далі

and created algorithms that can segment objects

і створили алгоритми, які можуть сегментувати об'єкти

or predict the dynamic relationships among them

або передбачати динамічні зв’язки між ними

in these works done by my students and collaborators.

в цих роботах, виконаних моїми студентами та співробітниками.

And there's more.

І є ще більше.

Recall last time I showed you the first computer-vision algorithm

Нагадаємо, минулого разу я показала вам перший алгоритм комп’ютерного бачення

that can describe a photo in human natural language.

який може описати фотографію природною мовою людини.

That was work done with my brilliant former student, Andrej Karpathy.

Це була робота, виконана з моїм блискучим колишнім студентом Андреєм Карпати.

At that time, I pushed my luck and said,

Тоді я спробувала удачу й запитала:

"Andrej, can we make computers to do the reverse?"

«Андрею, чи можемо ми зробити комп'ютери, щоб зробити зворотне?»

And Andrej said, "Ha ha, that's impossible."

А Андрій сказав: «Ха-ха, це неможливо».

Well, as you can see from this post,

Що ж, як бачимо з цього поста,

recently the impossible has become possible.

останнім часом неможливе стало можливим.

That's thanks to a family of diffusion models

Це завдяки сімейству моделей дифузії, які забезпечують

that powers today's generative AI algorithm,

сучасний генеративний алгоритм штучного інтелекту,

which can take human-prompted sentences

який може приймати речення, підказані людиною,

and turn them into photos and videos

і перетворювати їх на фотографії та відео

of something that's entirely new.

чогось абсолютно нового.

Many of you have seen the recent impressive results of Sora by OpenAI.

Багато з вас бачили останні вражаючі результати Сори від OpenAI.

But even without the enormous number of GPUs,

Але навіть без величезної кількості графічних процесорів

my student and our collaborators

мій студент та наші співробітники

have developed a generative video model called Walt

розробили генеративну відеомодель під назвою Walt

months before Sora.

за кілька місяців до Сори.

And you're seeing some of these results.

І ви бачите деякі з цих результатів.

There is room for improvement.

Є місце для вдосконалення.

I mean, look at that cat's eye

Я маю на увазі, подивіться на те котяче око

and the way it goes under the wave without ever getting wet.

і на те, як воно проходить під хвилею, ніколи не промокаючи.

What a cat-astrophe.

Яка кота-строфа.

(Laughter)

(Сміх)

And if past is prologue,

І якщо минуле є прологом,

we will learn from these mistakes and create a future we imagine.

ми вчимося на цих помилках і створимо майбутнє, яке ми собі уявляємо.

And in this future,

І в цьому майбутньому

we want AI to do everything it can for us,

ми хочемо, щоб ШІ робив усе можливе для нас

or to help us.

або допомагав нам.

For years I have been saying

Протягом багатьох років я кажу

that taking a picture is not the same as seeing and understanding.

що фотографувати - це не те саме, що бачити та розуміти.

Today, I would like to add to that.

Сьогодні я хотіла би додати до цього.

Simply seeing is not enough.

Просто бачити недостатньо.

Seeing is for doing and learning.

Бачити для того щоб робити і вчитися.

When we act upon this world in 3D space and time,

Коли ми співдіємо з цим світом у тривимірному просторі та часі,

we learn, and we learn to see and do better.

ми вчимося і вчимося бачити і робити краще.

Nature has created this virtuous cycle of seeing and doing

Природа створила цей доброчесний цикл бачення та діяльності, що працює

powered by “spatial intelligence.”

на основі «просторового інтелекту».

To illustrate to you what your spatial intelligence is doing constantly,

Щоб проілюструвати вам, що робить ваш просторовий інтелект постійно,

look at this picture.

подивіться на цю картину.

Raise your hand if you feel like you want to do something.

Підніміть руку, якщо відчуваєте, що хочете щось зробити.

(Laughter)

(Сміх)

In the last split of a second,

За останню частку секунди

your brain looked at the geometry of this glass,

ваш мозок подивився на геометрію цієї склянки,

its place in 3D space,

її місце в 3D-просторі,

its relationship with the table, the cat

її зв’язок зі столом, котом

and everything else.

і всім іншим.

And you can predict what's going to happen next.

І ви можете передбачити, що буде далі.

The urge to act is innate to all beings with spatial intelligence,

Бажання діяти є вродженим для всіх істот з просторовим інтелектом,

which links perception with action.

який пов'язує сприйняття з дією.

And if we want to advance AI beyond its current capabilities,

І якщо ми хочемо висунути ШІ за межі його поточних можливостей,

we want more than AI that can see and talk.

ми хочемо більшого, ніж ШІ, який може бачити та говорити.

We want AI that can do.

Ми хочемо ШІ який може творити.

Indeed, we're making exciting progress.

Дійсно, ми робимо захоплюючий прогрес.

The recent milestones in spatial intelligence

Останні віхи в просторовому інтелекті -

is teaching computers to see, learn, do

це навчання комп’ютерів бачити, вчитися, творити

and learn to see and do better.

та вчитися бачити та творити краще.

This is not easy.

Це непросто.

It took nature millions of years to evolve spatial intelligence,

Природі знадобилися мільйони років, щоб розвинути просторовий інтелект,

which depends on the eye taking light,

який залежить від ока яке приймає світло,

project 2D images on the retina

проектує 2D-зображення на сітківку

and the brain to translate these data into 3D information.

та від мозока, який переводить ці дані в 3D-інформацію.

Only recently, a group of researchers from Google

Лише нещодавно група дослідників з Google

are able to develop an algorithm to take a bunch of photos

змогла розробити алгоритм, що бере купу фотографій

and translate that into 3D space,

і переводить їх у 3D-простір,

like the examples we're showing here.

як приклади що ми показуємо тут.

My student and our collaborators have taken a step further

Мій учень і наші співробітники зробили крок далі

and created an algorithm that takes one input image

і створили алгоритм, який бере одне вхідне зображення

and turn that into 3D shape.

і перетворює його в тривимірну форму.

Here are more examples.

Ось ще приклади.

Recall, we talked about computer programs that can take a human sentence

Нагадаю, ми говорили про комп’ютерні програми, здатні отримати людське речення

and turn it into videos.

і перетворити його на відео.

A group of researchers in University of Michigan

Група дослідників з Мічиганського університету

have figured out a way to translate that line of sentence

знайшла спосіб перевести цей рядок речення

into 3D room layout, like shown here.

в 3D-макет кімнати, як показано тут.

And my colleagues at Stanford and their students

І мої колеги зі Стенфорда та їхні студенти

have developed an algorithm that takes one image

розробили алгоритм, який бере одне зображення

and generates infinitely plausible spaces

та створює нескінченно правдоподібні простори

for viewers to explore.

для глядачів для вивчення.

These are prototypes of the first budding signs of a future possibility.

Це прототипи перших ознак майбутньої можливості.

One in which the human race can take our entire world

Такоі, в якій людська раса може взяти весь наш світ

and translate it into digital forms

і перевести його в цифрові форми

and model the richness and nuances.

та моделювати багатство та нюанси.

What nature did to us implicitly in our individual minds,

Те, що природа неявно зробила з нами в нашому індивідуальному розумі,

spatial intelligence technology can hope to do

технологія просторового інтелекту може сподіватися зробити

for our collective consciousness.

для нашої колективної свідомості.

As the progress of spatial intelligence accelerates,

Оскільки прогрес просторового інтелекту прискорюється,

a new era in this virtuous cycle is taking place in front of our eyes.

перед нашими очима відбувається нова ера в цьому доброчесному циклі.

This back and forth is catalyzing robotic learning,

Це вперед і назад каталізує роботизоване навчання,

a key component for any embodied intelligence system

ключовий компонент для будь-якої втіленої системи інтелекту,

that needs to understand and interact with the 3D world.

яка потребує розуміння та взаємодії з 3D-світом.

A decade ago,

Десятиліття тому

ImageNet from my lab

ImageNet з моєї лабораторії

enabled a database of millions of high-quality photos

дозволив створити базу даних мільйонів високоякісних фотографій,

to help train computers to see.

щоб допомогти навчити комп'ютери бачити.

Today, we're doing the same with behaviors and actions

Сьогодні ми робимо те саме з поведінкою та діями,

to train computers and robots how to act in the 3D world.

щоб навчити комп'ютерів та роботів діяти в 3D-світі.

But instead of collecting static images,

Але замість того, щоб збирати статичні зображення,

we develop simulation environments powered by 3D spatial models

ми розробляємо середовища моделювання на основі тривимірних просторових моделей

so that the computers can have infinite varieties of possibilities

щоб комп’ютери могли мати нескінченну різноманітність

to learn to act.

можливостей навчитися діяти.

And you're just seeing a small number of examples

І ви просто бачите невели ку кількість прикладів

to teach our robots

навчання наших роботів

in a project led by my lab called Behavior.

у проекті під керівництвом моєї лабораторії під назвою Behavior.

We’re also making exciting progress in robotic language intelligence.

Ми також досягаємо захоплюючого прогресу в роботизованому мовному інтелекті.

Using large language model-based input,

Використовуючи введення на основі великої мовної моделі,

my students and our collaborators are among the first teams

мої студенти та наші співробітники є одними з перших команд,

that can show a robotic arm performing a variety of tasks

які можуть показати роботизовану руку, яка виконує різноманітні завдання на

based on verbal instructions,

основі усних інструкцій,

like opening this drawer or unplugging a charged phone.

як-от відкриття цього ящика або відключення зарядженого телефону.

Or making sandwiches, using bread, lettuce, tomatoes

Або робити бутерброди, використовуючи хліб, салат, помідори

and even putting a napkin for the user.

і навіть поклав серветку для користувача.

Typically I would like a little more for my sandwich,

Зазвичай я хотіла би трохи більшого на свому бутерброді,

but this is a good start.

але це хороший початок.

(Laughter)

(Сміх)

In that primordial ocean, in our ancient times,

У тому первісному океані, в давні часи,

the ability to see and perceive one's environment

здатність бачити і сприймати навколишнє середовище викликала

kicked off the Cambrian explosion of interactions with other life forms.

кембрійський вибух взаємодії з іншими формами життя.

Today, that light is reaching the digital minds.

Сьогодні це світло досягає цифрових умів.

Spatial intelligence is allowing machines

Просторовий інтелект дозволяє машинам

to interact not only with one another,

взаємодіяти не тільки одна з одною,

but with humans, and with 3D worlds,

але і з людьми, і з тривимірними світами,

real or virtual.

реальними чи віртуальними.

And as that future is taking shape,

І оскільки це майбутнє формується,

it will have a profound impact to many lives.

воно матиме глибокий вплив на багато життів.

Let's take health care as an example.

Візьмемо охорону здоров'я як приклад.

For the past decade,

Протягом останнього десятиліття

my lab has been taking some of the first steps

моя лабораторія робила деякі з перших кроків

in applying AI to tackle challenges that impact patient outcome

у застосуванні штучного інтелекту для вирішення проблем, які впливають

and medical staff burnout.

на результати лікування та вигорання медичного персоналу.

Together with our collaborators from Stanford School of Medicine

Разом з нашими співробітниками зі Стенфордської школи медицини

and partnering hospitals,

та партнерських лікарень ми пілотуємо

we're piloting smart sensors

розумні датчики, які можуть виявляти

that can detect clinicians going into patient rooms

клініцистів, які потрапляють у кімнати пацієнтів,

without properly washing their hands.

не миючи належним чином руки.

Or keep track of surgical instruments.

Або стежити за хірургічними інструментами.

Or alert care teams when a patient is at physical risk,

Або попереджати бригади догляду, коли пацієнт знаходиться під фізичним ризиком,

such as falling.

наприклад, падіння.

We consider these techniques a form of ambient intelligence,

Ми вважаємо ці методи формою навколишнього інтелекту,

like extra pairs of eyes that do make a difference.

як додаткові пари очей, які дійсно мають значення.

But I would like more interactive help for our patients, clinicians

Але я хочу надати ше більше інтерактивної допомоги нашим пацієнтам, клініцистам

and caretakers, who desperately also need an extra pair of hands.

та медичному персоналу, яким також відчайдушно потрібна додаткова пара рук.

Imagine an autonomous robot transporting medical supplies

Уявіть собі автономного робота, який перевозить медичні

while caretakers focus on our patients

матеріали, а персонал зосереджуються на наших пацієнтах

or augmented reality, guiding surgeons to do safer, faster

або доповнена реальность, яка направляє хірургів робити операції безпечнішими,

and less invasive operations.

швидшими і менш інвазивними.

Or imagine patients with severe paralysis controlling robots with their thoughts.

Або уявіть пацієнтів з сильним паралічем, які контролюють роботів своїми думками.

That's right, brainwaves, to perform everyday tasks

Так так, які мозковими хвилями виконують повсякденні справи,

that you and I take for granted.

які ми з вами сприймаємо як належне.

You're seeing a glimpse of that future in this pilot study from my lab recently.

Ви бачите це майбутнє в цьому пілотному дослідженні з моєї лабораторії

In this video, the robotic arm is cooking a Japanese sukiyaki meal

У цьому відео роботизована рука яка готує японську їжу сукіякі

controlled only by the brain electrical signal,

керована лише електричним сигналом мозку,

non-invasively collected through an EEG cap.

який неінвазивно отримано за допомогою ковпачка ЕЕГ.

(Applause)

(Оплески)

Thank you.

Дякую.

The emergence of vision half a billion years ago

Поява зору півмільярда років тому

turned a world of darkness upside down.

перевернуло світ темряви з ніг на голову.

It set off the most profound evolutionary process:

Це розпочало найглибший еволюційний процес:

the development of intelligence in the animal world.

розвиток інтелекту в тваринному світі.

AI's breathtaking progress in the last decade is just as astounding.

Захоплюючий прогрес штучного інтелекту за останнє десятиліття настільки ж вражаючий.

But I believe the full potential of this digital Cambrian explosion

Але я вважаю, що весь потенціал цього цифрового кембрійського вибуху

won't be fully realized until we power our computers and robots

не буде повністю реалізований, поки ми не забезпечимо наші комп’ютери та роботів

with spatial intelligence,

просторовим інтелектом,

just like what nature did to all of us.

подібно до того, що зробила природа з усіма нами.

It’s an exciting time to teach our digital companion

Це захоплюючий час, щоб навчити нашого цифрового супутника

to learn to reason

навчитися міркувати

and to interact with this beautiful 3D space we call home,

та взаємодіяти з цим прекрасним 3D-простором, який ми називаємо домом,

and also create many more new worlds that we can all explore.

а також створювати ще багато нових світів, які ми всі можемо досліджувати.

To realize this future won't be easy.

Здійснити це майбутнє буде непросто.

It requires all of us to take thoughtful steps

Це вимагає від усіх нас продуманих кроків

and develop technologies that always put humans in the center.

і розробки технологій, які завжди ставлять людину в центр.

But if we do this right,

Але якщо ми зробимо це правильно,

the computers and robots powered by spatial intelligence

комп’ютери та роботи, що працюють на основі просторового інтелекту

will not only be useful tools

стануть не лише корисними інструментами,

but also trusted partners

але й надійними партнерами

to enhance and augment our productivity and humanity

для підвищення та підвищення нашої продуктивності та людяності,

while respecting our individual dignity

які при цьому поважають нашу індивідуальну гідність

and lifting our collective prosperity.

та піднімають наше колективне процвітання.

What excites me the most in the future

Що мене найбільше захоплює в майбутньому, -

is a future in which that AI grows more perceptive,

це майбутнє, в якому цей ШІ стане більш сприйнятливим,

insightful and spatially aware,

проникливим і просторово усвідомленим,

and they join us on our quest

і приєднається до нас у нашому прагненні

to always pursue a better way to make a better world.

завжди зробити світ кращим у найкращий спосіб.

Thank you.

Дякую.

(Applause)

(Оплески)