With Spatial Intelligence, AI Will Understand the Real World | Fei-Fei Li | TED

Fordító: Zsuzsa Viola Lektor: Reka Lorinczy

Let me show you something.

Hadd mutassak valamit.

To be precise,

Pontosabban

I'm going to show you nothing.

a semmit mutatom.

This was the world 540 million years ago.

Ez volt a világ 540 millió évvel ezelőtt.

Pure, endless darkness.

Tiszta, végtelen sötétség.

It wasn't dark due to a lack of light.

Nem a fény hiánya miatt volt sötétség.

It was dark because of a lack of sight.

A látás hiánya miatt volt sötét.

Although sunshine did filter 1,000 meters

Bár a napfény 1000 méterig szűrődött az óceán felszíne alá,

beneath the surface of ocean,

és a hidrotermális forrásoktól a tengerfenékig hatoló fény

a light permeated from hydrothermal vents to seafloor,

brimming with life,

tele volt élettel,

there was not a single eye to be found in these ancient waters.

ezekben az ősi vizekben egyetlen szem sem volt.

No retinas, no corneas, no lenses.

Sem retinák, sem szaruhártyák, sem pedig lencsék.

So all this light, all this life went unseen.

Tehát minden fény, az egész élet láthatatlan maradt.

There was a time that the very idea of seeing didn't exist.

Volt idő, amikor a látás gondolata fel sem merült.

It [had] simply never been done before.

Egyszerűen még nem volt rá példa.

Until it was.

Míg végül megtörtént.

So for reasons we're only beginning to understand,

Még alig sejthető okokból

trilobites, the first organisms that could sense light, emerged.

megjelentek a trilobiták, az első fényt érzékelő élőlények.

They're the first inhabitants of this reality that we take for granted.

Ők az első lakói ennek a valóságnak, amelyet természetesnek tekintünk.

First to discover that there is something other than oneself.

Először fedezték fel, hogy rajtuk kívül más élőlények is léteznek.

A world of many selves.

A világ számos egyedből áll.

The ability to see is thought to have ushered in Cambrian explosion,

Úgy tartják, a látás képessége a kambriumi robbanás idején jelent meg,

a period in which a huge variety of animal species

egy olyan időszakban, amelyből számos állatfajt találtak a fosszíliákban.

entered fossil records.

What began as a passive experience,

Ami passzív élményként kezdődött,

the simple act of letting light in,

a fény egyszerű beengedésével,

soon became far more active.

hamarosan sokkal tevékenyebbé vált.

The nervous system began to evolve.

Az idegrendszer fejlődni kezdett.

Sight turning to insight.

A látás belátást eredményezett.

Seeing became understanding.

A látás megértést hozott.

Understanding led to actions.

A megértés cselekvéshez vezetett.

And all these gave rise to intelligence.

És mindez intelligenciát eredményezett.

Today, we're no longer satisfied with just nature's gift of visual intelligence.

Ma már nem elégszünk meg a természet vizuális intelligenciájának ajándékával.

Curiosity urges us to create machines to see just as intelligently as we can,

A kíváncsiságunk gépek megalkotására sarkallt,

hogy annyira intelligensen lássunk, amennyire csak tudunk, ha nem jobban.

if not better.

Nine years ago, on this stage,

Kilenc éve ezen a színpadon bemutattam

I delivered an early progress report on computer vision,

a számítógépes látás korai fejlődését

a subfield of artificial intelligence.

a mesterséges intelligencia egyik alterületéről.

Three powerful forces converged for the first time.

Először kapcsolódott össze három hatalmas erő.

Aa family of algorithms called neural networks.

A neurális hálózatoknak nevezett algoritmuscsalád,

Fast, specialized hardware called graphic processing units,

a gyors, speciális hardverek,

az ún. grafikus feldolgozó egységek, avagy GPU-k,

or GPUs.

And big data.

és a big data, a sok adat,

Like the 15 million images that my lab spent years curating called ImageNet.

mint a 15 millió kép, amit a laborom töltött fel éveken át ImageNet néven.

Together, they ushered in the age of modern AI.

Együtt beindították a modern MI korát.

We've come a long way.

Hosszú utat tettünk meg.

Back then, just putting labels on images was a big breakthrough.

Akkoriban már a képek címkézése is nagy áttörést jelentett.

But the speed and accuracy of these algorithms just improved rapidly.

De az algoritmusok sebessége és pontossága gyorsan javult.

The annual ImageNet challenge, led by my lab,

Az éves ImageNet kihívás, amelyet a laborom vezetett,

gauged the performance of this progress.

mérte ezt a fejlődést.

And on this plot, you're seeing the annual improvement

Ezen az ábrán láthatják az éves fejlesztési és mérföldkő modelleket.

and milestone models.

We went a step further

Egy lépéssel tovább mentünk, és olyan algoritmusokat hoztunk létre,

and created algorithms that can segment objects

amelyek képesek szegmentálni az objektumokat,

or predict the dynamic relationships among them

vagy megjósolni a köztük lévő dinamikus kapcsolatokat

in these works done by my students and collaborators.

ezekben a munkákban, amelyeket hallgatóim és munkatársaim végeztek.

And there's more.

És van még több is.

Recall last time I showed you the first computer-vision algorithm

Emlékezzenek rá, hogy legutóbb megmutattam az első számítógépes látási algoritmust,

that can describe a photo in human natural language.

amely természetes emberi nyelven képes leírni egy fényképet.

That was work done with my brilliant former student, Andrej Karpathy.

Ezt a munkát volt diákommal, a zseniális Andrej Karpathyval végeztem.

At that time, I pushed my luck and said,

Abban az időben merész voltam, és megkérdeztem:

"Andrej, can we make computers to do the reverse?"

„Andrej, rávehetnénk a számítógépeket, hogy ezt fordítva tegyék?”

And Andrej said, "Ha ha, that's impossible."

Andrej azt mondta: „Haha, ez lehetetlen.”

Well, as you can see from this post,

Nos, amint e posztból is látható,

recently the impossible has become possible.

a közelmúltban a lehetetlen lehetségessé vált.

That's thanks to a family of diffusion models

Ez a diffúziós modellcsaládnak köszönhető,

that powers today's generative AI algorithm,

amely a mai generatív MI-algoritmust működteti,

which can take human-prompted sentences

képes az ember által készített leírásokat értelmezni,

and turn them into photos and videos

és egészen új fényképekké, videókká alakítani azokat.

of something that's entirely new.

Many of you have seen the recent impressive results of Sora by OpenAI.

Sokan látták a Sora OpenAI közelmúltbeli lenyűgöző eredményeit.

But even without the enormous number of GPUs,

De még a töménytelen GPU nélkül is, hallgatóink és munkatársaink

my student and our collaborators

have developed a generative video model called Walt

hónapokkal Sora előtt kifejlesztettek egy generatív videomodellt, Walt néven.

months before Sora.

And you're seeing some of these results.

Itt láthatnak néhány eredményt.

There is room for improvement.

Van még lehetőség a fejlesztésre.

I mean, look at that cat's eye

Úgy értem, nézzék a macska szemét,

and the way it goes under the wave without ever getting wet.

és azt, ahogy a hullám alá megy anélkül, hogy vizes lenne.

What a cat-astrophe.

Micsoda macskasztrófa!

(Laughter)

(Nevetés)

And if past is prologue,

És mivel a múlt csak a kezdet, tanulunk ezekből a hibákból,

we will learn from these mistakes and create a future we imagine.

és létrehozzuk az elképzelt jövőt.

And in this future,

Ebben a jövőben azt szeretnénk,

we want AI to do everything it can for us,

hogy az MI mindent megtegyen, amit csak lehet, vagy segítsen nekünk.

or to help us.

For years I have been saying

Évek óta mondom,

that taking a picture is not the same as seeing and understanding.

hogy a képalkotás nem ugyanaz, mint látni és megérteni.

Today, I would like to add to that.

Ma tovább mennék ennél:

Simply seeing is not enough.

A látás önmagában nem elég.

Seeing is for doing and learning.

A látás a cselekvés és a tanulás eszköze.

When we act upon this world in 3D space and time,

Amikor 3D-s térben és időben cselekszünk,

we learn, and we learn to see and do better.

tanulunk, és megtanulunk jobban látni és cselekedni.

Nature has created this virtuous cycle of seeing and doing

A természet létrehozta a látás és cselekvés fejlődést hozó ciklusát,

powered by “spatial intelligence.”

amelyet a „térbeli intelligencia” hajt.

To illustrate to you what your spatial intelligence is doing constantly,

A térbeli intelligenciánk folyamatos tevékenységének szemléltetésére

look at this picture.

nézzék meg ezt a képet.

Raise your hand if you feel like you want to do something.

Emelje fel a kezét, aki úgy érzi, hogy tenni akar valamit.

(Laughter)

(Nevetés)

In the last split of a second,

Az agyuk a másodperc töredéke alatt megnézte ennek az üvegnek a geometriáját,

your brain looked at the geometry of this glass,

its place in 3D space,

a helyét a 3D-térben,

its relationship with the table, the cat

az asztalhoz, a macskához és minden máshoz viszonyulását.

and everything else.

And you can predict what's going to happen next.

Megláttuk, mi várható.

The urge to act is innate to all beings with spatial intelligence,

A cselekvésre való késztetés

minden térbeli intelligenciával rendelkező lény számára veleszületett,

which links perception with action.

amely összekapcsolja az észlelést a cselekvéssel.

And if we want to advance AI beyond its current capabilities,

Ha azt akarjuk, hogy az MI meghaladja jelenlegi képességeit,

we want more than AI that can see and talk.

akkor nem elég, ha az MI lát és beszél.

We want AI that can do.

Olyan mesterséges intelligenciára van szükségünk, amely képes cselekedni.

Indeed, we're making exciting progress.

Valóban izgalmas fejlődésnek vagyunk szemtanúi.

The recent milestones in spatial intelligence

A térbeli intelligencia legutóbbi mérföldkövei

is teaching computers to see, learn, do

a számítógépek tanítása látni, tanulni, cselekedni,

and learn to see and do better.

és a látás és cselekvés fejlesztése tanulással.

This is not easy.

Ez nem könnyű.

It took nature millions of years to evolve spatial intelligence,

Több millió évbe telt a természetnek a térbeli intelligencia kifejlesztése,

which depends on the eye taking light,

amelyhez kell a szem, hogy befogadja a fényt,

project 2D images on the retina

2D-képeket vetítsen a retinára,

and the brain to translate these data into 3D information.

és kell az agy, hogy ezeket az adatokat 3D-s információkká alakítsa.

Only recently, a group of researchers from Google

A Google kutatócsoportja csak nemrég dolgozott ki egy olyan algoritmust,

are able to develop an algorithm to take a bunch of photos

amellyel egy csomó fényképet készíthetnek,

and translate that into 3D space,

és ezt átteszik a 3D-s térbe,

like the examples we're showing here.

mint az itt bemutatott példákban.

My student and our collaborators have taken a step further

Tanítványom és munkatársaink továbbléptek eggyel,

and created an algorithm that takes one input image

és létrehoztak egy algoritmust,

amely egy bemeneti képet készít, és azt alakítja 3D-be.

and turn that into 3D shape.

Here are more examples.

Íme még több példa.

Recall, we talked about computer programs that can take a human sentence

Emlékeznek, beszéltünk olyan számítógépes programokról,

amelyek az ember alkotta mondatokat videókká alakítják.

and turn it into videos.

A group of researchers in University of Michigan

A Michigani Egyetem kutatócsoportja kitalálta,

have figured out a way to translate that line of sentence

hogyan lehet a mondatsort 3D-s szobaelrendezéssé alakítani,

into 3D room layout, like shown here.

ahogy azt itt látjuk.

And my colleagues at Stanford and their students

Stanfordi kollégáim és diákjaik kifejlesztettek egy algoritmust,

have developed an algorithm that takes one image

amely egy képből egészen élethű tereket generál a nézők számára,

and generates infinitely plausible spaces

for viewers to explore.

amelyeket felfedezhetnek.

These are prototypes of the first budding signs of a future possibility.

Ezek a jövőbeni lehetőségek kezdeti prototípusai.

One in which the human race can take our entire world

Olyan lehetőségek, amelyekkel az emberiség

egész világunkat digitális formába öntheti,

and translate it into digital forms

and model the richness and nuances.

és modellezheti teljes összetettségében és minden árnyalatával.

What nature did to us implicitly in our individual minds,

Ahogy a természet formálta magától értetődően az egyén elméjét,

spatial intelligence technology can hope to do

remélhetőleg ugyanúgy formálja majd a térbeli intelligencia technológiája

for our collective consciousness.

a kollektív tudatunkat.

As the progress of spatial intelligence accelerates,

Ahogy a térbeli intelligencia egyre gyorsabban fejlődik,

a new era in this virtuous cycle is taking place in front of our eyes.

ebben a fejlődő ciklusban egy új korszak bontakozik ki a szemünk előtt.

This back and forth is catalyzing robotic learning,

Ez a kölcsönhatás elősegíti a robottanulást is,

a key component for any embodied intelligence system

ami bármilyen megtestesült intelligenciarendszer létfontosságú eleme,

that needs to understand and interact with the 3D world.

mivel meg kell értenie a 3D-világot és kölcsönhatásba lépnie vele.

A decade ago,

Egy évtizeddel ezelőtt a laboromból származó ImageNet

ImageNet from my lab

több millió kiváló minőségű fényképet tartalmazó adatbázist tett elérhetővé,

enabled a database of millions of high-quality photos

to help train computers to see.

hogy segítse látni tanítani a számítógépeket.

Today, we're doing the same with behaviors and actions

Manapság ugyanezt tesszük a viselkedésekkel és a cselekvésekkel,

to train computers and robots how to act in the 3D world.

hogy megtanítsuk a számítógépeket és a robotokat,

hogyan viselkedjenek a 3D-világban.

But instead of collecting static images,

De statikus képek gyűjtése helyett szimulációs környezeteket fejlesztünk ki,

we develop simulation environments powered by 3D spatial models

amelyekben térbeli, 3D-modellek működnek,

so that the computers can have infinite varieties of possibilities

hogy a számítógépek végtelen lehetőséggel rendelkezzenek

to learn to act.

a cselekvés megtanulására.

And you're just seeing a small number of examples

Néhány példát látnak arra, hogyan tanítjuk a robotokat

to teach our robots

in a project led by my lab called Behavior.

a Behavior nevű laborom által vezetett projektben.

We’re also making exciting progress in robotic language intelligence.

Izgalmas fejlődést értünk el a robotok nyelvi intelligenciájában is.

Using large language model-based input,

Nagy nyelvimodell-alapú bemenetet használva

my students and our collaborators are among the first teams

tanulóim és munkatársaink az első csapatok egyike,

that can show a robotic arm performing a variety of tasks

amely olyan robotkart tud bemutatni,

ami szóbeli utasítások alapján különféle feladatokat hajt végre,

based on verbal instructions,

like opening this drawer or unplugging a charged phone.

pl. kinyitja ezt a fiókot, vagy kihúzza a feltöltött telefont.

Or making sandwiches, using bread, lettuce, tomatoes

Vagy szendvicseket készít, kenyér, saláta, paradicsom felhasználásával,

and even putting a napkin for the user.

sőt, szalvétát ad a felhasználónak.

Typically I would like a little more for my sandwich,

Általában egy kicsit többet szeretnék a szendvicsemhez,

but this is a good start.

de ez kezdetnek jó.

(Laughter)

(Nevetés)

In that primordial ocean, in our ancient times,

Az ősóceánban, az ősi időkben

a környezet látásának és észlelésének képessége elindította

the ability to see and perceive one's environment

a más életformákkal való kölcsönhatások kambriumi robbanását.

kicked off the Cambrian explosion of interactions with other life forms.

Today, that light is reaching the digital minds.

Napjainkban ez a fény eléri a digitális elméket.

Spatial intelligence is allowing machines

A térbeli intelligencia lehetővé teszi, hogy a gépek kölcsönhatásba lépjenek

to interact not only with one another,

nemcsak egymással, hanem az emberekkel és minden 3D-világgal is,

but with humans, and with 3D worlds,

real or virtual.

legyen az valós vagy virtuális.

And as that future is taking shape,

Ahogy ez a jövő formálódik,

it will have a profound impact to many lives.

sok életre lesz jelentős hatással.

Let's take health care as an example.

Vegyük példaként az egészségügyet.

For the past decade,

Az elmúlt évtizedben laborom megtette az első lépéseket,

my lab has been taking some of the first steps

in applying AI to tackle challenges that impact patient outcome

hogy MI-t alkalmazzuk kihívások leküzdésére

és az orvosi személyzet kimerülésének kezelésére.

and medical staff burnout.

Together with our collaborators from Stanford School of Medicine

A Stanfordi Orvostudományi Egyetem munkatársaival

and partnering hospitals,

és a partnerkórházakkal együttműködve

we're piloting smart sensors

olyan intelligens érzékelőket vezérlünk,

amelyek képesek észlelni

that can detect clinicians going into patient rooms

a megfelelő kézmosás nélkül betegszobákba lépő orvosokat.

without properly washing their hands.

Or keep track of surgical instruments.

Vagy nyomon követik a sebészeti eszközöket.

Or alert care teams when a patient is at physical risk,

Vagy figyelmeztetik az ápolókat, ha a beteg fizikai veszélynek van kitéve,

such as falling.

például elesik.

We consider these techniques a form of ambient intelligence,

Ezeket a technikákat a környezeti intelligencia egyik formájának tekintjük,

like extra pairs of eyes that do make a difference.

mint például extra szempárokat, amelyek valóban változást hoznak.

But I would like more interactive help for our patients, clinicians

De szeretnék több interaktív segítséget pácienseinknek, orvosainknak

and caretakers, who desperately also need an extra pair of hands.

és ápolóinknak, akiknek nagy szükségük van egy extra kézre is.

Imagine an autonomous robot transporting medical supplies

Képzeljünk el egy önműködő robotot, amely orvosi kellékeket szállít,

while caretakers focus on our patients

amíg az ápolók a betegekre összpontosítanak

or augmented reality, guiding surgeons to do safer, faster

vagy a kiterjesztett valóságra, és tájékoztatják a sebészeket,

hogy biztonságosabb, gyorsabb és kevésbé invazív operációkat végezhessenek.

and less invasive operations.

Or imagine patients with severe paralysis controlling robots with their thoughts.

Vagy képzeljék el,

hogy súlyos bénulásban szenvedő betegek a gondolataikkal irányítják a robotokat.

That's right, brainwaves, to perform everyday tasks

Így van, agyhullámokkal, mindennapi feladatok elvégzésére,

that you and I take for granted.

amelyeket önök és én maguktól értetődőnek tartunk.

You're seeing a glimpse of that future in this pilot study from my lab recently.

Bepillanthatnak a jövőbe a laboromban nemrég készült kísérleti tanulmánnyal.

In this video, the robotic arm is cooking a Japanese sukiyaki meal

Ebben a videóban a robotkar egy japán sukiyakiételt főz,

controlled only by the brain electrical signal,

amelyet csak az agy elektromos jele vezérel,

non-invasively collected through an EEG cap.

nem invazív módon felfogva egy EEG sapkával.

(Applause)

(Taps)

Thank you.

Köszönöm.

The emergence of vision half a billion years ago

A látás félmilliárd évvel ezelőtti megjelenése

turned a world of darkness upside down.

a feje tetejére állította a sötétség világát.

It set off the most profound evolutionary process:

Ez indította el a legjelentősebb evolúciós folyamatot:

the development of intelligence in the animal world.

az intelligencia fejlődését az állatvilágban.

AI's breathtaking progress in the last decade is just as astounding.

Az MI lélegzetelállító fejlődése az elmúlt évtizedben is ilyen megdöbbentő.

But I believe the full potential of this digital Cambrian explosion

De úgy gondolom, hogy e digitális kambriumi robbanás a teljes potenciálja

won't be fully realized until we power our computers and robots

csak akkor bontakozhat ki,

ha térbeli intelligenciával működtetjük számítógépeinket és robotjainkat,

with spatial intelligence,

just like what nature did to all of us.

ugyanúgy, ahogy azt a természet is tette velünk.

It’s an exciting time to teach our digital companion

Izgalmas időszak ez, hogy megtanítsuk digitális társunkat

to learn to reason

értelmezni és kölcsönhatásba lépni e gyönyörű 3D-térrel, az otthonunkkal,

and to interact with this beautiful 3D space we call home,

and also create many more new worlds that we can all explore.

és még sok új világot hozzunk létre, amelyeket mindannyian felfedezhetünk.

To realize this future won't be easy.

A jövő felismerése nem lesz könnyű.

It requires all of us to take thoughtful steps

Mindannyiunktól megköveteli, hogy átgondolt lépéseket tegyünk,

and develop technologies that always put humans in the center.

és olyan technológiákat dolgozzunk ki,

amelyek mindig az embereket helyezik a középpontba.

But if we do this right,

De ha ezt helyesen tesszük,

a térbeli intelligencia által működtetett számítógépek és robotok

the computers and robots powered by spatial intelligence

will not only be useful tools

nemcsak hasznos eszközök, hanem megbízható partnerek is lesznek

but also trusted partners

to enhance and augment our productivity and humanity

az emberiség fejlődésében és termelékenységünk növelésében,

while respecting our individual dignity

miközben tiszteletben tartják egyéni méltóságunkat,

and lifting our collective prosperity.

és magasabb szintre emelik kollektív jólétünket.

What excites me the most in the future

Ami a leginkább izgat, egy olyan jövő,

is a future in which that AI grows more perceptive,

amelyben az MI kifinomultabbá,

insightful and spatially aware,

éleslátóbbá és térben tudatossá válik,

and they join us on our quest

és csatlakozik hozzánk azon törekvésünkben,

to always pursue a better way to make a better world.

hogy mindig jobb utat keressünk egy jobb világ megteremtésére.

Thank you.

Köszönöm.

(Applause)

(Taps)