Miguel Nicolelis: A monkey that controls a robot with its thoughts. No, really.

Translator: Timothy Covell Reviewer: Morton Bast

Translator: David J. Kreps Finnemann Reviewer: Anders Finn Jørgensen

The kind of neuroscience that I do and my colleagues do

Den slags neurovidenskab som jeg laver og mine kolleger laver

is almost like the weatherman.

er næsten ligesom manden fra vejrudsigten.

We are always chasing storms.

Vi jagter altid storme.

We want to see and measure storms -- brainstorms, that is.

Vi vil se og måle storme -- det vil sige, brainstorme.

And we all talk about brainstorms in our daily lives,

Og vi taler om brainstorms i vores daglige liv,

but we rarely see or listen to one.

men vi ser eller lytter sjældent til en.

So I always like to start these talks

Så jeg kan godt lide at starte disse foredrag

by actually introducing you to one of them.

ved faktisk at introducere jer for en af dem.

Actually, the first time we recorded more than one neuron --

Faktisk, den første gang vi optog mere end en neuron --

a hundred brain cells simultaneously --

hundrede hjerneceller samtidig --

we could measure the electrical sparks

kunne vi måle de elektriske gnister

of a hundred cells in the same animal,

af hundrede celler i det samme dyr,

this is the first image we got,

dette er det første billede vi fik,

the first 10 seconds of this recording.

de første 10 sekunder af denne optagelse.

So we got a little snippet of a thought,

Så vi fik en lille bid af en tanke,

and we could see it in front of us.

og vi kunne se det foran os.

I always tell the students

Jeg fortæller altid de studerende

that we could also call neuroscientists some sort of astronomer,

at vi også kunne kalder neuroforskere en slags astronomer,

because we are dealing with a system

fordi vi har at gøre med et system

that is only comparable in terms of number of cells

der kun er sammenligneligt med hensyn til antallet af celler

to the number of galaxies that we have in the universe.

med antallet af galakser som vi har i universet.

And here we are, out of billions of neurons,

Og her er vi, ud af milliarder af neuroner,

just recording, 10 years ago, a hundred.

kun optagelser, 10 år siden, et hundrede.

We are doing a thousand now.

Vi laver tusind nu.

And we hope to understand something fundamental about our human nature.

Og vi håber på at kunne forstå noget fundamentalt om vores menneskelige natur.

Because, if you don't know yet,

Fordi, hvis I ikke ved det endnu,

everything that we use to define what human nature is comes from these storms,

alt det vi bruger til at definere hvad den menneskelige natur er, kommer fra disse storme,

comes from these storms that roll over the hills and valleys of our brains

det kommer fra disse storme der ruller hen over bakkerne og dalene i vores hjerne

and define our memories, our beliefs,

og definere vores minder, vores overbevisninger,

our feelings, our plans for the future.

vores følelser, vores planer for fremtiden.

Everything that we ever do,

Det eneste vi nogensinde gør,

everything that every human has ever done, do or will do,

alt det mennesket nogensinde har gjort, gør eller vil gøre,

requires the toil of populations of neurons producing these kinds of storms.

kræver mange neuroners hårde arbejde at producere denne slags storme.

And the sound of a brainstorm, if you've never heard one,

Og lyden af en brainstorm, hvis I nogensinde har hørt en,

is somewhat like this.

er noget der ligner dette.

You can put it louder if you can.

Man kan sætte det højere hvis man kan.

My son calls this "making popcorn while listening to a badly-tuned A.M. station."

Min søn kalder dette "at lave popcorn mens man lytter til en dårlig indstillet A.M. station."

This is a brain.

Dette er hjernen.

This is what happens when you route these electrical storms to a loudspeaker

Dette er hvad der sker når man tilslutter disse elektriske storme til en højtaler

and you listen to a hundred brain cells firing,

og man lytter til hundrede aktive hjerneceller,

your brain will sound like this -- my brain, any brain.

vil ens hjerne lyde som dette -- min hjerne, enhver hjerne.

And what we want to do as neuroscientists in this time

Og det vi vil gøre som neuroforskere på denne tid

is to actually listen to these symphonies, these brain symphonies,

er faktisk at lytte til disse symfonier, disse hjernesymfonier,

and try to extract from them the messages they carry.

og prøve at udtrække de signaler der kommer fra dem.

In particular, about 12 years ago

I særdeleshed, for omkring 12 år siden

we created a preparation that we named brain-machine interfaces.

skabte vi en forberedelse som vi kaldte hjerne-maskine grænseflader.

And you have a scheme here that describes how it works.

Og der er et skema her der beskriver hvordan det fungerer.

The idea is, let's have some sensors that listen to these storms, this electrical firing,

Ideen er, lad os have nogle sensorer der lytter til disse storme, disse elektriske udledninger,

and see if you can, in the same time that it takes

og se om I kan, på den samme tid som det tager

for this storm to leave the brain and reach the legs or the arms of an animal --

for denne storm at forlade hjernen og nå benene eller armene af et dyr --

about half a second --

omkring et halvt sekund --

let's see if we can read these signals,

lad os se om vi kan læse disse signaler,

extract the motor messages that are embedded in it,

udtrække de motoriske signaler der er indlejret i dem,

translate it into digital commands

oversætte dem til digitale kommandoer

and send it to an artificial device

og sende dem til et kunstigt apparat

that will reproduce the voluntary motor wheel of that brain in real time.

der vil reproducere det motoriske arbejde for den hjerne i realtid.

And see if we can measure how well we can translate that message

Og se om vi kan måle hvor godt vi kan oversætte det signal

when we compare to the way the body does that.

når vi sammenligner det med måden som kroppen gør det.

And if we can actually provide feedback,

Og hvis vi faktisk kan give feedback,

sensory signals that go back from this robotic, mechanical, computational actuator

kan sanse signaler der går tilbage fra denne robotagtige, mekaniske

that is now under the control of the brain,

beregningsmæssige aktiveringsenhed, der nu er under hjernens kontrol,

back to the brain,

tilbage til hjernen,

how the brain deals with that,

hvordan hjernen håndterer det,

of receiving messages from an artificial piece of machinery.

at modtage signaler fra et kunstigt stykke maskineri.

And that's exactly what we did 10 years ago.

Og det er faktisk hvad vi gjorde for 10 år siden.

We started with a superstar monkey called Aurora

Vi begyndte med en superstjerneabe der hedder Aurora

that became one of the superstars of this field.

der blev en af superstjernerne i dette felt.

And Aurora liked to play video games.

Og Aurora kunne godt lide at spille computerspil.

As you can see here,

Som I kan se her,

she likes to use a joystick, like any one of us, any of our kids, to play this game.

hun kan godt lide at bruge et joystick, ligesom vi, ligesom jeres børn, at spille dette spil.

And as a good primate, she even tries to cheat before she gets the right answer.

Og som en god primat, prøver hun endda at snyde inden hun giver det rigtige svar.

So even before a target appears that she's supposed to cross

Så selv inden der viser sig et mål som hun skal krydse af

with the cursor that she's controlling with this joystick,

med markøren som hun kontrollerer med dette joystick,

Aurora is trying to find the target, no matter where it is.

prøver Aurora at finde målet, uanset hvor det er.

And if she's doing that,

Og hvis hun gør det,

because every time she crosses that target with the little cursor,

fordi hver gang hun krydser det mål med den lille markør,

she gets a drop of Brazilian orange juice.

får hun en dråbe brasiliansk appelsinjuice.

And I can tell you, any monkey will do anything for you

Og jeg kan fortælle jer, at enhver abe vil gøre hvad som helst for dig

if you get a little drop of Brazilian orange juice.

hvis man får en lille dråbe brasiliansk appelsinjuice.

Actually any primate will do that.

Det vil alle primater faktisk.

Think about that.

Tænk over det.

Well, while Aurora was playing this game, as you saw,

Jamen, mens Aurora spillede dette spil, som I så,

and doing a thousand trials a day

og lavede tusinde forsøg hver dag

and getting 97 percent correct and 350 milliliters of orange juice,

og fik 97 procent rigtige og 350 milliliter appelsinjuice,

we are recording the brainstorms that are produced in her head

optager vi de brainstorms der bliver produceret i hendes hoved

and sending them to a robotic arm

og sender dem tilbage til en robotarm

that was learning to reproduce the movements that Aurora was making.

der lærte at reproducere bevægelserne som Aurora lavede.

Because the idea was to actually turn on this brain-machine interface

Fordi ideen var faktisk at tænde for denne hjerne-maskine grænseflade

and have Aurora play the game just by thinking,

og få Aurora til at spille spillet bare ved at tænke,

without interference of her body.

uden at blive forstyrret af hendes krop.

Her brainstorms would control an arm

Hendes brainstorms ville kontrollere en arm

that would move the cursor and cross the target.

der ville flytte markøren og krydse målet.

And to our shock, that's exactly what Aurora did.

Og til vores chok, er det præcis det Aurora gjorde.

She played the game without moving her body.

Hun spillede spillet uden at flytte sin krop.

So every trajectory that you see of the cursor now,

Så enhver kurs som I ser markøren lave nu,

this is the exact first moment she got that.

dette er præcis det første øjeblik hun forstod det.

That's the exact first moment

Det er præcis det første øjeblik

a brain intention was liberated from the physical domains of a body of a primate

en hjerneintention blev frigjort fra det fysiske domæne af en primatkrop

and could act outside, in that outside world,

og kunne agere udenfor, i den verden udenfor,

just by controlling an artificial device.

bare ved at kontrollere et kunstigt apparat.

And Aurora kept playing the game, kept finding the little target

Og Aurora blev ved med at spille spillet, blev ved med at finde målet

and getting the orange juice that she wanted to get, that she craved for.

og fik den appelsinjuice som hun ville have, som hun havde trang til.

Well, she did that because she, at that time, had acquired a new arm.

Jamen, hun gjorde det fordi hun, på det tidspunkt, havde fået en ny arm.

The robotic arm that you see moving here 30 days later,

Den robotarm I kan se flytte sig her 30 dage senere,

after the first video that I showed to you,

efter det første videoklip jeg viste jer,

is under the control of Aurora's brain

bliver kontrolleret af Auroras hjerne

and is moving the cursor to get to the target.

og flytter markøren for at komme hen til målet.

And Aurora now knows that she can play the game with this robotic arm,

Og Aurora ved nu at hun kan spille spillet med denne robotarm,

but she has not lost the ability to use her biological arms to do what she pleases.

men hun har ikke mistet mulighederne for at bruge hendes biologiske arme til at gøre hvad hun vil.

She can scratch her back, she can scratch one of us, she can play another game.

Hun kan klø sig på ryggen, hun kan klø en af os, hun kan spille endnu et spil.

By all purposes and means,

I alle hensigter og betydninger,

Aurora's brain has incorporated that artificial device

havde Auroras hjerne integreret det kunstige apparat

as an extension of her body.

som en forlængelse af hendes krop.

The model of the self that Aurora had in her mind

Modellen af det selv som Aurora havde i sit sind

has been expanded to get one more arm.

er blevet udvidet til at få endnu en arm.

Well, we did that 10 years ago.

Jamen, det gjorde vi for 10 år siden.

Just fast forward 10 years.

Bare spol 10 år frem.

Just last year we realized that you don't even need to have a robotic device.

Bare sidste år blev vi klar over at man ikke engang har brug for et robotagtige apparat.

You can just build a computational body, an avatar, a monkey avatar.

Man kan bare bygge en beregningsmæssig krop, en avatar, en abeavatar.

And you can actually use it for our monkeys to either interact with them,

Og man kan faktisk bruge den til vores aber til enten at interagere med dem,

or you can train them to assume in a virtual world

eller man kan træne dem til at indtage i en virtuel verden

the first-person perspective of that avatar

et førstepersons perspektiv med den avatar

and use her brain activity to control the movements of the avatar's arms or legs.

og bruge hendes hjerneaktivitet til at kontrollere bevægelserne af avatarens arme eller ben.

And what we did basically was to train the animals

Og det vi dybest set gjorde var at træne dyrene

to learn how to control these avatars

til at lære hvordan man kontrollerer disse avatarer

and explore objects that appear in the virtual world.

og udforske objekter der forekommer i den virtuelle verden.

And these objects are visually identical,

Og disse objekter er visuelt identiske,

but when the avatar crosses the surface of these objects,

men når en avatar overskrider disse objekters overflade,

they send an electrical message that is proportional to the microtactile texture of the object

sender de et elektrisk signal der er proportionalt med den mikrotaktile tekstur af objektet

that goes back directly to the monkey's brain,

der går direkte tilbage til abens hjerne,

informing the brain what it is the avatar is touching.

og informerer hjernen om hvad det er avataren rører.

And in just four weeks, the brain learns to process this new sensation

Og på bare fire uger, lærer hjernen at behandle denne nye oplevelse

and acquires a new sensory pathway -- like a new sense.

og tilegner sig en ny sanse sti -- som en ny sans.

And you truly liberate the brain now

Og man kan i sandhed frigøre hjernen nu

because you are allowing the brain to send motor commands to move this avatar.

fordi man tillader hjernen at sende motorsignaler til at flytte denne avatar.

And the feedback that comes from the avatar is being processed directly by the brain

Og feedbacken der kommer fra avataren bliver behandlet direkte i hjernen

without the interference of the skin.

uden hudens interferens.

So what you see here is this is the design of the task.

Så det man ser her er designet af opgaven.

You're going to see an animal basically touching these three targets.

Man vil se et dyr der dybest set rører disse tre mål.

And he has to select one because only one carries the reward,

Og han skal selektere en, fordi kun en bærer på belønningen,

the orange juice that they want to get.

appelsinjuicen som de vil have.

And he has to select it by touch using a virtual arm, an arm that doesn't exist.

Og han skal vælge den ved at røre ved den, ved hjælp af en virtuel arm, en arm der ikke eksisterer.

And that's exactly what they do.

Og det er præcis det de gør.

This is a complete liberation of the brain

Dette er en komplet frigørelse af hjernen

from the physical constraints of the body and the motor in a perceptual task.

fra kroppens og motorikkens fysiske begrænsninger i en perceptuel opgave.

The animal is controlling the avatar to touch the targets.

Dyret kontrollerer avataren for at røre ved målene.

And he's sensing the texture by receiving an electrical message directly in the brain.

Og han mærker teksturen ved at modtage et elektrisk signal direkte ind i hjernen.

And the brain is deciding what is the texture associated with the reward.

Og hjernen beslutter hvad hvilken tekstur der er forbundet med belønningen.

The legends that you see in the movie don't appear for the monkey.

Signaturforklaringerne som man ser i filmen viser sig ikke for aben.

And by the way, they don't read English anyway,

Og for øvrigt, kan de alligevel ikke læse engelsk,

so they are here just for you to know that the correct target is shifting position.

så de er der bare så I ved at det rigtige mål flytter sig.

And yet, they can find them by tactile discrimination,

Og alligevel, kan de finde dem gennem berøringsmæssig sondring,

and they can press it and select it.

og de kan trykke på den og selektere den.

So when we look at the brains of these animals,

Så når vi ser på disse dyrs hjerner,

on the top panel you see the alignment of 125 cells

i det øverste panel ser man grupperingen af 125 celler

showing what happens with the brain activity, the electrical storms,

der viser hvad der sker med hjerneaktiviteten, de elektriske storme,

of this sample of neurons in the brain

af denne prøve af neuroner i hjernen

when the animal is using a joystick.

når dyret bruger joysticket.

And that's a picture that every neurophysiologist knows.

Og det er et billede som alle neurofysiologer kender.

The basic alignment shows that these cells are coding for all possible directions.

Den grundlæggende gruppering viser at disse celler koder i alle mulige retninger.

The bottom picture is what happens when the body stops moving

Det nederste billede er det der sker når kroppen holder op med at bevæge sig

and the animal starts controlling either a robotic device or a computational avatar.

og dyret begynder at kontrollere enten et robotagtigt apparat eller en beregningsmæssig avatar.

As fast as we can reset our computers,

Så hurtigt som vi kan genstarte vores computere,

the brain activity shifts to start representing this new tool,

begynder hjerneaktiviteten at repræsentere dette nye redskab,

as if this too was a part of that primate's body.

som om dette også er en del af den primats krop.

The brain is assimilating that too, as fast as we can measure.

Hjernen assimilerer også det, så hurtigt som vi kan måle det.

So that suggests to us that our sense of self

Så for os tyder det på at vores jeg-følelse

does not end at the last layer of the epithelium of our bodies,

ikke ender ved det sidste lag af epitel af vores krop,

but it ends at the last layer of electrons of the tools that we're commanding with our brains.

men det ender ved det sidste lag af elektroner af de redskaber som vi kontrollerer med vores hjerner.

Our violins, our cars, our bicycles, our soccer balls, our clothing --

Vores violiner, vores biler, vores cykler, vores fodbolde, vores tøj --

they all become assimilated by this voracious, amazing, dynamic system called the brain.

de bliver alle assimileret af dette forslugne, fantastiske, dynamiske system der hedder hjernen.

How far can we take it?

Hvor langt kan vi gå med dette?

Well, in an experiment that we ran a few years ago, we took this to the limit.

Jamen, i et eksperiment vi udførte for nogle år siden, tog vi dette til grænsen.

We had an animal running on a treadmill

Vi havde et dyr der løb i en trædemølle

at Duke University on the East Coast of the United States,

ved Duke University på USAs østkyst,

producing the brainstorms necessary to move.

der producerede de brainstorms der var nødvendige for at bevæge sig.

And we had a robotic device, a humanoid robot,

Og vi havde et robotagtige apparat, en humanoid robot,

in Kyoto, Japan at ATR Laboratories

i Kyoto, Japan ved ATR Laboratories

that was dreaming its entire life to be controlled by a brain,

der hele sit liv drømte om at blive kontrolleret af en hjerne,

a human brain, or a primate brain.

en menneskelig hjerne, eller en primat hjerne.

What happens here is that the brain activity that generated the movements in the monkey

Det der sker her er at hjerne aktiviteten der genererede bevægelserne i aben

was transmitted to Japan and made this robot walk

blev sendt til Japan og fik denne robot til at gå

while footage of this walking was sent back to Duke,

mens optagelser af denne gang blev sendt tilbage til Duke,

so that the monkey could see the legs of this robot walking in front of her.

så aben kunne se benene af denne robot der gik rundt foran hende.

So she could be rewarded, not by what her body was doing

Så hun kunne belønnes, ikke ved det hendes krop gjorde

but for every correct step of the robot on the other side of the planet

men for hvert af robottens korrekte skridt, på den anden side af planeten

controlled by her brain activity.

kontrolleret af hendes hjerneaktivitet.

Funny thing, that round trip around the globe took 20 milliseconds less

En sjov ting, den tur rundt om jorden var 20 millisekunder hurtigere

than it takes for that brainstorm to leave its head, the head of the monkey,

end det tager for hendes hjernestorm at forlade hovedet, abens hoved,

and reach its own muscle.

og nå dens egne muskler.

The monkey was moving a robot that was six times bigger, across the planet.

Aben bevægede en robot der var seks gange større, tværs over planeten.

This is one of the experiments in which that robot was able to walk autonomously.

Dette er et af eksperimenterne hvor robotten var i stand til at gå selvstændigt.

This is CB1 fulfilling its dream in Japan

Dette er CB1 der opfylder sin drøm i Japan

under the control of the brain activity of a primate.

under primatens hjerneaktivitets kontrol.

So where are we taking all this?

Så hvor vil vi hen med alt dette?

What are we going to do with all this research,

Hvad vil vi gøre med al denne forskning,

besides studying the properties of this dynamic universe that we have between our ears?

ud over at studere egenskaberne ved dette dynamiske univers vi har mellem vores ører?

Well the idea is to take all this knowledge and technology

Jamen ideen er at tage al denne viden og teknologi

and try to restore one of the most severe neurological problems that we have in the world.

og prøve at genoprette en af de mest alvorlige neurologiske problemer som vi har i verden.

Millions of people have lost the ability to translate these brainstorms

Millioner af mennesker har mistet evnen til at oversætte disse brainstorms

into action, into movement.

til handling, til bevægelse.

Although their brains continue to produce those storms and code for movements,

Selvom deres hjerner fortsætter med at producere disse storme og kode bevægelserne,

they cannot cross a barrier that was created by a lesion on the spinal cord.

de kan ikke krydse en barriere der blev skabt af en kvæstelse på rygraden.

So our idea is to create a bypass,

Så vores ide er at skabe en omledning,

is to use these brain-machine interfaces to read these signals,

at bruge disse hjerne-maskine grænseflader til at læse disse signaler,

larger-scale brainstorms that contain the desire to move again,

større brainstorms der indeholder ønsket om at bevæge sig igen,

bypass the lesion using computational microengineering

omlede kvæstelsen ved hjælp af beregningsmæssig mikroingeniørarbejde

and send it to a new body, a whole body called an exoskeleton,

og sende det til en ny krop, en hel krop der hedder et exoskelet,

a whole robotic suit that will become the new body of these patients.

en hel robotagtig dragt der bliver den nye krop af disse patienter.

And you can see an image produced by this consortium.

Og man kan se et billede der er produceret af dette konsortium.

This is a nonprofit consortium called the Walk Again Project

Dette er et nonprofit konsortium der hedder Walk Again Project

that is putting together scientists from Europe,

der samler forskere fra Europa,

from here in the United States, and in Brazil

her fra USA, og i Brasilien

together to work to actually get this new body built --

til at arbejde sammen og faktisk bygge denne nye krop --

a body that we believe, through the same plastic mechanisms

en krop som vi mener, gennem de samme plastic mekanisme

that allow Aurora and other monkeys to use these tools through a brain-machine interface

der tillader Aurora og andre aber til at bruge disse redskaber gennem en hjerne-maskine grænseflade

and that allows us to incorporate the tools that we produce and use in our daily life.

og det tillader os at inkorporere de redskaber som vi producerer og bruger i vores daglige liv.

This same mechanism, we hope, will allow these patients,

Denne samme mekanisme, håber vi, vil tillade disse patienter,

not only to imagine again the movements that they want to make

ikke kun igen at forestille sig de bevægelser som de vil lave

and translate them into movements of this new body,

og oversætte dem til bevægelser af denne nye krop,

but for this body to be assimilated as the new body that the brain controls.

men for at denne krop kan assimilere sig som den nye krop som hjernen kontrollerer.

So I was told about 10 years ago

For 10 år siden fik jeg fortalt

that this would never happen, that this was close to impossible.

at dette aldrig ville ske, at dette var tæt på umuligt.

And I can only tell you that as a scientist,

Og jeg kan kun fortælle jer at som forsker,

I grew up in southern Brazil in the mid-'60s

voksede jeg op i det sydlige Brasilien i midten af 60'erne

watching a few crazy guys telling [us] that they would go to the Moon.

og så et par skøre gutter der fortalte [os] at de ville tage til månen.

And I was five years old,

Og jeg var fem år gammel,

and I never understood why NASA didn't hire Captain Kirk and Spock to do the job;

og jeg forstod aldrig hvorfor NASA ikke hyrede kaptajn Kirk og Spock til at klare jobbet;

after all, they were very proficient --

de var trods alt meget dygtige --

but just seeing that as a kid

men bare at se det som barn

made me believe, as my grandmother used to tell me,

fik mig til at tro på, som min bedstemor plejede at fortælle mig,

that "impossible is just the possible

at "det umulige er bare det mulige

that someone has not put in enough effort to make it come true."

som nogen ikke har lagt nok anstrengelse i at gøre sandt."

So they told me that it's impossible to make someone walk.

Så de fortalte mig at det er umuligt at få nogen til at gå.

I think I'm going to follow my grandmother's advice.

Jeg tror at jeg vil følge min bedstemors råd.

Thank you.

Tak.

(Applause)

(Bifald)