Miguel Nicolelis: A monkey that controls a robot with its thoughts. No, really.

Translator: Timothy Covell Reviewer: Morton Bast

Vertaald door: Philip Wolf Nagekeken door: Rik Delaet

The kind of neuroscience that I do and my colleagues do

Het soort neurowetenschap dat ik en mijn collega's bedrijven,

is almost like the weatherman.

lijkt veel op het werk van een weersvoorspeller.

We are always chasing storms.

We zijn altijd op zoek naar stormen.

We want to see and measure storms -- brainstorms, that is.

We willen stormen zien en meten - dat wil zeggen, breinstormen.

And we all talk about brainstorms in our daily lives,

En we hebben het allemaal wel eens over breinstormen in het dagelijkse leven,

but we rarely see or listen to one.

maar we zien of horen ze maar zelden.

So I always like to start these talks

Ik begin deze talks altijd graag

by actually introducing you to one of them.

door jullie er kennis mee te laten maken.

Actually, the first time we recorded more than one neuron --

Toen we voor het eerst meer dan een neuron opnamen -

a hundred brain cells simultaneously --

honderd hersencellen tegelijkertijd -

we could measure the electrical sparks

toen we de elektrische signalen konden meten

of a hundred cells in the same animal,

van honderd cellen in één dier

this is the first image we got,

kregen we dit beeld:

the first 10 seconds of this recording.

de eerste tien seconden van deze opname.

So we got a little snippet of a thought,

We hadden dus een klein stukje van een gedachte

and we could see it in front of us.

en we konden het met eigen ogen zien.

I always tell the students

Ik vertel de studenten altijd

that we could also call neuroscientists some sort of astronomer,

dat we de neurowetenschapper ook een soort astronoom kunnen noemen

because we are dealing with a system

omdat het gaat om een systeem

that is only comparable in terms of number of cells

dat qua hoeveelheid cellen alleen vergelijkbaar is

to the number of galaxies that we have in the universe.

met het aantal sterrenstelsels in het universum.

And here we are, out of billions of neurons,

Uit die miljarden neuronen registreerden we er tien jaar geleden 100.

just recording, 10 years ago, a hundred.

Uit die miljarden neuronen registreerden we er tien jaar geleden 100.

We are doing a thousand now.

Nu zijn het er duizend.

And we hope to understand something fundamental about our human nature.

We hopen iets fundamenteels te begrijpen over onze menselijke aard,

Because, if you don't know yet,

want alles wat we gebruiken om die aard te bepalen, komt uit de stormen

everything that we use to define what human nature is comes from these storms,

want alles wat we gebruiken om die aard te bepalen, komt uit de stormen

comes from these storms that roll over the hills and valleys of our brains

die over de heuvels en dalen van ons brein razen

and define our memories, our beliefs,

en onze herinneringen bepalen, onze opvattingen,

our feelings, our plans for the future.

onze gevoelens, onze toekomstplannen.

Everything that we ever do,

Alles dat we ooit doen,

everything that every human has ever done, do or will do,

alles wat elke mens ooit heeft gedaan, doet of zal doen,

requires the toil of populations of neurons producing these kinds of storms.

vereist de inspanning van grote aantallen neuronen die dit soort stormen produceren.

And the sound of a brainstorm, if you've never heard one,

Het geluid van een breinstorm, mocht je er nog nooit één hebben gehoord,

is somewhat like this.

klinkt ongeveer zo.

You can put it louder if you can.

Het mag harder.

My son calls this "making popcorn while listening to a badly-tuned A.M. station."

Mijn zoon noemt dit "popcorn maken terwijl je luistert naar een slecht afgestemde AM-radiozender."

This is a brain.

Dit is een brein.

This is what happens when you route these electrical storms to a loudspeaker

Dit gebeurt er wanneer je de elektrische stormen door een luidspreker leidt

and you listen to a hundred brain cells firing,

en je luistert naar honderd hersencellen die pulsen afgeven,

your brain will sound like this -- my brain, any brain.

dan zal je brein zo klinken - mijn brein, ieder brein.

And what we want to do as neuroscientists in this time

Wat wij als neurowetenschappers willen doen,

is to actually listen to these symphonies, these brain symphonies,

is luisteren naar deze symfonieën, deze hersensymfonieën,

and try to extract from them the messages they carry.

en proberen de signalen die ze bevatten eruit te halen.

In particular, about 12 years ago

Zo creëerden we ongeveer twaalf jaar geleden

we created a preparation that we named brain-machine interfaces.

een opstelling die we de brein-machine-interface noemden.

And you have a scheme here that describes how it works.

Hier is een schema dat beschrijft hoe het werkt.

The idea is, let's have some sensors that listen to these storms, this electrical firing,

We laten hier een aantal sensoren luisteren naar de elektrische pulsen van de stormen.

and see if you can, in the same time that it takes

We kijken of we, in de tijd die nodig is

for this storm to leave the brain and reach the legs or the arms of an animal --

voor deze storm om het brein te verlaten en de armen of benen van een dier te bereiken -

about half a second --

ongeveer een halve seconde -

let's see if we can read these signals,

deze signalen kunnen uitlezen,

extract the motor messages that are embedded in it,

de motorische signalen eruit kunnen halen,

translate it into digital commands

ze kunnen omzetten in digitale opdrachten

and send it to an artificial device

en ze naar een apparaat kunnen sturen

that will reproduce the voluntary motor wheel of that brain in real time.

dat de motorische aansturing van dat brein in real time reproduceert.

And see if we can measure how well we can translate that message

We gaan na of we kunnen meten hoe goed we deze signalen kunnen vertalen,

when we compare to the way the body does that.

vergeleken met hoe het lichaam dat doet.

And if we can actually provide feedback,

En of we feedback kunnen geven,

sensory signals that go back from this robotic, mechanical, computational actuator

zintuiglijke signalen die terugkomen van deze robotische, mechanische, computationele actuator

that is now under the control of the brain,

die nu wordt bestuurd door het brein,

back to the brain,

terug naar het brein.

how the brain deals with that,

We willen weten hoe het brein omgaat met het ontvangen van signalen van een machine.

of receiving messages from an artificial piece of machinery.

We willen weten hoe het brein omgaat met het ontvangen van signalen van een machine.

And that's exactly what we did 10 years ago.

Dat is precies wat we tien jaar geleden hebben gedaan.

We started with a superstar monkey called Aurora

We begonnen met de 'superaap' Aurora

that became one of the superstars of this field.

die een superster werd op dit gebied.

And Aurora liked to play video games.

Aurora speelde graag computerspellen.

As you can see here,

Ze speelt met een joystick zoals ieder ander kind.

she likes to use a joystick, like any one of us, any of our kids, to play this game.

Ze speelt met een joystick zoals ieder ander kind.

And as a good primate, she even tries to cheat before she gets the right answer.

Zoals elke primaat probeert ze zelfs vals te spelen voor ze het goede antwoord geeft.

So even before a target appears that she's supposed to cross

Nog voor het doel verschijnt,

with the cursor that she's controlling with this joystick,

probeert ze al te voorspellen

Aurora is trying to find the target, no matter where it is.

waar het gaat opduiken.

And if she's doing that,

Ze doet het omdat ze bij elke treffer

because every time she crosses that target with the little cursor,

Ze doet het omdat ze bij elke treffer

she gets a drop of Brazilian orange juice.

een druppel Braziliaans sinaasappelsap krijgt.

And I can tell you, any monkey will do anything for you

Van een aap krijg je alles gedaan

if you get a little drop of Brazilian orange juice.

voor een druppeltje Braziliaans sinaasappelsap.

Actually any primate will do that.

Eigenlijk doet elke primaat dat.

Think about that.

Goed om weten.

Well, while Aurora was playing this game, as you saw,

Terwijl Aurora hiermee bezig was

and doing a thousand trials a day

en in duizend rondes per dag

and getting 97 percent correct and 350 milliliters of orange juice,

met 97 % treffers 350 ml sinaasappelsap verdiende,

we are recording the brainstorms that are produced in her head

registreerden wij de breinstormen in haar hoofd

and sending them to a robotic arm

en stuurden ze naar een robotarm

that was learning to reproduce the movements that Aurora was making.

die de bewegingen van Aurora leerde reproduceren.

Because the idea was to actually turn on this brain-machine interface

De bedoeling was om met deze brein-machine-interface

and have Aurora play the game just by thinking,

Aurora het spel te laten spelen met alleen haar gedachten,

without interference of her body.

zonder tussenkomst van haar lichaam.

Her brainstorms would control an arm

Haar breinstormen moesten een arm besturen

that would move the cursor and cross the target.

die de cursor beweegt en het doel raakt.

And to our shock, that's exactly what Aurora did.

Tot onze verbazing is dat precies wat Aurora deed.

She played the game without moving her body.

Ze speelde het spel zonder haar lichaam te bewegen.

So every trajectory that you see of the cursor now,

Elke beweging die de cursor nu maakt

this is the exact first moment she got that.

- dit is precies de eerste keer dat ze het doorhad.

That's the exact first moment

Dit is precies het eerste moment

a brain intention was liberated from the physical domains of a body of a primate

dat een breinintentie werd losgemaakt van het lichaam van een primaat.

and could act outside, in that outside world,

Hij kon nu die buitenwereld beïnvloeden,

just by controlling an artificial device.

simpelweg door het besturen van een kunstmatig apparaat.

And Aurora kept playing the game, kept finding the little target

Aurora speelde nog altijd het spel, vond nog altijd het doel

and getting the orange juice that she wanted to get, that she craved for.

en kreeg nog altijd het zo verlangde sinaasappelsap.

Well, she did that because she, at that time, had acquired a new arm.

Het was alsof ze er een arm bij had.

The robotic arm that you see moving here 30 days later,

De robotarm die je hier ziet bewegen,

after the first video that I showed to you,

dertig dagen na de eerste video

is under the control of Aurora's brain

wordt bestuurd door Aurora's brein

and is moving the cursor to get to the target.

en beweegt de cursor om bij het doel te komen.

And Aurora now knows that she can play the game with this robotic arm,

Aurora weet nu dat ze het spel kan spelen met deze robotarm

but she has not lost the ability to use her biological arms to do what she pleases.

maar ze behoudt het vermogen om haar natuurlijke armen te gebruiken.

She can scratch her back, she can scratch one of us, she can play another game.

Ze kan haar rug krabben, één van ons krabben of een ander spel spelen.

By all purposes and means,

In de praktijk betekent dit dat Aurora's brein dat kunstmatige apparaat heeft opgenomen

Aurora's brain has incorporated that artificial device

In de praktijk betekent dit dat Aurora's brein dat kunstmatige apparaat heeft opgenomen

as an extension of her body.

als een verlengstuk van haar lichaam.

The model of the self that Aurora had in her mind

Het model van zichzelf dat Aurora in haar geest had,

has been expanded to get one more arm.

is uitgebreid met een extra arm.

Well, we did that 10 years ago.

Dat deden we tien jaar geleden.

Just fast forward 10 years.

Nu spoelen we tien jaar vooruit.

Just last year we realized that you don't even need to have a robotic device.

Vorig jaar ontdekten we dat je niet eens een robotachtig apparaat nodig hebt.

You can just build a computational body, an avatar, a monkey avatar.

Je kunt gewoon een digitaal lichaam bouwen, een avatar van een aap.

And you can actually use it for our monkeys to either interact with them,

Je kunt deze avatar ofwel gebruiken voor interactie met onze apen

or you can train them to assume in a virtual world

of je kunt ze trainen om in een virtuele wereld

the first-person perspective of that avatar

het eerstepersoons-perspectief van deze avatar aan te nemen

and use her brain activity to control the movements of the avatar's arms or legs.

en haar hersenactiviteit gebruiken om de armen of benen van de avatar te besturen.

And what we did basically was to train the animals

In feite trainden we de dieren

to learn how to control these avatars

om de avatars te leren besturen

and explore objects that appear in the virtual world.

en objecten te verkennen die verschijnen in de virtuele wereld.

And these objects are visually identical,

Deze objecten zijn uiterlijk identiek,

but when the avatar crosses the surface of these objects,

maar wanneer de avatar het oppervlak van deze objecten aanraakt,

they send an electrical message that is proportional to the microtactile texture of the object

stuurt het een elektrisch signaal dat evenredig is met de voelbare textuur van het object.

that goes back directly to the monkey's brain,

Dat gaat direct terug naar het brein van de aap

informing the brain what it is the avatar is touching.

en informeert het brein wat de avatar aanraakt.

And in just four weeks, the brain learns to process this new sensation

In slechts vier weken leert het brein deze nieuwe ervaring verwerken

and acquires a new sensory pathway -- like a new sense.

en verkrijgt het een nieuwe zintuiglijke baan - een soort nieuw zintuig.

And you truly liberate the brain now

Dit bevrijdt het brein echt

because you are allowing the brain to send motor commands to move this avatar.

want nu kan het brein motorische opdrachten naar deze avatar sturen.

And the feedback that comes from the avatar is being processed directly by the brain

De feedback van de avatar wordt direct verwerkt door het brein

without the interference of the skin.

zonder tussenkomst van de huid.

So what you see here is this is the design of the task.

Hier zie je het ontwerp van de taak.

You're going to see an animal basically touching these three targets.

Je zult een dier de drie doelen zien aanraken.

And he has to select one because only one carries the reward,

Het moet er één kiezen omdat slechts één doel

the orange juice that they want to get.

het verlangde sinaasappelsap oplevert.

And he has to select it by touch using a virtual arm, an arm that doesn't exist.

Het dier moet het doel aanraken met een virtuele arm.

And that's exactly what they do.

Dat is precies wat ze doen.

This is a complete liberation of the brain

Het brein wordt volledig bevrijd

from the physical constraints of the body and the motor in a perceptual task.

van de fysieke beperkingen van het lichaam en de motoriek in een perceptuele taak.

The animal is controlling the avatar to touch the targets.

Het dier bestuurt de avatar om de doelen aan te raken.

And he's sensing the texture by receiving an electrical message directly in the brain.

Het voelt de textuur door direct in het brein een elektrisch signaal te ontvangen.

And the brain is deciding what is the texture associated with the reward.

Het brein beoordeelt wat de textuur is die geassocieerd wordt met de beloning.

The legends that you see in the movie don't appear for the monkey.

De beschrijvingen die je ziet in de opname verschijnen niet voor de aap.

And by the way, they don't read English anyway,

Ze kunnen trouwens ook geen Engels lezen.

so they are here just for you to know that the correct target is shifting position.

Ze zijn er alleen zodat je weet dat het juiste doel van positie verandert.

And yet, they can find them by tactile discrimination,

Toch kunnen ze de doelen vinden door het verschil in textuur te voelen,

and they can press it and select it.

en kunnen ze erop duwen en selecteren.

So when we look at the brains of these animals,

Als we kijken naar het brein van deze dieren

on the top panel you see the alignment of 125 cells

zie je in het bovenste diagram de opstelling van 125 cellen.

showing what happens with the brain activity, the electrical storms,

Ze laten zien wat er gebeurt met de hersenactiviteit, de elektrische stormen,

of this sample of neurons in the brain

van deze verzameling neuronen in het brein

when the animal is using a joystick.

wanneer het dier een joystick gebruikt.

And that's a picture that every neurophysiologist knows.

Dit is een afbeelding die iedere neurofysioloog kent.

The basic alignment shows that these cells are coding for all possible directions.

De basisopstelling laat zien dat deze cellen coderen voor alle mogelijke richtingen.

The bottom picture is what happens when the body stops moving

Het onderste diagram toont wat er gebeurt als het lichaam ophoudt met bewegen

and the animal starts controlling either a robotic device or a computational avatar.

en het dier een robot of een digitale avatar gaat besturen.

As fast as we can reset our computers,

Zo snel als we onze computers kunnen herstarten,

the brain activity shifts to start representing this new tool,

verschuift de hersenactiviteit naar het voorstellen van dit nieuwe instrument

as if this too was a part of that primate's body.

alsof het ook een onderdeel van het lichaam van die primaat is.

The brain is assimilating that too, as fast as we can measure.

Het brein assimileert het ook zo snel als we kunnen meten.

So that suggests to us that our sense of self

Dat doet ons vermoeden dat ons zelfbewustzijn

does not end at the last layer of the epithelium of our bodies,

niet stopt bij de laatste huidlaag van het lichaam,

but it ends at the last layer of electrons of the tools that we're commanding with our brains.

maar bij de laatste laag elektronen van de instrumenten die we met ons brein besturen.

Our violins, our cars, our bicycles, our soccer balls, our clothing --

Violen, auto's, fietsen, voetballen, kledij -

they all become assimilated by this voracious, amazing, dynamic system called the brain.

worden allemaal opgenomen door dit gulzige, wonderbaarlijke, dynamische systeem: ons brein.

How far can we take it?

Hoe ver kunnen we hiermee gaan?

Well, in an experiment that we ran a few years ago, we took this to the limit.

We zochten de grens op in een experiment dat we een paar jaar geleden deden.

We had an animal running on a treadmill

We lieten een dier rennen op een lopende band

at Duke University on the East Coast of the United States,

bij Duke University aan de oostkust van de VS

producing the brainstorms necessary to move.

om de breinstormen te maken die nodig zijn om te bewegen.

And we had a robotic device, a humanoid robot,

We hadden een mensachtige robot

in Kyoto, Japan at ATR Laboratories

in Kyoto, Japan, bij ATR Laboratories

that was dreaming its entire life to be controlled by a brain,

die zijn hele leven ervan droomde door een brein bestuurd te worden,

a human brain, or a primate brain.

een brein van mens of primaat.

What happens here is that the brain activity that generated the movements in the monkey

We stuurden de hersenactiviteit die de aap deed bewegen

was transmitted to Japan and made this robot walk

naar Japan en lieten deze robot lopen

while footage of this walking was sent back to Duke,

terwijl videobeelden hiervan werden teruggestuurd naar Duke

so that the monkey could see the legs of this robot walking in front of her.

zodat de aap de benen van deze robot voor zich zag lopen.

So she could be rewarded, not by what her body was doing

Ze werd beloond, niet voor wat haar lichaam deed,

but for every correct step of the robot on the other side of the planet

maar voor elke correcte stap die de robot aan de andere kant van de wereld maakte

controlled by her brain activity.

dankzij de besturing door haar hersenactiviteit.

Funny thing, that round trip around the globe took 20 milliseconds less

Grappig dat die reis rond de aarde 20 milliseconden minder lang duurde

than it takes for that brainstorm to leave its head, the head of the monkey,

dan de breinstorm nodig heeft om het hoofd van de aap te verlaten

and reach its own muscle.

en aan te komen bij zijn eigen spier.

The monkey was moving a robot that was six times bigger, across the planet.

De aap bewoog een robot aan de andere kant van de planeet die zes keer groter was dan hijzelf.

This is one of the experiments in which that robot was able to walk autonomously.

Dit is een van de experimenten waarin die robot zelfstandig kon lopen.

This is CB1 fulfilling its dream in Japan

Dit is CB1 terwijl zijn droom werkelijkheid wordt in Japan

under the control of the brain activity of a primate.

en hij bestuurd wordt door de hersenactiviteit van een primaat.

So where are we taking all this?

Waar gaat dit allemaal naartoe?

What are we going to do with all this research,

Wat gaan we doen met al dit onderzoek,

besides studying the properties of this dynamic universe that we have between our ears?

afgezien van het bestuderen van dat dynamische universum tussen onze oren?

Well the idea is to take all this knowledge and technology

Het idee is om al deze kennis en technologie te gebruiken

and try to restore one of the most severe neurological problems that we have in the world.

om een van de ernstigste neurologische problemen die we kennen, op te lossen.

Millions of people have lost the ability to translate these brainstorms

Miljoenen mensen kunnen deze breinstormen niet meer omzetten in bewegingen.

into action, into movement.

Miljoenen mensen kunnen deze breinstormen niet meer omzetten in bewegingen.

Although their brains continue to produce those storms and code for movements,

Hoewel hun brein deze stormen nog steeds aanmaakt

they cannot cross a barrier that was created by a lesion on the spinal cord.

kunnen ze niet langs de barrière die ontstaan is door een dwarslaesie.

So our idea is to create a bypass,

Ons idee is om de dwarslaesie te omzeilen,

is to use these brain-machine interfaces to read these signals,

om deze brein-machine-interface te gebruiken om de signalen te lezen,

larger-scale brainstorms that contain the desire to move again,

grotere breinstormen die het verlangen naar beweging bevatten,

bypass the lesion using computational microengineering

om de dwarslaesie te omzeilen met computationele microtechniek

and send it to a new body, a whole body called an exoskeleton,

en het naar een nieuw lichaam te sturen, een compleet lichaam, een exoskelet,

a whole robotic suit that will become the new body of these patients.

een 'robotpak' dat het nieuwe lichaam van deze patiënten wordt.

And you can see an image produced by this consortium.

Hier is een afbeelding gemaakt door dit consortium.

This is a nonprofit consortium called the Walk Again Project

Het is een non-profit consortium, het Walk Again Project genaamd

that is putting together scientists from Europe,

dat wetenschappers samenbrengt uit Europa, de VS en Brazilië

from here in the United States, and in Brazil

dat wetenschappers samenbrengt uit Europa, de VS en Brazilië

together to work to actually get this new body built --

om te werken aan het bouwen van dit nieuwe lichaam -

a body that we believe, through the same plastic mechanisms

een lichaam dat werkt via dezelfde plastische mechanismen

that allow Aurora and other monkeys to use these tools through a brain-machine interface

die Aurora en andere apen deze instrumenten laten gebruiken via een brein-machine-interface

and that allows us to incorporate the tools that we produce and use in our daily life.

en er de instrumenten nodig voor ons dagelijks leven in op te nemen.

This same mechanism, we hope, will allow these patients,

Hopelijk kunnen deze patiënten dankzij dit mechanisme

not only to imagine again the movements that they want to make

zich niet alleen de bewegingen inbeelden die ze willen maken

and translate them into movements of this new body,

en deze vertalen in bewegingen van dit nieuwe lichaam,

but for this body to be assimilated as the new body that the brain controls.

maar ook dit lichaam opnemen als het nieuwe lichaam dat het brein bestuurt.

So I was told about 10 years ago

Zo'n tien jaar geleden werd me verteld

that this would never happen, that this was close to impossible.

dat dit nooit zou gebeuren, dat het bijna onmogelijk was.

And I can only tell you that as a scientist,

Als wetenschapper denk ik vaak terug

I grew up in southern Brazil in the mid-'60s

aan het Brazilië van mijn jeugd, rond 1965,

watching a few crazy guys telling [us] that they would go to the Moon.

toen een paar maffe kerels ons vertelden dat ze naar de maan zouden gaan.

And I was five years old,

Ik was vijf en begreep niet waarom ze bij NASA Captain Kirk en Spock niet inhuurden -

and I never understood why NASA didn't hire Captain Kirk and Spock to do the job;

Ik was vijf en begreep niet waarom ze bij NASA Captain Kirk en Spock niet inhuurden -

after all, they were very proficient --

die waren er toch heel goed in -

but just seeing that as a kid

maar toen ik dat zag als kind

made me believe, as my grandmother used to tell me,

geloofde ik, zoals mijn oma vaak zei:

that "impossible is just the possible

"Het onmogelijke is gewoon het mogelijke

that someone has not put in enough effort to make it come true."

waarvoor niemand nog genoeg moeite heeft gedaan om het voor elkaar te krijgen."

So they told me that it's impossible to make someone walk.

Ze vertelden me dat het onmogelijk is om iemand weer te laten lopen.

I think I'm going to follow my grandmother's advice.

Ik denk dat ik het advies van mijn oma ga opvolgen.

Thank you.

Dank je wel.

(Applause)

(Applaus)