Miguel Nicolelis: A monkey that controls a robot with its thoughts. No, really.

Miguel Nicolelis: Ein Affe steuert einen Roboter – nur durch Gedanken!

Translator: Timothy Covell Reviewer: Morton Bast

Übersetzung: Angelika Lueckert Leon Lektorat: David S

The kind of neuroscience that I do and my colleagues do

Die Neurowissenschaft, die meine Kollegen und ich praktizieren

is almost like the weatherman.

ähnelt der Meteorologie.

We are always chasing storms.

Wir suchen ständig nach Gewittern.

We want to see and measure storms -- brainstorms, that is.

Wir beobachten und messen Gewitter – Geistesblitze.

And we all talk about brainstorms in our daily lives,

Wir alle sprechen in unserem Alltagsleben über Geistesblitze,

but we rarely see or listen to one.

aber wir sehen oder hören selten einen.

So I always like to start these talks

Ich beginne Vorträge gerne damit,

by actually introducing you to one of them.

Ihnen einen davon vorzustellen.

Actually, the first time we recorded more than one neuron --

Als wir erstmals mehr als ein Neuron aufgezeichnet haben –

a hundred brain cells simultaneously --

hundert Gehirnzellen gleichzeitig –

we could measure the electrical sparks

konnten wir die elektrischen Entladungen

of a hundred cells in the same animal,

von hundert Zellen bei einem Tier messen,

this is the first image we got,

das ist das erste Bild davon,

the first 10 seconds of this recording.

die ersten 10 Sekunden dieser Aufnahme.

So we got a little snippet of a thought,

Wir haben hier ein Gedankenbruchstück,

and we could see it in front of us.

das wir vor uns sehen konnten.

I always tell the students

Ich sage den Studenten,

that we could also call neuroscientists some sort of astronomer,

dass man Neurowissenschaftler auch Astronomen nennen könnte,

because we are dealing with a system

denn es geht um ein System,

that is only comparable in terms of number of cells

dessen Anzahl an Zellen nur vergleichbar ist

to the number of galaxies that we have in the universe.

mit der Anzahl an Galaxien im Universum.

And here we are, out of billions of neurons,

Wir haben von Milliarden von Neuronen,

just recording, 10 years ago, a hundred.

vor 10 Jahren nur 100 aufgezeichnet.

We are doing a thousand now.

Jetzt erfassen wir 1.000.

And we hope to understand something fundamental about our human nature.

Wir hoffen, Wesentliches über die menschliche Natur zu erfahren.

Because, if you don't know yet,

Vielleicht war Ihnen das bisher nicht bewusst,

everything that we use to define what human nature is comes from these storms,

aber wir definieren die menschliche Natur ausschließlich über

comes from these storms that roll over the hills and valleys of our brains

diese Stürme, die über die Hügel und Täler unseres Gehirns rollen

and define our memories, our beliefs,

und unsere Erinnerung, unsere Vorstellungen,

our feelings, our plans for the future.

unsere Gefühle, unsere Zukunftspläne.

Everything that we ever do,

Alles was wir machen,

everything that every human has ever done, do or will do,

alles was ein Mensch je getan hat, tut oder tun wird,

requires the toil of populations of neurons producing these kinds of storms.

erfordert den Einsatz von Neuronenpopulationen, um diese Gewitter zu erzeugen.

And the sound of a brainstorm, if you've never heard one,

Der Klang eines Gehirnsturms, falls Sie noch keinen gehört haben,

is somewhat like this.

ist ungefähr so.

You can put it louder if you can.

Man kann es noch lauter drehen.

My son calls this "making popcorn while listening to a badly-tuned A.M. station."

Mein Sohn nennt das "Popcorn machen, wenn das Radio rauscht".

This is a brain.

Das ist ein Gehirn.

This is what happens when you route these electrical storms to a loudspeaker

So klingen diese elektrischen Stürme über einen Lautsprecher.

and you listen to a hundred brain cells firing,

Sie hören die Entladung hunderter Gehirnzellen,

your brain will sound like this -- my brain, any brain.

so hört sich jedes Gehirn an.

And what we want to do as neuroscientists in this time

Als Neurowissenschaftler wollen wir uns

is to actually listen to these symphonies, these brain symphonies,

diese Symphonien des Gehirns anhören,

and try to extract from them the messages they carry.

und ihre Botschaften herausfiltern.

In particular, about 12 years ago

Vor etwa 12 Jahren schufen wir

we created a preparation that we named brain-machine interfaces.

ein Präparat, das wir die Schnittstelle von Gehirn und Maschine nannten.

And you have a scheme here that describes how it works.

Dieses Schema beschreibt, wie es funktioniert.

The idea is, let's have some sensors that listen to these storms, this electrical firing,

Die Sensoren sollen den Stürmen, dieser elektrischen Entladung, lauschen,

and see if you can, in the same time that it takes

und feststellen, ob man in der Zeit, die der Sturm braucht,

for this storm to leave the brain and reach the legs or the arms of an animal --

um vom Gehirn zu den Beinen oder Armen eines Tieres zu gelangen –

about half a second --

etwa eine halbe Sekunde –

let's see if we can read these signals,

die Signale lesen kann,

extract the motor messages that are embedded in it,

die enthaltenen motorischen Signale entnehmen,

translate it into digital commands

sie in digitale Befehle verwandeln

and send it to an artificial device

und sie an ein Gerät senden kann,

that will reproduce the voluntary motor wheel of that brain in real time.

das die willkürliche Motorik des Gehirns in Echtzeit abbildet.

And see if we can measure how well we can translate that message

Wir beobachten, wie gut wir das Signal übertragen können,

when we compare to the way the body does that.

im Vergleich zur körpereigenen Weise.

And if we can actually provide feedback,

Und ob wir wirklich eine Rückkopplung über sensorische Signale

sensory signals that go back from this robotic, mechanical, computational actuator

vom roboter-mechanischen, rechnerbasierten Auslöser,

that is now under the control of the brain,

der jetzt vom Gehirn kontrolliert wird,

back to the brain,

zurück zum Gehirn, erzeugen können,

how the brain deals with that,

und wie das Gehirn Signale verarbeitet,

of receiving messages from an artificial piece of machinery.

die von einem künstlichen Mechanismus ausgehen.

And that's exactly what we did 10 years ago.

Genau das taten wir vor 10 Jahren.

We started with a superstar monkey called Aurora

Wir begannen mit dem Affen-Superstar Aurora,

that became one of the superstars of this field.

der auf diesem Gebiet zu einem Superstar wurde.

And Aurora liked to play video games.

Aurora spielte gerne Videospiele.

As you can see here,

Wie Sie hier sehen,

she likes to use a joystick, like any one of us, any of our kids, to play this game.

sie benutzte, wie jeder von uns, beim Spielen gern einen Joystick.

And as a good primate, she even tries to cheat before she gets the right answer.

Als braver Primat, versuchte sie sogar zu mogeln, um die richtige Antwort rauszufinden.

So even before a target appears that she's supposed to cross

Sogar bevor ein Ziel erscheint, das sie mit dem

with the cursor that she's controlling with this joystick,

Joystick gesteuerten Cursor anzielen soll.

Aurora is trying to find the target, no matter where it is.

versucht Aurora das Ziel zu finden, egal wo es ist.

And if she's doing that,

Und wenn sie das macht, erhält sie,

because every time she crosses that target with the little cursor,

jedes Mal wenn sie das Ziel mit dem kleinen Cursor erfasst,

she gets a drop of Brazilian orange juice.

einen Tropfen brasilianischen Orangensafts.

And I can tell you, any monkey will do anything for you

Und jeder Affe wird alles für Sie tun,

if you get a little drop of Brazilian orange juice.

wenn er einen Tropfen dieses Orangensafts bekommt.

Actually any primate will do that.

Eigentlich würde das jeder Primat machen.

Think about that.

Überlegen Sie sich das mal.

Well, while Aurora was playing this game, as you saw,

Während Aurora dieses Spiel spielte

and doing a thousand trials a day

und tausend Versuche am Tag machte

and getting 97 percent correct and 350 milliliters of orange juice,

und 97% richtig machte und 350 ml Orangensaft bekam,

we are recording the brainstorms that are produced in her head

zeichneten wir die Gehirnstürme auf, die in ihrem Kopf enstanden

and sending them to a robotic arm

und sendeten sie an einen Roboterarm,

that was learning to reproduce the movements that Aurora was making.

der lernte die Bewegungen Auroras zu reproduzieren.

Because the idea was to actually turn on this brain-machine interface

Die Idee war diese Schnittstelle von Gehirn und Maschine einzuschalten

and have Aurora play the game just by thinking,

und Aurora dieses Spiel allein durch Denken spielen zu lassen,

without interference of her body.

ohne Eingriff ihres Körpers.

Her brainstorms would control an arm

Ihre Gehirnströme würden einen Arm kontrollieren,

that would move the cursor and cross the target.

der den Cursor bewegt und das Ziel erfasst.

And to our shock, that's exactly what Aurora did.

Zu unserem Entsetzen, tat Aurora genau das.

She played the game without moving her body.

Sie spielte das Spiel, ohne ihren Körper zu bewegen.

So every trajectory that you see of the cursor now,

Jede Bewegungslinie des Cursors, die Sie jetzt sehen,

this is the exact first moment she got that.

ist vom ersten Moment, wo es ihr gelang.

That's the exact first moment

Das ist das allererste Mal,

a brain intention was liberated from the physical domains of a body of a primate

dass ein Gehirnbefehl vom physischen Bereich eines Primatenkörpers befreit wurde

and could act outside, in that outside world,

und außerhalb davon agieren konnte,

just by controlling an artificial device.

allein durch Steuerung eines Geräts.

And Aurora kept playing the game, kept finding the little target

Und Aurora spielte weiter, fand weiter das kleine Ziel,

and getting the orange juice that she wanted to get, that she craved for.

bekam weiterhin den Orangensaft, den sie wollte.

Well, she did that because she, at that time, had acquired a new arm.

Sie tat das, weil sie damals einen neuen Arm bekommen hatte.

The robotic arm that you see moving here 30 days later,

Der Roboterarm, den Sie hier 30 Tage

after the first video that I showed to you,

nach dem vorhin gezeigten Video in Bewegung sehen,

is under the control of Aurora's brain

ist unter der Kontrolle von Auroras Gehirn

and is moving the cursor to get to the target.

und bewegt den Cursor, um das Ziel zu erreichen.

And Aurora now knows that she can play the game with this robotic arm,

Aurora weiß, dass Sie das Spiel mit Hilfe dieses Roboterarms spielen kann,

but she has not lost the ability to use her biological arms to do what she pleases.

aber sie hat nicht die Fähigkeit verloren, ihren biologischen Arm zu benutzen.

She can scratch her back, she can scratch one of us, she can play another game.

Sie kann ihren Rücken und jeden von uns kratzen, sie kann auch etwas anderes spielen.

By all purposes and means,

In jeder Hinsicht hatte

Aurora's brain has incorporated that artificial device

Auroras Gehirn das Gerät

as an extension of her body.

als eine Erweiterung ihres Körpers integriert.

The model of the self that Aurora had in her mind

Auroras Selbstbild, das sie im Kopf hatte,

has been expanded to get one more arm.

hatte sich erweitert, um einen weiteren Arm aufzunehmen.

Well, we did that 10 years ago.

Das haben wir vor 10 Jahren gemacht.

Just fast forward 10 years.

Spulen Sie bloß 10 Jahre vor.

Just last year we realized that you don't even need to have a robotic device.

Erst letztes Jahr merkten wir, dass wir nicht mal ein roboterhaftes Gerät brauchen.

You can just build a computational body, an avatar, a monkey avatar.

Man baut einfach einen rechnerbasierten Körper, einen Affen-Avatar.

And you can actually use it for our monkeys to either interact with them,

Diesen kann man nutzen, damit die Affen entweder damit interagieren können

or you can train them to assume in a virtual world

oder man kann sie so trainieren, dass sie in einer künstlichen Welt

the first-person perspective of that avatar

die Ich-Perspektive des Avatars einnehmen

and use her brain activity to control the movements of the avatar's arms or legs.

und mit ihrem Gehirn die Bewegungen der Arme oder Beine des Avatars kontrollieren.

And what we did basically was to train the animals

Grundsätzlich trainierten wir die Tiere,

to learn how to control these avatars

damit sie lernten, diese Avatare zu kontrollieren

and explore objects that appear in the virtual world.

und Objekte in der virtuellen Welt zu erforschen.

And these objects are visually identical,

Diese Objekte sind optisch identisch,

but when the avatar crosses the surface of these objects,

aber wenn der Avatar die Oberfläche dieser Objekte durchbricht,

they send an electrical message that is proportional to the microtactile texture of the object

senden sie ein elektrisches Signal, angepasst an die mikrotaktilen Textur des Objekts.

that goes back directly to the monkey's brain,

Dieses geht direkt an das Gehirn des Affen zurück

informing the brain what it is the avatar is touching.

und teilt dem Gehirn mit, was der Avatar berührt.

And in just four weeks, the brain learns to process this new sensation

In nur vier Wochen lernt das Gehirn diesen neuen Sinneseindruck zu verarbeiten

and acquires a new sensory pathway -- like a new sense.

und erzeugt eine neue Sinnesbahn – ähnlich einem neuen Sinn.

And you truly liberate the brain now

Das Gehirn wird jetzt wirklich befreit,

because you are allowing the brain to send motor commands to move this avatar.

denn es kann Befehle senden, um den Avatar zu bewegen.

And the feedback that comes from the avatar is being processed directly by the brain

Und die Rückmeldung vom Avatar wird direkt vom Gehirn verarbeitet,

without the interference of the skin.

ohne die Einbindung der Haut.

So what you see here is this is the design of the task.

Hier sieht man den Aufbau dieser Aufgabe.

You're going to see an animal basically touching these three targets.

Sie sehen, wie ein Tier diese drei Ziele berührt.

And he has to select one because only one carries the reward,

Und er muss eins auswählen, denn nur eins führt zur Belohnung,

the orange juice that they want to get.

den Orangensaft, den sie haben wollen.

And he has to select it by touch using a virtual arm, an arm that doesn't exist.

Und er muss es mit einem nicht existierenden, virtuellen Arm auswählen.

And that's exactly what they do.

Und genau das machen sie.

This is a complete liberation of the brain

Das ist eine völlige Befreiung des Gehirns

from the physical constraints of the body and the motor in a perceptual task.

von physischen Beschränkungen des Körpers und der Motorik in einer Wahrnehmungsaufgabe.

The animal is controlling the avatar to touch the targets.

Das Tier kontrolliert den Avatar, um die Ziele zu berühren.

And he's sensing the texture by receiving an electrical message directly in the brain.

Und es fühlt die Textur durch elektrische Signale, die er direkt im Gehirn empfängt.

And the brain is deciding what is the texture associated with the reward.

Das Gehirn bestimmt dann, welche Textur mit der Belohnung verknüpft ist.

The legends that you see in the movie don't appear for the monkey.

Die Beschriftungen, die Sie im Film sehen, sieht der Affe nicht.

And by the way, they don't read English anyway,

Und außerdem lesen sie sowieso kein Englisch,

so they are here just for you to know that the correct target is shifting position.

sind also nur für Sie, damit Sie wissen, dass das Ziel die Position wechselt.

And yet, they can find them by tactile discrimination,

Sie finden sie durch taktile Unterscheidung

and they can press it and select it.

und sie können sie drücken und auswählen.

So when we look at the brains of these animals,

Wenn wir nun die Gehirne dieser Tiere betrachten,

on the top panel you see the alignment of 125 cells

sieht man auf der obersten Tafel die Ausrichtung von 125 Zellen,

showing what happens with the brain activity, the electrical storms,

was zeigt, was mit der Gehirnaktivität passiert, den elektrischen Stürmen,

of this sample of neurons in the brain

dieser Auswahl von Neuronen im Gehirn,

when the animal is using a joystick.

wenn das Tier einen Joystick benutzt.

And that's a picture that every neurophysiologist knows.

Das ist ein Bild, das jeder Neurophysiologe kennt.

The basic alignment shows that these cells are coding for all possible directions.

Die Grundausrichtung zeigt, dass diese Zellen für alle möglichen Richtungen kodiert sind.

The bottom picture is what happens when the body stops moving

Das untere Bild zeigt, was passiert, wenn der Körper sich nicht mehr bewegt

and the animal starts controlling either a robotic device or a computational avatar.

und das Tier beginnt, eine roboterhaftes Gerät oder einen Computer-Avatar zu kontrollieren.

As fast as we can reset our computers,

So schnell wie wir unsere Computer neu einstellen können,

the brain activity shifts to start representing this new tool,

verlagert sich die Gehirnaktivität um dieses neue Werkzeug abzubilden,

as if this too was a part of that primate's body.

als wenn es ein Körperteil des Primaten wäre.

The brain is assimilating that too, as fast as we can measure.

Das Gehirn erfasst das schneller als wir messen können.

So that suggests to us that our sense of self

Das deutet darauf hin, dass unser Selbstbild

does not end at the last layer of the epithelium of our bodies,

nicht bei der Haut unseres Körpers aufhört,

but it ends at the last layer of electrons of the tools that we're commanding with our brains.

sondern beim letzten Elektron der Werkzeuge, die wir mit unseren Gehirnen steuern.

Our violins, our cars, our bicycles, our soccer balls, our clothing --

Unsere Violinen, Autos, Fahrräder, Fußbälle, Kleidung —

they all become assimilated by this voracious, amazing, dynamic system called the brain.

sie alle werden in das unersättliche, dynamische System namens Gehirn integriert.

How far can we take it?

Wie weit können wir das treiben?

Well, in an experiment that we ran a few years ago, we took this to the limit.

In einem Experiment, das wir vor einigen Jahren machten, gingen wir ans Limit.

We had an animal running on a treadmill

Wir hatten ein Tier, das in einer Tretmühle lief

at Duke University on the East Coast of the United States,

— an der Duke Universität an der Ostküste der USA —

producing the brainstorms necessary to move.

und das die notwendigen Gehirnstürme für die Bewegung produzierte.

And we had a robotic device, a humanoid robot,

Und es gab einen humanoiden Roboter,

in Kyoto, Japan at ATR Laboratories

in Kyoto, Japan, in den ATR-Laboratorien,

that was dreaming its entire life to be controlled by a brain,

der sein ganzes Leben davon geträumt hatte, von einem Gehirn,

a human brain, or a primate brain.

einem menschlichen oder einem Primatengehirn, kontrolliert zu werden.

What happens here is that the brain activity that generated the movements in the monkey

Die Gehirnaktivität, die die Bewegung im Affen erzeugte,

was transmitted to Japan and made this robot walk

wurde nach Japan gesendet und ließ den Roboter laufen,

while footage of this walking was sent back to Duke,

während eine Videoaufzeichnung dieser Bewegung wieder an Duke gesendet wurde,

so that the monkey could see the legs of this robot walking in front of her.

damit der Affe vor sich sah, wie sich die Beine des Roboters bewegten.

So she could be rewarded, not by what her body was doing

So wurde sie nicht für etwas belohnt, was ihr Körper machte,

but for every correct step of the robot on the other side of the planet

sondern für jeden richtigen Schritt des Roboters auf der anderen Seite der Erde,

controlled by her brain activity.

den sie mit ihrer Gehirnaktivität kontrollierte.

Funny thing, that round trip around the globe took 20 milliseconds less

Witzigerweise brauchte die Reise um den Globus 20 Millisekunden weniger,

than it takes for that brainstorm to leave its head, the head of the monkey,

als der Geistesblitz braucht, um den Kopf des Affen zu verlassen

and reach its own muscle.

und seinen eigenen Muskel zu erreichen.

The monkey was moving a robot that was six times bigger, across the planet.

Der Affe bewegte einen Roboter, auf der anderen Seite des Planeten, der sechsmal größer war.

This is one of the experiments in which that robot was able to walk autonomously.

In diesem Experiment konnte der Roboter selbständig laufen.

This is CB1 fulfilling its dream in Japan

Hier lebt CB1 gerade seinen Traum in Japan,

under the control of the brain activity of a primate.

kontrolliert von der Gehirnaktivität eines Primaten.

So where are we taking all this?

Wie weit treiben wir das alles?

What are we going to do with all this research,

Was machen wir mit der ganzen Forschung,

besides studying the properties of this dynamic universe that we have between our ears?

außer das dynamische Universum zwischen unseren Ohren zu studieren?

Well the idea is to take all this knowledge and technology

Wir wollen mit diesem Wissen und dieser Technologie

and try to restore one of the most severe neurological problems that we have in the world.

eines der schwersten neurologischen Probleme der Welt auflösen.

Millions of people have lost the ability to translate these brainstorms

Millionen von Menschen haben die Fähigkeit verloren, diese Hirnströme

into action, into movement.

in Bewegung umzusetzen.

Although their brains continue to produce those storms and code for movements,

Obwohl die Gehirne weiterhin diese Stürme und Bewegungscodes erzeugen,

they cannot cross a barrier that was created by a lesion on the spinal cord.

gelangen sie nicht über die Barriere, die durch eine Verletzung des Rückenmarks entstanden ist.

So our idea is to create a bypass,

Wir wollen einen Bypass schaffen,

is to use these brain-machine interfaces to read these signals,

um mit der Schnittstelle von Gehirn und Maschine diese Signale zu lesen,

larger-scale brainstorms that contain the desire to move again,

größere Hirnstürme, die das Verlangen nach Bewegung in sich tragen,

bypass the lesion using computational microengineering

umgehen die Verletzung unter Nutzung von Mikrotechnologie

and send it to a new body, a whole body called an exoskeleton,

und senden es an einen komplett neuen Korpus namens Ektoskelett,

a whole robotic suit that will become the new body of these patients.

ein Roboteranzug, der zum neuen Körper dieser Patienten wird.

And you can see an image produced by this consortium.

Sie sehen hier ein Bild, das von dieser Gruppe produziert wurde.

This is a nonprofit consortium called the Walk Again Project

Diese gemeinnützige Organisation nennt sich "Walk Again Project".

that is putting together scientists from Europe,

Sie führt Wissenschaftler zusammen, aus Europa,

from here in the United States, and in Brazil

den Vereinigten Staaten und Brasilien,

together to work to actually get this new body built --

um diesen neuen Körper zu bauen –

a body that we believe, through the same plastic mechanisms

ein Körper, der es uns ermöglicht, durch dieselben plastischen Mechanismen,

that allow Aurora and other monkeys to use these tools through a brain-machine interface

die Aurora und die anderen Affen ermächtigte, dieses Instrument über diese Schnittstelle zu nutzen,

and that allows us to incorporate the tools that we produce and use in our daily life.

die Hilfsmittel zu integrieren, die wir im Alltag produzieren und verwenden.

This same mechanism, we hope, will allow these patients,

Wir hoffen, dass genau dieser Mechanismus diesen Patienten dazu befähigt,

not only to imagine again the movements that they want to make

sich die Bewegungen, die sie machen wollen, nicht nur vorzustellen

and translate them into movements of this new body,

und in Bewegungen des neuen Körpers zu übertragen,

but for this body to be assimilated as the new body that the brain controls.

sondern dass dies als neuer, vom Gehirn gesteuerter, Körper einverleibt wird.

So I was told about 10 years ago

Vor 10 Jahren wurde mir gesagt,

that this would never happen, that this was close to impossible.

dass es so gut wie unmöglich wäre.

And I can only tell you that as a scientist,

Und ich kann Ihnen das nur als Wissenschaftler sagen,

I grew up in southern Brazil in the mid-'60s

der in den '60ern im Süden Brasiliens aufwuchs,

watching a few crazy guys telling [us] that they would go to the Moon.

und ein paar Verrückte sah, die sagten, dass sie zum Mond gehen würden.

And I was five years old,

Ich war fünf Jahre alt

and I never understood why NASA didn't hire Captain Kirk and Spock to do the job;

und ich habe nie verstanden, warum die NASA nicht Captain Kirk und Spock für den Job angeheuerte hat;

after all, they were very proficient --

schließlich waren sie sehr erfahren –

but just seeing that as a kid

aber das als Kind zu sehen,

made me believe, as my grandmother used to tell me,

ließ mich, wie meine Großmutter mir oft sagte, glauben,

that "impossible is just the possible

dass "das Unmögliche nur das Mögliche ist,

that someone has not put in enough effort to make it come true."

um dessen Verwirklichung sich noch niemand genügend bemüht hat."

So they told me that it's impossible to make someone walk.

Sie sagten mir, es wäre unmöglich jemanden zum Laufen zu bringen.

I think I'm going to follow my grandmother's advice.

Ich werde wohl den Rat meiner Großmutter befolgen.

Thank you.

Danke.

(Applause)

(Applaus)