3 principles for creating safer AI | Stuart Russell

Übersetzung: Tanja Daub Lektorat: Andreas Herzog

This is Lee Sedol.

Das hier ist Lee Sedol.

Lee Sedol is one of the world's greatest Go players,

Lee Sedol ist einer der besten Go-Spieler.

and he's having what my friends in Silicon Valley call

Er erlebt hier, was meine Freunde im Silicon Valley

einen "Heiliger Strohsack"-Moment nennen.

a "Holy Cow" moment --

(Laughter)

(Gelächter)

a moment where we realize

Ein Moment, in dem wir bemerken,

that AI is actually progressing a lot faster than we expected.

dass die KI schneller vorankommt, als wir erwartet haben.

So humans have lost on the Go board. What about the real world?

Menschen verloren also bei Go.

Was ist mit der echten Welt?

Well, the real world is much bigger,

Die echte Welt ist viel größer

much more complicated than the Go board.

und komplizierter als ein Go-Brett.

It's a lot less visible,

Sie ist weniger einsehbar,

but it's still a decision problem.

aber trotzdem entscheidbar.

And if we think about some of the technologies

Wenn wir an ein paar Technologien denken,

that are coming down the pike ...

die auf uns zukommen --

Noriko [Arai] mentioned that reading is not yet happening in machines,

Noriko [Arai] erwähnte, dass Maschinen noch nicht lesen können,

at least with understanding.

jedenfalls nicht mit Verständnis.

But that will happen,

Aber das wird kommen.

and when that happens,

Wenn es so weit kommt,

very soon afterwards,

werden Maschinen sehr bald alles gelesen haben,

machines will have read everything that the human race has ever written.

was Menschen je geschrieben haben.

And that will enable machines,

Das wird Maschinen ermöglichen,

along with the ability to look further ahead than humans can,

neben der Fähigkeit weiter vorauszuschauen als Menschen,

as we've already seen in Go,

wie wir bei Go schon sahen --

if they also have access to more information,

wenn sie auch noch mehr Information haben,

they'll be able to make better decisions in the real world than we can.

werden sie in der echten Welt bessere Entscheidungen treffen können als wir.

So is that a good thing?

Ist das gut?

Well, I hope so.

Ich hoffe es.

Our entire civilization, everything that we value,

Unsere gesamte Zivilisation, alles, was wir wertschätzen,

is based on our intelligence.

basiert auf unserer Intelligenz.

And if we had access to a lot more intelligence,

Wenn wir Zugriff auf mehr Intelligenz hätten,

then there's really no limit to what the human race can do.

dann kann die Menschheit alles erreichen.

And I think this could be, as some people have described it,

Ich glaube, das könnte, wie manche Leute es beschrieben,

the biggest event in human history.

das größte Ereignis in der Geschichte der Menschheit sein.

So why are people saying things like this,

Warum sagen Leute also,

that AI might spell the end of the human race?

dass KI das Ende der Menschheit bedeuten könnte?

Is this a new thing?

Ist das neu?

Is it just Elon Musk and Bill Gates and Stephen Hawking?

Sind es nur Elon Musk, Bill Gates und Stephen Hawking?

Actually, no. This idea has been around for a while.

Nein. Diese Idee gibt es schon länger.

Here's a quotation:

Hier ist ein Zitat:

"Even if we could keep the machines in a subservient position,

"Selbst wenn wir die Maschinen in unterwürfiger Stellung halten könnten,

for instance, by turning off the power at strategic moments" --

z. B. indem wir den Strom abschalten" --

and I'll come back to that "turning off the power" idea later on --

ich werde später auf diese Idee eingehen --

"we should, as a species, feel greatly humbled."

"sollten wir uns als Spezies demütig fühlen."

So who said this? This is Alan Turing in 1951.

Wer hat das gesagt? Alan Turing, 1951.

Alan Turing, as you know, is the father of computer science

Alan Turing, wie Sie wissen, ist der Vater der Informatik

and in many ways, the father of AI as well.

und in vielerlei Hinsicht auch der KI.

So if we think about this problem,

Wenn wir also über dieses Problem nachdenken,

the problem of creating something more intelligent than your own species,

etwas Intelligenteres als unsere eigene Art zu entwerfen,

we might call this "the gorilla problem,"

könnten wir es als "Gorilla-Problem" bezeichnen,

because gorillas' ancestors did this a few million years ago,

weil die Vorfahren der Gorillas das vor Jahrmillionen taten.

and now we can ask the gorillas:

Wir können die Gorillas jetzt fragen:

Was this a good idea?

War das eine gute Idee?

So here they are having a meeting to discuss whether it was a good idea,

Hier sind sie bei einem Meeting und besprechen, ob es eine gute Idee war.

and after a little while, they conclude, no,

Sie kommen zu dem Schluss, nein,

this was a terrible idea.

es war eine schlechte Idee.

Our species is in dire straits.

Unsere Spezies ist in arger Not.

In fact, you can see the existential sadness in their eyes.

Sie können die existenzielle Traurigkeit in ihren Augen sehen.

(Laughter)

(Gelächter)

So this queasy feeling that making something smarter than your own species

Das mulmige Gefühl, dass es eine schlechte Idee sein könnte,

is maybe not a good idea --

etwas Intelligenteres als uns selbst zu erstellen,

what can we do about that?

was können wir dagegen tun?

Well, really nothing, except stop doing AI,

Nichts so richtig, außer keine KI mehr zu entwickeln.

and because of all the benefits that I mentioned

Wegen all der Vorteile, die ich schon erwähnte,

and because I'm an AI researcher,

und weil ich ein KI-Forscher bin, werde ich das nicht zulassen.

I'm not having that.

I actually want to be able to keep doing AI.

Ich will weiter KI erforschen.

So we actually need to nail down the problem a bit more.

Wir müssen das Problem also genauer festnageln.

What exactly is the problem?

Was genau ist das Problem?

Why is better AI possibly a catastrophe?

Warum könnte bessere KI eine Katastrophe sein?

So here's another quotation:

Hier ist noch ein Zitat:

"We had better be quite sure that the purpose put into the machine

"Wir sollten uns sicher sein, dass die Absichten in der Maschine

is the purpose which we really desire."

tatsächlich die gewünschten Absichten sind."

This was said by Norbert Wiener in 1960,

Das sagte Norbert Wiener 1960,

shortly after he watched one of the very early learning systems

kurz nachdem er ein sehr frühes lernendes System

learn to play checkers better than its creator.

hatte lernen sehen, besser als sein Urheber Dame zu spielen.

But this could equally have been said

Aber das hätte genauso gut

König Midas sagen können.

by King Midas.

King Midas said, "I want everything I touch to turn to gold,"

Er sagte: "Alles, was ich berühre, soll zu Gold werden."

Er bekam das, was er wollte.

and he got exactly what he asked for.

That was the purpose that he put into the machine,

Das war der Zweck, den er der Maschine gab,

so to speak,

sozusagen,

and then his food and his drink and his relatives turned to gold

und sein Essen, Trinken und Verwandte verwandelten sich in Gold.

and he died in misery and starvation.

Er verhungerte elendig.

So we'll call this "the King Midas problem"

Nennen wir das also "das König-Midas-Problem",

of stating an objective which is not, in fact,

ein Ziel zu verfolgen, das in Wirklichkeit

truly aligned with what we want.

nicht mit dem, was wir wollen, übereinstimmt.

In modern terms, we call this "the value alignment problem."

Moderner gesagt nennen wir das das "Wertausrichtungsproblem".

Putting in the wrong objective is not the only part of the problem.

Das falsche Ziel vorzugeben, ist nicht der einzige Teil des Problems.

There's another part.

Es gibt noch einen Teil.

If you put an objective into a machine,

Wenn man Maschinen ein Ziel gibt,

even something as simple as, "Fetch the coffee,"

selbst etwas Einfaches wie: "Hol den Kaffee",

the machine says to itself,

sagt sich die Maschine:

"Well, how might I fail to fetch the coffee?

"Wie könnte ich dabei scheitern, den Kaffee zu holen?

Someone might switch me off.

Jemand könnte mich ausschalten.

OK, I have to take steps to prevent that.

Okay, ich muss das verhindern.

I will disable my 'off' switch.

Ich werde meinen Ausschalter blockieren.

I will do anything to defend myself against interference

Ich werde alles tun, um mich gegen Störung des Ziels zu verteidigen,

with this objective that I have been given."

das mir gegeben wurde."

So this single-minded pursuit

Dieses zielstrebige, defensive Verfolgen eines Ziels,

in a very defensive mode of an objective that is, in fact,

das tatsächlich nicht mit den Zielen der Menschheit übereinstimmt,

not aligned with the true objectives of the human race --

that's the problem that we face.

ist das Problem, vor dem wir stehen.

And in fact, that's the high-value takeaway from this talk.

Das ist die hochwertige Information in diesem Vortrag.

If you want to remember one thing,

Wenn Sie sich nur eins merken,

it's that you can't fetch the coffee if you're dead.

dann, dass Sie keinen Kaffee holen können, wenn Sie tot sind.

(Laughter)

(Gelächter)

It's very simple. Just remember that. Repeat it to yourself three times a day.

Es ist einfach. Merken Sie sich das. Wiederholen Sie es dreimal am Tag.

(Laughter)

(Gelächter)

And in fact, this is exactly the plot

Das ist im Grunde die Handlung

of "2001: [A Space Odyssey]"

von "2001: [Odyssee im Weltraum]".

HAL has an objective, a mission,

HAL hat ein Ziel, eine Mission,

which is not aligned with the objectives of the humans,

die nicht mit den Zielen der Menschen übereinstimmt,

and that leads to this conflict.

was zu Konflikt führt.

Now fortunately, HAL is not superintelligent.

Zum Glück ist HAL nicht superintelligent.

He's pretty smart, but eventually Dave outwits him

Er ist ziemlich clever, aber Dave überlistet ihn letztendlich

and manages to switch him off.

und schaltet ihn aus.

But we might not be so lucky.

Wir werden vielleicht weniger Glück haben.

So what are we going to do?

Was werden wir also tun?

I'm trying to redefine AI

Ich versuche, KI neu zu definieren,

to get away from this classical notion

um von dieser klassischen Vorstellung wegzukommen, dass Maschinen

of machines that intelligently pursue objectives.

Ziele auf intelligente Weise verfolgen.

There are three principles involved.

Es geht um drei Prinzipien.

Das erste ist ein Prinzip des Altruismus,

The first one is a principle of altruism, if you like,

that the robot's only objective

dass das einzige Ziel eines Roboters ist,

is to maximize the realization of human objectives,

die Verwirklichung menschlicher Ziele und Werte zu maximieren.

of human values.

And by values here I don't mean touchy-feely, goody-goody values.

Mit Werten meine ich nicht gefühlsduselige, tugendhafte Werte,

I just mean whatever it is that the human would prefer

sondern wie ein Mensch sein Leben bevorzugen würde.

their life to be like.

And so this actually violates Asimov's law

Das widerspricht also Asimovs Gesetz,

that the robot has to protect its own existence.

dass der Roboter sich selbst schützen muss.

It has no interest in preserving its existence whatsoever.

Er hat kein Interesse an Selbsterhaltung.

The second law is a law of humility, if you like.

Das zweite Gesetz ist das Gesetz der Ergebenheit.

And this turns out to be really important to make robots safe.

Das ist sehr wichtig, um Roboter sicherzumachen.

It says that the robot does not know

Es besagt, dass der Roboter diese menschlichen Werte nicht kennt,

what those human values are,

so it has to maximize them, but it doesn't know what they are.

sie maximieren soll, aber sie nicht kennt.

And that avoids this problem of single-minded pursuit

Das verhindert das Problem des zielstrebigen Verfolgens eines Ziels.

of an objective.

This uncertainty turns out to be crucial.

Diese Ungewissheit ist ausschlaggebend.

Now, in order to be useful to us,

Damit er uns nützlich ist,

it has to have some idea of what we want.

muss er eine Ahnung haben, was wir wollen.

It obtains that information primarily by observation of human choices,

Er erlangt diese Information durch das Beobachten menschlicher Entscheidungen.

so our own choices reveal information

Unsere Entscheidungen beinhalten Information darüber,

about what it is that we prefer our lives to be like.

wie wir unser Leben gerne hätten.

So those are the three principles.

Das sind die drei Prinzipien. Was bewirken sie bei der Frage

Let's see how that applies to this question of:

"Can you switch the machine off?" as Turing suggested.

"Kann man die Maschine ausschalten?", wie Turing vorschlug.

So here's a PR2 robot.

Hier ist ein PR2-Roboter.

This is one that we have in our lab,

Den haben wir bei uns im Labor

and it has a big red "off" switch right on the back.

und er hat einen großen, roten Ausschalter am Rücken.

The question is: Is it going to let you switch it off?

Die Frage ist: Lässt es uns ihn ausschalten?

Wenn wir das klassisch machen,

If we do it the classical way,

we give it the objective of, "Fetch the coffee, I must fetch the coffee,

geben wir ihm das Ziel: "Ich hole Kaffee, ich muss Kaffee holen,

I can't fetch the coffee if I'm dead,"

ich kann keinen Kaffee holen, wenn ich tot bin."

so obviously the PR2 has been listening to my talk,

PR2 hat sich natürlich meinen Vortrag angehört

and so it says, therefore, "I must disable my 'off' switch,

und sagt also: "Ich muss meinen Ausschalter blockieren

and probably taser all the other people in Starbucks

und alle anderen Leute in Starbucks tasern,

who might interfere with me."

die mich stören könnten."

(Laughter)

(Gelächter)

So this seems to be inevitable, right?

Das scheint unvermeidbar, nicht wahr?

This kind of failure mode seems to be inevitable,

Dieser Fehlermodus scheint unvermeidbar

and it follows from having a concrete, definite objective.

und folgt aus der konkreten, eindeutigen Zielverfolgung.

So what happens if the machine is uncertain about the objective?

Was passiert, wenn die Maschine unsicher über das Ziel ist?

Well, it reasons in a different way.

Sie denkt anders.

It says, "OK, the human might switch me off,

Sie sagt sich: "Der Mensch schaltet mich vielleicht aus,

but only if I'm doing something wrong.

aber nur, wenn ich was falsch mache.

Well, I don't really know what wrong is,

Ich weiß nicht so richtig, was falsch ist,

but I know that I don't want to do it."

aber ich weiß, dass ich das nicht will."

So that's the first and second principles right there.

Das sind die ersten zwei Prinzipien.

"So I should let the human switch me off."

"Also sollte ich den Menschen mich ausschalten lassen."

And in fact you can calculate the incentive that the robot has

Man kann sogar den Anreiz errechnen, den ein Roboter hat,

to allow the human to switch it off,

sich ausschalten zu lassen.

and it's directly tied to the degree

Er ist direkt mit dem Grad der Ungewissheit über das Ziel verbunden.

of uncertainty about the underlying objective.

And then when the machine is switched off,

Wenn die Maschine ausgeschaltet wird, kommt das dritte Prinzip ins Spiel.

that third principle comes into play.

It learns something about the objectives it should be pursuing,

Sie lernt über die Ziele, die sie verfolgen sollte,

because it learns that what it did wasn't right.

weil sie lernt, dass sie etwas falsch gemacht hat.

In fact, we can, with suitable use of Greek symbols,

Mit angemessener Verwendung griechischer Zeichen,

as mathematicians usually do,

wie Mathematiker das halt tun,

we can actually prove a theorem

können wir einen Satz beweisen,

that says that such a robot is provably beneficial to the human.

der besagt, dass ein solcher Roboter nachweislich nützlich für Menschen ist.

You are provably better off with a machine that's designed in this way

Man ist bewiesenermaßen mit so einer Maschine besser dran

than without it.

als ohne sie.

So this is a very simple example, but this is the first step

Das ist ein sehr einfaches Beispiel, aber es ist der erste Schritt

in what we're trying to do with human-compatible AI.

in unseren Versuchen mit KI, die mit Menschen kompatibel ist.

Now, this third principle,

Über das dritte Prinzip

I think is the one that you're probably scratching your head over.

zerbrechen Sie sich wahrscheinlich den Kopf.

You're probably thinking, "Well, you know, I behave badly.

Wahrscheinlich denken Sie: "Ich verhalte mich schlecht.

I don't want my robot to behave like me.

Mein Roboter soll sich nicht wie ich verhalten.

I sneak down in the middle of the night and take stuff from the fridge.

Ich schleiche mich mitten in der Nacht zum Kühlschrank.

I do this and that."

Ich mache alles mögliche."

There's all kinds of things you don't want the robot doing.

Der Roboter soll alles mögliche nicht machen.

But in fact, it doesn't quite work that way.

Aber so funktioniert das nicht.

Just because you behave badly

Nur, weil Sie sich schlecht benehmen,

doesn't mean the robot is going to copy your behavior.

muss der Roboter nicht Ihr Verhalten imitieren.

It's going to understand your motivations and maybe help you resist them,

Er versteht Ihre Motivation und kann vielleicht helfen, ihr zu widerstehen,

if appropriate.

falls angemessen.

But it's still difficult.

Aber es ist trotzdem schwer.

What we're trying to do, in fact,

Wir versuchen, Maschinen zu ermöglichen,

is to allow machines to predict for any person and for any possible life

für jede Person und jedes mögliche Leben

that they could live,

and the lives of everybody else:

und alle anderen Leben vorauszusagen:

Which would they prefer?

Was würden sie vorziehen?

And there are many, many difficulties involved in doing this;

Das bringt viele Schwierigkeiten mit sich.

I don't expect that this is going to get solved very quickly.

Ich erwarte keine schnelle Lösung.

The real difficulties, in fact, are us.

Die eigentliche Schwierigkeit sind wir selbst.

As I have already mentioned, we behave badly.

Wie bereits gesagt benehmen wir uns schlecht.

Manche von uns sind richtig fies.

In fact, some of us are downright nasty.

Now the robot, as I said, doesn't have to copy the behavior.

Der Roboter muss das Verhalten nicht imitieren.

The robot does not have any objective of its own.

Der Roboter hat keine eigenen Ziele.

It's purely altruistic.

Er ist komplett altruistisch.

And it's not designed just to satisfy the desires of one person, the user,

Er ist nicht zur Erfüllung der Wünsche eines Menschen, des Benutzers, vorgesehen,

but in fact it has to respect the preferences of everybody.

sondern muss die Präferenzen Aller respektieren.

So it can deal with a certain amount of nastiness,

Er kann also mit etwas Gemeinheit umgehen

and it can even understand that your nastiness, for example,

und sogar verstehen, dass Sie zum Beispiel

you may take bribes as a passport official

als Passbeamter Bestechung annehmen,

because you need to feed your family and send your kids to school.

weil Sie Ihre Familie ernähren und Ihre Kinder zur Schule schicken müssen.

It can understand that; it doesn't mean it's going to steal.

Er versteht das und wird nicht deswegen stehlen,

In fact, it'll just help you send your kids to school.

sondern Ihnen helfen, Ihre Kinder zur Schule zu schicken.

We are also computationally limited.

Außerdem haben wir technische Limits.

Lee Sedol is a brilliant Go player,

Lee Sedol ist ein hervorragender Go-Spieler,

but he still lost.

verlor aber trotzdem.

So if we look at his actions, he took an action that lost the game.

Er hat also einen Zug gespielt, der das Spiel verloren hat.

That doesn't mean he wanted to lose.

Das bedeutet nicht, dass er verlieren wollte.

So to understand his behavior,

Um sein Verhalten zu verstehen,

we actually have to invert through a model of human cognition

brauchen wir also ein Modell menschlicher Kognition,

that includes our computational limitations -- a very complicated model.

das unsere technischen Limits einbezieht -- ein sehr kompliziertes Modell.

But it's still something that we can work on understanding.

Aber wir können daran arbeiten, es zu verstehen.

Probably the most difficult part, from my point of view as an AI researcher,

Als KI-Forscher erscheint es mir am schwierigsten,

is the fact that there are lots of us,

dass wir so viele sind

and so the machine has to somehow trade off, weigh up the preferences

und die Maschine irgendwie die Präferenzen

of many different people,

vieler verschiedener Leute abwägen muss.

and there are different ways to do that.

Das geht auf verschiedene Arten.

Economists, sociologists, moral philosophers have understood that,

Wirtschaftswissenschaftler, Soziologen und Ethiker haben das verstanden.

and we are actively looking for collaboration.

Wir suchen aktiv nach Zusammenarbeit.

Let's have a look and see what happens when you get that wrong.

Was passiert, wenn das schiefgeht?

So you can have a conversation, for example,

Man kann z. B. in ein paar Jahren

with your intelligent personal assistant

mit seinem intelligenten Assistenten, eine Konversation führen.

that might be available in a few years' time.

Think of a Siri on steroids.

Man stelle sich ein aufgeputschtes Siri vor.

So Siri says, "Your wife called to remind you about dinner tonight."

Siri sagt: "Ihre Frau rief an, um Sie an das Abendessen heute zu erinnern."

And of course, you've forgotten. "What? What dinner?

Sie haben es natürlich vergessen: "Was für ein Abendessen? Worum geht es?"

What are you talking about?"

"Uh, your 20th anniversary at 7pm."

"Ihr 20. Hochzeitstag um 7 Uhr."

"I can't do that. I'm meeting with the secretary-general at 7:30.

"Das geht nicht. Ich treffe den Generalsekretär um 7:30.

How could this have happened?"

Wie konnte das passieren?"

"Well, I did warn you, but you overrode my recommendation."

"Ich habe Sie gewarnt, aber Sie haben meine Empfehlung ignoriert."

"Well, what am I going to do? I can't just tell him I'm too busy."

"Was mache ich jetzt? Ich kann ihm nicht absagen."

"Don't worry. I arranged for his plane to be delayed."

"Keine Sorge, ich habe seinen Flug verzögert."

(Laughter)

(Gelächter)

"Some kind of computer malfunction."

"Irgend eine Computerstörung."

(Laughter)

(Gelächter)

"Really? You can do that?"

"Echt? Du kannst das?"

"He sends his profound apologies

"Er bittet um Entschuldigung.

and looks forward to meeting you for lunch tomorrow."

Er freut sich darauf, Sie morgen Mittag zu treffen."

(Laughter)

(Gelächter)

So the values here -- there's a slight mistake going on.

Die Werte hier -- hier läuft etwas schief.

This is clearly following my wife's values

Es folgt ganz klar den Werten meiner Frau,

which is "Happy wife, happy life."

und zwar "glückliche Frau, glückliches Leben".

(Laughter)

(Gelächter)

It could go the other way.

Es könnte auch anders laufen.

You could come home after a hard day's work,

Man kommt nach einem langen Arbeitstag heim

and the computer says, "Long day?"

und der Computer sagt: "Langer Tag?"

"Yes, I didn't even have time for lunch."

"Ja, ich hatte keine Zeit zum Mittagessen."

"You must be very hungry."

"Sie haben bestimmt Hunger."

"Starving, yeah. Could you make some dinner?"

"Ich bin am Verhungern. Kannst du mir Essen machen?"

"There's something I need to tell you."

"Ich muss Ihnen etwas sagen."

(Laughter)

(Gelächter)

"There are humans in South Sudan who are in more urgent need than you."

"Im Südsudan gibt es bedürftigere Menschen als Sie."

(Laughter)

(Gelächter)

"So I'm leaving. Make your own dinner."

"Also gehe ich. Machen Sie Ihr Essen selbst."

(Laughter)

(Gelächter)

So we have to solve these problems,

Wir müssen also diese Probleme lösen

and I'm looking forward to working on them.

und ich freue mich darauf, daran zu arbeiten.

There are reasons for optimism.

Es gibt Anlass zur Hoffnung.

One reason is,

Ein Anlass ist

there is a massive amount of data.

die enorme Menge an Daten.

Because remember -- I said they're going to read everything

Wie gesagt, sie werden alles lesen, was geschrieben wurde.

the human race has ever written.

Der Großteil davon ist über Menschen und ihre Taten

Most of what we write about is human beings doing things

und die Reaktionen anderer.

and other people getting upset about it.

So there's a massive amount of data to learn from.

Also kann man von vielen Daten lernen.

There's also a very strong economic incentive

Es gibt auch wirtschaftliche Anreize,

to get this right.

das hinzubekommen.

So imagine your domestic robot's at home.

Z. B. Haushaltsroboter.

You're late from work again and the robot has to feed the kids,

Sie sind wieder zu spät und der Roboter soll den Kindern Essen machen.

and the kids are hungry and there's nothing in the fridge.

Die Kinder haben Hunger und der Kühlschrank ist leer.

And the robot sees the cat.

Und der Roboter sieht die Katze.

(Laughter)

(Gelächter)

And the robot hasn't quite learned the human value function properly,

Der Roboter hat die menschliche Wertefunktion noch nicht so ganz gelernt

so it doesn't understand

und versteht somit nicht,

the sentimental value of the cat outweighs the nutritional value of the cat.

dass der sentimentale Wert der Katze ihren Nährwert übertrifft.

(Laughter)

(Gelächter)

So then what happens?

Was passiert also?

Well, it happens like this:

Es passiert etwa so etwas:

"Deranged robot cooks kitty for family dinner."

"Unzurechnungsfähiger Roboter kocht Kätzchen zum Abendessen."

That one incident would be the end of the domestic robot industry.

Dieser eine Vorfall wäre das Aus der Haushaltsroboter-Industrie.

So there's a huge incentive to get this right

Es gibt also einen großen Anreiz, das herauszubekommen,

long before we reach superintelligent machines.

lange bevor wir superintelligente Maschinen herstellen.

So to summarize:

Zusammenfassend:

I'm actually trying to change the definition of AI

Ich will die Definition von KI ändern,

so that we have provably beneficial machines.

sodass wir nachweislich vorteilhafte Maschinen haben.

And the principles are:

Die Grundsätze sind:

machines that are altruistic,

Maschinen sind altruistisch,

that want to achieve only our objectives,

wollen nur unsere Ziele erreichen,

but that are uncertain about what those objectives are,

aber wissen nicht genau, was diese Ziele sind,

and will watch all of us

also beobachten sie uns alle,

to learn more about what it is that we really want.

um besser zu lernen, was wir wirklich wollen.

And hopefully in the process, we will learn to be better people.

Hoffentlich werden wir dadurch lernen, bessere Menschen zu sein.

Thank you very much.

Vielen Dank.

(Applause)

(Beifall)

Chris Anderson: So interesting, Stuart.

Chris Anderson: Sehr interessant, Stuart. Wir haben etwas Zeit,

We're going to stand here a bit because I think they're setting up

weil alles für den nächsten Redner vorbereitet wird.

for our next speaker.

A couple of questions.

Ein paar Fragen.

So the idea of programming in ignorance seems intuitively really powerful.

Die Idee, Unwissenheit vorzuprogrammieren, erscheint intuitiv wirksam.

As you get to superintelligence,

Wenn man Superintelligenz erreicht,

what's going to stop a robot

was soll einen Roboter davon abhalten,

reading literature and discovering this idea that knowledge

Literatur zu lesen und auf die Idee zu kommen,

is actually better than ignorance

dass Wissen besser ist als Unwissenheit

and still just shifting its own goals and rewriting that programming?

und seine eigenen Ziele anzupassen und sich umzuprogrammieren?

Stuart Russell: Yes, so we want it to learn more, as I said,

Stuart Russel: Wir wollen, wie gesagt, dass er dazulernt,

about our objectives.

was unsere Ziele betrifft.

It'll only become more certain as it becomes more correct,

Er wird sich sicherer werden, wenn er fehlerloser wird,

so the evidence is there

also gibt es Hinweise

and it's going to be designed to interpret it correctly.

und er ist dazu konzipiert, sie richtig zu interpretieren.

It will understand, for example, that books are very biased

Er wird verstehen, dass Bücher einseitig

in the evidence they contain.

in ihrer Darstellung sind.

They only talk about kings and princes

Sie handeln nur von Königen und Prinzen

and elite white male people doing stuff.

und mächtigen weißen Männern und ihren Taten.

So it's a complicated problem,

Es ist ein kompliziertes Problem,

but as it learns more about our objectives

aber wenn er mehr über unsere Ziele lernt,

it will become more and more useful to us.

wird er zunehmend nützlicher für uns.

CA: And you couldn't just boil it down to one law,

CA: Kann man das nicht zu einem Gesetz zusammenfassen,

you know, hardwired in:

vorprogrammiert:

"if any human ever tries to switch me off,

"Wenn ein Mensch versucht, mich abzuschalten,

I comply. I comply."

gehorche ich. Ich gehorche."

SR: Absolutely not.

SR: Auf keinen Fall, das wäre eine schlechte Idee.

That would be a terrible idea.

So imagine that you have a self-driving car

Wenn zum Beispiel Ihr selbstfahrendes Auto

and you want to send your five-year-old

Ihr fünfjähriges Kind zum Kindergarten

off to preschool.

fahren soll,

Do you want your five-year-old to be able to switch off the car

wollen Sie, dass Ihr Kind das Auto abschalten kann,

während es fährt?

while it's driving along?

Wahrscheinlich nicht.

Probably not.

Es muss also verstehen, wie rational und vernünftig die Person ist.

So it needs to understand how rational and sensible the person is.

The more rational the person,

Je rationaler die Person, desto eher sollte es sich ausschalten.

the more willing you are to be switched off.

If the person is completely random or even malicious,

Wenn die Person willkürlich oder sogar boshaft ist,

then you're less willing to be switched off.

sollte es sich nicht ausschalten.

CA: All right. Stuart, can I just say,

CA: Okay, Stuart, Ich hoffe nur, dass Sie das für uns lösen können.

I really, really hope you figure this out for us.

Vielen Dank für Ihren Vortrag. Er war toll.

Thank you so much for that talk. That was amazing.

SR: Danke.

SR: Thank you.

(Applause)

(Beifall)