What happens when our computers get smarter than we are? | Nick Bostrom

Übersetzung: Andreas Herzog Lektorat: Swenja Gawantka

I work with a bunch of mathematicians, philosophers and computer scientists,

Ich arbeite mit einigen Mathematikern, Philosophen und Informatikern zusammen.

and we sit around and think about the future of machine intelligence,

Wir sitzen herum

und denken z. B. über die Zukunft der maschinellen Intelligenz nach.

among other things.

Some people think that some of these things are sort of science fiction-y,

Manche Leute denken, einiges davon sei sehr futuristisch,

far out there, crazy.

ausgefallen, einfach verrückt.

But I like to say,

Aber ich sage gern:

okay, let's look at the modern human condition.

Betrachten wir den Zustand des modernen Menschen.

(Laughter)

(Gelächter)

This is the normal way for things to be.

Das ist der normale Gang der Dinge.

But if we think about it,

Aber wenn wir darüber nachdenken,

we are actually recently arrived guests on this planet,

ist die menschliche Spezies erst seit Kurzem Gast auf diesem Planeten.

the human species.

Denken Sie darüber nach:

Think about if Earth was created one year ago,

Wäre die Erde erst vor einem Jahr erschaffen worden,

the human species, then, would be 10 minutes old.

dann wäre der Mensch erst 10 Minuten alt.

The industrial era started two seconds ago.

Die industrielle Ära hätte vor zwei Sekunden begonnen.

Another way to look at this is to think of world GDP over the last 10,000 years,

Man könnte auch das Welt-BIP der letzten 10.000 Jahre betrachten.

I've actually taken the trouble to plot this for you in a graph.

Ich habe mir die Mühe gemacht, dies für Sie grafisch darzustellen.

It looks like this.

Es sieht so aus.

(Laughter)

(Gelächter)

It's a curious shape for a normal condition.

Es ist eine seltsame Form für einen Normalzustand.

I sure wouldn't want to sit on it.

Ich würde nicht darauf sitzen wollen.

(Laughter)

(Gelächter)

Fragen wir uns:

Let's ask ourselves, what is the cause of this current anomaly?

Was ist die Ursache dieser aktuellen Anomalie?

Some people would say it's technology.

Manche Leute würden sagen, dass es Technologie ist.

Now it's true, technology has accumulated through human history,

Das ist richtig,

Technologie hat sich im Laufe der Zeit angesammelt,

and right now, technology advances extremely rapidly --

und im Moment entwickelt sich die Technologie extrem schnell --

that is the proximate cause,

das ist die unmittelbare Ursache, deshalb sind wir derzeit so produktiv.

that's why we are currently so very productive.

But I like to think back further to the ultimate cause.

Aber ich denke gerne weiter an die ultimative Ursache.

Look at these two highly distinguished gentlemen:

Schauen Sie sich diese zwei hoch angesehenen Herren an:

We have Kanzi --

Wir haben Kanzi --

he's mastered 200 lexical tokens, an incredible feat.

er hat 200 Begriffe gemeistert, eine unglaubliche Leistung.

And Ed Witten unleashed the second superstring revolution.

Und Ed Witten entfesselte die zweite Superstring-Revolution.

If we look under the hood, this is what we find:

Ein Blick unter die Haube zeigt das hier:

im Grunde das Gleiche.

basically the same thing.

One is a little larger,

Das eine ist etwas größer,

it maybe also has a few tricks in the exact way it's wired.

es hat vielleicht auch ein paar Tricks in der Art, wie es verkabelt ist.

These invisible differences cannot be too complicated, however,

Diese unsichtbaren Unterschiede können aber nicht allzu kompliziert sein,

because there have only been 250,000 generations

da es seit unserem letzten gemeinsamen Vorfahren

nur 250.000 Generationen gab.

since our last common ancestor.

We know that complicated mechanisms take a long time to evolve.

Komplizierte Mechanismen brauchen bekanntlich viel Zeit zur Entwicklung.

So führen uns einige relativ kleine Änderungen

So a bunch of relatively minor changes

take us from Kanzi to Witten,

von Kanzi zu Witten,

from broken-off tree branches to intercontinental ballistic missiles.

von abgebrochenen Ästen bis hin zu Interkontinentalraketen.

So this then seems pretty obvious that everything we've achieved,

Es ist also ziemlich offensichtlich,

dass all unsere Leistungen und alles, was uns interessiert,

and everything we care about,

depends crucially on some relatively minor changes that made the human mind.

entscheidend von einigen relativ kleinen Veränderungen abhängt,

die den menschlichen Geist ausmachen.

And the corollary, of course, is that any further changes

Die logische Folge ist natürlich,

dass jede weitere Veränderung des Substrats des Denkens

that could significantly change the substrate of thinking

could have potentially enormous consequences.

enorme Konsequenzen haben könnte.

Some of my colleagues think we're on the verge

Einige meiner Kollegen glauben, dass wir kurz vor etwas stehen,

of something that could cause a profound change in that substrate,

was zu einer tiefgreifenden Veränderung dieses Substrats führen könnte,

and that is machine superintelligence.

und das ist Maschinen-Superintelligenz.

Artificial intelligence used to be about putting commands in a box.

Künstliche Intelligenz hieß, Befehle in eine Box zu stecken.

Menschliche Programmierer bastelten mühsam Wissenselemente.

You would have human programmers

that would painstakingly handcraft knowledge items.

You build up these expert systems,

Man baute Expertensysteme, die für einige Zwecke nützlich waren,

and they were kind of useful for some purposes,

aber sie waren nicht skalierbar.

but they were very brittle, you couldn't scale them.

Basically, you got out only what you put in.

Im Grunde bekam man nur heraus, was man zuvor hineingebaut hatte.

But since then,

Aber seitdem gab es einen Paradigmenwechsel

a paradigm shift has taken place in the field of artificial intelligence.

im Bereich der künstlichen Intelligenz.

Today, the action is really around machine learning.

Heute geht alles um maschinelles Lernen.

So rather than handcrafting knowledge representations and features,

Anstatt Wissensrepräsentationen und -eigenschaften manuell zu erstellen,

we create algorithms that learn, often from raw perceptual data.

erstellen wir Algorithmen, die oft aus rohen sensorischen Daten lernen.

Basically the same thing that the human infant does.

Genau das Gleiche, was das menschliche Kind tut.

The result is A.I. that is not limited to one domain --

Das Ergebnis ist KI, die nicht auf eine Domäne beschränkt ist --

the same system can learn to translate between any pairs of languages,

das gleiche System kann lernen, beliebige Sprachpaare zu übersetzen,

or learn to play any computer game on the Atari console.

oder lernen, jedes Computerspiel auf der Atari-Konsole zu spielen.

Now of course,

Natürlich hat KI noch nicht annähernd die gleiche universelle Fähigkeit,

A.I. is still nowhere near having the same powerful, cross-domain

zu lernen und zu planen wie ein menschliches Wesen.

ability to learn and plan as a human being has.

Der Kortex hat noch einige algorithmische Tricks,

The cortex still has some algorithmic tricks

that we don't yet know how to match in machines.

von denen wir noch nicht wissen, wie wir sie in Maschinen abbilden sollen.

So the question is,

Die Frage ist also:

how far are we from being able to match those tricks?

Wie weit sind wir in der Lage, diesen Tricks zu entsprechen?

Vor ein paar Jahren machten wir eine Umfrage

A couple of years ago,

we did a survey of some of the world's leading A.I. experts,

unter einigen der weltweit führenden KI-Experten,

to see what they think, and one of the questions we asked was,

um zu sehen, was sie denken, und eine der Fragen war:

"By which year do you think there is a 50 percent probability

"In welchem ​Jahr sehen Sie eine 50 %-Wahrscheinlichkeit,

that we will have achieved human-level machine intelligence?"

dass wir maschinelle Intelligenz auf menschlicher Ebene erreicht haben?"

We defined human-level here as the ability to perform

Wir definierten hierbei die menschliche Ebene als Fähigkeit,

fast jeden Job mindestens so gut wie ein erwachsener Mensch zu können,

almost any job at least as well as an adult human,

so real human-level, not just within some limited domain.

also die echte menschliche Ebene, nicht nur für einen Spezialbereich.

And the median answer was 2040 or 2050,

Die mittlere Antwort war 2040 oder 2050,

depending on precisely which group of experts we asked.

je nachdem, welche Gruppe von Experten wir fragten.

Now, it could happen much, much later, or sooner,

Das könnte sehr viel später oder auch früher passieren,

the truth is nobody really knows.

niemand weiß das wirklich.

Wir wissen aber, dass die ultimative Grenze für die Informationsverarbeitung

What we do know is that the ultimate limit to information processing

in a machine substrate lies far outside the limits in biological tissue.

in einer Maschine weit jenseits der Grenzen des biologischen Gewebes liegt.

Das liegt an der Physik.

This comes down to physics.

A biological neuron fires, maybe, at 200 hertz, 200 times a second.

Ein biologisches Neuron feuert mit etwa 200 Hertz,

200-mal pro Sekunde.

But even a present-day transistor operates at the Gigahertz.

Aber sogar ein heutiger Transistor arbeitet mit 1 Gigahertz.

Neurons propagate slowly in axons, 100 meters per second, tops.

Neuronen bewegen sich langsam in Axonen, maximal 100 Meter pro Sekunde.

But in computers, signals can travel at the speed of light.

Aber in Computern können sich Signale mit Lichtgeschwindigkeit bewegen.

There are also size limitations,

Es gibt auch Größenbeschränkungen,

like a human brain has to fit inside a cranium,

weil ein menschliches Gehirn in einen Schädel passen muss.

but a computer can be the size of a warehouse or larger.

Aber ein Computer kann so groß wie ein Lagerhaus oder größer sein.

So the potential for superintelligence lies dormant in matter,

Also ruht das Potential für Superintelligenz in der Materie,

much like the power of the atom lay dormant throughout human history,

ähnlich wie die Kraft des Atoms während der Menschheitsgeschichte ruhte

patiently waiting there until 1945.

und dort geduldig bis 1945 wartete.

In this century,

In diesem Jahrhundert könnten Wissenschaftler lernen,

scientists may learn to awaken the power of artificial intelligence.

die Kraft der künstlichen Intelligenz zu wecken.

And I think we might then see an intelligence explosion.

Ich denke, wir könnten dann eine Intelligenzexplosion erleben.

Now most people, when they think about what is smart and what is dumb,

Wenn die meisten Leute darüber nachdenken, was schlau und was dumm ist,

I think have in mind a picture roughly like this.

haben sie etwa dieses Bild vor Augen:

So at one end we have the village idiot,

An einem Ende haben wir den Dorftrottel,

and then far over at the other side

und weit entfernt am anderen Ende haben wir Ed Witten oder Albert Einstein,

we have Ed Witten, or Albert Einstein, or whoever your favorite guru is.

oder wer auch immer Ihr Lieblingsguru ist.

But I think that from the point of view of artificial intelligence,

Aber ich denke, dass vom Standpunkt der künstlichen Intelligenz

the true picture is actually probably more like this:

das wahre Bild wohl eher so aussieht:

KI beginnt hier an diesem Punkt, bei null Intelligenz

AI starts out at this point here, at zero intelligence,

and then, after many, many years of really hard work,

und nach sehr vielen Jahren wirklich harter Arbeit

maybe eventually we get to mouse-level artificial intelligence,

kommen wir vielleicht zur KI auf Mausebene,

something that can navigate cluttered environments

etwas, das durch ungeordnete Umgebungen

as well as a mouse can.

navigieren kann wie eine Maus.

And then, after many, many more years of really hard work, lots of investment,

Dann, nach noch viel mehr Jahren wirklich harter Arbeit und viel Geld,

maybe eventually we get to chimpanzee-level artificial intelligence.

kommen wir vielleicht irgendwann zur KI auf Schimpansen-Ebene.

And then, after even more years of really, really hard work,

Nach noch mehr Jahren härtester Arbeit

we get to village idiot artificial intelligence.

kommen wir zur Dorftrottel-KI.

And a few moments later, we are beyond Ed Witten.

Und wenige Augenblicke später sind wir hinter Ed Witten.

The train doesn't stop at Humanville Station.

Der Zug endet nicht in Menschenhausen.

It's likely, rather, to swoosh right by.

Er wird wohl eher einfach durchrauschen.

Now this has profound implications,

Das hat tiefgreifende Auswirkungen,

particularly when it comes to questions of power.

besonders wenn es um Machtfragen geht.

Zum Beispiel sind Schimpansen stark --

For example, chimpanzees are strong --

pound for pound, a chimpanzee is about twice as strong as a fit human male.

ein Schimpanse ist pro Kilo etwa doppelt so stark wie ein fitter Mann.

Aber das Schicksal von Kanzi und seinen Freunden

And yet, the fate of Kanzi and his pals depends a lot more

hängt viel mehr von dem ab, was wir Menschen tun,

on what we humans do than on what the chimpanzees do themselves.

als von dem, was Schimpansen selbst tun.

Once there is superintelligence,

Sobald es eine Superintelligenz gibt,

the fate of humanity may depend on what the superintelligence does.

kann das Schicksal der Menschheit vom Tun der Superintelligenz abhängen.

Think about it:

Denken Sie darüber nach:

Machine intelligence is the last invention that humanity will ever need to make.

KI ist die letzte Erfindung, die die Menschheit je machen muss.

Machines will then be better at inventing than we are,

Maschinen sind dann besser im Erfinden als wir

and they'll be doing so on digital timescales.

und tun es mit digitalen Zeitmaßstäben.

What this means is basically a telescoping of the future.

Im Grunde bedeutet das eine Komprimierung der Zukunft.

Think of all the crazy technologies that you could have imagined

Denken Sie an all die verrückten Sachen, von denen Sie sich vorstellen könnten,

maybe humans could have developed in the fullness of time:

dass die Menschen sie zu gegebener Zeit entwickelt hätten:

cures for aging, space colonization,

Mittel gegen das Altern, Besiedelung des Alls,

self-replicating nanobots or uploading of minds into computers,

selbstreplizierende Nanobots

oder das Hochladen des menschlichen Geistes in Computer;

all kinds of science fiction-y stuff

alle möglichen futuristischen Dinge,

that's nevertheless consistent with the laws of physics.

solange es mit den Gesetzen der Physik übereinstimmt.

All of this superintelligence could develop, and possibly quite rapidly.

All das könnte die Superintelligenz wohl ziemlich schnell entwickeln.

Now, a superintelligence with such technological maturity

Eine Superintelligenz mit einer solchen technologischen Reife

would be extremely powerful,

wäre extrem mächtig,

and at least in some scenarios, it would be able to get what it wants.

und zumindest in einigen Szenarien wäre sie in der Lage,

ihren Willen zu bekommen.

We would then have a future that would be shaped by the preferences of this A.I.

Wir hätten dann eine Zukunft,

die durch die Vorlieben dieser KI geprägt wäre.

Now a good question is, what are those preferences?

Eine gute Frage ist dann: "Was sind das für Vorlieben?"

Here it gets trickier.

Hier wird es kniffliger.

To make any headway with this,

Um damit voranzukommen,

we must first of all avoid anthropomorphizing.

müssen wir vor allem die Anthropomorphisierung vermeiden.

And this is ironic because every newspaper article

Das ist ironisch, weil jeder Zeitungsartikel

about the future of A.I. has a picture of this:

über die Zukunft der KI etwa so ein Bild davon malt:

So I think what we need to do is to conceive of the issue more abstractly,

Also denke ich, dass wir das Thema abstrakter verstehen müssen,

not in terms of vivid Hollywood scenarios.

nicht wie in den lebhaften Hollywood-Szenarien.

We need to think of intelligence as an optimization process,

Wir müssen Intelligenz als Optimierungsprozess betrachten,

a process that steers the future into a particular set of configurations.

einen Prozess, der die Zukunft in eine Reihe von Konfigurationen steuert.

A superintelligence is a really strong optimization process.

Eine Superintelligenz ist ein wirklich starker Optimierungsprozess.

It's extremely good at using available means to achieve a state

Sie ist sehr gut darin, verfügbare Mittel zu verwenden,

um einen Zustand zu erreichen, in dem das Ziel realisiert ist.

in which its goal is realized.

This means that there is no necessary connection between

Es gibt also keinen zwingenden Zusammenhang

zwischen einer hohen Intelligenz in diesem Sinne und einem Ziel,

being highly intelligent in this sense,

and having an objective that we humans would find worthwhile or meaningful.

das wir Menschen für lohnend oder sinnvoll halten würden.

Suppose we give an A.I. the goal to make humans smile.

Angenommen, wir geben einer KI das Ziel, Menschen zum Lächeln zu bringen.

Eine schwache KI führt nützliche oder amüsante Handlungen durch,

When the A.I. is weak, it performs useful or amusing actions

that cause its user to smile.

die ihren Benutzer zum Lächeln bringen.

When the A.I. becomes superintelligent,

Eine superintelligente KI erkennt,

it realizes that there is a more effective way to achieve this goal:

dass es einen effektiveren Weg gibt, dieses Ziel zu erreichen:

take control of the world

die Kontrolle über die Welt zu übernehmen

and stick electrodes into the facial muscles of humans

und Elektroden in die Gesichtsmuskeln von Menschen zu stecken,

to cause constant, beaming grins.

um ein konstantes, strahlendes Grinsen zu verursachen.

Another example,

Ein anderes Beispiel:

suppose we give A.I. the goal to solve a difficult mathematical problem.

Angenommen, die KI soll ein schwieriges mathematisches Problem lösen.

When the A.I. becomes superintelligent,

Eine superintelligente KI erkennt,

it realizes that the most effective way to get the solution to this problem

dass der effektivste Weg zur Lösung dieses Problems darin besteht,

is by transforming the planet into a giant computer,

den Planeten in einen riesigen Computer zu verwandeln,

so as to increase its thinking capacity.

um ihre Denkfähigkeit zu erhöhen.

And notice that this gives the A.I.s an instrumental reason

Man beachte, dass dies den KIs einen instrumentalen Grund gibt,

to do things to us that we might not approve of.

Dinge zu tun, die uns vielleicht nicht gefallen.

Human beings in this model are threats,

Menschen sind in diesem Modell eine Bedrohung,

we could prevent the mathematical problem from being solved.

denn wir könnten die Lösung des mathematischen Problems verhindern.

Of course, perceivably things won't go wrong in these particular ways;

Natürlich werden Dinge nicht genau so schiefgehen;

these are cartoon examples.

das sind Cartoon-Beispiele.

But the general point here is important:

Aber der generelle Punkt hier ist wichtig:

if you create a really powerful optimization process

Wenn Sie einen wirklich mächtigen Optimierungsprozess erstellen,

to maximize for objective x,

um für das Ziel x zu maximieren,

you better make sure that your definition of x

sollten Sie sicherstellen, dass Ihre Definition von x alles enthält,

incorporates everything you care about.

was Ihnen wichtig ist.

This is a lesson that's also taught in many a myth.

Diese Lektion wird auch in vielen Mythen gelehrt.

King Midas wishes that everything he touches be turned into gold.

König Midas wünscht, dass alles, was er berührt, zu Gold wird.

He touches his daughter, she turns into gold.

Er berührt seine Tochter, sie verwandelt sich in Gold.

He touches his food, it turns into gold.

Er berührt sein Essen, es verwandelt sich in Gold.

This could become practically relevant,

Das könnte praktisch relevant werden,

not just as a metaphor for greed,

nicht nur als Metapher für Gier,

but as an illustration of what happens

sondern als Illustration für das,

if you create a powerful optimization process

was passiert, wenn Sie einen mächtigen Optimierungsprozess erstellen

and give it misconceived or poorly specified goals.

und ihm falsche oder schlecht spezifizierte Ziele geben.

Now you might say, if a computer starts sticking electrodes into people's faces,

Nun könnte man sagen, wenn ein Computer anfängt,

Elektroden in die Gesichter von Menschen zu stecken,

we'd just shut it off.

würden wir ihn einfach abschalten.

A, this is not necessarily so easy to do if we've grown dependent on the system --

A, das ist nicht unbedingt so einfach, wenn wir abhängig vom System sind.

like, where is the off switch to the Internet?

Wo etwa ist der Ausschalter des Internets?

B, why haven't the chimpanzees flicked the off switch to humanity,

B, warum haben die Schimpansen nicht den Schalter an der Menschheit

or the Neanderthals?

oder den Neandertalern ausgeschaltet?

They certainly had reasons.

Sie hatten sicherlich Gründe.

We have an off switch, for example, right here.

Wir haben zum Beispiel einen Aus-Schalter hier.

(Choking)

(Würgen)

The reason is that we are an intelligent adversary;

Der Grund ist, dass wir ein intelligenter Gegner sind;

we can anticipate threats and plan around them.

wir können Bedrohungen vorhersehen und ihnen ausweichen.

But so could a superintelligent agent,

Aber das könnte auch ein superintelligenter Agent,

and it would be much better at that than we are.

und der wäre viel besser darin als wir selbst.

The point is, we should not be confident that we have this under control here.

Wir sollten uns also nicht zu sicher sein,

dass wir das hier unter Kontrolle haben.

And we could try to make our job a little bit easier by, say,

Wir könnten versuchen, unsere Arbeit ein wenig einfacher zu machen,

putting the A.I. in a box,

indem wir die KI in eine Box sperren,

like a secure software environment,

wie eine sichere Software-Umgebung,

a virtual reality simulation from which it cannot escape.

eine Virtual-Reality-Simulation, aus der sie nicht entkommen kann.

But how confident can we be that the A.I. couldn't find a bug.

Aber wie sicher können wir sein, dass die KI keine Lücke findet?

Given that merely human hackers find bugs all the time,

Da schon menschliche Hacker ständig solche Fehler finden,

I'd say, probably not very confident.

würde ich sagen, wohl nicht sehr sicher.

So we disconnect the ethernet cable to create an air gap,

Also trennen wir das Ethernetkabel, um einen Luftspalt zu schaffen,

but again, like merely human hackers

aber selbst menschliche Hacker überwinden solche Luftlücken

routinely transgress air gaps using social engineering.

routinemäßig durch Social Engineering.

Right now, as I speak,

Sicher gibt es gerade irgendwo einen Angestellten,

I'm sure there is some employee out there somewhere

who has been talked into handing out her account details

der von einem vermeintlichen Mitarbeiter aus der IT überredet wurde,

by somebody claiming to be from the I.T. department.

seine Kontodaten preiszugeben.

More creative scenarios are also possible,

Es sind auch kreativere Szenarien möglich.

like if you're the A.I.,

Als KI kann man Elektroden in seiner internen Schaltung umbauen,

you can imagine wiggling electrodes around in your internal circuitry

to create radio waves that you can use to communicate.

um Funkwellen zu erzeugen, mit denen man kommunizieren kann.

Oder man gibt eine Fehlfunktion vor,

Or maybe you could pretend to malfunction,

and then when the programmers open you up to see what went wrong with you,

und wenn die Programmierer nachsehen, was schiefgelaufen ist,

they look at the source code -- Bam! --

sehen sie sich den Quellcode an -- Bam! --

the manipulation can take place.

Die Manipulation kann stattfinden.

Or it could output the blueprint to a really nifty technology,

Oder sie könnte den Bauplan zu einer raffinierten Technologie ausgeben,

and when we implement it,

und wenn wir die implementieren, hat sie einen verborgenen Nebeneffekt,

it has some surreptitious side effect that the A.I. had planned.

den die KI geplant hatte.

The point here is that we should not be confident in our ability

Der Punkt ist, dass wir nicht auf unsere Fähigkeit vertrauen sollten,

to keep a superintelligent genie locked up in its bottle forever.

einen superintelligenten Geist für immer in seiner Flasche eingesperrt zu halten.

Sooner or later, it will out.

Früher oder später kommt er heraus.

Ich glaube, wir müssen herausfinden,

I believe that the answer here is to figure out

how to create superintelligent A.I. such that even if -- when -- it escapes,

wie man superintelligente KI so baut, dass wenn sie -- sobald -- sie entkommt,

it is still safe because it is fundamentally on our side

es immer noch sicher ist, weil sie fest auf unserer Seite ist,

because it shares our values.

weil sie unsere Werte teilt.

I see no way around this difficult problem.

Es führt kein Weg um dieses schwierige Problem herum.

Now, I'm actually fairly optimistic that this problem can be solved.

Ich bin aber ziemlich optimistisch, dass es gelöst werden kann.

We wouldn't have to write down a long list of everything we care about,

Wir müssten keine lange Liste von allem aufschreiben, was uns wichtig ist,

or worse yet, spell it out in some computer language

oder schlimmer noch,

es in irgendeiner Computersprache wie C++ oder Python buchstabieren;

like C++ or Python,

that would be a task beyond hopeless.

das wäre eine Aufgabe, die mehr als hoffnungslos ist.

Instead, we would create an A.I. that uses its intelligence

Stattdessen würden wir eine KI bauen, die ihre Intelligenz nutzt,

to learn what we value,

um zu lernen, was wir wertschätzen,

and its motivation system is constructed in such a way that it is motivated

und ihr Motivationssystem ist so konstruiert,

dass sie anstrebt, unsere Ziele zu verfolgen

to pursue our values or to perform actions that it predicts we would approve of.

oder Dinge zu tun, von denen sie erwartet, dass wir sie billigen.

We would thus leverage its intelligence as much as possible

Wir würden somit ihre Intelligenz

to solve the problem of value-loading.

für das Problem der Wertedefinition so gut wie möglich einsetzen.

This can happen,

Das kann passieren,

and the outcome could be very good for humanity.

und das Ergebnis könnte sehr gut für die Menschheit sein.

But it doesn't happen automatically.

Aber es geschieht nicht automatisch.

The initial conditions for the intelligence explosion

Die Anfangsbedingungen für die Intelligenzexplosion

might need to be set up in just the right way

müssen genau auf die richtige Art und Weise aufgestellt werden,

if we are to have a controlled detonation.

wenn wir eine kontrollierte Detonation haben wollen.

The values that the A.I. has need to match ours,

Die Werte der KI müssen mit unseren übereinstimmen,

not just in the familiar context,

nicht nur im vertrauten Kontext,

like where we can easily check how the A.I. behaves,

wo wir leicht überprüfen können, wie die KI sich verhält,

but also in all novel contexts that the A.I. might encounter

sondern auch in allen neuen Situationen,

auf die die KI in der unbestimmten Zukunft treffen könnte.

in the indefinite future.

And there are also some esoteric issues that would need to be solved, sorted out:

Es gibt auch einige esoterische Fragen, die gelöst werden müssten:

the exact details of its decision theory,

die genauen Details ihrer Entscheidungstheorie,

how to deal with logical uncertainty and so forth.

wie mit logischer Unsicherheit umzugehen ist usw.

Die technischen Probleme, die dafür gelöst werden müssen,

So the technical problems that need to be solved to make this work

look quite difficult --

sind ziemlich schwierig --

not as difficult as making a superintelligent A.I.,

nicht so schwierig, wie eine superintelligente KI zu bauen,

but fairly difficult.

aber ziemlich schwierig.

Here is the worry:

Hier ist die Sorge:

Making superintelligent A.I. is a really hard challenge.

Superintelligente KI zu bauen ist eine wirklich harte Herausforderung.

Sichere superintelligente KI zu bauen

Making superintelligent A.I. that is safe

involves some additional challenge on top of that.

birgt noch zusätzliche Herausforderungen.

The risk is that if somebody figures out how to crack the first challenge

Das Risiko besteht darin, dass jemand die erste Hürde knackt,

without also having cracked the additional challenge

ohne die zusätzliche Herausforderung, perfekte Sicherheit zu gewährleisten,

of ensuring perfect safety.

ebenfalls zu knacken.

So I think that we should work out a solution

Ich denke daher,

wir sollten im Vorfeld das Steuerungsproblem lösen,

to the control problem in advance,

so that we have it available by the time it is needed.

damit wir eine Lösung haben, wenn sie benötigt wird.

Now it might be that we cannot solve the entire control problem in advance

Vielleicht können wir nicht das ganze Steuerungsproblem im Voraus lösen,

because maybe some elements can only be put in place

weil vielleicht einige Elemente erst gesetzt werden können,

once you know the details of the architecture where it will be implemented.

wenn wir die Details der Architektur, in der sie implementiert werden, kennen.

But the more of the control problem that we solve in advance,

Je mehr Kontrollprobleme wir jedoch im Voraus lösen,

the better the odds that the transition to the machine intelligence era

desto besser sind die Chancen, dass der Übergang

zur Maschinenintelligenz gut verläuft.

will go well.

This to me looks like a thing that is well worth doing

Das sieht für mich nach einer Sache aus, die es wert ist, getan zu werden,

and I can imagine that if things turn out okay,

und ich kann mir vorstellen, dass wenn die Dinge gut laufen,

that people a million years from now look back at this century

die Leute in einer Million Jahre auf dieses Jahrhundert zurückblicken

and it might well be that they say that the one thing we did that really mattered

und möglicherweise sagen,

dass unsere einzige wichtige Leistung der Erfolg bei dieser Sache war.

was to get this thing right.

Thank you.

Vielen Dank.

(Beifall)

(Applause)