How to get empowered, not overpowered, by AI | Max Tegmark

Übersetzung: Andreas Herzog Lektorat: Johannes Duschner

After 13.8 billion years of cosmic history,

Nach 13,8 Milliarden Jahren kosmischer Geschichte

our universe has woken up

ist unser Universum aufgewacht

and become aware of itself.

und sich seiner selbst bewusst geworden.

From a small blue planet,

Von einem kleinen blauen Planeten aus

tiny, conscious parts of our universe have begun gazing out into the cosmos

haben winzige, bewusste Teile unseres Universums begonnen,

mit Teleskopen in den Kosmos zu schauen

with telescopes,

und etwas Demütigendes entdeckt.

discovering something humbling.

We've discovered that our universe is vastly grander

Nämlich, dass das Universum sehr viel größer ist, als unsere Vorfahren glaubten,

than our ancestors imagined

and that life seems to be an almost imperceptibly small perturbation

und das Leben eine fast unmerklich kleine Störung

on an otherwise dead universe.

eines sonst toten Universums zu sein scheint.

But we've also discovered something inspiring,

Aber wir haben auch etwas Inspirierendes entdeckt,

which is that the technology we're developing has the potential

nämlich, dass unsere Technologie das Potenzial hat,

to help life flourish like never before,

das Leben wie nie zuvor florieren zu lassen.

not just for centuries but for billions of years,

Nicht nur für Jahrhunderte, sondern für Milliarden von Jahren.

and not just on earth but throughout much of this amazing cosmos.

Nicht nur auf der Erde, sondern in einem Großteil des Kosmos.

I think of the earliest life as "Life 1.0"

Ich denke an erstes Leben als "Life 1.0",

because it was really dumb,

weil es wirklich dumm war,

like bacteria, unable to learn anything during its lifetime.

wie etwa Bakterien, unfähig, irgendetwas in seinem Leben zu lernen.

I think of us humans as "Life 2.0" because we can learn,

Ich denke an uns Menschen als "Life 2.0", weil wir lernen können.

which we in nerdy, geek speak,

Etwas langweilig gesagt,

might think of as installing new software into our brains,

entspricht das der Installation neuer Software in unser Gehirn

like languages and job skills.

wie etwa Sprachen oder berufliche Fertigkeiten.

"Life 3.0," which can design not only its software but also its hardware

"Leben 3.0", das neben seiner Software auch seine Hardware entwerfen kann,

existiert natürlich noch nicht.

of course doesn't exist yet.

But perhaps our technology has already made us "Life 2.1,"

Aber vielleicht sind wir mit unserer Technologie auch schon bei "Life 2.1",

with our artificial knees, pacemakers and cochlear implants.

mit unseren künstlichen Knien, Schrittmachern und Cochlea-Implantaten.

So let's take a closer look at our relationship with technology, OK?

Sehen wir uns also unsere Beziehung zur Technologie genauer an:

As an example,

Die Mondmission Apollo 11 etwa

the Apollo 11 moon mission was both successful and inspiring,

war sowohl erfolgreich als auch inspirierend

showing that when we humans use technology wisely,

und zeigte, dass wir Menschen bei weisem Umgang mit Technologie

we can accomplish things that our ancestors could only dream of.

Dinge erreichen können, von denen unsere Vorfahren nur träumen konnten.

But there's an even more inspiring journey

Aber es gibt eine noch inspirierendere Reise,

propelled by something more powerful than rocket engines,

angetrieben von etwas, das mächtiger ist als Raketentriebwerke,

where the passengers aren't just three astronauts

wo die Passagiere nicht nur drei Astronauten,

but all of humanity.

sondern die ganze Menschheit ist.

Let's talk about our collective journey into the future

Ich meine unsere gemeinsame Reise

in eine Zukunft mit künstlicher Intelligenz.

with artificial intelligence.

My friend Jaan Tallinn likes to point out that just as with rocketry,

Mein Freund Jaan Tallinn zeigt gerne auf, dass es, genau wie bei der Raketentechnik,

it's not enough to make our technology powerful.

nicht ausreicht, unsere Technologie leistungsfähig zu machen.

We also have to figure out, if we're going to be really ambitious,

Wir müssen auch herausfinden, wie wir sie steuern

how to steer it

und wohin wir gehen wollen,

and where we want to go with it.

wenn wir ehrgeizig sein wollen.

So let's talk about all three for artificial intelligence:

Sprechen wir über alle drei Punkte, die künstliche Intelligenz betreffend:

the power, the steering and the destination.

die Leistung, die Lenkung und das Ziel.

Let's start with the power.

Beginnen wir mit der Leistung.

I define intelligence very inclusively --

Ich definiere Intelligenz sehr offen,

simply as our ability to accomplish complex goals,

einfach als die Fähigkeit, komplexe Ziele zu erreichen,

because I want to include both biological and artificial intelligence.

weil ich sowohl biologische als auch künstliche Intelligenz einbeziehen will.

And I want to avoid the silly carbon-chauvinism idea

Ich möchte den albernen Kohlenstoff- Chauvinismus vermeiden,

that you can only be smart if you're made of meat.

dass nur klug sein kann, was aus Fleisch besteht.

It's really amazing how the power of AI has grown recently.

Es ist erstaunlich, wie die Leistung der KI in letzter Zeit gewachsen ist.

Denken Sie mal nach.

Just think about it.

Not long ago, robots couldn't walk.

Vor nicht langer Zeit konnten Roboter nicht laufen.

Jetzt können sie Rückwärtssaltos machen.

Now, they can do backflips.

Not long ago,

Vor nicht langer Zeit

we didn't have self-driving cars.

gab es keine selbstfahrenden Autos.

Now, we have self-flying rockets.

Jetzt gibt es selbstfliegende Raketen.

Not long ago,

Vor nicht langer Zeit

AI couldn't do face recognition.

konnte KI keine Gesichtserkennung.

Now, AI can generate fake faces

Jetzt kann KI falsche Gesichter erzeugen

and simulate your face saying stuff that you never said.

und Ihr Gesicht vortäuschen lassen, Dinge zu sagen, die Sie nie sagten.

Not long ago,

Vor nicht langer Zeit

konnte KI uns nicht im Go-Spiel schlagen.

AI couldn't beat us at the game of Go.

Then, Google DeepMind's AlphaZero AI took 3,000 years of human Go games

Dann nahm AlphaZero von Google DeepMind

3.000 Jahre menschlicher Go-Spiele und Go-Weisheit, ignorierte alles

and Go wisdom,

ignored it all and became the world's best player by just playing against itself.

und wurde zum weltweit besten Spieler, indem es nur gegen sich selbst spielte.

And the most impressive feat here wasn't that it crushed human gamers,

Das beeindruckendste Kunststück war nicht, dass es menschliche Spieler schlug;

but that it crushed human AI researchers

sondern auch die menschlichen KI-Forscher,

who had spent decades handcrafting game-playing software.

die jahrzehntelang an Go-Software gearbeitet hatten.

And AlphaZero crushed human AI researchers not just in Go but even at chess,

AlphaZero hat die KI-Forscher nicht nur in Go, sondern auch im Schach geschlagen,

which we have been working on since 1950.

an dem wir schon seit 1950 arbeiteten.

So all this amazing recent progress in AI really begs the question:

Alle diese erstaunlichen Fortschritte in der KI werfen die Frage auf:

How far will it go?

Wie weit wird das gehen?

I like to think about this question

Ich denke gerne über diese Frage anhand dieser abstrakten Aufgabenlandschaft nach.

in terms of this abstract landscape of tasks,

where the elevation represents how hard it is for AI to do each task

Die Höhe stellt dar, wie schwer es für KI ist,

etwas auf menschlichem Niveau zu tun,

at human level,

und der Meeresspiegel repräsentiert, was die KI heute kann.

and the sea level represents what AI can do today.

Der Wasserstand steigt mit wachsender KI,

The sea level is rising as AI improves,

so there's a kind of global warming going on here in the task landscape.

sodass es in der Aufgabenlandschaft zu einer Art globaler Erwärmung kommt.

And the obvious takeaway is to avoid careers at the waterfront --

Die offensichtliche Lehre ist, Jobs am Wasser zu vermeiden --

(Laughter)

(Lachen)

which will soon be automated and disrupted.

da die bald automatisiert werden.

But there's a much bigger question as well.

Aber es gibt auch eine viel größere Frage.

How high will the water end up rising?

Wie hoch wird das Wasser am Ende steigen?

Will it eventually rise to flood everything,

Wird es irgendwann alles fluten,

matching human intelligence at all tasks.

menschliche Intelligenz überall übertreffen?

This is the definition of artificial general intelligence --

Dies ist die Definition der Allgemeinen Künstlichen Intelligenz --

AGI,

AKI, die von Anfang an der heilige Gral der KI-Forschung war.

which has been the holy grail of AI research since its inception.

Demnach bedeutet die Aussage:

By this definition, people who say,

"Ah, there will always be jobs that humans can do better than machines,"

"Es wird immer Jobs geben, die Menschen besser als Maschinen machen",

are simply saying that we'll never get AGI.

einfach, dass wir AKI niemals bekommen werden.

Sure, we might still choose to have some human jobs

Wir könnten uns zwar entscheiden, einige Jobs für Menschen zu behalten,

or to give humans income and purpose with our jobs,

um Menschen Einkommen und Ziele zu geben,

but AGI will in any case transform life as we know it

aber AKI wird auf jeden Fall das Leben, wie wir es kennen, verändern,

with humans no longer being the most intelligent.

wenn der Mensch nicht mehr intelligenter ist.

Now, if the water level does reach AGI,

Erreicht der Wasserspiegel AKI,

then further AI progress will be driven mainly not by humans but by AI,

dann treibt KI und nicht Menschen den weiteren KI-Fortschritt voran,

which means that there's a possibility

was bedeutet, dass weiterer KI-Fortschritt wesentlich schneller sein könnte

that further AI progress could be way faster

than the typical human research and development timescale of years,

als der typische menschliche Entwicklungszeitraum von Jahren,

raising the controversial possibility of an intelligence explosion

was die umstrittene Möglichkeit einer Intelligenzexplosion eröffnet,

where recursively self-improving AI

in der sich rekursiv selbstverbessernde KI

rapidly leaves human intelligence far behind,

die menschliche Intelligenz weit hinter sich lässt

creating what's known as superintelligence.

und so die sogenannte Superintelligenz schafft.

Alright, reality check:

Okay, die Fakten:

Are we going to get AGI any time soon?

Werden wir in naher Zukunft AKI bekommen?

Some famous AI researchers, like Rodney Brooks,

Einige berühmte KI-Forscher, wie Rodney Brooks, glauben,

think it won't happen for hundreds of years.

dass es für Hunderte von Jahren nicht passieren wird.

But others, like Google DeepMind founder Demis Hassabis,

Andere wie Demis Hassabis, der Google DeepMind-Gründer,

are more optimistic

sind da optimistischer

and are working to try to make it happen much sooner.

und arbeiten daran, es viel früher zu verwirklichen.

And recent surveys have shown that most AI researchers

Neuere Umfragen haben gezeigt, dass die meisten KI-Forscher

actually share Demis's optimism,

tatsächlich Demis' Optimismus teilen

expecting that we will get AGI within decades,

und erwarten, dass wir AKI innerhalb von Jahrzehnten bekommen werden,

so within the lifetime of many of us,

also im Laufe der Lebenszeit von vielen von uns,

which begs the question -- and then what?

was die Frage aufwirft -- und was dann?

What do we want the role of humans to be

Was soll die Rolle des Menschen sein,

if machines can do everything better and cheaper than us?

wenn Maschinen alles besser und billiger machen können als wir?

The way I see it, we face a choice.

Ich denke, wir stehen vor einer Wahl.

Eine Option ist, selbstgefällig zu sein:

One option is to be complacent.

We can say, "Oh, let's just build machines that can do everything we can do

"Lasst uns KI bauen, die alles kann, was wir können,

and not worry about the consequences.

und uns nicht um die Folgen kümmern.

Come on, if we build technology that makes all humans obsolete,

Wenn wir Technologie schaffen, die alle Menschen obsolet macht,

what could possibly go wrong?"

was könnte da schon schiefgehen?"

(Laughter)

(Lachen)

But I think that would be embarrassingly lame.

Aber das wäre peinlich faul.

I think we should be more ambitious -- in the spirit of TED.

Wir sollten im Geiste von TED ehrgeiziger sein.

Let's envision a truly inspiring high-tech future

Stellen wir uns eine wahrhaft inspirierende Hightech-Zukunft vor

and try to steer towards it.

und versuchen, dahin zu steuern.

This brings us to the second part of our rocket metaphor: the steering.

Das bringt uns zum zweiten Teil unserer Raketenmetapher: die Lenkung.

We're making AI more powerful,

Wir machen die KI leistungsfähiger,

but how can we steer towards a future

aber wie können wir in eine Zukunft steuern,

where AI helps humanity flourish rather than flounder?

wo KI der Menschheit hilft zu florieren, anstatt sich abzumühen?

To help with this,

Das Future of Life Institute habe ich dazu mitgegründet.

I cofounded the Future of Life Institute.

Ein gemeinnütziges Unternehmen

It's a small nonprofit promoting beneficial technology use,

zur Förderung nutzbringender Technik.

and our goal is simply for the future of life to exist

Unser Ziel ist einfach, für die Zukunft des Lebens fortzubestehen

and to be as inspiring as possible.

und so inspirierend wie möglich zu sein.

You know, I love technology.

Ich liebe nämlich Technologie.

Technology is why today is better than the Stone Age.

Technologie ist der Grund, warum das Heute besser als die Steinzeit ist.

And I'm optimistic that we can create a really inspiring high-tech future ...

Ich bin optimistisch, dass wir eine inspirierende Zukunft schaffen können,

if -- and this is a big if --

wenn -- und das ist ein großes wenn --

if we win the wisdom race --

wir das Weisheitsrennen gewinnen --

the race between the growing power of our technology

den Wettlauf zwischen unserer Technologie mit ihrer zunehmenden Macht

and the growing wisdom with which we manage it.

und der zunehmenden Klugheit, sie zu managen.

But this is going to require a change of strategy

Aber das erfordert eine neue Strategie,

because our old strategy has been learning from mistakes.

weil unsere alte Strategie war, aus Fehlern zu lernen.

We invented fire,

Wir haben das Feuer erfunden,

screwed up a bunch of times --

vermasselten es einige Male --

invented the fire extinguisher.

und erfanden den Feuerlöscher.

(Laughter)

(Lachen)

We invented the car, screwed up a bunch of times --

Wir erfanden das Auto, vermasselten es einige Male --

invented the traffic light, the seat belt and the airbag,

und erfanden die Ampel, den Sicherheitsgurt und den Airbag.

but with more powerful technology like nuclear weapons and AGI,

Aber mit mächtigeren Technologien wie Atomwaffen und AKI

learning from mistakes is a lousy strategy,

ist das Lernen aus Fehlern eine lausige Strategie, finden Sie nicht?

don't you think?

(Lachen)

(Laughter)

Es ist viel besser, proaktiv statt reaktiv zu sein,

It's much better to be proactive rather than reactive;

plan ahead and get things right the first time

gut zu planen und die Dinge sofort richtigzumachen,

because that might be the only time we'll get.

weil wir vielleicht nur eine Chance bekommen.

But it is funny because sometimes people tell me,

Aber es ist lustig, manchmal sagen mir Leute:

"Max, pssst, rede nicht so.

"Max, shhh, don't talk like that.

That's Luddite scaremongering."

Das ist technikfeindliche Panikmache."

But it's not scaremongering.

Aber es ist keine Panikmache.

It's what we at MIT call safety engineering.

Das nennen wir am MIT Sicherheitstechnik.

Think about it:

Bedenken Sie:

before NASA launched the Apollo 11 mission,

Bevor die NASA Apollo 11 startete,

they systematically thought through everything that could go wrong

durchdachten sie systematisch alles, was schiefgehen könnte,

when you put people on top of explosive fuel tanks

wenn man Menschen auf explosive Treibstofftanks setzt

and launch them somewhere where no one could help them.

und sie dorthin schießt, wo ihnen keiner helfen kann.

And there was a lot that could go wrong.

Da könnte eine Menge schiefgehen.

Was that scaremongering?

War das Panikmache?

No.

Nein.

That's was precisely the safety engineering

Das war genau die Sicherheitstechnik,

die den Erfolg der Mission sicherstellte,

that ensured the success of the mission,

und genau das ist die Strategie, die wir bei AKI wählen sollten.

and that is precisely the strategy I think we should take with AGI.

Think through what can go wrong to make sure it goes right.

Durchdenken, was schiefgehen kann, um sicherzustellen, dass es gut verläuft.

So in this spirit, we've organized conferences,

In diesem Sinne organisierten wir Konferenzen,

bringing together leading AI researchers and other thinkers

an denen führende KI-Forscher und andere Denker teilnahmen,

um zu diskutieren, wie wir diese Weisheit entwickeln, damit die KI nützlich bleibt.

to discuss how to grow this wisdom we need to keep AI beneficial.

Our last conference was in Asilomar, California last year

Unsere letzte Konferenz in Asilomar, Kalifornien,

and produced this list of 23 principles

brachte letztes Jahr diese Liste von 23 Prinzipien hervor,

which have since been signed by over 1,000 AI researchers

die seitdem über 1000 KI-Forscher und führende Industrielle unterzeichnet haben.

and key industry leaders,

and I want to tell you about three of these principles.

Ich möchte Ihnen drei dieser Prinzipien näher bringen.

One is that we should avoid an arms race and lethal autonomous weapons.

Eines davon ist, dass wir ein Wettrüsten und tödliche autonome Waffen vermeiden.

The idea here is that any science can be used for new ways of helping people

Jede Wissenschaft kann genutzt werden,

um Menschen zu helfen oder auf neue Weise zu schaden.

or new ways of harming people.

For example, biology and chemistry are much more likely to be used

Zum Beispiel werden Biologie und Chemie viel eher für neue Medikamente eingesetzt

for new medicines or new cures than for new ways of killing people,

als für neue Arten, Menschen zu töten,

because biologists and chemists pushed hard --

weil Biologen und Chemiker unnachgiebig und erfolgreich

and successfully --

auf Verbote von biologischen und chemischen Waffen drängten.

for bans on biological and chemical weapons.

And in the same spirit,

Im gleichen Sinne wollen die meisten KI-Forscher

most AI researchers want to stigmatize and ban lethal autonomous weapons.

tödliche autonome Waffen stigmatisieren und verbieten.

Another Asilomar AI principle

Ein weiteres Asilomar KI-Prinzip besagt,

is that we should mitigate AI-fueled income inequality.

dass das KI-bedingte Einkommensgefälle verringert werden sollte.

I think that if we can grow the economic pie dramatically with AI

Wenn wir den wirtschaftlichen Kuchen mit KI dramatisch vergrößern können,

and we still can't figure out how to divide this pie

aber nicht wissen, wie wir den Kuchen zum Nutzen aller verteilen können,

so that everyone is better off,

then shame on us.

dann Schande über uns!

(Applause)

(Beifall)

Alright, now raise your hand if your computer has ever crashed.

Okay, jetzt heben Sie die Hand, wenn Ihr Computer jemals abgestürzt ist.

(Laughter)

(Lachen)

Wow, that's a lot of hands.

Wow, das sind viele Hände.

Well, then you'll appreciate this principle

Dann werden Sie das Prinzip zu schätzen wissen,

that we should invest much more in AI safety research,

dass wir viel mehr Forschung in die KI-Sicherheit stecken sollten.

because as we put AI in charge of even more decisions and infrastructure,

Wenn wir die KI immer mehr Entscheidungen und Infrastruktur steuern lassen,

we need to figure out how to transform today's buggy and hackable computers

müssen wir die heutigen störanfälligen und hackbaren Computer

into robust AI systems that we can really trust,

zu robusten Systemen machen, denen wir vertrauen können,

because otherwise,

denn sonst könnte diese neue Technologie versagen und uns schaden

all this awesome new technology can malfunction and harm us,

or get hacked and be turned against us.

oder gehackt und gegen uns eingesetzt werden.

And this AI safety work has to include work on AI value alignment,

Diese KI-Sicherheitsarbeit muss die KI-Werte-Ausrichtung beinhalten.

because the real threat from AGI isn't malice,

Die wirkliche Bedrohung durch AKI ist nicht Bosheit,

like in silly Hollywood movies,

wie in albernen Hollywoodfilmen,

but competence --

sondern Befähigung --

AGI accomplishing goals that just aren't aligned with ours.

AKI, die Ziele erreicht, die nicht mit unseren übereinstimmen.

For example, when we humans drove the West African black rhino extinct,

Zum Beispiel, als wir Menschen das Spitzmaul-Nashorn ausgerottet haben,

we didn't do it because we were a bunch of evil rhinoceros haters, did we?

taten wir das nicht, weil wir böse Nashorn-Hasser waren, oder?

We did it because we were smarter than them

Wir taten es, weil wir schlauer waren

and our goals weren't aligned with theirs.

und unsere Ziele nicht zu ihren passten.

But AGI is by definition smarter than us,

Aber AKI ist definitionsgemäß schlauer als wir,

so to make sure that we don't put ourselves in the position of those rhinos

also um sicherzugehen, dass wir nicht in die Lage dieser Nashörner geraten,

if we create AGI,

wenn wir AKI schaffen,

we need to figure out how to make machines understand our goals,

müssen wir herausfinden, wie wir KI dazu bringen, unsere Ziele zu verstehen,

adopt our goals and retain our goals.

unsere Ziele zu übernehmen und unsere Ziele beizubehalten.

And whose goals should these be, anyway?

Wessen Ziele sollten das sein?

Which goals should they be?

Welche Ziele sollten sie haben?

This brings us to the third part of our rocket metaphor: the destination.

Dies bringt uns zum dritten Teil unserer Raketenmetapher: das Ziel.

We're making AI more powerful,

Wir machen KI leistungsfähiger,

versuchen herauszufinden, wie man sie steuert,

trying to figure out how to steer it,

but where do we want to go with it?

aber wohin wollen wir damit gehen?

This is the elephant in the room that almost nobody talks about --

Das ist das offensichtliche Problem, über das fast niemand spricht --

not even here at TED --

nicht einmal hier bei TED --

because we're so fixated on short-term AI challenges.

weil wir so fixiert sind auf kurzfristige KI-Herausforderungen.

Look, our species is trying to build AGI,

Durch Neugier und Wirtschaft motiviert,

motivated by curiosity and economics,

versucht unsere Spezies AKI zu schaffen.

but what sort of future society are we hoping for if we succeed?

Aber was für eine zukünftige Gesellschaft erhoffen wir, falls wir es schaffen?

We did an opinion poll on this recently,

Wir machten eine Umfrage und ich war verblüfft,

and I was struck to see

that most people actually want us to build superintelligence:

dass die meisten Leute wollen, dass wir Superintelligenz bauen:

AI that's vastly smarter than us in all ways.

KI, die in jeder Hinsicht schlauer ist als wir.

What there was the greatest agreement on was that we should be ambitious

Die größte Übereinstimmung war, dass wir ehrgeizig sein sollten

and help life spread into the cosmos,

und helfen, das Leben im Kosmos zu verbreiten,

but there was much less agreement about who or what should be in charge.

aber es gab weniger Einigkeit darüber, wer oder was die Macht haben sollte.

And I was actually quite amused

Ich fand es ziemlich lustig,

to see that there's some some people who want it to be just machines.

dass es einige Leute gibt, die wollen, dass es nur Maschinen sind.

(Laughter)

(Lachen)

And there was total disagreement about what the role of humans should be,

Es gab völlige Uneinigkeit darüber, was die Rolle des Menschen sein sollte,

even at the most basic level,

selbst auf der grundlegendsten Ebene.

so let's take a closer look at possible futures

Sehen wir uns also die mögliche Zukunft genauer an,

that we might choose to steer toward, alright?

auf die wir vielleicht hinsteuern.

So don't get me wrong here.

Verstehen Sie mich nicht falsch, ich spreche nicht über Raumfahrt.

I'm not talking about space travel,

Sondern nur über die metaphorische Reise der Menschheit in die Zukunft.

merely about humanity's metaphorical journey into the future.

So one option that some of my AI colleagues like

Eine Möglichkeit, die einige meiner KI-Kollegen mögen,

is to build superintelligence and keep it under human control,

ist Superintelligenz zu bauen und unter menschlicher Kontrolle zu halten

like an enslaved god,

wie einen versklavten, vom Internet getrennten Gott,

disconnected from the internet

and used to create unimaginable technology and wealth

und sie einzusetzen, um unvorstellbare Technologien und Reichtum

for whoever controls it.

für den zu schaffen, der sie kontrolliert.

But Lord Acton warned us

Aber Lord Acton warnte uns,

that power corrupts, and absolute power corrupts absolutely,

dass Macht korrumpiert und absolute Macht absolut korrumpiert,

so you might worry that maybe we humans just aren't smart enough,

also könnte man befürchten, dass wir Menschen vielleicht nicht klug

or wise enough rather,

oder vielmehr weise genug sind,

to handle this much power.

um mit so viel Macht umzugehen.

Also, aside from any moral qualms you might have

Abgesehen von allen moralischen Problemen,

die Sie vielleicht mit versklavten Göttern haben,

about enslaving superior minds,

you might worry that maybe the superintelligence could outsmart us,

könnten Sie befürchten, dass die Superintelligenz uns austrickst,

break out and take over.

ausbricht und die Macht übernimmt.

But I also have colleagues who are fine with AI taking over

Aber ich habe auch Kollegen, die eine Übernahme durch KI gut fänden,

and even causing human extinction,

selbst wenn sie zu unserer Ausrottung führt,

as long as we feel the the AIs are our worthy descendants,

solange wir glauben, dass die KIs unsere würdigen Nachkommen sind,

like our children.

wie unsere Kinder.

But how would we know that the AIs have adopted our best values

Aber wie können wir wissen, dass die KIs unsere Werte angenommen haben

and aren't just unconscious zombies tricking us into anthropomorphizing them?

und nicht nur dumme Zombies sind, die uns Menschlichkeit vorspiegeln?

Also, shouldn't those people who don't want human extinction

Sollten nicht auch jene Menschen ein Mitspracherecht haben,

have a say in the matter, too?

die keine menschliche Auslöschung wollen?

Now, if you didn't like either of those two high-tech options,

Wenn Sie keine dieser beiden High-Tech-Optionen mögen,

it's important to remember that low-tech is suicide

sollten Sie bedenken, dass Low-Tech aus kosmischer Sicht Selbstmord ist.

from a cosmic perspective,

because if we don't go far beyond today's technology,

Wenn unsere Technologien nicht viel besser werden,

the question isn't whether humanity is going to go extinct,

ist das Aussterben der Menschheit keine Frage,

merely whether we're going to get taken out

sondern nur, ob wir durch den nächsten Killer-Asteroiden, Supervulkan,

by the next killer asteroid, supervolcano

or some other problem that better technology could have solved.

oder etwas anderes sterben, das bessere Technologie lösen könnte.

So, how about having our cake and eating it ...

Wie wäre es, beides gleichzeitig zu haben?

with AGI that's not enslaved

Eine AKI, die nicht versklavt ist,

but treats us well because its values are aligned with ours?

sondern uns gut behandelt, weil ihre Werte zu unseren passen?

This is the gist of what Eliezer Yudkowsky has called "friendly AI,"

Das ist der Kern dessen, was Eliezer Yudkowsky "freundliche KI" nannte

and if we can do this, it could be awesome.

und wenn wir das schaffen, wäre es wunderbar.

It could not only eliminate negative experiences like disease, poverty,

Es könnte nicht nur negative Erfahrungen

wie Krankheit, Armut, Kriminalität und andere Leiden beseitigen,

crime and other suffering,

but it could also give us the freedom to choose

sondern es könnte uns auch die Freiheit geben,

from a fantastic new diversity of positive experiences --

aus einer fantastischen neuen Vielfalt positiver Erfahrungen zu wählen.

Das würde uns zu Herren unseres eigenen Schicksals machen.

basically making us the masters of our own destiny.

So in summary,

Alles in allem ist unsere Situation mit der Technologie kompliziert,

our situation with technology is complicated,

but the big picture is rather simple.

aber das große Bild ist ziemlich einfach.

Most AI researchers expect AGI within decades,

Die meisten KI-Forscher erwarten AKI innerhalb von Jahrzehnten,

and if we just bumble into this unprepared,

und stolpern wir da unvorbereitet hinein,

it will probably be the biggest mistake in human history --

wäre dies wohl der größte Fehler in der Geschichte der Menschheit,

let's face it.

wenn wir ehrlich sind.

It could enable brutal, global dictatorship

Es könnte eine brutale, globale Diktatur

with unprecedented inequality, surveillance and suffering,

mit beispielloser Ungleichheit, Überwachung und Leid ermöglichen

and maybe even human extinction.

und vielleicht sogar das Aussterben der Menschen.

But if we steer carefully,

Aber wenn wir vorsichtig steuern,

we could end up in a fantastic future where everybody's better off:

könnten wir eine Zukunft haben, in der es allen besser geht:

the poor are richer, the rich are richer,

die Armen sind reicher, die Reichen sind reicher.

everybody is healthy and free to live out their dreams.

Jeder ist gesund und frei, seine Träume zu leben.

Now, hang on.

Warten Sie mal.

Do you folks want the future that's politically right or left?

Wollen Sie eine Zukunft haben, die politisch rechts oder links ist?

Do you want the pious society with strict moral rules,

Wollen Sie die fromme Gesellschaft mit strengen moralischen Regeln,

or do you an hedonistic free-for-all,

oder eine hedonistische Anarchie,

more like Burning Man 24/7?

mehr wie Burning Man rund um die Uhr?

Do you want beautiful beaches, forests and lakes,

Wollen Sie schöne Strände, Wälder und Seen,

or would you prefer to rearrange some of those atoms with the computers,

oder wollen Sie lieber mit Computern Atome neu ordnen,

um virtuelle Erfahrungen zu machen?

enabling virtual experiences?

With friendly AI, we could simply build all of these societies

Mit freundlicher KI könnten wir all diese Gesellschaften aufbauen

and give people the freedom to choose which one they want to live in

und die Menschen wählen lassen, wie ​​sie leben wollen,

weil wir nicht mehr durch unsere Intelligenz limitiert wären,

because we would no longer be limited by our intelligence,

merely by the laws of physics.

sondern nur noch durch die Physik.

So the resources and space for this would be astronomical --

So wären die Ressourcen und der Raum dafür astronomisch --

literally.

buchstäblich.

So here's our choice.

Also, wir haben die Wahl.

We can either be complacent about our future,

Wir können entweder selbstgefällig hinsichtlich unserer Zukunft sein,

taking as an article of blind faith

in dem blindem Glauben,

that any new technology is guaranteed to be beneficial,

dass jede neue Technologie garantiert von Nutzen ist,

and just repeat that to ourselves as a mantra over and over and over again

und das einfach als ein Mantra immer und immer wiederholen,

as we drift like a rudderless ship towards our own obsolescence.

während wir wie ein Schiff ohne Ruder auf unsere Überflüssigkeit zutreiben.

Or we can be ambitious --

Oder wir können ehrgeizig sein --

thinking hard about how to steer our technology

und darüber nachdenken, wie wir unsere Technologie steuern

and where we want to go with it

und wohin wir gehen wollen,

to create the age of amazement.

um das Zeitalter des Staunens zu schaffen.

We're all here to celebrate the age of amazement,

Wir sind alle hier, um das Zeitalter des Staunens zu feiern,

and I feel that its essence should lie in becoming not overpowered

und ich meine, das Wesentliche dabei sollte sein, nicht überwältigt zu werden,

but empowered by our technology.

sondern durch unsere Technologie gestärkt zu werden.

Thank you.

Vielen Dank.

(Applause)

(Beifall)