Don't fear superintelligent AI | Grady Booch

Übersetzung: Christian Kuhna Lektorat: P Hakenberg

When I was a kid, I was the quintessential nerd.

Als Kind war ich der typische Nerd.

I think some of you were, too.

Ich glaube, das waren manche von Ihnen auch.

(Laughter)

(Gelächter)

And you, sir, who laughed the loudest, you probably still are.

Sie, der am lautesten gelacht hat, Sie sind es wohl immer noch.

(Laughter)

(Gelächter)

Ich wuchs in einer Kleinstadt in den staubigen Ebenen Nordtexas' auf,

I grew up in a small town in the dusty plains of north Texas,

the son of a sheriff who was the son of a pastor.

der Sohn eines Sheriffs, der der Sohn eines Pastors war.

Getting into trouble was not an option.

Ich durfte keinen Ärger machen.

And so I started reading calculus books for fun.

Ich fing aus Vergnügen an, Mathebücher zu lesen.

(Laughter)

(Gelächter)

You did, too.

Das haben Sie auch gemacht.

That led me to building a laser and a computer and model rockets,

Das führte mich dazu, einen Laser und einen Computer und Modellraketen zu bauen

and that led me to making rocket fuel in my bedroom.

und Raketenbrennstoff in meinem Schlafzimmer herzustellen.

Now, in scientific terms,

In wissenschaftlicher Terminologie

we call this a very bad idea.

nennen wir das eine sehr schlechte Idee.

(Laughter)

(Gelächter)

Around that same time,

Um die Zeit herum

Stanley Kubrick's "2001: A Space Odyssey" came to the theaters,

kam Stanley Kubricks "2001: Odyssee im Weltraum" in die Kinos

and my life was forever changed.

und mein Leben hatte sich für immer verändert.

I loved everything about that movie,

Ich liebte alles in diesem Film,

especially the HAL 9000.

besonders den HAL 9000.

Now, HAL was a sentient computer

HAL war ein empfindungsfähiger Computer,

designed to guide the Discovery spacecraft

dazu entworfen, das Raumschiff Discovery

from the Earth to Jupiter.

von der Erde zum Jupiter zu leiten.

HAL was also a flawed character,

HAL war auch ein fehlerhafter Charakter,

for in the end he chose to value the mission over human life.

da er am Ende beschloss, die Mission über menschliches Leben zu setzen.

Now, HAL was a fictional character,

HAL war ein fiktiver Charakter,

but nonetheless he speaks to our fears,

aber nichtsdestotrotz spricht er unsere Ängste an,

our fears of being subjugated

unsere Ängste vor der Unterwerfung

by some unfeeling, artificial intelligence

durch irgendeine nicht fühlende künstliche Intelligenz,

who is indifferent to our humanity.

der unsere Menschlichkeit gleichgültig ist.

I believe that such fears are unfounded.

Ich glaube, dass solche Ängste unbegründet sind.

Indeed, we stand at a remarkable time

Wir befinden uns wirklich in einer bemerkenswerten Zeit

in human history,

in der Geschichte der Menschheit, in der wir,

where, driven by refusal to accept the limits of our bodies and our minds,

getrieben durch die Weigerung die Grenzen von Körper und Geist zu akzeptieren,

we are building machines

Maschinen bauen,

of exquisite, beautiful complexity and grace

von exquisiter, wunderschöner Komplexität und Grazie,

that will extend the human experience

die die menschliche Erfahrung erweitern werden,

in ways beyond our imagining.

weit über unsere Vorstellung hinaus.

After a career that led me from the Air Force Academy

Nach einer Karriere bei der Luftwaffen-Akademie

to Space Command to now,

bin ich jetzt beim Weltraumkommando,

I became a systems engineer,

als Systemingenieur.

and recently I was drawn into an engineering problem

Und kürzlich wurde ich in ein technisches Problem einbezogen,

associated with NASA's mission to Mars.

das mit der NASA-Mission zum Mars zu tun hat.

Now, in space flights to the Moon,

In Raumflügen zum Mond

we can rely upon mission control in Houston

können wir uns auf die Einsatzleitstelle in Houston verlassen,

to watch over all aspects of a flight.

die über alle Aspekte des Fluges wacht.

However, Mars is 200 times further away,

Allerdings ist der Mars 200-mal weiter weg

and as a result it takes on average 13 minutes

und daher dauert es im Durchschnitt 13 Minuten,

for a signal to travel from the Earth to Mars.

bis ein Signal von der Erde zum Mars gelangt.

If there's trouble, there's not enough time.

Wenn es ein Problem gibt, bleibt nicht genügend Zeit.

And so a reasonable engineering solution

Und so mussten wir, für eine sinnvolle technische Lösung,

calls for us to put mission control

die Einsatzleitstelle im Orion-Raumschiffes platzieren.

inside the walls of the Orion spacecraft.

Another fascinating idea in the mission profile

Eine andere faszinierende Idee, im Profil der Mission,

places humanoid robots on the surface of Mars

setzt humanoide Roboter auf die Marsoberfläche,

before the humans themselves arrive,

bevor die Menschen selbst ankommen,

first to build facilities

um zunächst Gebäude zu bauen,

and later to serve as collaborative members of the science team.

und später als kollaborative Mitglieder im Wissenschaftsteam zu dienen.

Now, as I looked at this from an engineering perspective,

Als ich dies aus der technischen Perspektive betrachtete,

it became very clear to me that what I needed to architect

wurde mir sehr klar, dass das, was ich bauen musste,

was a smart, collaborative,

eine schlaue, kollaborative,

socially intelligent artificial intelligence.

sozial intelligente künstliche Intelligenz war.

In other words, I needed to build something very much like a HAL

Anders gesagt, ich musste etwas ganz Ähnliches wie HAL bauen,

but without the homicidal tendencies.

ohne die mörderischen Neigungen.

(Laughter)

(Gelächter)

Let's pause for a moment.

Lassen Sie uns kurz anhalten.

Is it really possible to build an artificial intelligence like that?

Ist es wirklich möglich, eine solche künstliche Intelligenz zu bauen?

Actually, it is.

Nun, das ist es.

In many ways,

In vieler Hinsicht

this is a hard engineering problem

ist dies ein rein technisches Problem

with elements of AI,

mit KI-Anteilen,

not some wet hair ball of an AI problem that needs to be engineered.

kein vages KI-Problem, das technisch gelöst werden muss.

To paraphrase Alan Turing,

Um es mit Alan Turing zu sagen:

I'm not interested in building a sentient machine.

Ich will keine empfindungsfähige Maschine bauen.

I'm not building a HAL.

Ich baue keinen HAL.

All I'm after is a simple brain,

Alles was ich will, ist ein simples Gehirn,

something that offers the illusion of intelligence.

etwas, das die Illusion von Intelligenz bietet.

The art and the science of computing have come a long way

Kunst und Lehre der Informatik sind weit gekommen,

since HAL was onscreen,

seit HAL auf der Leinwand erschien,

and I'd imagine if his inventor Dr. Chandra were here today,

und ich glaube, wenn sein Erfinder, Dr. Chandra, heute hier wäre,

he'd have a whole lot of questions for us.

hätte er viele Fragen an uns.

Is it really possible for us

Ist es uns wirklich möglich

to take a system of millions upon millions of devices,

ein System von abermillionen Geräten zu nehmen,

to read in their data streams,

ihre Datenströme zu lesen,

to predict their failures and act in advance?

ihre Fehler vorher zu sagen und vorher zu handeln?

Yes.

Ja.

Can we build systems that converse with humans in natural language?

Können wir Systeme bauen, die mit Menschen natürlich sprechen?

Yes.

Ja.

Can we build systems that recognize objects, identify emotions,

Können wir Systeme bauen, die Gegenstände und Emotionen erkennen,

emote themselves, play games and even read lips?

sich ausdrücken, Spiele spielen und sogar Lippen lesen?

Yes.

Ja.

Can we build a system that sets goals,

Können wir ein System bauen, das Ziele setzt,

that carries out plans against those goals and learns along the way?

das Pläne für diese Ziele ausführt und auf dem Weg dahin lernt?

Yes.

Ja.

Can we build systems that have a theory of mind?

Können wir Systeme bauen, die eine Naive Theorie [Theory of mind] haben?

This we are learning to do.

Das lernen wir gerade.

Can we build systems that have an ethical and moral foundation?

Können wir Systeme mit ethischen und moralischen Grundlagen bauen?

This we must learn how to do.

Das müssen wir noch lernen.

So lassen Sie uns für einen Moment akzeptieren,

So let's accept for a moment

that it's possible to build such an artificial intelligence

dass eine solche KI möglich ist,

for this kind of mission and others.

für solche und andere Aufgaben.

The next question you must ask yourself is,

Die nächste Frage, die Sie sich stellen müssen, ist:

should we fear it?

Sollten wir sie fürchten?

Now, every new technology

Jede neue Technologie

brings with it some measure of trepidation.

bringt eine gewisse Angst mit sich.

When we first saw cars,

Als wir die ersten Autos sahen,

people lamented that we would see the destruction of the family.

beklagten manche, dass wir die Zerstörung der Familie sehen würden.

When we first saw telephones come in,

Als die ersten Telefone aufkamen,

waren Leute besorgt, dies würde alle höflichen Gespräche zerstören.

people were worried it would destroy all civil conversation.

At a point in time we saw the written word become pervasive,

Irgendwann setzte sich das geschriebene Wort durch,

people thought we would lose our ability to memorize.

und man fürchtete um das Auswendiglernen.

These things are all true to a degree,

Das ist alles in gewisser Hinsicht wahr,

but it's also the case that these technologies

aber es ist auch wahr, dass diese Technologien

brought to us things that extended the human experience

uns Dinge gebracht haben, die unsere menschliche Erfahrung ganz wesentlich

in some profound ways.

erweitert haben.

So let's take this a little further.

Lassen Sie uns noch einen Schritt weiter gehen.

I do not fear the creation of an AI like this,

Ich fürchte die Erschaffung einer solchen KI nicht,

because it will eventually embody some of our values.

da sie schließlich manche unserer Werte verkörpern wird.

Consider this: building a cognitive system is fundamentally different

Bedenken Sie: Ein kognitives System zu bauen ist grundsätzlich anders

than building a traditional software-intensive system of the past.

als ein traditionelles software- intensives System der Vergangenheit.

We don't program them. We teach them.

Wir programmieren sie nicht. Wir lehren sie.

In order to teach a system how to recognize flowers,

Um einem System beizubringen, eine Blume zu erkennen,

I show it thousands of flowers of the kinds I like.

zeige ich ihm tausende meiner Lieblingsblumen.

In order to teach a system how to play a game --

Um einem System ein Spiel beizubringen --

Well, I would. You would, too.

Ich würde. Sie würden auch.

I like flowers. Come on.

Ich mag Blumen. Wirklich.

To teach a system how to play a game like Go,

Um einem System ein Spiel wie Go beizubringen,

I'd have it play thousands of games of Go,

würde ich es tausende Go-Spiele spielen lassen,

but in the process I also teach it

aber dann bringe ich ihm auch bei,

how to discern a good game from a bad game.

zu erkennen, ob ein Spiel gut oder schlecht ist.

If I want to create an artificially intelligent legal assistant,

Wenn ich einen KI-Rechtsassistenten baue,

werde ich ihm Gesetze beibringen,

I will teach it some corpus of law

but at the same time I am fusing with it

gleichzeitig füge ich ein Verständnis

the sense of mercy and justice that is part of that law.

für Gnade und Gerechtigkeit hinzu, was Teil des Rechts ist.

In scientific terms, this is what we call ground truth,

In der Wissenschaft nennen wir das Grundwahrheit.

and here's the important point:

Das ist wichtig:

in producing these machines,

Wenn wir diese Maschinen bauen,

we are therefore teaching them a sense of our values.

werden wir ihnen unsere Werte beibringen.

To that end, I trust an artificial intelligence

Und insofern vertraue ich künstlicher Intelligenz genauso,

the same, if not more, as a human who is well-trained.

oder gar mehr, als einem gut ausgebildeten Menschen.

But, you may ask,

Aber, werden Sie fragen,

what about rogue agents,

was ist mit Schurken,

some well-funded nongovernment organization?

einer gut finanzierten, nichtstaatlichen Organisation?

I do not fear an artificial intelligence in the hand of a lone wolf.

Ich habe keine Angst vor einer KI in der Hand eines Einzelgängers.

Clearly, we cannot protect ourselves against all random acts of violence,

Wir können uns nicht vor jeder willkürlichen Gewalttat schützen,

but the reality is such a system

aber die Realität ist, dass solch ein System

requires substantial training and subtle training

ausgiebiges und raffiniertes Training braucht,

far beyond the resources of an individual.

was weit über die Möglichkeiten eines Einzelnen hinaus geht.

And furthermore,

Außerdem ist es schwieriger

it's far more than just injecting an internet virus to the world,

als einen Internet-Virus in die Welt zu injizieren,

where you push a button, all of a sudden it's in a million places

wo man einen Knopf drückt, und plötzlich ist es überall

and laptops start blowing up all over the place.

und Laptops fangen überall an, zu explodieren.

Now, these kinds of substances are much larger,

Diese Materie ist viel schwieriger,

and we'll certainly see them coming.

und wir werden es sicher kommen sehen.

Do I fear that such an artificial intelligence

Ob ich fürchte, dass eine solche KI

might threaten all of humanity?

die ganze Menschheit bedrohen könnte?

If you look at movies such as "The Matrix," "Metropolis,"

Wenn man sich Filme ansieht, wie "Matrix", "Metropolis",

"The Terminator," shows such as "Westworld,"

"Terminator", oder Serien wie "Westworld",

they all speak of this kind of fear.

sprechen die alle von dieser Angst.

Indeed, in the book "Superintelligence" by the philosopher Nick Bostrom,

In dem Buch "Superintelligenz" des Philosophen Nick Bostrom,

he picks up on this theme

nimmt er dieses Thema auf,

and observes that a superintelligence might not only be dangerous,

und merkt an, dass eine Superintelligenz nicht nur gefährlich wäre,

it could represent an existential threat to all of humanity.

sie könnte eine existenzielle Bedrohung für die ganze Menschheit sein.

Dr. Bostrom's basic argument

Dr. Bostroms Hauptargument ist,

is that such systems will eventually

dass solche Systeme schlussendlich

have such an insatiable thirst for information

einen unstillbaren Informationshunger haben,

that they will perhaps learn how to learn

dass sie vielleicht lernen werden, zu lernen,

and eventually discover that they may have goals

und schließlich entdecken, dass sie Ziele haben,

that are contrary to human needs.

die den menschlichen Bedürfnissen widersprechen.

Dr. Bostrom has a number of followers.

Dr. Bostrom hat viele Anhänger.

He is supported by people such as Elon Musk and Stephen Hawking.

Er wird von Leuten wie Elon Musk und Stephen Hawking unterstützt.

With all due respect

Bei allem Respekt

to these brilliant minds,

vor diesen brillanten Köpfen,

I believe that they are fundamentally wrong.

ich glaube, dass sie sich gewaltig irren.

Now, there are a lot of pieces of Dr. Bostrom's argument to unpack,

Viele Argumente von Dr. Bostrom kann man widerlegen.

and I don't have time to unpack them all,

Ich habe keine Zeit, sie alle zu widerlegen.

but very briefly, consider this:

Bedenken sie nur kurz dies:

super knowing is very different than super doing.

Super-Wissen ist etwas ganz anderes als Super-Tun.

HAL war erst dann eine Bedrohung für die Mannschaft,

HAL was a threat to the Discovery crew

only insofar as HAL commanded all aspects of the Discovery.

als HAL alle Aspekte der Discovery befehligte.

So it would have to be with a superintelligence.

Das müsste bei einer Superintelligenz der Fall sein.

Sie müsste die Gewalt über unsere ganze Welt haben.

It would have to have dominion over all of our world.

This is the stuff of Skynet from the movie "The Terminator"

Das ist wie das Skynet aus dem Film "Terminator",

in which we had a superintelligence

in dem eine Superintelligenz

that commanded human will,

den menschlichen Willen beherrschte

that directed every device that was in every corner of the world.

und jedes Gerät in jedem Winkel der Welt steuerte.

Practically speaking,

Praktisch gesehen

it ain't gonna happen.

wird das nicht passieren.

We are not building AIs that control the weather,

Wir bauen keine KIs, die das Wetter kontrollieren,

that direct the tides,

die die Gezeiten steuern,

that command us capricious, chaotic humans.

die uns kapriziöse, chaotische Menschen befehligt.

And furthermore, if such an artificial intelligence existed,

Und außerdem: Wenn eine solche KI existieren würde,

it would have to compete with human economies,

müsste sie mit menschlichen Wirtschaftssystemen konkurrieren,

and thereby compete for resources with us.

und somit mit uns um Ressourcen konkurrieren.

And in the end --

Schlussendlich --

verraten Sie das Siri nicht --

don't tell Siri this --

we can always unplug them.

können wir sie immer ausstecken.

(Laughter)

(Gelächter)

We are on an incredible journey

Wir sind auf einer unglaublichen Reise

of coevolution with our machines.

der Co-Evolution mit unseren Maschinen.

The humans we are today

Die Menschen, die wir heute sind,

are not the humans we will be then.

sind nicht die Menschen, die wir dann sein werden.

To worry now about the rise of a superintelligence

Die aktuelle Sorge vor der Machtergreifung einer Superintelligenz

is in many ways a dangerous distraction

ist in vieler Hinsicht eine gefährliche Ablenkung,

because the rise of computing itself

weil die Zunahme der Rechenleistung an sich,

brings to us a number of human and societal issues

eine Reihe von menschlichen und sozialen Fragen aufwirft,

to which we must now attend.

denen wir uns jetzt zuwenden müssen.

How shall I best organize society

Wie organisieren wir die Gesellschaft am besten,

when the need for human labor diminishes?

wenn der Bedarf an menschlicher Arbeit abnimmt?

How can I bring understanding and education throughout the globe

Wie können wir weltweit Verständigung und Bildung bereitstellen,

und dabei unsere Unterschiedlichkeit achten?

and still respect our differences?

How might I extend and enhance human life through cognitive healthcare?

Wie das menschliches Leben durch ein kognitives Gesundheitswesen erweitern?

How might I use computing

Wie können wir Rechenleistung nutzen,

to help take us to the stars?

um uns zu den Sternen zu bringen?

And that's the exciting thing.

Und das ist der aufregende Teil.

The opportunities to use computing

Die Chancen, diese Rechenleistung zu nutzen,

to advance the human experience

um menschliche Erfahrung zu erweitern,

are within our reach,

sind heute gegeben,

here and now,

hier und jetzt,

and we are just beginning.

und wir fangen gerade erst an.

Thank you very much.

Herzlichen Dank!

(Applause)

(Beifall)