How to Keep AI Under Control | Max Tegmark | TED

Übersetzung: Anonymous Translator Lektorat: Cornelia Schlesinger

Five years ago,

Vor fünf Jahren stand ich hier auf der TED-Bühne

I stood on the TED stage

and warned about the dangers of superintelligence.

und warnte vor den Gefahren der Superintelligenz.

I was wrong.

Aber damals lag ich falsch.

Es kam noch schlimmer, als ich seinerzeit dachte.

It went even worse than I thought.

(Laughter)

(Lachen)

I never thought governments would let AI companies get this far

Ich hätte nie gedacht, dass Regierungen die KI-Firmen so weit gehen lassen würden,

without any meaningful regulation.

ohne jede nennenswerte Regulierung.

And the progress of AI went even faster than I predicted.

Die KI hat noch größere Fortschritte gemacht, als ich vorausgesagt hatte.

Look, I showed this abstract landscape of tasks

Damals zeigte ich diese Landschaft, wo die Höhe darstellte,

where the elevation represented how hard it was for AI

wie schwierig es für KI sein würde, diese verschiedenen Aufgaben

to do each task at human level.

auf menschlichem Niveau zu erledigen.

And the sea level represented what AI could be back then.

Der Meeresspiegel repräsentierte das, was KI damals schon konnte.

And boy or boy, has the sea been rising fast ever since.

Wie schnell der Meeresspiegel seitdem gestiegen ist!

But a lot of these tasks have already gone blub blub blub blub blub blub.

Viele dieser Aufgaben stehen jetzt schon unter Wasser.

And the water is on track to submerge all land,

Bald wird das Wasser das ganze Land überschwemmt haben,

matching human intelligence at all cognitive tasks.

und der menschlichen Intelligenz bei allen Aufgaben ebenbürtig sein.

This is a definition of artificial general intelligence, AGI,

Hierbei handelt es sich um die Definition von Künstlicher Allgemeiner Intelligenz,

auch AGI, die das erklärte Ziel von Firmen wie OpenAI, DeepMind und Anthropic ist.

which is the stated goal of companies like OpenAI,

Google DeepMind and Anthropic.

And these companies are also trying to build superintelligence,

Diese Firmen versuchen außerdem, Superintelligenz zu erschaffen,

leaving human intelligence far behind.

welche die menschliche Intelligenz weit übertreffen würde.

And many think it'll only be a few years, maybe, from AGI to superintelligence.

Viele glauben, dass es nur wenige Jahre von AGI zur Superintelligenz dauern wird.

So when are we going to get AGI?

Wann werden wir also AGI bekommen?

Well, until recently, most AI researchers thought it was at least decades away.

Bis vor Kurzem dachten viele KI-Forscher, dass es noch Jahrzehnte dauern würde.

And now Microsoft is saying, "Oh, it's almost here."

Aber jetzt sagt Microsoft: “Wir sind schon fast da.”

We're seeing sparks of AGI in ChatGPT-4,

Wir sehen kleine Funken von AGI in ChatGPT-4,

and the Metaculus betting site is showing the time left to AGI

die Vorhersageplattform Metaculus korrigierte die Zeit bis zur AGI

plummeting from 20 years away to three years away

in den letzten 18 Monaten von 20 auf drei Jahre.

in the last 18 months.

And leading industry people are now predicting

Führende Mitglieder der KI-Branche sagen inzwischen voraus,

that we have maybe two or three years left until we get outsmarted.

dass uns noch zwei, drei Jahre bleiben, bis wir intellektuell überflügelt werden.

So you better stop talking about AGI as a long-term risk,

Wir sollten also aufhören, über AGI als langfristiges Risiko zu sprechen,

or someone might call you a dinosaur stuck in the past.

wenn wir nicht als Dinosaurier bezeichnet werden wollen.

It's really remarkable how AI has progressed recently.

Die jüngsten Fortschritte in der KI sind wirklich bemerkenswert.

Not long ago, robots moved like this.

Vor gar nicht langer Zeit bewegten Roboter sich so.

(Music)

(Musik)

Now they can dance.

Inzwischen können sie tanzen.

(Music)

(Musik)

Just last year, Midjourney produced this image.

Letztes Jahr hat Midjourney noch dieses Bild produziert.

This year, the exact same prompt produces this.

Dieses Jahr erzeugt die gleiche Eingabe dieses Bild.

Deepfakes are getting really convincing.

Deepfakes sind inzwischen richtig überzeugend.

(Video) Deepfake Tom Cruise: I’m going to show you some magic.

(Video) Deepfake Tom Cruise: Ich zeige Ihnen mal etwas Magie.

It's the real thing.

Das ist wirklich so.

(Laughs)

(Lacht)

I mean ...

Es ist...

It's all ...

wirklich...

the real ...

alles...

thing.

echt.

Max Tegmark: Or is it?

Max Tegmark: Oder?

And Yoshua Bengio now argues

Und Yoshua Bengio ist inzwischen der Meinung,

that large language models have mastered language

dass große Sprachmodelle heute Sprache und Wissen so gut meistern,

and knowledge to the point that they pass the Turing test.

dass sie den Turing-Test bestehen.

I know some skeptics are saying,

Einige Skeptiker sagen wohl:

"Nah, they're just overhyped stochastic parrots

“Ach was, das sind überschätzte stochastische Papageien,

that lack a model of the world,"

ohne eine Vorstellung von der Welt.”

but they clearly have a representation of the world.

Die Modelle haben aber sehr wohl eine Vorstellung von der Welt.

In fact, we recently found that Llama-2 even has a literal map of the world in it.

Wir haben kürzlich sogar festgestellt, dass Llama-2 eine Weltkarte in sich trägt.

And AI also builds

KI kann auch geometrische Darstellungen von abstrakten Konzepten entwickeln,

geometric representations of more abstract concepts

like what it thinks is true and false.

wie etwa von Aussagen, die sie für wahr oder falsch hält.

So what's going to happen if we get AGI and superintelligence?

Was wird also passieren, wenn AGI und Superintelligenz da sind?

If you only remember one thing from my talk, let it be this.

Wenn Sie aus meinem Vortrag nur eine Sache mitnehmen, dann bitte diese:

AI godfather, Alan Turing predicted

Alan Turing, der Vater der KI, hat vorausgesagt,

that the default outcome is the machines take control.

dass in diesem Fall die Maschinen die Kontrolle übernehmen würden.

The machines take control.

Die Maschinen übernehmen die Kontrolle.

I know this sounds like science fiction,

Ich weiß, das klingt nach Science Fiction,

but, you know, having AI as smart as GPT-4

aber eine KI so intelligent wie GPT-4

also sounded like science fiction not long ago.

hörte sich vor Kurzem auch noch nach Science Fiction an.

And if you think of AI,

Wenn man die KI und die Superintelligenz

if you think of superintelligence in particular, as just another technology,

als eine Technologie wie jede andere betrachtet,

like electricity,

wie etwa Elektrizität, dann ist man wahrscheinlich nicht sehr besorgt.

you're probably not very worried.

But you see,

Alan Turing jedoch sah Superintelligenz eher als eine neue Spezies an.

Turing thinks of superintelligence more like a new species.

Denken Sie darüber nach:

Think of it,

Wir bauen unheimliche, extrem fähige, amoralische Psychopathen,

we are building creepy, super capable,

amoral psychopaths

that don't sleep and think much faster than us,

die nicht schlafen, die viel schneller denken als wir,

can make copies of themselves

die sich selbst kopieren können, und nichts Menschliches an sich haben.

and have nothing human about them at all.

So what could possibly go wrong?

Was kann da schon schiefgehen?

(Laughter)

(Lachen)

And it's not just Turing.

Und das sagt nicht nur Turing.

OpenAI CEO Sam Altman, who gave us ChatGPT,

Sam Altman, der Chef von OpenAI, der uns ChatGPT gebracht hat,

recently warned that it could be "lights out for all of us."

hat vor Kurzem davor gewarnt, dass “für uns alle Licher ausgehen”.

Anthropic CEO, Dario Amodei, even put a number on this risk:

Dario Amodei, der Chef von Anthropic, hat das Risiko sogar beziffert:

10-25 percent.

10-25 Prozent. Und das sagen nicht nur diese beiden.

And it's not just them.

Human extinction from AI went mainstream in May

Das Ende der Menschheit durch KI erregte im Mai viel Aufsehen,

when all the AGI CEOs and who's who of AI researchers

als alle Chefs der großen KI-Firmen und wichtige KI-Forscher davor warnten.

came on and warned about it.

And last month, even the number one of the European Union

Und letzten Monat hat sogar die Nummer eins der EU

warned about human extinction by AI.

vor der Auslöschung der Menschheit durch KI gewarnt.

So let me summarize everything I've said so far

Hier nun eine Kurzfassung des bisher Gesagten

in just one slide of cat memes.

anhand von Katzenbildern:

Three years ago,

Vor drei Jahren hieß es: Superintelligenz ist unvermeidbar,

people were saying it's inevitable, superintelligence,

it'll be fine,

sie ist aber kein Problem, und braucht noch Jahrzehnte.

it's decades away.

Last year it was more like,

Vor einem Jahr hieß es: Unvermeidbar, aber kein Problem.

It's inevitable, it'll be fine.

Now it's more like,

Und jetzt heißt es: Unvermeidbar.

It's inevitable.

(Laughter)

(Lachen)

But let's take a deep breath and try to raise our spirits

Aber lassen Sie uns tief durchatmen und versuchen, die Stimmung zu heben,

and cheer ourselves up,

und uns aufzumuntern,

because the rest of my talk is going to be about the good news,

denn der Rest meines Vortrags handelt von guten Neuigkeiten:

that it's not inevitable, and we can absolutely do better,

Superintelligenz ist nicht unvermeidbar, und wir können es besser machen.

alright?

(Applause)

(Applaus)

So ...

Also:

The real problem is that we lack a convincing plan for AI safety.

Das wirkliche Problem liegt darin, dass es keinen guten Plan für KI-Sicherheit gibt.

People are working hard on evals

Einige Forscher arbeiten hart an sogenannten Evals,

looking for risky AI behavior, and that's good,

die riskantes KI-Verhalten erkennen, und das ist gut, aber es reicht nicht aus.

but clearly not good enough.

They're basically training AI to not say bad things

Im Grunde trainieren sie die KI darauf, nichts Schlechtes zu sagen,

rather than not do bad things.

und nicht darauf, nichts Schlechtes zu tun.

Moreover, evals and debugging are really just necessary,

Evals und Fehlersuche sind notwendig, aber nicht ausreichend für KI-Sicherheit.

not sufficient, conditions for safety.

In other words,

Anders ausgedrückt: Sie können zwar das Vorhandensein von Risiken aufzeigen,

they can prove the presence of risk,

not the absence of risk.

aber nicht die Abwesenheit von Risiken.

So let's up our game, alright?

Wir müssen uns also etwas mehr anstrengen.

Try to see how we can make provably safe AI that we can control.

Wir müssen nachweislich sichere, kontrollierbare KI erschaffen.

Guardrails try to physically limit harm.

Leitplanken versuchen Schaden physisch zu begrenzen.

But if your adversary is superintelligence

Aber wenn man eine Superintelligenz allein

or a human using superintelligence against you, right,

oder mit einem menschlichen User zum Gegenspieler hat,

trying is just not enough.

dann reicht “versuchen” nicht aus.

You need to succeed.

Dann müssen wir erfolgreich sein. Schaden anzurichten muss unmöglich sein.

Harm needs to be impossible.

So we need provably safe systems.

Wir brauchen nachweislich sichere Systeme.

Provable, not in the weak sense of convincing some judge,

Nachweislich nicht in dem Sinne, dass sich ein Richter davon überzeugen lässt,

but in the strong sense of there being something that's impossible

sondern in dem Sinne, dass Schaden durch KI

nach den Gesetzen der Physik ausgeschlossen ist.

according to the laws of physics.

Because no matter how smart an AI is,

Denn egal, wie intelligent eine KI ist,

it can't violate the laws of physics and do what's provably impossible.

die Gesetze der Physik kann sie nicht verletzen.

Steve Omohundro and I wrote a paper about this,

Steve Omohundro und ich schrieben einen Aufsatz darüber

and we're optimistic that this vision can really work.

und wir sind recht zuversichtlich, dass diese Vision funktionieren kann.

So let me tell you a little bit about how.

Ich möchte Ihnen berichten, wie.

There's a venerable field called formal verification,

Es gibt ein ehrwürdiges Forschungsgebiet namens formale Verifikation,

which proves stuff about code.

das Code überprüft.

And I'm optimistic that AI will revolutionize automatic proving business

Ich bin zuversichtlich, dass KI die formale Verifikation

and also revolutionize program synthesis,

und die Programmsynthese revolutionieren wird,

the ability to automatically write really good code.

also die Fähigkeit, automatisch wirklich guten Code zu schreiben.

So here is how our vision works.

Unsere Vision ist folgende:

You, the human, write a specification

Der Mensch verfasst eine Spezifikation, der die KI gehorchen muss,

that your AI tool must obey,

that it's impossible to log in to your laptop

wie etwa: Ohne richtiges Passwort kein Zugang zum Laptop,

without the correct password,

or that a DNA printer cannot synthesize dangerous viruses.

oder dass ein DNA-Drucker keine gefährlichen Viren herstellen darf.

Then a very powerful AI creates both your AI tool

Dann erstellt eine sehr leistungsstarke KI sowohl das gewünschte KI-Programm,

and a proof that your tool meets your spec.

als auch den Beweis, dass das Programm den Spezifikationen entspricht.

Machine learning is uniquely good at learning algorithms,

Machinelles Lernen ist einzigartig im Erlernen von Algorithmen,

but once the algorithm has been learned,

und sobald ein Algorithmus erlernt wurde,

you can re-implement it in a different computational architecture

kann man ihn in anderen Rechenvorgängen, die leichter verifizierbar sind, nutzen.

that's easier to verify.

Now you might worry,

Nun machen Sie sich vielleicht Sorgen, wie Sie diese leistungsstarke KI,

how on earth am I going to understand this powerful AI

and the powerful AI tool it built

das KI-Programm und den Beweis verstehen sollen,

and the proof,

if they're all too complicated for any human to grasp?

wenn sie für Menschen zu kompliziert sind?

Here is the really great news.

Hier ist die wirklich gute Nachricht:

You don't have to understand any of that stuff,

Sie müssen von alledem gar nichts verstehen,

because it's much easier to verify a proof than to discover it.

denn es ist viel einfacher, einen Beweis zu verifizieren, als ihn zu entwickeln.

So you only have to understand or trust your proof-checking code,

Sie müssen also nur den Code, der den Beweis prüft, verstehen,

which could be just a few hundred lines long.

und das sind oft nur ein paar hundert Zeilen.

And Steve and I envision

Steve und ich malen uns aus, dass solcher Code

that such proof checkers get built into all our compute hardware,

in alle Computerhardware eingebaut wird,

so it just becomes impossible to run very unsafe code.

und es dadurch schlichtweg unmöglich wird, unsicheren Code auszuführen.

What if the AI, though, isn't able to write that AI tool for you?

Aber was, wenn die KI dieses KI-Programm nicht für uns schreiben kann?

Then there's another possibility.

In diesem Fall gibt es eine andere Möglichkeit.

You train an AI to first just learn to do what you want

Man trainiert zunächst die KI für die gewünschte Aufgabe

and then you use a different AI

und verwendet dann eine andere KI,

to extract out the learned algorithm and knowledge for you,

um den erlernten Algorithmus und das Wissen zu extrahieren,

like an AI neuroscientist.

wie ein Neurowissenschaftler für KI.

This is in the spirit of the field of mechanistic interpretability,

Dabei handelt es sich um das Gebiet der mechanistischen Erklärbarkeit,

which is making really impressive rapid progress.

auf dem es zurzeit beeindruckende und schnelle Fortschritte gibt.

Provably safe systems are clearly not impossible.

Nachweislich sichere Systeme sind ganz klar machbar.

Let's look at a simple example

Hier ein einfaches Beispiel,

of where we first machine-learn an algorithm from data

wo wir zunächst durch maschinelles Lernen einen Algorithmus aus den Daten erstellen

and then distill it out in the form of code

und diesen dann in Code umsetzen, der nachweisbar der Vorschrift entspricht.

that provably meets spec, OK?

Let’s do it with an algorithm that you probably learned in first grade,

Hier mit einem Algorithmus, den Sie wohl schon in der ersten Klasse gelernt haben,

addition,

der Addition, wo man die Zahlen von rechts nach links durchgeht

where you loop over the digits from right to left,

and sometimes you do a carry.

und manchmal eine überträgt.

We'll do it in binary,

Wir addieren hier im Binärsystem,

as if you were counting on two fingers instead of ten.

so als würden Sie an zwei statt an zehn Fingern zählen.

And we first train a recurrent neural network,

Zunächst trainieren wir also ein rekurrentes neuronales Netzwerk -

never mind the details,

die Details sind nicht so wichtig -

to nail the task.

für diese Aufgabe.

So now you have this algorithm that you don't understand how it works

Der dadurch entstandene Algorithmus sitzt nun in seiner Black Box

in a black box

defined by a bunch of tables of numbers that we, in nerd speak,

und definiert sich durch eine Reihe von Tabellen,

die Computerfreaks als Parameter bezeichnen.

call parameters.

Then we use an AI tool we built to automatically distill out from this

Dann verwenden wir unser KI-Programm, um den erlernten Algorithmus automatisch

the learned algorithm in the form of a Python program.

in Form eines Python-Programms daraus zu gewinnen.

And then we use the formal verification tool known as Daphne

Und dann verwenden wir ein Programm zur formalen Verifikation namens Daphne,

to prove that this program correctly adds up any numbers,

um zu beweisen, dass dieses Programm beliebige Zahlen korrekt zusammenzählt,

not just the numbers that were in your training data.

nicht nur die Zahlen aus den Trainingsdaten.

So in summary,

Alles in allem bin ich davon überzeugt, dass wir sichere KI entwickeln können,

provably safe AI, I'm convinced is possible,

but it's going to take time and work.

aber das wird Zeit und Arbeit erfordern.

And in the meantime,

In der Zwischenzeit sollten wir daran denken, dass die Vorteile von KI,

let's remember that all the AI benefits

that most people are excited about

über die viele Leute so begeistert sind, gar keine Superintelligenz erfordern.

actually don't require superintelligence.

We can have a long and amazing future with AI.

Wir können mit der KI eine lange und fantastische Zukunft haben.

So let's not pause AI.

Lasst uns die KI also nicht auf Eis legen.

Let's just pause the reckless race to superintelligence.

Wir müssen das leichtsinnige Streben nach Superintelligenz stoppen.

Let's stop obsessively training ever-larger models

Wir müssen das zwanghafte Trainieren immer größerer Modelle stoppen,

that we don't understand.

die wir nicht verstehen.

Let's heed the warning from ancient Greece

Wir müssen die Warnung des griechischen Mythos beherzigen

and not get hubris, like in the story of Icarus.

und nicht überheblich werden, wie Ikarus in der Geschichte.

Because artificial intelligence

KI verleiht uns intellektuelle Flügel,

is giving us incredible intellectual wings

mit denen wir Dinge erreichen können,

with which we can do things beyond our wildest dreams

die unsere kühnsten Träume übertreffen,

if we stop obsessively trying to fly to the sun.

wenn wir nur damit aufhören, zwanghaft auf die Sonne zuzufliegen.

Thank you.

Vielen Dank.

(Applause)

(Applaus)