The danger of AI is weirder than you think | Janelle Shane

Übersetzung: Nadija Gunko Lektorat: Johannes Duschner

So, artificial intelligence

Künstliche Intelligenz ist dafür bekannt, allerlei Branchen durcheinanderzubringen.

is known for disrupting all kinds of industries.

What about ice cream?

Was ist mit Eis?

What kind of mind-blowing new flavors could we generate

Welche unglaublichen neuen Eissorten könnte man mit den Fähigkeiten

with the power of an advanced artificial intelligence?

der hochentwickelten KI herstellen?

So I teamed up with a group of coders from Kealing Middle School

Ich arbeitete mit den Programmierern der Kealing Middle School zusammen,

to find out the answer to this question.

um die Antwort auf diese Frage zu finden.

They collected over 1,600 existing ice cream flavors,

Sie sammelten mehr als 1 600 vorhandene Eissorten.

and together, we fed them to an algorithm to see what it would generate.

Zusammen gaben wir sie im Algorithmus ein, um zu sehen, was daraus entstehen wird.

And here are some of the flavors that the AI came up with.

Hier sind einige der Eissorten, die sich die KI ausgedacht hat.

[Kürbis-Müll-Pause]

[Pumpkin Trash Break]

(Laughter)

(Lachen)

[Peanut Butter Slime]

[Erdnussbutter-Schleim]

[Strawberry Cream Disease]

[Erdbeersahne-Krankheit]

(Laughter)

(Lachen)

These flavors are not delicious, as we might have hoped they would be.

Diese Eissorten sind nicht so köstlich, wie wir es erwarteten.

So the question is: What happened?

Die Frage ist also: Was ist passiert? Was ist schief gelaufen?

What went wrong?

Is the AI trying to kill us?

Versucht die KI uns zu töten?

Or is it trying to do what we asked, and there was a problem?

Oder tut sie genau das, worum wir baten, aber es gab ein Problem?

In movies, when something goes wrong with AI,

Wenn in Filmen etwas mit KI schief läuft, hat die KI häufig entschieden,

it's usually because the AI has decided

that it doesn't want to obey the humans anymore,

den Menschen nicht mehr zu gehorchen

and it's got its own goals, thank you very much.

und eigene Ziele zu verfolgen.

In real life, though, the AI that we actually have

Tatsächlich ist die heutige KI dafür noch nicht schlau genug.

is not nearly smart enough for that.

It has the approximate computing power

Sie hat etwa die Rechenleistung von einem Regenwurm,

of an earthworm,

or maybe at most a single honeybee,

oder vielleicht höchstens die einer einzelnen Honigbiene

and actually, probably maybe less.

und vermutlich sogar weniger.

Like, we're constantly learning new things about brains

Wir erfahren über Gehirne ständig neue Aspekte, die stets zeigen,

that make it clear how much our AIs don't measure up to real brains.

wie wenig die KI dem Gehirn entspricht.

So today's AI can do a task like identify a pedestrian in a picture,

Die KI von heute kann einen Fußgänger auf einem Bild erkennen.

but it doesn't have a concept of what the pedestrian is

Sie hat aber keine Vorstellung,

beyond that it's a collection of lines and textures and things.

dass ein Fußgänger mehr als eine Sammlung von Linien und Texturen ist.

It doesn't know what a human actually is.

Sie weiß im Grunde nicht, was ein Mensch ist.

So will today's AI do what we ask it to do?

Wird die KI das tun, worum wir sie bitten?

It will if it can,

Sie wird, wenn sie kann.

but it might not do what we actually want.

Aber sie könnte vielleicht nicht das tun, was wir eigentlich wollen.

So let's say that you were trying to get an AI

Zum Beispiel möchten Sie,

to take this collection of robot parts

dass KI aus Roboterteilen einen Roboter zusammenbaut,

and assemble them into some kind of robot to get from Point A to Point B.

um damit von Punkt A zu Punkt B zu gelangen.

Now, if you were going to try and solve this problem

Die Lösung des Problems durch Schreiben eines herkömmlichen Computerprogamms

by writing a traditional-style computer program,

you would give the program step-by-step instructions

würde schrittweise Anweisungen an das Computerprogramm beinhalten,

wie aus den Teilen ein Roboter mit Beinen gebaut werden kann

on how to take these parts,

how to assemble them into a robot with legs

und wie man die Beine benutzt, um zum Punkt B zu gehen.

and then how to use those legs to walk to Point B.

But when you're using AI to solve the problem,

Aber wenn man KI einsetzt, dann sieht die Lösung anders aus.

it goes differently.

You don't tell it how to solve the problem,

Man bestimmt nicht, wie die KI das Problem lösen soll,

you just give it the goal,

sondern setzt nur das Ziel

and it has to figure out for itself via trial and error

und die KI muss durch Probieren selbst herausfinden,

how to reach that goal.

wie sie das Ziel erreicht.

And it turns out that the way AI tends to solve this particular problem

Aber die KI löst das spezielle Problem so:

is by doing this:

it assembles itself into a tower and then falls over

Es baut sich in einen Turm, kippt damit um und landet auf Punkt B.

and lands at Point B.

And technically, this solves the problem.

Im Prinzip ist es eine Lösung.

Technically, it got to Point B.

Formal kam sie zu Punkt B.

The danger of AI is not that it's going to rebel against us,

Die Gefahr der KI besteht nicht darin, dass sie sich gegen uns auflehnt,

it's that it's going to do exactly what we ask it to do.

sondern dass sie genau das tut, worum wir sie bitten.

So then the trick of working with AI becomes:

Die Kunst, mit KI zu arbeiten ist also:

How do we set up the problem so that it actually does what we want?

Wie bereitet man das Problem auf, damit sie das tut, was wir wollen?

So this little robot here is being controlled by an AI.

Dieser kleine Roboter hier ist von der KI gesteuert.

The AI came up with a design for the robot legs

Die KI entwickelte ein Design für die Roboterbeine und fand heraus,

and then figured out how to use them to get past all these obstacles.

wie sie verwendet werden können, um alle diese Hindernisse zu überwinden.

But when David Ha set up this experiment,

Aber als David Ha das Experiment vorbereitete,

he had to set it up with very, very strict limits

setzte er sehr, sehr enge Grenzen,

on how big the AI was allowed to make the legs,

wie groß die KI die Beine machen durfte,

because otherwise ...

weil sonst ...

(Laughter)

(Lachen)

And technically, it got to the end of that obstacle course.

Im Prinzip hat sie das Ende des Hindernislaufs erreicht.

So you see how hard it is to get AI to do something as simple as just walk.

Es ist also kompliziert,

KI etwas Einfaches wie Gehen beizubringen.

So seeing the AI do this, you may say, OK, no fair,

Wenn man sieht, was die KI da macht, könnte man sagen: "Das gilt nicht!"

you can't just be a tall tower and fall over,

Die KI kann nicht nur einen hohen Turm errichten und umkippen,

you have to actually, like, use legs to walk.

sondern muss auf zwei Beinen gehen.

And it turns out, that doesn't always work, either.

Aber es zeigt sich, dass das auch nicht immer funktioniert.

This AI's job was to move fast.

Diese Aufgabe für die KI war es, sich schnell zu bewegen.

They didn't tell it that it had to run facing forward

Es wurde nicht gesagt, dass sie vorwärts rennen musste

or that it couldn't use its arms.

oder dass sie ihre Hände nicht benutzen konnte.

So this is what you get when you train AI to move fast,

Wenn Sie die KI trainieren, sich schnell zu bewegen,

you get things like somersaulting and silly walks.

dann bekommen Sie etwas wie Saltos und komische Gangarten.

It's really common.

Es kommt echt häufig vor,

So is twitching along the floor in a heap.

genauso wie als Haufen über den Boden zu zucken.

(Laughter)

(Lachen)

So in my opinion, you know what should have been a whole lot weirder

Wäre es nach mir gegangen,

hätten die Terminator-Roboter viel seltsamer sein sollen,

is the "Terminator" robots.

Hacking "The Matrix" is another thing that AI will do if you give it a chance.

Die KI würde auch die "Matrix" hacken, wenn man ihr eine Chance gibt.

So if you train an AI in a simulation,

Trainiert man die KI in einer Simulation

it will learn how to do things like hack into the simulation's math errors

wird sie lernen, die Rechenfehler der Simulation zu hacken

and harvest them for energy.

und daraus Energie zu ziehen.

Or it will figure out how to move faster by glitching repeatedly into the floor.

Oder sie lernt, sich schneller zu bewegen,

indem sie wiederholt im Boden verschwindet.

When you're working with AI,

Die Arbeit mit KI ähnelt nicht so sehr der Arbeit mit einem anderen Menschen.

it's less like working with another human

and a lot more like working with some kind of weird force of nature.

Es scheint eher wie die Arbeit mit einer seltsamen Naturgewalt.

And it's really easy to accidentally give AI the wrong problem to solve,

Es ist wirklich einfach, der KI ein falsches Problem zum Lösen zu geben.

and often we don't realize that until something has actually gone wrong.

Oft merken wir das erst, wenn schon etwas schief gegangen ist.

So here's an experiment I did,

Bei einem Experiment wollte ich, dass die KI die Lackfarben kopiert

where I wanted the AI to copy paint colors,

to invent new paint colors,

und mit einer Liste wie der hier links, neue Lackfarben erfindet.

given the list like the ones here on the left.

And here's what the AI actually came up with.

Das hier hat sich die KI einfallen lassen.

[Sindis Poop, Turdly, Suffer, Gray Pubic]

[Sindis Kacke, arschig, leiden, graue Scham]

(Laughter)

(Lachen)

So technically,

Im Prinzip tat sie das, worum ich bat.

it did what I asked it to.

I thought I was asking it for, like, nice paint color names,

Ich dachte, ich bat um schöne Farbnamen,

but what I was actually asking it to do

aber eigentlich ließ ich sie nur die Buchstabenkombinationen imitieren,

was just imitate the kinds of letter combinations

that it had seen in the original.

die die KI im Original sah.

And I didn't tell it anything about what words mean,

Ich sagte nichts darüber, was Wörter bedeuten,

or that there are maybe some words

oder dass die KI einige Wörter in den Farbnamen vermeiden soll.

that it should avoid using in these paint colors.

So its entire world is the data that I gave it.

Ihre ganze Welt besteht aus Daten, die ich ihr gab.

Like with the ice cream flavors, it doesn't know about anything else.

Wie bei den Eissorten, wusste sie nichts anderes.

So it is through the data

Durch die Daten sagen wir der KI häufig versehentlich, das Falsche zu tun.

that we often accidentally tell AI to do the wrong thing.

This is a fish called a tench.

Das ist ein Fisch, "Schleie" genannt.

And there was a group of researchers

Eine Gruppe von Forschern trainierte KI Schleien in Bildern zu erkennen.

who trained an AI to identify this tench in pictures.

But then when they asked it

Aber als die Forscher fragten, welcher Teil des Bildes

what part of the picture it was actually using to identify the fish,

zur Fische-Erkennung verwendet wurde, wurde das hier hervorgehoben.

here's what it highlighted.

Yes, those are human fingers.

Ja, das sind menschliche Finger.

Why would it be looking for human fingers

Warum sollte KI nach menschlichen Fingern bei der Fische-Erkennung suchen?

if it's trying to identify a fish?

Well, it turns out that the tench is a trophy fish,

Es stellte sich heraus, dass die Schleie ein Trophäenfisch ist,

and so in a lot of pictures that the AI had seen of this fish

und in vielen Bildern mit der die KI trainiert wurde,

during training,

the fish looked like this.

sahen die Fische so aus.

(Laughter)

(Lachen)

And it didn't know that the fingers aren't part of the fish.

Sie wusste nicht, dass die Finger nicht zum Fisch gehören.

So you see why it is so hard to design an AI

Deshalb ist es so kompliziert,

eine KI zu entwickeln, die versteht, was sie sieht.

that actually can understand what it's looking at.

And this is why designing the image recognition

Darum ist es so schwer, die Bilderkennung von selbstfahrenden Autos zu entwickeln,

in self-driving cars is so hard,

and why so many self-driving car failures

und deshalb gibt es so viele Pannen, weil die KI verwirrt wurde.

are because the AI got confused.

I want to talk about an example from 2016.

Ich möchte über ein Beispiel aus dem Jahr 2016 sprechen.

There was a fatal accident when somebody was using Tesla's autopilot AI,

Es gab einen tödlichen Unfall, als jemand die Autopilot-KI von Tesla benutzte.

but instead of using it on the highway like it was designed for,

Aber statt sie auf der Autobahn zu nutzen, wofür sie entworfen wurde,

they used it on city streets.

setzte er sie in der Stadt ein.

And what happened was,

Ein Lastwagen fuhr vor dem Auto heraus und das Auto bremste nicht.

a truck drove out in front of the car and the car failed to brake.

Now, the AI definitely was trained to recognize trucks in pictures.

Die KI wurde durchaus darauf trainiert, die Lastwagen in Bildern zu erkennen.

But what it looks like happened is

Aber die KI wurde darauf trainiert, die LKWs auf Autobahnen zu erkennen,

the AI was trained to recognize trucks on highway driving,

where you would expect to see trucks from behind.

wo man sie normalerweise von hinten sieht.

Trucks on the side is not supposed to happen on a highway,

LKWs auf der Autobahn seitlich zu sehen, sollte eigentlich nicht passieren.

and so when the AI saw this truck,

Als die KI diesen LKW sah,

it looks like the AI recognized it as most likely to be a road sign

erkannte sie ihn vermutlich als Verkehrszeichen,

and therefore, safe to drive underneath.

unter dem sie sicher drunter durch fahren konnte.

Hier ist ein KI-Fehltritt aus einem anderen Bereich.

Here's an AI misstep from a different field.

Amazon recently had to give up on a résumé-sorting algorithm

Amazon musste kürzlich einen Algorithmus zur Sichtung von Lebensläufen aufgeben,

that they were working on

when they discovered that the algorithm had learned to discriminate against women.

weil der Algorithmus gelernt hatte, Frauen zu diskriminieren.

Das geschah, weil er mit Lebensläufen von Leuten trainiert wurde,

What happened is they had trained it on example résumés

of people who they had hired in the past.

die sie in der Vergangenheit eingestellt hatten.

And from these examples, the AI learned to avoid the résumés of people

Durch diese Lebensläufe lernte die KI, die Lebensläufe von Menschen zu meiden,

who had gone to women's colleges

die Hochschulen für Frauen besuchten

or who had the word "women" somewhere in their resume,

oder in denen irgendwie der Begriff "Frauen" steckt,

as in, "women's soccer team" or "Society of Women Engineers."

wie in "Frauenfußballmannschaft" oder "Gesellschaft der Ingenieurinnen".

The AI didn't know that it wasn't supposed to copy this particular thing

Die KI wusste nicht, dass sie nicht genau diesen besonderen Aspekt kopieren sollte,

that it had seen the humans do.

den sie Menschen hatte tun sehen.

And technically, it did what they asked it to do.

Im Prinzip tat die KI das, worum sie gebeten wurde.

They just accidentally asked it to do the wrong thing.

Sie baten die KI versehentlich, das Falsche zu tun.

And this happens all the time with AI.

Das passiert mit der KI ständig.

AI can be really destructive and not know it.

Die KI kann wirklich destruktiv sein und es nicht mal wissen.

So the AIs that recommend new content in Facebook, in YouTube,

Die KIs, die neue Inhalte auf Facebook und YouTube empfehlen, wurden optimiert,

they're optimized to increase the number of clicks and views.

um die Anzahl der Klicks und Seitenaufrufe zu erhöhen.

And unfortunately, one way that they have found of doing this

Eine Möglichkeit dazu bot sich,

is to recommend the content of conspiracy theories or bigotry.

Inhalte verschwörungstheoretischer oder fanatischer Natur zu empfehlen.

The AIs themselves don't have any concept of what this content actually is,

Die KIs besitzen keine Vorstellung davon, was der Inhalt eigentlich ist,

and they don't have any concept of what the consequences might be

und haben keine Vorstellung davon,

welche Konsequenzen die Empfehlung dieser Inhalte vielleicht hat.

of recommending this content.

So, when we're working with AI,

Wenn wir also mit der KI arbeiten, ist es an uns, Probleme zu vermeiden.

it's up to us to avoid problems.

And avoiding things going wrong,

Wenn wir Dinge vermeiden wollen,

that may come down to the age-old problem of communication,

die auf das uralte Kommunikationsproblem zurückzuführen sind,

where we as humans have to learn how to communicate with AI.

müssen die Menschen lernen, wie man mit der KI kommuniziert.

We have to learn what AI is capable of doing and what it's not,

Wir müssen lernen, wozu die KI fähig ist und was sie nicht kann und verstehen,

and to understand that, with its tiny little worm brain,

dass die KI mit ihrem winzigen Wurmhirn nicht wirklich begreift,

AI doesn't really understand what we're trying to ask it to do.

worum wir sie bitten.

So in other words, we have to be prepared to work with AI

Mit anderen Worten müssen wir darauf vorbereitet sein,

that's not the super-competent, all-knowing AI of science fiction.

mit einer KI zu arbeiten,

die nicht überkompetent und allwissend wie in der Science-Fiction ist.

We have to be prepared to work with an AI

Wir müssen uns darauf vorbereiten, mit der KI zu arbeiten, wie sie heute ist.

that's the one that we actually have in the present day.

And present-day AI is plenty weird enough.

Und die heutige KI ist schon eigenartig genug.

Thank you.

Danke.

(Applause)

(Beifall)