AI Is Dangerous, but Not for the Reasons You Think | Sasha Luccioni | TED

Übersetzung: Cornelia Schlesinger Lektorat: Andrea Hielscher

So I've been an AI researcher for over a decade.

Ich bin seit über zehn Jahren KI-Forscherin.

And a couple of months ago, I got the weirdest email of my career.

Vor ein paar Monaten erhielt ich die seltsamste E-Mail meiner Laufbahn.

A random stranger wrote to me

Ein Unbekannter schrieb mir,

saying that my work in AI is going to end humanity.

meine Arbeit im Bereich KI bedeute das Ende der Menschheit.

Now I get it, AI, it's so hot right now.

Ich verstehe es, KI ist gerade ein heißes Thema.

(Laughter)

(Lachen)

Es ist fast täglich in den Schlagzeilen,

It's in the headlines pretty much every day,

etwa wegen wirklich cooler Dinge

sometimes because of really cool things

wie der Entdeckung neuer Moleküle für die Medizin

like discovering new molecules for medicine

or that dope Pope in the white puffer coat.

oder des coolen Papstes im weißen Daunenmantel.

Aber manchmal sind die Schlagzeilen echt düster,

But other times the headlines have been really dark,

like that chatbot telling that guy that he should divorce his wife

wie der Chatbot, der einem Typ riet, sich scheiden zu lassen,

or that AI meal planner app proposing a crowd pleasing recipe

oder die KI-Speiseplan-App,

die ein populäres Rezept mit Chlorgas vorschlägt.

featuring chlorine gas.

And in the background,

Im Hintergrund gibt es viel Gerede

we've heard a lot of talk about doomsday scenarios,

über Weltuntergangs-Szenarien,

existenzielle Risiken und Singularität;

existential risk and the singularity,

with letters being written and events being organized

damit das nicht passiert,

werden Briefe geschrieben und Veranstaltungen organisiert.

to make sure that doesn't happen.

Now I'm a researcher who studies AI's impacts on society,

Als Forscherin untersuche ich die Auswirkungen von KI auf die Gesellschaft.

and I don't know what's going to happen in 10 or 20 years,

Ich weiß nicht, was in zehn oder 20 Jahren passiert.

and nobody really does.

Keiner weiß das wirklich.

But what I do know is that there's some pretty nasty things going on right now,

Aber ich weiß, dass im Moment einige ziemlich üble Dinge passieren,

because AI doesn't exist in a vacuum.

weil KI nicht im luftleeren Raum existiert.

Sie ist Teil der Gesellschaft

It is part of society, and it has impacts on people and the planet.

und hat Auswirkungen auf Menschen und den Planeten.

AI models can contribute to climate change.

KI-Modelle können zum Klimawandel beitragen.

Their training data uses art and books created by artists

Ihre Trainingsdaten verwenden Kunst und Bücher

von Künstlern und Autoren ohne deren Zustimmung.

and authors without their consent.

And its deployment can discriminate against entire communities.

Ihr Einsatz kann ganze Gemeinschaften diskriminieren.

Aber wir müssen endlich den Auswirkungen nachgehen.

But we need to start tracking its impacts.

We need to start being transparent and disclosing them and creating tools

Wir müssen transparent sein, sie offenlegen und Tools entwickeln,

so that people understand AI better,

damit die Menschen KI besser verstehen,

damit künftige Generationen von KI-Modellen

so that hopefully future generations of AI models

are going to be more trustworthy, sustainable,

hoffentlich vertrauenswürdiger und nachhaltiger sind

maybe less likely to kill us, if that's what you're into.

und uns nicht so leicht töten, falls Sie das umtreibt.

But let's start with sustainability,

Zunächst zur Nachhaltigkeit.

because that cloud that AI models live on is actually made out of metal, plastic,

Denn die Wolke, auf der KI-Modelle leben, besteht aus Metall und Plastik

and powered by vast amounts of energy.

und wird mit riesigen Mengen Energie betrieben.

And each time you query an AI model, it comes with a cost to the planet.

Immer wenn man ein KI-Modell konsultiert, entstehen Kosten für den Planeten.

Last year, I was part of the BigScience initiative,

Letztes Jahr war ich Teil der BigScience-Initiative,

which brought together a thousand researchers

die tausend Forscher aus der ganzen Welt versammelte,

from all over the world to create Bloom,

um Bloom zu entwickeln,

the first open large language model, like ChatGPT,

das erste große offene Sprachmodell wie ChatGPT,

but with an emphasis on ethics, transparency and consent.

aber mit Schwerpunkt auf Ethik, Transparenz und Konsens.

And the study I led that looked at Bloom's environmental impacts

Die von mir geleitete Studie über Blooms Umweltauswirkungen ergab,

found that just training it used as much energy

dass allein das Training so viel Energie verbrauchte

as 30 homes in a whole year

wie 30 Haushalte in einem ganzen Jahr

and emitted 25 tons of carbon dioxide,

und 25 Tonnen Kohlendioxid freisetzte

wie eine Autofahrt fünfmal um den Planeten,

which is like driving your car five times around the planet

nur damit man mit dem Modell einen Kinderwitz erzählen kann.

just so somebody can use this model to tell a knock-knock joke.

And this might not seem like a lot,

Das klingt vielleicht nicht nach viel,

but other similar large language models,

aber andere ähnlich große Sprachmodelle

like GPT-3,

wie GPT-3

emit 20 times more carbon.

stoßen 20-mal mehr Kohlenstoff aus.

But the thing is, tech companies aren't measuring this stuff.

Doch Technologieunternehmen messen so etwas nicht,

They're not disclosing it.

legen es nicht offen.

Das ist wohl nur die Spitze des Eisbergs,

And so this is probably only the tip of the iceberg,

even if it is a melting one.

auch wenn er schmilzt.

And in recent years we've seen AI models balloon in size

In den letzten Jahren sind KI-Modelle größer geworden,

because the current trend in AI is "bigger is better."

weil der aktuelle KI-Trend lautet: „Je größer, desto besser.“

Lassen Sie mich bitte nicht erklären, warum.

But please don't get me started on why that's the case.

Jedenfalls beobachten wir, dass vor allem große Sprachmodelle

In any case, we've seen large language models in particular

in den letzten fünf Jahren um das 2000-Fache gewachsen sind.

grow 2,000 times in size over the last five years.

And of course, their environmental costs are rising as well.

Natürlich steigen auch die Kosten für die Umwelt.

The most recent work I led, found that switching out a smaller,

Meine jüngste Arbeit ergab,

dass der Austausch eines kleineren, effizienteren Sprachmodells

more efficient model for a larger language model

gegen ein größeres

emits 14 times more carbon for the same task.

für dieselbe Aufgabe 14-mal mehr Kohlenstoff ausstößt.

Like telling that knock-knock joke.

Etwa, um so einen Witz zu erzählen.

And as we're putting in these models into cell phones and search engines

Wenn wir diese Modelle in Handys, Suchmaschinen

and smart fridges and speakers,

intelligente Kühlschränke und Lautsprecher einbauen,

the environmental costs are really piling up quickly.

steigen die Kosten für die Umwelt rasant.

So instead of focusing on some future existential risks,

Statt uns auf künftige existenzielle Risiken zu konzentrieren,

let's talk about current tangible impacts

sollten wir über aktuelle konkrete Auswirkungen und Instrumente sprechen,

and tools we can create to measure and mitigate these impacts.

um diese Auswirkungen zu messen und zu mildern.

I helped create CodeCarbon,

Ich habe CodeCarbon mitentwickelt,

a tool that runs in parallel to AI training code

ein Tool, das parallel zum KI-Trainingscode läuft

that estimates the amount of energy it consumes

und Energieverbrauch

sowie Kohlenstoffausstoß schätzt.

and the amount of carbon it emits.

And using a tool like this can help us make informed choices,

Damit lassen sich fundierte Entscheidungen treffen,

like choosing one model over the other because it's more sustainable,

etwa nachhaltigere Modelle

oder KI-Modelle, die mit erneuerbaren Energien laufen,

or deploying AI models on renewable energy,

which can drastically reduce their emissions.

um die Emissionen drastisch zu senken.

But let's talk about other things

Aber lassen wir dieses Thema,

because there's other impacts of AI apart from sustainability.

denn KI hat außer Nachhaltigkeit noch andere Auswirkungen.

For example, it's been really hard for artists and authors

So können etwa Künstler und Autoren nur schwer nachweisen,

to prove that their life's work has been used for training AI models

dass ihr Lebenswerk ohne ihre Zustimmung

für das Training von KI-Modellen verwendet wurde.

without their consent.

And if you want to sue someone, you tend to need proof, right?

Um jemanden zu verklagen, braucht man in der Regel Beweise.

So Spawning.ai, an organization that was founded by artists,

Spawning.ai, eine von Künstlern gegründete Organisation,

created this really cool tool called “Have I Been Trained?”

hat das coole Tool „Have I Been Trained?“ entwickelt.

Damit kann man riesige Datensätze durchsuchen,

And it lets you search these massive data sets

to see what they have on you.

um zu sehen, ob man darin vorkommt.

Now, I admit it, I was curious.

Zugegeben, ich war neugierig.

I searched LAION-5B,

Ich durchsuchte LAION-5B,

einen riesigen Datensatz aus Bildern und Texten,

which is this huge data set of images and text,

to see if any images of me were in there.

um zu sehen, ob es dort Bilder von mir gab.

Now those two first images,

Die ersten beiden Bilder,

that's me from events I've spoken at.

das bin ich als Referentin bei Veranstaltungen.

But the rest of the images, none of those are me.

Aber ich bin auf keinem der restlichen Bilder.

They're probably of other women named Sasha

Da haben wohl andere Frauen namens Sasha

who put photographs of themselves up on the internet.

Fotos von sich ins Internet gestellt.

Das erklärt wohl,

And this can probably explain why,

warum ich meist Bilder von Bikini-Models bekomme,

when I query an image generation model

to generate a photograph of a woman named Sasha,

wenn ich ein Modell zur Bildgenerierung

more often than not I get images of bikini models.

Fotos von Frauen namens Sasha erstellen lasse.

Sometimes they have two arms,

Manchmal haben sie zwei Arme,

sometimes they have three arms,

manchmal drei,

but they rarely have any clothes on.

aber sie haben meist nur wenig an.

And while it can be interesting for people like you and me

Zwar kann es für Menschen wie Sie und mich interessant sein,

to search these data sets,

diese Datensätze zu durchsuchen,

for artists like Karla Ortiz,

doch Künstlern wie Karla Ortiz liefern sie entscheidende Beweise,

this provides crucial evidence that her life's work, her artwork,

dass ihr Lebenswerk, ihre Kunst

ohne ihre Zustimmung zum Training von KI-Modellen verwendet wurde.

was used for training AI models without her consent,

and she and two artists used this as evidence

Sie und zwei Künstler nutzten das als Beweise

to file a class action lawsuit against AI companies

für eine Sammelklage gegen KI-Unternehmen

for copyright infringement.

wegen Urheberrechtsverletzung.

And most recently --

Und vor Kurzem —

(Applause)

(Applaus)

And most recently Spawning.ai partnered up with Hugging Face,

Vor Kurzem tat sich Spawning.ai mit Hugging Face,

the company where I work at,

dem Unternehmen, wo ich arbeite, zusammen,

to create opt-in and opt-out mechanisms for creating these data sets.

um Opt-In- und Opt-Out-Mechanismen

zur Erstellung dieser Datensätze zu entwickeln.

Because artwork created by humans shouldn’t be an all-you-can-eat buffet

Denn menschliche Kunstwerke sollten kein All-you-can-eat-Büfett

for training AI language models.

für das Training von KI-Sprachmodellen sein.

(Applause)

(Applaus)

The very last thing I want to talk about is bias.

Zuletzt möchte ich über Voreingenommenheit sprechen.

You probably hear about this a lot.

Darüber hört man derzeit viel.

Formally speaking, it's when AI models encode patterns and beliefs

Formal gesehen, kodieren KI-Modelle Muster und Überzeugungen,

that can represent stereotypes or racism and sexism.

die Stereotype, Rassismus und Sexismus darstellen können.

One of my heroes, Dr. Joy Buolamwini, experienced this firsthand

Eine meiner Heldinnen, Dr. Joy Buolamwini, erlebte das aus erster Hand,

when she realized that AI systems wouldn't even detect her face

als KI-Systeme ihr Gesicht nicht erkannten,

unless she was wearing a white-colored mask.

wenn sie keine weiße Maske trug.

Digging deeper, she found that common facial recognition systems

Sie stellte auch fest, dass gängige Gesichtserkennungssysteme

were vastly worse for women of color compared to white men.

für nicht-weiße Frauen weit schlechter funktionierten als für weiße Männer.

And when biased models like this are deployed in law enforcement settings,

Werden voreingenommene Modelle wie dieses bei der Strafverfolgung eingesetzt,

this can result in false accusations, even wrongful imprisonment,

kann das zu falschen Anschuldigungen führen,

sogar zu unrechtmäßiger Inhaftierung,

which we've seen happen to multiple people in recent months.

wie wir in den letzten Monaten mehrfach gesehen haben.

For example, Porcha Woodruff was wrongfully accused of carjacking

So wurde Porcha Woodruff, im achten Monat schwanger,

fälschlicherweise des Autodiebstahls beschuldigt,

at eight months pregnant

because an AI system wrongfully identified her.

weil ein KI-System sie falsch identifiziert hatte.

But sadly, these systems are black boxes,

Leider sind diese Systeme Blackboxes,

and even their creators can't say exactly why they work the way they do.

und selbst ihre Entwickler wissen nicht genau,

warum sie so funktionieren.

And for example, for image generation systems,

Werden etwa Systeme zur Bilderzeugung

if they're used in contexts like generating a forensic sketch

in Kontexten wie der Generierung einer forensischen Skizze

based on a description of a perpetrator,

auf Grundlage einer Täterbeschreibung eingesetzt,

they take all those biases and they spit them back out

nehmen sie diese Vorurteile und spucken sie wieder aus

for terms like dangerous criminal, terrorists or gang member,

als Begriffe wie gefährlicher Krimineller, Terrorist oder Bandenmitglied,

which of course is super dangerous

was natürlich extrem gefährlich ist,

when these tools are deployed in society.

wenn diese Tools in der Gesellschaft eingesetzt werden.

And so in order to understand these tools better,

Um diese Tools besser zu verstehen,

I created this tool called the Stable Bias Explorer,

habe ich ein Tool namens “Stable Bias Explorer” entwickelt,

mit dem man die Voreingenommenheit von Bildgenerierungsmodellen

which lets you explore the bias of image generation models

through the lens of professions.

an Berufen untersuchen kann.

So try to picture a scientist in your mind.

Stellen Sie sich mal einen Wissenschaftler vor.

Don't look at me.

Schauen Sie nicht mich an.

What do you see?

Was sehen Sie?

A lot of the same thing, right?

Ziemlich das Gleiche, oder?

Men in glasses and lab coats.

Männer mit Brillen und Laborkitteln.

And none of them look like me.

Keiner davon sieht aus wie ich.

And the thing is,

Wir haben uns alle Modelle

is that we looked at all these different image generation models

zur Bilderzeugung angesehen

and found a lot of the same thing:

und immer wieder dasselbe festgestellt:

significant representation of whiteness and masculinity

eine signifikante Darstellung weißer Männlichkeit

across all 150 professions that we looked at,

in allen 150 untersuchten Berufen –

even if compared to the real world,

trotz des Vergleichs mit der Realität

the US Labor Bureau of Statistics.

des US Labor Bureau of Statistics.

These models show lawyers as men,

Diese Modelle zeigen Anwälte als Männer,

and CEOs as men, almost 100 percent of the time,

CEOs als Männer, und das in fast 100 Prozent der Fälle,

even though we all know not all of them are white and male.

obwohl wir alle wissen, dass nicht alle weiß und männlich sind.

And sadly, my tool hasn't been used to write legislation yet.

Leider wurde mein Tool noch nicht verwendet, um Gesetze zu verfassen.

Aber ich stellte es neulich auf einer UN-Veranstaltung

But I recently presented it at a UN event about gender bias

über geschlechterspezifische Vorurteile vor

as an example of how we can make tools for people from all walks of life,

als Beispiel für Tools für Menschen aller Schichten,

auch die, die nicht programmieren können,

even those who don't know how to code,

damit sie sich mit KI beschäftigen und sie besser verstehen.

to engage with and better understand AI because we use professions,

Wir verwenden Berufe ,

but you can use any terms that are of interest to you.

aber man kann jeden Begriff nehmen, der einen interessiert.

And as these models are being deployed,

Durch ihren Einsatz

werden diese Modelle in das Gefüge unserer Gesellschaften gewebt;

are being woven into the very fabric of our societies,

our cell phones, our social media feeds,

unsere Handys, Social-Media-Feeds,

even our justice systems and our economies have AI in them.

sogar unsere Justizsysteme und Volkswirtschaften enthalten KI.

And it's really important that AI stays accessible

Es ist wirklich wichtig, dass KI zugänglich bleibt,

so that we know both how it works and when it doesn't work.

damit wir wissen, wie sie funktioniert und wann nicht.

And there's no single solution for really complex things like bias

Es gibt nicht die eine Lösung für wirklich komplexe Dinge

wie Vorurteile, Urheberrecht oder Klimawandel.

or copyright or climate change.

But by creating tools to measure AI's impact,

Aber durch die Entwicklung von Tools zur Messung der Auswirkungen von KI

we can start getting an idea of how bad they are

können wir erkennen, wie schlimm sie sind,

and start addressing them as we go.

und uns sukzessive damit beschäftigen –

Start creating guardrails to protect society and the planet.

Leitplanken errichten, um Gesellschaft und Planet zu schützen.

And once we have this information,

Mit Hilfe dieser Informationen

companies can use it in order to say,

können Unternehmen wählen:

OK, we're going to choose this model because it's more sustainable,

Wir nehmen dieses Modell,

weil es nachhaltiger ist und das Urheberrecht respektiert.

this model because it respects copyright.

Legislators who really need information to write laws,

Politiker, die für neue Gesetze Informationen brauchen,

can use these tools to develop new regulation mechanisms

können mit diesen Instrumenten

neue Regulierungsmechanismen oder Kontrollen für KI entwickeln,

or governance for AI as it gets deployed into society.

wenn sie in der Gesellschaft eingesetzt wird.

And users like you and me can use this information

Wir Nutzer können dank dieser Informationen KI-Modelle wählen,

to choose AI models that we can trust,

von denen wir annehmen dürfen,

not to misrepresent us and not to misuse our data.

dass sie uns weder falsch darstellen noch unsere Daten missbrauchen.

But what did I reply to that email

Wie reagierte ich auf die Mail, in der es hieß,

that said that my work is going to destroy humanity?

meine Arbeit werde die Menschheit zerstören?

I said that focusing on AI's future existential risks

Ich schrieb, die Konzentration auf künftige existenzielle Risiken der KI

is a distraction from its current,

sei eine Ablenkung von ihren aktuellen, sehr greifbaren Auswirkungen

very tangible impacts

and the work we should be doing right now, or even yesterday,

und von der Arbeit, die wir jetzt, noch besser gestern, erledigen sollten,

for reducing these impacts.

um diese Auswirkungen zu verringern.

Because yes, AI is moving quickly, but it's not a done deal.

Ja, KI entwickelt sich schnell, aber wir sind noch nicht am Ende.

We're building the road as we walk it,

Wir bauen den Weg, während wir ihn gehen,

and we can collectively decide what direction we want to go in together.

und können gemeinsam entscheiden,

welche Richtung wir einschlagen wollen.

Thank you.

Vielen Dank.

(Applause)

(Applaus)