How I'm fighting bias in algorithms | Joy Buolamwini

Übersetzung: Angelika Lueckert Leon

Hello, I'm Joy, a poet of code,

Hallo, ich bin Joy, eine Poetin des Codes,

on a mission to stop an unseen force that's rising,

auf einer Mission, eine unbemerkte, aufstrebende Macht aufzuhalten.

a force that I called "the coded gaze,"

Diese Macht nannte ich den "programmierten Blick".

my term for algorithmic bias.

Das ist mein Begriff für algorithmische Vorurteile.

Algorithmic bias, like human bias, results in unfairness.

Algorithmische sowie menschliche Vorurteile führen zu Ungerechtigkeit.

However, algorithms, like viruses, can spread bias on a massive scale

Trotzdem können Algorithmen, wie Viren, Vorurteile massiv verbreiten,

at a rapid pace.

mit rasanter Geschwindigkeit.

Algorithmic bias can also lead to exclusionary experiences

Algorithmische Vorurteile können auch zu Erfahrungen des Ausschlusses

and discriminatory practices.

und diskriminierendem Verhalten führen.

Let me show you what I mean.

Ich zeige Ihnen, was ich meine.

(Video) Joy Buolamwini: Hi, camera. I've got a face.

(Video) Joy Buolamwini: Hi, Kamera. Ich habe ein Gesicht.

Can you see my face?

Kannst du mein Gesicht sehen?

No-glasses face?

Mein Gesicht ohne Brille?

You can see her face.

Du kannst ihr Gesicht sehen.

What about my face?

Was ist mit meinem Gesicht?

I've got a mask. Can you see my mask?

Ich habe eine Maske. Kannst du meine Maske sehen?

Joy Buolamwini: So how did this happen?

JB: Wie konnte das passieren?

Why am I sitting in front of a computer

Wieso sitze ich vor einem Computer,

in a white mask,

trage eine weiße Maske und versuche,

trying to be detected by a cheap webcam?

von einer billigen Webcam erkannt zu werden?

Well, when I'm not fighting the coded gaze

Wenn ich nicht gerade den programmierten Blick

as a poet of code,

als Poetin des Codes bekämpfe,

I'm a graduate student at the MIT Media Lab,

dann bin ich Masterstudentin am MIT Media Lab

and there I have the opportunity to work on all sorts of whimsical projects,

und habe dort die Möglichkeit, an verschiedensten, wunderlichen Projekten,

including the Aspire Mirror,

u. a. dem "Aspire Mirror", zu arbeiten,

a project I did so I could project digital masks onto my reflection.

einem Projekt, das digitale Masken auf mein Spiegelbild projiziert.

So in the morning, if I wanted to feel powerful,

Wenn ich mich in der Früh mächtig fühlen wollte,

I could put on a lion.

projizierte ich einen Löwen.

If I wanted to be uplifted, I might have a quote.

Wenn ich aufgemuntert werden wollte, erschien vielleicht ein Zitat.

So I used generic facial recognition software

Deshalb verwendete ich eine gewöhnliche Software für Gesichtserkennung,

to build the system,

um das System zu erstellen.

but found it was really hard to test it unless I wore a white mask.

Es war aber sehr schwierig zu testen, außer wenn ich eine weiße Maske trug.

Unfortunately, I've run into this issue before.

Unglücklicherweise ist mir dieses Problem schon einmal begegnet.

When I was an undergraduate at Georgia Tech studying computer science,

Als ich Informatik im Bachelor an der Georgia Tech studierte,

I used to work on social robots,

arbeitete ich mit sozialen Robotern.

and one of my tasks was to get a robot to play peek-a-boo,

Eine meiner Aufgaben war es, mit einem Roboter Kuckuck zu spielen.

a simple turn-taking game

Das ist ein einfaches Wechselspiel,

where partners cover their face and then uncover it saying, "Peek-a-boo!"

bei dem man das Gesicht zudeckt und beim Aufdecken "Kuckuck!" sagt.

The problem is, peek-a-boo doesn't really work if I can't see you,

Allerdings funktioniert das Kuckuckspiel nicht, wenn man sich nicht sieht,

and my robot couldn't see me.

und mein Roboter konnte mich nicht sehen.

But I borrowed my roommate's face to get the project done,

Um das Projekt abzuschließen, verwendete ich das Gesicht meines Mitbewohners,

submitted the assignment,

schickte die Aufgabe ab

and figured, you know what, somebody else will solve this problem.

und dachte mir: "Weißt du was, jemand anderes wird das Problem lösen."

Not too long after,

Relativ kurz danach

I was in Hong Kong for an entrepreneurship competition.

war ich in Hongkong für einen Unternehmer-Wettbewerb.

The organizers decided to take participants

Die Organisatoren beschlossen,

on a tour of local start-ups.

den Teilnehmenden örtliche Start-ups zu zeigen.

One of the start-ups had a social robot,

Eines dieser Start-ups hatte einen sozialen Roboter,

and they decided to do a demo.

den sie demonstrieren wollten.

The demo worked on everybody until it got to me,

Die Demonstration funktionierte bei jedem bis auf mich.

and you can probably guess it.

Sie können wahrscheinlich erraten wieso.

It couldn't detect my face.

Er konnte mein Gesicht nicht erkennen.

I asked the developers what was going on,

Ich fragte die Entwickler, was los sei.

and it turned out we had used the same generic facial recognition software.

Es zeigte sich, dass wir dieselbe Software zur Gesichtserkennung benutzt hatten.

Halfway around the world,

Auf der anderen Seite der Welt erkannte ich,

I learned that algorithmic bias can travel as quickly

dass sich algorithmische Voreingenommenheit

as it takes to download some files off of the internet.

bereits während eines simplen Downloads verbreiten kann.

So what's going on? Why isn't my face being detected?

Also was ist da los? Warum wird mein Gesicht nicht erkannt?

Well, we have to look at how we give machines sight.

Wir müssen uns anschauen, wie wir Maschinen das Sehen beibringen.

Computer vision uses machine learning techniques

Computergestütztes Sehen verwendet maschinelles Lernen,

to do facial recognition.

um Gesichter zu erkennen.

So how this works is, you create a training set with examples of faces.

Dabei erstellt man ein Trainingsset mit Gesichterbeispielen.

This is a face. This is a face. This is not a face.

Das ist ein Gesicht. Das auch. Das ist kein Gesicht.

And over time, you can teach a computer how to recognize other faces.

Im Laufe der Zeit kann man einem Computer beibringen, andere Gesichter zu erkennen.

However, if the training sets aren't really that diverse,

Wenn die Trainingssets allerdings nicht sehr diversifiziert sind,

any face that deviates too much from the established norm

dann sind Gesichter, die zu stark von der erstellten Norm abweichen,

will be harder to detect,

schwieriger zu erkennen.

which is what was happening to me.

Das ist genau das, was mir passiert ist.

But don't worry -- there's some good news.

Aber machen Sie sich keine Sorgen -- es gibt gute Nachrichten.

Training sets don't just materialize out of nowhere.

Trainingssets tauchen nicht aus dem Nichts auf.

We actually can create them.

Wir erstellen sie.

So there's an opportunity to create full-spectrum training sets

Also gibt es die Möglichkeit, inklusive Trainingssets zu erstellen,

that reflect a richer portrait of humanity.

die ein breitgefächerteres Bild der Menschheit widerspiegeln.

Now you've seen in my examples

Jetzt haben Sie anhand meiner Beispiele gesehen,

how social robots

wie soziale Roboter dazu geführt haben,

was how I found out about exclusion with algorithmic bias.

dass ich von der Exklusion durch algorithmische Vorurteile erfuhr.

But algorithmic bias can also lead to discriminatory practices.

Algorithmische Vorurteile können zu diskriminierendem Verhalten führen.

Across the US,

Überall in den USA beginnt die Polizei, als Teil ihrer Kriminalitätsbekäpfung

police departments are starting to use facial recognition software

in their crime-fighting arsenal.

Software zur Gesichtserkennung zu verwenden.

Georgetown Law published a report

Georgetown Law zeigte in einem Bericht,

showing that one in two adults in the US -- that's 117 million people --

dass einer von zwei erwachsenen US-Bürgern -- das sind 117 Mio. Menschen --

have their faces in facial recognition networks.

bereits in Datenbanken zur Gesichtserkennung erfasst ist.

Police departments can currently look at these networks unregulated,

Polizeikommissariate können zurzeit uneingeschränkt auf diese zugreifen

using algorithms that have not been audited for accuracy.

und benutzen dabei Algorithmen, die nicht auf Genauigkeit überprüft wurden.

Yet we know facial recognition is not fail proof,

Dennoch wissen wir, dass Gesichtserkennung nicht fehlerfrei ist

and labeling faces consistently remains a challenge.

und dass Gesichter zuzuordnen immer noch eine Herausforderung ist.

You might have seen this on Facebook.

Vielleicht haben Sie das auf Facebook gesehen.

My friends and I laugh all the time when we see other people

Meine Freund und ich lachen immer, wenn andere Leute

mislabeled in our photos.

fälschlicherweise auf unseren Fotos markiert werden.

But misidentifying a suspected criminal is no laughing matter,

Aber jemanden fälschlicherweise zu verdächtigen, ist nicht zum Lachen,

nor is breaching civil liberties.

sondern verstößt gegen Bürgerrechte.

Machine learning is being used for facial recognition,

Maschinelles Lernen wird für Gesichtserkennung,

but it's also extending beyond the realm of computer vision.

aber auch über den Bereich von computergestütztem Sehen hinaus verwendet.

In her book, "Weapons of Math Destruction,"

In ihrem Buch "Waffen der Mathezerstörung"

data scientist Cathy O'Neil talks about the rising new WMDs --

schreibt Datenforscherin Cathy O'Neil über neue Massenvernichtungswaffen --

widespread, mysterious and destructive algorithms

verbreitete, mysteriöse und zerstörerische Algorithmen,

that are increasingly being used to make decisions

die zunehmend dazu verwendet werden, Entscheidungen zu treffen,

that impact more aspects of our lives.

die viele Teile unseres Lebens betreffen.

So who gets hired or fired?

Etwa wer eingestellt oder gefeuert wird.

Do you get that loan? Do you get insurance?

Bekommen Sie einen Kredit? Oder eine Versicherung?

Are you admitted into the college you wanted to get into?

Werden Sie an der Uni, an der Sie studieren wollen, angenommen?

Do you and I pay the same price for the same product

Bezahlen Sie und ich denselben Preis für dasselbe Produkt,

purchased on the same platform?

das wir auf derselben Website gekauft haben?

Law enforcement is also starting to use machine learning

Die Strafverfolgung beginnt auch, maschinelles Lernen

for predictive policing.

für Predictive Policing einzusetzen.

Manche Richter benutzen maschinell generierte Risikoraten, um festzusetzen,

Some judges use machine-generated risk scores to determine

how long an individual is going to spend in prison.

wie lange eine bestimmte Person im Gefängnis bleiben wird.

So we really have to think about these decisions.

Deshalb müssen wir wirklich über diese Entscheidungen nachdenken.

Are they fair?

Sind sie fair?

And we've seen that algorithmic bias

Wir haben gesehen, dass algorithmische Vorurteile

doesn't necessarily always lead to fair outcomes.

nicht unbedingt zu fairen Ergebnissen führen.

So what can we do about it?

Was können wir dagegen tun?

Well, we can start thinking about how we create more inclusive code

Wir können darüber nachdenken, wie man inklusiveren Code schreibt

and employ inclusive coding practices.

und Programmiertechniken nutzt, die inklusiver sind.

It really starts with people.

Es fängt bei den Menschen an.

So who codes matters.

Es spielt eine Rolle, wer programmiert.

Are we creating full-spectrum teams with diverse individuals

Erstellen wir inklusive Teams aus diversifizierten Individuen,

who can check each other's blind spots?

die gegenseitig ihre toten Winkel überprüfen können?

On the technical side, how we code matters.

In Hinblick auf die Technik spielt es eine Rolle, wie programmiert wird.

Are we factoring in fairness as we're developing systems?

Berücksichtigen wir Fairness beim Entwickeln von Systemen?

And finally, why we code matters.

"Warum" wir programmieren, spielt auch eine Rolle.

We've used tools of computational creation to unlock immense wealth.

Wir haben durch computergestütztes Design enormen Wohlstand geschaffen.

We now have the opportunity to unlock even greater equality

Nun haben wir die Möglichkeit, noch größere Gleichheit zu schaffen,

if we make social change a priority

wenn wir sozialen Wandel als Priorität

and not an afterthought.

und nicht als Nachtrag behandeln.

And so these are the three tenets that will make up the "incoding" movement.

Das sind also die drei Grundsätze der "Incoding"-Bewegung.

Who codes matters,

Es ist wichtig, wer programmiert,

how we code matters

wie programmiert wird,

and why we code matters.

und warum wir programmieren.

So to go towards incoding, we can start thinking about

Auf dem Weg zu "Incoding" müssen wir darüber nachdenken,

building platforms that can identify bias

Plattformen, die Vorurteile erkennen können, zu schaffen,

by collecting people's experiences like the ones I shared,

mit Hilfe von Erfahrungen, wie z. B. meinen,

but also auditing existing software.

aber auch bereits existierende Software zu überprüfen.

We can also start to create more inclusive training sets.

Wir können auch damit beginnen, inklusivere Trainingssets zu erstellen.

Imagine a "Selfies for Inclusion" campaign

Stellen Sie sich etwa eine Kampagne "Selfies für Inklusion" vor,

where you and I can help developers test and create

bei der Sie und ich den Entwicklern beim Testen und Entwickeln

more inclusive training sets.

inklusiverer Trainingssets helfen können.

And we can also start thinking more conscientiously

Wir können auch bewusster über die sozialen Auswirkungen

about the social impact of the technology that we're developing.

der Technologien, die wir entwickeln, nachdenken.

Um die "Incoding"-Bewegung zu starten,

To get the incoding movement started,

I've launched the Algorithmic Justice League,

gründete ich die "Algorithmic Justice Leage".

where anyone who cares about fairness can help fight the coded gaze.

Jeder kann dabei helfen, den programmierten Blick zu bekämpfen.

On codedgaze.com, you can report bias,

Auf codedgaze.com können Sie über Voreingenommenheit berichten,

request audits, become a tester

Überprüfungen verlangen, zum Tester werden

and join the ongoing conversation,

und bei laufenden Debatten mitreden,

#codedgaze.

#codedgaze.

So I invite you to join me

Ich lade Sie dazu ein, sich mir anzuschließen

in creating a world where technology works for all of us,

und eine Welt zu schaffen, in der Technologie für uns alle,

not just some of us,

und nicht nur für manche, funktioniert,

a world where we value inclusion and center social change.

eine Welt, in der Inklusion wertgeschätzt und soziale Veränderung im Zentrum steht.

Thank you.

Danke.

(Applause)

(Applaus)

But I have one question:

Ich habe eine Frage:

Will you join me in the fight?

Werden Sie sich mir anschließen?

(Laughter)

(Gelächter)

(Applause)

(Applaus)