How I'm fighting bias in algorithms | Joy Buolamwini

Översättare: Anette Smedberg Granskare: Lisbeth Pekkari

Hello, I'm Joy, a poet of code,

Hej, jag är Joy, jag är poet i kod,

on a mission to stop an unseen force that's rising,

med uppdrag att stoppa en osynlig kraft som vaknat,

a force that I called "the coded gaze,"

en kraft som jag kallar "den kodade blicken,"

my term for algorithmic bias.

min term för fördomar i algoritmer.

Algorithmic bias, like human bias, results in unfairness.

Algoritmiska fördomar, precis som mänskliga, resulterar i orättvisa.

However, algorithms, like viruses, can spread bias on a massive scale

Men, algoritmer kan, precis som virus, sprida fördomar i stor skala

at a rapid pace.

och i snabb takt.

Algorithmic bias can also lead to exclusionary experiences

Fördomar i algoritmer kan också leda till att människor sållas bort

and discriminatory practices.

och till diskriminerande praxis.

Let me show you what I mean.

Låt mig visa vad jag menar.

(Video) Joy Buolamwini: Hi, camera. I've got a face.

(Video) Joy Buolamwini: Hej, kamera. Jag har ett ansikte.

Can you see my face?

Kan du se mitt ansikte?

No-glasses face?

Utan glasögon?

You can see her face.

Du kan se hennes ansikte.

What about my face?

Mitt ansikte då?

I've got a mask. Can you see my mask?

Jag har en mask. Kan du se min mask?

Joy Buolamwini: So how did this happen?

Joy Buolamwini: Hur hände det här?

Why am I sitting in front of a computer

Varför sitter jag framför en dator

in a white mask,

med en vit mask,

trying to be detected by a cheap webcam?

och försöker få en billig webbkamera att upptäcka mig?

Well, when I'm not fighting the coded gaze

Jo, när jag inte slåss mot den kodade blicken,

as a poet of code,

som en poet i kod,

I'm a graduate student at the MIT Media Lab,

är jag doktorand på MIT Media Lab,

and there I have the opportunity to work on all sorts of whimsical projects,

och där har jag möjlighet att arbeta i en massa egendomliga projekt,

including the Aspire Mirror,

inklusive Aspire Mirror,

a project I did so I could project digital masks onto my reflection.

ett projekt jag startade för att projicera digitala masker på min spegelbild.

So in the morning, if I wanted to feel powerful,

Så på morgonen, när jag ville känna mig stark,

I could put on a lion.

kunde jag projicera ett lejon,

If I wanted to be uplifted, I might have a quote.

Om jag ville peppa mig själv, projicerade jag kanske ett citat.

So I used generic facial recognition software

Jag använde mjukvara för generisk ansiktsigenkänning

to build the system,

för att bygga systemet,

but found it was really hard to test it unless I wore a white mask.

men upptäckte att det var väldigt svårt att testa om jag inte bar en vit mask.

Unfortunately, I've run into this issue before.

Tyvärr har jag upplevt det här bekymret tidigare.

When I was an undergraduate at Georgia Tech studying computer science,

När jag studerade datavetenskap på Georgia Institute of Technology,

I used to work on social robots,

brukade jag arbeta med mänskliga robotar,

and one of my tasks was to get a robot to play peek-a-boo,

och en av mina uppgifter var att få roboten att leka tittut,

a simple turn-taking game

en enkel lek mellan två personer

where partners cover their face and then uncover it saying, "Peek-a-boo!"

där man täcker sina ansikten och sedan visar dem och säger "Tittut!"

The problem is, peek-a-boo doesn't really work if I can't see you,

Problemet är att tittut inte fungerar om man inte ser varandra,

and my robot couldn't see me.

och min robot kunde inte se mig.

But I borrowed my roommate's face to get the project done,

Men jag lånade min rumskamrats ansikte för att göra klart projektet,

submitted the assignment,

lämnade in uppgiften,

and figured, you know what, somebody else will solve this problem.

och tänkte, vet ni vad, någon annan kommer att lösa problemet.

Not too long after,

Inte så långt därefter,

I was in Hong Kong for an entrepreneurship competition.

var jag i Hong Kong och deltog i en tävling för entreprenörer.

The organizers decided to take participants

Organisatörerna tog med deltagarna

on a tour of local start-ups.

på en rundtur bland lokala startup-företag.

One of the start-ups had a social robot,

Ett av dessa hade en mänsklig robot,

and they decided to do a demo.

och de ville köra en demo.

The demo worked on everybody until it got to me,

Demon fungerade på alla tills den kom till mig,

and you can probably guess it.

och ni kan säkert gissa varför.

It couldn't detect my face.

Den kunde inte upptäcka mitt ansikte.

I asked the developers what was going on,

Jag frågade utvecklarna vad som hänt,

and it turned out we had used the same generic facial recognition software.

och det visade sig att de använt samma mjukvara för ansiktsigenkänning som jag.

Halfway around the world,

På andra sidan jordklotet,

I learned that algorithmic bias can travel as quickly

lärde jag mig att fördomsfulla algoritmer kan färdas lika snabbt

as it takes to download some files off of the internet.

som det tar att ladda ner några filer från internet.

So what's going on? Why isn't my face being detected?

Vad är det som pågår? Varför upptäcks inte mitt ansikte?

Well, we have to look at how we give machines sight.

Jo, vi måste titta på hur vi ger maskinerna syn.

Computer vision uses machine learning techniques

Datorigenkänning använder maskininlärningsteknik

to do facial recognition.

för att känna igen ansikten.

So how this works is, you create a training set with examples of faces.

Så här fungerar det, du skapar en modell med exempel på olika ansikten.

This is a face. This is a face. This is not a face.

Här är ett ansikte, och ett till. Detta är inte ett ansikte.

And over time, you can teach a computer how to recognize other faces.

Över tid, kan du lära datorn att upptäcka andra ansikten.

However, if the training sets aren't really that diverse,

Men, om modellen inte speglar mångfalden tillräckligt mycket,

any face that deviates too much from the established norm

kommer ansikten som skiljer sig för mycket från den fastställda normen

will be harder to detect,

bli svårare att upptäcka,

which is what was happening to me.

vilket var det som hände mig.

But don't worry -- there's some good news.

Men oroa er inte - det finns något gott i det.

Training sets don't just materialize out of nowhere.

Träningsmodellerna kommer inte från ingenstans.

We actually can create them.

Vi kan faktiskt skapa dem.

So there's an opportunity to create full-spectrum training sets

Det finns möjligheter att skapa heltäckande modeller

that reflect a richer portrait of humanity.

som skapar en djupare bild av mänskligheten.

Now you've seen in my examples

Som ni sett i mina exempel

how social robots

var mänskliga robotar anledningen

was how I found out about exclusion with algorithmic bias.

till att jag upptäckte exkluderingen med fördomsfulla algoritmer.

But algorithmic bias can also lead to discriminatory practices.

Men fördomar i algoritmer kan också leda till diskriminerande normer.

Across the US,

Över hela USA,

police departments are starting to use facial recognition software

har polismyndigheterna börjat använda mjukvara för ansiktsigenkänning

in their crime-fighting arsenal.

som ett bland andra redskap för brottsbekämpning.

Georgetown Law published a report

Georgetown Law publicerade en rapport

showing that one in two adults in the US -- that's 117 million people --

som visade att varannan vuxen i USA - det är 117 miljoner människor -

have their faces in facial recognition networks.

har sina ansikten registrerade i nätverk för ansiktsigenkänning.

Police departments can currently look at these networks unregulated,

Polisyndigheterna kan använda de här nätverken helt oreglerat,

using algorithms that have not been audited for accuracy.

genom att använda algoritmer vars tillförlitlighet inte granskats.

Yet we know facial recognition is not fail proof,

Trots att vi vet att ansiktsigenkänning inte är tillförlitlig,

and labeling faces consistently remains a challenge.

och att kunna kategorisera ansikten fortfarande är en utmaning.

You might have seen this on Facebook.

Du har kanske sett det på Facebook.

My friends and I laugh all the time when we see other people

Mina vänner och jag skrattar varje gång vi ser andra

mislabeled in our photos.

som blivit felaktigt taggade i våra bilder.

But misidentifying a suspected criminal is no laughing matter,

Men att felaktigt identifiera en misstänkt kriminell är inget att skratta åt,

nor is breaching civil liberties.

inte heller att åsidosätta de mänskliga rättigheterna.

Machine learning is being used for facial recognition,

Maskininlärning används för ansiktsigenkänning,

but it's also extending beyond the realm of computer vision.

men den används också inom andra områden.

In her book, "Weapons of Math Destruction,"

I boken "Weapons of Math Destruction,"

data scientist Cathy O'Neil talks about the rising new WMDs --

skriver forskaren Cathy O´Neil om de framväxande UMD:na -

widespread, mysterious and destructive algorithms

utbredda, mystiska och destruktiva algoritmer

that are increasingly being used to make decisions

som i ökande utsträckning används för att ta beslut

that impact more aspects of our lives.

som påverkar fler och fler aspekter i våra liv.

So who gets hired or fired?

Vem blir anställd eller sparkad?

Do you get that loan? Do you get insurance?

Får du ta lån? Får du teckna försäkringar?

Are you admitted into the college you wanted to get into?

Kommer du in på det universitet du vill?

Do you and I pay the same price for the same product

Betalar du och jag samma pris för samma produkt

purchased on the same platform?

köpt på samma sätt?

Law enforcement is also starting to use machine learning

Lagstiftningen börjar också använda maskininlärning

for predictive policing.

i förebyggande polisarbete.

Some judges use machine-generated risk scores to determine

Vissa domare använder maskingenererade riskbedömningar för att besluta

how long an individual is going to spend in prison.

hur långa fängelsestraff som ska utdömas.

So we really have to think about these decisions.

Vi behöver verkligen fundera över de här besluten.

Are they fair?

Är de rättvisa?

And we've seen that algorithmic bias

Vi har sett att fördomarna i algoritmerna

doesn't necessarily always lead to fair outcomes.

inte nödvändigtvis leder till rättvisa resultat.

So what can we do about it?

Så vad kan vi göra?

Well, we can start thinking about how we create more inclusive code

Tja, vi kan börja fundera på hur vi skapar en mer inkluderande kod

and employ inclusive coding practices.

och använda en mer inkluderande praxis.

It really starts with people.

Det börjar med människor.

So who codes matters.

Så vem som programmerar har betydelse.

Are we creating full-spectrum teams with diverse individuals

Bygger vi arbetsgrupper med individer olika erfarenheter

who can check each other's blind spots?

som kan se utanför varandras skygglappar?

On the technical side, how we code matters.

På den tekniska sidan har det betydelse hur vi programmerar.

Are we factoring in fairness as we're developing systems?

Har vi med rättviseperspektivet när vi utvecklar system?

And finally, why we code matters.

Slutligen, varför vi programmerar har betydelse.

We've used tools of computational creation to unlock immense wealth.

Vi har använt datorkraft för beräkningar som skapat enorma rikedomar.

We now have the opportunity to unlock even greater equality

Nu har vi möjlighet att skapa ännu större jämlikhet

if we make social change a priority

om vi prioriterar sociala förändringar

and not an afterthought.

och inte tar dem i efterhand.

And so these are the three tenets that will make up the "incoding" movement.

De här tre principerna kommer att utgöra "inkodnings"-rörelsen.

Who codes matters,

Vem som kodar har betydelse,

how we code matters

hur vi kodar har betydelse

and why we code matters.

och varför vi kodar har betydelse.

So to go towards incoding, we can start thinking about

Så för att komma närmare inkodning kan vi börja fundera på

building platforms that can identify bias

att bygga plattformar som kan identifiera fördomar

by collecting people's experiences like the ones I shared,

genom att samla in folks erfarenheter som den jag pratade om,

but also auditing existing software.

men också genom att granska existerande mjukvara.

We can also start to create more inclusive training sets.

Vi kan också börja skapa mer inkluderande modeller.

Imagine a "Selfies for Inclusion" campaign

Tänk er en kampanj för "Selfies för inkludering"

where you and I can help developers test and create

där du och jag kan hjälpa utvecklarna testa och skapa

more inclusive training sets.

mer inkluderande modeller.

And we can also start thinking more conscientiously

Vi kan också börja tänka mer samvetsgrant

about the social impact of the technology that we're developing.

kring de sociala effekterna av tekniken som vi utvecklar.

To get the incoding movement started,

För att få fart på "inkodnings"-rörelsen,

I've launched the Algorithmic Justice League,

har jag lanserat Algorithmic Justice League,

where anyone who cares about fairness can help fight the coded gaze.

där alla som bryr sig om rättvisa kan hjälpa till att kämpa mot fördomsfull kod.

On codedgaze.com, you can report bias,

På www.codegaze.com, kan du rapportera partisk kod,

request audits, become a tester

begära granskningar, bli testare

and join the ongoing conversation,

och delta i den pågående diskussionen,

#codedgaze.

#codedgaze

So I invite you to join me

Jag bjuder in er till att ansluta er till mig

in creating a world where technology works for all of us,

i skapandet av en värld där tekniken fungerar för oss alla,

not just some of us,

inte bara för några av oss,

a world where we value inclusion and center social change.

en värld där vi värdesätter inkludering och fokuserar på social förändring.

Thank you.

Tack.

(Applause)

(Applåder)

But I have one question:

Men jag har en fråga:

Will you join me in the fight?

Kommer ni att ansluta er till kampen?

(Laughter)

(Skratt)

(Applause)

(Applåder)