How I'm fighting bias in algorithms | Joy Buolamwini

Fordító: Victoria Dávid Lektor: Csaba Lóki

Hello, I'm Joy, a poet of code,

Sziasztok, én Joy vagyok, a kód poétája,

on a mission to stop an unseen force that's rising,

és küldetésem egy láthatatlan, egyre hatalmasabb erő,

a force that I called "the coded gaze,"

a "kódolt csőlátás" megfékezése.

my term for algorithmic bias.

Így nevezem én az algoritmikus torzítást.

Algorithmic bias, like human bias, results in unfairness.

Ez, akárcsak az emberi előítélet, igazságtalanságokhoz vezet.

However, algorithms, like viruses, can spread bias on a massive scale

Az algoritmusok azonban képesek e torzításokat járványszerűen,

at a rapid pace.

óriási területen és hihetetlen sebességgel terjeszteni.

Algorithmic bias can also lead to exclusionary experiences

Az algoritmikus torzítás emellett kizárásos tapasztalatokhoz,

and discriminatory practices.

és diszkriminációs gyakorlathoz is vezethet.

Let me show you what I mean.

Bemutatom, mire gondolok.

(Video) Joy Buolamwini: Hi, camera. I've got a face.

(Videó) Szia, kamera. Van egy arcom.

Can you see my face?

Látod az arcom?

No-glasses face?

A szemüveg nélküli arcom?

You can see her face.

Az ő arcát látod.

What about my face?

Mi a helyzet az én arcommal?

I've got a mask. Can you see my mask?

Van egy maszkom. Látod a maszkom?

Joy Buolamwini: So how did this happen?

Szóval, hogy hogy is történt ez?

Why am I sitting in front of a computer

Miért ülök egy számítógéppel szemben

in a white mask,

egy fehér maszkban,

trying to be detected by a cheap webcam?

próbálva egy olcsó webkamerával felismertetni magam?

Well, when I'm not fighting the coded gaze

Mikor épp nem a kódolt csőlátás ellen harcolo

as a poet of code,

kódpoétaként,

I'm a graduate student at the MIT Media Lab,

akkor vagyok végzős hallgató az MIT Media Lab-en,

and there I have the opportunity to work on all sorts of whimsical projects,

ahol lehetőségem van mindenféle furcsa projekten dolgozni.

including the Aspire Mirror,

Ezek egyike az Aspire Mirror,

a project I did so I could project digital masks onto my reflection.

melyben digitális maszkokat tudok a tükörképemre vetíteni.

So in the morning, if I wanted to feel powerful,

Reggel, ha erősnek akarom érezni magam,

I could put on a lion.

felveszek egy oroszlánt.

If I wanted to be uplifted, I might have a quote.

Ha lelkesítésre van szükségem, akkor talán egy idézetet.

So I used generic facial recognition software

E rendszer megépítéséhez

egy általános arcfelismerő programot használtam,

to build the system,

but found it was really hard to test it unless I wore a white mask.

de fehér maszk nélkül nehéz volt tesztelni.

Unfortunately, I've run into this issue before.

Sajnos korábban már beleütköztem ebbe a problémába.

When I was an undergraduate at Georgia Tech studying computer science,

Amikor a Georgia Tech-en számítástudományt tanultam.

I used to work on social robots,

társas robotokon dolgoztam,

and one of my tasks was to get a robot to play peek-a-boo,

és az egyik feladat az volt, hogy bújócskázzak egyikükkel,

a simple turn-taking game

ami egy egyszerű oda-vissza játék.

where partners cover their face and then uncover it saying, "Peek-a-boo!"

A partnerek eltakarták az arcukat, aztán felfedték: "Aki bújt, aki nem..."

The problem is, peek-a-boo doesn't really work if I can't see you,

A probléma, hogy nehéz bújócskázni, ha nem látjuk egymást.

and my robot couldn't see me.

A robotom pedig nem látott engem.

But I borrowed my roommate's face to get the project done,

Ezért kölcsönvettem a szobatársam arcát a projekt idejére,

submitted the assignment,

aztán beadtam a feladatot.

and figured, you know what, somebody else will solve this problem.

Majd rájöttem, hogy valaki más fogja megoldani ezt a problémát.

Not too long after,

Nem sokkal később,

I was in Hong Kong for an entrepreneurship competition.

Hong Kongban voltam egy vállalkozói versenyen.

The organizers decided to take participants

A szervezők látogatásra vitték a résztvevőket

on a tour of local start-ups.

helybeli startup vállalkozásokhoz.

One of the start-ups had a social robot,

Az egyiknek volt egy társas robotja,

and they decided to do a demo.

amivel készítettek egy bemutatót.

The demo worked on everybody until it got to me,

Ez mindenkin működött, kivéve engem,

and you can probably guess it.

és valószínűleg kitalálják:

It couldn't detect my face.

az én arcomat nem érzékelte.

I asked the developers what was going on,

Kérdeztem a fejlesztőket, mi történik.

and it turned out we had used the same generic facial recognition software.

Kiderült, hogy ugyanazt az arcfelismerő programot használtuk.

Halfway around the world,

A világ másik felén jöttem rá,

I learned that algorithmic bias can travel as quickly

hogy az algoritmikus torzítás terjedése olyan gyors,

as it takes to download some files off of the internet.

mint pár fájl letöltése az internetről.

So what's going on? Why isn't my face being detected?

De mi is történik itt? Miért nem érzékeli az arcom?

Well, we have to look at how we give machines sight.

Nézzük meg, hogy tanítjuk meg látni a gépeket.

Computer vision uses machine learning techniques

A gépi látás gépi tanulási technikákat használnak

to do facial recognition.

az arcfelismeréshez.

So how this works is, you create a training set with examples of faces.

Ez úgy működik, hogy különböző arcokból betanító adathalmazokat készítünk.

This is a face. This is a face. This is not a face.

Ez egy arc. Ez egy arc. Ez nem egy arc.

And over time, you can teach a computer how to recognize other faces.

A gép idővel megtanul más arcokat is felismerni.

However, if the training sets aren't really that diverse,

Ha azonban a betanító sorozat nem elég változatos,

any face that deviates too much from the established norm

az átlagtól jelentősen eltérő arcokat

will be harder to detect,

nehezen fogja felismerni.

which is what was happening to me.

Ez történt az esetemben is.

But don't worry -- there's some good news.

De semmi gond, vannak azért jó hírek is.

Training sets don't just materialize out of nowhere.

A betanító adathalmazok nem a semmiből lesznek.

We actually can create them.

Mi tudunk ilyeneket készíteni.

So there's an opportunity to create full-spectrum training sets

Tudunk teljes spektrumú betanító készleteket gyártani,

that reflect a richer portrait of humanity.

melyek jobban tükrözik az emberi arcok sokféleségét.

Now you've seen in my examples

Láthatták a példáimon,

how social robots

hogyan vettem észre a társas robotoknál

was how I found out about exclusion with algorithmic bias.

ezeket az algoritmikus torzításokat.

But algorithmic bias can also lead to discriminatory practices.

Az algoritmikus torzítás azonban diszkriminációhoz vezethet.

Across the US,

A rendőrség Amerika-szerte

police departments are starting to use facial recognition software

elkezdett arcfelismerő programokat használni

in their crime-fighting arsenal.

a bűnözés elleni harcban.

Georgetown Law published a report

A Georgtown-i törvényszék jelentése szerint

showing that one in two adults in the US -- that's 117 million people --

minden második amerikai felnőtt - azaz 117 millió ember -

have their faces in facial recognition networks.

arca szerepel arcfelismerő hálózatokban.

Police departments can currently look at these networks unregulated,

A rendőrség szabályozatlanul fér hozzá e hálózatokhoz,

using algorithms that have not been audited for accuracy.

olyan algoritmusokkal, melyek pontosságát senki nem ellenőrizte.

Yet we know facial recognition is not fail proof,

Tudjuk, hogy az arcfelismerés nem elég megbízható,

and labeling faces consistently remains a challenge.

és az arcok következetes felismerése továbbra is gondot okoz.

You might have seen this on Facebook.

Láthatták a Facebookon.

My friends and I laugh all the time when we see other people

A barátaim és én mindig nevetünk

mislabeled in our photos.

mások félrejelölt képein a fotóinkon.

But misidentifying a suspected criminal is no laughing matter,

De tévesen felismerni egy bűnözőt, nem vicces,

nor is breaching civil liberties.

mint ahogy a személyes szabadság megsértése sem az.

Machine learning is being used for facial recognition,

A gépi tanulást arcfelismerésre használják,

but it's also extending beyond the realm of computer vision.

de már a a számítógépes látás területén kívül is használják.

In her book, "Weapons of Math Destruction,"

"Weapons of Math Destruction" [Matematikai fegyverek] című könyvében

data scientist Cathy O'Neil talks about the rising new WMDs --

Cathy O'Neil adattudós a WMO-k - egyre szaporodó,

widespread, mysterious and destructive algorithms

rejtélyes és pusztító algoritmusok - térnyeréséről ír,

that are increasingly being used to make decisions

melyeket fontos döntések során használnak,

that impact more aspects of our lives.

és melyek életünk több területére kihatnak.

So who gets hired or fired?

Kit veszünk fel és kit rúgunk ki?

Do you get that loan? Do you get insurance?

Ki kap hitelt? Ki köthet biztosítást?

Are you admitted into the college you wanted to get into?

Felvesznek a fősulira, ahova be akarunk kerülni?

Do you and I pay the same price for the same product

Az egy adott helyez vásárolt azonos termékekért

purchased on the same platform?

vajon ugyanazt az árat fizetjük?

Law enforcement is also starting to use machine learning

A törvénykezés elkezdte a gépi tanulást

for predictive policing.

a bűnmegelőzésben is használni.

Some judges use machine-generated risk scores to determine

Egyes bírók gép által generált kockázati értékek alapján döntik el,

how long an individual is going to spend in prison.

mennyi időt üljön valaki börtönben.

So we really have to think about these decisions.

Nagyon el kell gondolkoznunk ezeken a döntéseken.

Are they fair?

Igazságosak vajon?

And we've seen that algorithmic bias

Láthattuk, hogy az algoritmikus torzítás

doesn't necessarily always lead to fair outcomes.

nem mindig vezet igazságos végkimenetelhez.

So what can we do about it?

Mit tudunk hát tenni?

Well, we can start thinking about how we create more inclusive code

Ki kell találnunk, hogyan készítsünk tökéletesebb kódokat,

and employ inclusive coding practices.

jobb kódolási gyakorlatok alkalmazásával.

It really starts with people.

És ez az emberekkel kezdődik.

So who codes matters.

A kódolókkal, programozókkal.

Are we creating full-spectrum teams with diverse individuals

Vajon a fejlesztői teamek összetétele elég változatos ahhoz,

who can check each other's blind spots?

hogy a tagok képesek legyenek egymás gyenge pontjait kiküszöbölni?

On the technical side, how we code matters.

Technikai oldalról nézve az számít, hogy hogyan kódolunk.

Are we factoring in fairness as we're developing systems?

Beépítjük az igazságosságot a rendszerek fejlesztése során?

And finally, why we code matters.

És végül: miért is kódolunk?

We've used tools of computational creation to unlock immense wealth.

A számítástechnika eszközei hatalmas gazdagságra nyitottak kaput.

We now have the opportunity to unlock even greater equality

Most lehetőségünk van nagyobb egyenlőség elérésére,

if we make social change a priority

ha rendszereinket kezdettől fogva

and not an afterthought.

a társadalmi változásokat szem előtt tartva fejlesztjük.

And so these are the three tenets that will make up the "incoding" movement.

Ez a "belekódolás" mozgalom három alapeleme:

Who codes matters,

Ki kódol?

how we code matters

Hogyan kódol?

and why we code matters.

Miért kódol?

So to go towards incoding, we can start thinking about

A "belekódolás" irányába való elmozduláshoz szükségünk lesz

building platforms that can identify bias

olyan megoldásokra, amelyek képesek az enyémhez hasonló

by collecting people's experiences like the ones I shared,

emberi tapasztalatok gyűjtésével, és létező rendszerek ellenőrzésével

but also auditing existing software.

felismerni az algoritmikus torzítást.

We can also start to create more inclusive training sets.

Közben elkezdhetünk jobb betanító készleteket összeállítani.

Imagine a "Selfies for Inclusion" campaign

Képzeljünk el egy "Közreműködő selfie-k" kampányt,

where you and I can help developers test and create

mellyel segíthetjük a fejlesztőket átfogóbb betanítási készletek

more inclusive training sets.

létrehozásában és tesztelésében.

And we can also start thinking more conscientiously

És elkezdhetünk lelkiismeretesebben gondolkozni

about the social impact of the technology that we're developing.

az általunk fejlesztett technológia társadalmi hatásairól.

To get the incoding movement started,

A "belekódolási" mozgalom elindításához

I've launched the Algorithmic Justice League,

Megalapítottam az Algoritmikus Igazság Ligáját,

where anyone who cares about fairness can help fight the coded gaze.

melyhez bárki csatlakozhat, és segíthet a kódolt csőlátás elleni harcban.

On codedgaze.com, you can report bias,

A codedgaze.com oldalon bejelenthetnek részrehajlást,

request audits, become a tester

kérhetnek felülvizsgálatot, jelentkezhetnek tesztelőnek,

and join the ongoing conversation,

és csatlakozhatnak beszélgetésekhez.

#codedgaze.

#codedgaze.

So I invite you to join me

Kérem hát önöket, csatlakozzanak egy világhoz,

in creating a world where technology works for all of us,

ahol a technika mindnyájunkért van,

not just some of us,

nem csak néhányunkért.

a world where we value inclusion and center social change.

Egy világhoz, ahol a részvétel és a társadalmi változás van a központban!

Thank you.

Köszönöm.

(Applause)

( Taps)

But I have one question:

Végül van még egy kérdésem:

Will you join me in the fight?

Csatlakoznak hozzám e harcban?

(Laughter)

(Nevetés)

(Applause)

(Taps)