How I'm fighting bias in algorithms | Joy Buolamwini

Překladatel: Kateřina Jabůrková Korektor: Alena Novotná

Hello, I'm Joy, a poet of code,

Ahoj, jsem Joy, básnířka kódu,

on a mission to stop an unseen force that's rising,

na misi usilující o zastavení síly, která je na vzestupu,

a force that I called "the coded gaze,"

síle zvané „zakódovaný pohled“,

my term for algorithmic bias.

můj termín pro algoritmický předsudek.

Algorithmic bias, like human bias, results in unfairness.

Algoritmický předsudek, stejně jako lidský směřuje k neférovosti.

However, algorithms, like viruses, can spread bias on a massive scale

Nicméně, podobně jako virusy, algoritmy mohou šířit předsudky

at a rapid pace.

masově a velmi rychle.

Algorithmic bias can also lead to exclusionary experiences

Algoritmický předsudek může také vést k vyloučení

and discriminatory practices.

a diskriminujícím praktikám.

Let me show you what I mean.

Ukážu vám, co mám na mysli.

(Video) Joy Buolamwini: Hi, camera. I've got a face.

(video) Joy: Ahoj, kamero. Mám obličej.

Can you see my face?

Vidíte můj obličej?

No-glasses face?

Obličej bez brýlí?

You can see her face.

Vidíte i její tvář.

What about my face?

A co tu mou?

I've got a mask. Can you see my mask?

Mám masku. Vidíte tu masku?

Joy Buolamwini: So how did this happen?

Joy: Jak se to přihodilo?

Why am I sitting in front of a computer

Proč sedím před počítačem

in a white mask,

v bílé masce ve snaze

trying to be detected by a cheap webcam?

nechat se identifikovat levnou webkamerou?

Well, when I'm not fighting the coded gaze

Když nebojuji proti zakódovanému pohledu

as a poet of code,

jako básnířka kódu,

I'm a graduate student at the MIT Media Lab,

jsem studentkou Media Lab na MIT,

and there I have the opportunity to work on all sorts of whimsical projects,

kde mám možnost pracovat na celé řadě zvláštních projektů,

including the Aspire Mirror,

třeba i na projektu Zrcadla Aspire,

a project I did so I could project digital masks onto my reflection.

kde jsem se pokusila promítnout digitální masku na můj odraz.

So in the morning, if I wanted to feel powerful,

Takže ráno, když jsem se chtěla cítit silná,

I could put on a lion.

mohla jsem si nasadit lva.

If I wanted to be uplifted, I might have a quote.

Pokud jsem chtěla povzbudit, mohla jsem mít citát.

So I used generic facial recognition software

Takže jsem použila generický software na rozpoznávání obličeje

to build the system,

pro výstavbu tohoto systému,

but found it was really hard to test it unless I wore a white mask.

ale bylo obtížné jej testovat, pokud jsem neměla bílou masku.

Unfortunately, I've run into this issue before.

Naneštěstí jsem na tento problém narazila již dříve.

When I was an undergraduate at Georgia Tech studying computer science,

Když jsem studovala na Georgia Tech počítačovou vědu,

I used to work on social robots,

pracovala jsem na sociálních robotech

and one of my tasks was to get a robot to play peek-a-boo,

a jedním z mých úkolů bylo přimět robota hrát na schovávanou,

a simple turn-taking game

jednoduchou hru,

where partners cover their face and then uncover it saying, "Peek-a-boo!"

kde si partneři zahalí své tváře a po odhalení říkají „Ku ku ku!!“

The problem is, peek-a-boo doesn't really work if I can't see you,

Problém je, že to nefunguje, pokud se nevidíte,

and my robot couldn't see me.

a můj robot mne nemohl vidět.

But I borrowed my roommate's face to get the project done,

Abych dokončila tento projekt, půjčila jsem si obličej spolubydlícího,

submitted the assignment,

odevzdala úkol

and figured, you know what, somebody else will solve this problem.

a řekla si, že někdo jiný jistě vyřeší tento problém.

Not too long after,

Zanedlouho jsem byla v Hong Kongu

I was in Hong Kong for an entrepreneurship competition.

na podnikatelské soutěži.

The organizers decided to take participants

Organizátoři vzali účastníky

on a tour of local start-ups.

na prohlídku místních start-upů.

One of the start-ups had a social robot,

Jeden ze start-upů měl společenského robota

and they decided to do a demo.

a rozhodli se nám jej ukázat.

The demo worked on everybody until it got to me,

Demo pracovalo na každém, než se dostali ke mně

and you can probably guess it.

a asi uhádnete, co se stalo.

It couldn't detect my face.

Nedokázala detekovat mou tvář.

I asked the developers what was going on,

Zeptala jsem se developerů, co se děje a ukázalo se,

and it turned out we had used the same generic facial recognition software.

že použili stejný generický software pro rozpoznávání obličeje.

Halfway around the world,

Na druhé straně polokoule jsem zjistila,

I learned that algorithmic bias can travel as quickly

že algoritmický předsudek může cestovat tak rychle,

as it takes to download some files off of the internet.

jak dlouho trvá stažení několika souborů na počítači.

So what's going on? Why isn't my face being detected?

Takže co se děje? Proč můj obličej nebyl rozpoznán?

Well, we have to look at how we give machines sight.

Musíme se podívat na to, jak umožňujeme strojům vidět.

Computer vision uses machine learning techniques

Počítačový zrak používá techniky strojového učení,

to do facial recognition.

aby rozpoznal obličeje.

So how this works is, you create a training set with examples of faces.

Funguje to tak, že vytvoříte tréninkovou sadu s ukázkami tváří.

This is a face. This is a face. This is not a face.

To je tvář. To je tvář. To není tvář.

And over time, you can teach a computer how to recognize other faces.

A za čas můžete naučit počítač, jak rozpoznat jiné tváře.

However, if the training sets aren't really that diverse,

Ale pokud nejsou tréninkové sady dost rozmanité,

any face that deviates too much from the established norm

každá tvář, která se příliš vzdaluje od etablované normy

will be harder to detect,

bude obtížně zjistitelná,

which is what was happening to me.

což je to, co se stává mně.

But don't worry -- there's some good news.

Ale nebojte se - jsou i dobré zprávy.

Training sets don't just materialize out of nowhere.

Tréningové sety se neobjevují z ničeho.

We actually can create them.

Ve skutečnosti je tvoříme my.

So there's an opportunity to create full-spectrum training sets

Existuje tedy příležitost vytvořit plné spektrum tréninkových setů,

that reflect a richer portrait of humanity.

které reflektují pestřejší obraz lidstva.

Now you've seen in my examples

Jak vidíte, díky společenským robotům

how social robots

jsem přišla na vyloučení

was how I found out about exclusion with algorithmic bias.

způsobené algoritmickým předsudkem.

But algorithmic bias can also lead to discriminatory practices.

Tento předsudek může ale také vést k diskriminačním praktikám.

Across the US,

Policejní oddělení v USA

police departments are starting to use facial recognition software

začínají používat software na rozpoznávání obličeje

in their crime-fighting arsenal.

jako nástroj boje proti zločinu.

Georgetown Law published a report

Gergetown Law publikovalo zprávu ukazující,

showing that one in two adults in the US -- that's 117 million people --

že jeden ze dvou dospělých v USA - to je ze 117 milionů lidí -

have their faces in facial recognition networks.

mají svou tvář v sítích na rozpoznávání tváře.

Police departments can currently look at these networks unregulated,

Policie se na tyto sítě může dívat bez regulace,

using algorithms that have not been audited for accuracy.

při použití algoritmů, které nebyly auditovány na přesnost.

Yet we know facial recognition is not fail proof,

A to víme, že rozpoznání tváře není neomylné

and labeling faces consistently remains a challenge.

a označování tváří stále zůstává výzvou.

You might have seen this on Facebook.

Mohli jste to vidět na facebooku.

My friends and I laugh all the time when we see other people

S přáteli se vždy smějeme,

mislabeled in our photos.

když vidíme špatně označené lidi na fotkách.

But misidentifying a suspected criminal is no laughing matter,

Ale není k smíchu špatně označený podezřelý,

nor is breaching civil liberties.

ani porušování našich občanských práv.

Machine learning is being used for facial recognition,

Pro rozpoznání tváře je používáno strojové učení,

but it's also extending beyond the realm of computer vision.

ale toto zasahuje za říši vidění počítače.

In her book, "Weapons of Math Destruction,"

Ve své knize „Zbraně matematického ničení“

data scientist Cathy O'Neil talks about the rising new WMDs --

Cathy O´Neil, analytička dat, hovoří o vzestupu nových zbraní -

widespread, mysterious and destructive algorithms

široce rozšířených, záhadných a destruktivních algoritmů,

that are increasingly being used to make decisions

které mají dopad na více aspektů našich životů

that impact more aspects of our lives.

a jsou ve vzrůstající míře užívány pro rozhodování.

So who gets hired or fired?

Takže koho přijmou, koho vyhodí?

Do you get that loan? Do you get insurance?

Kdo dostane půjčku? Kdo bude pojištěn?

Are you admitted into the college you wanted to get into?

Budete přijati na školu, na kterou chcete?

Do you and I pay the same price for the same product

Zaplatíme vy i já stejnou cenu za stejný produkt,

purchased on the same platform?

zakoupený na stejné platformě?

Law enforcement is also starting to use machine learning

Policie také začíná využívat strojové učení

for predictive policing.

pro prediktivní ochranu.

Some judges use machine-generated risk scores to determine

Někteří soudci využívají strojem generované hodnocení rizik pro určení,

how long an individual is going to spend in prison.

jak dlouho má člověk zůstat ve vězení.

So we really have to think about these decisions.

Opravdu musíme přemýšlet o těchto rozhodnutích.

Are they fair?

Jsou férová?

And we've seen that algorithmic bias

Viděli jsme, že algoritmický předsudek

doesn't necessarily always lead to fair outcomes.

nemusí vždy vést k férovým výsledkům.

So what can we do about it?

Co s tím můžeme dělat?

Well, we can start thinking about how we create more inclusive code

Můžeme začít uvažovat o tvorbě inkluzivnějšího kódu

and employ inclusive coding practices.

a užívat inkluzivní techniky kódování.

It really starts with people.

Opravdu to začíná lidmi.

So who codes matters.

Záleží na tom, kdo kóduje.

Are we creating full-spectrum teams with diverse individuals

Vytváříme široké týmy s různými osobnostmi,

who can check each other's blind spots?

kteří si vzájemně mohou kontrolovat slepá místa?

On the technical side, how we code matters.

Po technické stránce záleží na tom, jak kódujeme.

Are we factoring in fairness as we're developing systems?

Zahrnujeme férovost do vyvíjených systémů?

And finally, why we code matters.

Nakonec záleží na tom, proč kódujeme.

We've used tools of computational creation to unlock immense wealth.

Využili jsme nástroje pro tvorbu, odemykající obrovské bohatství.

We now have the opportunity to unlock even greater equality

Máme příležitost otevřít ještě větší rovnost,

if we make social change a priority

pokud sociální změně dáme prioritu

and not an afterthought.

a nebudeme na ni pouze vzpomínat.

And so these are the three tenets that will make up the "incoding" movement.

To jsou tři zásady, které jsou součástí tohoto hnutí.

Who codes matters,

Záleží na tom, kdo kóduje,

how we code matters

jak kódujeme

and why we code matters.

a proč kódujeme.

So to go towards incoding, we can start thinking about

Takže můžeme začít přemýšlet

building platforms that can identify bias

o vytváření platformy identifikující předsudky,

by collecting people's experiences like the ones I shared,

sbírání takových zkušeností, kterou jsem vám vyprávěla,

but also auditing existing software.

ale také auditování existujícího software.

We can also start to create more inclusive training sets.

Také můžeme vytvářet inkluzivnější tréninkové sety.

Imagine a "Selfies for Inclusion" campaign

Přestavte si kampaň „Selfie pro inkluzi“,

where you and I can help developers test and create

kde já a vy můžeme pomoci developerům testovat a vytvořit

more inclusive training sets.

inkluzivnější tréninkové sety.

And we can also start thinking more conscientiously

Také můžeme začít přemýšlet svědomitěji

about the social impact of the technology that we're developing.

o sociálních důsledcích technologií, které vytváříme.

To get the incoding movement started,

K nastartování tohoto hnutí

I've launched the Algorithmic Justice League,

jsem vytvořila algoritmickou Ligu spravedlivých,

where anyone who cares about fairness can help fight the coded gaze.

kde kdokoli může pomoci proti „zakódovanému pohledu“.

On codedgaze.com, you can report bias,

Na codedgaze.com můžete dát vědět o předsudku,

request audits, become a tester

požádat si o audit, stát se testerem,

and join the ongoing conversation,

nebo se zapojit do probíhající diskuse,

#codedgaze.

#codedgaze.

So I invite you to join me

Takže vás zvu, abyste se ke mně přidali

in creating a world where technology works for all of us,

ve vytváření světa, kde technologie pracuje pro všechny,

not just some of us,

ne jen pro některé,

a world where we value inclusion and center social change.

svět, ve kterém si ceníme inkluze a soustředíme se na sociální změnu.

Thank you.

Děkuji.

(Applause)

(potlesk)

But I have one question:

Mám ale jednu otázku:

Will you join me in the fight?

Přidáte se k mému boji?

(Laughter)

(smích)

(Applause)

(potlesk)