How I'm fighting bias in algorithms | Joy Buolamwini

Tradutor: Leonardo Silva Revisor: Wanderley Jesus

Hello, I'm Joy, a poet of code,

Olá, sou Joy, uma "poetisa dos códigos",

on a mission to stop an unseen force that's rising,

a minha missão é deter uma força invisível que tem crescido,

a force that I called "the coded gaze,"

uma força que chamo de "olhar codificado",

my term for algorithmic bias.

é como chamo o viés algorítmico.

Algorithmic bias, like human bias, results in unfairness.

Tal como o preconceito humano, ele resulta em desigualdade.

However, algorithms, like viruses, can spread bias on a massive scale

Porém, os algoritmos, assim como os vírus,

podem espalhar o viés em grande escala e rapidamente.

at a rapid pace.

Algorithmic bias can also lead to exclusionary experiences

O viés algorítmico também pode levar a experiências de exclusão

and discriminatory practices.

e a práticas discriminatórias.

Let me show you what I mean.

Vou mostrar o que quero dizer.

(Video) Joy Buolamwini: Hi, camera. I've got a face.

(Vídeo) Joy Boulamwini: Oi, câmera. Tenho um rosto.

Can you see my face?

Consegue ver meu rosto?

No-glasses face?

Um rosto sem óculos?

You can see her face.

Você consegue ver o rosto dela...

What about my face?

E o meu?

I've got a mask. Can you see my mask?

Estou usando uma máscara. Consegue vê-la?

Joy Buolamwini: So how did this happen?

Joy Boulamwini: Como isso aconteceu?

Why am I sitting in front of a computer

Por que estou diante de um computador, usando uma máscara branca,

in a white mask,

trying to be detected by a cheap webcam?

tentando ser detectada por uma câmera barata?

Well, when I'm not fighting the coded gaze

Bom, quando não estou lutando contra o olhar codificado

as a poet of code,

como uma poetisa dos códigos,

I'm a graduate student at the MIT Media Lab,

faço pós-graduação no Laboratório de Mídia do MIT,

and there I have the opportunity to work on all sorts of whimsical projects,

na qual tenho a oportunidade de trabalhar em diversos projetos bacanas,

including the Aspire Mirror,

inclusive no "Aspire Mirror",

a project I did so I could project digital masks onto my reflection.

projeto que criei para poder projetar máscaras digitais sobre minha imagem.

So in the morning, if I wanted to feel powerful,

De manhã, se eu quisesse me sentir poderosa, poderia usar uma de leão.

I could put on a lion.

If I wanted to be uplifted, I might have a quote.

Se precisasse de uma inspiração, usaria uma citação.

So I used generic facial recognition software

Então, usei um software genérico de reconhecimento facial

to build the system,

para criar o sistema,

but found it was really hard to test it unless I wore a white mask.

mas descobri que era bem difícil testá-lo, a não ser que usasse uma máscara branca.

Unfortunately, I've run into this issue before.

Infelizmente, já tive esse problema antes.

When I was an undergraduate at Georgia Tech studying computer science,

Quando cursava minha graduação em ciência da computação na Georgia Tech,

I used to work on social robots,

eu trabalhava com robôs sociais,

and one of my tasks was to get a robot to play peek-a-boo,

e uma das minhas tarefas era fazer com que um robô brincasse de "Achou!",

a simple turn-taking game

um jogo simples de revezamento

where partners cover their face and then uncover it saying, "Peek-a-boo!"

em que uma pessoa cobre o rosto e depois o mostra à outra, dizendo: "Achou!"

The problem is, peek-a-boo doesn't really work if I can't see you,

O problema é que a brincadeira não dá certo se você não vê o outro,

and my robot couldn't see me.

e meu robô não me via.

But I borrowed my roommate's face to get the project done,

Aí, peguei emprestado o rosto de uma amiga para fazer o projeto,

submitted the assignment,

entreguei a tarefa

and figured, you know what, somebody else will solve this problem.

e pensei: "Sabe de uma coisa? Outra pessoa vai resolver esse problema".

Not too long after,

Pouco tempo depois,

I was in Hong Kong for an entrepreneurship competition.

eu estava em Hong Kong, numa competição de empreendedorismo.

The organizers decided to take participants

Os organizadores decidiram levar os participantes

on a tour of local start-ups.

pra visitar "start-ups" locais.

One of the start-ups had a social robot,

Uma das start-ups tinha um robô social, e eles decidiram fazer uma demonstração.

and they decided to do a demo.

The demo worked on everybody until it got to me,

A demonstração funcionou com todos,

até que chegou a minha vez e, como vocês já podem imaginar,

and you can probably guess it.

It couldn't detect my face.

ele não detectou meu rosto.

I asked the developers what was going on,

Perguntei aos desenvolvedores por quê,

and it turned out we had used the same generic facial recognition software.

e descobri que usaram o mesmo software genérico de reconhecimento facial que eu.

Halfway around the world,

Do outro lado do mundo, descobri que o viés algorítmico

I learned that algorithmic bias can travel as quickly

consegue viajar tão rápido quanto um download da internet.

as it takes to download some files off of the internet.

So what's going on? Why isn't my face being detected?

O que estava acontecendo? Por que meu rosto não era detectado?

Well, we have to look at how we give machines sight.

Bem, precisamos analisar como damos "visão" às máquinas.

Computer vision uses machine learning techniques

A visão de computador utiliza técnicas de aprendizagem automática

to do facial recognition.

para fazer o reconhecimento facial.

So how this works is, you create a training set with examples of faces.

Funciona assim: você cria uma série de treinamento, com alguns rostos.

This is a face. This is a face. This is not a face.

"Isto é um rosto. Isto é um isto. Isto não é um rosto."

And over time, you can teach a computer how to recognize other faces.

Com o tempo, você ensina o computador a reconhecer outros rostos.

However, if the training sets aren't really that diverse,

Porém, se as séries não forem diversificadas o bastante,

any face that deviates too much from the established norm

qualquer rosto que seja muito diferente dos demais

will be harder to detect,

será mais difícil de detectar, e era isso que acontecia comigo.

which is what was happening to me.

But don't worry -- there's some good news.

Mas não se preocupem. Tenho boas notícias.

Training sets don't just materialize out of nowhere.

As séries de treinamento não surgem do nada.

We actually can create them.

Nós é que as criamos.

So there's an opportunity to create full-spectrum training sets

Então, podemos criar séries de amplo espectro,

that reflect a richer portrait of humanity.

que reflitam rostos humanos de forma mais diversa.

Now you've seen in my examples

Vocês já viram nos exemplos que dei

how social robots

como os robôs sociais

was how I found out about exclusion with algorithmic bias.

me fizeram ver a exclusão causada pelo viés algorítmico,

But algorithmic bias can also lead to discriminatory practices.

mas o viés algorítmico também pode acarretar práticas discriminatórias.

Across the US,

Em todos os Estados Unidos,

police departments are starting to use facial recognition software

departamentos de polícia estão começando a usar softwares de reconhecimento facial

in their crime-fighting arsenal.

como parte de seu arsenal na luta contra o crime.

Georgetown Law published a report

A Georgetown Law publicou um relatório

showing that one in two adults in the US -- that's 117 million people --

mostrando que um em cada dois adultos nos EUA, ou seja, 117 milhões de pessoas,

have their faces in facial recognition networks.

tiveram seus rostos incluídos em redes de reconhecimento facial.

Police departments can currently look at these networks unregulated,

Hoje, os departamentos de polícia podem usar essas redes sem qualquer regulação,

using algorithms that have not been audited for accuracy.

usando algoritmos que não tiveram sua precisão auditada.

Yet we know facial recognition is not fail proof,

Ainda assim, sabemos que o reconhecimento facial não é infalível,

and labeling faces consistently remains a challenge.

e identificar rostos de forma consistente continua sendo um desafio.

You might have seen this on Facebook.

Talvez já tenham visto isso no Facebook.

My friends and I laugh all the time when we see other people

Eu e meus amigos rimos o tempo todo quando vemos outras pessoas

mislabeled in our photos.

sendo marcadas incorretamente em nossas fotos.

But misidentifying a suspected criminal is no laughing matter,

Mas errar na identificação de um suspeito de crime não é nada engraçado,

nor is breaching civil liberties.

nem violar liberdades civis.

Machine learning is being used for facial recognition,

A aprendizagem automática vem sendo usada no reconhecimento facial,

but it's also extending beyond the realm of computer vision.

mas também vem se expandindo além da visão de computador.

In her book, "Weapons of Math Destruction,"

Em seu livro "Weapons of Math Destruction",

data scientist Cathy O'Neil talks about the rising new WMDs --

a cientista de dados Cathy O'Neil fala sobre a ascensão dos novos "DMDs"

widespread, mysterious and destructive algorithms

algoritmos "disseminados, misteriosos e destrutivos"

that are increasingly being used to make decisions

que têm sido cada vez mais utilizados na tomada de decisões

that impact more aspects of our lives.

que impactam mais aspectos das nossas vidas.

So who gets hired or fired?

Quem será contratado ou demitido?

Do you get that loan? Do you get insurance?

Vai conseguir aquele empréstimo, ou seguro?

Are you admitted into the college you wanted to get into?

Vai entrar na faculdade que você queria?

Do you and I pay the same price for the same product

Eu e você pagamos o mesmo valor pelo mesmo produto

purchased on the same platform?

vendido na mesma loja?

Law enforcement is also starting to use machine learning

A segurança pública também está começando a usar a aprendizagem automática

for predictive policing.

no policiamento preditivo.

Some judges use machine-generated risk scores to determine

Alguns juízes utilizam índices de risco gerados por máquinas

how long an individual is going to spend in prison.

para determinar quanto tempo um indivíduo ficará na prisão.

So we really have to think about these decisions.

Temos realmente que refletir sobre essas decisões. Será que são justas?

Are they fair?

And we've seen that algorithmic bias

E já vimos que o viés algorítmico nem sempre leva a resultados justos.

doesn't necessarily always lead to fair outcomes.

So what can we do about it?

Então, o que podemos fazer?

Well, we can start thinking about how we create more inclusive code

Bem, podemos começar a pensar em como criar codificação mais inclusiva

and employ inclusive coding practices.

e adotar práticas de codificação inclusivas.

It really starts with people.

Tudo começa com pessoas.

So who codes matters.

Então, é importante saber quem codifica.

Are we creating full-spectrum teams with diverse individuals

Estamos criando equipes diversificadas, com indivíduos diferentes

who can check each other's blind spots?

que possam verificar pontos cegos uns dos outros?

On the technical side, how we code matters.

Quanto ao aspecto técnico, a forma como codificamos é relevante.

Are we factoring in fairness as we're developing systems?

Estamos levando em conta a equidade no desenvolvimento de sistemas?

And finally, why we code matters.

Finalmente, a razão pela qual codificamos é relevante.

We've used tools of computational creation to unlock immense wealth.

Utilizamos ferramentas de criação computacional para gerar imensas riquezas.

We now have the opportunity to unlock even greater equality

Hoje temos a oportunidade de gerar igualdade ainda maior,

if we make social change a priority

se considerarmos a mudança social como uma prioridade

and not an afterthought.

e não como algo de menos importância.

And so these are the three tenets that will make up the "incoding" movement.

Esses são os três princípios na criação do movimento pela codificação inclusiva.

Who codes matters,

É importante quem codifica,

how we code matters

é importante como se codifica

and why we code matters.

e é importante por que se codifica.

So to go towards incoding, we can start thinking about

Então, para uma codificação inclusiva, podemos começar a pensar

building platforms that can identify bias

na criação de plataformas que identifiquem o viés,

by collecting people's experiences like the ones I shared,

coletando as experiências das pessoas, como as que eu contei aqui,

but also auditing existing software.

mas também auditando softwares já existentes.

We can also start to create more inclusive training sets.

Também podemos começar a criar séries de treinamento mais inclusivas.

Imagine a "Selfies for Inclusion" campaign

Imaginem uma campanha de "'Selfies' pela Inclusão",

where you and I can help developers test and create

em que eu e vocês possamos ajudar os desenvolvedores a testar

e criar séries de treinamento mais inclusivas.

more inclusive training sets.

And we can also start thinking more conscientiously

Também podemos começar a pensar de forma mais consciente

about the social impact of the technology that we're developing.

sobre o impacto social das tecnologias que temos desenvolvido.

To get the incoding movement started,

Pra iniciarmos o movimento de codificação inclusiva

I've launched the Algorithmic Justice League,

lancei a Liga da Justiça Algorítmica,

where anyone who cares about fairness can help fight the coded gaze.

onde todos que se importem com a equidade podem lutar contra o olhar codificado.

On codedgaze.com, you can report bias,

Em codedgaze.com, vocês podem relatar vieses,

request audits, become a tester

solicitar auditorias, participar dos testes

and join the ongoing conversation,

e se juntar ao debate que vem ocorrendo,

#codedgaze.

#codedgaze.

So I invite you to join me

Convido vocês a se juntarem a mim

in creating a world where technology works for all of us,

na criação de um mundo onde a tecnologia trabalhe em favor de todos,

not just some of us,

não apenas em favor de alguns,

a world where we value inclusion and center social change.

um mundo onde valorizemos a inclusão e tenhamos como foco a mudança social.

Thank you.

Obrigada.

(Applause)

(Aplausos)

But I have one question:

Mas tenho uma pergunta:

Will you join me in the fight?

Vocês vão se juntar a mim nessa luta?

(Laughter)

(Risos)

(Applause)

(Aplausos)