How I'm fighting bias in algorithms | Joy Buolamwini

Tradutor: Adília Correia Revisora: Margarida Ferreira

Hello, I'm Joy, a poet of code,

Olá, sou a Joy, uma poetisa de código,

on a mission to stop an unseen force that's rising,

numa missão de fazer parar uma força invisível em ascensão,

a force that I called "the coded gaze,"

uma força a que eu chamo "olhar codificado,"

my term for algorithmic bias.

o meu termo para preconceito algorítmico.

Algorithmic bias, like human bias, results in unfairness.

O preconceito algorítmico, como o preconceito humano, resulta da injustiça.

However, algorithms, like viruses, can spread bias on a massive scale

Porém, os algoritmos, tal como os vírus,

podem espalhar preconceitos numa grande escala

at a rapid pace.

num ritmo rápido.

Algorithmic bias can also lead to exclusionary experiences

O preconceito em algoritmos também pode levar a experiências de exclusão

and discriminatory practices.

e a práticas discriminatórias.

Let me show you what I mean.

Vou mostrar o que quero dizer.

(Video) Joy Buolamwini: Hi, camera. I've got a face.

(Vídeo) Olá, câmara, eu tenho um rosto.

Can you see my face?

Podes ver o meu rosto?

No-glasses face?

Um rosto sem óculos?

You can see her face.

Podes ver o rosto dela.

What about my face?

E o meu rosto?

I've got a mask. Can you see my mask?

Tenho uma máscara. Vês a minha máscara?

Joy Buolamwini: So how did this happen?

Joy: Então, como é que isso aconteceu?

Why am I sitting in front of a computer

Porque é que eu estou em frente de um computador

in a white mask,

com uma máscara branca,

trying to be detected by a cheap webcam?

a tentar ser detetada por uma câmara de vídeo barata?

Well, when I'm not fighting the coded gaze

Quando não estou a lutar contra o olhar codificado

as a poet of code,

como uma poetisa de código,

I'm a graduate student at the MIT Media Lab,

sou uma estudante de pós-graduação no laboratório de "media" do MIT.

and there I have the opportunity to work on all sorts of whimsical projects,

Aí tenho a oportunidade de trabalhar em todo tipo de projetos bizarros,

including the Aspire Mirror,

incluindo o Espelho de Desejar,

a project I did so I could project digital masks onto my reflection.

um projeto que fiz para poder projetar máscaras digitais para o meu reflexo.

So in the morning, if I wanted to feel powerful,

Então, pela manhã, se quisesse sentir-me poderosa,

I could put on a lion.

eu podia usar um leão.

If I wanted to be uplifted, I might have a quote.

Se quisesse ficar inspirada, podia ter uma citação.

So I used generic facial recognition software

Então eu usei o software genérico de reconhecimento facial

to build the system,

para construir o sistema,

but found it was really hard to test it unless I wore a white mask.

mas descobri que era difícil testá-lo a menos que usasse uma máscara branca.

Unfortunately, I've run into this issue before.

Infelizmente, eu já tinha esbarrado nesse problema.

When I was an undergraduate at Georgia Tech studying computer science,

Quando era universitária em Georgia Tech e estudava ciência informática,

I used to work on social robots,

eu costumava trabalhar em robôs sociais,

and one of my tasks was to get a robot to play peek-a-boo,

e uma das minhas tarefas era fazer com que um robô jogasse às escondidas,

a simple turn-taking game

um simples jogo de turnos

where partners cover their face and then uncover it saying, "Peek-a-boo!"

em que os parceiros escondem a cara e depois destapam-na, dizendo "Espreita!"

The problem is, peek-a-boo doesn't really work if I can't see you,

O problema é que isso só funciona se eu puder ver o outro,

and my robot couldn't see me.

e o meu robô não me via.

But I borrowed my roommate's face to get the project done,

Pedi emprestada a cara da minha colega de quarto para terminar o projeto,

submitted the assignment,

apresentei a tarefa e pensei:

and figured, you know what, somebody else will solve this problem.

"Sabem que mais, outra pessoa que resolva esse problema".

Not too long after,

Pouco tempo depois,

I was in Hong Kong for an entrepreneurship competition.

eu estava em Hong Kong para uma competição de empreendedorismo.

The organizers decided to take participants

Os organizadores decidiram levar os participantes

on a tour of local start-ups.

numa visita às "start-ups" locais.

One of the start-ups had a social robot,

Uma das "start-ups" tinha um robô social,

and they decided to do a demo.

e decidiram fazer uma demonstração.

The demo worked on everybody until it got to me,

A demonstração funcionou com toda a gente até chegar a minha vez.

and you can probably guess it.

Provavelmente já adivinham.

It couldn't detect my face.

Não conseguiu detetar o meu rosto.

I asked the developers what was going on,

Perguntei aos responsáveis o que é que se passava,

and it turned out we had used the same generic facial recognition software.

e acontece que tínhamos usado o mesmo software genérico de reconhecimento facial.

Halfway around the world,

Do outro lado do mundo,

I learned that algorithmic bias can travel as quickly

aprendi que o preconceito do algoritmo pode viajar tão depressa

as it takes to download some files off of the internet.

quanto uma descarga de ficheiros da Internet.

So what's going on? Why isn't my face being detected?

Então, o que é que se passa? Porque é que a minha cara não é detetada?

Well, we have to look at how we give machines sight.

Temos de olhar para o modo como damos visão às máquinas.

Computer vision uses machine learning techniques

A visão informática usa técnicas de aprendizagem de máquina

to do facial recognition.

para fazer o reconhecimento facial.

So how this works is, you create a training set with examples of faces.

Funciona assim: criamos um grupo de formação com exemplos de rostos.

This is a face. This is a face. This is not a face.

Isto é um rosto. Isto é um rosto. Isto não é um rosto.

And over time, you can teach a computer how to recognize other faces.

Com o tempo, podemos ensinar o computador a reconhecer rostos.

However, if the training sets aren't really that diverse,

Contudo, se os grupos de formação não forem diversificados,

any face that deviates too much from the established norm

qualquer rosto que se desvie demasiado da norma estabelecida

will be harder to detect,

será difícil de detetar.

which is what was happening to me.

Era o que estava a acontecer comigo.

But don't worry -- there's some good news.

Mas não se preocupem, há boas notícias.

Training sets don't just materialize out of nowhere.

Os grupos de formação não se materializam do nada.

We actually can create them.

Na verdade, podemos criá-los.

So there's an opportunity to create full-spectrum training sets

Portanto, há a oportunidade de criar grupos de formação com um espetro completo

that reflect a richer portrait of humanity.

que reflitam um retrato mais rico da humanidade.

Now you've seen in my examples

Vocês viram nos meus exemplos

how social robots

com os robôs sociais

was how I found out about exclusion with algorithmic bias.

que foi como eu descobri a exclusão com o preconceito algorítmico.

But algorithmic bias can also lead to discriminatory practices.

Mas o preconceito algorítmico também pode levar a práticas discriminatórias.

Across the US,

Nos Estados Unidos da América,

police departments are starting to use facial recognition software

os departamentos da polícia começam a usar o software de reconhecimento facial

in their crime-fighting arsenal.

no seu arsenal de luta contra o crime.

Georgetown Law published a report

A Faculdade de Direito de Georgetown publicou um relatório

showing that one in two adults in the US -- that's 117 million people --

mostrando que um em dois adultos, nos EUA

— ou seja, 117 milhões de pessoas —

have their faces in facial recognition networks.

têm os rostos em redes de reconhecimento facial.

Police departments can currently look at these networks unregulated,

Os departamentos da polícia podem procurar nessas redes não regulamentadas,

using algorithms that have not been audited for accuracy.

usando algoritmos que não foram auditados quanto ao seu rigor.

Yet we know facial recognition is not fail proof,

No entanto, sabemos que o reconhecimento facial não é à prova de falhas,

and labeling faces consistently remains a challenge.

e rotular rostos consistentemente continua a ser um problema.

You might have seen this on Facebook.

Podem ter visto isto no Facebook.

My friends and I laugh all the time when we see other people

Os meus amigos e eu estamos sempre a rir quando vemos outras pessoas

mislabeled in our photos.

mal rotuladas nas nossas fotos.

But misidentifying a suspected criminal is no laughing matter,

Mas a má identificação de um possível criminoso não é motivo para rir,

nor is breaching civil liberties.

e o mesmo acontece com a violação das liberdades civis.

Machine learning is being used for facial recognition,

A aprendizagem de máquinas está a ser usada para reconhecimento facial,

but it's also extending beyond the realm of computer vision.

mas está a estender-se para além do domínio da visão por computador.

In her book, "Weapons of Math Destruction,"

No seu livro, "Armas de Destruição Matemática" (ADM),

data scientist Cathy O'Neil talks about the rising new WMDs --

a cientista de dados Cathy O'Neil fala sobre o aumento de novas ADM

widespread, mysterious and destructive algorithms

algoritmos difundidos, misteriosos e destrutivos

that are increasingly being used to make decisions

que estão a ser cada vez mais usados para tomar decisões

that impact more aspects of our lives.

que afetam mais aspetos da nossa vida.

So who gets hired or fired?

Por exemplo, quem é contratado ou despedido?

Do you get that loan? Do you get insurance?

Recebemos esse empréstimo? Recebemos o seguro?

Are you admitted into the college you wanted to get into?

Somos admitidos na faculdade em que queremos entrar?

Do you and I pay the same price for the same product

Pagamos todos o mesmo preço para o mesmo produto

purchased on the same platform?

comprado na mesma plataforma?

Law enforcement is also starting to use machine learning

A polícia também está a começar a usar a aprendizagem de máquinas

for predictive policing.

para policiamento preditivo.

Some judges use machine-generated risk scores to determine

Alguns juízes usam a avaliação de risco gerada por máquinas para determinar

how long an individual is going to spend in prison.

quanto tempo um indivíduo vai passar na prisão.

So we really have to think about these decisions.

Portanto, temos mesmo que pensar nessas decisões.

Are they fair?

Elas sãos justas?

And we've seen that algorithmic bias

Já vimos que o preconceito algorítmico

doesn't necessarily always lead to fair outcomes.

nem sempre conduz a resultados justos.

So what can we do about it?

Então, o que podemos fazer quanto a isso?

Well, we can start thinking about how we create more inclusive code

Podemos começar a pensar em criar códigos mais inclusivos

and employ inclusive coding practices.

e usar práticas de codificação inclusiva.

It really starts with people.

Isto começa com as pessoas.

So who codes matters.

Por isso, é importante quem codifica.

Are we creating full-spectrum teams with diverse individuals

Estaremos a criar equipas de espetro completo com diversos indivíduos

who can check each other's blind spots?

que podem verificar os pontos cegos uns dos outros?

On the technical side, how we code matters.

No lado técnico, é importante a forma como codificamos.

Are we factoring in fairness as we're developing systems?

Estaremos a considerar a equidade enquanto desenvolvemos os sistemas?

And finally, why we code matters.

E, finalmente, é importante a razão por que codificamos.

We've used tools of computational creation to unlock immense wealth.

Temos usado ferramentas de criação informática

para desbloquear uma riqueza imensa.

We now have the opportunity to unlock even greater equality

Agora temos a oportunidade de desbloquear uma igualdade ainda maior

if we make social change a priority

se dermos prioridade à mudança social

and not an afterthought.

e não uma reflexão tardia.

And so these are the three tenets that will make up the "incoding" movement.

Portanto, estes são os três princípios que formam o movimento "de codificação".

Who codes matters,

É importante quem codifica,

how we code matters

é importante como codificamos,

and why we code matters.

e é importante a razão por que codificamos.

So to go towards incoding, we can start thinking about

Para avançarmos para a codificação, podemos começar a pensar

building platforms that can identify bias

em construir plataformas que possam identificar preconceitos

by collecting people's experiences like the ones I shared,

reunindo as experiências de pessoas como as que eu contei,

but also auditing existing software.

e também auditando os softwares existentes.

We can also start to create more inclusive training sets.

Também podemos começar a criar grupos de formação mais inclusivos.

Imagine a "Selfies for Inclusion" campaign

Imaginem uma campanha "Selfies para Inclusão"

where you and I can help developers test and create

em que qualquer um pode ajudar os desenvolvedores a criar e testar

more inclusive training sets.

grupos de formação mais inclusivos.

And we can also start thinking more conscientiously

Também podemos começar a pensar com maior consciência

about the social impact of the technology that we're developing.

no impacto social da tecnologia que estamos a desenvolver.

To get the incoding movement started,

Para iniciar o movimento de codificação,

I've launched the Algorithmic Justice League,

lancei o Algoritmo Liga da Justiça,

where anyone who cares about fairness can help fight the coded gaze.

em que todos os que se interessam pela justiça

podem ajudar a lutar contra o olhar codificado.

On codedgaze.com, you can report bias,

Em codedgaze.com, podem relatar preconceitos,

request audits, become a tester

exigir auditos, fazerem testes

and join the ongoing conversation,

e participar das conversas em curso,

#codedgaze.

#codedgaze.

So I invite you to join me

Portanto, convido-os a juntarem-se a mim

in creating a world where technology works for all of us,

para criar um mundo em que a tecnologia funcione para todos nós,

not just some of us,

não apenas para alguns,

a world where we value inclusion and center social change.

um mundo em que valorizamos a inclusão e nos centramos na mudança social.

Thank you.

Obrigada.

(Applause)

(Aplausos).

But I have one question:

Mas eu tenho uma pergunta:

Will you join me in the fight?

Vão juntar-se a mim nesta luta?

(Laughter)

(Risos)

(Applause)

(Aplausos)