How I'm fighting bias in algorithms | Joy Buolamwini

312,131 views ・ 2017-03-29

TED


Por favor, faça duplo clique nas legendas em inglês abaixo para reproduzir o vídeo.

Tradutor: Adília Correia Revisora: Margarida Ferreira
00:12
Hello, I'm Joy, a poet of code,
0
12861
3134
Olá, sou a Joy, uma poetisa de código,
00:16
on a mission to stop an unseen force that's rising,
1
16019
4993
numa missão de fazer parar uma força invisível em ascensão,
00:21
a force that I called "the coded gaze,"
2
21036
2856
uma força a que eu chamo "olhar codificado,"
00:23
my term for algorithmic bias.
3
23916
3309
o meu termo para preconceito algorítmico.
00:27
Algorithmic bias, like human bias, results in unfairness.
4
27249
4300
O preconceito algorítmico, como o preconceito humano, resulta da injustiça.
00:31
However, algorithms, like viruses, can spread bias on a massive scale
5
31573
6022
Porém, os algoritmos, tal como os vírus,
podem espalhar preconceitos numa grande escala
00:37
at a rapid pace.
6
37619
1582
num ritmo rápido.
00:39
Algorithmic bias can also lead to exclusionary experiences
7
39763
4387
O preconceito em algoritmos também pode levar a experiências de exclusão
00:44
and discriminatory practices.
8
44174
2128
e a práticas discriminatórias.
00:46
Let me show you what I mean.
9
46326
2061
Vou mostrar o que quero dizer.
00:48
(Video) Joy Buolamwini: Hi, camera. I've got a face.
10
48800
2436
(Vídeo) Olá, câmara, eu tenho um rosto.
00:51
Can you see my face?
11
51982
1864
Podes ver o meu rosto?
00:53
No-glasses face?
12
53871
1625
Um rosto sem óculos?
00:55
You can see her face.
13
55521
2214
Podes ver o rosto dela.
00:58
What about my face?
14
58057
2245
E o meu rosto?
01:03
I've got a mask. Can you see my mask?
15
63710
3750
Tenho uma máscara. Vês a minha máscara?
01:08
Joy Buolamwini: So how did this happen?
16
68294
2365
Joy: Então, como é que isso aconteceu?
01:10
Why am I sitting in front of a computer
17
70683
3141
Porque é que eu estou em frente de um computador
01:13
in a white mask,
18
73848
1424
com uma máscara branca,
01:15
trying to be detected by a cheap webcam?
19
75296
3650
a tentar ser detetada por uma câmara de vídeo barata?
01:18
Well, when I'm not fighting the coded gaze
20
78970
2291
Quando não estou a lutar contra o olhar codificado
01:21
as a poet of code,
21
81285
1520
como uma poetisa de código,
01:22
I'm a graduate student at the MIT Media Lab,
22
82829
3272
sou uma estudante de pós-graduação no laboratório de "media" do MIT.
01:26
and there I have the opportunity to work on all sorts of whimsical projects,
23
86125
4917
Aí tenho a oportunidade de trabalhar em todo tipo de projetos bizarros,
01:31
including the Aspire Mirror,
24
91066
2027
incluindo o Espelho de Desejar,
01:33
a project I did so I could project digital masks onto my reflection.
25
93117
5134
um projeto que fiz para poder projetar máscaras digitais para o meu reflexo.
01:38
So in the morning, if I wanted to feel powerful,
26
98275
2350
Então, pela manhã, se quisesse sentir-me poderosa,
01:40
I could put on a lion.
27
100649
1434
eu podia usar um leão.
01:42
If I wanted to be uplifted, I might have a quote.
28
102107
3496
Se quisesse ficar inspirada, podia ter uma citação.
01:45
So I used generic facial recognition software
29
105627
2989
Então eu usei o software genérico de reconhecimento facial
01:48
to build the system,
30
108640
1351
para construir o sistema,
01:50
but found it was really hard to test it unless I wore a white mask.
31
110015
5103
mas descobri que era difícil testá-lo a menos que usasse uma máscara branca.
01:56
Unfortunately, I've run into this issue before.
32
116102
4346
Infelizmente, eu já tinha esbarrado nesse problema.
02:00
When I was an undergraduate at Georgia Tech studying computer science,
33
120472
4303
Quando era universitária em Georgia Tech e estudava ciência informática,
02:04
I used to work on social robots,
34
124799
2055
eu costumava trabalhar em robôs sociais,
02:06
and one of my tasks was to get a robot to play peek-a-boo,
35
126878
3777
e uma das minhas tarefas era fazer com que um robô jogasse às escondidas,
02:10
a simple turn-taking game
36
130679
1683
um simples jogo de turnos
02:12
where partners cover their face and then uncover it saying, "Peek-a-boo!"
37
132386
4321
em que os parceiros escondem a cara e depois destapam-na, dizendo "Espreita!"
02:16
The problem is, peek-a-boo doesn't really work if I can't see you,
38
136731
4429
O problema é que isso só funciona se eu puder ver o outro,
02:21
and my robot couldn't see me.
39
141184
2499
e o meu robô não me via.
02:23
But I borrowed my roommate's face to get the project done,
40
143707
3950
Pedi emprestada a cara da minha colega de quarto para terminar o projeto,
02:27
submitted the assignment,
41
147681
1380
apresentei a tarefa e pensei:
02:29
and figured, you know what, somebody else will solve this problem.
42
149085
3753
"Sabem que mais, outra pessoa que resolva esse problema".
02:33
Not too long after,
43
153489
2003
Pouco tempo depois,
02:35
I was in Hong Kong for an entrepreneurship competition.
44
155516
4159
eu estava em Hong Kong para uma competição de empreendedorismo.
02:40
The organizers decided to take participants
45
160159
2694
Os organizadores decidiram levar os participantes
02:42
on a tour of local start-ups.
46
162877
2372
numa visita às "start-ups" locais.
02:45
One of the start-ups had a social robot,
47
165273
2715
Uma das "start-ups" tinha um robô social,
02:48
and they decided to do a demo.
48
168012
1912
e decidiram fazer uma demonstração.
02:49
The demo worked on everybody until it got to me,
49
169948
2980
A demonstração funcionou com toda a gente até chegar a minha vez.
02:52
and you can probably guess it.
50
172952
1923
Provavelmente já adivinham.
02:54
It couldn't detect my face.
51
174899
2965
Não conseguiu detetar o meu rosto.
02:57
I asked the developers what was going on,
52
177888
2511
Perguntei aos responsáveis o que é que se passava,
03:00
and it turned out we had used the same generic facial recognition software.
53
180423
5533
e acontece que tínhamos usado o mesmo software genérico de reconhecimento facial.
03:05
Halfway around the world,
54
185980
1650
Do outro lado do mundo,
03:07
I learned that algorithmic bias can travel as quickly
55
187654
3852
aprendi que o preconceito do algoritmo pode viajar tão depressa
03:11
as it takes to download some files off of the internet.
56
191530
3170
quanto uma descarga de ficheiros da Internet.
03:15
So what's going on? Why isn't my face being detected?
57
195565
3076
Então, o que é que se passa? Porque é que a minha cara não é detetada?
03:18
Well, we have to look at how we give machines sight.
58
198665
3356
Temos de olhar para o modo como damos visão às máquinas.
03:22
Computer vision uses machine learning techniques
59
202045
3409
A visão informática usa técnicas de aprendizagem de máquina
03:25
to do facial recognition.
60
205478
1880
para fazer o reconhecimento facial.
03:27
So how this works is, you create a training set with examples of faces.
61
207382
3897
Funciona assim: criamos um grupo de formação com exemplos de rostos.
03:31
This is a face. This is a face. This is not a face.
62
211303
2818
Isto é um rosto. Isto é um rosto. Isto não é um rosto.
03:34
And over time, you can teach a computer how to recognize other faces.
63
214145
4519
Com o tempo, podemos ensinar o computador a reconhecer rostos.
03:38
However, if the training sets aren't really that diverse,
64
218688
3989
Contudo, se os grupos de formação não forem diversificados,
03:42
any face that deviates too much from the established norm
65
222701
3349
qualquer rosto que se desvie demasiado da norma estabelecida
03:46
will be harder to detect,
66
226074
1649
será difícil de detetar.
03:47
which is what was happening to me.
67
227747
1963
Era o que estava a acontecer comigo.
03:49
But don't worry -- there's some good news.
68
229734
2382
Mas não se preocupem, há boas notícias.
03:52
Training sets don't just materialize out of nowhere.
69
232140
2771
Os grupos de formação não se materializam do nada.
03:54
We actually can create them.
70
234935
1788
Na verdade, podemos criá-los.
03:56
So there's an opportunity to create full-spectrum training sets
71
236747
4176
Portanto, há a oportunidade de criar grupos de formação com um espetro completo
04:00
that reflect a richer portrait of humanity.
72
240947
3824
que reflitam um retrato mais rico da humanidade.
04:04
Now you've seen in my examples
73
244795
2221
Vocês viram nos meus exemplos
04:07
how social robots
74
247040
1768
com os robôs sociais
04:08
was how I found out about exclusion with algorithmic bias.
75
248832
4611
que foi como eu descobri a exclusão com o preconceito algorítmico.
04:13
But algorithmic bias can also lead to discriminatory practices.
76
253467
4815
Mas o preconceito algorítmico também pode levar a práticas discriminatórias.
04:19
Across the US,
77
259257
1453
Nos Estados Unidos da América,
04:20
police departments are starting to use facial recognition software
78
260734
4198
os departamentos da polícia começam a usar o software de reconhecimento facial
04:24
in their crime-fighting arsenal.
79
264956
2459
no seu arsenal de luta contra o crime.
04:27
Georgetown Law published a report
80
267439
2013
A Faculdade de Direito de Georgetown publicou um relatório
04:29
showing that one in two adults in the US -- that's 117 million people --
81
269476
6763
mostrando que um em dois adultos, nos EUA
— ou seja, 117 milhões de pessoas —
04:36
have their faces in facial recognition networks.
82
276263
3534
têm os rostos em redes de reconhecimento facial.
04:39
Police departments can currently look at these networks unregulated,
83
279821
4552
Os departamentos da polícia podem procurar nessas redes não regulamentadas,
04:44
using algorithms that have not been audited for accuracy.
84
284397
4286
usando algoritmos que não foram auditados quanto ao seu rigor.
04:48
Yet we know facial recognition is not fail proof,
85
288707
3864
No entanto, sabemos que o reconhecimento facial não é à prova de falhas,
04:52
and labeling faces consistently remains a challenge.
86
292595
4179
e rotular rostos consistentemente continua a ser um problema.
04:56
You might have seen this on Facebook.
87
296798
1762
Podem ter visto isto no Facebook.
04:58
My friends and I laugh all the time when we see other people
88
298584
2988
Os meus amigos e eu estamos sempre a rir quando vemos outras pessoas
05:01
mislabeled in our photos.
89
301596
2458
mal rotuladas nas nossas fotos.
05:04
But misidentifying a suspected criminal is no laughing matter,
90
304078
5591
Mas a má identificação de um possível criminoso não é motivo para rir,
05:09
nor is breaching civil liberties.
91
309693
2827
e o mesmo acontece com a violação das liberdades civis.
05:12
Machine learning is being used for facial recognition,
92
312544
3205
A aprendizagem de máquinas está a ser usada para reconhecimento facial,
05:15
but it's also extending beyond the realm of computer vision.
93
315773
4505
mas está a estender-se para além do domínio da visão por computador.
05:21
In her book, "Weapons of Math Destruction,"
94
321086
4016
No seu livro, "Armas de Destruição Matemática" (ADM),
05:25
data scientist Cathy O'Neil talks about the rising new WMDs --
95
325126
6681
a cientista de dados Cathy O'Neil fala sobre o aumento de novas ADM
05:31
widespread, mysterious and destructive algorithms
96
331831
4353
algoritmos difundidos, misteriosos e destrutivos
05:36
that are increasingly being used to make decisions
97
336208
2964
que estão a ser cada vez mais usados para tomar decisões
05:39
that impact more aspects of our lives.
98
339196
3177
que afetam mais aspetos da nossa vida.
05:42
So who gets hired or fired?
99
342397
1870
Por exemplo, quem é contratado ou despedido?
05:44
Do you get that loan? Do you get insurance?
100
344291
2112
Recebemos esse empréstimo? Recebemos o seguro?
05:46
Are you admitted into the college you wanted to get into?
101
346427
3503
Somos admitidos na faculdade em que queremos entrar?
05:49
Do you and I pay the same price for the same product
102
349954
3509
Pagamos todos o mesmo preço para o mesmo produto
05:53
purchased on the same platform?
103
353487
2442
comprado na mesma plataforma?
05:55
Law enforcement is also starting to use machine learning
104
355953
3759
A polícia também está a começar a usar a aprendizagem de máquinas
05:59
for predictive policing.
105
359736
2289
para policiamento preditivo.
06:02
Some judges use machine-generated risk scores to determine
106
362049
3494
Alguns juízes usam a avaliação de risco gerada por máquinas para determinar
06:05
how long an individual is going to spend in prison.
107
365567
4402
quanto tempo um indivíduo vai passar na prisão.
06:09
So we really have to think about these decisions.
108
369993
2454
Portanto, temos mesmo que pensar nessas decisões.
06:12
Are they fair?
109
372471
1182
Elas sãos justas?
06:13
And we've seen that algorithmic bias
110
373677
2890
Já vimos que o preconceito algorítmico
06:16
doesn't necessarily always lead to fair outcomes.
111
376591
3374
nem sempre conduz a resultados justos.
06:19
So what can we do about it?
112
379989
1964
Então, o que podemos fazer quanto a isso?
06:21
Well, we can start thinking about how we create more inclusive code
113
381977
3680
Podemos começar a pensar em criar códigos mais inclusivos
06:25
and employ inclusive coding practices.
114
385681
2990
e usar práticas de codificação inclusiva.
06:28
It really starts with people.
115
388695
2309
Isto começa com as pessoas.
06:31
So who codes matters.
116
391528
1961
Por isso, é importante quem codifica.
06:33
Are we creating full-spectrum teams with diverse individuals
117
393513
4119
Estaremos a criar equipas de espetro completo com diversos indivíduos
06:37
who can check each other's blind spots?
118
397656
2411
que podem verificar os pontos cegos uns dos outros?
06:40
On the technical side, how we code matters.
119
400091
3545
No lado técnico, é importante a forma como codificamos.
06:43
Are we factoring in fairness as we're developing systems?
120
403660
3651
Estaremos a considerar a equidade enquanto desenvolvemos os sistemas?
06:47
And finally, why we code matters.
121
407335
2913
E, finalmente, é importante a razão por que codificamos.
06:50
We've used tools of computational creation to unlock immense wealth.
122
410605
5083
Temos usado ferramentas de criação informática
para desbloquear uma riqueza imensa.
06:55
We now have the opportunity to unlock even greater equality
123
415712
4447
Agora temos a oportunidade de desbloquear uma igualdade ainda maior
07:00
if we make social change a priority
124
420183
2930
se dermos prioridade à mudança social
07:03
and not an afterthought.
125
423137
2170
e não uma reflexão tardia.
07:05
And so these are the three tenets that will make up the "incoding" movement.
126
425828
4522
Portanto, estes são os três princípios que formam o movimento "de codificação".
07:10
Who codes matters,
127
430374
1652
É importante quem codifica,
07:12
how we code matters
128
432050
1543
é importante como codificamos,
07:13
and why we code matters.
129
433617
2023
e é importante a razão por que codificamos.
07:15
So to go towards incoding, we can start thinking about
130
435664
3099
Para avançarmos para a codificação, podemos começar a pensar
07:18
building platforms that can identify bias
131
438787
3164
em construir plataformas que possam identificar preconceitos
07:21
by collecting people's experiences like the ones I shared,
132
441975
3078
reunindo as experiências de pessoas como as que eu contei,
07:25
but also auditing existing software.
133
445077
3070
e também auditando os softwares existentes.
07:28
We can also start to create more inclusive training sets.
134
448171
3765
Também podemos começar a criar grupos de formação mais inclusivos.
07:31
Imagine a "Selfies for Inclusion" campaign
135
451960
2803
Imaginem uma campanha "Selfies para Inclusão"
07:34
where you and I can help developers test and create
136
454787
3655
em que qualquer um pode ajudar os desenvolvedores a criar e testar
07:38
more inclusive training sets.
137
458466
2093
grupos de formação mais inclusivos.
07:41
And we can also start thinking more conscientiously
138
461122
2828
Também podemos começar a pensar com maior consciência
07:43
about the social impact of the technology that we're developing.
139
463974
5391
no impacto social da tecnologia que estamos a desenvolver.
07:49
To get the incoding movement started,
140
469389
2393
Para iniciar o movimento de codificação,
07:51
I've launched the Algorithmic Justice League,
141
471806
2847
lancei o Algoritmo Liga da Justiça,
07:54
where anyone who cares about fairness can help fight the coded gaze.
142
474677
5872
em que todos os que se interessam pela justiça
podem ajudar a lutar contra o olhar codificado.
08:00
On codedgaze.com, you can report bias,
143
480573
3296
Em codedgaze.com, podem relatar preconceitos,
08:03
request audits, become a tester
144
483893
2445
exigir auditos, fazerem testes
08:06
and join the ongoing conversation,
145
486362
2771
e participar das conversas em curso,
08:09
#codedgaze.
146
489157
2287
#codedgaze.
08:12
So I invite you to join me
147
492562
2487
Portanto, convido-os a juntarem-se a mim
08:15
in creating a world where technology works for all of us,
148
495073
3719
para criar um mundo em que a tecnologia funcione para todos nós,
08:18
not just some of us,
149
498816
1897
não apenas para alguns,
08:20
a world where we value inclusion and center social change.
150
500737
4588
um mundo em que valorizamos a inclusão e nos centramos na mudança social.
08:25
Thank you.
151
505349
1175
Obrigada.
08:26
(Applause)
152
506548
4271
(Aplausos).
08:32
But I have one question:
153
512693
2854
Mas eu tenho uma pergunta:
08:35
Will you join me in the fight?
154
515571
2059
Vão juntar-se a mim nesta luta?
08:37
(Laughter)
155
517654
1285
(Risos)
08:38
(Applause)
156
518963
3687
(Aplausos)
Sobre este site

Este sítio irá apresentar-lhe vídeos do YouTube que são úteis para a aprendizagem do inglês. Verá lições de inglês ensinadas por professores de primeira linha de todo o mundo. Faça duplo clique nas legendas em inglês apresentadas em cada página de vídeo para reproduzir o vídeo a partir daí. As legendas deslocam-se em sincronia com a reprodução do vídeo. Se tiver quaisquer comentários ou pedidos, por favor contacte-nos utilizando este formulário de contacto.

https://forms.gle/WvT1wiN1qDtmnspy7