How to keep human bias out of AI | Kriti Sharma

Translator: Ivana Korom Reviewer: Joanna Pietrulewicz

Tradutor: Cristiane Silva Revisor: Claudia Sander

How many decisions have been made about you today,

Quantas decisões foram tomadas sobre você hoje

or this week or this year,

ou nesta semana ou neste ano,

by artificial intelligence?

pela inteligência artificial?

I build AI for a living

Eu trabalho com IA

so, full disclosure, I'm kind of a nerd.

então, declaradamente, sou meio nerd.

And because I'm kind of a nerd,

E por ser meio nerd,

wherever some new news story comes out

seja qual for a novidade anunciada

about artificial intelligence stealing all our jobs,

sobre inteligência artificial roubando os nossos empregos,

or robots getting citizenship of an actual country,

ou robôs obtendo cidadania de um país,

I'm the person my friends and followers message

é para mim que meus amigos e seguidores enviam mensagens

freaking out about the future.

aterrorizados sobre o futuro.

We see this everywhere.

Vemos isso em todo lugar.

This media panic that our robot overlords are taking over.

Este pânico da mídia de que robôs estão assumindo tudo.

We could blame Hollywood for that.

Podemos culpar Hollywood por isso.

But in reality, that's not the problem we should be focusing on.

Mas, na verdade, não é neste problema que devemos focar.

There is a more pressing danger, a bigger risk with AI,

Há um perigo mais urgente, um risco maior com a IA,

that we need to fix first.

que precisamos corrigir primeiro.

So we are back to this question:

Então, voltemos à questão:

How many decisions have been made about you today by AI?

quantas decisões a IA tomou por você hoje?

And how many of these

E quantas delas foram baseadas no seu gênero, raça ou histórico?

were based on your gender, your race or your background?

Algorithms are being used all the time

Algoritmos são usados o tempo todo

to make decisions about who we are and what we want.

para decidir sobre quem somos e o que queremos.

Some of the women in this room will know what I'm talking about

Algumas mulheres aqui saberão sobre o que estou falando,

if you've been made to sit through those pregnancy test adverts on YouTube

se tiveram que assistir a propagandas de testes de gravidez no YouTube

like 1,000 times.

tipo umas mil vezes.

Or you've scrolled past adverts of fertility clinics

Ou tiveram que percorrer anúncios de clínicas de fertilidade

on your Facebook feed.

no feed do Facebook.

Or in my case, Indian marriage bureaus.

No meu caso, agências de casamento indianas.

(Laughter)

(Risos)

But AI isn't just being used to make decisions

Mas a IA não é utilizada apenas para decisões

about what products we want to buy

sobre quais produtos queremos comprar

or which show we want to binge watch next.

ou quais séries queremos fazer maratona.

I wonder how you'd feel about someone who thought things like this:

Eu pergunto como vocês se sentiriam sobre alguém que pense assim:

"A black or Latino person

"Uma pessoa negra ou latina

is less likely than a white person to pay off their loan on time."

é menos propensa a pagar seu empréstimo no prazo que uma pessoa branca".

"A person called John makes a better programmer

"Uma pessoa chamada João programa melhor

than a person called Mary."

que uma pessoa chamada Maria."

"A black man is more likely to be a repeat offender than a white man."

"É mais provável que um homem negro seja um infrator reincidente que um branco."

You're probably thinking,

Provavelmente estão pensando:

"Wow, that sounds like a pretty sexist, racist person," right?

"Uau, parece uma pessoa bem sexista, racista", certo?

These are some real decisions that AI has made very recently,

Essas são algumas decisões reais que a IA tomou recentemente,

based on the biases it has learned from us,

baseada em preconceitos aprendidos conosco,

from the humans.

com os humanos.

AI is being used to help decide whether or not you get that job interview;

A IA está sendo usada para decidir se você consegue a entrevista de emprego;

how much you pay for your car insurance;

quanto você paga pelo seguro de carro;

how good your credit score is;

quão boa é a sua pontuação de crédito;

and even what rating you get in your annual performance review.

e até mesmo sua avaliação na análise de desempenho anual.

But these decisions are all being filtered through

Mas todas essas decisões estão sendo filtradas

its assumptions about our identity, our race, our gender, our age.

através de suposições baseadas em nossa identidade, raça, gênero, idade.

How is that happening?

Como isso está acontecendo?

Now, imagine an AI is helping a hiring manager

Imagine uma IA ajudando um gerente de contratação

find the next tech leader in the company.

a escolher um líder de tecnologia para a empresa.

So far, the manager has been hiring mostly men.

Até agora, o gerente tem contratado majoritariamente homens.

So the AI learns men are more likely to be programmers than women.

Então a IA aprende que homens estão mais propensos a programar que as mulheres.

And it's a very short leap from there to:

E disso é um pulo para:

men make better programmers than women.

homens programam melhor que mulheres.

We have reinforced our own bias into the AI.

Nós reforçamos nossos próprios preconceitos na IA.

And now, it's screening out female candidates.

E agora, ela está excluindo candidatas mulheres.

Hang on, if a human hiring manager did that,

Se um gerente de contratação humano fizesse isso,

we'd be outraged, we wouldn't allow it.

causaria indignação, não permitiríamos.

This kind of gender discrimination is not OK.

Esse tipo de discriminação de gênero não está certa.

And yet somehow, AI has become above the law,

E, de alguma maneira, a IA passou a estar acima da lei,

because a machine made the decision.

porque uma máquina tomou a decisão.

That's not it.

Não é só isso.

We are also reinforcing our bias in how we interact with AI.

Nós também reforçamos nossos preconceitos na forma como interagimos com a IA.

How often do you use a voice assistant like Siri, Alexa or even Cortana?

Quantas vezes você usa um assistente como Siri, Alexa ou Cortana?

They all have two things in common:

Eles têm duas coisas em comum:

one, they can never get my name right,

uma, nunca acertam meu nome,

and second, they are all female.

e segunda, são todas femininas.

They are designed to be our obedient servants,

Elas são desenvolvidas para serem servas obedientes,

turning your lights on and off, ordering your shopping.

acendem e apagam suas luzes, fazem suas compras.

You get male AIs too, but they tend to be more high-powered,

Há exemplos masculinos de IA também, mas tendem a ser mais poderosos,

like IBM Watson, making business decisions,

como o IBM Watson, que toma decisões de negócios,

Salesforce Einstein or ROSS, the robot lawyer.

o Salesforce Einstein ou o ROSS, o robô advogado.

So poor robots, even they suffer from sexism in the workplace.

Pobres robôs, até eles sofrem sexismo no trabalho.

(Laughter)

(Risos)

Think about how these two things combine

Pensem em como essas duas coisas se combinam

and affect a kid growing up in today's world around AI.

e afetam uma criança crescendo atualmente em um mundo cercado de IA.

So they're doing some research for a school project

Ela faz alguma pesquisa para um projeto de escola

and they Google images of CEO.

e procura imagens de CEO.

The algorithm shows them results of mostly men.

O resultado dos algoritmos mostra homens, basicamente.

And now, they Google personal assistant.

e agora, ela procura assistente pessoal.

As you can guess, it shows them mostly females.

Como podem adivinhar, são mostradas mulheres na pesquisa.

And then they want to put on some music, and maybe order some food,

Então ela quer colocar uma música, e talvez pedir comida,

and now, they are barking orders at an obedient female voice assistant.

e agora, ela dita ordens a uma assistente obediente com voz feminina.

Some of our brightest minds are creating this technology today.

Algumas das mentes mais brilhantes estão criando essa tecnologia hoje.

Technology that they could have created in any way they wanted.

Tecnologia que pode ser criada da maneira que quiserem.

And yet, they have chosen to create it in the style of 1950s "Mad Man" secretary.

Ainda assim, escolheram criá-la no estilo da secretária de "Mad Man" de 1950.

Yay!

Sim!

But OK, don't worry,

Mas tudo bem, não se preocupe, não vou terminar dizendo a você

this is not going to end with me telling you

that we are all heading towards sexist, racist machines running the world.

que caminhamos para máquinas sexistas e racistas governando o mundo.

The good news about AI is that it is entirely within our control.

A boa notícia sobre a IA é que ela está totalmente sob nosso controle.

We get to teach the right values, the right ethics to AI.

Conseguimos ensinar os valores e a ética correta para a IA.

So there are three things we can do.

Então, há três coisas que podemos fazer.

One, we can be aware of our own biases

Um, ter consciência de nossos próprios preconceitos

and the bias in machines around us.

e os preconceitos das máquinas ao nosso redor.

Two, we can make sure that diverse teams are building this technology.

Dois, garantir diversidade nas equipes que construirão essas tecnologias.

And three, we have to give it diverse experiences to learn from.

E três, dar a elas experiências diversas para aprender.

I can talk about the first two from personal experience.

Posso falar sobre as duas primeiras por experiência pessoal.

When you work in technology

Quando se trabalha em tecnologia

and you don't look like a Mark Zuckerberg or Elon Musk,

e você não se parece com Mark Zuckerberg ou Elon Musk,

your life is a little bit difficult, your ability gets questioned.

sua vida fica um pouco difícil, suas habilidades são questionadas.

Here's just one example.

Um exemplo.

Like most developers, I often join online tech forums

Como vários desenvolvedores, frequentemente acesso fóruns online

and share my knowledge to help others.

e compartilho meu conhecimento para ajudar aos outros.

And I've found,

Eu descobri que,

when I log on as myself, with my own photo, my own name,

quando entro como eu mesma, como minha foto, meu nome,

I tend to get questions or comments like this:

costumo receber perguntas ou comentários como estes:

"What makes you think you're qualified to talk about AI?"

"O que te faz pensar que é qualificada para falar sobre IA?"

"What makes you think you know about machine learning?"

O que faz você achar que sabe algo sobre aprendizado de máquina?"

So, as you do, I made a new profile,

Então, como vocês fariam, fiz um novo perfil,

and this time, instead of my own picture, I chose a cat with a jet pack on it.

e desta vez, em vez da minha foto, escolhi a de um gato com propulsor a jato.

And I chose a name that did not reveal my gender.

E escolhi um nome que não revelava meu gênero.

You can probably guess where this is going, right?

Vocês podem adivinhar onde isso vai parar, não?

So, this time, I didn't get any of those patronizing comments about my ability

Desta vez, não tive nenhum comentário paternalista sobre minhas habilidades.

and I was able to actually get some work done.

e fui capaz de realmente fazer algum trabalho.

And it sucks, guys.

E isso é uma droga, pessoal!

I've been building robots since I was 15,

Venho construindo robôs desde os 15 anos,

I have a few degrees in computer science,

tenho alguns diplomas em ciências da computação,

and yet, I had to hide my gender

e, ainda assim, tenho que esconder meu gênero,

in order for my work to be taken seriously.

para que o meu trabalho seja levado a sério.

So, what's going on here?

Então, o que está acontecendo?

Are men just better at technology than women?

Os homens são melhores que as mulheres em tecnologia?

Another study found

Outro estudo mostra

that when women coders on one platform hid their gender, like myself,

que quando programadoras escondem seu gênero em uma plataforma, como eu,

their code was accepted four percent more than men.

seus códigos são 4% mais aceitos que os dos homens.

So this is not about the talent.

Então isso não é sobre talento.

This is about an elitism in AI

Isso é sobre um elitismo na IA

that says a programmer needs to look like a certain person.

que diz que um programador tem que ter uma certa aparência.

What we really need to do to make AI better

O que precisamos fazer para melhorar a IA

is bring people from all kinds of backgrounds.

é trazer pessoas de todas as origens.

We need people who can write and tell stories

Precisamos de pessoas que possam escrever histórias

to help us create personalities of AI.

para ajudar a criar personalidades de IA.

We need people who can solve problems.

Precisamos de pessoas que resolvam problemas.

We need people who face different challenges

Pessoas que encarem diferentes desafios,

and we need people who can tell us what are the real issues that need fixing

que nos digam quais são os problemas que precisam de soluções

and help us find ways that technology can actually fix it.

e que nos ajudem a encontrar maneiras de a tecnologia realmente corrigi-los.

Because, when people from diverse backgrounds come together,

Porque, quando pessoas de diferentes origens se juntam,

when we build things in the right way,

quando construímos as coisas do jeito certo,

the possibilities are limitless.

as possibilidades são ilimitadas.

And that's what I want to end by talking to you about.

E é com isso que quero concluir minha fala.

Less racist robots, less machines that are going to take our jobs --

Menos sobre robôs racistas e máquinas que roubarão nossos empregos

and more about what technology can actually achieve.

e mais sobre o que a tecnologia pode realmente conseguir.

So, yes, some of the energy in the world of AI,

Então, sim, alguma dessa energia no mundo da IA, no mundo da tecnologia

in the world of technology

is going to be about what ads you see on your stream.

será dirigida à publicidade que vocês veem na internet.

But a lot of it is going towards making the world so much better.

Mas muito disso está tornando o mundo muito melhor.

Think about a pregnant woman in the Democratic Republic of Congo,

Pense sobre uma mulher grávida na República Democrática do Congo,

who has to walk 17 hours to her nearest rural prenatal clinic

que tem que andar 17 horas até a clínica pré-natal rural mais próxima

to get a checkup.

para fazer um checkup.

What if she could get diagnosis on her phone, instead?

E se, em vez disso, ela pudesse obter um diagnóstico pelo telefone?

Or think about what AI could do

Ou pense o que a IA poderia fazer

for those one in three women in South Africa

pelos 33% das mulheres na África do Sul

who face domestic violence.

que sofrem violência doméstica.

If it wasn't safe to talk out loud,

Se não for seguro falar em voz alta,

they could get an AI service to raise alarm,

elas poderiam usar a IA para soar o alarme,

get financial and legal advice.

ter conselhos financeiros e legais.

These are all real examples of projects that people, including myself,

Esses são exemplos reais de projetos em que pessoas, incluindo eu mesma,

estão trabalhando agora, usando IA.

are working on right now, using AI.

So, I'm sure in the next couple of days there will be yet another news story

Então, tenho certeza que, em alguns dias, haverá outra história na mídia

about the existential risk,

sobre o risco existencial,

robots taking over and coming for your jobs.

robôs assumindo o comando e vindo tomar seu trabalho.

(Laughter)

(Risos)

And when something like that happens,

Quando algo assim acontecer,

I know I'll get the same messages worrying about the future.

receberei mensagens terríveis sobre o futuro.

But I feel incredibly positive about this technology.

Mas me sinto incrivelmente positiva sobre esta tecnologia.

This is our chance to remake the world into a much more equal place.

Esta é nossa chance de fazer do mundo um lugar mais igualitário.

But to do that, we need to build it the right way from the get go.

Mas, para isso, precisamos construí-lo da maneira certa desde o início.

We need people of different genders, races, sexualities and backgrounds.

Precisamos de pessoas de diferentes gêneros, raças, sexualidades e origens.

We need women to be the makers

Precisamos de mulheres que sejam as criadoras

and not just the machines who do the makers' bidding.

e não apenas de máquinas que sejam as assistentes.

We need to think very carefully what we teach machines,

Precisamos pensar cuidadosamente no que ensinamos às máquinas,

what data we give them,

quais dados entregamos para elas,

so they don't just repeat our own past mistakes.

para que elas não repitam nossos erros.

So I hope I leave you thinking about two things.

Espero que vocês pensem sobre duas coisas.

First, I hope you leave thinking about bias today.

A primeira, espero que saiam daqui pensando em preconceito.

And that the next time you scroll past an advert

E, da próxima vez que passarem por um anúncio

that assumes you are interested in fertility clinics

que assume que vocês se interessam por clínicas de fertilidade

or online betting websites,

ou sites de apostas on-line,

that you think and remember

pensem e lembrem

that the same technology is assuming that a black man will reoffend.

que essa mesma tecnologia está assumindo que um negro é um infrator reincidente.

Or that a woman is more likely to be a personal assistant than a CEO.

Ou que uma mulher se sai melhor como assistente do que como CEO.

And I hope that reminds you that we need to do something about it.

E espero que isso lembre a vocês que precisamos fazer algo a respeito.

And second,

E segundo,

I hope you think about the fact

espero que pensem sobre o fato

that you don't need to look a certain way

de que não precisam ter uma certa aparência

or have a certain background in engineering or technology

ou uma certa formação em engenharia ou tecnologia

to create AI,

para criar IA,

which is going to be a phenomenal force for our future.

que será um fenômeno em nosso futuro.

You don't need to look like a Mark Zuckerberg,

Você não precisa se parecer com o Mark Zuckerberg,

you can look like me.

você pode se parecer comigo.

And it is up to all of us in this room

E cabe a todos nós

to convince the governments and the corporations

convencer os governantes e as corporações

to build AI technology for everyone,

a criar tecnologia de IA para todos,

including the edge cases.

incluindo as exceções.

And for us all to get education

E para todos nós aprendermos

about this phenomenal technology in the future.

sobre esta tecnologia fenomenal no futuro.

Because if we do that,

Porque, se fizermos isso,

then we've only just scratched the surface of what we can achieve with AI.

será só o início do que faremos com a IA.

Thank you.

Obrigada.

(Applause)

(Aplausos)