How to keep human bias out of AI | Kriti Sharma

Translator: Ivana Korom Reviewer: Joanna Pietrulewicz

Tradutor: Marta Pinto Revisora: Margarida Ferreira

How many decisions have been made about you today,

Quantas decisões foram tomadas sobre vocês, hoje,

or this week or this year,

ou esta semana ou este ano,

by artificial intelligence?

pela inteligência artificial?

I build AI for a living

O meu trabalho é construir IA

so, full disclosure, I'm kind of a nerd.

por isso, reconheço, sou meia "nerd".

And because I'm kind of a nerd,

E como sou um bocado "nerd",

wherever some new news story comes out

quando saem notícias, seja onde for,

about artificial intelligence stealing all our jobs,

sobre a inteligência artificial a roubar-nos todos os empregos,

or robots getting citizenship of an actual country,

ou robôs a terem cidadania de um país,

I'm the person my friends and followers message

eu sou a pessoa a quem os meus amigos enviam mensagens

freaking out about the future.

preocupados com o futuro.

We see this everywhere.

Vemos isto em todo o lado.

This media panic that our robot overlords are taking over.

Este pânico mediático de que os soberanos robôs estão a dominar.

We could blame Hollywood for that.

podíamos culpar Hollywood por isso.

But in reality, that's not the problem we should be focusing on.

Mas na verdade, não é esse o problema sobre o qual nos devemos focar.

There is a more pressing danger, a bigger risk with AI,

Há um perigo mais eminente, um maior risco com a IA,

that we need to fix first.

que precisamos de resolver primeiro.

So we are back to this question:

Voltamos a esta questão:

How many decisions have been made about you today by AI?

Quantas decisões foram tomadas hoje sobre vocês, pela IA?

And how many of these

Quantas delas

were based on your gender, your race or your background?

se basearam no vosso género, raça ou origens?

Algorithms are being used all the time

Os algoritmos estão sempre a ser usados

to make decisions about who we are and what we want.

para decidirem quem somos e o que queremos.

Some of the women in this room will know what I'm talking about

Algumas das mulheres nesta sala saberão do que estou a falar

if you've been made to sit through those pregnancy test adverts on YouTube

se vos obrigaram a ver aqueles anúncios de testes de gravidez, no YouTube,

like 1,000 times.

umas 1000 vezes.

Or you've scrolled past adverts of fertility clinics

Ou se já passaram por anúncios de clínicas de fertilidade

on your Facebook feed.

na vossa página do Facebook.

Or in my case, Indian marriage bureaus.

Ou, no meu caso, agências indianas de casamento.

(Laughter)

(Risos)

But AI isn't just being used to make decisions

Mas a IA não está a ser usada só para tomar decisões

about what products we want to buy

sobre quais os produtos que queremos comprar

or which show we want to binge watch next.

ou que programa queremos ver de seguida.

I wonder how you'd feel about someone who thought things like this:

Pergunto-me o que sentiriam sobre alguém que pensasse coisas como estas:

"A black or Latino person

"Uma pessoa negra ou latina

is less likely than a white person to pay off their loan on time."

"tem menos probabilidade de pagar atempadamente um empréstimo."

"A person called John makes a better programmer

"Uma pessoa chamada João

"é melhor programador do que uma pessoa chamada Maria."

than a person called Mary."

"A black man is more likely to be a repeat offender than a white man."

"É mais provável que um negro repita um crime, do que um branco."

You're probably thinking,

Devem estar a pensar,

"Wow, that sounds like a pretty sexist, racist person," right?

"Uau, isso parece uma pessoa muito sexista, racista," certo?

These are some real decisions that AI has made very recently,

Estas são algumas decisões reais que a IA tem tomado, muito recentemente,

based on the biases it has learned from us,

baseadas em preconceitos que aprendeu connosco,

from the humans.

com os seres humanos.

AI is being used to help decide whether or not you get that job interview;

A IA tem sido usada para ajudar a decidir se vamos ou não à entrevista de emprego;

how much you pay for your car insurance;

quanto pagamos pelo seguro automóvel;

how good your credit score is;

quão boa é a nossa avaliação de crédito;

and even what rating you get in your annual performance review.

e até a classificação que recebemos

na análise do nosso desempenho anual.

But these decisions are all being filtered through

Mas estas decisões estão todas a ser filtradas

its assumptions about our identity, our race, our gender, our age.

com base nas suposições sobre a nossa identidade, raça, género, idade.

How is that happening?

Como é que isso está a acontecer?

Now, imagine an AI is helping a hiring manager

Imaginem que a IA está a ajudar um gestor de recursos humanos

find the next tech leader in the company.

a encontrar, na empresa, o próximo líder em tecnologia.

So far, the manager has been hiring mostly men.

Até agora, o gestor tem contratado sobretudo homens.

So the AI learns men are more likely to be programmers than women.

Assim, a IA aprende que é mais provável

os homens serem programadores, em vez das mulheres.

And it's a very short leap from there to:

E, a partir daí, é um salto muito pequeno para:

men make better programmers than women.

"os homens são melhores programadores do que as mulheres".

We have reinforced our own bias into the AI.

Reforçamos o nosso preconceito na IA.

And now, it's screening out female candidates.

E agora está a excluir candidatas femininas.

Hang on, if a human hiring manager did that,

Se um recrutador humano fizesse isso,

we'd be outraged, we wouldn't allow it.

ficávamos indignados e não o permitíamos.

This kind of gender discrimination is not OK.

Este tipo de discriminação de género não é correto.

And yet somehow, AI has become above the law,

Apesar disso, de certa forma a IA está acima da lei,

because a machine made the decision.

porque foi uma máquina que tomou a decisão.

That's not it.

Não é só isso.

We are also reinforcing our bias in how we interact with AI.

Também estamos a reforçar o nosso preconceito

sobre o modo como interagimos com a IA.

How often do you use a voice assistant like Siri, Alexa or even Cortana?

Quão frequentemente usam um assistente de voz

como a Siri, a Alexa ou até a Cortana?

They all have two things in common:

Todas têm duas coisas em comum:

one, they can never get my name right,

uma, nunca conseguem acertar no meu nome,

and second, they are all female.

e segunda, são todas femininas.

They are designed to be our obedient servants,

São concebidas para serem as nossas servas obedientes,

turning your lights on and off, ordering your shopping.

ligando e desligando as nossas luzes, decidindo o que comprar.

You get male AIs too, but they tend to be more high-powered,

Também há IA masculinos, mas tendem a ser mais potentes,

like IBM Watson, making business decisions,

como o Watson IBM, para tomar decisões de negócios.

Salesforce Einstein or ROSS, the robot lawyer.

o Força de Vendas Einstein ou ROSS, o advogado do robô.

So poor robots, even they suffer from sexism in the workplace.

Coitados dos robôs, até eles sofrem de sexismo no trabalho.

(Laughter)

(Risos)

Think about how these two things combine

Pensem em como estas duas coisas estão ligadas

and affect a kid growing up in today's world around AI.

e afetam uma criança a crescer num mundo rodeado de IA.

So they're doing some research for a school project

Assim, se ela está a fazer uma pesquisa para um projeto escolar

and they Google images of CEO.

vai ao Google procurar imagens de diretor executivo.

The algorithm shows them results of mostly men.

O algoritmo mostra resultados sobretudo de homens.

And now, they Google personal assistant.

Depois, pesquisa "assistente pessoal".

As you can guess, it shows them mostly females.

Como podem adivinhar, mostra sobretudo mulheres.

And then they want to put on some music, and maybe order some food,

Depois, quer pôr uma música, e talvez encomendar comida,

and now, they are barking orders at an obedient female voice assistant.

e agora está a vociferar ordens a uma voz feminina assistente e obediente.

Some of our brightest minds are creating this technology today.

Algumas das mentes mais brilhantes estão hoje a criar esta tecnologia.

Technology that they could have created in any way they wanted.

Tecnologia que podiam ter criado como quisessem.

And yet, they have chosen to create it in the style of 1950s "Mad Man" secretary.

E ainda assim, escolheram criá-la

ao estilo dos anos 50, da secretária de "Mad Man".

Yay!

Pois é!

But OK, don't worry,

Mas tudo bem, não se preocupem,

this is not going to end with me telling you

isto não vai terminar comigo a dizer-vos

that we are all heading towards sexist, racist machines running the world.

que vamos na direção de máquinas racistas e sexistas a controlarem o mundo.

The good news about AI is that it is entirely within our control.

As boas notícias sobre a IA é que está inteiramente sob o nosso controlo.

We get to teach the right values, the right ethics to AI.

Somos nós que temos de ensinar os valores e a ética certa à IA.

So there are three things we can do.

Assim há três coisas que podemos fazer.

One, we can be aware of our own biases

Uma, podemos ter consciência dos nossos próprios preconceitos

and the bias in machines around us.

e dos preconceitos das máquinas à nossa volta.

Two, we can make sure that diverse teams are building this technology.

Dois, podemos garantir que são equipas diversas

a construir esta tecnologia.

And three, we have to give it diverse experiences to learn from.

E três, temos de lhe dar experiências diversas com as quais aprender.

I can talk about the first two from personal experience.

Posso falar sobre as primeiras duas por experiência pessoal.

When you work in technology

Quando trabalhamos em tecnologia,

and you don't look like a Mark Zuckerberg or Elon Musk,

e não nos parecemos com o Mark Zuckerberg ou o Elon Musk

your life is a little bit difficult, your ability gets questioned.

a nossa vida é um bocadinho difícil, a nossa capacidade é questionada.

Here's just one example.

Aqui está apenas um exemplo.

Like most developers, I often join online tech forums

Como a maioria dos programadores, frequentemente junto-me a fóruns "online"

and share my knowledge to help others.

e partilho o meu conhecimento para ajudar outros.

And I've found,

E percebi que,

when I log on as myself, with my own photo, my own name,

quando entro como eu própria, a minha foto e o meu nome,

I tend to get questions or comments like this:

costumo receber perguntas ou comentários como estes:

"What makes you think you're qualified to talk about AI?"

"O que te faz pensar que és qualificada para falar sobre a IA?"

"What makes you think you know about machine learning?"

"O que te faz pensar que sabes sobre aprendizagem de máquinas?"

So, as you do, I made a new profile,

Então, como se faz, criei um perfil novo

and this time, instead of my own picture, I chose a cat with a jet pack on it.

e, desta vez, escolhi a foto de um gato com uma mochila a jato.

And I chose a name that did not reveal my gender.

E escolhi um nome que não revelasse o meu género.

You can probably guess where this is going, right?

Conseguem adivinhar onde é que isto vai dar, certo?

So, this time, I didn't get any of those patronizing comments about my ability

Mas, desta vez, não tive aqueles comentários paternalistas

sobre as minhas competências

and I was able to actually get some work done.

e consegui fazer algum trabalho.

And it sucks, guys.

Mas é uma seca.

I've been building robots since I was 15,

Construo robôs desde os 15 anos,

I have a few degrees in computer science,

tenho algumas graduações em ciências informáticas,

and yet, I had to hide my gender

e ainda assim, tive de esconder o meu género

in order for my work to be taken seriously.

para o meu trabalho ser levado a sério.

So, what's going on here?

Então, o que está a acontecer aqui?

Are men just better at technology than women?

Os homens são melhores do que as mulheres em tecnologia?

Another study found

Um outro estudo descobriu que, quando mulheres programadoras

that when women coders on one platform hid their gender, like myself,

numa plataforma, escondem o seu género, como eu,

their code was accepted four percent more than men.

o seu código é aceite 4% mais vezes do que o dos homens.

So this is not about the talent.

Então, não se trata de talento.

This is about an elitism in AI

Trata-se de elitismo na IA

that says a programmer needs to look like a certain person.

que diz que um programador precisa de se parecer com uma certa pessoa.

What we really need to do to make AI better

O que realmente precisamos fazer para melhorar a IA

is bring people from all kinds of backgrounds.

é trazer pessoas de todos os tipos de origens.

We need people who can write and tell stories

Precisamos de pessoas que possam escrever e contar histórias,

to help us create personalities of AI.

para nos ajudarem a criar personalidades da IA.

We need people who can solve problems.

Precisamos de pessoas que possam resolver problemas.

We need people who face different challenges

Precisamos de pessoas que enfrentem diferentes desafios,

and we need people who can tell us what are the real issues that need fixing

e precisamos de pessoas que nos possam dizer

quais são os problemas reais que precisam de ser resolvidos

and help us find ways that technology can actually fix it.

e nos ajudem a encontrar maneiras de a tecnologia os resolver.

Because, when people from diverse backgrounds come together,

Porque, quando as pessoas de diversas origens se reúnem,

when we build things in the right way,

quando construímos as coisas da maneira certa,

the possibilities are limitless.

as possibilidades são ilimitadas.

And that's what I want to end by talking to you about.

É disso que quero falar convosco.

Less racist robots, less machines that are going to take our jobs --

Menos sobre robôs racistas,

menos sobre máquinas que vão roubar os nossos empregos

and more about what technology can actually achieve.

e mais sobre o que a tecnologia pode realmente conseguir.

So, yes, some of the energy in the world of AI,

Então, sim, parte da energia no mundo da IA,

in the world of technology

no mundo da tecnologia

is going to be about what ads you see on your stream.

vai ser sobre quais os anúncios que podem ver na Internet.

But a lot of it is going towards making the world so much better.

Mas muita dessa energia vai ser sobre como tornar o mundo muito melhor.

Think about a pregnant woman in the Democratic Republic of Congo,

Pensem numa mulher grávida na República Democrática do Congo,

who has to walk 17 hours to her nearest rural prenatal clinic

que tem de caminhar 17 horas até à clínica pré-natal rural mais próxima

to get a checkup.

para fazer um exame de rotina.

What if she could get diagnosis on her phone, instead?

E se, em vez disso, ela pudesse obter um diagnóstico pelo telefone?

Or think about what AI could do

Ou pensem sobre o que a IA pode fazer

for those one in three women in South Africa

por uma em cada três mulheres na África do Sul

who face domestic violence.

que enfrenta a violência doméstica.

If it wasn't safe to talk out loud,

Se não fosse seguro falar em voz alta,

they could get an AI service to raise alarm,

elas podiam obter um serviço de IA para dar o alerta,

get financial and legal advice.

obter aconselhamento financeiro e jurídico.

These are all real examples of projects that people, including myself,

Estes são todos exemplos de projetos reais, em que pessoas, incluindo eu,

are working on right now, using AI.

estão agora a trabalhar, usando a IA.

So, I'm sure in the next couple of days there will be yet another news story

Tenho a certeza que, nos próximos dias, haverá mais uma notícia

about the existential risk,

sobre o risco existencial,

robots taking over and coming for your jobs.

de os robôs assumirem e roubarem os nossos empregos.

(Laughter)

(Risos)

And when something like that happens,

E quando acontece algo assim,

I know I'll get the same messages worrying about the future.

já sei que vou receber as mesmas mensagens de preocupação com o futuro.

But I feel incredibly positive about this technology.

Mas sinto-me incrivelmente otimista quanto a esta tecnologia.

This is our chance to remake the world into a much more equal place.

Esta é a nossa oportunidade

de refazer o mundo num lugar muito mais igualitário

But to do that, we need to build it the right way from the get go.

Mas para isso, precisamos de construí-lo da maneira certa, desde o início.

We need people of different genders, races, sexualities and backgrounds.

Precisamos de pessoas de diferentes sexos, raças, sexualidades e origens.

We need women to be the makers

Precisamos que as mulheres sejam criadoras

and not just the machines who do the makers' bidding.

e não apenas máquinas que cumprem ordens.

We need to think very carefully what we teach machines,

Precisamos de pensar com muito cuidado no que ensinamos às máquinas

what data we give them,

que dados lhes damos,

so they don't just repeat our own past mistakes.

para que não repitam os nossos erros do passado.

So I hope I leave you thinking about two things.

Assim, espero deixar-vos a pensar sobre duas coisas.

First, I hope you leave thinking about bias today.

Primeiro, espero que saiam daqui a pensar nos preconceitos.

And that the next time you scroll past an advert

E da próxima vez que passem por um anúncio

that assumes you are interested in fertility clinics

que assume que estão interessadas em clínicas de fertilidade

or online betting websites,

ou em páginas de apostas "online",

that you think and remember

pensem e lembrem-se

that the same technology is assuming that a black man will reoffend.

que é a mesma tecnologia que está a assumir que um homem negro vai reincidir

Or that a woman is more likely to be a personal assistant than a CEO.

ou que é mais provável uma mulher ser uma assistente do que diretora executiva.

And I hope that reminds you that we need to do something about it.

Espero que isso vos relembre que precisamos de fazer algo sobre isto.

And second,

E em segundo lugar,

I hope you think about the fact

espero que pensem no facto

that you don't need to look a certain way

de não precisarem de parecer de uma certa maneira

or have a certain background in engineering or technology

ou de ter experiência em engenharia ou tecnologia

to create AI,

para criar IA,

which is going to be a phenomenal force for our future.

o que vai ser uma força fenomenal para o nosso futuro.

You don't need to look like a Mark Zuckerberg,

Não precisam de ser parecidas com o Mark Zuckerberg,

you can look like me.

podem parecer-se comigo.

And it is up to all of us in this room

E cabe a todos nós nesta sala

to convince the governments and the corporations

convencer os governos e as empresas

to build AI technology for everyone,

a construir a tecnologia da IA para todos,

including the edge cases.

incluindo para os casos menos comuns

And for us all to get education

e para que todos possamos ter educação

about this phenomenal technology in the future.

sobre esta tecnologia fenomenal do futuro.

Because if we do that,

Porque, se fizermos isso,

then we've only just scratched the surface of what we can achieve with AI.

estamos apenas a raspar a superfície do que podemos conseguir com a IA.

Thank you.

Obrigada.

(Applause)

(Aplausos)