The era of blind faith in big data must end | Cathy O'Neil

Tradutor: Raissa Mendes Revisor: Leonardo Silva

Algorithms are everywhere.

Os algoritmos estão por toda parte.

They sort and separate the winners from the losers.

Eles selecionam e separam os vencedores dos perdedores.

The winners get the job

Os vencedores conseguem o emprego ou a oferta de um bom cartão de crédito.

or a good credit card offer.

The losers don't even get an interview

Os perdedores não conseguem nem mesmo uma entrevista.

or they pay more for insurance.

Ou pagam mais caro pelo seu seguro.

We're being scored with secret formulas that we don't understand

Estamos sendo avaliados com fórmulas secretas que não entendemos,

that often don't have systems of appeal.

que geralmente não têm como serem contestadas.

That begs the question:

Isso coloca uma questão:

What if the algorithms are wrong?

e se os algoritmos estiverem errados?

To build an algorithm you need two things:

Precisamos de duas coisas para criar um algoritmo:

you need data, what happened in the past,

de dados, o que aconteceu no passado, e uma definição de sucesso,

and a definition of success,

the thing you're looking for and often hoping for.

aquilo que estamos procurando e geralmente esperando.

You train an algorithm by looking, figuring out.

Treinamos um algoritmo procurando, calculando.

The algorithm figures out what is associated with success.

O algoritmo descobre o que está associado com o sucesso,

What situation leads to success?

que situação leva ao sucesso.

Actually, everyone uses algorithms.

Na verdade, todos usamos algoritmos,

They just don't formalize them in written code.

apenas não os formalizamos num código escrito.

Let me give you an example.

Querem um exemplo?

I use an algorithm every day to make a meal for my family.

Todo dia uso um algoritmo pra preparar as refeições da minha família.

The data I use

Os dados que uso

is the ingredients in my kitchen,

são os ingredientes da minha cozinha, o tempo disponível,

the time I have,

the ambition I have,

minha ambição,

and I curate that data.

e quem seleciona os dados sou eu.

I don't count those little packages of ramen noodles as food.

Não conto um pacote de Miojo como comida.

(Laughter)

(Risos)

My definition of success is:

Minha definição de sucesso é:

a meal is successful if my kids eat vegetables.

uma refeição é um sucesso quando meus filhos comem verduras.

It's very different from if my youngest son were in charge.

Muito diferente se meu filho mais novo estiver no comando.

He'd say success is if he gets to eat lots of Nutella.

Para ele, sucesso é comer montes de Nutella.

But I get to choose success.

Mas eu é que escolho o que é sucesso.

I am in charge. My opinion matters.

Eu estou no comando; minha opinião conta.

That's the first rule of algorithms.

Essa é a primeira regra dos algoritmos.

Algorithms are opinions embedded in code.

Algoritmos são opiniões embutidas num código.

It's really different from what you think most people think of algorithms.

Bem diferente do que a maioria de nós pensa sobre os algoritmos.

They think algorithms are objective and true and scientific.

Achamos que os algoritmos são objetivos, verdadeiros e científicos.

That's a marketing trick.

Esse é um truque de marketing.

It's also a marketing trick

É também um truque de marketing

to intimidate you with algorithms,

intimidar vocês com algoritmos,

to make you trust and fear algorithms

fazê-los acreditar nos algoritmos ou ter medo deles

because you trust and fear mathematics.

porque acreditamos na matemática, e temos medo dela.

A lot can go wrong when we put blind faith in big data.

Muita coisa pode dar errado quando confiamos cegamente no Big Data.

This is Kiri Soares. She's a high school principal in Brooklyn.

Esta é Kiri Soares, diretora de um colégio no Brooklyn.

In 2011, she told me her teachers were being scored

Em 2011, ela me disse que seus professores

with a complex, secret algorithm

estavam sendo avaliados por um algoritmo complexo e secreto,

called the "value-added model."

chamado "modelo de valor agregado".

I told her, "Well, figure out what the formula is, show it to me.

Disse a ela: "Descubra a fórmula dele e me mostre.

Aí, posso explicá-lo a você".

I'm going to explain it to you."

She said, "Well, I tried to get the formula,

Ela disse: "Tentei conseguir a fórmula, mas meu contato na Secretaria de Educação

but my Department of Education contact told me it was math

me falou que era matemática e que eu não iria entender".

and I wouldn't understand it."

It gets worse.

E a história só fica pior.

The New York Post filed a Freedom of Information Act request,

O "New York Post" protocolou um pedido de transparência,

got all the teachers' names and all their scores

pegou o nome de todos os professores, e todas suas avaliações

and they published them as an act of teacher-shaming.

e publicou como um ato para expor os professores.

When I tried to get the formulas, the source code, through the same means,

Quando tentei conseguir as fórmulas, o código-fonte, através dos mesmos meios,

I was told I couldn't.

me disseram que não podia, me foi negado.

I was denied.

I later found out

Descobri mais tarde que ninguém em Nova Iorque tinha acesso àquela fórmula.

that nobody in New York City had access to that formula.

No one understood it.

Ninguém a entendia.

Then someone really smart got involved, Gary Rubinstein.

Então, Gary Rubenstein, um cara muito inteligente, se envolveu.

He found 665 teachers from that New York Post data

Ele descobriu 665 professores naqueles dados do "New York Post"

that actually had two scores.

que na verdade tinham duas avaliações.

That could happen if they were teaching

Aquilo podia acontecer se eles ensinavam matemática na sétima e na oitava série.

seventh grade math and eighth grade math.

He decided to plot them.

Ele decidiu marcá-los.

Each dot represents a teacher.

Cada ponto representa um professor.

(Laughter)

(Risos)

What is that?

O que é isto?

(Laughter)

(Risos)

That should never have been used for individual assessment.

Isso nunca deveria ter sido usado numa avaliação individual.

It's almost a random number generator.

É quase um gerador aleatório de número.

(Applause)

(Aplausos) (Vivas)

But it was.

Mas foi usado.

This is Sarah Wysocki.

Esta é Sarah Wysocki.

She got fired, along with 205 other teachers,

Ela foi demitida, juntamente com 205 outros professores,

from the Washington, DC school district,

da superintendência de ensino de Washington, D.C.,

even though she had great recommendations from her principal

mesmo tendo excelente recomendação de sua diretora e dos pais das crianças.

and the parents of her kids.

I know what a lot of you guys are thinking,

Muitos aqui devem estar pensando, especialmente cientistas de dados,

especially the data scientists, the AI experts here.

os especialistas em IA:

You're thinking, "Well, I would never make an algorithm that inconsistent."

"Eu nunca faria um algoritmo inconsistente assim".

But algorithms can go wrong,

Mas os algoritmos podem dar errado,

even have deeply destructive effects with good intentions.

mesmo os bem-intencionados podem ter efeitos profundamente destrutivos.

And whereas an airplane that's designed badly

E enquanto um avião mal projetado cai, e todo mundo vê,

crashes to the earth and everyone sees it,

an algorithm designed badly

um algoritmo mal projetado

can go on for a long time, silently wreaking havoc.

pode continuar a causar destruição de forma silenciosa, por um longo tempo.

This is Roger Ailes.

Este é Roger Ailes.

(Laughter)

(Risos)

He founded Fox News in 1996.

Ele fundou a Fox News em 1996.

More than 20 women complained about sexual harassment.

Mais de 20 mulheres reclamaram de assédio sexual.

They said they weren't allowed to succeed at Fox News.

Elas disseram que não lhes foi permitido subir na Fox News.

He was ousted last year, but we've seen recently

Ele foi afastado ano passado, mas vimos recentemente

that the problems have persisted.

que os problemas continuaram.

That begs the question:

Uma pergunta se impõe aqui:

What should Fox News do to turn over another leaf?

o que a Fox News deveria fazer para virar essa página?

Well, what if they replaced their hiring process

Que tal se eles substituírem seu processo de contratação

with a machine-learning algorithm?

por um algoritmo de aprendizado de máquina? Parece boa ideia, né?

That sounds good, right?

Think about it.

Pensem bem.

The data, what would the data be?

Os dados, quais seriam os dados?

A reasonable choice would be the last 21 years of applications to Fox News.

Uma escolha razoável seria os últimos 21 anos de contratação da Fox News.

Reasonable.

Bem razoável.

What about the definition of success?

E a definição de sucesso?

Reasonable choice would be,

Seria uma escolha racional: quem é bem-sucedido para a Fox News?

well, who is successful at Fox News?

I guess someone who, say, stayed there for four years

Digamos que seja alguém que tenha ficado lá por quatro anos

and was promoted at least once.

e promovido pelo menos uma vez.

Sounds reasonable.

Parece razoável.

And then the algorithm would be trained.

E então o algoritmo poderia ser treinado.

It would be trained to look for people to learn what led to success,

Seria treinado para procurar pessoas para aprender o que leva ao sucesso,

what kind of applications historically led to success

que tipo de contratações historicamente levaram ao sucesso

by that definition.

segundo aquela definição.

Now think about what would happen

Agora pensem sobre o que aconteceria

if we applied that to a current pool of applicants.

se aplicado a um conjunto atual de pedidos de emprego.

It would filter out women

Ele filtraria as mulheres,

because they do not look like people who were successful in the past.

pois aparentemente elas não tiveram sucesso no passado.

Algorithms don't make things fair

Os algoritmos não tornam as coisas justas

if you just blithely, blindly apply algorithms.

se forem aplicados de forma cega e displicente.

They don't make things fair.

Não tornam as coisas justas.

They repeat our past practices,

Eles repetem nossas práticas passadas, nossos padrões.

our patterns.

They automate the status quo.

Eles automatizam o status quo.

That would be great if we had a perfect world,

Isso seria ótimo se tivéssemos um mundo perfeito,

but we don't.

mas não temos.

And I'll add that most companies don't have embarrassing lawsuits,

E mais: a maioria das empresas não inclui os litígios constrangedores,

but the data scientists in those companies

mas os cientistas de dados dessas empresas

are told to follow the data,

são orientados a seguirem os dados,

to focus on accuracy.

a terem rigor.

Think about what that means.

Pensem no que isso significa.

Because we all have bias, it means they could be codifying sexism

Como todos somos tendenciosos, significa que poderiam estar codificando sexismo

or any other kind of bigotry.

ou qualquer outro tipo de intolerância.

Thought experiment,

Vamos fazer um exercício intelectual, pois gosto deles:

because I like them:

an entirely segregated society --

uma sociedade inteiramente segregada,

racially segregated, all towns, all neighborhoods

racialmente segregada, todas as cidades, todos os bairros,

and where we send the police only to the minority neighborhoods

e onde enviamos a polícia apenas a bairros de minorias atrás de crimes.

to look for crime.

The arrest data would be very biased.

Os dados sobre os presos seriam muito tendenciosos.

What if, on top of that, we found the data scientists

E se, além disso, pegássemos cientistas de dados

and paid the data scientists to predict where the next crime would occur?

e pagássemos a eles para predizerem onde vai ocorrer o próximo crime?

Minority neighborhood.

Bairros de minorias.

Or to predict who the next criminal would be?

Ou predizer quem será o próximo criminoso?

A minority.

Alguém das minorias.

The data scientists would brag about how great and how accurate

Os cientistas de dados se gabariam da excelência e da precisão de seu modelo,

their model would be,

and they'd be right.

e estariam certos.

Now, reality isn't that drastic, but we do have severe segregations

Bem, a realidade não é drástica assim, mas temos graves segregações

in many cities and towns,

em muitas cidades e vilas, e muitas evidências

and we have plenty of evidence

of biased policing and justice system data.

de dados policiais e judiciários tendenciosos.

And we actually do predict hotspots,

Na verdade, predizemos focos de crise,

places where crimes will occur.

lugares onde crimes podem ocorrer.

And we do predict, in fact, the individual criminality,

E predizemos, de fato, a criminalidade individual,

the criminality of individuals.

a criminalidade dos indivíduos.

The news organization ProPublica recently looked into

A organização de notícias ProPublica recentemente estudou

one of those "recidivism risk" algorithms,

um desses algoritmos, chamados de "risco de recidiva",

as they're called,

being used in Florida during sentencing by judges.

que têm sido usados por juízes na Flórida para proferirem sentenças.

Bernard, on the left, the black man, was scored a 10 out of 10.

Bernard, à esquerda, o homem negro, atingiu dez em dez.

Dylan, on the right, 3 out of 10.

Dylan, à direita, três em dez.

10 out of 10, high risk. 3 out of 10, low risk.

Então, dez em dez, alto risco; três em dez, baixo risco.

They were both brought in for drug possession.

Ambos foram pegos por posse de droga.

They both had records,

Ambos tinham antecedentes, e Dylan tinha um delito grave,

but Dylan had a felony

but Bernard didn't.

mas Bernard não.

This matters, because the higher score you are,

Isso é importante, pois, quanto maior a pontuação,

the more likely you're being given a longer sentence.

maior a chance de se receber uma sentença mais severa.

What's going on?

O que que está havendo?

Data laundering.

Branqueamento dos dados.

It's a process by which technologists hide ugly truths

É um processo por meio do qual tecnólogos escondem verdades sujas

inside black box algorithms

dentro da caixa-preta dos algoritmos, e os chamam de objetivos,

and call them objective;

call them meritocratic.

de meritocráticos.

When they're secret, important and destructive,

Cunhei um termo para esses algoritmos secretos, importantes e destrutivos:

I've coined a term for these algorithms:

"weapons of math destruction."

"armas de destruição em matemática".

(Laughter)

(Aplausos) (Vivas)

(Applause)

They're everywhere, and it's not a mistake.

Eles estão por toda parte, e isso não é um erro.

These are private companies building private algorithms

Trata-se de empresas privadas criando algoritmos privados

for private ends.

para fins privados.

Even the ones I talked about for teachers and the public police,

Mesmos aqueles que mencionei, para os professores e a polícia,

those were built by private companies

foram criados por empresas privadas e vendidos a instituições governamentais.

and sold to the government institutions.

They call it their "secret sauce" --

Eles os chamam de seu "molho secreto", e por isso não nos contam sobre eles.

that's why they can't tell us about it.

It's also private power.

Isso é poder privado também.

They are profiting for wielding the authority of the inscrutable.

Eles estão lucrando para exercerem a autoridade do inescrutável.

Now you might think, since all this stuff is private

Vocês podem achar, já que isso é privado e não há competição,

and there's competition,

que talvez o livre comércio resolva o problema.

maybe the free market will solve this problem.

It won't.

Não vai resolver.

There's a lot of money to be made in unfairness.

Há muito dinheiro a ser ganho com a injustiça.

Also, we're not economic rational agents.

Além disso, não somos agentes econômicos racionais.

We all are biased.

Somos todos tendenciosos.

We're all racist and bigoted in ways that we wish we weren't,

Somos todos racistas e intolerantes de maneiras que desejávamos não ser,

in ways that we don't even know.

de maneiras das nem temos consciência.

We know this, though, in aggregate,

No entanto, sabemos disso

because sociologists have consistently demonstrated this

porque os sociólogos têm demonstrado isso consistentemente

with these experiments they build,

com experimentos nos quais enviam um monte de currículos,

where they send a bunch of applications to jobs out,

equally qualified but some have white-sounding names

todos igualmente qualificados,

mas alguns com nomes que parecem ser de brancos, e outros, de negros,

and some have black-sounding names,

and it's always disappointing, the results -- always.

e os resultados são sempre frustrantes.

So we are the ones that are biased,

Então, nós somos tendenciosos,

and we are injecting those biases into the algorithms

e estamos instilando esses preconceitos nos algoritmos

by choosing what data to collect,

quando escolhemos quais dados coletar,

like I chose not to think about ramen noodles --

como quando escolhi descartar o Miojo, porque decidi que ele era irrelevante.

I decided it was irrelevant.

But by trusting the data that's actually picking up on past practices

Mas, ao confiar em dados que se baseiam em práticas do passado

and by choosing the definition of success,

e ao escolher a definição de sucesso,

how can we expect the algorithms to emerge unscathed?

como podemos esperar que os algoritmos saiam incólumes?

We can't. We have to check them.

Não dá, temos de fiscalizá-los.

We have to check them for fairness.

Temos de checar se são justos.

The good news is, we can check them for fairness.

A boa notícia é que isso é possível.

Algorithms can be interrogated,

Os algoritmos podem ser questionados,

and they will tell us the truth every time.

e eles sempre vão nos dizer a verdade.

And we can fix them. We can make them better.

E podemos repará-los, aperfeiçoá-los.

I call this an algorithmic audit,

Podemos chamar de auditoria de algoritmos,

and I'll walk you through it.

e vou mostrar como seria.

First, data integrity check.

Primeiro, temos de checar a integridade dos dados.

For the recidivism risk algorithm I talked about,

Para o algoritmo de risco de recidiva que mencionei,

a data integrity check would mean we'd have to come to terms with the fact

checar a integridade dos dados significa aceitarmos o fato

that in the US, whites and blacks smoke pot at the same rate

de que, nos EUA, brancos e negros fumam maconha na mesma proporção,

but blacks are far more likely to be arrested --

mas os negros têm muito mais chance de serem presos,

four or five times more likely, depending on the area.

quatro ou cinco vezes mais, dependendo da região.

What is that bias looking like in other crime categories,

E como esse viés surge em outras categorias de crime

and how do we account for it?

e como justificamos isso?

Second, we should think about the definition of success,

Segundo, devemos pensar na definição de sucesso,

audit that.

auditar esse conceito.

Remember -- with the hiring algorithm? We talked about it.

Lembram-se do algoritmo de contratação de que falei?

Someone who stays for four years and is promoted once?

Alguém que trabalhou por quatro anos e foi promovido uma vez?

Well, that is a successful employee,

Bem, esse é um empregado de sucesso,

but it's also an employee that is supported by their culture.

mas é também um empregado que tem apoio da cultura da empresa.

That said, also it can be quite biased.

Isso pode ser bem tendencioso.

We need to separate those two things.

Precisamos separar essas duas coisas.

We should look to the blind orchestra audition

Deveríamos nos mirar na audição às cegas de orquestras.

as an example.

That's where the people auditioning are behind a sheet.

É quando os examinadores ficam atrás de uma planilha.

What I want to think about there

O importante aí

is the people who are listening have decided what's important

é que os examinadores decidem o que é importante

and they've decided what's not important,

e o que não é,

and they're not getting distracted by that.

e não se distraem com outras coisas.

When the blind orchestra auditions started,

Quando as audições às cegas de orquestras começaram,

the number of women in orchestras went up by a factor of five.

o número de mulheres em orquestras cresceu cinco vezes mais.

Next, we have to consider accuracy.

Depois, temos de considerar o rigor.

This is where the value-added model for teachers would fail immediately.

É aí que o modelo valor agregado para professores fracassaria imediatamente.

No algorithm is perfect, of course,

Nenhum algoritmo é perfeito, claro,

so we have to consider the errors of every algorithm.

assim, temos de partir do pressuposto de que todos erram.

How often are there errors, and for whom does this model fail?

Qual a frequência desses erros, e com quem esse modelo falha?

What is the cost of that failure?

Qual o preço desse fracasso?

And finally, we have to consider

E, finalmente, temos de considerar

the long-term effects of algorithms,

os efeitos de longo prazo dos algoritmos,

the feedback loops that are engendering.

os círculos viciosos que são gerados.

That sounds abstract,

Isso parece abstrato, mas imaginem se os engenheiros do Facebook

but imagine if Facebook engineers had considered that

tivessem considerado isso

before they decided to show us only things that our friends had posted.

antes de decidirem nos mostrar apenas coisas que nossos amigos postam.

I have two more messages, one for the data scientists out there.

Tenho mais duas mensagens, uma para os cientistas de dados.

Data scientists: we should not be the arbiters of truth.

Cientistas de dados: não devemos ser os árbitros da verdade.

We should be translators of ethical discussions that happen

Devemos ser tradutores dos debates éticos que ocorrem

in larger society.

na sociedade como um todo.

(Applause)

(Aplausos) (Vivas)

And the rest of you,

E os demais,

the non-data scientists:

os que não são cientistas de dados: isso não é um teste de matemática.

this is not a math test.

This is a political fight.

Essa é uma luta política.

We need to demand accountability for our algorithmic overlords.

Precisamos exigir prestação de contas dos "senhores dos algoritmos".

(Applause)

(Aplausos) (Vivas)

The era of blind faith in big data must end.

A era da fé cega no Big Data tem de acabar.

Thank you very much.

Muito obrigada.

(Applause)

(Aplausos) (Vivas)