The era of blind faith in big data must end | Cathy O'Neil

Tradutor: Marta Sousa Revisora: Margarida Ferreira

Algorithms are everywhere.

Os algoritmos estão em todo o lado.

They sort and separate the winners from the losers.

Eles classificam e separam os vencedores dos perdedores.

The winners get the job

Os vencedores ficam com o emprego

or a good credit card offer.

ou uma boa oferta para o cartão de crédito.

The losers don't even get an interview

Os que perdem nem sequer vão à entrevista

or they pay more for insurance.

mas pagam mais pelo seguro.

We're being scored with secret formulas that we don't understand

Estamos a ser marcados com fórmulas secretas que não entendemos

that often don't have systems of appeal.

e que, muitas vezes, não têm sistemas de recurso.

That begs the question:

Isto traz-nos a pergunta:

What if the algorithms are wrong?

E se os algoritmos estão errados?

To build an algorithm you need two things:

Para criar um algoritmo é preciso:

you need data, what happened in the past,

dados — o que aconteceu no passado;

and a definition of success,

e uma definição de sucesso,

the thing you're looking for and often hoping for.

aquilo de que estamos à procura e que queremos atingir.

You train an algorithm by looking, figuring out.

Um algoritmo treina-se com a procura, com a descoberta.

The algorithm figures out what is associated with success.

O algoritmo descobre o que está associado ao sucesso.

What situation leads to success?

Qual a situação que leva ao sucesso?

Actually, everyone uses algorithms.

Na verdade, todos usam algoritmos.

They just don't formalize them in written code.

Só que as pessoas não os formalizam em código escrito.

Let me give you an example.

Deixem-me dar um exemplo.

I use an algorithm every day to make a meal for my family.

Eu uso um algoritmo todos os dias para cozinhar para a minha família.

The data I use

Os dados que eu uso

is the ingredients in my kitchen,

são os ingredientes que tenho,

the time I have,

o tempo disponível,

the ambition I have,

a minha ambição,

and I curate that data.

e junto esses dados todos.

I don't count those little packages of ramen noodles as food.

Não contabilizo aqueles pacotes pequenos de "noodles" como comida.

(Laughter)

(Risos)

My definition of success is:

A minha definição de sucesso é:

a meal is successful if my kids eat vegetables.

a refeição é conseguida se os filhos comerem vegetais.

It's very different from if my youngest son were in charge.

Seria diferente se o meu filho mais novo fosse o responsável.

He'd say success is if he gets to eat lots of Nutella.

Ele diria que o sucesso seria ele comer muita Nutella.

But I get to choose success.

Mas eu posso escolher o sucesso.

I am in charge. My opinion matters.

Sou eu a responsável. A minha opinião conta.

That's the first rule of algorithms.

Essa é a primeira regra dos algoritmos.

Algorithms are opinions embedded in code.

Os algoritmos são opiniões embutidas em código.

It's really different from what you think most people think of algorithms.

É muito diferente daquilo que muitos pensam sobre este assunto.

They think algorithms are objective and true and scientific.

As pessoas pensam que os algoritmos são objetivos, verdadeiros e científicos.

That's a marketing trick.

Isso é um truque de "marketing".

It's also a marketing trick

O que também é um truque

to intimidate you with algorithms,

é o facto de os algoritmos nos intimidarem,

to make you trust and fear algorithms

para nos fazer ter confiança e medo deles,

because you trust and fear mathematics.

porque confiamos e receamos a matemática.

A lot can go wrong when we put blind faith in big data.

Muita coisa pode correr mal se confiarmos cegamente nos "big data".

This is Kiri Soares. She's a high school principal in Brooklyn.

Esta é Kiri Soares e é diretora de uma escola secundária em Brooklyn.

In 2011, she told me her teachers were being scored

Em 2011, ela disse-me que os professores eram avaliados

with a complex, secret algorithm

com um algoritmo secreto e complexo

called the "value-added model."

chamado "modelo de valor acrescentado".

I told her, "Well, figure out what the formula is, show it to me.

Eu disse-lhe: "Bem, se descobrir a fórmula, mostre-ma".

I'm going to explain it to you."

"Eu explico-lha".

She said, "Well, I tried to get the formula,

Ela respondeu: "Bom, eu tentei obtê-la"

but my Department of Education contact told me it was math

"mas o Departamento de Educação disse que era matemática"

and I wouldn't understand it."

"e que eu não iria entendê-la".

It gets worse.

E ainda é pior.

The New York Post filed a Freedom of Information Act request,

O jornal "The New York Post" invocou a lei da Liberdade de Informação,

got all the teachers' names and all their scores

reuniu os nomes de todos os professores e os seus resultados

and they published them as an act of teacher-shaming.

e publicou todas essas informações como forma de envergonhar os professores.

When I tried to get the formulas, the source code, through the same means,

Quando tentei aceder às fórmulas, ao código-fonte, através dos mesmos meios,

I was told I couldn't.

disseram-me que não podia fazê-lo.

I was denied.

Foi-me negado.

I later found out

Mais tarde, descobri

that nobody in New York City had access to that formula.

que ninguém em Nova Iorque teve acesso a essa fórmula.

No one understood it.

Ninguém a percebia.

Then someone really smart got involved, Gary Rubinstein.

Então, envolveu-se um tipo muito inteligente: Gary Rubenstein.

He found 665 teachers from that New York Post data

Ele descobriu 665 professores, através dos dados publicados no jornal,

that actually had two scores.

que tiveram dois resultados diferentes.

That could happen if they were teaching

Podia acontecer se estivessem a lecionar

seventh grade math and eighth grade math.

matemática de sétimo e matemática de oitavo ano.

He decided to plot them.

Decidiu representá-los graficamente

Each dot represents a teacher.

em que cada ponto representa um professor.

(Laughter)

(Risos)

What is that?

O que é isto?

(Laughter)

(Risos)

That should never have been used for individual assessment.

Isto nunca poderia ter sido usado para uma avaliação individual.

It's almost a random number generator.

É como um gerador de números aleatórios.

(Applause)

(Aplausos)

But it was.

Mas foi utilizado.

This is Sarah Wysocki.

Esta é Sarah Wysocki.

She got fired, along with 205 other teachers,

Foi despedida, juntamente com 205 professores

from the Washington, DC school district,

de escolas do distrito de Washington, DC,

even though she had great recommendations from her principal

embora tivesse excelentes recomendações do seu diretor

and the parents of her kids.

e dos pais dos seus alunos.

Sei o que muitos estão a pensar,

I know what a lot of you guys are thinking,

sobretudo os cientistas de dados especialistas em Inteligência Artificial.

especially the data scientists, the AI experts here.

You're thinking, "Well, I would never make an algorithm that inconsistent."

Estão a pensar: "Eu nunca faria um algoritmo tão inconsistente".

But algorithms can go wrong,

Mas os algoritmos podem correr mal,

even have deeply destructive effects with good intentions.

chegando a ter efeitos profundamente destrutivos, cheios de boas intenções.

And whereas an airplane that's designed badly

Enquanto que um avião que é mal arquitetado

crashes to the earth and everyone sees it,

se despenha e todos veem,

an algorithm designed badly

um algoritmo mal projetado

can go on for a long time, silently wreaking havoc.

pode ser utilizado durante muito tempo, causando estragos silenciosamente.

This is Roger Ailes.

Este é Roger Ailes.

(Laughter)

(Risos)

He founded Fox News in 1996.

Fundou a Fox News em 1996.

More than 20 women complained about sexual harassment.

Mais de 20 mulheres queixaram-se de assédio sexual.

They said they weren't allowed to succeed at Fox News.

Diziam que, na Fox News, não lhes era permitido terem sucesso.

He was ousted last year, but we've seen recently

Ailes foi despedido no ano passado, mas, recentemente,

that the problems have persisted.

temos visto que os problemas persistem.

That begs the question:

Isto leva-nos a perguntar:

What should Fox News do to turn over another leaf?

O que é que a Fox News deveria fazer para virar a página?

Well, what if they replaced their hiring process

E se tivessem substituído o seu processo de recrutamento

with a machine-learning algorithm?

por um algoritmo de aprendizagem automática?

That sounds good, right?

Parece-vos bem, não é?

Think about it.

Pensem nisso.

The data, what would the data be?

Que dados poderiam ser?

A reasonable choice would be the last 21 years of applications to Fox News.

Uma escolha razoável seriam os currículos recebidos nos últimos 21 anos.

Reasonable.

Razoável.

What about the definition of success?

E qual seria a definição de sucesso?

Reasonable choice would be,

A escolha razoável seria...

well, who is successful at Fox News?

Bem, quem tem sucesso na Fox News?

I guess someone who, say, stayed there for four years

Eu diria alguém que lá trabalhou durante quatro anos

and was promoted at least once.

e que foi promovido, pelo menos, uma vez.

Sounds reasonable.

Parece razoável.

And then the algorithm would be trained.

E aí, o algoritmo seria treinado.

It would be trained to look for people to learn what led to success,

Seria treinado para procurar pessoas e perceber o que levava ao sucesso,

what kind of applications historically led to success

que tipo de currículos eram propícios a isso,

by that definition.

seguindo essa definição.

Now think about what would happen

Pensem no que poderia acontecer

if we applied that to a current pool of applicants.

se o aplicássemos ao conjunto atual de candidaturas.

It would filter out women

Filtraria as mulheres,

because they do not look like people who were successful in the past.

porque não foram as pessoas que tiveram sucesso no passado.

Algorithms don't make things fair

Os algoritmos não são justos,

if you just blithely, blindly apply algorithms.

se os aplicarmos de ânimo leve e às cegas.

They don't make things fair.

Eles não agem com justiça.

They repeat our past practices,

Eles repetem o que fizemos no passado,

our patterns.

os nossos padrões.

They automate the status quo.

Eles automatizam o "status quo".

That would be great if we had a perfect world,

Isso seria incrível se o mundo fosse perfeito.

but we don't.

Mas não é.

And I'll add that most companies don't have embarrassing lawsuits,

E digo-vos mais: a maioria das empresas não têm processos legais em curso,

but the data scientists in those companies

mas essas empresas dizem aos seus cientistas de dados

are told to follow the data,

para seguirem os dados,

to focus on accuracy.

para se focarem na precisão.

Think about what that means.

Pensem no que isso significa.

Because we all have bias, it means they could be codifying sexism

Como todos temos preconceitos, eles podiam codificar o sexismo

or any other kind of bigotry.

ou qualquer outro tipo de sectarismo.

Thought experiment,

Um exercício intelectual,

because I like them:

porque gosto de fazer isso:

an entirely segregated society --

uma sociedade inteiramente segregada

racially segregated, all towns, all neighborhoods

— todas as cidades, os bairros, tudo segregado racialmente —

and where we send the police only to the minority neighborhoods

e onde só enviamos a polícia a bairros minoritários

to look for crime.

para combater o crime.

The arrest data would be very biased.

Os dados sobre os detidos seriam tendenciosos.

What if, on top of that, we found the data scientists

E se tivéssemos cientistas de dados para esta situação

and paid the data scientists to predict where the next crime would occur?

e lhes pagássemos para preverem onde iria ocorrer o crime seguinte?

Minority neighborhood.

Num bairro minoritário.

Or to predict who the next criminal would be?

Ou para preverem quem seria o criminoso seguinte?

A minority.

Alguém da minoria.

The data scientists would brag about how great and how accurate

Os cientistas de dados iriam vangloriar-se da eficiência e precisão do seu modelo

their model would be,

and they'd be right.

e teriam razão.

Now, reality isn't that drastic, but we do have severe segregations

A realidade não é tão drástica, mas temos segregações graves

in many cities and towns,

em várias cidades e vilas,

and we have plenty of evidence

e existem inúmeras provas

of biased policing and justice system data.

de que os dados do sistema de justiça são tendenciosos.

And we actually do predict hotspots,

E nós prevemos lugares críticos,

places where crimes will occur.

locais onde irão ocorrer crimes.

And we do predict, in fact, the individual criminality,

E prevemos a criminalidade individual,

the criminality of individuals.

a criminalidade de indivíduos.

The news organization ProPublica recently looked into

A agência de notícias ProPublica analisou recentemente

one of those "recidivism risk" algorithms,

um algoritmo de "risco de reincidência",

as they're called,

como lhe chamam,

being used in Florida during sentencing by judges.

que os júris usam na Flórida, durante os julgamentos.

Bernard, on the left, the black man, was scored a 10 out of 10.

À esquerda, temos Bernard, de cor negra, que teve uma pontuação de 10 em 10.

Dylan, on the right, 3 out of 10.

Dylan, à direita, teve uma pontuação de 3 em 10.

10 out of 10, high risk. 3 out of 10, low risk.

10 em 10 é risco elevado. 3 em 10 é risco reduzido.

They were both brought in for drug possession.

Foram ambos a julgamento por posse de droga.

They both had records,

Ambos tinham cadastro,

but Dylan had a felony

mas Dylan já tinha cometido um assalto à mão armada

but Bernard didn't.

e o Bernard não.

This matters, because the higher score you are,

Isto é importante, porque, quanto mais alta é a pontuação,

the more likely you're being given a longer sentence.

maior a probabilidade de a sentença ser mais longa.

What's going on?

O que está a acontecer?

Data laundering.

Lavagem de dados.

It's a process by which technologists hide ugly truths

É um processo em que os tecnólogos escondem verdades muito graves

inside black box algorithms

dentro de algoritmos de caixa negra

and call them objective;

e chamam-lhes objetivos;

call them meritocratic.

chamam-lhes meritocráticos.

When they're secret, important and destructive,

Quando são secretos, importantes e destrutivos

I've coined a term for these algorithms:

eu chamo-lhes da seguinte maneira:

"weapons of math destruction."

"armas de destruição maciça".

(Laughter)

(Risos)

(Applause)

(Aplausos)

They're everywhere, and it's not a mistake.

Estão por todo o lado e não são um erro.

These are private companies building private algorithms

São empresas privadas que estão a criar algoritmos privados

for private ends.

para objetivos privados.

Even the ones I talked about for teachers and the public police,

Mesmo os que mencionei aqui para os professores e a polícia,

those were built by private companies

foram criados por empresas privadas

and sold to the government institutions.

e vendidos a instituições governamentais.

They call it their "secret sauce" --

Chamam-lhes o seu "molho secreto"

that's why they can't tell us about it.

— é por isso que não nos podem contar.

It's also private power.

Trata-se, também, de poder privado.

They are profiting for wielding the authority of the inscrutable.

Estão a lucrar para dominarem a autoridade do inescrutável.

Now you might think, since all this stuff is private

Agora, vocês podem pensar:

se tudo isto é privado e existe concorrência,

and there's competition,

maybe the free market will solve this problem.

talvez o mercado livre corrija este problema.

It won't.

Não, não o fará.

There's a lot of money to be made in unfairness.

Pode fazer-se muito dinheiro com a injustiça.

Also, we're not economic rational agents.

Além disso, nós não somos agentes económicos racionais.

We all are biased.

Somos todos tendenciosos.

We're all racist and bigoted in ways that we wish we weren't,

Somos racistas e intolerantes em proporções horríveis,

in ways that we don't even know.

em proporções que nem nós sabemos.

We know this, though, in aggregate,

Mas sabemos que isto acontece em níveis agregados,

because sociologists have consistently demonstrated this

porque os sociólogos têm vindo a demonstrá-lo,

with these experiments they build,

através de experiências,

em que se enviam vários currículos em resposta a anúncios,

where they send a bunch of applications to jobs out,

equally qualified but some have white-sounding names

igualmente qualificados, mas alguns com nomes caucasianos

and some have black-sounding names,

e outros com nomes de raça negra,

and it's always disappointing, the results -- always.

e os resultados são sempre desconcertantes... Sempre!

So we are the ones that are biased,

Somos nós que somos tendenciosos

and we are injecting those biases into the algorithms

e estamos a colocar esses preconceitos nos algoritmos,

by choosing what data to collect,

ao escolhermos os dados,

like I chose not to think about ramen noodles --

tal como eu decidi em relação aos "noodles"

I decided it was irrelevant.

— decidi que eram irrelevantes.

But by trusting the data that's actually picking up on past practices

Mas, ao confiarmos em dados que têm, por base, acontecimentos passados

and by choosing the definition of success,

e ao escolhermos a definição de sucesso,

how can we expect the algorithms to emerge unscathed?

como é que podemos esperar que os algoritmos saiam ilesos?

We can't. We have to check them.

Não podemos. Temos de os verificar.

We have to check them for fairness.

Temos de ver o nível de justiça.

The good news is, we can check them for fairness.

A boa notícia é que podemos fazer isso.

Algorithms can be interrogated,

Os algoritmos podem ser questionados

and they will tell us the truth every time.

e as respostas são sempre verdadeiras.

And we can fix them. We can make them better.

Podemos corrigi-los. Podemos torná-los melhores.

I call this an algorithmic audit,

Posso chamar-lhe "auditoria algorítmica"

and I'll walk you through it.

e explico-vos em que consiste.

First, data integrity check.

Primeiro, verificar a integridade dos dados.

For the recidivism risk algorithm I talked about,

Em relação ao risco de reincidência de que já vos falei,

a data integrity check would mean we'd have to come to terms with the fact

verificar a integridade dos dados significa que concordamos com o facto

that in the US, whites and blacks smoke pot at the same rate

de que, nos EUA, tanto os brancos como os negros fumam erva,

but blacks are far more likely to be arrested --

mas os negros têm maior probabilidade de ser detidos

four or five times more likely, depending on the area.

— quatro ou cinco vezes mais probabilidades, dependendo da zona.

What is that bias looking like in other crime categories,

Como é que se comporta esta tendência, noutros crimes

and how do we account for it?

e como é que lidamos com isso?

Second, we should think about the definition of success,

Segundo, devemos pensar na definição de sucesso,

audit that.

rever esse conceito.

Remember -- with the hiring algorithm? We talked about it.

Lembrem-se do algoritmo de contratação de que já falámos.

Someone who stays for four years and is promoted once?

Alguém que fica na empresa durante quatro anos e é promovido uma vez?

Well, that is a successful employee,

É um trabalhador bem-sucedido,

but it's also an employee that is supported by their culture.

mas também é alguém que apoia a cultura da empresa.

That said, also it can be quite biased.

Assim, vemos que também é muito tendencioso.

We need to separate those two things.

É necessário separar estas duas coisas.

We should look to the blind orchestra audition

Tomemos como exemplo

uma audição às cegas de uma orquestra

as an example.

That's where the people auditioning are behind a sheet.

As pessoas que fazem a audição escondem-se atrás duma cortina.

What I want to think about there

O que é importante reter

is the people who are listening have decided what's important

é que as pessoas que estão a ouvir decidiram o que é importante

and they've decided what's not important,

e o que não é importante,

and they're not getting distracted by that.

e não se deixam distrair.

When the blind orchestra auditions started,

Quando as audições às cegas começaram,

the number of women in orchestras went up by a factor of five.

o número de mulheres em orquestras aumentou cinco vezes.

Next, we have to consider accuracy.

Em seguida, temos de considerar a precisão.

This is where the value-added model for teachers would fail immediately.

É aqui que falharia o "modelo de valor acrescentado" dos professores.

No algorithm is perfect, of course,

Claro que nenhum algoritmo é perfeito,

so we have to consider the errors of every algorithm.

é por isso que temos de considerar os erros de cada um.

How often are there errors, and for whom does this model fail?

Com que frequência existem erros e com quem é que este modelo falha?

What is the cost of that failure?

Qual é o custo desta falha?

And finally, we have to consider

Por último, temos de considerar

the long-term effects of algorithms,

os efeitos a longo prazo dos algoritmos,

the feedback loops that are engendering.

o "feedback" que está programado.

That sounds abstract,

Isto parece abstrato,

but imagine if Facebook engineers had considered that

mas imaginem se os engenheiros do Facebook consideravam

before they decided to show us only things that our friends had posted.

mostrar-nos apenas o que os nossos amigos publicam.

I have two more messages, one for the data scientists out there.

Tenho mais duas mensagens, uma delas para os cientistas de dados.

Data scientists: we should not be the arbiters of truth.

Cientistas de dados: nós não devemos ser os árbitros da verdade.

We should be translators of ethical discussions that happen

Devemos ser tradutores de discussões éticas

que acontecem em sociedades mais amplas.

in larger society.

(Applause)

(Aplausos)

And the rest of you,

E aos restantes,

the non-data scientists:

aos que não são cientistas de dados:

this is not a math test.

isto não é um teste matemático.

This is a political fight.

É uma luta política.

We need to demand accountability for our algorithmic overlords.

Precisamos de exigir a responsabilização dos soberanos dos nossos algoritmos.

(Applause)

(Aplausos)

The era of blind faith in big data must end.

A era da fé cega nos "big data" tem de acabar.

Thank you very much.

Muito obrigada.

(Applause)

(Aplausos)