Machine intelligence makes human morals more important | Zeynep Tufekci

Tradutor: Manuel Cardoso Revisora: Margarida Ferreira

So, I started my first job as a computer programmer

Comecei a trabalhar como programadora informática

in my very first year of college --

no meu primeiro ano de faculdade

basically, as a teenager.

— basicamente uma adolescente.

Soon after I started working,

Pouco depois de começar a trabalhar,

writing software in a company,

a programar software numa empresa.

a manager who worked at the company came down to where I was,

um gestor que trabalhava na empresa

and he whispered to me,

veio ter comigo e segredou-me:

"Can he tell if I'm lying?"

"Ele consegue saber se eu estou a mentir?"

There was nobody else in the room.

Não havia mais ninguém na sala.

"Quem poderá saber que você está a mentir? Porque é que está a segredar?"

"Can who tell if you're lying? And why are we whispering?"

The manager pointed at the computer in the room.

O gestor apontou para o computador na sala.

"Can he tell if I'm lying?"

"Ele consegue saber se eu estou a mentir?"

Well, that manager was having an affair with the receptionist.

Aquele gestor tinha um caso romântico com a rececionista.

(Laughter)

(Risos)

And I was still a teenager.

Eu ainda era uma adolescente.

So I whisper-shouted back to him,

Por isso, sussurrei-gritei:

"Yes, the computer can tell if you're lying."

"Sim, o computador sabe que você está a mentir."

(Laughter)

(Risos)

Well, I laughed, but actually, the laugh's on me.

Bem, eu ri-me, mas, na verdade, hoje riem-se de mim.

Nowadays, there are computational systems

Hoje em dia, há sistemas informáticos

that can suss out emotional states and even lying

que conseguem detetar estados emocionais e mesmo a mentira

from processing human faces.

processando apenas os rostos humanos.

Advertisers and even governments are very interested.

Os publicitários e mesmo os governos estão muito interessados nesta tecnologia.

I had become a computer programmer

Tornei-me programadora informática

because I was one of those kids crazy about math and science.

porque era uma criança louca por matemática e ciências.

But somewhere along the line I'd learned about nuclear weapons,

Mas, ao longo do caminho descobri as armas nucleares

and I'd gotten really concerned with the ethics of science.

e fiquei muito preocupada com a ética da ciência.

Fiquei perturbada.

I was troubled.

However, because of family circumstances,

No entanto, devido a circunstâncias familiares,

I also needed to start working as soon as possible.

também precisava de começar a trabalhar o mais cedo possível.

So I thought to myself, hey, let me pick a technical field

Então pensei: "Bem, vou escolher uma área técnica

where I can get a job easily

"onde facilmente consiga um emprego

and where I don't have to deal with any troublesome questions of ethics.

"e onde não tenha que lidar com essas questões incómodas da ética".

Escolhi a informática.

So I picked computers.

(Laughter)

(Risos)

Well, ha, ha, ha! All the laughs are on me.

Bem, ha, ha, ha! Riam-se todos de mim.

Nowadays, computer scientists are building platforms

Hoje, os cientistas de informática estão a construir plataformas

that control what a billion people see every day.

que controlam o que mil milhões de pessoas veem todos os dias.

Estão a desenvolver carros que podem decidir quem atropelar.

They're developing cars that could decide who to run over.

They're even building machines, weapons,

Estão inclusive a construir máquinas, armas,

that might kill human beings in war.

que poderão matar seres humanos, em guerras.

It's ethics all the way down.

Há ética por todo o lado.

Machine intelligence is here.

A inteligência artificial já chegou.

We're now using computation to make all sort of decisions,

Estamos a usar a informática para tomar todo o tipo de decisões,

but also new kinds of decisions.

mas também novos tipos de decisões.

We're asking questions to computation that have no single right answers,

Estamos a fazer perguntas que não têm uma resposta certa,

that are subjective

que são subjetivas,

and open-ended and value-laden.

estão em aberto e assentam em valores.

We're asking questions like,

Fazemos perguntas como:

"Who should the company hire?"

"Quem é que a empresa deve contratar?"

"Which update from which friend should you be shown?"

"Que notícias de que amigo devemos mostrar?"

"Which convict is more likely to reoffend?"

"Qual o prisioneiro que reincidirá mais facilmente?""

"Which news item or movie should be recommended to people?"

"Que notícia ou filme deve ser recomendado?"

Look, yes, we've been using computers for a while,

Sim, já utilizamos os computadores há algum tempo,

but this is different.

mas isto é diferente.

This is a historical twist,

Esta é uma mudança histórica,

because we cannot anchor computation for such subjective decisions

porque não podemos apoiar-nos na informática

para decisões tão subjetivas,

the way we can anchor computation for flying airplanes, building bridges,

do mesmo modo que podemos apoiar-nos na informática

para pôr aviões no ar, para construir pontes,

going to the moon.

para voar até à lua.

Are airplanes safer? Did the bridge sway and fall?

Os aviões são mais seguros? Será que a ponte vai balançar e cair?

There, we have agreed-upon, fairly clear benchmarks,

Nestes casos, chegámos a acordo sobre referências bastante claras,

and we have laws of nature to guide us.

tendo as leis da natureza para nos guiar.

We have no such anchors and benchmarks

Não temos esses apoios e referências

for decisions in messy human affairs.

para as decisões sobre os complexos assuntos humanos.

To make things more complicated, our software is getting more powerful,

Para complicar ainda mais, o software está cada vez mais poderoso,

but it's also getting less transparent and more complex.

mas também está a ficar menos transparente e mais complexo.

Recently, in the past decade,

Recentemente, na última década,

complex algorithms have made great strides.

os algoritmos complexos alcançaram grandes feitos.

They can recognize human faces.

Conseguem reconhecer rostos humanos.

They can decipher handwriting.

Podem decifrar a caligrafia.

They can detect credit card fraud

Detetam fraudes de cartões de crédito e bloqueiam "spam".

and block spam

and they can translate between languages.

Conseguem traduzir idiomas.

They can detect tumors in medical imaging.

Conseguem detetar tumores em imagens médicas.

They can beat humans in chess and Go.

Vencem os humanos no xadrez e no "Go".

Much of this progress comes from a method called "machine learning."

Grande parte deste progresso obteve-se

com o método chamado "aprendizagem de máquina."

Machine learning is different than traditional programming,

A "aprendizagem de máquina" é diferente da programação tradicional,

where you give the computer detailed, exact, painstaking instructions.

na qual se dá ao computador instruções detalhadas, meticulosas e exatas.

It's more like you take the system and you feed it lots of data,

Com este novo método, disponibilizam-se grandes quantidades de dados ao sistema,

including unstructured data,

— incluindo dados não estruturados,

like the kind we generate in our digital lives.

como os que geramos na nossa vida digital.

And the system learns by churning through this data.

O sistema aprende analisando esses dados.

And also, crucially,

Para além disso,

these systems don't operate under a single-answer logic.

estes sistemas não funcionam sob uma lógica de resposta única.

They don't produce a simple answer; it's more probabilistic:

Não produzem uma resposta única; é mais probabilista:

"This one is probably more like what you're looking for."

"Isto, provavelmente, está mais próximo do que procura."

A vantagem é que este método é muito poderoso.

Now, the upside is: this method is really powerful.

O chefe de sistemas da IA do Google, chamou-lhe:

The head of Google's AI systems called it,

"the unreasonable effectiveness of data."

"A eficácia irracional dos dados".

The downside is,

A desvantagem é que

we don't really understand what the system learned.

não entendemos concretamente o que o sistema aprendeu.

In fact, that's its power.

Na verdade, é essa a sua força.

This is less like giving instructions to a computer;

É menos como dar instruções ao computador

it's more like training a puppy-machine-creature

e mais como treinar um filhote de máquina-criatura

we don't really understand or control.

que não entendemos nem controlamos.

So this is our problem.

Portanto, este é o problema.

It's a problem when this artificial intelligence system gets things wrong.

É problemático quando a IA compreende mal as coisas.

It's also a problem when it gets things right,

É também um problema quando as compreende bem,

because we don't even know which is which when it's a subjective problem.

porque nem sabemos o que é o quê quando se trata de um problema subjetivo.

We don't know what this thing is thinking.

Nós não sabemos o que a máquina está a pensar.

So, consider a hiring algorithm --

Assim, considerem um algoritmo de contratação

— um sistema usado para contratar pessoas, utilizando a aprendizagem de máquina.

a system used to hire people, using machine-learning systems.

Tal sistema teria sido treinado com dados dos empregados anteriores

Such a system would have been trained on previous employees' data

and instructed to find and hire

e instruído para encontrar e contratar pessoas

people like the existing high performers in the company.

semelhantes aos melhores profissionais da empresa.

Sounds good.

Parece bem.

I once attended a conference

Uma vez, fui a uma conferência

that brought together human resources managers and executives,

que juntou gestores de recursos humanos e executivos.

Pessoas de alto nível, que usam esses sistemas para contratar

high-level people,

using such systems in hiring.

They were super excited.

Estavam super entusiasmados,

They thought that this would make hiring more objective, less biased,

Achavam que isto tornaria a contratação mais objetiva, menos tendenciosa,

and give women and minorities a better shot

e daria mais hipóteses às mulheres e minorias,

against biased human managers.

ao contrário dos gestores de RH tendenciosos.

And look -- human hiring is biased.

Notem, a contratação humana é tendenciosa.

Eu bem sei.

I know.

I mean, in one of my early jobs as a programmer,

Num dos meus primeiros empregos como programadora,

my immediate manager would sometimes come down to where I was

a minha chefe imediata, às vezes vinha ter comigo,

really early in the morning or really late in the afternoon,

muito cedo de manhã ou muito ao final da tarde,

e dizia: "Zeynep, vamos almoçar!"

and she'd say, "Zeynep, let's go to lunch!"

I'd be puzzled by the weird timing.

Eu ficava intrigada com aquele horário estranho.

It's 4pm. Lunch?

São 16 horas. Almoço?

I was broke, so free lunch. I always went.

Como estava sem dinheiro — almoço grátis — aceitava sempre.

I later realized what was happening.

Mais tarde percebi porquê:

My immediate managers had not confessed to their higher-ups

Os meus chefes diretos não tinham informado os superiores

that the programmer they hired for a serious job was a teen girl

que o programador contratado para um trabalho sério

era uma garota adolescente

who wore jeans and sneakers to work.

que usava "jeans" e ténis para trabalhar.

Eu fazia um bom trabalho, mas tinha um aspeto não convencional

I was doing a good job, I just looked wrong

and was the wrong age and gender.

e tinha a idade e sexo errados.

So hiring in a gender- and race-blind way

Logo, contratar sem olhar ao sexo e à etnia

certainly sounds good to me.

claro que me soa bem.

Mas com estes sistemas, é mais complicado. E porquê?

But with these systems, it is more complicated, and here's why:

Currently, computational systems can infer all sorts of things about you

Atualmente, os sistemas informáticos

conseguem inferir todo o tipo de coisas sobre a pessoa

from your digital crumbs,

a partir das suas migalhas digitais,

even if you have not disclosed those things.

mesmo que a pessoa não tenha divulgado essas coisas.

They can infer your sexual orientation,

Conseguem inferir a sua orientação sexual,

your personality traits,

os seus traços de personalidade,

your political leanings.

as inclinações políticas.

They have predictive power with high levels of accuracy.

Conseguem prever com elevados níveis de precisão.

Remember -- for things you haven't even disclosed.

Notem... coisas que nem sequer divulgámos conscientemente.

This is inference.

Isto é dedução.

I have a friend who developed such computational systems

Tenho uma amiga que desenvolveu esses sistemas informáticos,

to predict the likelihood of clinical or postpartum depression

para prever a probabilidade de depressão clínica ou pós-parto

from social media data.

a partir de dados de redes sociais.

The results are impressive.

Os resultados são impressionantes.

Her system can predict the likelihood of depression

O sistema consegue prever a probabilidade de depressão

months before the onset of any symptoms --

meses antes do início de quaisquer sintomas

months before.

— meses antes.

No symptoms, there's prediction.

Não há sintomas. Há previsão.

She hopes it will be used for early intervention. Great!

Ela espera que isso seja usado para intervenção precoce. Ótimo!

But now put this in the context of hiring.

Mas agora coloquem isto no contexto da contratação.

Na conferência de gestores de recursos humanos,

So at this human resources managers conference,

I approached a high-level manager in a very large company,

aproximei-me de uma gestora de alto nível de uma grande empresa e disse-lhe:

and I said to her, "Look, what if, unbeknownst to you,

"O que acha se, sem o seu conhecimento,

your system is weeding out people with high future likelihood of depression?

"o seu sistema estiver a excluir pessoas com alto risco de futura depressão?

They're not depressed now, just maybe in the future, more likely.

"Não estão deprimidas agora, mas talvez no futuro, seja mais provável.

What if it's weeding out women more likely to be pregnant

"E se está a excluir as mulheres com maior probabilidade de engravidar

in the next year or two but aren't pregnant now?

"dentro de um ou dois anos mas que não estão grávidas agora?

What if it's hiring aggressive people because that's your workplace culture?"

"E se está a contratar pessoas agressivas porque essa é a cultura da empresa?

"Não nos apercebemos disso olhando par a repartição por sexos.

You can't tell this by looking at gender breakdowns.

Those may be balanced.

Aí até pode estar equilibrado.

And since this is machine learning, not traditional coding,

Como isto é aprendizagem de máquina, e não codificação tradicional,

there is no variable there labeled "higher risk of depression,"

não há lá nenhuma variável intitulada "maior risco de depressão",

"higher risk of pregnancy,"

"maior risco de gravidez",

"aggressive guy scale."

"escala de agressividade".

Not only do you not know what your system is selecting on,

Não só não se sabe o que é que o sistema está a selecionar,

you don't even know where to begin to look.

como não se sabe por onde começar a procurar.

É uma caixa preta.

It's a black box.

It has predictive power, but you don't understand it.

Tem poder preditivo, mas não conseguimos entendê-la.

"What safeguards," I asked, "do you have

"Que garantia você tem", perguntei,

to make sure that your black box isn't doing something shady?"

"de que a sua caixa negra não está a fazer algo sombrio?"

She looked at me as if I had just stepped on 10 puppy tails.

Ela olhou para mim como se eu a tivesse ofendido.

(Laughter)

(Risos)

Olhou para mim e disse:

She stared at me and she said,

"I don't want to hear another word about this."

"Não quero ouvir nem mais uma palavra sobre isso."

And she turned around and walked away.

Virou-me as costas e foi-se embora.

Ela não foi indelicada. Foi claramente:

Mind you -- she wasn't rude.

It was clearly: what I don't know isn't my problem, go away, death stare.

"O que eu não sei, não é problema meu. Desapareça." Olhar de morte.

(Laughter)

(Risos)

Look, such a system may even be less biased

Notem que estes sistemas podem ser menos tendenciosos

than human managers in some ways.

do que os gestores humanos, nalguns aspetos.

And it could make monetary sense.

E isso pode fazer sentido economicamente.

But it could also lead

Mas também pode levar

to a steady but stealthy shutting out of the job market

ao fecho constante mas furtivo do mercado de trabalho

para as pessoas com maior risco de depressão.

of people with higher risk of depression.

Is this the kind of society we want to build,

Será este o tipo de sociedade que queremos construir,

without even knowing we've done this,

sem sequer saber que o fizemos,

because we turned decision-making to machines we don't totally understand?

porque demos às máquinas a tomada de decisões

que não compreendemos totalmente?

Another problem is this:

Outro problema é o seguinte:

these systems are often trained on data generated by our actions,

estes sistemas são treinados frequentemente com dados gerados pelas nossas ações,

human imprints.

impressões humanas.

Well, they could just be reflecting our biases,

Assim, poderão estar a refletir os nossos preconceitos.

poderão estar a aprender os nossos preconceitos,

and these systems could be picking up on our biases

and amplifying them

a amplificá-los e a mostrá-los de novo,

and showing them back to us,

while we're telling ourselves,

enquanto nós pensamos:

"We're just doing objective, neutral computation."

"Estamos a ser objetivos, a informática é neutra".

Researchers found that on Google,

Investigadores verificaram que, no Google,

os anúncios para empregos com salários elevados

women are less likely than men to be shown job ads for high-paying jobs.

aparecem mais para homens do que para mulheres.

And searching for African-American names

E se procurarmos nomes de afro-americano

encontramos mais resultados de anúncios sugerindo antecedentes criminais,

is more likely to bring up ads suggesting criminal history,

even when there is none.

mesmo quando não há nenhum.

Such hidden biases and black-box algorithms

Estes preconceitos escondidos e algoritmos de caixa-negra

that researchers uncover sometimes but sometimes we don't know,

que os investigadores por vezes descobrem, mas que por vezes nós não descobrimos,

can have life-altering consequences.

podem ter consequências capazes de mudar uma vida.

In Wisconsin, a defendant was sentenced to six years in prison

No Wisconsin, um réu foi condenado a seis anos de prisão

for evading the police.

por fugir da polícia.

You may not know this,

Podem não saber,

but algorithms are increasingly used in parole and sentencing decisions.

mas os algoritmos são utilizados

para a liberdade condicional e as condenações.

He wanted to know: How is this score calculated?

Este réu queria saber como era calculada a pontuação.

It's a commercial black box.

É uma caixa preta comercial.

The company refused to have its algorithm be challenged in open court.

A empresa recusou-se a ver o seu algoritmo questionado em tribunal aberto.

But ProPublica, an investigative nonprofit, audited that very algorithm

Mas a ProPublica, uma agência de investigação sem fins lucrativos,

auditou esse algoritmo com os dados públicos que encontrou,

with what public data they could find,

and found that its outcomes were biased

e descobriu que os resultados eram tendenciosos

and its predictive power was dismal, barely better than chance,

e o poder de previsão era pouco melhor que o acaso.

and it was wrongly labeling black defendants as future criminals

E que estava a sinalizar erradamente réus negros como futuros criminosos

at twice the rate of white defendants.

duas vezes mais do que réus brancos.

So, consider this case:

Considerem o seguinte caso:

Esta mulher estava atrasada para ir buscar a afilhada

This woman was late picking up her godsister

from a school in Broward County, Florida,

a uma escola no condado de Broward, Flórida

running down the street with a friend of hers.

e corria pela rua abaixo com uma amiga.

They spotted an unlocked kid's bike and a scooter on a porch

Avistaram uma bicicleta e uma scooter, não amarradas, numa varanda

and foolishly jumped on it.

e, parvoíce... levaram-nas.

As they were speeding off, a woman came out and said,

Quando estavam a acelerar, apareceu uma mulher que disse:

"Hey! That's my kid's bike!"

"Ei! Essa bicicleta é do meu filho!"

They dropped it, they walked away, but they were arrested.

Largaram-nas e seguiram caminho, mas acabaram por ser presas.

She was wrong, she was foolish, but she was also just 18.

Foi errado, foi uma parvoíce, mas ela só tinha 18 anos.

She had a couple of juvenile misdemeanors.

Tinha alguns delitos juvenis.

Meanwhile, that man had been arrested for shoplifting in Home Depot --

Entretanto, aquele homem

já tinha sido preso por furto no Home Depot

— um roubo de 85 dólares, um crime menor.

85 dollars' worth of stuff, a similar petty crime.

But he had two prior armed robbery convictions.

Mas, para além disso, já tinha duas sentenças por assalto à mão armada.

But the algorithm scored her as high risk, and not him.

Mas o algoritmo marcou-a como de alto risco, e não a ele.

Two years later, ProPublica found that she had not reoffended.

Dois anos depois, a ProPublica verificou que ela não tinha reincidido,

It was just hard to get a job for her with her record.

mas tinha dificuldade em conseguir um emprego, devido ao cadastro.

He, on the other hand, did reoffend

Ele, por outro lado, reincidiu

and is now serving an eight-year prison term for a later crime.

e agora está a cumprir pena de oito anos por um crime cometido mais tarde.

Necessitamos, claramente, de auditar as nossas caixas-negras

Clearly, we need to audit our black boxes

and not have them have this kind of unchecked power.

e não deixá-las ter este poder sem controlo.

(Applause)

(Aplausos)

As auditorias são ótimas e importantes, mas não solucionam todos os problemas.

Audits are great and important, but they don't solve all our problems.

Take Facebook's powerful news feed algorithm --

Considerem o poderoso algoritmo de notícias do Facebook,

you know, the one that ranks everything and decides what to show you

aquele que classifica e decide tudo o que vos mostram

from all the friends and pages you follow.

de todos os amigos e das páginas que vocês seguem.

Should you be shown another baby picture?

Deverão mostrar-vos outra foto de um bebé?

(Laughter)

(Risos)

A sullen note from an acquaintance?

Uma nota mal-humorado de um conhecido?

An important but difficult news item?

Uma notícia importante, mas incomodativa?

There's no right answer.

Não há uma resposta certa.

Facebook optimizes for engagement on the site:

O Facebook otimiza para manter-vos ligado ao site:

likes, shares, comments.

"likes", partilhas, comentários.

Em agosto de 2014,

In August of 2014,

protests broke out in Ferguson, Missouri,

estalaram manifestações em Ferguson, no Missouri,

after the killing of an African-American teenager by a white police officer,

após a morte de um jovem afro-americano infligida por um polícia branco,

em circunstâncias pouco claras.

under murky circumstances.

The news of the protests was all over

As notícias dos protestos apareceram de todos o lados

my algorithmically unfiltered Twitter feed,

na minha conta de Twitter sem filtro de algoritmos,

but nowhere on my Facebook.

mas em parte alguma no meu Facebook.

Was it my Facebook friends?

Foram os meus amigos no Facebook?

I disabled Facebook's algorithm,

Desativei o algoritmo do Facebook

which is hard because Facebook keeps wanting to make you

— o que é difícil, pois o Facebook insiste em voltar a incluir-nos

come under the algorithm's control,

sob o controlo do algoritmo —

and saw that my friends were talking about it.

e vi que os meus amigos falavam disso.

It's just that the algorithm wasn't showing it to me.

O algoritmo é que não me mostrava essa informação.

I researched this and found this was a widespread problem.

Fiz pesquisas e verifiquei que era um problema generalizado.

The story of Ferguson wasn't algorithm-friendly.

A história de Ferguson não agradava ao algoritmo.

Não era "simpática".

It's not "likable."

Who's going to click on "like?"

Quem ia clicar em "Gosto"?"

It's not even easy to comment on.

Nem é fácil de comentar.

Without likes and comments,

Sem "gosto" e sem comentários,

the algorithm was likely showing it to even fewer people,

o algoritmo, provavelmente, mostrá-la-ia a menos pessoas,

so we didn't get to see this.

e assim nós não a conseguimos ver.

Instead, that week,

Em vez disso, nessa semana,

Facebook's algorithm highlighted this,

o algoritmo do Facebook destacava isto,

which is the ALS Ice Bucket Challenge.

o Desafio do Balde de Água Gelada.

Worthy cause; dump ice water, donate to charity, fine.

Uma causa digna: despejar água gelada; doar para a caridade. Tudo bem.

But it was super algorithm-friendly.

Mas, para o algoritmo, era super amigável.

The machine made this decision for us.

A máquina tomou essa decisão por nós.

A very important but difficult conversation

Uma conversa muito importante mas também difícil

might have been smothered,

poderia ter sido abafada,

had Facebook been the only channel.

se o Facebook fosse o único canal.

Finalmente, estes sistemas também podem cometer erros

Now, finally, these systems can also be wrong

in ways that don't resemble human systems.

diferentes dos erros dos sistemas humanos.

Do you guys remember Watson, IBM's machine-intelligence system

Lembram-se do Watson, a máquina de IA da IBM

that wiped the floor with human contestants on Jeopardy?

que eliminou os concorrentes humanos no Jeopardy?

Foi um grande jogador.

It was a great player.

But then, for Final Jeopardy, Watson was asked this question:

Mas depois, na final do Jeopardy, quando perguntaram ao Watson:

"Its largest airport is named for a World War II hero,

"O maior aeroporto com o nome de um herói da II Guerra Mundial,

its second-largest for a World War II battle."

"o segundo maior com o nome de uma batalha da II Guerra Mundial."

(Hums Final Jeopardy music)

Chicago.

Chicago.

The two humans got it right.

Os dois seres humanos acertaram.

Watson, on the other hand, answered "Toronto" --

Watson, por outro lado, respondeu "Toronto"

— para uma pergunta sobre cidades dos EUA!

for a US city category!

The impressive system also made an error

O impressionante sistema também cometeu um erro

that a human would never make, a second-grader wouldn't make.

que um ser humano nunca iria fazer, que uma criança do 1.º ciclo não faria.

Our machine intelligence can fail

A inteligência artificial pode falhar

in ways that don't fit error patterns of humans,

de formas que não se encaixam nos padrões de erro dos seres humanos.

in ways we won't expect and be prepared for.

de formas inesperadas e imprevistas.

Seria péssimo não conseguir um emprego para o qual estamos qualificados,

It'd be lousy not to get a job one is qualified for,

but it would triple suck if it was because of stack overflow

mas seria três vezes pior se fosse por causa de um erro

in some subroutine.

de processamento de alguma sub-rotina.

(Laughter)

(Risos)

In May of 2010,

Em maio de 2010,

a flash crash on Wall Street fueled by a feedback loop

um acidente relâmpago em Wall Street provocado por uma auto alimentação

in Wall Street's "sell" algorithm

no algoritmo de "vender", em Wall Street,

wiped a trillion dollars of value in 36 minutes.

fez perder um bilião de dólares em 36 minutos.

I don't even want to think what "error" means

Eu nem quero pensar o que significa "erro"

in the context of lethal autonomous weapons.

no contexto de armas mortais autónomas.

So yes, humans have always made biases.

Sim. Os seres humanos sempre alimentaram preconceitos.

Decision makers and gatekeepers,

Quem toma decisões e controla

in courts, in news, in war ...

nos tribunais, nas notícias, na guerra ... comete erros.

they make mistakes; but that's exactly my point.

É esse exatamente o meu ponto.

We cannot escape these difficult questions.

Nós não podemos fugir destas perguntas difíceis.

We cannot outsource our responsibilities to machines.

Não podemos atribuir as nossas responsabilidades às máquinas.

(Applause)

(Aplausos)

A inteligência artificial não nos dá um cartão "Liberte-se da ética".

Artificial intelligence does not give us a "Get out of ethics free" card.

Data scientist Fred Benenson calls this math-washing.

O cientista de dados Fred Benenson chama-lhe "lavagem de matemática".

Precisamos é do oposto.

We need the opposite.

We need to cultivate algorithm suspicion, scrutiny and investigation.

Temos de cultivar algoritmos de suspeita, de análise e de investigação.

We need to make sure we have algorithmic accountability,

Precisamos de garantir que assumimos a responsabilidade dos algoritmos,

auditing and meaningful transparency.

da auditoria e da transparência relevante.

We need to accept that bringing math and computation

Precisamos de aceitar que trazer a matemática e a informática

to messy, value-laden human affairs

para os assuntos humanos, complicados e carregados de valores,

does not bring objectivity;

não nos dá objetividade.

rather, the complexity of human affairs invades the algorithms.

Em vez disso, a complexidade dos assuntos humanos invade os algoritmos.

Sim, podemos e devemos usar a informática

Yes, we can and we should use computation

to help us make better decisions.

para nos ajudar a tomar melhores decisões.

But we have to own up to our moral responsibility to judgment,

Mas temos que assumir a responsabilidade moral do julgamento.

e usar os algoritmos nesse âmbito,

and use algorithms within that framework,

not as a means to abdicate and outsource our responsibilities

não como um meio para abdicar e subcontratar a nossa responsabilidade

to one another as human to human.

de ser humano para ser humano.

Machine intelligence is here.

A inteligência artificial já chegou.

That means we must hold on ever tighter

O que significa que mais que nunca temos de nos agarrar afincadamente

to human values and human ethics.

aos valores e à ética humana.

Obrigada.

Thank you.

(Applause)

(Aplausos)