Machine intelligence makes human morals more important | Zeynep Tufekci

Tradutor: Raissa Mendes Revisor: Ruy Lopes Pereira

So, I started my first job as a computer programmer

Meu primeiro emprego na vida foi como programadora de computador

in my very first year of college --

já no primeiro ano de faculdade,

basically, as a teenager.

praticamente uma adolescente.

Soon after I started working,

Logo que comecei a trabalhar,

writing software in a company,

escrevendo software numa empresa,

a manager who worked at the company came down to where I was,

um gerente que trabalhava lá se aproximou de mim

and he whispered to me,

e começou a sussurrar:

"Can he tell if I'm lying?"

"Ele consegue dizer se estou mentindo?"

There was nobody else in the room.

Não havia mais ninguém na sala.

(Risos)

"Can who tell if you're lying? And why are we whispering?"

"Quem consegue dizer se você está mentindo? E por que estamos sussurrando?"

The manager pointed at the computer in the room.

O gerente apontou para o computador na sala.

"Can he tell if I'm lying?"

"Ele consegue dizer se estou mentindo?"

Well, that manager was having an affair with the receptionist.

Bem, aquele gerente estava tendo um caso com a recepcionista.

(Laughter)

(Risos)

And I was still a teenager.

E eu ainda era uma adolescente.

So I whisper-shouted back to him,

Assim, gritei sussurrando de volta:

"Yes, the computer can tell if you're lying."

"Sim, o computador sabe se você está mentindo".

(Laughter)

(Risos)

Well, I laughed, but actually, the laugh's on me.

Eu ri, mas, na verdade, estava rindo de mim mesma.

Nowadays, there are computational systems

Atualmente, há sistemas computacionais

that can suss out emotional states and even lying

que conseguem perceber estados emocionais e até mentiras

from processing human faces.

ao processar rostos humanos.

Advertisers and even governments are very interested.

Anunciantes e até governos estão muito interessados nisso.

I had become a computer programmer

Tornei-me programadora de computador,

because I was one of those kids crazy about math and science.

pois era uma dessas crianças loucas por matemática e ciências.

But somewhere along the line I'd learned about nuclear weapons,

Mas, a uma certa altura, descobri as armas nucleares

and I'd gotten really concerned with the ethics of science.

e passei a me preocupar com a ética da ciência.

I was troubled.

Aquilo me perturbou.

However, because of family circumstances,

No entanto, devido a circunstâncias familiares,

I also needed to start working as soon as possible.

eu também precisava começar a trabalhar o mais rápido possível.

So I thought to myself, hey, let me pick a technical field

Assim, pensei comigo mesma: "Ei, vou escolher a área técnica,

where I can get a job easily

onde posso conseguir um emprego facilmente

and where I don't have to deal with any troublesome questions of ethics.

e não tenho de lidar com quaisquer questões éticas perturbadoras".

So I picked computers.

Então escolhi os computadores.

(Laughter)

(Risos)

Well, ha, ha, ha! All the laughs are on me.

Bem, ha, ha, ha! Eu virei a piada.

Nowadays, computer scientists are building platforms

Hoje, os cientistas da computação constroem plataformas

that control what a billion people see every day.

que controlam o que um bilhão de pessoas veem todos os dias.

They're developing cars that could decide who to run over.

Eles estão desenvolvendo carros que poderiam decidir quem atropelar.

(Risos)

They're even building machines, weapons,

Estão construindo até mesmo máquinas e armas

that might kill human beings in war.

que podem matar seres humanos na guerra.

It's ethics all the way down.

É ética o tempo todo.

Machine intelligence is here.

A inteligência de máquina chegou.

We're now using computation to make all sort of decisions,

Hoje em dia usamos a computação para tomar todo tipo de decisão,

but also new kinds of decisions.

mas também novos tipos de decisão.

We're asking questions to computation that have no single right answers,

Perguntamos aos computadores coisas que não têm apenas uma resposta correta,

that are subjective

que são subjetivas, abertas e que envolvem julgamento de valor.

and open-ended and value-laden.

We're asking questions like,

Perguntamos coisas do tipo: "Quem a empresa deve contratar?"

"Who should the company hire?"

"Which update from which friend should you be shown?"

"Que atualização de qual amigo deve ser mostrada?"

"Which convict is more likely to reoffend?"

"Qual condenado tem mais chance de reincidir num crime?"

"Which news item or movie should be recommended to people?"

"Quais notícias ou filmes devem ser recomendados às pessoas?"

Look, yes, we've been using computers for a while,

Sim, temos usado os computadores já faz um bom tempo,

but this is different.

mas isso é diferente.

This is a historical twist,

Essa é uma virada histórica,

because we cannot anchor computation for such subjective decisions

pois não podemos confiar na computação para essas decisões subjetivas

the way we can anchor computation for flying airplanes, building bridges,

da mesma forma que podemos confiar na computação para pilotar aviões,

construir pontes, ir à Lua.

going to the moon.

Are airplanes safer? Did the bridge sway and fall?

Os aviões estão mais seguros? A ponte balançou e caiu?

There, we have agreed-upon, fairly clear benchmarks,

Nesses casos, concordamos de forma bem clara com os parâmetros,

and we have laws of nature to guide us.

e temos as leis da natureza como baliza.

We have no such anchors and benchmarks

Nós não temos tais âncoras ou marcos

for decisions in messy human affairs.

para a tomada de decisões em negócios humanos confusos.

To make things more complicated, our software is getting more powerful,

Para complicar ainda mais as coisas, nosso software está ficando mais poderoso,

but it's also getting less transparent and more complex.

mas também menos transparente e mais complexo.

Recently, in the past decade,

Recentemente, na década passada,

complex algorithms have made great strides.

algoritmos complexos deram passos enormes.

They can recognize human faces.

Eles conseguem reconhecer rostos humanos.

They can decipher handwriting.

Eles conseguem decifrar caligrafia.

They can detect credit card fraud

Eles conseguem detectar fraude de cartão de crédito, bloquear spam,

and block spam

and they can translate between languages.

conseguem traduzir línguas

They can detect tumors in medical imaging.

e detectar tumores em exames de imagem.

They can beat humans in chess and Go.

Conseguem vencer humanos em jogos de xadrez e Go.

Much of this progress comes from a method called "machine learning."

Muito desse progresso vem de um método chamado "aprendizado de máquina".

Machine learning is different than traditional programming,

O aprendizado de máquina é diferente da programação tradicional

where you give the computer detailed, exact, painstaking instructions.

em que instruções detalhadas, exatas e meticulosas são dadas ao computador.

It's more like you take the system and you feed it lots of data,

É mais como pegar um sistema e alimentá-lo com montes de dados,

including unstructured data,

incluindo dados não estruturados,

like the kind we generate in our digital lives.

como os que geramos em nossas vidas digitais.

And the system learns by churning through this data.

E o sistema aprende revirando esses dados.

And also, crucially,

Além disso, fundamentalmente,

these systems don't operate under a single-answer logic.

esses sistemas não operam sob a lógica de uma resposta única.

They don't produce a simple answer; it's more probabilistic:

Eles não produzem uma resposta simples; é mais probabilidade:

"This one is probably more like what you're looking for."

"É provável que isto aqui seja o que você está procurando".

Now, the upside is: this method is really powerful.

Bem, a vantagem é que esse método é realmente poderoso.

The head of Google's AI systems called it,

O responsável pela IA do Google o chamou

"the unreasonable effectiveness of data."

de "a eficácia irracional dos dados".

The downside is,

O lado negativo é

we don't really understand what the system learned.

não sabermos realmente o que o sistema aprendeu.

In fact, that's its power.

Na realidade, é aí que está seu poder.

This is less like giving instructions to a computer;

Isso tem pouco a ver com dar instruções a um computador;

it's more like training a puppy-machine-creature

é mais como adestrar uma máquina-filhote

we don't really understand or control.

que não controlamos ou conhecemos de verdade.

(Risos)

So this is our problem.

Então, este é o nosso problema.

It's a problem when this artificial intelligence system gets things wrong.

É um problema

quando esse sistema de inteligência artificial entende as coisas errado.

It's also a problem when it gets things right,

Também é um problema quando ele entende certo,

because we don't even know which is which when it's a subjective problem.

pois não sabemos distinguir os dois quando se trata de um problema subjetivo.

We don't know what this thing is thinking.

Não sabemos o que esta coisa está pensando.

So, consider a hiring algorithm --

Por exemplo, vamos imaginar um algoritmo de contratação,

a system used to hire people, using machine-learning systems.

um sistema usado para contratar pessoas,

usando o aprendizado de máquina.

Such a system would have been trained on previous employees' data

Tal sistema teria sido treinado em dados prévios dos empregados

and instructed to find and hire

e treinado para encontrar e contratar

people like the existing high performers in the company.

pessoas como os atuais empregados com alto desempenho na empresa.

Sounds good.

Parece uma coisa boa.

I once attended a conference

Uma vez, fui a um seminário

that brought together human resources managers and executives,

que reuniu gerentes e executivos da área de recursos humanos,

high-level people,

pessoas de alto nível, usando tais sistemas para contratar.

using such systems in hiring.

They were super excited.

Eles estavam muito empolgados.

They thought that this would make hiring more objective, less biased,

Achavam que isso tornaria a contratação mais objetiva, menos parcial,

and give women and minorities a better shot

e daria a mulheres e minorias uma melhor oportunidade

against biased human managers.

versus gerentes humanos tendenciosos.

And look -- human hiring is biased.

Pois vejam: a contratação humana é tendenciosa.

I know.

Sei bem disso.

I mean, in one of my early jobs as a programmer,

Quero dizer, num dos meus primeiros empregos como programadora,

my immediate manager would sometimes come down to where I was

minha gerente imediata às vezes vinha ao meu setor

really early in the morning or really late in the afternoon,

bem cedinho pela manhã ou bem no final da tarde,

and she'd say, "Zeynep, let's go to lunch!"

e me chamava: "Zeynep, vamos almoçar!"

I'd be puzzled by the weird timing.

Eu ficava atônita com o horário estranho.

It's 4pm. Lunch?

Eram quatro da tarde. Almoço?

I was broke, so free lunch. I always went.

Eu não tinha grana, então, almoço grátis, eu sempre ia.

I later realized what was happening.

Só mais tarde percebi o que estava acontecendo.

My immediate managers had not confessed to their higher-ups

Meus gerentes imediatos não tinham confessado a seus superiores

that the programmer they hired for a serious job was a teen girl

que a programadora que tinham contratado para um emprego sério era uma adolescente

who wore jeans and sneakers to work.

que vinha trabalhar de jeans e tênis.

I was doing a good job, I just looked wrong

Eu trabalhava direito, só parecia errada,

and was the wrong age and gender.

e tinha a idade e o gênero errados.

So hiring in a gender- and race-blind way

Assim, contratar independente da raça e do gênero

certainly sounds good to me.

certamente me parece uma coisa boa.

But with these systems, it is more complicated, and here's why:

Mas, com esses sistemas, é mais complicado, e eis a razão:

Currently, computational systems can infer all sorts of things about you

hoje, sistemas de computador podem inferir todo tipo de coisas sobre nós

from your digital crumbs,

por meio de nossas pegadas digitais,

even if you have not disclosed those things.

mesmo coisas que não tivermos revelado.

They can infer your sexual orientation,

Eles podem inferir nossa orientação sexual,

your personality traits,

os traços de nossa personalidade,

your political leanings.

nossas tendências políticas.

They have predictive power with high levels of accuracy.

Eles têm poder preditivo com altos níveis de precisão.

Remember -- for things you haven't even disclosed.

Vejam bem, para coisas que não revelamos: isso é inferência.

This is inference.

I have a friend who developed such computational systems

Tenho uma amiga que desenvolveu um sistema de computador

to predict the likelihood of clinical or postpartum depression

para predizer a probabilidade de depressão clínica pós-parto

from social media data.

com base em dados de mídia social.

The results are impressive.

Os resultados são impressionantes.

Her system can predict the likelihood of depression

O sistema dela prevê a probabilidade de depressão

months before the onset of any symptoms --

meses antes do surgimento de quaisquer sintomas,

months before.

meses antes.

No symptoms, there's prediction.

Mesmo sem sintomas, ele prevê.

She hopes it will be used for early intervention. Great!

Ela espera que isso seja usado para intervenção precoce.

Ótimo!

But now put this in the context of hiring.

Mas coloque isso no contexto da contratação.

So at this human resources managers conference,

Então, nesse seminário de gerentes de recursos humanos,

I approached a high-level manager in a very large company,

eu me aproximei de uma gerente com alto cargo numa grande empresa,

and I said to her, "Look, what if, unbeknownst to you,

e perguntei a ela: "Olhe, e se, sem seu conhecimento,

your system is weeding out people with high future likelihood of depression?

seu sistema estiver cortando pessoas com probabilidade de depressão futura?

They're not depressed now, just maybe in the future, more likely.

Elas não estão deprimidas agora, mas, no futuro, bem provavelmente.

What if it's weeding out women more likely to be pregnant

E se estiver cortando mulheres com maior probabilidade de engravidar

in the next year or two but aren't pregnant now?

dentro de um ou dois anos, mas que não estejam grávidas agora?

What if it's hiring aggressive people because that's your workplace culture?"

E se contratar pessoas agressivas por causa da cultura da empresa?

You can't tell this by looking at gender breakdowns.

Não se pode saber isso com análises de gênero.

Those may be balanced.

Isso pode estar equacionado.

And since this is machine learning, not traditional coding,

E, como isso é aprendizado de máquina, não é codificação tradicional,

there is no variable there labeled "higher risk of depression,"

não há uma variável chamada 'alto risco de depressão',

"higher risk of pregnancy,"

'maior risco de gravidez',

"aggressive guy scale."

'pessoa altamente agressiva'.

Not only do you not know what your system is selecting on,

Não só você não sabe o que seu sistema está selecionando,

you don't even know where to begin to look.

como também não sabe onde começar a olhar.

It's a black box.

É uma caixa-preta.

It has predictive power, but you don't understand it.

Ele tem poder preditivo, mas você não o entende.

"What safeguards," I asked, "do you have

Que salvaguardas", perguntei, "você teria

to make sure that your black box isn't doing something shady?"

para se assegurar de que sua caixa-preta não está fazendo algo suspeito?"

She looked at me as if I had just stepped on 10 puppy tails.

Ela olhou para mim como se eu tivesse pisado no rabo de dez cachorrinhos.

(Laughter)

(Risos)

She stared at me and she said,

Ela olhou bem pra mim e falou:

"I don't want to hear another word about this."

"Eu não quero ouvir nem mais uma palavra sobre isso".

And she turned around and walked away.

E virou as costas e foi embora.

Mind you -- she wasn't rude.

Vejam bem, ela não foi rude.

It was clearly: what I don't know isn't my problem, go away, death stare.

Era claramente:

"O que eu não sei não é problema meu, vai embora, agourenta".

(Laughter)

(Risos)

Look, such a system may even be less biased

Vejam, tal sistema pode até ser menos tendencioso

than human managers in some ways.

do que gerentes humanos de alguma forma.

And it could make monetary sense.

E poderia fazer sentido financeiramente.

But it could also lead

Mas também poderia levar

to a steady but stealthy shutting out of the job market

a um constante mas sorrateiro fechamento do mercado de trabalho

of people with higher risk of depression.

para pessoas com alto risco de depressão.

Is this the kind of society we want to build,

É esse tipo de sociedade que queremos construir,

without even knowing we've done this,

sem nem sequer saber que fizemos isso,

because we turned decision-making to machines we don't totally understand?

por termos dado às máquinas um poder de decisão que não entendemos totalmente?

Another problem is this:

Outro problema é o seguinte:

these systems are often trained on data generated by our actions,

esses sistemas normalmente são treinados com dados gerados pelas nossas ações,

human imprints.

vestígios humanos.

Well, they could just be reflecting our biases,

Bem, eles poderiam estar apenas refletindo nossas tendências,

and these systems could be picking up on our biases

e esses sistemas poderiam estar pegando nossas tendências,

and amplifying them

amplificando-as e devolvendo-as para nós, enquanto dizemos a nós mesmos:

and showing them back to us,

while we're telling ourselves,

"We're just doing objective, neutral computation."

"Estamos fazendo apenas computação objetiva e neutra".

Researchers found that on Google,

Pesquisadores descobriram que, no Google,

women are less likely than men to be shown job ads for high-paying jobs.

são mostrados menos anúncios de empregos bem pagos às mulheres do que aos homens.

And searching for African-American names

E, numa pesquisa de nomes afro-americanos,

is more likely to bring up ads suggesting criminal history,

é provável que nos sejam mostrados anúncios sugerindo história criminal,

even when there is none.

mesmo quando não há nenhuma.

Such hidden biases and black-box algorithms

Tais tendências escondidas e algoritmos caixas-pretas,

that researchers uncover sometimes but sometimes we don't know,

que os pesquisadores às vezes revelam, mas às vezes desconhecemos,

can have life-altering consequences.

podem afetar a vida das pessoas.

In Wisconsin, a defendant was sentenced to six years in prison

Em Wisconsin, um réu foi sentenciado a seis anos de prisão

for evading the police.

por fugir da polícia.

You may not know this,

Talvez não saibam disso,

but algorithms are increasingly used in parole and sentencing decisions.

mas os algoritmos estão sendo cada vez mais usados em decisões judiciais.

He wanted to know: How is this score calculated?

E o réu quis saber: como esse número foi calculado?

It's a commercial black box.

É uma caixa-preta comercial.

The company refused to have its algorithm be challenged in open court.

A empresa se recusou a ter seu algoritmo exposto no tribunal.

But ProPublica, an investigative nonprofit, audited that very algorithm

Mas a ProPublica, uma organização investigativa sem fins lucrativos,

auditou esse algoritmo com os dados públicos que conseguiu encontrar

with what public data they could find,

and found that its outcomes were biased

e descobriu que os resultados eram tendenciosos,

and its predictive power was dismal, barely better than chance,

e seu poder preditivo era deplorável, apenas um pouco melhor do que o acaso,

and it was wrongly labeling black defendants as future criminals

e estava rotulando erroneamente réus negros como futuros criminosos

at twice the rate of white defendants.

duas vezes mais do que os réus brancos.

So, consider this case:

Vejam por exemplo este caso:

This woman was late picking up her godsister

esta mulher se atrasou para buscar sua parente

from a school in Broward County, Florida,

numa escola no Condado de Broward, na Flórida.

running down the street with a friend of hers.

Correndo pela rua com uma amiga,

They spotted an unlocked kid's bike and a scooter on a porch

elas viram uma bicicleta sem cadeado e uma lambreta numa varanda

and foolishly jumped on it.

e, impensadamente, pularam nela.

As they were speeding off, a woman came out and said,

Quando estavam indo embora, uma mulher saiu e falou:

"Hey! That's my kid's bike!"

"Ei! Esta é a bicicleta do meu filho!"

They dropped it, they walked away, but they were arrested.

Elas largaram a bicicleta, fugiram, mas foram presas.

She was wrong, she was foolish, but she was also just 18.

Ela errou, foi infantil, mas tinha apenas 18 anos.

She had a couple of juvenile misdemeanors.

Ela tinha algumas contravenções juvenis.

Meanwhile, that man had been arrested for shoplifting in Home Depot --

Enquanto isso, aquele homem tinha sido preso por furtar na Home Depot

85 dollars' worth of stuff, a similar petty crime.

bens no valor de US$ 85, um crime pequeno similar.

But he had two prior armed robbery convictions.

Mas ele tinha duas condenações prévias por roubo à mão armada.

But the algorithm scored her as high risk, and not him.

No entanto, o algoritmo a classificou como sendo de alto risco, e ele não.

Two years later, ProPublica found that she had not reoffended.

Dois anos depois, a ProPublica descobriu que ela não tinha reincidido em crime.

It was just hard to get a job for her with her record.

E foi muito difícil conseguir um emprego com esse histórico.

He, on the other hand, did reoffend

Ele, por outro lado, reincidiu no crime

and is now serving an eight-year prison term for a later crime.

e agora está cumprindo oito anos de prisão por um crime posterior.

Clearly, we need to audit our black boxes

Claramente, precisamos auditar nossas caixas-pretas

and not have them have this kind of unchecked power.

e não deixá-las ter esse tipo de poder sem controle.

(Applause)

(Aplausos)

Audits are great and important, but they don't solve all our problems.

Auditorias são ótimas e importantes, mas não resolvem todos os problemas.

Take Facebook's powerful news feed algorithm --

Peguem o poderoso algoritmo do Facebook.

you know, the one that ranks everything and decides what to show you

Sabe aquele que escolhe o que nos mostrar

from all the friends and pages you follow.

entre todos os amigos e páginas que seguimos?

Should you be shown another baby picture?

Será que deveriam lhe mostrar uma outra foto de bebê?

(Laughter)

(Risos)

A sullen note from an acquaintance?

Um comentário estranho de um conhecido?

An important but difficult news item?

Uma notícia importante, mas difícil?

There's no right answer.

Não existe resposta certa.

Facebook optimizes for engagement on the site:

O Facebook o aperfeiçoa pelo uso do site:

likes, shares, comments.

curtidas, compartilhamentos, comentários.

In August of 2014,

Em agosto de 2014,

protests broke out in Ferguson, Missouri,

houve uma onda de protestos em Ferguson, no Missouri,

after the killing of an African-American teenager by a white police officer,

depois do assassinato de um adolescente afro-americano por um policial branco,

under murky circumstances.

sob circunstâncias nebulosas.

The news of the protests was all over

Notícias sobre os protestos estavam por toda parte

my algorithmically unfiltered Twitter feed,

no "feed" do meu Twitter sem algoritmo de filtragem,

but nowhere on my Facebook.

mas em nenhum lugar no meu Facebook.

Was it my Facebook friends?

Seriam meus amigos no Facebook?

I disabled Facebook's algorithm,

Eu desabilitei o algoritmo do Facebook,

which is hard because Facebook keeps wanting to make you

o que é difícil, pois o Facebook espera que nós

come under the algorithm's control,

fiquemos sob o controle do algoritmo,

and saw that my friends were talking about it.

e vi que meus amigos estavam falando sobre o assunto.

It's just that the algorithm wasn't showing it to me.

Mas o algoritmo simplesmente não mostrava.

I researched this and found this was a widespread problem.

Fui pesquisar e descobri que era um problema geral.

The story of Ferguson wasn't algorithm-friendly.

A história de Ferguson não era compatível com o algoritmo.

It's not "likable."

Não era "curtível"; quem ia "curtir" aquilo?

Who's going to click on "like?"

It's not even easy to comment on.

Não era fácil nem mesmo comentar sobre o assunto.

Without likes and comments,

Sem curtidas e comentários,

the algorithm was likely showing it to even fewer people,

era provável que o algoritmo mostrasse isso para cada vez menos pessoas,

so we didn't get to see this.

assim, não pudemos ver isto.

Instead, that week,

Em seu lugar, naquela semana, o algoritmo do Facebook priorizou isto:

Facebook's algorithm highlighted this,

which is the ALS Ice Bucket Challenge.

o desafio do balde da ELA, esclerose lateral amiotrófica.

Worthy cause; dump ice water, donate to charity, fine.

Causa importante: jogar água gelada, doar para caridade, tudo bem.

But it was super algorithm-friendly.

Mas era supercompatível com o algoritmo.

The machine made this decision for us.

A máquina tomou essa decisão por nós.

A very important but difficult conversation

Uma conversa muito importante, mas muito difícil,

might have been smothered,

teria sido atenuada,

had Facebook been the only channel.

caso o Facebook fosse o único canal.

Now, finally, these systems can also be wrong

Finalmente, esses sistemas também podem errar

in ways that don't resemble human systems.

de maneiras diferentes dos sistemas humanos.

Do you guys remember Watson, IBM's machine-intelligence system

Lembram-se do Watson, o sistema de inteligência de máquina da IBM

that wiped the floor with human contestants on Jeopardy?

que sempre ganhava, competindo com seres humanos num show de TV?

It was a great player.

Ele era um ótimo jogador.

But then, for Final Jeopardy, Watson was asked this question:

Mas então, na final, foi feita a seguinte pergunta a Watson:

"Its largest airport is named for a World War II hero,

"Seu maior aeroporto possui o nome de um herói da Segunda Guerra,

its second-largest for a World War II battle."

a maior grande batalha da Segunda Guerra".

(Hums Final Jeopardy music)

(Cantarola música do show)

Chicago.

"Chicago."

The two humans got it right.

Os dois seres humanos acertaram.

Watson, on the other hand, answered "Toronto" --

Watson, por sua vez, respondeu "Toronto"

na categoria "cidade dos EUA"!

for a US city category!

The impressive system also made an error

O incrível sistema também cometeu um erro

that a human would never make, a second-grader wouldn't make.

que um humano jamais faria, uma criança não cometeria.

Our machine intelligence can fail

Nossa inteligência artifical pode falhar

in ways that don't fit error patterns of humans,

de formas que não se encaixam nos padrões de erros humanos,

de formas que não esperamos e para as quais não estamos preparados.

in ways we won't expect and be prepared for.

It'd be lousy not to get a job one is qualified for,

Seria péssimo não conseguir um emprego para o qual se está qualificado,

but it would triple suck if it was because of stack overflow

mas seria triplamente péssimo se fosse por causa de um "stack overflow"

in some subroutine.

em alguma sub-rotina.

(Laughter)

(Risos)

In May of 2010,

Em maio de 2010,

a flash crash on Wall Street fueled by a feedback loop

uma baixa repentina em Wall Street, alimentada pelo sistema de autoajuste

in Wall Street's "sell" algorithm

do algoritmo de "venda",

wiped a trillion dollars of value in 36 minutes.

varreu US$ 1 trilhão em 36 minutos.

I don't even want to think what "error" means

Não quero nem pensar no que significaria "erro"

in the context of lethal autonomous weapons.

no contexto de armas letais autônomas.

So yes, humans have always made biases.

Então, sim, os seres humanos sempre foram tendenciosos.

Decision makers and gatekeepers,

Tomadores de decisão e controladores,

in courts, in news, in war ...

em tribunais, na mídia, na guerra...

they make mistakes; but that's exactly my point.

eles cometem erros; mas esse é exatamente meu ponto.

We cannot escape these difficult questions.

Não podemos fugir dessas questões difíceis.

We cannot outsource our responsibilities to machines.

Não podemos terceirizar nossas responsabilidades para as máquinas.

(Applause)

(Aplausos) (Vivas)

Artificial intelligence does not give us a "Get out of ethics free" card.

A inteligência artificial não nos dá um passe para a "zona livre de ética".

Data scientist Fred Benenson calls this math-washing.

O cientista de dados Fred Benenson chama isso de "mathwashing".

We need the opposite.

Precisamos fazer o contrário.

We need to cultivate algorithm suspicion, scrutiny and investigation.

Precisamos cultivar o escrutínio, a suspeita e investigação dos algoritmos.

We need to make sure we have algorithmic accountability,

Precisamos nos assegurar de que temos responsabilidade algorítmica,

auditing and meaningful transparency.

auditoria e transparência relevante.

We need to accept that bringing math and computation

Precisamos aceitar que trazer a matemática e a computação

to messy, value-laden human affairs

para negócios humanos confusos, envolvendo julgamento de valor,

does not bring objectivity;

não traz objetividade;

rather, the complexity of human affairs invades the algorithms.

mas que, ao contrário, a complexidade dos negócios humanos invade os algoritmos.

Yes, we can and we should use computation

Sim, podemos e devemos usar a computação

to help us make better decisions.

para nos ajudar a tomar decisões melhores.

But we have to own up to our moral responsibility to judgment,

Mas temos de reconhecer nossa responsabilidade moral para julgar,

and use algorithms within that framework,

e usar os algoritmos dentro desse espectro,

not as a means to abdicate and outsource our responsibilities

não como uma forma de abdicar de nossas responsabilidades ou terceirizá-las,

to one another as human to human.

como se fosse de um ser humano para outro.

Machine intelligence is here.

A inteligência artificial está aí.

That means we must hold on ever tighter

Isso significa que vamos ter de nos agarrar firmemente

to human values and human ethics.

aos valores e à ética humanos.

Thank you.

Obrigada.

(Applause)

(Aplausos) (Vivas)