We're building a dystopia just to make people click on ads | Zeynep Tufekci

Tradutor: Claudia Sander Revisor: Leonardo Silva

So when people voice fears of artificial intelligence,

Quando as pessoas dizem que têm medo da inteligência artificial,

very often, they invoke images of humanoid robots run amok.

com frequência elas evocam imagens de robôs humanoides cometendo massacres.

You know? Terminator?

Sabem? "O Exterminador do Futuro"?

You know, that might be something to consider,

Bem, isso pode ser algo a ser considerado,

but that's a distant threat.

mas é uma ameaça distante.

Or, we fret about digital surveillance

Ou nos preocupamos com vigilância digital,

with metaphors from the past.

com metáforas do passado.

"1984," George Orwell's "1984,"

O livro "1984", de George Orwell,

it's hitting the bestseller lists again.

está de volta ao topo das listas dos mais vendidos.

It's a great book,

É um livro ótimo,

but it's not the correct dystopia for the 21st century.

mas não é a distopia correta para o século 21.

What we need to fear most

O que mais devemos temer

is not what artificial intelligence will do to us on its own,

não é o que a inteligência artificial em si vai fazer conosco,

but how the people in power will use artificial intelligence

mas como as pessoas no poder vão usar a inteligência artificial

to control us and to manipulate us

para nos controlar e nos manipular

in novel, sometimes hidden,

de formas novas, às vezes ocultas,

subtle and unexpected ways.

sutis e inesperadas.

Much of the technology

Muita da tecnologia

that threatens our freedom and our dignity in the near-term future

que ameaça nossa liberdade e dignidade num futuro a curto prazo

is being developed by companies

está sendo desenvolvida por empresas

in the business of capturing and selling our data and our attention

que estão no negócio de captura e venda de nossos dados e nossa atenção

to advertisers and others:

para anunciantes e outros;

Facebook, Google, Amazon,

Facebook, Google, Amazon,

Alibaba, Tencent.

Alibaba, Tencent.

Now, artificial intelligence has started bolstering their business as well.

A inteligência artificial começou a dar suporte a esses negócios, também.

And it may seem like artificial intelligence

E pode parecer que a inteligência artificial

is just the next thing after online ads.

é apenas o próximo passo em anúncios on-line.

It's not.

Não é.

It's a jump in category.

É um salto de categoria.

It's a whole different world,

É um mundo totalmente novo,

and it has great potential.

e tem muito potencial.

It could accelerate our understanding of many areas of study and research.

Ela pode acelerar nosso entendimento em muitas áreas de estudo e pesquisa.

But to paraphrase a famous Hollywood philosopher,

Mas, parafraseando um famoso filósofo de Hollywood:

"With prodigious potential comes prodigious risk."

"Junto com um potencial imenso, vem um risco imenso".

Now let's look at a basic fact of our digital lives, online ads.

Vamos olhar um fato básico de nossa vida digital: anúncios on-line.

Right? We kind of dismiss them.

Certo? Nós meio que os dispensamos.

They seem crude, ineffective.

Eles parecem toscos, não efetivos.

We've all had the experience of being followed on the web

Todos nós já tivemos a experiência de sermos seguidos na web

by an ad based on something we searched or read.

por um anúncio baseado em algo que pesquisamos ou lemos.

You know, you look up a pair of boots

Sabe? Você pesquisa um par de botas

and for a week, those boots are following you around everywhere you go.

e, por uma semana, essas botas o perseguem onde quer que você vá.

Even after you succumb and buy them, they're still following you around.

Mesmo depois de sucumbir e comprá-las, elas continuam seguindo você.

We're kind of inured to that kind of basic, cheap manipulation.

Nós nos acostumamos a esse tipo de manipulação básica e barata.

We roll our eyes and we think, "You know what? These things don't work."

Reviramos os olhos e pensamos: "Quer saber? Essas coisas não funcionam".

Except, online,

Mas, on-line, as tecnologias digitais não são só anúncios.

the digital technologies are not just ads.

Now, to understand that, let's think of a physical world example.

Para entender isso, vamos pensar em um exemplo do mundo real.

You know how, at the checkout counters at supermarkets, near the cashier,

Sabem quando, perto dos caixas do supermercado,

there's candy and gum at the eye level of kids?

estão expostas balas e chicletes na altura dos olhos das crianças?

That's designed to make them whine at their parents

Isso é projetado para fazê-las choramingar para os pais

just as the parents are about to sort of check out.

bem na hora em que eles estão encerrando a compra.

Now, that's a persuasion architecture.

Isso é uma arquitetura de persuasão.

It's not nice, but it kind of works.

Não é legal, mas funciona.

That's why you see it in every supermarket.

E você vê isso em qualquer supermercado.

Now, in the physical world,

Agora, no mundo físico,

such persuasion architectures are kind of limited,

essas arquiteturas de persuasão são um pouco limitadas,

because you can only put so many things by the cashier. Right?

porque só se consegue colocar um certo número de coisas perto do caixa, certo?

And the candy and gum, it's the same for everyone,

E as balas e chicletes são iguais para todos,

even though it mostly works

mesmo que funcionem mais para as pessoas

only for people who have whiny little humans beside them.

que estão com pequenos humanos choraminguentos.

In the physical world, we live with those limitations.

No mundo físico, vivemos com essas limitações.

In the digital world, though,

No mundo digital, no entanto,

persuasion architectures can be built at the scale of billions

arquiteturas de persuasão podem ser construídas aos bilhões

and they can target, infer, understand

e podem mirar, inferir, entender

and be deployed at individuals

e ser aplicadas individualmente,

one by one

um a um,

by figuring out your weaknesses,

ao entender nossas fraquezas,

and they can be sent to everyone's phone private screen,

e podem ser enviadas de forma privada para a tela do telefone de cada um,

so it's not visible to us.

então não são visíveis para todos.

And that's different.

E isso é diferente.

And that's just one of the basic things that artificial intelligence can do.

Essa é só uma das coisas básicas que a inteligência artificial pode fazer.

Now, let's take an example.

Por exemplo, digamos que você queira vender passagens aéreas para Las Vegas.

Let's say you want to sell plane tickets to Vegas. Right?

So in the old world, you could think of some demographics to target

No mundo antigo, você poderia pensar em mirar em alguns setores da população

based on experience and what you can guess.

baseado na experiência e no que você puder imaginar.

You might try to advertise to, oh,

Você pode tentar anunciar para...

men between the ages of 25 and 35,

homens de 25 a 35 anos,

or people who have a high limit on their credit card,

ou pessoas que têm limite alto no cartão de crédito,

or retired couples. Right?

ou casais aposentados, certo?

That's what you would do in the past.

É isso que você faria no passado.

With big data and machine learning,

Com "big data" e aprendizado de máquina,

that's not how it works anymore.

não funciona mais assim.

So to imagine that,

Para imaginar isso,

think of all the data that Facebook has on you:

pense em todos os dados que o Facebook tem sobre você:

every status update you ever typed,

cada atualização de status que você já digitou,

every Messenger conversation,

cada conversa no Messenger,

every place you logged in from,

cada local de onde você se conectou,

all your photographs that you uploaded there.

todas as fotos que você publicou.

If you start typing something and change your mind and delete it,

Se você começa a digitar algo, muda de ideia e deleta,

Facebook keeps those and analyzes them, too.

o Facebook guarda isso e analisa, também.

Increasingly, it tries to match you with your offline data.

Além disso, ele tenta combinar você com seus dados fora da rede.

It also purchases a lot of data from data brokers.

E também compra muitos dados de corretores de dados.

It could be everything from your financial records

Pode ser qualquer coisa, desde seus registros financeiros

to a good chunk of your browsing history.

a uma boa parte do seu histórico de navegação.

Right? In the US, such data is routinely collected,

Certo?

Nos EUA esses dados são coletados rotineiramente,

collated and sold.

organizados e vendidos.

In Europe, they have tougher rules.

Na Europa, há regras mais rígidas.

So what happens then is,

O que acontece então

by churning through all that data, these machine-learning algorithms --

é que, vasculhando todos esses dados, os algoritmos de aprendizado de máquina,

that's why they're called learning algorithms --

e é por isso que são chamados de algoritmos de aprendizado,

they learn to understand the characteristics of people

aprendem a entender as características das pessoas

who purchased tickets to Vegas before.

que já compraram passagens para Las Vegas antes.

When they learn this from existing data,

Quando eles aprendem isso a partir de dados existentes,

they also learn how to apply this to new people.

eles também aprendem a aplicar isso a outras pessoas.

So if they're presented with a new person,

Então, se uma nova pessoa é apresentada a eles,

they can classify whether that person is likely to buy a ticket to Vegas or not.

eles podem classificar se essa pessoa

é do tipo que compra passagem para Las Vegas ou não.

Fine. You're thinking, an offer to buy tickets to Vegas.

Bem. Você está pensando: "Uma oferta de passagem pra Las Vegas.

I can ignore that.

Consigo ignorar isso".

But the problem isn't that.

Mas o problema não é esse.

The problem is,

O problema é que não entendemos mais como esses algoritmos complexos trabalham.

we no longer really understand how these complex algorithms work.

We don't understand how they're doing this categorization.

Não entendemos como eles estão fazendo essa categorização.

It's giant matrices, thousands of rows and columns,

São matrizes gigantes, milhares de linhas e colunas,

maybe millions of rows and columns,

talvez milhões,

and not the programmers

e nem os programadores

and not anybody who looks at it,

nem ninguém que olhe isso,

even if you have all the data,

mesmo tendo todos os dados,

understands anymore how exactly it's operating

entende exatamente como eles estão operando;

any more than you'd know what I was thinking right now

não mais do que você saberia sobre o que estou pensando agora,

if you were shown a cross section of my brain.

se visse um corte transversal do meu cérebro.

It's like we're not programming anymore,

É como se não estivéssemos mais programando,

we're growing intelligence that we don't truly understand.

estamos criando inteligência que não entendemos verdadeiramente.

And these things only work if there's an enormous amount of data,

E essas coisas só funcionam se existir uma quantidade enorme de dados,

so they also encourage deep surveillance on all of us

então eles também encorajam uma grande vigilância sobre nós,

so that the machine learning algorithms can work.

para que os algoritmos de aprendizado de máquina funcionem.

That's why Facebook wants to collect all the data it can about you.

Por isso o Facebook quer coletar tudo que pode sobre você.

The algorithms work better.

Os algoritmos funcionam melhor.

So let's push that Vegas example a bit.

Vamos explorar um pouco mais o exemplo sobre Las vegas.

What if the system that we do not understand

E se o sistema que nós não entendemos

was picking up that it's easier to sell Vegas tickets

estivesse detectando que é mais fácil vender passagens para Las Vegas

to people who are bipolar and about to enter the manic phase.

para pessoas bipolares próximas de entrar em sua fase maníaca?

Such people tend to become overspenders, compulsive gamblers.

Essas pessoas tendem a se tornar

gastadores excessivos, jogadores compulsivos.

They could do this, and you'd have no clue that's what they were picking up on.

Eles podem fazer isso sem tenhamos a menor ideia de que eles estão detectando isso.

I gave this example to a bunch of computer scientists once

Uma vez dei esse exemplo a alguns cientistas da computação

and afterwards, one of them came up to me.

e, no fim, um deles veio falar comigo.

He was troubled and he said, "That's why I couldn't publish it."

Ele estava perturbado e disse: "Por isso eu não pude publicar".

I was like, "Couldn't publish what?"

Eu fiquei tipo: "Não pôde publicar o quê?"

He had tried to see whether you can indeed figure out the onset of mania

Ele tinha tentado identificar o início da fase maníaca,

from social media posts before clinical symptoms,

a partir de publicações de redes sociais, antes dos sintomas clínicos,

and it had worked,

e tinha funcionado,

and it had worked very well,

tinha funcionado muito bem,

and he had no idea how it worked or what it was picking up on.

e ele não tinha ideia sobre como tinha funcionado ou o que ele estava detectando.

Now, the problem isn't solved if he doesn't publish it,

Mas não publicar não resolve o problema,

because there are already companies

porque já existem empresas

that are developing this kind of technology,

que estão desenvolvendo esse tipo de tecnologia,

and a lot of the stuff is just off the shelf.

e muita coisa simplesmente já existe.

This is not very difficult anymore.

Isso não é mais tão difícil.

Do you ever go on YouTube meaning to watch one video

Você já entrou no YouTube para assistir a um vídeo

and an hour later you've watched 27?

e uma hora depois já assistiu a 27?

You know how YouTube has this column on the right

Sabe aquela coluna à direita do YouTube

that says, "Up next"

que diz: "Próximo" e reproduz automaticamente alguma coisa?

and it autoplays something?

It's an algorithm

É um algoritmo

picking what it thinks that you might be interested in

que escolhe o que ele acha que pode interessar a você,

and maybe not find on your own.

não é você que escolhe.

It's not a human editor.

Não é um editor humano.

It's what algorithms do.

É isso que os algoritmos fazem.

It picks up on what you have watched and what people like you have watched,

Eles detectam o que você viu e o que as pessoas como você viram,

and infers that that must be what you're interested in,

e infere que deve ser nisso que você está interessado,

what you want more of,

que você quer consumir mais, e apresenta mais para você.

and just shows you more.

It sounds like a benign and useful feature,

Parece uma característica benigna e útil,

except when it isn't.

mas não é.

So in 2016, I attended rallies of then-candidate Donald Trump

Em 2016, participei de comícios do então candidato Donald Trump

to study as a scholar the movement supporting him.

para estudar o movimento de apoio a ele.

I study social movements, so I was studying it, too.

Eu estudo movimentos sociais, então estava estudando esse também.

And then I wanted to write something about one of his rallies,

Eu queria escrever algo sobre um de seus comícios,

so I watched it a few times on YouTube.

então assisti a ele algumas vezes no YouTube.

YouTube started recommending to me

O YouTube começou a me recomendar

and autoplaying to me white supremacist videos

e a reproduzir automaticamente vídeos de supremacistas brancos

in increasing order of extremism.

em ordem crescente de extremismo.

If I watched one,

Se eu assistia a um,

it served up one even more extreme

ele me apresentava outro ainda mais radical

and autoplayed that one, too.

e reproduzia-o automaticamente, também.

If you watch Hillary Clinton or Bernie Sanders content,

Se você assistir a conteúdo da Hillary Clinton ou do Bernie Sanders,

YouTube recommends and autoplays conspiracy left,

o YouTube recomenda e reproduz conspiração de esquerda,

and it goes downhill from there.

e daí pra baixo.

Well, you might be thinking, this is politics, but it's not.

Bem, você pode pensar que isso tem a ver com política, mas não.

This isn't about politics.

Não tem a ver com política.

This is just the algorithm figuring out human behavior.

Isso é só o algoritmo descobrindo sobre o comportamento humano.

I once watched a video about vegetarianism on YouTube

Uma vez assisti a um vídeo sobre vegetarianismo no YouTube

and YouTube recommended and autoplayed a video about being vegan.

e o YouTube recomendou e reproduziu automaticamente um vídeo sobre ser vegano.

It's like you're never hardcore enough for YouTube.

É como se você nunca fosse radical o suficiente para o YouTube.

(Laughter)

(Risos)

So what's going on?

Então o que está havendo?

Now, YouTube's algorithm is proprietary,

O algoritmo do YouTube é privado,

but here's what I think is going on.

mas acho que acontece o seguinte.

The algorithm has figured out

O algoritmo descobriu

that if you can entice people

que, se conseguir persuadir as pessoas

into thinking that you can show them something more hardcore,

a pensarem que você pode mostrar algo ainda mais extremo,

they're more likely to stay on the site

é mais provável que elas fiquem no site

watching video after video going down that rabbit hole

assistindo a vídeo após vídeo e se afundando cada vez mais,

while Google serves them ads.

enquanto o Google mostra anúncios a elas.

Now, with nobody minding the ethics of the store,

Se ninguém cuidar da questão ética,

these sites can profile people

esses sites podem traçar o perfil de pessoas

who are Jew haters,

que odeiam judeus,

who think that Jews are parasites

que acham que judeus são parasitas,

and who have such explicit anti-Semitic content,

e que têm conteúdo explicitamente antissemita,

and let you target them with ads.

e deixar que você os atinja com anúncios.

They can also mobilize algorithms

Eles também podem mobilizar algoritmos

to find for you look-alike audiences,

para encontrar para você plateias similares,

people who do not have such explicit anti-Semitic content on their profile

pessoas que não têm conteúdo antissemita tão explícito em seu perfil,

but who the algorithm detects may be susceptible to such messages,

mas que o algoritmo detecta que podem ser suscetíveis a esse tipo de mensagem,

and lets you target them with ads, too.

e deixar que você os atinja com anúncios, também.

Now, this may sound like an implausible example,

Esse exemplo pode não parecer plausível,

but this is real.

mas é real.

ProPublica investigated this

A ProPublica investigou isso

and found that you can indeed do this on Facebook,

e descobriu que, sem dúvida, isso pode ser feito no Facebook,

and Facebook helpfully offered up suggestions

e o Facebook prestativamente ofereceu sugestões

on how to broaden that audience.

sobre como aumentar esse público.

BuzzFeed tried it for Google, and very quickly they found,

O BuzzFeed tentou isso com o Google, e rapidamente descobriu que sim,

yep, you can do it on Google, too.

pode-se fazer isso no Google, também.

And it wasn't even expensive.

E não foi muito caro.

The ProPublica reporter spent about 30 dollars

O repórter da ProPublica gastou em torno de US$ 30

to target this category.

para atingir esse público-alvo.

So last year, Donald Trump's social media manager disclosed

No último ano, o gerente de mídias sociais do Donald Trump revelou

that they were using Facebook dark posts to demobilize people,

que eles estavam usando "dark posts" do Facebook para desmobilizar pessoas,

not to persuade them,

não para persuadi-las,

but to convince them not to vote at all.

mas para convencê-las a não votar.

And to do that, they targeted specifically,

E para isso eles miraram especificamente,

for example, African-American men in key cities like Philadelphia,

por exemplo, homens afro-americanos em cidades-chave como a Filadélfia,

and I'm going to read exactly what he said.

e vou ler exatamente o que ele disse.

I'm quoting.

Estou citando.

They were using "nonpublic posts

Eles estavam usando "publicações fechadas,

whose viewership the campaign controls

com visualização controlada pela campanha,

so that only the people we want to see it see it.

para que sejam vistas apenas pelas pessoas que queremos que os vejam.

We modeled this.

Nós modelamos isso.

It will dramatically affect her ability to turn these people out."

E vai afetar drasticamente a capacidade dela de mobilizar essas pessoas".

What's in those dark posts?

O que há nesses "dark posts"?

We have no idea.

Não temos ideia.

Facebook won't tell us.

O Facebook não vai nos contar.

So Facebook also algorithmically arranges the posts

O Facebook também organiza algoritmicamente as publicações

that your friends put on Facebook, or the pages you follow.

de seus amigos ou das páginas que você segue.

It doesn't show you everything chronologically.

Ele não mostra tudo em ordem cronológica.

It puts the order in the way that the algorithm thinks will entice you

Ele coloca na ordem em que o algoritmo pensa que vai induzir você

to stay on the site longer.

a ficar mais tempo no site.

Now, so this has a lot of consequences.

Isso tem várias consequências.

You may be thinking somebody is snubbing you on Facebook.

Você pode estar pensando que alguém está desprezando você no Facebook.

The algorithm may never be showing your post to them.

Mas o algoritmo pode não estar mostrando suas publicações a ele.

The algorithm is prioritizing some of them and burying the others.

O algoritmo está priorizando alguns e encobrindo os outros.

Experiments show

Experimentos mostram

that what the algorithm picks to show you can affect your emotions.

que o que o algoritmo escolhe para mostrar a você pode afetar suas emoções.

But that's not all.

Mas não é só isso.

It also affects political behavior.

Ele também afeta o comportamento político.

So in 2010, in the midterm elections,

Então, em 2010, nas eleições intercalares,

Facebook did an experiment on 61 million people in the US

o Facebook fez um experimento com 61 milhões de pessoas nos EUA;

that was disclosed after the fact.

isso foi revelado após o fato.

So some people were shown, "Today is election day,"

Para algumas pessoas ele mostrou: "Hoje é o dia das eleições",

the simpler one,

a versão mais simples,

and some people were shown the one with that tiny tweak

e para outras pessoas mostrou a versão com aquela pequena barra

with those little thumbnails

com as fotinhos dos seus amigos que clicaram "Eu votei".

of your friends who clicked on "I voted."

This simple tweak.

Esta barra simples.

OK? So the pictures were the only change,

Então, as fotos eram a única diferença,

and that post shown just once

e essa publicação, mostrada apenas uma vez,

turned out an additional 340,000 voters

levou 340 mil eleitores a mais

in that election,

nessa eleição,

according to this research

de acordo com uma pesquisa

as confirmed by the voter rolls.

e confirmada nas listas de eleitores.

A fluke? No.

Acaso? Não.

Because in 2012, they repeated the same experiment.

Porque, em 2012, eles repetiram o mesmo experimento.

And that time,

E, dessa vez,

that civic message shown just once

aquela mensagem cívica apresentada apenas uma vez

turned out an additional 270,000 voters.

se converteu em 270 mil eleitores a mais.

For reference, the 2016 US presidential election

Para referência, as eleições presidenciais de 2016 nos EUA

was decided by about 100,000 votes.

foi decidida por cerca de 100 mil votos.

Now, Facebook can also very easily infer what your politics are,

Agora, o Facebook pode facilmente inferir suas preferências políticas,

even if you've never disclosed them on the site.

mesmo que você nunca as tenha revelado no site.

Right? These algorithms can do that quite easily.

Certo? Esses algoritmos fazem isso facilmente.

What if a platform with that kind of power

E se uma plataforma com esse tipo de poder

decides to turn out supporters of one candidate over the other?

decidir mobilizar apoiadores de um candidato e não do outro?

How would we even know about it?

Como vamos ao menos saber disso?

Now, we started from someplace seemingly innocuous --

Vejam, começamos por algo aparentemente inócuo:

online adds following us around --

anúncios on-line que nos perseguem;

and we've landed someplace else.

e fomos parar em outro lugar.

As a public and as citizens,

Como público e como cidadãos,

we no longer know if we're seeing the same information

não sabemos mais se estamos vendo a mesma informação

or what anybody else is seeing,

ou o que os outros estão vendo,

and without a common basis of information,

e sem uma base comum de informação,

little by little,

aos poucos

public debate is becoming impossible,

o debate público está ficando impossível,

and we're just at the beginning stages of this.

e estamos apenas nos primeiros estágios disso.

These algorithms can quite easily infer

Esses algoritmos podem inferir facilmente

things like your people's ethnicity,

coisas como sua etnia,

religious and political views, personality traits,

posição religiosa e política, traços de personalidade,

intelligence, happiness, use of addictive substances,

inteligência, felicidade, uso de substâncias viciantes,

parental separation, age and genders,

separação dos pais, idade e gênero,

just from Facebook likes.

só a partir das curtidas no Facebook.

These algorithms can identify protesters

Esses algoritmos podem identificar manifestantes

even if their faces are partially concealed.

mesmo que seus rostos estejam parcialmente ocultos.

These algorithms may be able to detect people's sexual orientation

Esses algoritmos podem detectar a orientação sexual das pessoas

just from their dating profile pictures.

só pelas fotos de perfil de seus relacionamentos.

Now, these are probabilistic guesses,

Essas são inferências probabilísticas,

so they're not going to be 100 percent right,

então não estarão 100% corretas,

but I don't see the powerful resisting the temptation to use these technologies

mas não vejo os poderosos resistindo à tentação de usar essas tecnologias

just because there are some false positives,

só porque há alguns falsos positivos,

which will of course create a whole other layer of problems.

que certamente vão criar outra camada de problemas.

Imagine what a state can do

Imagine o que um Estado pode fazer

with the immense amount of data it has on its citizens.

com a imensa quantidade de informação que tem de seus cidadãos.

China is already using face detection technology

A China já usa tecnologia de detecção facial

to identify and arrest people.

para identificar e prender pessoas.

And here's the tragedy:

E a tragédia é a seguinte:

we're building this infrastructure of surveillance authoritarianism

estamos construindo infraestrutura de vigilância autoritária

merely to get people to click on ads.

só para que as pessoas cliquem em anúncios.

And this won't be Orwell's authoritarianism.

E esse não será o autoritarismo do Orwell.

This isn't "1984."

Isso não é "1984".

Now, if authoritarianism is using overt fear to terrorize us,

Agora, se o autoritarismo usar o medo explícito para nos aterrorizar,

we'll all be scared, but we'll know it,

estaremos todos com medo, mas saberemos disso,

we'll hate it and we'll resist it.

vamos odiá-lo e resistir a ele.

But if the people in power are using these algorithms

Mas, se as pessoas no poder estiverem usando esses algoritmos

to quietly watch us,

para nos observar discretamente,

to judge us and to nudge us,

para nos julgar e para nos incitar,

to predict and identify the troublemakers and the rebels,

para prever e identificar os encrenqueiros e os rebeldes,

to deploy persuasion architectures at scale

para aplicar arquiteturas de persuasão em larga escala

and to manipulate individuals one by one

e para manipular as pessoas uma a uma

using their personal, individual weaknesses and vulnerabilities,

usando suas fraquezas e vulnerabilidades pessoais e individuais,

and if they're doing it at scale

e se estiverem fazendo isso em larga escala,

through our private screens

através de nossas telas privadas

so that we don't even know

de forma que nem saibamos

what our fellow citizens and neighbors are seeing,

o que nossos colegas cidadãos e vizinhos estão vendo,

that authoritarianism will envelop us like a spider's web

esse autoritarismo vai nos envolver como uma teia de aranha

and we may not even know we're in it.

e podemos nem saber que estamos nela.

So Facebook's market capitalization

A capitalização de mercado do Facebook

is approaching half a trillion dollars.

está perto de US$ 500 bilhões.

It's because it works great as a persuasion architecture.

É assim porque ele funciona muito bem como uma arquitetura de persuasão.

But the structure of that architecture

Mas a estrutura dessa arquitetura

is the same whether you're selling shoes

é a mesma se você vende sapatos

or whether you're selling politics.

ou política.

The algorithms do not know the difference.

O algoritmo não sabe a diferença.

The same algorithms set loose upon us

O mesmo algoritmo que faz o que quiser conosco

to make us more pliable for ads

para nos tornar mais influenciáveis pelos anúncios

are also organizing our political, personal and social information flows,

também organiza o fluxo de informações políticas, pessoais e sociais,

and that's what's got to change.

e é isso que precisa mudar.

Now, don't get me wrong,

Não me entendam mal,

we use digital platforms because they provide us with great value.

usamos plataformas digitais porque elas são valiosas para nós.

I use Facebook to keep in touch with friends and family around the world.

Eu uso o Facebook para manter contato com amigos e parentes no mundo inteiro.

I've written about how crucial social media is for social movements.

Já escrevi sobre como as mídias sociais são cruciais para os movimentos sociais.

I have studied how these technologies can be used

Tenho estudado como essas tecnologias podem ser usadas

to circumvent censorship around the world.

para contornar a censura em todo o mundo.

But it's not that the people who run, you know, Facebook or Google

Não é que as pessoas que dirigem o Facebook ou Google

are maliciously and deliberately trying

estejam maliciosamente e deliberadamente

tentando tornar o país ou o mundo mais polarizado

to make the country or the world more polarized

and encourage extremism.

e encorajando o extremismo.

I read the many well-intentioned statements

Li as diversas declarações bem-intencionadas

that these people put out.

que essas pessoas expressam.

But it's not the intent or the statements people in technology make that matter,

Mas não são as intenções ou declarações das pessoas de tecnologia que importam,

it's the structures and business models they're building.

são as estruturas e modelos de negócio que elas estão criando.

And that's the core of the problem.

E esse é o cerne do problema.

Either Facebook is a giant con of half a trillion dollars

Ou o Facebook é uma enorme fraude de US$ 500 bilhões

and ads don't work on the site,

e os anúncios não funcionam no site

it doesn't work as a persuasion architecture,

e ele não funciona como uma arquitetura de persuasão,

or its power of influence is of great concern.

ou seu poder de influência é muito preocupante.

It's either one or the other.

Ou um ou outro.

It's similar for Google, too.

E o mesmo para o Google.

So what can we do?

Então o que podemos fazer?

This needs to change.

Isso precisa mudar.

Now, I can't offer a simple recipe,

Eu não tenho uma receita simples,

because we need to restructure

porque precisamos reestruturar

the whole way our digital technology operates.

toda a forma como opera a nossa tecnologia digital.

Everything from the way technology is developed

Tudo, desde a forma como a tecnologia é desenvolvida

to the way the incentives, economic and otherwise,

até a forma como os incentivos, econômicos e outros,

are built into the system.

são construídos no sistema.

We have to face and try to deal with

Precisamos encarar e tentar lidar

the lack of transparency created by the proprietary algorithms,

com a falta de transparência criada pelos proprietários dos algoritmos,

the structural challenge of machine learning's opacity,

o desafio estrutural da opacidade do aprendizado de máquina,

all this indiscriminate data that's being collected about us.

e de todos esses dados sendo coletados sobre nós indiscriminadamente.

We have a big task in front of us.

Temos uma tarefa enorme diante de nós.

We have to mobilize our technology,

Temos que mobilizar nossa tecnologia,

our creativity

nossa criatividade

and yes, our politics

e, sim, nossos políticos,

so that we can build artificial intelligence

para que possamos criar inteligência artificial

that supports us in our human goals

que dê suporte a nossos objetivos humanos,

but that is also constrained by our human values.

mas que também seja limitada por nossos valores humanos.

And I understand this won't be easy.

E eu entendo que isso não será fácil.

We might not even easily agree on what those terms mean.

Podemos não concordar facilmente com o significado desses termos.

But if we take seriously

Mas, se levarmos a sério

how these systems that we depend on for so much operate,

a forma como operam esses sistemas dos quais tanto dependemos,

I don't see how we can postpone this conversation anymore.

não vejo como postergar mais essa discussão.

These structures

Essas estruturas

are organizing how we function

estão organizando o modo como funcionamos

and they're controlling

e estão controlando

what we can and we cannot do.

o que podemos ou não fazer.

And many of these ad-financed platforms,

E muitas dessas plataformas financiadas por anúncios

they boast that they're free.

se vangloriam de serem gratuitas.

In this context, it means that we are the product that's being sold.

Nesse contexto, o produto que está sendo vendido somos nós.

We need a digital economy

Precisamos de uma economia digital

where our data and our attention

em que nossos dados e nossa atenção

is not for sale to the highest-bidding authoritarian or demagogue.

não estejam à venda para o ditador ou demagogo que ofereça mais.

(Applause)

(Aplausos)

So to go back to that Hollywood paraphrase,

Então, parafraseando Hollywood novamente,

we do want the prodigious potential

queremos que o imenso potencial

of artificial intelligence and digital technology to blossom,

da inteligência artificial e da tecnologia digital floresçam,

but for that, we must face this prodigious menace,

mas para isso precisamos enfrentar essa imensa ameaça,

open-eyed and now.

de olhos abertos e agora.

Thank you.

Obrigada.

(Applause)

(Aplausos)