We're building a dystopia just to make people click on ads | Zeynep Tufekci

Tradutor: Patrícia André Revisora: Margarida Ferreira

So when people voice fears of artificial intelligence,

Quando as pessoas falam dos seus medos da inteligência artificial,

very often, they invoke images of humanoid robots run amok.

comummente, invocam figuras de robôs humanoides fora de controlo.

You know? Terminator?

Sabem? O Exterminador?

You know, that might be something to consider,

Bem, isso pode ser algo a considerar,

but that's a distant threat.

mas é uma ameaça distante.

Or, we fret about digital surveillance

Ou então, preocupamo-nos com a vigilância digital

with metaphors from the past.

com metáforas do passado.

"1984," George Orwell's "1984,"

"1984" de George Orwell

it's hitting the bestseller lists again.

está a chegar ao topo de vendas novamente.

It's a great book,

É um ótimo livro

but it's not the correct dystopia for the 21st century.

mas não é a distopia correta para o século XXI.

O que mais devemos temer

What we need to fear most

is not what artificial intelligence will do to us on its own,

não é o que a inteligência artificial nos vai fazer por si própria,

but how the people in power will use artificial intelligence

mas sim como as pessoas no poder vão usar a inteligência artificial

to control us and to manipulate us

para nos controlar e manipular

in novel, sometimes hidden,

de formas novas, e às vezes escondidas,

subtle and unexpected ways.

subtis e inesperadas.

Much of the technology

Muita da tecnologia

that threatens our freedom and our dignity in the near-term future

que ameaça a nossa libertade e a nossa dignidade, no futuro próximo

is being developed by companies

está a ser desenvolvida por empresas

in the business of capturing and selling our data and our attention

que estão no ramo de recolher e vender

as nossas informações e a nossa atenção

to advertisers and others:

a publicitários e outros

Facebook, Google, Amazon,

— o Facebook, a Google, a Amazon,

Alibaba, Tencent.

o Alibaba, o Tencent.

Now, artificial intelligence has started bolstering their business as well.

Agora, a inteligência artificial

também começou a reforçar os seus negócios.

And it may seem like artificial intelligence

E pode parecer que a inteligência artificial

is just the next thing after online ads.

é o que se seguirá aos anúncios "online".

It's not.

Não é.

It's a jump in category.

É uma subida de patamar.

It's a whole different world,

É um mundo completamente diferente

and it has great potential.

e tem um grande potencial.

It could accelerate our understanding of many areas of study and research.

Pode acelerar a nossa compreensão

de muitas áreas de estudo e investigação.

But to paraphrase a famous Hollywood philosopher,

Mas, para parafrasear um famoso filósofo de Hollywood,

"With prodigious potential comes prodigious risk."

"Com um prodigioso potencial, vem um prodigioso risco."

Now let's look at a basic fact of our digital lives, online ads.

Olhemos para factos básicos da nossa vida digital,

os anúncios "online".

Right? We kind of dismiss them.

Quase nos passam despercebidos.

They seem crude, ineffective.

Parecem brutos, ineficazes.

We've all had the experience of being followed on the web

Já todos tivemos a experiência de sermos perseguidos na Internet

by an ad based on something we searched or read.

por um anúncio, baseado em algo que pesquisámos ou lemos.

You know, you look up a pair of boots

Procuramos um par de botas

and for a week, those boots are following you around everywhere you go.

e, durante uma semana, aquelas botas perseguem-nos, aonde quer que vamos.

Even after you succumb and buy them, they're still following you around.

Mesmo após termos cedido e as termos comprado, ainda nos perseguem.

Estamos quase habituados a este tipo de manipulação, básica e barata.

We're kind of inured to that kind of basic, cheap manipulation.

We roll our eyes and we think, "You know what? These things don't work."

Reviramos os olhos e pensamos:

"Sabem que mais? Estas coisas não funcionam."

Except, online,

Mas "online", as tecnologias digitais não são apenas os anúncios.

the digital technologies are not just ads.

Now, to understand that, let's think of a physical world example.

Para percebermos isso, pensemos num exemplo do mundo físico.

You know how, at the checkout counters at supermarkets, near the cashier,

Sabem como, nos balcões à saída do supermercado, ao pé das caixas,

there's candy and gum at the eye level of kids?

há doces e pastilhas ao nível do olhar das crianças?

That's designed to make them whine at their parents

Isso foi feito para as fazer choramingar para os pais,

just as the parents are about to sort of check out.

quando os pais estão quase a pagar e sair.

Now, that's a persuasion architecture.

Isso é uma arquitetura de persuasão.

It's not nice, but it kind of works.

Não é simpático, mas até funciona.

That's why you see it in every supermarket.

É por isso que o vemos em todos os supermercados.

Now, in the physical world,

No mundo físico,

such persuasion architectures are kind of limited,

estas arquiteturas de persuasão são um pouco limitadas,

because you can only put so many things by the cashier. Right?

porque só dá para pôr algumas coisas ao pé da caixa, certo?

And the candy and gum, it's the same for everyone,

E os doces e as pastilhas são os mesmos para toda a gente,

even though it mostly works

apesar de funcionar maioritariamente

only for people who have whiny little humans beside them.

só com pessoas que têm aqueles seres birrentos ao lado.

In the physical world, we live with those limitations.

No mundo físico, vivemos com estas limitações.

In the digital world, though,

No entanto, no mundo digital, as arquiteturas de persuasão

persuasion architectures can be built at the scale of billions

podem ser construidas à escala de milhares de milhões

and they can target, infer, understand

e podem escolher o alvo, deduzir,

compreender e ser utilizadas em indivíduos, um a um,

and be deployed at individuals

one by one

by figuring out your weaknesses,

percebendo as suas fraquezas,

and they can be sent to everyone's phone private screen,

e podem ser enviadas para o ecrã do telefone privado de cada pessoa

so it's not visible to us.

e, por isso, nós não as vemos.

And that's different.

E isso é diferente.

And that's just one of the basic things that artificial intelligence can do.

E é só uma das coisas básicas que a inteligência artificial faz.

Now, let's take an example.

Vejamos um exemplo.

Let's say you want to sell plane tickets to Vegas. Right?

Suponhamos que queremos vender bilhetes de avião para Las Vegas.

So in the old world, you could think of some demographics to target

No mundo antigo, pensaríamos nalgumas demografias como alvo

based on experience and what you can guess.

com basea na experiência e em palpites.

You might try to advertise to, oh,

Poderíamos colocar anúncios para homens entre os 25 e os 35 anos,

men between the ages of 25 and 35,

or people who have a high limit on their credit card,

ou pessoas que tenham um limite elevado no cartão de crédito,

or retired couples. Right?

ou casais reformados, certo?

That's what you would do in the past.

Isso seria o que faríamos no passado.

With big data and machine learning,

Com a grande quantidade de informações e a aprendizagem de máquinas,

that's not how it works anymore.

já não é assim que funciona.

So to imagine that,

Para imaginar isso,

think of all the data that Facebook has on you:

pensemos em todas as informações que o Facebook tem sobre nós:

every status update you ever typed,

cada atualização de estado que escrevemos,

every Messenger conversation,

cada conversa no Messenger,

every place you logged in from,

cada local em que acedemos ao Facebook,

all your photographs that you uploaded there.

cada fotografia que carregámos para a plataforma.

If you start typing something and change your mind and delete it,

Se começamos a escrever uma coisa e mudamos de ideias e a apagamos

Facebook keeps those and analyzes them, too.

o Facebook guarda essas informações e também as analisa.

Increasingly, it tries to match you with your offline data.

Cada vez mais, tenta fazer a correspondência

entre nós e as nossas informações "offline".

It also purchases a lot of data from data brokers.

Também compra muitas informações a corretores de dados.

It could be everything from your financial records

Pode ser qualquer coisa, desde registos financeiros,

to a good chunk of your browsing history.

até uma boa parte do nosso histórico da Internet.

Right? In the US, such data is routinely collected,

Nos EUA estas informações são rotineiramente recolhidas,

collated and sold.

reunidas e vendidas.

In Europe, they have tougher rules.

Na Europa, há regras mais restritas.

So what happens then is,

Então o que acontece é que, ao remexer em todas estas informações

by churning through all that data, these machine-learning algorithms --

os algoritmos de aprendizagem destas máquinas,

that's why they're called learning algorithms --

— é por isso que são chamados, algoritmos de aprendizagem —

they learn to understand the characteristics of people

aprendem a detetar as características das pessoas

who purchased tickets to Vegas before.

que já compraram bilhetes para Las Vegas antes.

When they learn this from existing data,

Quando aprendem isto a partir de informações já existentes,

they also learn how to apply this to new people.

também aprendem como o aplicar a novas pessoas.

So if they're presented with a new person,

Se lhes apresentarem uma nova pessoa,

they can classify whether that person is likely to buy a ticket to Vegas or not.

eles conseguem classificar se essa pessoa

poderá comprar um bilhete para Las Vegas ou não.

Fine. You're thinking, an offer to buy tickets to Vegas.

Ok, vocês estão a pensar:

"Uma oferta para comprar um bilhete para Las Vegas?

I can ignore that.

"Consigo ignorar isso".

But the problem isn't that.

Mas o problema não é isso.

The problem is,

O problema é que já não percebemos como funcionam estes algoritmos complexos.

we no longer really understand how these complex algorithms work.

We don't understand how they're doing this categorization.

Nós não percebemos como estão a fazer essa categorização.

It's giant matrices, thousands of rows and columns,

São matrizes gigantes, milhares de linhas e colunas,

maybe millions of rows and columns,

talvez milhões de linhas e colunas.

and not the programmers

E já nem os programadores

and not anybody who looks at it,

nem alguém que olhe para aquilo,

even if you have all the data,

mesmo que tenha todas as informações,

understands anymore how exactly it's operating

percebem como, exatamente, é que aquilo funciona,

any more than you'd know what I was thinking right now

tal como vocês não saberiam em que é que eu estou a pensar agora,

if you were shown a cross section of my brain.

se eu vos mostrasse um corte transversal do meu cérebro.

It's like we're not programming anymore,

É como se já não estivéssemos a programar,

we're growing intelligence that we don't truly understand.

estamos a desenvolver inteligência que já não percebemos verdadeiramente.

And these things only work if there's an enormous amount of data,

Tudo isto só funciona se houver quantidades enormes de informações.

so they also encourage deep surveillance on all of us

Então, eles também encorajam uma forte vigilância sobre todos nós

so that the machine learning algorithms can work.

para que os algoritmos de aprendizagem funcionem.

That's why Facebook wants to collect all the data it can about you.

É por isso que o Facebook recolhe todas as informações possíveis.

The algorithms work better.

Os algoritmos funcionam melhor.

So let's push that Vegas example a bit.

Vamos forçar um pouco o exemplo de Las Vegas.

What if the system that we do not understand

E se o sistema, que nós não compreendemos,

was picking up that it's easier to sell Vegas tickets

estivesse a captar que é mais fácil vender bilhetes para Las Vegas

to people who are bipolar and about to enter the manic phase.

a pessoas que são bipolares

e estão prestes a entrar na fase maníaca?

Such people tend to become overspenders, compulsive gamblers.

Essas pessoas tendem a gastar demais e a serem jogadores compulsivos.

They could do this, and you'd have no clue that's what they were picking up on.

Eles podiam fazer isso, e nós não faríamos a ideia

que era esse o critério que estariam a usar.

I gave this example to a bunch of computer scientists once

Uma vez, dei este exemplo a um grupo de cientistas informáticos

and afterwards, one of them came up to me.

e no final, um deles veio ter comigo.

He was troubled and he said, "That's why I couldn't publish it."

Estava perturbado e disse:

"Foi por isso que eu não pude publicar."

I was like, "Couldn't publish what?"

E eu: "Não pôde publicar o quê?"

He had tried to see whether you can indeed figure out the onset of mania

Ele tinha tentado perceber se seria possível

apercebermo-nos do início de uma fase de mania

from social media posts before clinical symptoms,

a partir das publicações nas redes sociais antes de haver sintomas clínicos,

and it had worked,

e tinha conseguido.

and it had worked very well,

Tinha funcionado muito bem.

and he had no idea how it worked or what it was picking up on.

Ele não fazia ideia de como é que tinha funcionado

ou como é que lá tinha chegado

Now, the problem isn't solved if he doesn't publish it,

O problema não fica resolvido se ele não o publicar,

because there are already companies

porque já há empresas a desenvolver este tipo de tecnologia,

that are developing this kind of technology,

and a lot of the stuff is just off the shelf.

e há muita coisa já disponível.

This is not very difficult anymore.

Isto já não é muito difícil.

Do you ever go on YouTube meaning to watch one video

Já aconteceu irem ao Youtube com intenção de ver um vídeo

and an hour later you've watched 27?

e uma hora depois, já viram 27?

You know how YouTube has this column on the right

Sabem, o YouTube tem aquela coluna à direita,

that says, "Up next"

que diz "A seguir"

and it autoplays something?

e começa automaticamente outro vídeo?

It's an algorithm

É um algoritmo a escolher o que acha que nos pode interessar

picking what it thinks that you might be interested in

and maybe not find on your own.

e talvez não encontremos sozinhos.

It's not a human editor.

Não é um editor humano. É o que os algoritmos fazem.

It's what algorithms do.

It picks up on what you have watched and what people like you have watched,

Vê o que já vimos e o que pessoas como nós já viram,

and infers that that must be what you're interested in,

e presume que aquilo deve ser do nosso interesse,

what you want more of,

aquilo que queremos ver mais, e mostra-nos mais.

and just shows you more.

It sounds like a benign and useful feature,

Parece uma funcionalidade benigna e útil,

except when it isn't.

exceto quando não é.

So in 2016, I attended rallies of then-candidate Donald Trump

Em 2016, fui a comícios do então candidato, Donald Trump

to study as a scholar the movement supporting him.

para estudar, como especialista, o movimento que o apoiava.

I study social movements, so I was studying it, too.

Eu estudo movimentos sociais, então estava a estudar isso também.

And then I wanted to write something about one of his rallies,

Depois, quis escrever qualquer coisa sobre um dos comícios dele,

so I watched it a few times on YouTube.

portanto vi-o umas vezes no YouTube.

YouTube started recommending to me

O YouTube começou a recomendar-me

and autoplaying to me white supremacist videos

e a reproduzir automaticamente vídeos de supremacia da raça branca

in increasing order of extremism.

por ordem crescente de extremismo.

If I watched one,

Se eu visse um,

it served up one even more extreme

aparecer-me-ia outro ainda mais extremo

and autoplayed that one, too.

que também se reproduzia automaticamente.

If you watch Hillary Clinton or Bernie Sanders content,

Se virmos conteúdos de Hillary Clinton ou de Bernie Sanders,

YouTube recommends and autoplays conspiracy left,

o YouTube recomenda e reproduz vídeos de conspirações de esquerda,

and it goes downhill from there.

e a partir daí só piora.

Well, you might be thinking, this is politics, but it's not.

Podemos pensar que isto é política, mas não é.

This isn't about politics.

Não se trata de política.

This is just the algorithm figuring out human behavior.

Isto é só o algoritmo a desvendar o comportamento humano.

I once watched a video about vegetarianism on YouTube

Uma vez, vi um vídeo sobre vegetarianismo no YouTube

and YouTube recommended and autoplayed a video about being vegan.

e o YouTube recomendou e reproduziu um vídeo sobre ser vegan.

It's like you're never hardcore enough for YouTube.

É como se nunca fôssemos duros o suficiente para o YouTube.

(Laughter)

(Risos)

So what's going on?

Então o que é que se está a passar?

Now, YouTube's algorithm is proprietary,

O algoritmo do YouTube é patenteado,

but here's what I think is going on.

mas eis o que eu acho que se está a passar:

The algorithm has figured out

O algoritmo percebeu

that if you can entice people

que, se pudermos levar as pessoas a pensar

into thinking that you can show them something more hardcore,

que lhes podemos mostrar algo ainda mais forte,

they're more likely to stay on the site

é mais provável que elas se mantenham no "site"

watching video after video going down that rabbit hole

a ver vídeo atrás de vídeo, indo pela espiral abaixo,

while Google serves them ads.

enquanto o Google lhes apresenta anúncios.

Now, with nobody minding the ethics of the store,

Sem ninguém a preocupar-se com a ética da loja,

these sites can profile people

estes "sites" podem fazer o perfil das pessoas

who are Jew haters,

que odeiam judeus,

who think that Jews are parasites

que acham que os judeus são parasitas

and who have such explicit anti-Semitic content,

e que têm conteúdos explícitos antissemíticos

and let you target them with ads.

e deixa-os selecioná-los para anúncios.

They can also mobilize algorithms

Também podem mobilizar algoritmos

to find for you look-alike audiences,

para encontrarem audiências semelhantes para nós,

people who do not have such explicit anti-Semitic content on their profile

pessoas que não tenham conteúdos antissemíticos explícitos no seu perfil

but who the algorithm detects may be susceptible to such messages,

mas que o algoritmo detetou como possivelmente suscetíveis a tais mensagens

and lets you target them with ads, too.

e deixa que sejam também alvos desses anúncios.

Now, this may sound like an implausible example,

Isto pode parecer um exemplo pouco plausível,

but this is real.

mas é a realidade.

ProPublica investigated this

A ProPublica investigou isto

and found that you can indeed do this on Facebook,

e descobriu que se pode fazer isto no Facebook.

and Facebook helpfully offered up suggestions

E o Facebook, prestavelmente, oferecia sugestões

on how to broaden that audience.

para alargar essa audiência.

BuzzFeed tried it for Google, and very quickly they found,

O BuzzFeed tentou com o Google e rapidamente descobriram

yep, you can do it on Google, too.

que também dá para fazer com o Google.

And it wasn't even expensive.

E nem sequer era caro.

The ProPublica reporter spent about 30 dollars

O repórter da ProPublica gastou cerca de 30 dólares

to target this category.

para escolher o grupo-alvo.

So last year, Donald Trump's social media manager disclosed

No ano passado, o gestor das redes sociais de Donald Trump

revelou que estavam a usar "publicações negras" do Facebook

that they were using Facebook dark posts to demobilize people,

para desmobilizar as pessoas e não para as persuadir,

not to persuade them,

but to convince them not to vote at all.

mas para as convencer a não votar de todo.

And to do that, they targeted specifically,

Para o fazer, escolheram especificamente

for example, African-American men in key cities like Philadelphia,

por exemplo, homens afro-americanos de cidades-chave, como Filadélfia.

and I'm going to read exactly what he said.

Vou ler exatamente o que ele disse.

I'm quoting.

Estou a citar.

They were using "nonpublic posts

"Eles estavam a usar publicações não públicas

whose viewership the campaign controls

"cujas vizualizações são controladas pela campanha,

so that only the people we want to see it see it.

"de forma a que apenas as pessoas que nós queremos que vejam, as vejam.

We modeled this.

"Nós modelámos isto.

It will dramatically affect her ability to turn these people out."

"Vai afetar drasticamente a capacidade de afastar essas pessoas".

What's in those dark posts?

O que está nessas "publicações negras"?

We have no idea.

Não fazemos ideia.

Facebook won't tell us.

O Facebook não nos diz.

So Facebook also algorithmically arranges the posts

O Facebook também organiza algoritmicamente essas publicações

that your friends put on Facebook, or the pages you follow.

que os nossos amigos põem no Facebook ou nas páginas que nós seguimos.

It doesn't show you everything chronologically.

Não nos mostra as publicações por ordem cronológica.

It puts the order in the way that the algorithm thinks will entice you

Ordena as publicações pela ordem que o algoritmo acha

que nos vai levar a ficar mais tempo no "site".

to stay on the site longer.

Now, so this has a lot of consequences.

Isto tem muitas consequências.

You may be thinking somebody is snubbing you on Facebook.

Podemos achar que alguém nos está a ignorar no Facebook.

The algorithm may never be showing your post to them.

Mas o algoritmo pode não lhes estar a mostrar as nossas publicações.

The algorithm is prioritizing some of them and burying the others.

O algoritmo está a dar prioridade a algumas e a enterrar as outras.

Experiments show

As experiências mostram

that what the algorithm picks to show you can affect your emotions.

que o que o algoritmo escolhe mostrar pode afetar as nossas emoções.

But that's not all.

Mas isso não é tudo.

It also affects political behavior.

Também afeta o comportamento político.

So in 2010, in the midterm elections,

Em 2010, nas eleições intercalares,

Facebook did an experiment on 61 million people in the US

o Facebook fez uma experiência em 61 milhões de pessoas nos EUA

that was disclosed after the fact.

facto que foi revelado depois do facto.

So some people were shown, "Today is election day,"

Mostraram a algumas pessoas: "Hoje é dia de eleições",

the simpler one,

a versão mais simples,

and some people were shown the one with that tiny tweak

e a outras mostraram a versão com aquela barrinha

with those little thumbnails

com as pequenas fotos dos amigos que tinham clicado em "Eu votei".

of your friends who clicked on "I voted."

This simple tweak.

Essa simples barra, ok?

OK? So the pictures were the only change,

As fotografias eram a única diferença,

and that post shown just once

e essa publicação, mostrada apenas uma vez

turned out an additional 340,000 voters

mobilizou 340 mil votos adicionais

in that election,

naquelas eleições,

according to this research

de acordo com este estudo,

as confirmed by the voter rolls.

como foi confirmado pelos registos eleitorais.

A fluke? No.

Um mero acaso? Não.

Because in 2012, they repeated the same experiment.

Porque em 2012, repetiram a mesma experiência.

And that time,

E dessa vez, aquela mensagem cívica mostrada apenas uma vez,

that civic message shown just once

turned out an additional 270,000 voters.

mobilizou 270 mil votos adicionais.

For reference, the 2016 US presidential election

Como referência, as eleições presidenciais de 2016 nos EUA

was decided by about 100,000 votes.

foram decididas apenas por cerca de 100 mil votos.

Now, Facebook can also very easily infer what your politics are,

O Facebook consegue facilmente deduzir quais são os nossos ideais políticos,

even if you've never disclosed them on the site.

mesmo que nunca os tenhamos revelado no "site".

Right? These algorithms can do that quite easily.

Estes algoritmos conseguem fazer isso muito facilmente.

What if a platform with that kind of power

E se uma plataforma com este tipo de poder

decides to turn out supporters of one candidate over the other?

decidir mobilizar apoiantes de um candidato mais que de outro?

How would we even know about it?

Como é que sequer teríamos conhecimento disso?

Now, we started from someplace seemingly innocuous --

Começámos de um lugar supostamente inócuo

online adds following us around --

— anúncios "online" que nos perseguem —

and we've landed someplace else.

e chegámos a um local completamente diferente.

As a public and as citizens,

Como público e como cidadãos,

we no longer know if we're seeing the same information

nós já não sabemos se estamos a ver as mesmas informações

or what anybody else is seeing,

ou o que qualquer outra pessoa está a ver,

and without a common basis of information,

e sem uma base comum de informações,

little by little,

pouco a pouco, o debate público torna-se impossível,

public debate is becoming impossible,

and we're just at the beginning stages of this.

e estamos apenas no início de tudo isto.

These algorithms can quite easily infer

Estes algoritmos conseguem, com bastante facilidade,

deduzir coisas como a etnia das pessoas,

things like your people's ethnicity,

religious and political views, personality traits,

as crenças religiosas e políticas, traços de personalidade.

intelligence, happiness, use of addictive substances,

inteligência, felicidade, uso de substâncias aditivas,

parental separation, age and genders,

separações dos pais, idade e género,

just from Facebook likes.

apenas pelos likes do Facebook.

These algorithms can identify protesters

Estes algoritmos podem identificar manifestantes

even if their faces are partially concealed.

mesmo se as suas caras estiverem parcialmente escondidas.

These algorithms may be able to detect people's sexual orientation

Estes algoritmos podem conseguir detetar a orientação sexual duma pessoa

just from their dating profile pictures.

apenas pelas fotografias do perfil de encontros.

Now, these are probabilistic guesses,

Estes são palpites probabilísticos,

so they're not going to be 100 percent right,

por isso não vão estar 100% corretos.

but I don't see the powerful resisting the temptation to use these technologies

Mas eu não vejo os poderosos a resistir à tentação de usar estas tecnologias

just because there are some false positives,

apenas porque há alguns falsos positivos,

which will of course create a whole other layer of problems.

o que, claro, vai criar toda uma outra camada de problemas.

Imagine what a state can do

Imaginem o que um Estado pode fazer

with the immense amount of data it has on its citizens.

com a quantidade imensa de informações que tiver dos seus cidadãos.

China is already using face detection technology

A China já está a usar tecnologia de reconhecimento facial.

to identify and arrest people.

para identificar e deter pessoas.

And here's the tragedy:

E a tragédia é esta:

we're building this infrastructure of surveillance authoritarianism

estamos a construir esta infraestrutura de vigilância autoritária

merely to get people to click on ads.

apenas para fazer as pessoas clicar em anúncios.

And this won't be Orwell's authoritarianism.

Este não vai ser o autoritarismo de Orwell.

This isn't "1984."

Não é o "1984".

Now, if authoritarianism is using overt fear to terrorize us,

Se o autoritarismo usar medo explícito para nos aterrorizar

nós ficaremos assustados, mas temos consciência disso,

we'll all be scared, but we'll know it,

we'll hate it and we'll resist it.

vamos odiá-lo e vamos resistir-lhe.

But if the people in power are using these algorithms

Mas se as pessoas no poder usarem estes algoritmos

to quietly watch us,

para, silenciosamente, nos vigiarem,

to judge us and to nudge us,

para nos julgarem e para nos influenciarem,

to predict and identify the troublemakers and the rebels,

para preverem e para identificarem os desordeiros e os rebeldes,

to deploy persuasion architectures at scale

para implementarem técnicas de persuação em larga escala

and to manipulate individuals one by one

e para manipularem indivíduos, um por um,

using their personal, individual weaknesses and vulnerabilities,

usando fraquezas e vulnerabilidades individuais e pessoais,

and if they're doing it at scale

e se o estão a fazer em larga escala,

through our private screens

através dos nossos ecrãs privados,

so that we don't even know

para que nós nem saibamos

what our fellow citizens and neighbors are seeing,

o que os outros cidadãos e vizinhos estão a ver,

that authoritarianism will envelop us like a spider's web

esse autoritarismo vai envolver-nos como uma teia de aranha

and we may not even know we're in it.

e podemos nem dar conta de que estamos nela.

So Facebook's market capitalization

A capitalização de mercado do Facebook

is approaching half a trillion dollars.

está a aproximar-se de meio bilião de dólares.

It's because it works great as a persuasion architecture.

É porque funciona lindamente como arquitetura de persuasão.

But the structure of that architecture

Mas a estrutura desta arquitetura

is the same whether you're selling shoes

é a mesma, quer estejam a vender sapatos

or whether you're selling politics.

ou a vender política.

The algorithms do not know the difference.

Os algoritmos não sabem a diferença.

The same algorithms set loose upon us

O mesmo algoritmo que faz o que quer connosco,

to make us more pliable for ads

para nos deixar mais vulveráveis a anúncios,

are also organizing our political, personal and social information flows,

também organiza o fluxo das nossas informações

políticas, pessoais e sociais

and that's what's got to change.

e é isso que tem de mudar.

Now, don't get me wrong,

Não me interpretem mal.

we use digital platforms because they provide us with great value.

Nós usamos plataformas digitais porque são valiosas para nós.

Eu uso o Facebook para me manter em contacto

I use Facebook to keep in touch with friends and family around the world.

com a família e amigos de todo o mundo.

I've written about how crucial social media is for social movements.

Eu já escrevi sobre o quão cruciais são as redes sociais

para os movimentos sociais.

I have studied how these technologies can be used

Já estudei o modo como estas tecnologias podem ser usadas

to circumvent censorship around the world.

para contornar a censura a nível mundial.

But it's not that the people who run, you know, Facebook or Google

Não que as pessoas que controlam o Facebook e o Google

estejam, maliciosa e deliberadamente,

are maliciously and deliberately trying

a tentar tornar o país ou o mundo mais polarizado

to make the country or the world more polarized

and encourage extremism.

e a encorajar o extremismo.

I read the many well-intentioned statements

Li as várias declarações bem-intencionadas

that these people put out.

que essas pessoas publicaram.

But it's not the intent or the statements people in technology make that matter,

Mas não é a intenção ou as declarações que as pessoas da tecnologia fazem

que importam.

it's the structures and business models they're building.

São as estruturas e os modelos de negócio que estão a construir.

And that's the core of the problem.

E isso é a base do problema.

Either Facebook is a giant con of half a trillion dollars

Ou o Facebook é uma enorme fraude de meio bilião de dólares

and ads don't work on the site,

e os anúncios não funcionam no "site",

it doesn't work as a persuasion architecture,

não funcionam como uma arquitetura de persuasão,

or its power of influence is of great concern.

ou o seu poder e influência são uma grande preocupação.

It's either one or the other.

Ou é uma coisa ou é outra.

It's similar for Google, too.

E passa-se o mesmo com o Google.

So what can we do?

Então o que é que podemos fazer?

This needs to change.

Isto tem de mudar.

Now, I can't offer a simple recipe,

Não consigo apresentar uma receita simples

because we need to restructure

porque é preciso reestruturar

the whole way our digital technology operates.

toda a maneira como a nossa tecnologia digital funciona.

Everything from the way technology is developed

Tudo, desde a maneira como a tecnologia é desenvolvida

to the way the incentives, economic and otherwise,

até à maneira como os incentivos, económicos e não só,

are built into the system.

estão construídos no sistema.

We have to face and try to deal with

Temos de encarar e tentar lidar com a falta de transparência

the lack of transparency created by the proprietary algorithms,

criada pelos algoritmos patenteados,

the structural challenge of machine learning's opacity,

o problema estrutural da opacidade da aprendizagem de máquinas,

all this indiscriminate data that's being collected about us.

e todas estas informações indiscriminadas que estão a ser recolhidas sobre nós.

We have a big task in front of us.

Temos uma grande tarefa à nossa frente.

We have to mobilize our technology,

Temos de mobilizar a nossa tecnologia,

our creativity

a nossa criatividade

and yes, our politics

e sim, a nossa política

so that we can build artificial intelligence

para conseguirmos construir uma inteligência artificial

that supports us in our human goals

que nos apoie nas nossas metas humanas

but that is also constrained by our human values.

mas que também seja limitada pelos nossos valores humanos.

And I understand this won't be easy.

Eu compreendo que não vai ser fácil.

We might not even easily agree on what those terms mean.

Podemos até nem concordar facilmente no que significam estes termos.

But if we take seriously

Mas, se levarmos a sério

how these systems that we depend on for so much operate,

como funcionam estes sistemas de que dependemos para tanta coisa,

I don't see how we can postpone this conversation anymore.

não vejo como podemos adiar mais esta conversa.

These structures

Estas estruturas estão a organizar

are organizing how we function

o modo como nós funcionamos

and they're controlling

e estão a controlar

what we can and we cannot do.

o que podemos fazer ou não.

And many of these ad-financed platforms,

Muitas destas plataformas financiadas por anúncios

they boast that they're free.

gabam-se de serem gratuitas.

In this context, it means that we are the product that's being sold.

O que, neste contexto, quer dizer

que somos nós o produto que estão a vender.

We need a digital economy

Precisamos de uma economia digital

where our data and our attention

em que as nossas informações e a nossa atenção

is not for sale to the highest-bidding authoritarian or demagogue.

não estejam à venda para o déspota ou o demagogo

que esteja disposto a pagar mais.

(Applause)

(Aplausos)

So to go back to that Hollywood paraphrase,

Para voltar à paráfrase de Hollywood,

we do want the prodigious potential

nós queremos que o prodigioso potencial

of artificial intelligence and digital technology to blossom,

da inteligência artificial e da tecnologia digital floresça

but for that, we must face this prodigious menace,

mas, para isso, temos de enfrentar esta prodigiosa ameaça

open-eyed and now.

de olhos bem abertos e já.

Thank you.

Obrigada.

(Applause)

(Aplausos)