How deepfakes undermine truth and threaten democracy | Danielle Citron

Tradutor: Luanne Araujo Revisora: Bianca Goulart

[This talk contains mature content]

[Esta palestra apresenta conteúdo adulto]

Rana Ayyub is a journalist in India

Rana Ayyub é uma jornalista na Índia

whose work has exposed government corruption

que denunciou no seu trabalho a corrupção governamental

and human rights violations.

e violações dos direitos humanos.

And over the years,

E, ao longo dos anos,

she's gotten used to vitriol and controversy around her work.

habituou-se à crítica corrosiva e à controvérsia sobre o seu trabalho.

But none of it could have prepared her for what she faced in April 2018.

Mas nada disso a podia preparar para o que aconteceu em abril de 2018.

She was sitting in a café with a friend when she first saw it:

Ela estava num café com um amigo quando viu pela primeira vez

a two-minute, 20-second video of her engaged in a sex act.

um vídeo de dois minutos e vinte segundos em que ela aparecia numa relação sexual.

And she couldn't believe her eyes.

Ela não podia acreditar no que via.

She had never made a sex video.

Nunca havia feito um vídeo de sexo.

But unfortunately, thousands upon thousands of people

Mas, infelizmente, milhares de pessoas

would believe it was her.

iam acreditar que era ela.

I interviewed Ms. Ayyub about three months ago,

Eu entrevistei Ayyub há cerca de três meses,

in connection with my book on sexual privacy.

para o meu livro sobre privacidade sexual.

I'm a law professor, lawyer and civil rights advocate.

Sou professora de Direito, advogada e porta-voz dos direitos civis.

So it's incredibly frustrating knowing that right now,

É incrivelmente frustrante saber que, neste exato momento,

law could do very little to help her.

a lei pouco pode fazer para ajudá-la.

And as we talked,

Enquanto conversávamos,

she explained that she should have seen the fake sex video coming.

ela explicou-me que devia ter previsto aquele vídeo sexual forjado e disse:

She said, "After all, sex is so often used to demean and to shame women,

"Afinal, o sexo é frequentemente usado para humilhar as mulheres,

especially minority women,

"especialmente as que fazem parte de minorias,

and especially minority women who dare to challenge powerful men,"

"e mais ainda aquelas que se atrevem a desafiar homens poderosos",

as she had in her work.

como ela havia feito.

The fake sex video went viral in 48 hours.

Esse vídeo de sexo forjado tornou-se viral em 48 horas.

All of her online accounts were flooded with screenshots of the video,

Todas as suas contas "online"

foram inundadas com imagens retiradas desse vídeo,

with graphic rape and death threats

com ameaças gráficas de violação e de morte

and with slurs about her Muslim faith.

e com insultos em relação à fé muçulmana dela.

Online posts suggested that she was "available" for sex.

Publicações "online" sugeriam que ela estava "disponível" para sexo.

And she was doxed,

E ela foi "doxed",

which means that her home address and her cell phone number

o que significa que o endereço e o número do telemóvel dela

were spread across the internet.

foram divulgados na Internet.

The video was shared more than 40,000 times.

O vídeo foi partilhado mais de 40 000 vezes.

Now, when someone is targeted with this kind of cybermob attack,

Quando alguém é alvo deste tipo de ataque cibernético,

the harm is profound.

os danos são profundos.

Rana Ayyub's life was turned upside down.

A vida de Rana Ayyub virou-se de pernas para o ar.

For weeks, she could hardly eat or speak.

Durante semanas, ela mal conseguia comer ou falar.

She stopped writing and closed all of her social media accounts,

Deixou de escrever e fechou todas as contas nas redes sociais,

which is, you know, a tough thing to do when you're a journalist.

o que é uma coisa muito difícil para uma jornalista.

And she was afraid to go outside her family's home.

Tinha medo de sair de casa.

What if the posters made good on their threats?

E se quem escrevia cumprisse as suas ameaças?

The UN Council on Human Rights confirmed that she wasn't being crazy.

O Conselho dos Direitos Humanos da ONU confirmou que ela não estava paranoica.

It issued a public statement saying that they were worried about her safety.

Emitiram uma declaração pública dizendo

que estavam preocupados com a sua segurança.

What Rana Ayyub faced was a deepfake:

O que Rana Ayyub enfrentava era um "deepfake",

machine-learning technology

uma tecnologia de aprendizagem automática

that manipulates or fabricates audio and video recordings

que manipula ou fabrica gravações de áudio e vídeo

to show people doing and saying things

para mostrar pessoas a fazer ou a dizer

that they never did or said.

coisas que nunca fizeram ou disseram.

Deepfakes appear authentic and realistic, but they're not;

Os "deepfakes" parecem autênticos e reais, mas não são,

they're total falsehoods.

são puras mentiras.

Although the technology is still developing in its sophistication,

Embora esta tecnologia ainda esteja a aperfeiçoar-se.

it is widely available.

já está amplamente disponível.

Now, the most recent attention to deepfakes arose,

O interesse atual em "deepfakes" surgiu

as so many things do online,

— como com muitas coisas "online" —

with pornography.

com a pornografia.

In early 2018,

No início de 2018,

someone posted a tool on Reddit

alguém publicou uma ferramenta no Reddit

to allow users to insert faces into porn videos.

que permite às pessoas colocar rostos em vídeos pornográficos.

And what followed was a cascade of fake porn videos

O que se seguiu foi uma enxurrada de vídeos pornográficos falsos

featuring people's favorite female celebrities.

protagonizados pelas celebridades preferidas do público.

And today, you can go on YouTube and pull up countless tutorials

E hoje é possível achar no YouTube inúmeros tutoriais

with step-by-step instructions

com instruções passo-a-passo

on how to make a deepfake on your desktop application.

para criar um "deepfake" num aplicativo do computador.

And soon we may be even able to make them on our cell phones.

Em breve, talvez seja possível criá-los nos nossos telemóveis.

Now, it's the interaction of some of our most basic human frailties

Mas é a interação das fraquezas humanas mais básicas

and network tools

com ferramentas na Internet

that can turn deepfakes into weapons.

que pode transformar os "deepfakes" em armas.

So let me explain.

Passo a explicar.

As human beings, we have a visceral reaction to audio and video.

Enquanto seres humanos, temos uma reação visceral aos áudios e vídeos.

We believe they're true,

Acreditamos que são verdadeiros,

on the notion that of course you can believe

baseando-nos na noção de que podemos acreditar

what your eyes and ears are telling you.

no que os nossos olhos e ouvidos estão a dizer.

And it's that mechanism

É esse mecanismo

that might undermine our shared sense of reality.

que pode enfraquecer o nosso sentido de realidade comum.

Although we believe deepfakes to be true, they're not.

Embora acreditemos que os "deepfakes" sejam reais, não são.

And we're attracted to the salacious, the provocative.

E somos atraídos por aquilo que é obsceno, provocador.

We tend to believe and to share information

Temos a tendência a acreditar e a partilhar informações

that's negative and novel.

que sejam negativas, que sejam novidade.

And researchers have found that online hoaxes spread 10 times faster

Os investigadores descobriram que as aldrabices "online"

propagam-se dez vezes mais depressa

than accurate stories.

do que histórias verdadeiras.

Now, we're also drawn to information

Também somos atraídos por informações

that aligns with our viewpoints.

alinhadas com o nosso ponto de vista.

Psychologists call that tendency "confirmation bias."

Os psicólogos chamam a essa tendência de "preconceito de confirmação".

And social media platforms supercharge that tendency,

As plataformas das redes sociais superalimentam essa tendência,

by allowing us to instantly and widely share information

quando nos permitem partilhar, instantânea e amplamente,

that accords with our viewpoints.

informações de acordo com os nossos pontos de vista.

Now, deepfakes have the potential to cause grave individual and societal harm.

Os "deepfakes" podem causar graves danos pessoais e sociais.

So, imagine a deepfake

Imaginem um "deepfake"

that shows American soldiers in Afganistan burning a Koran.

que mostre soldados americanos a incendiar um Alcorão no Afeganistão.

You can imagine that that deepfake would provoke violence

É fácil imaginar que este "deepfake" provocaria violência

against those soldiers.

contra esses soldados.

And what if the very next day

E se, no dia seguinte,

there's another deepfake that drops,

surgisse um outro "deepfake",

that shows a well-known imam based in London

a mostrar um conhecido imã de Londres

praising the attack on those soldiers?

a pregar o ataque a esses soldados?

We might see violence and civil unrest,

Poderíamos ver a violência e a desordem civil

not only in Afganistan and the United Kingdom,

não só no Afeganistão e no Reino Unido,

but across the globe.

mas pelo mundo inteiro.

And you might say to me,

Vocês poderiam dizer:

"Come on, Danielle, that's far-fetched."

"Por favor, Danielle, isso é rebuscado".

But it's not.

Mas não é.

We've seen falsehoods spread

Já vimos que a propagação de mentiras

on WhatsApp and other online message services

no WhatsApp e noutros mensageiros "online"

lead to violence against ethnic minorities.

resultou em violência contra minorias étnicas.

And that was just text --

E foi apenas texto,

imagine if it were video.

imaginem se fosse um vídeo.

Now, deepfakes have the potential to corrode the trust that we have

Os "deepfakes" têm a capacidade de destruir a confiança que temos

in democratic institutions.

nas instituições democráticas.

So, imagine the night before an election.

Então, imaginem que, na noite antes dumas eleições,

There's a deepfake showing one of the major party candidates

temos um "deepfake" que mostra um dos candidatos do principal partido

gravely sick.

gravemente doente.

The deepfake could tip the election

Esse "deepfake" pode decidir as eleições

and shake our sense that elections are legitimate.

e abalar o nosso sentido de que as eleições são legítimas.

Imagine if the night before an initial public offering

Imaginem se, na noite anterior a uma oferta pública

of a major global bank,

de um importante banco global,

there was a deepfake showing the bank's CEO

aparecesse um "deepfake" a mostrar o CEO do banco embriagado,

drunkenly spouting conspiracy theories.

a vomitar teorias da conspiração.

The deepfake could tank the IPO,

O "deepfake" pode afundar a oferta pública,

and worse, shake our sense that financial markets are stable.

e pior, pode abalar a nossa noção de que o mercado financeiro é estável.

So deepfakes can exploit and magnify the deep distrust that we already have

Os "deepfakes" podem explorar e expandir

a profunda desconfiança que já temos

in politicians, business leaders and other influential leaders.

nos políticos, nos líderes de negócios e noutros líderes influentes.

They find an audience primed to believe them.

Eles encontram uma audiência pronta para acreditar neles.

And the pursuit of truth is on the line as well.

A procura da verdade também está em jogo.

Technologists expect that with advances in AI,

Tecnólogos esperam que, com o avanço da inteligência artificial,

soon it may be difficult if not impossible

em breve será difícil, se não impossível,

to tell the difference between a real video and a fake one.

dizer a diferença entre um vídeo real e um vídeo falso.

So how can the truth emerge in a deepfake-ridden marketplace of ideas?

Então, como pode a verdade surgir

num mercado de ideias movido a "deepfakes"?

Will we just proceed along the path of least resistance

Será que vamos seguir pelo caminho de menor resistência,

and believe what we want to believe,

acreditar no que queremos acreditar,

truth be damned?

e a verdade que se dane?

And not only might we believe the fakery,

Não só acreditaríamos no falso,

we might start disbelieving the truth.

como podíamos começar a descrer da verdade.

We've already seen people invoke the phenomenon of deepfakes

Já vimos pessoas invocar o fenómeno dos "deepfakes"

to cast doubt on real evidence of their wrongdoing.

para provocar dúvidas sobre indícios reais das suas más ações.

We've heard politicians say of audio of their disturbing comments,

Ouvimos políticos dizer sobre áudios com comentários seus perturbadores:

"Come on, that's fake news.

"Por favor, isso são notícias falsas.

You can't believe what your eyes and ears are telling you."

"Vocês não podem acreditar no que os vossos olhos e ouvidos estão a dizer."

And it's that risk

É esse o risco

that professor Robert Chesney and I call the "liar's dividend":

a que o professor Robert Chesney e eu chamamos "dividendo do mentiroso":

the risk that liars will invoke deepfakes

o risco de que os mentirosos venham a invocar os "deepfakes"

to escape accountability for their wrongdoing.

para escapar à responsabilidade das suas más ações.

So we've got our work cut out for us, there's no doubt about it.

Temos um trabalho difícil a fazer, não há dúvidas quanto a isso.

And we're going to need a proactive solution

E vamos precisar de uma solução proativa

from tech companies, from lawmakers,

das empresas de tecnologia, dos legisladores,

law enforcers and the media.

dos agentes da lei e dos "media".

And we're going to need a healthy dose of societal resilience.

E vamos precisar de uma boa dose de resiliência da sociedade.

So now, we're right now engaged in a very public conversation

Neste momento, estamos empenhados numa conversa pública

about the responsibility of tech companies.

sobre a responsabilidade das empresas de tecnologia.

And my advice to social media platforms

O meu conselho para as plataformas de redes sociais

has been to change their terms of service and community guidelines

tem sido mudar os termos do serviço e as orientações para a comunidade

to ban deepfakes that cause harm.

para impedir "deepfakes" que causem danos.

That determination, that's going to require human judgment,

Esta determinação vai requerer a avaliação humana,

and it's expensive.

e isso é caro.

But we need human beings

Mas precisamos que haja seres humanos

to look at the content and context of a deepfake

que olhem para o conteúdo e o contexto de um "deepfake"

to figure out if it is a harmful impersonation

para perceberem se é uma representação prejudicial

or instead, if it's valuable satire, art or education.

ou se, pelo contrário, tem valor como sátira, arte ou educação.

So now, what about the law?

E quanto à lei?

Law is our educator.

A lei é a nossa educadora.

It teaches us about what's harmful and what's wrong.

Ensina-nos o que é prejudicial e o que é errado.

And it shapes behavior it deters by punishing perpetrators

E configura o comportamento que inibe, punindo os criminosos,

and securing remedies for victims.

e que assegura indemnizações às vítimas.

Right now, law is not up to the challenge of deepfakes.

Neste momento, a lei não está apta a desafiar os "deepfakes".

Across the globe,

No mundo inteiro,

we lack well-tailored laws

temos falta de leis bem feitas

that would be designed to tackle digital impersonations

com o objetivo de enfrentar falsificações digitais

that invade sexual privacy,

que invadam a privacidade sexual,

that damage reputations

que prejudiquem reputações

and that cause emotional distress.

e que causem sofrimento emocional.

What happened to Rana Ayyub is increasingly commonplace.

O que aconteceu a Rana Ayyub é um lugar comum cada vez mais frequente.

Yet, when she went to law enforcement in Delhi,

Mesmo assim, quando recorreu à lei em Deli,

she was told nothing could be done.

disseram-lhe que não podiam fazer nada.

And the sad truth is that the same would be true

A triste verdade é que o mesmo aconteceria

in the United States and in Europe.

nos EUA e na Europa.

So we have a legal vacuum that needs to be filled.

Temos um vácuo legal que precisa de ser preenchido.

My colleague Dr. Mary Anne Franks and I are working with US lawmakers

A Dra. Mary Anne Franks e eu estamos a trabalhar com legisladores americanos

to devise legislation that would ban harmful digital impersonations

na elaboração de leis capazes de proibir falsificações digitais nocivas,

that are tantamount to identity theft.

comparáveis a roubo de identidade.

And we've seen similar moves

Temos visto movimentos parecidos

in Iceland, the UK and Australia.

na Islândia, no Reino Unido e na Austrália.

But of course, that's just a small piece of the regulatory puzzle.

Claro, esta é apenas uma pequena peça no "puzzle" regulatório.

Now, I know law is not a cure-all. Right?

Eu sei que a lei não resolve tudo.

It's a blunt instrument.

É um instrumento pouco preciso

And we've got to use it wisely.

e temos de usá-lo com sabedoria.

It also has some practical impediments.

Também tem alguns inconvenientes práticos.

You can't leverage law against people you can't identify and find.

Não podemos aplicar a lei contra pessoas sem as identificar e achar.

And if a perpetrator lives outside the country

Se um criminoso viver fora do país em que a vítima vive,

where a victim lives,

then you may not be able to insist

pode ser difícil conseguir

that the perpetrator come into local courts

que ele compareça no tribunal local

to face justice.

para responder à justiça.

And so we're going to need a coordinated international response.

Assim, precisamos de uma resposta internacional coordenada.

Education has to be part of our response as well.

A educação também tem de fazer parte da nossa resposta.

Law enforcers are not going to enforce laws

As autoridades legais não vão impor leis que desconhecem

they don't know about

and proffer problems they don't understand.

e aconselhar problemas que não entendem.

In my research on cyberstalking,

Na minha pesquisa sobre perseguição cibernética

I found that law enforcement lacked the training

descobri que os agentes da polícia não têm formação

to understand the laws available to them

para entender as leis disponíveis

and the problem of online abuse.

e o problema da violência "online".

And so often they told victims,

Frequentemente diziam às vítimas:

"Just turn your computer off. Ignore it. It'll go away."

"Desligue o computador. Ignore. Isso passa".

And we saw that in Rana Ayyub's case.

Vimos isso no caso de Rana Ayyub.

She was told, "Come on, you're making such a big deal about this.

Disseram-lhe: "Você está a fazer uma tempestade num copo de água."

It's boys being boys."

"Isso é coisa de rapaziada".

And so we need to pair new legislation with efforts at training.

Por isso, precisamos de combinar novas leis com ações de formação.

And education has to be aimed on the media as well.

Os "media" também têm de ser alvo de educação.

Journalists need educating about the phenomenon of deepfakes

Os jornalistas precisam de ter formação quanto ao fenómeno dos "deepfakes"

so they don't amplify and spread them.

para não os ampliarem e espalharem.

And this is the part where we're all involved.

E é aqui que estamos todos envolvidos.

Each and every one of us needs educating.

Cada um de nós precisa de se educar.

We click, we share, we like, and we don't even think about it.

Clicamos, partilhamos, gostamos, sem sequer pensar nisso.

We need to do better.

Temos de melhorar isso.

We need far better radar for fakery.

Precisamos de ficar muito mais atentos às falsificações.

So as we're working through these solutions,

Enquanto trabalhamos nestas soluções,

there's going to be a lot of suffering to go around.

ainda haverá muito sofrimento.

Rana Ayyub is still wrestling with the fallout.

Rana Ayyub ainda está a lidar com as consequências.

She still doesn't feel free to express herself on- and offline.

Ela ainda não se sente à vontade para se exprimir "online" e "offline".

And as she told me,

E como me disse,

she still feels like there are thousands of eyes on her naked body,

ela ainda sente milhares de olhos sobre o seu corpo nu

even though, intellectually, she knows it wasn't her body.

embora, intelectualmente, saiba que aquele não era o corpo dela.

And she has frequent panic attacks,

Ela tem ataques de pânico frequentes,

especially when someone she doesn't know tries to take her picture.

especialmente quando algum desconhecido tenta tirar-lhe uma fotografia.

"What if they're going to make another deepfake?" she thinks to herself.

"E se eles fizerem outro 'deepfake'?" pensa consigo mesma.

And so for the sake of individuals like Rana Ayyub

Então, a bem de pessoas como Rana Ayyub

and the sake of our democracy,

e a bem da nossa democracia,

we need to do something right now.

precisamos de fazer algo já.

Thank you.

Obrigada.

(Applause)

(Aplausos)