How deepfakes undermine truth and threaten democracy | Danielle Citron

Tradutor: Carolina Aguirre Revisor: Maricene Crus

[This talk contains mature content]

[Esta palestra apresenta conteúdo adulto]

Rana Ayyub is a journalist in India

Rana Ayyub é uma jornalista na Índia

whose work has exposed government corruption

cujo trabalho expôs a corrupção do governo

and human rights violations.

e violações de direitos humanos.

And over the years,

E ao longo dos anos,

ela se acostumou com criticismo severo e controvérsia em torno de seu trabalho.

she's gotten used to vitriol and controversy around her work.

But none of it could have prepared her for what she faced in April 2018.

Mas nada disso poderia tê-la preparado para o que enfrentou em abril de 2018.

She was sitting in a café with a friend when she first saw it:

Ela estava num café com um amigo quando viu pela primeira vez

a two-minute, 20-second video of her engaged in a sex act.

um vídeo de dois minutos e vinte segundos dela num ato sexual.

And she couldn't believe her eyes.

Não acreditou no que estava vendo.

She had never made a sex video.

Ela nunca fez um vídeo de sexo.

But unfortunately, thousands upon thousands of people

Mas, infelizmente, milhares de pessoas

would believe it was her.

acreditaram que era ela.

I interviewed Ms. Ayyub about three months ago,

Entrevistei a Sra. Ayyub cerca de três meses atrás,

in connection with my book on sexual privacy.

em conexão com meu livro sobre privacidade sexual.

I'm a law professor, lawyer and civil rights advocate.

Sou professora de direito, advogada e defensora dos direitos civis.

So it's incredibly frustrating knowing that right now,

É incrivelmente frustrante saber que agora

law could do very little to help her.

a lei pode fazer muito pouco pra ajudá-la.

And as we talked,

E enquanto conversávamos,

she explained that she should have seen the fake sex video coming.

ela explicou que deveria ter previsto o vídeo de sexo falso.

She said, "After all, sex is so often used to demean and to shame women,

Ela disse: "Afinal, sexo costuma ser usado para humilhar e envergonhar as mulheres,

especially minority women,

especialmente mulheres de minorias,

and especially minority women who dare to challenge powerful men,"

e especialmente as que ousam desafiar homens poderosos",

as she had in her work.

como ela fazia em seu trabalho.

The fake sex video went viral in 48 hours.

O vídeo de sexo falso se tornou viral em 48 horas.

All of her online accounts were flooded with screenshots of the video,

Todas as suas contas on-line foram inundadas com capturas de tela do vídeo,

with graphic rape and death threats

ameaças explícitas de estupro e morte

and with slurs about her Muslim faith.

e com insultos à sua fé muçulmana.

Online posts suggested that she was "available" for sex.

Postagens on-line sugeriam que ela estava "disponível" para o sexo.

And she was doxed,

E ela tinha sido "doxed",

which means that her home address and her cell phone number

ou seja, o número de celular e o endereço residencial dela

were spread across the internet.

foram espalhados pela internet.

The video was shared more than 40,000 times.

O vídeo foi compartilhado mais de 40 mil vezes.

Now, when someone is targeted with this kind of cybermob attack,

Quando alguém é alvo desse tipo de ataque cibernético,

the harm is profound.

o dano é profundo.

Rana Ayyub's life was turned upside down.

A vida de Rana Ayyub virou de cabeça para baixo.

For weeks, she could hardly eat or speak.

Por semanas, ela mal podia comer ou falar.

She stopped writing and closed all of her social media accounts,

Ela parou de escrever e cancelou todas as contas de rede social,

which is, you know, a tough thing to do when you're a journalist.

algo difícil de fazer quando se é jornalista.

And she was afraid to go outside her family's home.

Ela tinha medo de sair da casa de sua família.

What if the posters made good on their threats?

E se aquelas ameaças fossem cumpridas?

The UN Council on Human Rights confirmed that she wasn't being crazy.

O Conselho de Direitos Humanos da ONU confirmou que ela não estava exagerando.

It issued a public statement saying that they were worried about her safety.

Emitiu uma declaração pública dizendo que estavam preocupados com a segurança dela.

What Rana Ayyub faced was a deepfake:

Rana Ayyub enfrentou um "deepfake":

machine-learning technology

tecnologia de aprendizado de máquina

that manipulates or fabricates audio and video recordings

que manipula ou fabrica gravações de áudio e vídeo

to show people doing and saying things

mostrando pessoas fazendo e dizendo coisas

that they never did or said.

que elas nunca fizeram ou disseram.

Deepfakes appear authentic and realistic, but they're not;

Deepfakes parecem autênticos e realistas, mas não são,

they're total falsehoods.

são falsidades totais.

Although the technology is still developing in its sophistication,

Embora a tecnologia ainda esteja se desenvolvendo em sofisticação,

it is widely available.

ela está amplamente disponível.

Now, the most recent attention to deepfakes arose,

O interesse mais recente aos deepfakes surgiu,

as so many things do online,

como muitas coisas on-line,

with pornography.

com a pornografia.

In early 2018,

No início de 2018,

someone posted a tool on Reddit

alguém postou uma ferramenta no Reddit

to allow users to insert faces into porn videos.

permitindo que os usuários pusessem rostos em vídeos pornográficos.

And what followed was a cascade of fake porn videos

E o que se seguiu foi uma cascata de vídeos pornográficos falsos

featuring people's favorite female celebrities.

apresentando as celebridades femininas favoritas das pessoas.

And today, you can go on YouTube and pull up countless tutorials

E hoje, podemos acessar o YouTube e assistir a inúmeros tutoriais

with step-by-step instructions

com instruções passo a passo

on how to make a deepfake on your desktop application.

de como fazer um deepfake no computador.

And soon we may be even able to make them on our cell phones.

Em breve poderemos fazê-lo em nosso telefone celular.

Now, it's the interaction of some of our most basic human frailties

A interação de algumas de nossas fragilidades humanas mais básicas

and network tools

com ferramentas de rede

that can turn deepfakes into weapons.

podem transformar deepfakes em armas.

So let me explain.

Deixem-me explicar.

As human beings, we have a visceral reaction to audio and video.

Como seres humanos, temos uma reação visceral ao áudio e vídeo.

We believe they're true,

Acreditamos que são verdadeiros,

on the notion that of course you can believe

já que é claro que podemos acreditar

what your eyes and ears are telling you.

no que nossos olhos e ouvidos estão nos dizendo.

And it's that mechanism

E é esse mecanismo

that might undermine our shared sense of reality.

que pode comprometer nosso senso comum de realidade.

Although we believe deepfakes to be true, they're not.

Embora acreditemos que deepfakes sejam verdadeiros, eles não são.

And we're attracted to the salacious, the provocative.

E nós somos atraídos pelo obsceno e provocante.

We tend to believe and to share information

Tendemos a acreditar e compartilhar informações

that's negative and novel.

negativas e novas.

And researchers have found that online hoaxes spread 10 times faster

Pesquisadores descobriram que os boatos on-line se espalham dez vezes mais rápido

than accurate stories.

do que histórias verdadeiras.

Now, we're also drawn to information

Também somos atraídos por informações

that aligns with our viewpoints.

alinhadas com nossos pontos de vista.

Psychologists call that tendency "confirmation bias."

Psicólogos chamam essa tendência de "viés de confirmação".

And social media platforms supercharge that tendency,

E as plataformas de rede social sobrecarregam essa tendência,

by allowing us to instantly and widely share information

permitindo compartilhar informações, instantaneamente e amplamente,

that accords with our viewpoints.

que estejam de acordo com nossa opinião.

Now, deepfakes have the potential to cause grave individual and societal harm.

Deepfakes têm o potencial de causar graves danos individuais e sociais.

So, imagine a deepfake

Então, imaginem um deepfake

that shows American soldiers in Afganistan burning a Koran.

que mostre soldados norte-americanos no Afeganistão queimando um Alcorão.

You can imagine that that deepfake would provoke violence

Podem imaginar que esse deepfake provocaria violência contra eles.

against those soldiers.

And what if the very next day

E se no dia seguinte

there's another deepfake that drops,

há outro deepfake,

that shows a well-known imam based in London

mostrando um imame que mora em Londres enaltecendo o ataque a esses soldados?

praising the attack on those soldiers?

We might see violence and civil unrest,

Poderíamos ver violência e agitação civil,

not only in Afganistan and the United Kingdom,

não só no Afeganistão e no Reino Unido,

but across the globe.

mas em todo o mundo.

And you might say to me,

E vocês podem me dizer: "Deixe disso, Danielle, é exagero".

"Come on, Danielle, that's far-fetched."

But it's not.

Mas não é.

We've seen falsehoods spread

Vimos mentiras espalhadas

on WhatsApp and other online message services

no WhatsApp e outros serviços de mensagens on-line

lead to violence against ethnic minorities.

levarem à violência contra minorias étnicas.

And that was just text --

E isso era apenas um texto!

imagine if it were video.

imaginem se fosse um vídeo.

Now, deepfakes have the potential to corrode the trust that we have

Deepfakes têm o potencial de corroer a confiança que temos

in democratic institutions.

em instituições democráticas.

So, imagine the night before an election.

Imaginem a véspera de uma eleição.

There's a deepfake showing one of the major party candidates

Há um deepfake mostrando um dos principais candidatos do partido

gravely sick.

gravemente doente.

The deepfake could tip the election

O deepfake pode derrubar a eleição

and shake our sense that elections are legitimate.

e abalar nossa noção de que as eleições são legítimas.

Imagine if the night before an initial public offering

Imaginem se na véspera de uma oferta pública inicial, ou OPI,

of a major global bank,

de um grande banco global

there was a deepfake showing the bank's CEO

há um deepfake mostrando o CEO do banco dizendo embriagado teorias de conspiração.

drunkenly spouting conspiracy theories.

The deepfake could tank the IPO,

O deepfake pode detonar a OPI,

and worse, shake our sense that financial markets are stable.

e pior, abalar nossa noção de que os mercados financeiros são estáveis.

So deepfakes can exploit and magnify the deep distrust that we already have

Deepfakes podem explorar e ampliar a profunda desconfiança que já temos

in politicians, business leaders and other influential leaders.

de políticos, líderes empresariais e outros líderes influentes.

They find an audience primed to believe them.

Eles encontram uma plateia preparada para acreditar neles.

And the pursuit of truth is on the line as well.

A busca pela verdade também está em jogo.

Technologists expect that with advances in AI,

Tecnólogos preveem que, com os avanços na IA,

soon it may be difficult if not impossible

logo poderá ser difícil, senão impossível,

to tell the difference between a real video and a fake one.

distinguir um vídeo real de um falso.

So how can the truth emerge in a deepfake-ridden marketplace of ideas?

Então, como a verdade pode emergir num mercado repleto de deepfakes?

Will we just proceed along the path of least resistance

Vamos então apenas pegar o caminho de menor resistência,

and believe what we want to believe,

acreditar no que quisermos acreditar,

truth be damned?

e dane-se a verdade?

And not only might we believe the fakery,

E podemos não apenas acreditar na mentira,

we might start disbelieving the truth.

mas começar a não acreditar na verdade.

We've already seen people invoke the phenomenon of deepfakes

Já vimos pessoas recorrendo ao fenômeno dos deepfakes

to cast doubt on real evidence of their wrongdoing.

para lançar dúvidas em evidências reais de suas transgressões.

We've heard politicians say of audio of their disturbing comments,

Vimos políticos falarem sobre o áudio de seus comentários constrangedores:

"Come on, that's fake news.

"Vamos lá, são notícias falsas.

You can't believe what your eyes and ears are telling you."

Não podem acreditar no que seus olhos e ouvidos estão dizendo a você".

And it's that risk

E é esse perigo

that professor Robert Chesney and I call the "liar's dividend":

que o professor Robert Chesney e eu chamamos de "dividendo do mentiroso":

the risk that liars will invoke deepfakes

o risco de que os mentirosos recorram a deepfakes

to escape accountability for their wrongdoing.

para escapar da responsabilização por seus erros.

So we've got our work cut out for us, there's no doubt about it.

Nosso trabalho ficou mais difícil, não há dúvida sobre isso.

And we're going to need a proactive solution

E vamos precisar de uma solução proativa

from tech companies, from lawmakers,

de empresas de tecnologia, legisladores,

law enforcers and the media.

agentes da lei e da mídia.

And we're going to need a healthy dose of societal resilience.

Também de uma dose saudável de resiliência social.

So now, we're right now engaged in a very public conversation

Estamos agora envolvidos numa discussão muito pública

about the responsibility of tech companies.

sobre a responsabilidade das empresas de tecnologia.

And my advice to social media platforms

E meu conselho para plataformas de rede social

has been to change their terms of service and community guidelines

tem sido alterar os termos de serviço e as diretrizes da comunidade

to ban deepfakes that cause harm.

para proibir deepfakes que causem danos.

That determination, that's going to require human judgment,

Essa determinação exigirá julgamento humano

and it's expensive.

e ela é cara.

But we need human beings

Mas precisamos de seres humanos

to look at the content and context of a deepfake

para examinar o conteúdo e o contexto de um deepfake

to figure out if it is a harmful impersonation

e descobrir se é uma falsificação danosa

or instead, if it's valuable satire, art or education.

ou uma sátira válida, arte ou educação.

So now, what about the law?

E quanto à lei?

Law is our educator.

A lei é nosso educador.

It teaches us about what's harmful and what's wrong.

Nos ensina o que é prejudicial e o que está errado.

And it shapes behavior it deters by punishing perpetrators

Modela o comportamento, punindo os autores e garantindo soluções para as vítimas.

and securing remedies for victims.

Right now, law is not up to the challenge of deepfakes.

No momento, a lei não está à altura do desafio dos deepfakes.

Across the globe,

Em todo o mundo,

we lack well-tailored laws

nos faltam leis adequadas

that would be designed to tackle digital impersonations

para enfrentar falsificações digitais

that invade sexual privacy,

que invadem a privacidade sexual,

that damage reputations

prejudicam reputações

and that cause emotional distress.

e causam sofrimento emocional.

What happened to Rana Ayyub is increasingly commonplace.

O que aconteceu com Rana Ayyub é cada vez mais comum.

Yet, when she went to law enforcement in Delhi,

Mas quando ela procurou as autoridades em Deli,

she was told nothing could be done.

lhe foi dito que nada poderia ser feito.

And the sad truth is that the same would be true

E o triste é que aconteceria o mesmo nos Estados Unidos e na Europa.

in the United States and in Europe.

So we have a legal vacuum that needs to be filled.

Portanto, temos um vácuo legal que precisa ser preenchido.

My colleague Dr. Mary Anne Franks and I are working with US lawmakers

A Dra. Mary Anne Franks e eu trabalhamos com legisladores norte-americanos

to devise legislation that would ban harmful digital impersonations

para criar uma legislação que proíba falsificações digitais nocivas,

that are tantamount to identity theft.

equiparáveis a roubo de identidade.

And we've seen similar moves

E temos visto movimentos semelhantes

in Iceland, the UK and Australia.

na Islândia, Reino Unido e Austrália.

But of course, that's just a small piece of the regulatory puzzle.

Mas é claro, é apenas uma pequena parte do quebra-cabeça regulatório.

Now, I know law is not a cure-all. Right?

Sei que a lei não é uma panaceia, certo?

It's a blunt instrument.

É um instrumento contundente.

And we've got to use it wisely.

E temos que usá-la com sabedoria.

It also has some practical impediments.

Ela também tem impedimentos práticos.

You can't leverage law against people you can't identify and find.

Não podemos aplicar a lei contra pessoas que não podemos identificar e encontrar.

And if a perpetrator lives outside the country

E se um criminoso não mora no mesmo país que a vítima,

where a victim lives,

then you may not be able to insist

talvez não consigamos fazer com que venha enfrentar a justiça num tribunal local.

that the perpetrator come into local courts

to face justice.

And so we're going to need a coordinated international response.

E assim vamos precisar de uma resposta internacional coordenada.

Education has to be part of our response as well.

A educação também deve fazer parte da nossa resposta.

Law enforcers are not going to enforce laws

Agentes não aplicarão leis

they don't know about

que eles não conhecem,

and proffer problems they don't understand.

nem resolverão problemas que eles não entendem.

In my research on cyberstalking,

Na minha pesquisa sobre perseguição cibernética,

I found that law enforcement lacked the training

descobri que os agentes não tinham treinamento

to understand the laws available to them

para entender as leis disponíveis

and the problem of online abuse.

e o problema do abuso on-line.

And so often they told victims,

E tantas vezes eles disseram às vítimas:

"Just turn your computer off. Ignore it. It'll go away."

"Apenas desligue o computador. Ignore. Vai passar".

And we saw that in Rana Ayyub's case.

E vimos isso no caso de Rana Ayyub.

She was told, "Come on, you're making such a big deal about this.

Foi-lhe dito: "Você está fazendo o maior drama sobre isso.

It's boys being boys."

São meninos sendo meninos".

And so we need to pair new legislation with efforts at training.

E então precisamos emparelhar a nova legislação com esforços no treinamento.

And education has to be aimed on the media as well.

E a educação também deve ser destinada para a mídia.

Journalists need educating about the phenomenon of deepfakes

Jornalistas precisam aprender sobre o fenômeno dos deepfakes

so they don't amplify and spread them.

para que não os amplifiquem e espalhem.

And this is the part where we're all involved.

Esta é a parte em que estamos todos envolvidos.

Each and every one of us needs educating.

Cada um de nós precisa de educação.

We click, we share, we like, and we don't even think about it.

Clicamos, compartilhamos, curtimos algo e nem pensamos nisso.

We need to do better.

Nós precisamos fazer melhor.

We need far better radar for fakery.

Precisamos de um radar muito melhor para mentira.

So as we're working through these solutions,

Enquanto trabalharmos nessas soluções,

there's going to be a lot of suffering to go around.

haverá muito sofrimento para superar.

Rana Ayyub is still wrestling with the fallout.

Rana Ayyub ainda está enfrentando as consequências.

She still doesn't feel free to express herself on- and offline.

Ainda não se sente livre para se expressar on-line e off-line.

And as she told me,

E como me disse,

she still feels like there are thousands of eyes on her naked body,

ela ainda sente como se houvesse milhares de olhos observando seu corpo nu,

even though, intellectually, she knows it wasn't her body.

embora, racionalmente, saiba que não era o corpo dela.

And she has frequent panic attacks,

E ela tem ataques de pânico frequentes,

especially when someone she doesn't know tries to take her picture.

especialmente quando alguém que ela não conhece tenta tirar uma foto dela.

"What if they're going to make another deepfake?" she thinks to herself.

"E se fizerem outro deepfake?", ela pensa.

And so for the sake of individuals like Rana Ayyub

Então, pelo bem de pessoas como Rana Ayyub

and the sake of our democracy,

e pelo bem da nossa democracia,

we need to do something right now.

precisamos fazer algo agora.

Thank you.

Obrigada.

(Applause)

(Aplausos)