When AI Can Fake Reality, Who Can You Trust? | Sam Gregory | TED

Tradutor: Arthur Guedes Revisor: Wanderley Jesus

It's getting harder, isn't it, to spot real from fake,

Está cada vez mais difícil, não é? Saber o que é real e o que é falso,

AI-generated from human-generated.

o que é inteligência artificial e o que não é.

With generative AI,

Com a IA generativa,

along with other advances in deep fakery,

e outros avanços na falsificação,

it doesn't take many seconds of your voice,

não são necessários muitos segundos de sua voz,

many images of your face,

muitas imagens de seu rosto,

to fake you,

para falsificá-lo,

and the realism keeps increasing.

e está cada vez mais realista.

I first started working on deepfakes in 2017,

Comecei a trabalhar com deepfakes em 2017,

when the threat to our trust in information was overhyped,

quando exagerávamos sua ameaça.com relação a confiabilidade na informação

and the big harm, in reality, was falsified sexual images.

e o grande problema era, na verdade, as imagens sexuais forjadas.

Now that problem keeps growing, harming women and girls worldwide.

Agora, o problema só piora, prejudicando mulheres e meninas em todo o mundo.

But also, with advances in generative AI, we're now also approaching a world

Mas também, com avanços na IA generativa, estamos chegando a um mundo

where it's broadly easier to make fake reality,

em que não apenas é muito mais fácil criar uma realidade falsa,

but also to dismiss reality as possibly faked.

mas também tratar o real como possivelmente falso.

Now, deceptive and malicious audiovisual AI

Agora, a IA audiovisual enganosa e maliciosa

is not the root of our societal problems,

não é a raiz de nossos problemas sociais,

but it's likely to contribute to them.

mas é provável que ela contribua com eles.

Audio clones are proliferating in a range of electoral contexts.

Os clones de áudio estão se espalhando entre diversos contextos eleitorais.

"Is it, isn't it" claims cloud human-rights evidence from war zones,

“É ou não é” ofuscam as evidências de direitos humano dos campos de batalha,

sexual deepfakes target women in public and in private,

mulheres são alvos de deepfakes sexuais em espaços públicos e privados

and synthetic avatars impersonate news anchors.

e avatares falsos se passam por apresentadores.

I lead WITNESS.

Eu lidero a WITNESS.

We're a human-rights group

Um grupo de direitos humanos

that helps people use video and technology to protect and defend their rights.

que auxilia as pessoas a utilizarem a mídia para assegurar seus direitos.

And for the last five years, we've coordinated a global effort,

E nos últimos cinco anos, coordenamos um esforço global,

"Prepare, Don't Panic,"

"Prepare-se, Sem Pânico"

around these new ways to manipulate and synthesize reality,

analisando se essas novas maneiras de manipular a realidade

and on how to fortify the truth

e como fortalecer a verdade

of critical frontline journalists and human-rights defenders.

dos jornalistas na linha de frente e defensores dos direitos humanos.

Now, one element in that is a deepfakes rapid-response task force,

O que temos aqui é uma força-tarefa de resposta rápida a deepfakes,

made up of media-forensics experts

formada por especialistas em mídia forense

and companies who donate their time and skills

e empresas que dedicam seu tempo e habilidades

to debunk deepfakes and claims of deepfakes.

para desmascarar deepfakes e denunciar deepfakes.

The task force recently received three audio clips,

Recentemente, a força-tarefa recebeu três clipes de áudio,

from Sudan, West Africa and India.

do Sudão, da África Ocidental e da Índia.

People were claiming that the clips were deepfaked, not real.

As pessoas alegavam que os clipes eram falsos, não reais.

In the Sudan case,

No caso do Sudão,

experts used a machine-learning algorithm

experts utilizaram um algoritmo inteligente

trained on over a million examples of synthetic speech

treinado com um milhão de exemplos da fala artificial

to prove, almost without a shadow of a doubt,

para provar, quase sem sombra de dúvida,

that it was authentic.

que era tudo autêntico.

In the West Africa case,

No caso da África Ocidental,

they couldn't reach a definitive conclusion

não chegaram a uma conclusão definitiva

because of the challenges of analyzing audio from Twitter,

devido à dificuldade de analisar áudios no Twitter

and with background noise.

com ruído de fundo.

The third clip was leaked audio of a politician from India.

O terceiro clipe foi um áudio vazado de um político da Índia.

Nilesh Christopher of “Rest of World” brought the case to the task force.

Nilesh Christopher, do “Rest of World”, levou o caso à força-tarefa.

The experts used almost an hour of samples

Os especialistas usaram quase uma hora de amostras

to develop a personalized model of the politician's authentic voice.

para desenvolver um modelo personalizado da voz autêntica do político.

Despite his loud and fast claims that it was all falsified with AI,

Apesar de afirmar categoricamente que tudo foi falsificado com IA

experts concluded that it at least was partially real, not AI.

especialistas concluíram que era pelo menos parcialmente real, não IA.

As you can see,

Como você pode ver,

even experts cannot rapidly and conclusively separate true from false,

mesmo os especialistas não conseguem separar o verdadeiro do falso precisamente

and the ease of calling "that's deepfaked" on something real

e a facilidade de chamar algo real de “deepfake”

is increasing.

só aumenta.

The future is full of profound challenges,

O futuro está cheio de desafios complexos,

both in protecting the real and detecting the fake.

tanto na proteção do real quanto na detecção do falso.

We're already seeing the warning signs

Já podemos ver os sinais

of this challenge of discerning fact from fiction.

desse desafio de discernir o fato da ficção.

Audio and video deepfakes have targeted politicians,

Os deepfakes de áudio e vídeo têm como alvo políticos,

major political leaders in the EU, Turkey and Mexico,

grandes líderes políticos da UE, Turquia e México

and US mayoral candidates.

e candidatos a prefeito nos EUA.

Political ads are incorporating footage of events that never happened,

Anúncios políticos utilizam imagens de eventos que nunca ocorreram.

and people are sharing AI-generated imagery from crisis zones,

e as pessoas compartilham imagens geradas por IA de zonas de conflito,

claiming it to be real.

alegando que são reais.

Now, again, this problem is not entirely new.

Agora, novamente, esse problema não é de todo recente.

The human-rights defenders and journalists I work with

Observo defensores dos direitos humanos e jornalistas

are used to having their stories dismissed,

habituados a terem suas histórias rejeitadas,

and they're used to widespread, deceptive, shallow fakes,

e são utilizados para a disseminação de vídeos e imagens

videos and images taken from one context or time or place

enganosos e superficiais, tirados de um contexto, tempo ou lugar

and claimed as if they're in another,

e apresentados como sendo de outro,

used to share confusion and spread disinformation.

usados para causar confusão e espalhar desinformação.

And of course, we live in a world that is full of partisanship

E, claro, vivemos em um mundo cheio de partidarismo

and plentiful confirmation bias.

e um grande viés de confirmação.

Given all that,

Diante de tudo isso,

the last thing we need is a diminishing baseline

a última coisa que precisamos é a redução da base

of the shared, trustworthy information upon which democracies thrive,

de informações confiáveis compartilhadas sobre as quais as democracias prosperam,

where the specter of AI

onde o espectro da IA

is used to plausibly believe things you want to believe,

é usado para acreditar de forma plausível em coisas em que se quer acreditar,

and plausibly deny things you want to ignore.

e de formar plausível negar coisas que você quer ignorar.

But I think there's a way we can prevent that future,

Mas acho que há uma maneira de evitar esse futuro,

if we act now;

se agirmos agora;

that if we "Prepare, Don't Panic,"

se nos "Prepararmos, Sem Pânico"

we'll kind of make our way through this somehow.

de alguma forma, acharemos uma solução para isso tudo.

Panic won't serve us well.

O pânico não nos ajudará.

[It] plays into the hands of governments and corporations

O pânico é usado pelos governos e corporações

who will abuse our fears,

que abusam do nosso medo

and into the hands of people who want a fog of confusion

e pessoas que adoram confusão

and will use AI as an excuse.

e usam a IA como desculpa.

How many people were taken in, just for a minute,

Quantos foram enganados, mesmo que brevemente,

by the Pope in his dripped-out puffer jacket?

pelo Papa com sua jaqueta estilosa e acolchoada?

You can admit it.

Pode falar a verdade.

(Laughter)

(Risos)

More seriously,

E mais sério ainda,

how many of you know someone who's been scammed

quem aí conhece alguém que já foi enganado

by an audio that sounds like their kid?

por um áudio parecido com o do seu filho?

And for those of you who are thinking "I wasn't taken in,

E para aqueles que estão pensando “você não me engana,

I know how to spot a deepfake,"

eu sei o que é uma deepfake”,

any tip you know now is already outdated.

qualquer dica que você conheça já está desatualizada.

Deepfakes didn't blink, they do now.

As deepfakes não piscavam, agora elas piscam.

Six-fingered hands were more common in deepfake land than real life --

Tínhamos mais mãos com seis dedos nas deepfakes do que na vida real --

not so much.

agora nem tanto.

Technical advances erase those visible and audible clues

Os avanços técnicos apagam aquelas pistas visíveis e audíveis

that we so desperately want to hang on to

que tanto queremos usar

as proof we can discern real from fake.

como prova de que sabemos o que é real ou falso

But it also really shouldn’t be on us to make that guess without any help.

Mas também não deveria caber a nós fazer essa suposição sem qualquer ajuda.

Between real deepfakes and claimed deepfakes,

Entre deepfakes reais e supostas deepfakes

we need big-picture, structural solutions.

precisamos de soluções estruturais abrangentes.

We need robust foundations

Precisamos de bases sólidas

that enable us to discern authentic from simulated,

que nos permitam distinguir o autêntico do simulado,

tools to fortify the credibility of critical voices and images,

ferramentas que fortaleçam a credibilidade de vozes e imagens

and powerful detection technology

e tecnologias poderosas de detecção

that doesn't raise more doubts than it fixes.

que não levantem mais dúvidas do que tirem.

There are three steps we need to take to get to that future.

Há três etapas que precisamos seguir para chegar a esse futuro.

Step one is to ensure that the detection skills and tools

Passo um: garantir que as habilidades e ferramentas de detecção

are in the hands of the people who need them.

estejam nas mãos das pessoas certas.

I've talked to hundreds of journalists,

Conversei com centenas de jornalistas,

community leaders and human-rights defenders,

líderes e defensores dos direitos humanos,

and they're in the same boat as you and me and us.

e estamos todos no mesmo barco.

They're listening to the audio, trying to think, "Can I spot a glitch?"

Eles ouvem o áudio, e tentam pensar: “Consigo identificar uma falha?”

Looking at the image, saying, "Oh, does that look right or not?"

Olhando para a imagem, dizendo: “Ah, isso parece real ou não?”

Or maybe they're going online to find a detector.

Ou talvez eles acessem a internet para encontrar um detector.

And the detector they find,

E o detector que encontram,

they don't know whether they're getting a false positive, a false negative,

não se sabe se os resultados são positivos, negativos

or a reliable result.

ou confiáveis.

Here's an example.

Por exemplo.

I used a detector, which got the Pope in the puffer jacket right.

Usei um detector, que acertou a do Papa com a jaqueta acolchoada.

But then, when I put in the Easter bunny image that I made for my kids,

Mas quando coloquei a imagem do coelhinho da Páscoa que fiz para meus filhos,

it said that it was human-generated.

ele disse que foi gerada por humanos.

This is because of some big challenges in deepfake detection.

Isso ocorre porque há grandes desafios na detecção de deepfakes.

Detection tools often only work on one single way to make a deepfake,

Ferramentas de detecção geralmente só funcionam com uma tecnologia,

so you need multiple tools,

o que requer muitas ferramentas

and they don't work well on low-quality social media content.

e elas não funcionam bem em materiais de baixa qualidade.

Confidence score, 0.76-0.87,

Índice de confiança: 0,76-0,87,

how do you know whether that's reliable,

como saber se isso é confiável,

if you don't know if the underlying technology is reliable,

se você não sabe se tais tecnologias são confiáveis,

or whether it works on the manipulation that is being used?

ou funcionam com a detecção de manipulação por IA?

And tools to spot an AI manipulation don't spot a manual edit.

E ferramentas contra a IA não detectam edições manuais.

These tools also won't be available to everyone.

Estas ferramentas também não estão disponíveis para todos.

There's a trade-off between security and access,

Há um acordo mútuo entre a segurança e o acesso,

which means if we make them available to anyone,

o que quer dizer que caso qualquer um possa acessá-las

they become useless to everybody,

elas se tornariam inúteis,

because the people designing the new deception techniques

porque as pessoas que projetam as novas técnicas de fraude

will test them on the publicly available detectors

as testariam nos detectores disponíveis para o público

and evade them.

e os burlariam.

But we do need to make sure these are available

Mas precisamos garantir que tais recursos estejam disponíveis

to the journalists, the community leaders,

para jornalistas, líderes comunitários

the election officials, globally, who are our first line of defense,

e mesários em nível global, que são a nossa primeira linha de defesa,

thought through with attention to real-world accessibility and use.

e tenham atenção com a acessibilidade e utilidade no mundo real.

Though at the best circumstances,

Embora, na melhor das hipóteses,

detection tools will be 85 to 95 percent effective,

tais ferramentas têm eficácia de de 85 a 95%,

they have to be in the hands of that first line of defense,

elas precisam estar nas mãos da primeira linha de defesa,

and they're not, right now.

e não estão, no momento.

So for step one, I've been talking about detection after the fact.

No primeiro passo, falei da detecção após o fato.

Step two -- AI is going to be everywhere in our communication,

Passo dois: a IA estará em toda parte em nossa comunicação,

creating, changing, editing.

criação, mudança e edição.

It's not going to be a simple binary of "yes, it's AI" or "phew, it's not."

Não será tão simples dizer: “sim, é IA” ou “ufa, não é”.

AI is part of all of our communication,

A IA faz parte de toda nossa comunicação,

so we need to better understand the recipe of what we're consuming.

por isso precisamos entender melhor a receita do que estamos consumindo.

Some people call this content provenance and disclosure.

Algumas pessoas chamam esse conteúdo de proveniência e divulgação.

Technologists have been building ways to add invisible watermarking

Os tecnólogos estão criando maneiras de adicionar marcas d’água invisíveis

to AI-generated media.

aos conteúdos gerados por IA.

They've also been designing ways --

Também estão projetando maneiras —

and I've been part of these efforts --

e eu fiz parte desses esforços —

within a standard called the C2PA,

dentro de um padrão chamado C2PA,

to add cryptographically signed metadata to files.

de adicionar metadados assinados criptograficamente aos arquivos.

This means data that provides details about the content,

Isso significa dados que fornecem detalhes sobre o conteúdo, assinados

cryptographically signed in a way that reinforces our trust

criptograficamente de forma a reforçar nossa confiança

in that information.

nessas informações.

It's an updating record of how AI was used to create or edit it,

É um registro atualizado de como a IA foi usada para criá-la ou editá-la,

where humans and other technologies were involved,

na qual humanos e outras tecnologias estavam envolvidos

and how it was distributed.

e como ela foi distribuída.

It's basically a recipe and serving instructions

É basicamente uma receita e serve de instruções

for the mix of AI and human

para a mistura de IA e humano

that's in what you're seeing and hearing.

que está no que você está vendo e ouvindo.

And it's a critical part of a new AI-infused media literacy.

E é uma parte essencial de uma nova alfabetização midiática baseada em IA.

And this actually shouldn't sound that crazy.

E isso realmente não deveria parecer tão louco.

Our communication is moving in this direction already.

Nossa comunicação já está se movendo nesta direção.

If you're like me -- you can admit it --

Se você é como eu, você pode admitir:

you browse your TikTok “For You” page,

você navega na página “Para você” do TikTok

and you're used to seeing videos that have an audio source,

e está acostumado a ver vídeos que têm uma fonte de áudio, um filtro de IA,

an AI filter, a green screen, a background,

uma tela verde, um plano de fundo,

a stitch with another edit.

um ponto com outra edição.

This, in some sense, is the alpha version of this transparency

Esta, em certo sentido, é a versão alfa dessa transparência

em algumas das principais plataformas que usamos atualmente.

in some of the major platforms we use today.

It's just that it does not yet travel across the internet,

Só que ele ainda não viaja pela internet,

it’s not reliable, updatable, and it’s not secure.

não é confiável, atualizável e não é seguro.

Now, there are also big challenges

Agora, também existem grandes desafios

in this type of infrastructure for authenticity.

nesse tipo de infraestrutura de autenticidade.

As we create these durable signs of how AI and human were mixed,

Conforme criamos esses sinais duradouros de como a IA e o ser humano se misturaram,

that carry across the trajectory of how media is made,

que acompanham a trajetória de como a mídia é produzida,

we need to ensure they don't compromise privacy or backfire globally.

precisamos garantir que eles não comprometam a privacidade

nem comprometam globalmente.

We have to get this right.

Temos de fazer isto bem.

We can't oblige a citizen journalist filming in a repressive context

Não podemos obrigar um jornalista cidadão filmando em um contexto repressivo

or a satirical maker using novel gen-AI tools

ou um criador satírico usando novas ferramentas de inteligência artificial

to parody the powerful ...

para parodiar os poderosos...

to have to disclose their identity or personally identifiable information

ter de divulgar sua identidade ou informações de identificação pessoal

in order to use their camera or ChatGPT.

para usar sua câmera ou ChatGPT.

Because it's important they be able to retain their ability to have anonymity,

Porque é importante que eles consigam manter a capacidade de manter o anonimato,

at the same time as the tool to create is transparent.

ao mesmo tempo em que a ferramenta de criação é transparente.

This needs to be about the how of AI-human media making,

Isto precisa ser o como criar mídia humana com IA,

not the who.

não sobre quem.

This brings me to the final step.

Isso me leva à etapa final.

None of this works without a pipeline of responsibility

Nada disso funciona sem um fluxo de responsabilidade

that runs from the foundation models and the open-source projects

que vai desde os modelos básicos e os projetos de código aberto

through to the way that is deployed into systems, APIs and apps,

até a forma como são implantados em sistemas, APIs e aplicativos,

to the platforms where we consume media and communicate.

até as plataformas em que consumimos mídia e nos comunicamos.

I've spent much of the last 15 years fighting, essentially, a rearguard action,

Passei boa parte dos últimos 15 anos lutando,

essencialmente, contra uma ação defensiva,

like so many of my colleagues in the human rights world,

como muitos dos meus colegas no mundo dos direitos humanos,

against the failures of social media.

contra as falhas das mídias sociais.

We can't make those mistakes again in this next generation of technology.

Não podemos cometer esses erros novamente nesta próxima geração de tecnologia.

What this means is that governments

O que significa que os governos

need to ensure that within this pipeline of responsibility for AI,

precisam garantir que, dentro desse fluxo de responsabilidade pela IA,

there is transparency, accountability and liability.

haja transparência, responsabilidade e responsabilização.

Without these three steps --

Sem estas três etapas —

detection for the people who need it most,

detecção das pessoas que mais precisam,

provenance that is rights-respecting

proveniência que respeite os direitos

and that pipeline of responsibility,

e esse fluxo de responsabilidade,

we're going to get stuck looking in vain for the six-fingered hand,

ficaremos presos procurando em vão a mão com seis dedos

or the eyes that don't blink.

ou os olhos que não piscam.

We need to take these steps.

Precisamos tomar essas medidas.

Otherwise, we risk a world where it gets easier and easier

Caso contrário, arriscamos um mundo em que fica cada vez mais fácil

to both fake reality

tanto fingir a realidade

and dismiss reality as potentially faked.

e descartá-la como potencialmente falsa.

And that is a world that the political philosopher Hannah Arendt

E esse é um mundo que a filósofa política Hannah Arendt

described in these terms:

descreveu nestes termos:

"A people that no longer can believe anything

“Um povo que não consegue mais acreditar em nada

cannot make up its own mind.

não consegue se decidir.

It is deprived not only of its capacity to act

Ela é privada não só de sua capacidade de agir

but also of its capacity to think and to judge.

mas também de sua capacidade de pensar e julgar.

And with such a people you can then do what you please."

E com essas pessoas, você pode fazer o que quiser.”

That's a world I know none of us want,

Esse é um mundo que eu sei que nenhum de nós quer,

that I think we can prevent.

que acho que podemos evitar.

Thanks.

Obrigado.

(Cheers and applause)

(Saudações e aplausos)