When AI Can Fake Reality, Who Can You Trust? | Sam Gregory | TED

Traductor: Claudia Botero Revisor: Sebastian Betti

It's getting harder, isn't it, to spot real from fake,

Cada vez es más difícil diferenciar lo real de lo falso,

AI-generated from human-generated.

lo generado por IA o por humanos.

Con la IA generativa,

With generative AI,

along with other advances in deep fakery,

junto con otros avances en deepfake,

it doesn't take many seconds of your voice,

no se necesitan muchos segundos de voz

many images of your face,

ni muchas imágenes de su rostro para falsearlo,

to fake you,

y el realismo no deja de aumentar.

and the realism keeps increasing.

I first started working on deepfakes in 2017,

Empecé a trabajar en deepfakes en 2017,

when the threat to our trust in information was overhyped,

cuando se exagera la amenaza a nuestra confianza en la información

and the big harm, in reality, was falsified sexual images.

y el gran daño eran las imágenes sexuales falsificadas.

Now that problem keeps growing, harming women and girls worldwide.

Ese problema sigue creciendo, perjudicando a mujeres y niñas del mundo.

But also, with advances in generative AI, we're now also approaching a world

Pero con los avances de la IA generativa, ahora nos acercamos a un mundo

where it's broadly easier to make fake reality,

en el que es más fácil falsificar la realidad,

but also to dismiss reality as possibly faked.

pero también descartar la realidad por ser una posible falsificación.

Now, deceptive and malicious audiovisual AI

Ahora bien, la IA audiovisual engañosa y malintencionada

is not the root of our societal problems,

no es la raíz de nuestros problemas sociales,

but it's likely to contribute to them.

pero es probable que contribuya a ellos.

Audio clones are proliferating in a range of electoral contexts.

Los clones de audio están proliferando en diversos contextos electorales.

"Is it, isn't it" claims cloud human-rights evidence from war zones,

Las afirmaciones «son o no son» enturbian los derechos humanos en zonas de guerra,

sexual deepfakes target women in public and in private,

los deepfakes sexuales tienen por objetivo las mujeres en público y en privado,

and synthetic avatars impersonate news anchors.

y los avatares sintéticos se hacen pasar por presentadores de noticias.

I lead WITNESS.

Dirijo WITNESS.

Somos un grupo de derechos humanos

We're a human-rights group

that helps people use video and technology to protect and defend their rights.

que ayuda a usar vídeos y tecnología para proteger y defender sus derechos.

And for the last five years, we've coordinated a global effort,

«Prepárate, no te asustes», es la iniciativa mundial que coordinamos

"Prepare, Don't Panic,"

around these new ways to manipulate and synthesize reality,

en estos 5 años sobre estas formas de manipular

and on how to fortify the truth

y sintetizar la realidad de los periodistas de primera línea

of critical frontline journalists and human-rights defenders.

y defensores de derechos humanos.

Now, one element in that is a deepfakes rapid-response task force,

Ahora, uno de los elementos es respuesta rápida sobre deepfakes,

made up of media-forensics experts

compuesto por expertos en medios forenses

and companies who donate their time and skills

y compañías que donan su tiempo y habilidades

to debunk deepfakes and claims of deepfakes.

para desacreditar los deepfakes y las afirmaciones sobre estos.

The task force recently received three audio clips,

El grupo de trabajo recibió recientemente tres clips de audio

from Sudan, West Africa and India.

desde Sudán, el oeste de África e India.

People were claiming that the clips were deepfaked, not real.

La gente afirmaba que los clips eran falsos, no reales.

In the Sudan case,

En el caso de Sudán, expertos usaron un algoritmo

experts used a machine-learning algorithm

basado en más de un millón de ejemplos de lenguaje sintético

trained on over a million examples of synthetic speech

to prove, almost without a shadow of a doubt,

para demostrar, casi sin lugar a dudas,

that it was authentic.

que era auténtico.

In the West Africa case,

En el caso del oeste de África,

no pudieron llegar a una conclusión definitiva debido a las dificultades

they couldn't reach a definitive conclusion

because of the challenges of analyzing audio from Twitter,

que suponía analizar con ruido de fondo.

and with background noise.

The third clip was leaked audio of a politician from India.

El tercer clip fue un audio filtrado de un político de la India.

Nilesh Christopher of “Rest of World” brought the case to the task force.

Nilesh Christopher, de «Rest of World», presentó el caso al grupo de trabajo.

The experts used almost an hour of samples

Expertos usaron casi una hora de muestras

to develop a personalized model of the politician's authentic voice.

para desarrollar un modelo personalizado de la voz auténtica del político.

Despite his loud and fast claims that it was all falsified with AI,

Pese de sus fuertes y rápidas demandas de que todo había sido falsificado con IA,

experts concluded that it at least was partially real, not AI.

los expertos concluyeron que, al menos, era parcialmente real, no IA.

As you can see,

Como puede ver,

even experts cannot rapidly and conclusively separate true from false,

aún los expertos no separan rápida y concluyentemente lo verdadero de lo falso,

and the ease of calling "that's deepfaked" on something real

y cada vez es más fácil llamar «falso» a algo real.

is increasing.

va en aumento.

The future is full of profound challenges,

El futuro está lleno de retos profundos,

both in protecting the real and detecting the fake.

tanto para proteger lo real como para detectar lo falso.

We're already seeing the warning signs

Estamos viendo los signos del desafío de discernir la realidad de la ficción

of this challenge of discerning fact from fiction.

Audio and video deepfakes have targeted politicians,

Los deepfakes de audio y vídeo han sido dirigidos a líderes políticos

major political leaders in the EU, Turkey and Mexico,

de la UE, Turquía y México y candidatos a alcaldes de EE. UU.

and US mayoral candidates.

Political ads are incorporating footage of events that never happened,

Los anuncios políticos usan imágenes de eventos que no han ocurrido;

and people are sharing AI-generated imagery from crisis zones,

y la gente comparte imágenes generadas por la IA desde zonas en crisis,

claiming it to be real.

afirmando que son reales.

Now, again, this problem is not entirely new.

Ahora, una vez más, este problema no es del todo nuevo.

The human-rights defenders and journalists I work with

Los defensores de derechos humanos y los periodistas

are used to having their stories dismissed,

se acostumbraron a difundir ampliamente

and they're used to widespread, deceptive, shallow fakes,

falsificaciones superficiales y falsas,

videos and images taken from one context or time or place

vídeos e imágenes sacados de contexto, momento o lugar

and claimed as if they're in another,

y asegurando que están en otro,

used to share confusion and spread disinformation.

para compartir confusión y difundir desinformación.

And of course, we live in a world that is full of partisanship

Además, vivimos en un mundo lleno de parcialidad

and plentiful confirmation bias.

.y abundantes sesgos de confirmación

Given all that,

En vista de todo esto,

the last thing we need is a diminishing baseline

lo que menos necesitamos es una base cada vez menor,

of the shared, trustworthy information upon which democracies thrive,

de información creíble compartida sobre la que prosperen las democracias,

where the specter of AI

donde se usa el espectro de IA para creer en cosas que se quieren cree

is used to plausibly believe things you want to believe,

and plausibly deny things you want to ignore.

y negar, así mismo, lo que se quiere ignorar.

But I think there's a way we can prevent that future,

Pero creo que hay una manera de prevenir ese futuro,

if we act now;

si actuamos ahora;

that if we "Prepare, Don't Panic,"

o sea, "Prepárate, no te asustes",

we'll kind of make our way through this somehow.

de alguna manera nos las arreglaremos para salir adelante.

Panic won't serve us well.

El pánico no nos servirá de nada.

[It] plays into the hands of governments and corporations

Le hace el favor a los gobiernos y las empresas,

who will abuse our fears,

que abusarán de nuestros miedos,

and into the hands of people who want a fog of confusion

y a las personas que quieren crear confusión

and will use AI as an excuse.

y usarán la IA como excusa.

How many people were taken in, just for a minute,

¿Cuántas personas fueron engañadas por el Papa,

con su chaqueta acolchada que goteaba?

by the Pope in his dripped-out puffer jacket?

You can admit it.

Puede admitirlo.

(Laughter)

(Risas)

More seriously,

En serio, ¿cuántos de ustedes conocen a alguien que ha sido estafado

how many of you know someone who's been scammed

by an audio that sounds like their kid?

por un audio que suena como su hijo?

And for those of you who are thinking "I wasn't taken in,

Y para los que están pensando: «No me engañaron,

I know how to spot a deepfake,"

sé cómo detectar un deepfake»,

any tip you know now is already outdated.

cualquier consejo que conozcan ya es viejo

Deepfakes didn't blink, they do now.

Los Deepfakes no parpadeaban, ahora sí.

Six-fingered hands were more common in deepfake land than real life --

En tierra de deepfakes son más comunes manos de seis dedos,

not so much.

aunque no tanto.

Technical advances erase those visible and audible clues

Los avances técnicos borran esas pistas visibles y audibles,

that we so desperately want to hang on to

a lo que con desespero queremos aferrarnos

as proof we can discern real from fake.

mostrando que distinguimos real y falso.

But it also really shouldn’t be on us to make that guess without any help.

Pero no debe ser nuestra responsabilidad hacer esa conjetura sin ayuda alguna.

Between real deepfakes and claimed deepfakes,

Entre los deepfakes reales y los pretendidos,

we need big-picture, structural solutions.

se necesita soluciones estructurales con un panorama general.

We need robust foundations

Necesitamos bases sólidas

that enable us to discern authentic from simulated,

que nos permitan distinguir lo auténtico de lo simulado y

tools to fortify the credibility of critical voices and images,

herramientas que refuercen la credibilidad de las voces e imágenes críticas

and powerful detection technology

y una tecnología de detección potente

that doesn't raise more doubts than it fixes.

que no suscite más dudas de las que solucione.

There are three steps we need to take to get to that future.

Hay tres pasos que debemos tomar para llegar a ese futuro.

Step one is to ensure that the detection skills and tools

El primer paso es garantizar que los mecanismos y herramientas de detección

are in the hands of the people who need them.

estén en manos de quien los necesita.1

I've talked to hundreds of journalists,

He hablado con cientos de periodistas,

community leaders and human-rights defenders,

líderes comunitarios

y defensores de derechos humanos que están en las mismas que tú, yo y nosotros.

and they're in the same boat as you and me and us.

They're listening to the audio, trying to think, "Can I spot a glitch?"

Al escuchar el audio pensarán: «¿Puedo hallar una falla técnica?»

Looking at the image, saying, "Oh, does that look right or not?"

Mirando la imagen, diciendo: «Oh, ¿se ve bien o no?»

Or maybe they're going online to find a detector.

O tal vez estén buscando un detector en Internet.

And the detector they find,

Y el que encuentran,

they don't know whether they're getting a false positive, a false negative,

no saben si están obteniendo un falso positivo, falso negativo

or a reliable result.

o un resultado fiable.

Here's an example.

He aquí un ejemplo.

I used a detector, which got the Pope in the puffer jacket right.

Usé un detector, se hizo que el Papa llevara la chaqueta acolchada.

But then, when I put in the Easter bunny image that I made for my kids,

Luego, puse la imagen del conejo de Pascua que hice para mis hijos,

it said that it was human-generated.

decía que era generada por humanos.

This is because of some big challenges in deepfake detection.

Esto se debe a desafíos importantes en la detección de deepfake.

Detection tools often only work on one single way to make a deepfake,

Las herramientas solo funcionan en una dirección para crear deepfakes,

so you need multiple tools,

así que se necesitan varias y no funcionan bien con contenido

and they don't work well on low-quality social media content.

de redes sociales de baja calidad.

Confidence score, 0.76-0.87,

Nivel de confianza, 0,76-0,87,

how do you know whether that's reliable,

¿cómo sabe si es fiable,

if you don't know if the underlying technology is reliable,

si no sabe si la tecnología subyacente es fiable

or whether it works on the manipulation that is being used?

o si funciona en la manipulación que se está utilizando?

And tools to spot an AI manipulation don't spot a manual edit.

Las herramientas que detectan manipulación de IA no detectan una edición manual.

Estas herramientas no serán disponibles para todo el mundo.

These tools also won't be available to everyone.

Hay un equilibrio entre seguridad y acceso,

There's a trade-off between security and access,

si los ponemos a disposición de cualquier persona,

which means if we make them available to anyone,

they become useless to everybody,

serán inútiles para todos,

because the people designing the new deception techniques

porque quienes diseñen las nuevas técnicas de engaño

will test them on the publicly available detectors

las pondrán a prueba en los detectores disponibles al público

and evade them.

y las evadirán.

But we do need to make sure these are available

Sin embargo, debemos asegurarnos de que estén disponibles

to the journalists, the community leaders,

para periodistas, líderes comunitarios,

the election officials, globally, who are our first line of defense,

funcionarios electorales del mundo, que son nuestra primera línea de defensa,

thought through with attention to real-world accessibility and use.

pensada con atención en su accesibilidad y uso en el mundo real.

Though at the best circumstances,

Si bien, en el mejor de los casos,

detection tools will be 85 to 95 percent effective,

las herramientas serán eficaces del 85 al 95 %,

they have to be in the hands of that first line of defense,

tienen que estar en manos de la primera línea de defensa,

and they're not, right now.

y no lo están ahora.

So for step one, I've been talking about detection after the fact.

Para el primer paso, he hablado de la detección después de los hechos.

Step two -- AI is going to be everywhere in our communication,

Paso dos: la IA estará presente en todas partes en nuestra comunicación,

creating, changing, editing.

creando, cambiando, editando.

It's not going to be a simple binary of "yes, it's AI" or "phew, it's not."

No será una simple combinación binaria de «sí, es IA» o «siquiera, no es».

AI is part of all of our communication,

la comunicación tiene como parte la IA,

so we need to better understand the recipe of what we're consuming.

por lo que necesitamos entender mejor la receta de lo que consumimos.

Some people call this content provenance and disclosure.

Algunas personas llaman a este contenido procedencia y divulgación.

Technologists have been building ways to add invisible watermarking

Los tecnólogos han creado formas de añadir marcas de agua a los medios con IA.

to AI-generated media.

They've also been designing ways --

También han estado diseñando formas,

and I've been part of these efforts --

y yo he sido parte de estos esfuerzos,

within a standard called the C2PA,

que con de estándar C2PA, añade criptogramas con metadatos.

to add cryptographically signed metadata to files.

This means data that provides details about the content,

Esto significa datos que proporcionan detalles sobre el contenido,

cryptographically signed in a way that reinforces our trust

firmados criptográficamente para reforzar nuestra confianza

in that information.

en esa información.

It's an updating record of how AI was used to create or edit it,

Es un registro actualizado de cómo se usó la IA para crearlo o editarlo,

where humans and other technologies were involved,

dónde participaron los humanos y otras tecnologías

and how it was distributed.

y cómo se distribuyó.

It's basically a recipe and serving instructions

Básicamente, se trata de una receta con instrucciones

for the mix of AI and human

para la mezcla de inteligencia artificial y el humano que hay en lo que ves y oyes.

that's in what you're seeing and hearing.

And it's a critical part of a new AI-infused media literacy.

Y es una parte fundamental de una nueva alfabetización mediática basada en la IA.

And this actually shouldn't sound that crazy.

Y esto, no debería sonar tan descabellado. La comunicación avanza en esta dirección.

Our communication is moving in this direction already.

If you're like me -- you can admit it --

Si es como yo, puede admitirlo,

you browse your TikTok “For You” page,

navega por la página «Para ti» de TikTok

and you're used to seeing videos that have an audio source,

y está acostumbrado a ver vídeos con una fuente de audio,

an AI filter, a green screen, a background,

un filtro de IA, una pantalla verde, un fondo,

a stitch with another edit.

una puntada con otra edición.

This, in some sense, is the alpha version of this transparency

En cierto sentido, esta es la versión alfa de esta transparencia

in some of the major platforms we use today.

en una de las plataformas que se usan. Es solo que todavía no viaja por Internet,

It's just that it does not yet travel across the internet,

it’s not reliable, updatable, and it’s not secure.

no es confiable, actualizable y no es segura

Now, there are also big challenges

Además, se presenta grandes desafíos en cuanto a la autenticidad.

in this type of infrastructure for authenticity.

As we create these durable signs of how AI and human were mixed,

Mientras creamos estas señales duraderas de la mezcla entre la IA y los humanos,

that carry across the trajectory of how media is made,

que sigan la trayectoria de la

creación de los medios

we need to ensure they don't compromise privacy or backfire globally.

y asegurarnos que no comprometan la privacidad ni hagan daño a nivel mundial.

We have to get this right.

Tenemos que hacerlo bien.

We can't oblige a citizen journalist filming in a repressive context

No podemos obligar a un periodista que filma en un contexto represivo

or a satirical maker using novel gen-AI tools

o a un creador satírico que usa las nuevas herramientas hechas con IA

to parody the powerful ...

y parodia los poderosos... para revelar su identidad

to have to disclose their identity or personally identifiable information

o información personal y así usar su cámara o ChatGPT.

in order to use their camera or ChatGPT.

Because it's important they be able to retain their ability to have anonymity,

Porque es importante que puedan conservar su anonimato y, al mismo tiempo,

at the same time as the tool to create is transparent.

que la herramienta de creación sea transparente.

This needs to be about the how of AI-human media making,

Esto tiene que ver con el cómo se crean los medios entre la IA y los humanos,

not the who.

no con el quién.

This brings me to the final step.

Esto me lleva al último paso.

None of this works without a pipeline of responsibility

Nada de esto funciona sin una cartera de responsabilidades

that runs from the foundation models and the open-source projects

que va desde los modelos básicos y los proyectos de código abierto

through to the way that is deployed into systems, APIs and apps,

hasta la forma en que se implementan en sistemas, API y aplicaciones,

to the platforms where we consume media and communicate.

hasta las plataformas en las que consumimos medios y nos comunicamos.

I've spent much of the last 15 years fighting, essentially, a rearguard action,

He pasado de los últimos 15 años luchando,

como acción de retaguardia,

like so many of my colleagues in the human rights world,

como muchos de mis colegas del mundo de los derechos humanos,

against the failures of social media.

contra los fracasos de las redes sociales.

We can't make those mistakes again in this next generation of technology.

No podemos volver a cometer esos errores en la próxima generación de tecnología.

What this means is that governments

Lo que esto significa que los gobiernos deben garantizar que

need to ensure that within this pipeline of responsibility for AI,

dentro de la responsabilidad para la IA,

there is transparency, accountability and liability.

haya transparencia, rendición de cuentas y responsabilidad.

Without these three steps --

Sin estos tres pasos:

detection for the people who need it most,

detectar las personas que lo necesitan,

provenance that is rights-respecting

procedencia que respete los derechos

and that pipeline of responsibility,

y canalizar la responsabilidad,

we're going to get stuck looking in vain for the six-fingered hand,

nos vamos a quedar atrapados buscando en vano la mano de seis dedos

or the eyes that don't blink.

o los ojos que no parpadean.

We need to take these steps.

Tenemos que tomar estas medidas.

Otherwise, we risk a world where it gets easier and easier

Podemos correr el riesgo de un mundo

en el que sea más fácil fingir la realidad y descartarla por ser posiblemente falsa.

to both fake reality

and dismiss reality as potentially faked.

And that is a world that the political philosopher Hannah Arendt

Y ese es un mundo que la filósofa política Hannah Arendt

described in these terms:

describió en estos términos:

"A people that no longer can believe anything

«Un pueblo que ya no puede creer en nada

cannot make up its own mind.

no puede tomar una decisión propia.

It is deprived not only of its capacity to act

Está privado no solo de su capacidad de actuar

but also of its capacity to think and to judge.

sino también de su capacidad de pensar y juzgar.

And with such a people you can then do what you please."

Y con una gente así, puedes hacer lo que quieras».

That's a world I know none of us want,

Sé que ese es un mundo que no queremos

that I think we can prevent.

y creo que podemos evitarlo.

Thanks.

Gracias.

(Cheers and applause)

(Vítores y aplausos)