When AI Can Fake Reality, Who Can You Trust? | Sam Gregory | TED

Переводчик: Alina Siluyanova Редактор: Olga Mansurova

It's getting harder, isn't it, to spot real from fake,

Становится труднее, не правда ли, отличать настоящее от подделки,

AI-generated from human-generated.

созданное искусственным интеллектом от созданного человеком.

With generative AI,

С помощью генерирующего ИИ

along with other advances in deep fakery,

и успеха в создании дипфейков, скрытых подделок,

it doesn't take many seconds of your voice,

требуется всего несколько секунд вашего голоса

many images of your face,

и несколько изображений лица,

to fake you,

чтобы создать вашу подделку,

и реалистичность результата продолжает расти.

and the realism keeps increasing.

I first started working on deepfakes in 2017,

Впервые я начал работать над такими подделками в 2017 году,

when the threat to our trust in information was overhyped,

когда угроза нашему доверию к информации была преувеличена,

and the big harm, in reality, was falsified sexual images.

а большим вредом на самом деле были поддельные сексуальные изображения.

Now that problem keeps growing, harming women and girls worldwide.

Эта проблема продолжает расти, нанося вред женщинам и девушкам во всём мире.

Но вместе с прогрессом в области генерирующего ИИ мы вступаем в мир,

But also, with advances in generative AI, we're now also approaching a world

where it's broadly easier to make fake reality,

в котором гораздо проще создавать фальшивую реальность,

but also to dismiss reality as possibly faked.

а также отвергать реальность как возможно подделанную.

Now, deceptive and malicious audiovisual AI

Сегодня обманчивый и злонамеренный аудиовизуальный ИИ

is not the root of our societal problems,

не является причиной наших социальных проблем,

but it's likely to contribute to them.

но, очень вероятно, их усугубляет.

Audio clones are proliferating in a range of electoral contexts.

В различных избирательных контекстах растёт число аудиоклонов.

"Is it, isn't it" claims cloud human-rights evidence from war zones,

Реальные правонарушения затемняются данными «так это или нет» из военных зон.

sexual deepfakes target women in public and in private,

Сексуальные дипфейки преследуют женщин в обществе и дома.

and synthetic avatars impersonate news anchors.

А синтетические аватары выдают себя за ведущих новостей.

I lead WITNESS.

Я возглавляю WITNESS.

We're a human-rights group

Это правозащитная группа,

that helps people use video and technology to protect and defend their rights.

помогающая людям использовать видео и технологии для защиты своих прав.

Последние пять лет мы координировали международный проект

And for the last five years, we've coordinated a global effort,

«Готовься, не паникуй»,

"Prepare, Don't Panic,"

по вопросам этих новых способов манипулирования и синтеза реальности

around these new ways to manipulate and synthesize reality,

and on how to fortify the truth

и методов поддержки истинных данных

of critical frontline journalists and human-rights defenders.

ведущих передовых журналистов и защитников прав человека.

Now, one element in that is a deepfakes rapid-response task force,

Одним из элементов является группа быстрого реагирования на дипфейки,

made up of media-forensics experts

состоящая из медиа-судебных зкспертов

and companies who donate their time and skills

и компаний, посвящающих своё время и навыки

to debunk deepfakes and claims of deepfakes.

разоблачению дипфейков и заявлений о дипфейках.

The task force recently received three audio clips,

Недавно эта группа получила три аудиоклипа

из Судана, Западной Африки и Индии.

from Sudan, West Africa and India.

People were claiming that the clips were deepfaked, not real.

Люди утверждали, что эти клипы были фальшивые, не настоящие.

In the Sudan case,

В случае с Суданом

experts used a machine-learning algorithm

эксперты использовали алгоритм машинного обучения,

trained on over a million examples of synthetic speech

обработавший более миллиона примеров синтетической речи,

to prove, almost without a shadow of a doubt,

чтобы доказать, почти без тени сомнения,

that it was authentic.

что она была подлинной.

In the West Africa case,

В случае с Западной Африкой

they couldn't reach a definitive conclusion

к однозначому заключению им прийти не удалось

because of the challenges of analyzing audio from Twitter,

из-за проблем с анализом аудиозаписей из Твиттера

and with background noise.

и с фоновым шумом.

Третьим клипом была просочившаяся в прессу аудиозапись политика из Индии.

The third clip was leaked audio of a politician from India.

Nilesh Christopher of “Rest of World” brought the case to the task force.

Нилеш Кристофер из «Остального мира» передал клип на рассмотрение нашей группе.

The experts used almost an hour of samples

Эксперты использовали почти час аудио выборок

to develop a personalized model of the politician's authentic voice.

для разработки персонализированной модели подлинного голоса политика.

Despite his loud and fast claims that it was all falsified with AI,

Несмотря на его громкие заявления, что всё аудио было подделкой с ИИ,

experts concluded that it at least was partially real, not AI.

эксперты заключили, что оно реальное, по крайней мере частично, а не ИИ.

As you can see,

Как видите,

even experts cannot rapidly and conclusively separate true from false,

даже эксперты не могут быстро и однозначно отделить правду от лжи,

and the ease of calling "that's deepfaked" on something real

и лёгкость, с которой мы называем что-то реальное фальшивым,

is increasing.

возрастает.

The future is full of profound challenges,

Будущее полно серьёзных проблем,

both in protecting the real and detecting the fake.

связанных как с защитой правды, так и с выявлением подделок.

We're already seeing the warning signs

Мы уже видим тревожные сигналы

of this challenge of discerning fact from fiction.

этой проблемы как же различать правду от вымысла.

Audio and video deepfakes have targeted politicians,

Дипфейки аудио- и видеозаписей преследуют политиков,

major political leaders in the EU, Turkey and Mexico,

крупных политических лидеров ЕС, Турции и Мексики,

and US mayoral candidates.

а также кандидатов в мэры США.

Political ads are incorporating footage of events that never happened,

В политическую рекламу вставляют кадры событий, которых никогда и не было,

and people are sharing AI-generated imagery from crisis zones,

и люди делятся созданными ИИ снимками из кризисных зон,

claiming it to be real.

считая их реальными.

Now, again, this problem is not entirely new.

Конечно, эта проблема не нова.

The human-rights defenders and journalists I work with

Правозащитники и журналисты, с которыми я работаю,

are used to having their stories dismissed,

привыкли к тому, что их статьи отвергают,

and they're used to widespread, deceptive, shallow fakes,

привыкли к повсеместным, пустым фальшивкам, вводящим в заблуждение,

videos and images taken from one context or time or place

к видео и фото, снятым в одном контексте, моменте или месте,

and claimed as if they're in another,

а представленные, как будто они сделаны в другом,

used to share confusion and spread disinformation.

чтобы распространять путаницу и дезинформацию.

And of course, we live in a world that is full of partisanship

И, конечно же, мы живём в мире, где царят всякие приверженности

и изобилует предвзятое предубеждение.

and plentiful confirmation bias.

Given all that,

Учитывая всё это,

the last thing we need is a diminishing baseline

последним, что нам нужно, будет снижать уровень достоверности

of the shared, trustworthy information upon which democracies thrive,

передаваемой информации, на основе которой процветает демократия,

where the specter of AI

где ассортимент ИИ используется

is used to plausibly believe things you want to believe,

для правдоподобия, чтобы верить в то, во что хочется верить,

and plausibly deny things you want to ignore.

и отрицать то, что хочется игнорировать.

Но я думаю, что есть способ предотвратить такое будущее,

But I think there's a way we can prevent that future,

if we act now;

если действовать сейчас.

that if we "Prepare, Don't Panic,"

Если мы будем «готовиться, не паниковать»,

we'll kind of make our way through this somehow.

то каким-либо образом сможем преодолеть эту проблему.

Panic won't serve us well.

Паника не пойдёт нам на пользу.

[It] plays into the hands of governments and corporations

Она на руку только правительствам и корпорациям,

who will abuse our fears,

злоупотребляющим нашими страхами,

and into the hands of people who want a fog of confusion

а также людям, желающим затуманить факты путаницей

and will use AI as an excuse.

и использующим ИИ как оправдание.

How many people were taken in, just for a minute,

Сколько людей были обмануты, пусть и на мгновение,

by the Pope in his dripped-out puffer jacket?

фото Папы Римского в пуховике с капюшоном?

You can admit it.

Признавайтесь.

(Laughter)

(Смех)

More seriously,

Или более серьёзно,

сколько из вас знают людей,

how many of you know someone who's been scammed

обманутых аудио с голосом, похожим на голос их ребёнка?

by an audio that sounds like their kid?

And for those of you who are thinking "I wasn't taken in,

А для тех из вас, кто думает: «Меня не обманули,

I know how to spot a deepfake,"

я знаю, как распознать дипфейк»,

любой хак, который вы знаете, сейчас уже устарел.

any tip you know now is already outdated.

Deepfakes didn't blink, they do now.

Дипфейки не моргали раньше, а теперь моргают.

Six-fingered hands were more common in deepfake land than real life --

Руки с шестью пальцами встречались чаще в мире дипфейков, чем реально,

not so much.

сегодня это уже не так.

Technical advances erase those visible and audible clues

Технические достижения стирают все эти видимые и слышимые улики,

за которые мы так отчаянно цепляемся,

that we so desperately want to hang on to

в доказательство того, что можем отличить реальное от подделки.

as proof we can discern real from fake.

But it also really shouldn’t be on us to make that guess without any help.

Но ведь реально мы и не должны строить эти догадки без всякой помощи.

Between real deepfakes and claimed deepfakes,

В мире реальных дипфейков и заявленных дипфейков

we need big-picture, structural solutions.

нам нужны масштабные структурные решения.

Нам нужны надёжные основы,

We need robust foundations

that enable us to discern authentic from simulated,

которые позволят нам отличать подлинное от смоделированного,

tools to fortify the credibility of critical voices and images,

инструменты, укрепляющие достоверность критических голосов и изображений,

and powerful detection technology

и мощная технология обнаружения,

которая не вызывает больше сомнений, чем она устраняет.

that doesn't raise more doubts than it fixes.

There are three steps we need to take to get to that future.

Для достижения этого будущего нам нужно сделать три шага.

Step one is to ensure that the detection skills and tools

Первый шаг: обеспечить, чтобы навыки и инструменты обнаружения

are in the hands of the people who need them.

находились в руках тех, кто в них нуждается.

I've talked to hundreds of journalists,

Я говорил с сотнями журналистов,

общественных деятелей и правозащитников,

community leaders and human-rights defenders,

and they're in the same boat as you and me and us.

и они в той же лодке, что и вы, я, все мы.

They're listening to the audio, trying to think, "Can I spot a glitch?"

Они слушают аудиозапись и думают: «Могу ли я заметить глюк?»

Looking at the image, saying, "Oh, does that look right or not?"

Глядят на фото и спрашивают: «Выглядит ли это реальным или нет?»

Or maybe they're going online to find a detector.

Или, например, ищут детектор в интернете.

And the detector they find,

А с детектором, который нашли,

they don't know whether they're getting a false positive, a false negative,

они не знают, получат ли они ложно-позитивный, ложно-негативный

or a reliable result.

или надёжный результат.

Here's an example.

Вот пример.

I used a detector, which got the Pope in the puffer jacket right.

Детектор, определивший фото с Папой Римским в пуховике как подделку,

But then, when I put in the Easter bunny image that I made for my kids,

проверил изображение пасхального кролика, которое я сделал для детей,

и определил его, как созданное человеком.

it said that it was human-generated.

This is because of some big challenges in deepfake detection.

Это связано с некоторыми серьёзными проблемами при обнаружении дипфейков.

Detection tools often only work on one single way to make a deepfake,

Детекторы часто работают только с одним способом создания дипфейка,

so you need multiple tools,

поэтому нужны разные детекторы,

and they don't work well on low-quality social media content.

а они плохо работают с контентом социальных сетей низкого качества,

Confidence score, 0.76-0.87,

оценка достоверности от 0,76 до 0,87.

Как определить, надёжен ли результат,

how do you know whether that's reliable,

if you don't know if the underlying technology is reliable,

если нам неизвестно, надёжна ли сама технология,

or whether it works on the manipulation that is being used?

или же она работает на основе используемой манипуляции?

And tools to spot an AI manipulation don't spot a manual edit.

А инструменты выявления ИИ манипуляций не выявляют ручное редактирование.

These tools also won't be available to everyone.

Они также не доступны всем.

There's a trade-off between security and access,

Существует компромисс между безопасностью и доступностью,

which means if we make them available to anyone,

и он в том, что, если сделать их доступными для всех,

they become useless to everybody,

они станут бесполезными,

because the people designing the new deception techniques

потому что разработчики новых методов фальсификации

will test them on the publicly available detectors

будут тестировать их на общедоступных детекторах

and evade them.

и смогут их скрывать.

Но точно необходимо обеспечить к ним доступ

But we do need to make sure these are available

to the journalists, the community leaders,

журналистам, общественным деятелям,

избирательным комиссиям во всём мире, нашей этакой первой линией защиты,

the election officials, globally, who are our first line of defense,

thought through with attention to real-world accessibility and use.

продуманной с точки зрения доступности и использования в реальных условиях.

Though at the best circumstances,

Пусть даже при лучших условиях

detection tools will be 85 to 95 percent effective,

эффективность средств обнаружения составит от 85 до 95 процентов,

they have to be in the hands of that first line of defense,

они должны быть в руках людей из этой первой линии защиты,

and they're not, right now.

что сейчас не так.

So for step one, I've been talking about detection after the fact.

В первом шаге я говорил об обнаружении фейка постфактум.

Step two -- AI is going to be everywhere in our communication,

Шаг второй: ИИ хотят применять во всех видах коммуникации,

creating, changing, editing.

создании, изменении, редактировании.

It's not going to be a simple binary of "yes, it's AI" or "phew, it's not."

Это не будет просто двоичное «да, это ИИ» или «нет, не ИИ».

AI is part of all of our communication,

Искусственный интеллект уже неотъемлемая часть нашего общения,

so we need to better understand the recipe of what we're consuming.

поэтому нам нужно лучше понимать рецептуру того, что мы потребляем.

Some people call this content provenance and disclosure.

Некоторые называют это источником и раскрытием контента.

Технологи разрабатывают способы добавления невидимых водяных знаков

Technologists have been building ways to add invisible watermarking

to AI-generated media.

к медиа файлам, созданным ИИ.

They've also been designing ways --

Они также разрабатывают методы,

и в этом я лично участвовал,

and I've been part of these efforts --

в рамках стандарта C2PA

within a standard called the C2PA,

to add cryptographically signed metadata to files.

добавления криптографически подписанных метаданных в файлы.

This means data that provides details about the content,

То есть, данных, содержащих подробную информацию о контенте,

cryptographically signed in a way that reinforces our trust

подписанных криптографически так, что это укрепляет наше доверие

in that information.

к данной информации.

It's an updating record of how AI was used to create or edit it,

Это обновляемая запись того, как ИИ применялся при создании и редактировании,

где были задействованы люди и другие технологии

where humans and other technologies were involved,

and how it was distributed.

и в какой мере.

It's basically a recipe and serving instructions

По сути, это рецепт и инструкция

for the mix of AI and human

для смеси участия ИИ и человека

that's in what you're seeing and hearing.

в том, что мы видим и слышим.

And it's a critical part of a new AI-infused media literacy.

И это важнейшая часть новой, пропитанной ИИ медиаграмотности.

На самом деле это не так уж и безумно.

And this actually shouldn't sound that crazy.

Our communication is moving in this direction already.

Коммуникации уже движутся в этом направлении.

If you're like me -- you can admit it --

Если вы вроде меня, можете признаться,

you browse your TikTok “For You” page,

то, просматривая страницу Тик-Тока «Для вас»,

and you're used to seeing videos that have an audio source,

вы уже привыкли видеть, что у видео указан источник звука,

an AI filter, a green screen, a background,

есть фильтр ИИ, зелёный экран, фон,

a stitch with another edit.

соединение с другой правкой.

This, in some sense, is the alpha version of this transparency

В каком-то смысле это альфа-версия такой вот прозрачности

некоторых основных платформ, которыми мы пользуемся.

in some of the major platforms we use today.

It's just that it does not yet travel across the internet,

Просто она не распространена пока по всему интернету.

it’s not reliable, updatable, and it’s not secure.

Она ненадёжна, не обновляется и не защищена.

Now, there are also big challenges

Существуют также серьёзные проблемы

in this type of infrastructure for authenticity.

с аутентичностью в инфраструктуре этого типа.

As we create these durable signs of how AI and human were mixed,

Создавая эти прочные знаки того, как смешаны действия ИИ и человека,

that carry across the trajectory of how media is made,

влияющие на траекторию развития медиа, мы должны убедиться, что они

we need to ensure they don't compromise privacy or backfire globally.

не угрожают конфиденциальности и не «выходят боком» на мировом уровне.

We have to get this right.

Мы должны всё сделать правильно.

We can't oblige a citizen journalist filming in a repressive context

Нельзя обязать гражданского журналиста, снимающего видео в напряжённой обстановке,

or a satirical maker using novel gen-AI tools

или создателя-сатирика, использующего новые ИИ инструменты

to parody the powerful ...

для пародии на влиятельных людей,

to have to disclose their identity or personally identifiable information

раскрывать свою личность или давать личную информацию,

in order to use their camera or ChatGPT.

когда они пользуются камерой или чатом GPT.

Because it's important they be able to retain their ability to have anonymity,

Потому что важно, чтобы они могли сохранять анонимность,

в то время как сам инструмент оставался бы прозрачным.

at the same time as the tool to create is transparent.

Фокус должен быть на том, как ИИ и люди создают медиа,

This needs to be about the how of AI-human media making,

not the who.

а не на том, кто это делает.

This brings me to the final step.

Это подводит меня к финальному шагу.

Всё это невозможно без распределения ответственности,

None of this works without a pipeline of responsibility

that runs from the foundation models and the open-source projects

которая простирается от базовых моделей и проектов с открытым исходным кодом

through to the way that is deployed into systems, APIs and apps,

до способов их внедрения в системы, API и приложения, а также платформы,

to the platforms where we consume media and communicate.

на которых мы используем мультимедийные материалы и общаемся.

I've spent much of the last 15 years fighting, essentially, a rearguard action,

Большую часть последних 15 лет я провёл, по сути, в арьергардных боях,

like so many of my colleagues in the human rights world,

как и многие мои коллеги из мира прав человека,

against the failures of social media.

против недочётов социальных сетей.

We can't make those mistakes again in this next generation of technology.

Мы не можем повторять те же ошибки снова в технологиях нового поколения.

What this means is that governments

Это означает, что правительства

need to ensure that within this pipeline of responsibility for AI,

в рамках этой системы ответственности за искусственный интеллект

there is transparency, accountability and liability.

должны обеспечить прозрачность, подотчётность и ответ перед законом.

Without these three steps --

Без этих трёх шагов:

detection for the people who need it most,

выявления тех, кто больше всего нуждается в ИИ,

provenance that is rights-respecting

источника с защитой прав

and that pipeline of responsibility,

и распределения ответственности,

we're going to get stuck looking in vain for the six-fingered hand,

мы будем тщетно искать шестипалые руки

or the eyes that don't blink.

или неморгающие глаза.

We need to take these steps.

Мы должны предпринять эти шаги.

Otherwise, we risk a world where it gets easier and easier

В противном случае мы рискуем жить в мире, где будет всё легче и легче

to both fake reality

и искажать реальность,

и отвергать её как возможную подделку.

and dismiss reality as potentially faked.

And that is a world that the political philosopher Hannah Arendt

Политический философ Ханна Арендт

описала этот мир следующим образом:

described in these terms:

"A people that no longer can believe anything

«Народ, который больше ничему не может верить,

cannot make up its own mind.

не может определиться.

It is deprived not only of its capacity to act

Он лишён не только своей способности действовать,

but also of its capacity to think and to judge.

но и способности мыслить и судить.

And with such a people you can then do what you please."

И с таким народом можно делать всё, что заблагорассудится».

That's a world I know none of us want,

Я знаю, что никому из нас не нужен такой мир,

that I think we can prevent.

и что мы можем его предотвратить.

Thanks.

Спасибо.

(Аплодисменты)

(Cheers and applause)