When AI Can Fake Reality, Who Can You Trust? | Sam Gregory | TED

Translator: Prameswari Rahmanu Reviewer: Abey Singa

It's getting harder, isn't it, to spot real from fake,

Semakin sulit, bukan, untuk membedakan yang asli dari yang palsu,

AI-generated from human-generated.

produk dari AI yang dirancang oleh manusia.

With generative AI,

Dengan AI generatif,

along with other advances in deep fakery,

bersama dengan inovasi lainnya dalam teknik deep fakery

it doesn't take many seconds of your voice,

hanya perlu beberapa detik suara Anda,

many images of your face,

sejumlah foto wajah Anda,

to fake you,

untuk memalsukan Anda,

dan tingkat realisme terus meningkat.

and the realism keeps increasing.

I first started working on deepfakes in 2017,

Saya pertama kali mulai mengerjakan deepfake pada tahun 2017,

when the threat to our trust in information was overhyped,

ketika kekhawatiran kita soal manipulasi informasi dianggap terlalu berlebihan,

and the big harm, in reality, was falsified sexual images.

dan bahaya besarnya, pada kenyataannya, adalah gambar seksual yang dipalsukan.

Now that problem keeps growing, harming women and girls worldwide.

Sekarang masalah itu terus berkembang, merugikan para perempuan di seluruh dunia.

But also, with advances in generative AI, we're now also approaching a world

Apalagi, dengan kemajuan AI generatif, kini kita memasuki dunia

where it's broadly easier to make fake reality,

yang secara keseluruhan lebih mudah untuk membuat realitas palsu,

but also to dismiss reality as possibly faked.

dan juga meragukan realitas itu sendiri kerena dianggap telah dipalsukan

Now, deceptive and malicious audiovisual AI

Sekarang, AI audiovisual yang menyesatkan dan berbahaya

is not the root of our societal problems,

bukanlah akar dari masalah sosial kita,

but it's likely to contribute to them.

tetapi kemungkinan berkontribusi pada hal itu.

Audio clones are proliferating in a range of electoral contexts.

Duplikasi audio sedang marak dalam berbagai konteks pemilu.

"Is it, isn't it" claims cloud human-rights evidence from war zones,

Klaim “Benar, Salah” mengaburkan bukti hak asasi manusia dalam situasi perang,

sexual deepfakes target women in public and in private,

deepfake seksual menargetkan wanita di depan umum dan secara pribadi,

and synthetic avatars impersonate news anchors.

dan avatar sintetis menyamar sebagai pembawa berita.

I lead WITNESS.

Saya memimpin WITNESS.

sebuah grup hak asasi manusia

We're a human-rights group

that helps people use video and technology to protect and defend their rights.

membantu orang memakai video dan teknologi untuk melindungi & membela haknya.

Selama 5 tahun terakhir, kami melakukan upaya global,

And for the last five years, we've coordinated a global effort,

“Bersiap, Jangan Panik,”

"Prepare, Don't Panic,"

seputar cara baru untuk memanipulasi dan menggabungkan realitas

around these new ways to manipulate and synthesize reality,

and on how to fortify the truth

dan bagaimana memperkuat kebenaran

of critical frontline journalists and human-rights defenders.

pada jurnalis garis depan yang kritis dan pembela hak asasi manusia.

Now, one element in that is a deepfakes rapid-response task force,

Sekarang, salah satu elemen di dalamnya adalah gugus tugas reaksi cepat deepfakes,

made up of media-forensics experts

yang terdiri dari pakar media-forensik

and companies who donate their time and skills

dan perusahaan yang menyumbang waktu dan keterampilannya

to debunk deepfakes and claims of deepfakes.

untuk mengungkapkan kebohongan deepfake dan klaim deepfake.

The task force recently received three audio clips,

Belakangan ini, gugus tugas ini menerima tiga klip audio,

from Sudan, West Africa and India.

dari Sudan, Afrika Barat, dan India.

People were claiming that the clips were deepfaked, not real.

Orang-orang mengklaim bahwa klip itu dipalsukan, tidak nyata.

In the Sudan case,

Dalam kasus Sudan,

experts used a machine-learning algorithm

para ahli pakai algoritma pembelajaran mesin

trained on over a million examples of synthetic speech

yang dilatih dengan satu juta contoh ucapan sintetis

to prove, almost without a shadow of a doubt,

untuk membuktikan, hampir tanpa secuil keraguan,

that it was authentic.

bahwa itu asli.

In the West Africa case,

Dalam kasus Afrika Barat,

they couldn't reach a definitive conclusion

mereka tidak dapat mencapai kesimpulan

because of the challenges of analyzing audio from Twitter,

karena tantangan menganalisis audio dari Twitter

and with background noise.

dengan latar belakang kebisingan.

Klip ketiga adalah bocoran audio seorang politisi dari India.

The third clip was leaked audio of a politician from India.

Nilesh Christopher of “Rest of World” brought the case to the task force.

Nilesh Christopher dari “Rest of World” membawa kasus ini ke gugus tugas.

The experts used almost an hour of samples

Para pakar menggunakan sampel hampir satu jam

to develop a personalized model of the politician's authentic voice.

untuk mengembangkan model suara otentik politisi yang dipersonalisasi.

Terlepas dari klaimnya yang keras bahwa itu semua dipalsukan dengan AI,

Despite his loud and fast claims that it was all falsified with AI,

experts concluded that it at least was partially real, not AI.

para ahli menyimpulkan bahwa itu setidaknya sebagian nyata, bukan AI.

As you can see,

Seperti yang Anda lihat,

even experts cannot rapidly and conclusively separate true from false,

bahkan para pakar tidak bisa dengan cepat dan yakin memisahkan benar dari yang salah

and the ease of calling "that's deepfaked" on something real

dan mudahnya menyebut, “Itu deepfake,” pada sesuatu yang nyata

is increasing.

semakin meningkat.

Masa depan penuh dengan tantangan besar,

The future is full of profound challenges,

both in protecting the real and detecting the fake.

baik untuk melindungi yang nyata maupun untuk mendeteksi yang palsu.

We're already seeing the warning signs

Kita sudah melihat tanda peringatan

of this challenge of discerning fact from fiction.

dari tantangan untuk membedakan fakta dari fiksi ini.

Audio and video deepfakes have targeted politicians,

Deepfake audio dan video telah menargetkan politisi,

major political leaders in the EU, Turkey and Mexico,

pemimpin politik utama di Uni Eropa, Turki dan Meksiko,

and US mayoral candidates.

dan kandidat walikota AS.

Political ads are incorporating footage of events that never happened,

Iklan politik menggabungkan rekaman peristiwa yang tak pernah terjadi

and people are sharing AI-generated imagery from crisis zones,

dan orang-orang berbagi citra buatan AI dari zona krisis,

claiming it to be real.

mengklaim itu sebagai hal nyata.

Now, again, this problem is not entirely new.

Sekarang, sekali lagi, masalah ini tidak sepenuhnya baru.

Kolega saya, para pembela hak asasi manusia dan jurnalis

The human-rights defenders and journalists I work with

are used to having their stories dismissed,

sudah terbiasa dengan cerita mereka yang diabaikan

and they're used to widespread, deceptive, shallow fakes,

dan mereka terbiasa dengan pemalsuan masif yang menyesatkan dan dangkal,

videos and images taken from one context or time or place

video dan gambar yang diambil dari satu konteks atau waktu atau tempat

and claimed as if they're in another,

dan diklaim seolah-olah berada di tempat lain,

used to share confusion and spread disinformation.

digunakan untuk menebar kebingungan dan menyebarkan disinformasi.

And of course, we live in a world that is full of partisanship

Dan tentu saja, kita hidup di dunia yang penuh dengan keberpihakan

and plentiful confirmation bias.

dan banyaknya konfirmasi yang bias.

Given all that,

Mengingat semua itu,

the last thing we need is a diminishing baseline

hal terakhir yang kita butuhkan adalah pudarnya batasan

of the shared, trustworthy information upon which democracies thrive,

terkait informasi bersama yang dapat dipercaya tempat berkembangnya demokrasi,

where the specter of AI

di mana momok AI digunakan untuk

is used to plausibly believe things you want to believe,

mempercayai hal yang ingin Anda percayai secara masuk akal

and plausibly deny things you want to ignore.

dan menyangkal hal yang ingin Anda abaikan secara masuk akal.

Namun, menurut saya ada cara mencegah masa depan itu,

But I think there's a way we can prevent that future,

if we act now;

jika kita bertindak sekarang;

that if we "Prepare, Don't Panic,"

bahwa jika kita “Bersiap, Jangan Panik,”

we'll kind of make our way through this somehow.

kita akan melewati krisis ini entah bagaimana.

Panic won't serve us well.

Panik tidak akan membantu kita.

[It] plays into the hands of governments and corporations

Malah akan masuk perangkap pemerintah dan perusahaan

who will abuse our fears,

yang menyalahgunakan ketakutan kita,

dan orang-orang yang menginginkan kebingungan

and into the hands of people who want a fog of confusion

and will use AI as an excuse.

dan akan mengkambinghitamkan AI.

How many people were taken in, just for a minute,

Berapa banyak orang yang percaya, walau sebentar,

by the Pope in his dripped-out puffer jacket?

oleh Paus mengenakan jaket gembung yang menetes?

You can admit it.

Anda bisa mengakuinya.

(Laughter)

(Tawa)

More seriously,

Lebih serius lagi,

berapa banyak orang yang Anda kenal telah ditipu

how many of you know someone who's been scammed

by an audio that sounds like their kid?

oleh audio yang mirip seperti anak mereka?

And for those of you who are thinking "I wasn't taken in,

Dan bagi Anda yang berpikir, “Saya tidak percaya,

I know how to spot a deepfake,"

saya tahu itu deepfake,”

saran apa pun yang Anda ketahui sekarang sudah ketinggalan zaman.

any tip you know now is already outdated.

Deepfakes didn't blink, they do now.

Deepfakes sebelumnya tidak berkedip, kini berkedip.

Hal yang tidak lazim lebih umum terjadi pada deepfake daripada di kehidupan nyata

Six-fingered hands were more common in deepfake land than real life --

not so much.

tidak begitu juga.

Technical advances erase those visible and audible clues

Kemajuan teknis menghapus petunjuk yang terlihat dan terdengar

yang sangat ingin kita pertahankan

that we so desperately want to hang on to

sebagai bukti untuk dapat membedakan hal yang nyata atau palsu.

as proof we can discern real from fake.

But it also really shouldn’t be on us to make that guess without any help.

Tapi seharusnya bukan tanggung jawab kita untuk menentukannya tanpa bantuan apa pun.

Between real deepfakes and claimed deepfakes,

Antara deepfake yang nyata dan yang diklaim,

kita membutuhkan solusi struktural dengan gambaran besar.

we need big-picture, structural solutions.

Kita membutuhkan fondasi kuat

We need robust foundations

that enable us to discern authentic from simulated,

yang memungkinkan kita untuk membedakan keaslian dari simulasi,

tools to fortify the credibility of critical voices and images,

alat untuk memperkuat kredibilitas suara kritis dan gambar yang penting,

and powerful detection technology

dan teknologi deteksi yang kuat

yang tidak menimbulkan lebih banyak keraguan daripada sebelumnya.

that doesn't raise more doubts than it fixes.

There are three steps we need to take to get to that future.

Ada tiga langkah yang perlu diambil untuk mencapainya.

Step one is to ensure that the detection skills and tools

Langkah pertama adalah memastikan bahwa keterampilan dan alat deteksi

are in the hands of the people who need them.

dimiliki oleh orang-orang yang membutuhkannya.

I've talked to hundreds of journalists,

Saya berbicara dengan ratusan jurnalis,

pemimpin komunitas dan pembela hak asasi manusia,

community leaders and human-rights defenders,

dan mereka dalam posisi yang sama dengan Anda, saya dan kita.

and they're in the same boat as you and me and us.

Mereka dengar audionya, berpikir, “Bisakah saya menemukan kesalahan?”

They're listening to the audio, trying to think, "Can I spot a glitch?"

Looking at the image, saying, "Oh, does that look right or not?"

Melihat gambar itu, berkata, “Oh, apakah itu tampak benar atau tidak?”

Or maybe they're going online to find a detector.

Atau mungkin mereka online untuk menemukan detektor.

And the detector they find,

dan detektor yang mereka temukan,

they don't know whether they're getting a false positive, a false negative,

mereka tidak tahu apakah mendapatkan positif palsu, negatif palsu,

atau hasil yang dapat diandalkan.

or a reliable result.

Here's an example.

Berikut ini contohnya.

I used a detector, which got the Pope in the puffer jacket right.

Saya memakai detektor, yang membuat Paus mengenakan jaket gembung dengan benar.

But then, when I put in the Easter bunny image that I made for my kids,

Namun, ketika saya pakai gambar kelinci Paskah yang saya buat untuk anak saya,

dikatakan bahwa itu buatan manusia.

it said that it was human-generated.

This is because of some big challenges in deepfake detection.

Ini karena beberapa masalah besar dalam deteksi deepfake.

Detection tools often only work on one single way to make a deepfake,

Alat deteksi seringkali hanya memiliki satu cara untuk membuat deepfake,

so you need multiple tools,

jadi Anda perlu beberapa alat

and they don't work well on low-quality social media content.

dan mereka tidak bekerja dengan baik pada konten media sosial berkualitas rendah.

Confidence score, 0.76-0.87,

Skor kepercayaan, 0,76-0,87,

bagaimana Anda tahu bahwa itu kredibel,

how do you know whether that's reliable,

if you don't know if the underlying technology is reliable,

jika tidak tahu teknologi yang mendasarinya kredibel

or whether it works on the manipulation that is being used?

atau berfungsi pada teknik manipulasi yang sedang digunakan?

And tools to spot an AI manipulation don't spot a manual edit.

Dan alat untuk menemukan manipulasi AI tidak mengenali pengeditan manual.

These tools also won't be available to everyone.

Alat-alat ini juga tidak akan tersedia untuk semua orang.

There's a trade-off between security and access,

Ada pertukaran antara keamanan dan akses,

which means if we make them available to anyone,

yang berarti jika ini tersedia untuk semua orang,

they become useless to everybody,

akan menjadi tidak berguna bagi siapa pun

because the people designing the new deception techniques

karena orang-orang yang merancang teknik penipuan baru

will test them on the publicly available detectors

akan mengujinya pada detektor yang tersedia untuk umum

and evade them.

untuk menghindarinya.

Namun, kita perlu memastikan alat ini tersedia

But we do need to make sure these are available

to the journalists, the community leaders,

untuk wartawan, pemimpin masyarakat, pejabat pemilu,

the election officials, globally, who are our first line of defense,

secara global, yang merupakan garis pertahanan pertama kita,

thought through with attention to real-world accessibility and use.

dengan pertimbangan matang pada aksesibilitas dan penggunaan dunia nyata.

Though at the best circumstances,

Meskipun pada keadaan terbaik,

detection tools will be 85 to 95 percent effective,

alat deteksi akan bekerja efektif 85 hingga 95 persen,

they have to be in the hands of that first line of defense,

alat ini harus dimiliki oleh garis pertahanan pertama itu,

and they're not, right now.

dan tidak pada saat ini.

So for step one, I've been talking about detection after the fact.

Untuk langkah pertama, saya telah berbicara tentang fakta deteksi.

Step two -- AI is going to be everywhere in our communication,

Langkah kedua, AI akan ada di mana-mana dalam komunikasi kita,

creating, changing, editing.

menciptakan, mengubah, mengedit.

It's not going to be a simple binary of "yes, it's AI" or "phew, it's not."

Ini tidak akan menjadi biner sederhana, “Ya, ini AI,” atau, “Oh, itu bukan.”

AI is part of all of our communication,

AI adalah bagian dari semua komunikasi kita,

so we need to better understand the recipe of what we're consuming.

jadi kita perlu lebih memahami resep dari apa yang kita konsumsi.

Some people call this content provenance and disclosure.

Beberapa orang menyebut ini bukti dan pengungkapan konten.

Para pakar teknologi membangun cara untuk menambahkan cap air yang tak tampak

Technologists have been building ways to add invisible watermarking

to AI-generated media.

ke media yang dihasilkan AI.

They've also been designing ways --

Mereka telah merancang cara --

dan saya bagian dari upaya ini --

and I've been part of these efforts --

dalam standar yang disebut C2PA,

within a standard called the C2PA,

to add cryptographically signed metadata to files.

untuk menambahkan metadata

yang ditandatangani secara kriptografis ke file.

This means data that provides details about the content,

Ini berarti data yang memberikan rincian tentang konten, ditandatangani

cryptographically signed in a way that reinforces our trust

secara kriptografis dengan cara yang memperkuat kepercayaan kita

in that information.

pada informasi itu.

It's an updating record of how AI was used to create or edit it,

Ini adalah catatan pembaruan

tentang bagaimana AI digunakan untuk membuat atau mengeditnya,

where humans and other technologies were involved,

di mana manusia dan teknologi lain terlibat,

and how it was distributed.

dan bagaimana itu didistribusikan.

It's basically a recipe and serving instructions

Ini pada dasarnya adalah resep dan instruksi penyajian

for the mix of AI and human

untuk gabungan AI dan manusia

that's in what you're seeing and hearing.

dalam konteks yang Anda lihat dan dengar.

And it's a critical part of a new AI-infused media literacy.

Dan ini adalah bagian penting dari literasi media baru yang dipadukan AI.

Dan ini seharusnya tidak terdengar terlalu gila.

And this actually shouldn't sound that crazy.

Our communication is moving in this direction already.

Komunikasi kita sudah bergerak ke arah ini.

If you're like me -- you can admit it --

Jika Anda seperti saya, akui saja,

you browse your TikTok “For You” page,

Anda menelusuri halaman “Untuk Anda” TikTok Anda,

and you're used to seeing videos that have an audio source,

dan Anda biasa melihat video

yang memiliki sumber audio, filter AI, layar hijau, latar belakang,

an AI filter, a green screen, a background,

a stitch with another edit.

dengan paduan suntingan lain.

This, in some sense, is the alpha version of this transparency

Dalam beberapa hal, ini adalah versi alfa dari transparansi ini

in some of the major platforms we use today.

di beberapa platform utama saat ini.

It's just that it does not yet travel across the internet,

Hanya saja, ini belum tersebar di internet,

tidak dapat diandalkan, dapat diperbarui, dan tidak aman.

it’s not reliable, updatable, and it’s not secure.

Now, there are also big challenges

Sekarang, ada juga tantangan besar

in this type of infrastructure for authenticity.

dalam jenis infrastruktur ini untuk aspek keaslian.

As we create these durable signs of how AI and human were mixed,

Saat tercipta tanda-tanda yang kuat

tentang bagaimana AI dan manusia bergabung,

that carry across the trajectory of how media is made,

sepanjang aliran tentang bagaimana media dibuat,

we need to ensure they don't compromise privacy or backfire globally.

kita harus pastikan mereka tidak membahayakan privasi

atau menjadi bumerang secara global.

We have to get this right.

Kita harus melakukannya dengan benar.

We can't oblige a citizen journalist filming in a repressive context

Kita tidak bisa membenarkan jurnalis warga yang membuat film dengan konteks represif

or a satirical maker using novel gen-AI tools

atau pembuat satir menggunakan alat Gen-AI baru

untuk memparodikan para penguasa...

to parody the powerful ...

to have to disclose their identity or personally identifiable information

keharusan untuk mengungkapkan identitas atau informasi pribadi

in order to use their camera or ChatGPT.

untuk menggunakan kamera atau ChatGPT mereka.

Because it's important they be able to retain their ability to have anonymity,

Karena penting bagi mereka

untuk mempertahankan kemampuan memiliki anonimitas,

at the same time as the tool to create is transparent.

sekaligus sebagai alat untuk membuatnya transparan.

Ini harus tentang bagaimana hubungan AI dan manusia dalam pembuatan media,

This needs to be about the how of AI-human media making,

not the who.

bukan siapa pelakunya.

This brings me to the final step.

Ini membawa saya ke langkah terakhir.

None of this works without a pipeline of responsibility

Semua ini tidak berfungsi tanpa jalur tanggung jawab

that runs from the foundation models and the open-source projects

yang berjalan dari model dasar dan proyek-proyek sumber terbuka

through to the way that is deployed into systems, APIs and apps,

sampai cara penerapannya ke dalam sistem, API, dan aplikasi,

to the platforms where we consume media and communicate.

hingga ke platform tempat kita mengkonsumsi media dan berkomunikasi.

Saya menghabiskan kebanyakan 15 tahun terakhir

I've spent much of the last 15 years fighting, essentially, a rearguard action,

berjuang, melakukan aksi di barisan belakang,

like so many of my colleagues in the human rights world,

seperti banyak rekan saya di dunia hak asasi manusia,

against the failures of social media.

melawan kegagalan media sosial.

We can't make those mistakes again in this next generation of technology.

Kita tidak bisa membuat kesalahan itu lagi dalam teknologi generasi berikutnya ini.

What this means is that governments

Artinya pemerintah perlu memastikan bahwa dalam jalur tanggung jawab untuk AI ini,

need to ensure that within this pipeline of responsibility for AI,

there is transparency, accountability and liability.

ada transparansi, akuntabilitas, dan tanggung jawab.

Without these three steps --

Tanpa tiga langkah ini --

detection for the people who need it most,

deteksi untuk orang-orang yang paling membutuhkannya,

provenance that is rights-respecting

pembuktian yang menghormati hak asasi manusia,

and that pipeline of responsibility,

dan jalur tanggung jawab itu,

we're going to get stuck looking in vain for the six-fingered hand,

kita akan terjebak dengan sia-sia mencari hal-hal yang tidak lazim

or the eyes that don't blink.

atau mata yang tidak berkedip.

We need to take these steps.

Kita perlu mengambil langkah-langkah ini.

Otherwise, we risk a world where it gets easier and easier

Jika tidak, kita mempertaruhkan dunia di mana semakin mudah

to both fake reality

untuk memalsukan realitas

dan mengabaikan realitas yang di anggap berpotensi palsu.

and dismiss reality as potentially faked.

And that is a world that the political philosopher Hannah Arendt

Itu adalah dunia yang digambarkan oleh filsuf politik Hannah Arendt

described in these terms:

dalam istilah ini:

"A people that no longer can believe anything

“Seseorang yang tidak lagi dapat mempercayai apa pun

cannot make up its own mind.

tidak dapat mengambil keputusan sendiri.

It is deprived not only of its capacity to act

Ia tidak hanya kehilangan kapasitasnya untuk bertindak,

but also of its capacity to think and to judge.

tetapi juga kapasitasnya untuk berpikir dan menilai.

And with such a people you can then do what you please."

Dengan orang seperti itu,

Anda dapat melakukan apa yang Anda mau.”

That's a world I know none of us want,

Saya tahu kita tidak menginginkan dunia seperti itu,

that I think we can prevent.

tetapi saya pikir kita bisa mencegahnya.

Thanks.

Terima kasih.

(Cheers and applause)

(Sorak-sorai dan tepuk tangan)