Fake videos of real people -- and how to spot them | Supasorn Suwajanakorn

Translator: Bagus Ramadhan Reviewer: Made Pramana

Lihatlah gambar-gambar ini.

Sekarang, katakan pada saya manakah Obama yang asli.

(Video) BO: Untuk membantu para keluarga membiayai rumahnya,

untuk berinvestasi pada manufaktur teknologi tinggi,

Look at these images.

energi bersih

Now, tell me which Obama here is real.

dan infrastruktur yang menciptakan pekerjaan baru yang layak.

(Video) Barack Obama: To help families refinance their homes,

SS: Ada yang tahu?

to invest in things like high-tech manufacturing,

Jawabannya tidak satupun adalah asli.

(Tertawa)

clean energy

Tidak ada satupun adalah asli.

and the infrastructure that creates good new jobs.

Saya akan ceritakan bagaimana kami bisa sampai sini.

Supasorn Suwajanakorn: Anyone?

Inspirasi saya untuk pekerjaan ini

The answer is none of them.

adalah proyek untuk menjaga kesempatan terakhir untul belajar tentang Holocaust

(Laughter)

None of these is actually real.

So let me tell you how we got here.

dari para penyintas.

My inspiration for this work

Proyek itu disebut New Dimensions in Testimony,

was a project meant to preserve our last chance for learning about the Holocaust

dan itu membuatmu bisa berbincang secara interaktif

from the survivors.

dengan hologram dari para penyintas Holocaust asli.

It's called New Dimensions in Testimony,

(Video) Pria: Bagaimana Anda bertahan dari Holocaust?

and it allows you to have interactive conversations

(Video) Hologram: Bagaimana saya bertahan?

Saya bertahan,

with a hologram of a real Holocaust survivor.

saya percaya,

(Video) Man: How did you survive the Holocaust?

karena takdir melihat saya.

(Video) Hologram: How did I survive?

I survived,

SS: Jawaban-jawaban ini direkam di sebuah studio.

I believe,

Tapi dampaknya sangat mengagumkan.

because providence watched over me.

Kamu merasa terhubung dengan cerita ini dan kepadanya sebagai seseorang.

SS: Turns out these answers were prerecorded in a studio.

Saya pikir ada sesuatu yang spesial tentang interaksi manusia

Yet the effect is astounding.

yang membuatnya menjadi lebih intim

You feel so connected to his story and to him as a person.

dan personal

dibanding apa yang buku atau kuliah atau film yang bisa ajarkan pada kita.

I think there's something special about human interaction

that makes it much more profound

Jadi saya melihatnya dan mulai membayangkan,

and personal

bisakah kita menciptakan model seperti ini untuk semua orang?

than what books or lectures or movies could ever teach us.

Sebuah model yang terlihat, berbicara, dan bertindak seperti mereka?

So I saw this and began to wonder,

Jadi saya mencoba apakah bisa dilakukan

can we create a model like this for anyone?

dan ternyata menemukan solusi yang baru

A model that looks, talks and acts just like them?

yang membangun sebuah replika seseorang tanpa apa pun kecuali:

So I set out to see if this could be done

foto dan video yang sudah ada dari seseorang.

and eventually came up with a new solution

Jika Anda memanfaatkan informasi pasif seperti ini,

that can build a model of a person using nothing but these:

hanya foto dan video yang ada di sana,

itu adalah kunci untuk mengembangkan ke semua orang.

existing photos and videos of a person.

Ini adalah Richard Feynman,

If you can leverage this kind of passive information,

yang menjadi pemenang hadiah Nobel di bidang fisika

just photos and video that are out there,

juga dikenal sebagai seorang guru legendaris.

that's the key to scaling to anyone.

By the way, here's Richard Feynman,

Bukankah hebat jika kita bisa membawanya kembali

who in addition to being a Nobel Prize winner in physics

untuk memberi kuliahnya dan menginspirasi jutaan anak-anak,

was also known as a legendary teacher.

mungkin tidak hanya dalam bahasa Inggris, tapi dalam bahasa apa pun?

Wouldn't it be great if we could bring him back

Atau jika Anda bisa tanya kakek-nenek kita untuk nasihat

to give his lectures and inspire millions of kids,

dan mendengar kata-kata menenangkan mereka

perhaps not just in English but in any language?

meskipun mereka tidak lagi bersama kita?

Atau mungkin menggunakan alat ini, penulis buku, hidup atau meninggal,

Or if you could ask our grandparents for advice and hear those comforting words

bisa membaca lantang seluruh bukunya, sehingga banyak orang tertarik.

even if they're no longer with us?

Kemungkinan kreatifnya tidak terbatas,

Or maybe using this tool, book authors, alive or not,

dan bagi saya, itu sangat menarik.

could read aloud all of their books for anyone interested.

Dan ini adalah cara kerjanya sejauh ini.

Pertama, kita perkenalkan teknik baru

The creative possibilities here are endless,

yang bisa merekonstruksi sebuah model wajah 3D sangat detil dari gambar apa pun

and to me, that's very exciting.

And here's how it's working so far.

tanpa memindai 3D orang tersebut.

First, we introduce a new technique

Dan ini adalah model output serupa dari sudut yang berbeda.

that can reconstruct a high-detailed 3D face model from any image

Ini juga bisa untuk video,

without ever 3D-scanning the person.

dengan menjalankan algoritma yang sama pada setiap frame video

And here's the same output model from different views.

dan menghasilkan model 3D bergerak.

Dan ini adalah model keluaran yang sama dari sudut berbeda.

This also works on videos,

by running the same algorithm on each video frame

Ternyata masalah ini sangat menantang,

and generating a moving 3D model.

tapi triknya adalah bagaimana kita mulai menganalisa

And here's the same output model from different angles.

sebuah koleksi foto seseorang yang banyak.

It turns out this problem is very challenging,

Untuk George W. Bush, kita bisa mencarinya di Google,

but the key trick is that we are going to analyze

dan dari sana, kita bisa membangun model rata-rata,

a large photo collection of the person beforehand.

dan mengembangkan model halus untuk memulihkan ekspresinya

For George W. Bush, we can just search on Google,

dalam detil yang cukup, seperti lipatan dan kerutan.

and from that, we are able to build an average model,

Itulah yang menarik dari hal ini

an iterative, refined model to recover the expression

adalah koleksi fotonya bisa berasal dari foto Anda yang biasa.

in fine details, like creases and wrinkles.

Tidak peduli seperti apa ekspresi yang Anda lakukan

atau di Anda kamu mengambil foto itu.

What's fascinating about this

is that the photo collection can come from your typical photos.

Hal pentingnya adalah jumlahnya banyak.

Dan di sini kita kehilangan warna,

It doesn't really matter what expression you're making

lalu, kami kembangkan teknik mencampur warna baru

or where you took those photos.

yang semakin baik setiap metode tunggal

What matters is that there are a lot of them.

dan memproduksi tekstur wajah dan warna yang tajam.

And we are still missing color here,

so next, we develop a new blending technique

Dan ini bisa dilakukan untuk ekspresi apa pun.

that improves upon a single averaging method

Sekarang kita memiliki kendali pada model seseorang,

and produces sharp facial textures and colors.

dan cara mengendalikannya adalah dengan rangkaian foto-foto statis.

And this can be done for any expression.

Perhatikan bagaimana kerut muncul dan pergi, sesuai ekspresinya.

Now we have a control of a model of a person,

Kami juga menggunakan video untuk mengembangkan modelnya.

and the way it's controlled now is by a sequence of static photos.

(Video) Daniel Craig: Benar, tapi bagaimana pun,

Notice how the wrinkles come and go, depending on the expression.

kami berhasil menarik perhatian orang-orang menakjubkan.

We can also use a video to drive the model.

SS: Dan Ini beberapa demo yang seru.

(Video) Daniel Craig: Right, but somehow,

Jadi yang Anda lihat ini adalah yang bisa diatur

we've managed to attract some more amazing people.

yang saya buat dengan menggunakan foto internetnya.

Sekarang, jika Anda pindahkan gerakannya dari video masukan,

SS: And here's another fun demo.

kita bisa mengendalikan keseluruhan.

So what you see here are controllable models

of people I built from their internet photos.

G. W. Bush: Ini perundangan yang sulit lolos,

karena ada banyak bagian yang terlibat,

Now, if you transfer the motion from the input video,

dan proses legislasinya bisa sangat buruk.

we can actually drive the entire party.

George W. Bush: It's a difficult bill to pass,

(Tepuk tangan)

because there's a lot of moving parts,

SS: Jadi kembali sedikit,

and the legislative processes can be ugly.

tujuan tertinggi kami, adalah untuk mengabadikan lagak

atau kebiasaan unik orang-orang ini berbicara dan tersenyum.

(Applause)

SS: So coming back a little bit,

Untuk melakukannya, bisakah kami mengajari komputer

our ultimate goal, rather, is to capture their mannerisms

untuk meniru cara seseorang berbicara

hanya dengan menunjukkannya video orang itu?

or the unique way each of these people talks and smiles.

Dan yang saya lakukan adalah, saya biarkan dia menonton

So to do that, can we actually teach the computer

to imitate the way someone talks

rekaman Barack Obama berpidato 14 jam.

by only showing it video footage of the person?

Dan inilah yang kami berhasil buat dengan hanya menggunakan audionya.

And what I did exactly was, I let a computer watch

(Video) BO: Hasilnya jelas.

14 hours of pure Barack Obama giving addresses.

Bisnis di Amerika telah menciptakan 14,5 juta pekerjaan

And here's what we can produce given only his audio.

selama 75 bulan berturut-turut.

(Video) BO: The results are clear.

SS: Jadi yang dihasilkan di sini adalah hanya mulutnya saja,

America's businesses have created 14.5 million new jobs

dan ini cara kami melakukannya.

Kami menggunakan jaringan neural

over 75 straight months.

untuk mengubah dan mengisi audio ke dalam titik-titik mulut.

SS: So what's being synthesized here is only the mouth region,

(Video) BO: Kami melakukannya melalui pekerjaan

and here's how we do it.

Our pipeline uses a neural network

atau melalui Medicare atau Medicaid.

to convert and input audio into these mouth points.

SS: Kemudian kami ciptakan teksturnya, meningkatkan detil dan gigi,

dan menyatukannya dengan kepala dan latar dari sumber video.

(Video) BO: We get it through our job or through Medicare or Medicaid.

BO: Perempuan bisa periksa medis gratis,

SS: Then we synthesize the texture, enhance details and teeth,

dan kamu tidak ditagih lebih hanya karena sebagai perempuan.

and blend it into the head and background from a source video.

Orang muda bisa bersama asuransi orang tua sampai mereka berusia 26.

(Video) BO: Women can get free checkups,

SS: Saya pikir hasil ini terlihat sangat nyata dan meyakinkan,

and you can't get charged more just for being a woman.

tapi mengerikan di saat yang bersamaan, bahkan bagi saya.

Young people can stay on a parent's plan until they turn 26.

Tujuan kami untuk membangun model akurat dari seseorang,

SS: I think these results seem very realistic and intriguing,

bukan untuk menyesatkan.

Namun hal yang jadi perhatian saya adalah potensi penyalahgunaannya.

but at the same time frightening, even to me.

Our goal was to build an accurate model of a person, not to misrepresent them.

Orang telah berpikir soal masalah ini sejak lama,

sejak hari di mana Photoshop diluncurkan.

But one thing that concerns me is its potential for misuse.

Sebagai seorang peneliti, saya juga bekerja untuk teknologi penangkalnya,

People have been thinking about this problem for a long time,

dan saya bagian dari usaha penangkal itu di AI Foundation,

since the days when Photoshop first hit the market.

yang menggunakan kombinasi pemelajaran mesin dan moderasi manusia

As a researcher, I'm also working on countermeasure technology,

untuk mendeteksi gambar dan video palsu,

and I'm part of an ongoing effort at AI Foundation,

bertarung melawan pekerjaan saya sendiri.

which uses a combination of machine learning and human moderators

Dan satu alat yang rencananya kami luncurkan bernama Reality Defender,

yang merupakan tambahan peramban situs yang bisa menandai konten palsu

to detect fake images and videos,

fighting against my own work.

secara otomatis, langsung dari peramban.

And one of the tools we plan to release is called Reality Defender,

(Tepuk tangan)

which is a web-browser plug-in that can flag potentially fake content

Meski begitu,

automatically, right in the browser.

video palsu punya dampak negatif besar,

bahkan sebelum seseorang bisa memverifikasi,

(Applause)

jadi sangat penting untuk membuat semua orang sadar

Despite all this, though,

bahwa apa yang saat ini terjadi

fake videos could do a lot of damage,

jadi kami bisa memberi asumsi yang tepat dan kritis tentang yang kita lihat.

even before anyone has a chance to verify,

so it's very important that we make everyone aware

Masih panjang untuk kita bisa membuat model seseorang sepenuhnya

of what's currently possible

so we can have the right assumption and be critical about what we see.

dan sebelum kita bisa memastikan keamanan teknologi ini.

There's still a long way to go before we can fully model individual people

Tetapi saya bersemangat dan penuh harapan,

karena jika kita menggunakannya dengan benar dan berhati-hati,

and before we can ensure the safety of this technology.

alat ini bisa membuat dampak positif seseorang pada dunia

But I'm excited and hopeful,

because if we use it right and carefully,

dalam skala yang lebih besar

dan bisa membangun masa depan sesuai yang kita inginkan.

this tool can allow any individual's positive impact on the world

Terima kasih.

(Tepuk tangan)

to be massively scaled

and really help shape our future the way we want it to be.

Thank you.

(Applause)