Fake videos of real people -- and how to spot them | Supasorn Suwajanakorn

תרגום: עריכה: zeeva livshitz

Look at these images.

הסתכלו על התמונות האלו.

Now, tell me which Obama here is real.

ואמרו לי: איזה אובמה כאן הוא האמיתי?

(Video) Barack Obama: To help families refinance their homes,

(סרטון ברק אובמה: לעזור למשפחות לממן מחדש את בתיהן,

to invest in things like high-tech manufacturing,

להשקיע בדברים כמו תעשיות היי-טק,

clean energy

אנרגיה נקייה

and the infrastructure that creates good new jobs.

ותשתיות שמייצרות מקומות עבודה חדשים ואיכותיים.

Supasorn Suwajanakorn: Anyone?

סופאסורן סוואיאנאקורן: מישהו?

The answer is none of them.

התשובה היא: אף סרטון.

(Laughter)

(צחוק)

None of these is actually real.

אף אחד מהסירטונים אינו אמיתי.

אז הרשו לי לספר לכם איך הגענו לכאן.

So let me tell you how we got here.

My inspiration for this work

ההשראה שלי למחקר הזה

was a project meant to preserve our last chance for learning about the Holocaust

היתה פרויקט שנועד לשמר את האפשרות האחרונה שלנו ללמוד על השואה

from the survivors.

מהניצולים.

It's called New Dimensions in Testimony,

הוא נקרא “מימדים חדשים בעדות“,

and it allows you to have interactive conversations

והוא מאפשר לכם לנהל שיחות אינטרקטיביות

with a hologram of a real Holocaust survivor.

עם הולוגרמה של ניצול שואה אמיתי.

(Video) Man: How did you survive the Holocaust?

(סרטון) איש: איך שרדת את השואה?

(Video) Hologram: How did I survive?

(סרטון) הולוגרמה: איך שרדתי?

I survived,

שרדתי,

I believe,

אני מאמין,

because providence watched over me.

שההשגחה העליונה שמרה עלי.

SS: Turns out these answers were prerecorded in a studio.

ס.ס: מסתבר שתשובות אלו הוקלטו מראש בסטודיו.

Yet the effect is astounding.

בכל זאת האפקט מדהים.

You feel so connected to his story and to him as a person.

אתם מרגישים כל כך מחוברים לסיפור שלו ואליו כמספר.

אני חושב שיש משהו מיוחד בתקשורת אנושית

I think there's something special about human interaction

that makes it much more profound

שהופך אותה להרבה יותר עמוקה

and personal

ואישית

than what books or lectures or movies could ever teach us.

יותר ממה שספרים או הרצאות או סרטים יוכלו אי פעם ללמד אותנו.

So I saw this and began to wonder,

אז ראיתי את זה והתחלתי לתהות,

can we create a model like this for anyone?

האם נוכל ליצור מודל כזה לכל אחד?

A model that looks, talks and acts just like them?

מודל שנראה, מדבר, ומתנהג בדיוק כמוהם?

So I set out to see if this could be done

אז יצאתי לבדוק אם ניתן לעשות את זה

and eventually came up with a new solution

ולבסוף מצאתי פתרון חדש

that can build a model of a person using nothing but these:

שמאפשר בניית מודל ע“י שימוש רק באלה:

existing photos and videos of a person.

תמונות קיימות וסרטונים של אדם.

If you can leverage this kind of passive information,

אם תוכלו למנף סוג כזה של מידע פסיבי,

just photos and video that are out there,

פשוט תמונות וסרטונים שאפשר למצוא שם,

that's the key to scaling to anyone.

זה המפתח להתאים את זה לכל אחד.

By the way, here's Richard Feynman,

דרך אגב, זה ריצ'רד פיינמן,

who in addition to being a Nobel Prize winner in physics

שבנוסף להיותו זוכה פרס נובל בפיזיקה

was also known as a legendary teacher.

היה ידוע גם כמורה מדהים,

Wouldn't it be great if we could bring him back

האם לא יהיה זה נפלא, לו יכולנו להחזיר אותו

to give his lectures and inspire millions of kids,

כדי שילמד את ההרצאות שלו ויעניק השראה למיליוני ילדים,

perhaps not just in English but in any language?

אולי לא רק באנגלית אלא בכל שפה? או לו יכולנו

Or if you could ask our grandparents for advice and hear those comforting words

להתייעץ עם הסבים והסבתות שלנו, ולשמוע את אותן מילים מנחמות

even if they're no longer with us?

גם אם הם כבר לא איתנו?

Or maybe using this tool, book authors, alive or not,

או שאולי בעזרת הכלי הזה סופרים חיים או מתים,

could read aloud all of their books for anyone interested.

יקריאו בקול את כל הספרים שלהם, לכל מי שרוצה.

The creative possibilities here are endless,

האפשרויות היצירתיות כאן הן אינסופיות,

and to me, that's very exciting.

ובשבילי, זה מאוד מרגש.

And here's how it's working so far.

והנה איך זה עובד עד כה.

First, we introduce a new technique

קודם כל, הפעלנו טכניקה חדשה

that can reconstruct a high-detailed 3D face model from any image

שיכולה לשחזר מכל תמונה, מודל תלת מימדי מפורט של פנים,

without ever 3D-scanning the person.

מבלי שסרקנו בתלת מימד את האדם עצמו.

And here's the same output model from different views.

והנה אותה ההולוגרמה מזוויות אחרות.

This also works on videos,

זה עובד גם בסרטונים,

by running the same algorithm on each video frame

ע“י הפעלת אותו אלגוריתם בכל חַלּוֹנִית וידאו

and generating a moving 3D model.

ויצירת מודל תלת מימדי נע.

And here's the same output model from different angles.

והנה אותו פלט מודל מזוויות אחרות.

It turns out this problem is very challenging,

מסתבר שהבעיה הזו מאוד מאתגרת,

but the key trick is that we are going to analyze

אבל מה שחשוב פה הוא, שאנחנו ננתח

a large photo collection of the person beforehand.

לפני כן.הרבה מאוד תמונות של האדם

For George W. Bush, we can just search on Google,

תמונות של ג‘ורג’ וו′ בוש, אנחנו פשוט נחפש בגוגל,

and from that, we are able to build an average model,

ומהן אנחנו יכולים לבנות מודל סביר.

an iterative, refined model to recover the expression

מודל מעודן חוזר ונשנה, כדי לקבל את ההבעה

in fine details, like creases and wrinkles.

בפרטי פרטים, כמו קמטי הבעה וגיל.

What's fascinating about this

מה שמרתק בזה

is that the photo collection can come from your typical photos.

הוא שהתמונות יכולות להגיע מכל אוסף תמונות רגיל.

It doesn't really matter what expression you're making

זה לא באמת משנה מהי ההבעה שתציגו

or where you took those photos.

או מאיפה לקחתם את התמונות.

What matters is that there are a lot of them.

מה שחשוב זה שיהיו הרבה מהן.

And we are still missing color here,

ועדיין חסר לנו צבע כאן,

so next, we develop a new blending technique

אז לאחר מכן פיתחנו טכניקה לערבוב צבעים

that improves upon a single averaging method

שמשתפרת תוך כדי שימוש רגיל

and produces sharp facial textures and colors.

ויוצרת במדויק תווי פנים, מרקם וצבעים.

And this can be done for any expression.

וזה יכול להיעשות לכל הבעה.

Now we have a control of a model of a person,

עכשיו, כשיש לנו שליטה על מודל של אדם

והאופן בו הוא נשלט כעת הוא ע“י שימוש ברצף תמונות.

and the way it's controlled now is by a sequence of static photos.

Notice how the wrinkles come and go, depending on the expression.

שימו לב איך הקמטים מופיעים ונעלמים בהתאם להבעה.

We can also use a video to drive the model.

אנחנו יכולים גם להשתמש בוידאו כדי להפעיל את הדגם.

(Video) Daniel Craig: Right, but somehow,

(בוידאו) דניאל קרייג: נכון, אבל איכשהו,

we've managed to attract some more amazing people.

הצלחנו למשוך עוד כמה אנשים מדהימים.

SS: And here's another fun demo.

ס.ס: והנה עוד הדגמה כיפית.

So what you see here are controllable models

אז מה שאתם רואים כאן הם דגמים ניתנים לשליטה

of people I built from their internet photos.

של אנשים שיצרתי מתמונות שלהם באינטרנט.

Now, if you transfer the motion from the input video,

אם תעבירו את התנועה מקלט הוידאו,

we can actually drive the entire party.

אנחנו יכולים להפעיל את כל החבורה.

George W. Bush: It's a difficult bill to pass,

ג'ורג' וו. בוש: זהו חוק קשה להעברה,

because there's a lot of moving parts,

כי ישנם הרבה חלקים נעים,

and the legislative processes can be ugly.

והתהליכים החוקתיים יכולים להיות מכוערים.

(Applause)

(מחיאות כפיים)

SS: So coming back a little bit,

ס.ס: אם נחזור מעט אחורה,

our ultimate goal, rather, is to capture their mannerisms

המטרה הסופית שלנו, היא בעצם לתפוס את ההבעות שלהם

or the unique way each of these people talks and smiles.

או את הדרך הייחודית בה כל אחד מהאנשים האלה מדבר ומחייך.

So to do that, can we actually teach the computer

כדי לעשות זאת, האם אנחנו יכולים ללמד את המחשב

to imitate the way someone talks

לחקות את האופן בו מישהו מדבר

by only showing it video footage of the person?

רק באמצעות הצגה של צילומי וידאו של אותו אדם?

And what I did exactly was, I let a computer watch

ומה שעשיתי בדיוק, נתתי למחשב לצפות

14 hours of pure Barack Obama giving addresses.

במשך 14 שעות של נאומים של ברק אובמה.

And here's what we can produce given only his audio.

והנה מה שאנחנו יכולים להפיק רק באמצעות האודיו.

(Video) BO: The results are clear.

(וידאו) ב.א: התוצאות ברורות.

America's businesses have created 14.5 million new jobs

העסקים באמריקה יצרו 14.5 מיליון מקומות עבודה חדשים

over 75 straight months.

במשך 75 חודשים רצופים.

SS: So what's being synthesized here is only the mouth region,

ס.ס: אז הדבר היחיד שמסונתז כאן זה אזור הפה,

and here's how we do it.

וכך אנחנו עושים את זה.

Our pipeline uses a neural network

המסלול שלנו משתמש ברשת נוירונית

to convert and input audio into these mouth points.

כדי להמיר ולקלוט יחידות אודיו לנקודות הפה האלה.

(Video) BO: We get it through our job or through Medicare or Medicaid.

(וידאו) ב.א: אנחנו משיגים את זה באמצעות העבודה שלנו או באמצעות מדיקייר או מדיקייד.

SS: Then we synthesize the texture, enhance details and teeth,

ס.ס: אז אנחנו מסנתזים את הטקסטורה, מעצימים פרטים ושיניים,

and blend it into the head and background from a source video.

ומשלבים הכל לתוך הראש ולרקע מוידאו המקור.

(Video) BO: Women can get free checkups,

(וידאו) ב.א: נשים יכולות לקבל בדיקות חינם,

and you can't get charged more just for being a woman.

ואי אפשר לגבות ממך יותר, פשוט כי את אישה.

Young people can stay on a parent's plan until they turn 26.

אנשים צעירים יכולים להישאר על התכנית של ההורה עד לגיל 26.

SS: I think these results seem very realistic and intriguing,

ס.ס: אני חושב שהתוצאות האלה נראות מאוד אמיתיות ומאתגרות,

but at the same time frightening, even to me.

אבל באותו זמן הן מפחידות, אפילו אותי.

Our goal was to build an accurate model of a person, not to misrepresent them.

המטרה שלנו היתה לבנות מודל מדויק של אדם לא להציג אותו באופן שגוי.

But one thing that concerns me is its potential for misuse.

אבל אחד הדברים שמדאיגים אותי זה הפוטנציאל לשימוש לרעה.

People have been thinking about this problem for a long time,

אנשים חושבים על הבעיה הזו כבר זמן רב.

since the days when Photoshop first hit the market.

מאז הימים בהם פוטושופ רק הגיע לשוק.

As a researcher, I'm also working on countermeasure technology,

כחוקר, אני עובד גם על טכנולוגיה מפקחת,

and I'm part of an ongoing effort at AI Foundation,

ואני חלק מפרויקט מתמשך ב-אי.איי פאונדיישן,

which uses a combination of machine learning and human moderators

שמשתמשת בשילוב של למידת מכונה ופיקוח אנושי

to detect fake images and videos,

כדי לגלות סרטוני וידאו ותמונות מזויפות,

fighting against my own work.

בלחימה נגד העבודה שלי ממש.

And one of the tools we plan to release is called Reality Defender,

ואחד הכלים שאנחנו מתכננים להוציא נקרא: “מגן מציאות“,

which is a web-browser plug-in that can flag potentially fake content

שהוא חיבור רכיב לדפדפן שיכול להתריע על אפשרות של תוכן מזויף

automatically, right in the browser.

באופן אוטומטי, ממש בדפדפן.

(Applause)

(מחיאות כפיים)

Despite all this, though,

למרות כל זה,

fake videos could do a lot of damage,

קטעי וידאו מזויפים יכולים לגרום נזק רב,

even before anyone has a chance to verify,

אפילו לפני שישנה למישהו אפשרות לאמת אותם,

so it's very important that we make everyone aware

אז ממש חשוב שכולם יהיו מודעים

of what's currently possible

למה שאפשרי עכשיו

so we can have the right assumption and be critical about what we see.

כך שיהיו לנו את ההנחות הנכונות ונהיה ביקורתיים כלפי מה שאנחנו רואים.

There's still a long way to go before we can fully model individual people

ישנה עדיין דרך ארוכה לפני שנוכל לדגום אנשים באופן מלא

and before we can ensure the safety of this technology.

ולפני שנוכל לוודא שהטכנולוגיה הזו בטוחה.

But I'm excited and hopeful,

אבל אני נרגש ומלא תקווה,

because if we use it right and carefully,

כי אם נשתמש בה באופן נכון ובזהירות,

this tool can allow any individual's positive impact on the world

הכלי הזה יוכל לאפשר להגביר את ההשפעה החיובית שיש לכל אחד בעולם.

to be massively scaled

בקנה מידה גדול

and really help shape our future the way we want it to be.

ויוכל לעזור לנו לעצב את עתידנו בדרך בה נרצה.

Thank you.

תודה רבה.

(Applause)

(מחיאות כפיים)