When AI Can Fake Reality, Who Can You Trust? | Sam Gregory | TED

תרגום: zeeva livshitz עריכה: aknv tso

It's getting harder, isn't it, to spot real from fake,

נכון שנעשה קשה יותר להבחין בין אמיתי למזויף?

AI-generated from human-generated.

בין מעשה בינה מלאכותית לבין מעשה אדם?

בעזרת בינה מלאכותית יוצרת,

With generative AI,

along with other advances in deep fakery,

לצד פיתוחים אחרים במלאכת הזיוף העמוק,

it doesn't take many seconds of your voice,

די בדגימה קצרה של הקול שלכם,

many images of your face,

ובמספר תמונות של פניכם,

to fake you,

כדי לזייף אתכם,

ובמידה הולכת וגדולה של ריאליזם.

and the realism keeps increasing.

I first started working on deepfakes in 2017,

התחלתי לעבוד לראשונה על דיפ-פייק בשנת 2017,

when the threat to our trust in information was overhyped,

כשהאיום על האמון שלנו במידע תואר בהגזמה,

and the big harm, in reality, was falsified sexual images.

בעוד שהנזק הגדול, במציאות, היו צילומים מיניים מזויפים.

Now that problem keeps growing, harming women and girls worldwide.

כיום, הבעיה הזו ממשיכה לגדול, ופוגעת בנשים ונערות בעולם כולו.

But also, with advances in generative AI, we're now also approaching a world

אבל עם ההתקדמות בבינה מלאכותית היוצרת, אנו מתקרבים כעת גם לעולם

where it's broadly easier to make fake reality,

שבו קל בהרבה ליצור מציאות מזויפת,

but also to dismiss reality as possibly faked.

אך גם לפטור את המציאות עצמה כמזויפת.

Now, deceptive and malicious audiovisual AI

בינה מלאכותית אורקולית מטעה וזדונית

is not the root of our societal problems,

אינה שורש בעיותינו החברתיות,

but it's likely to contribute to them.

אך סביר להניח שהיא תחמיר אותן.

Audio clones are proliferating in a range of electoral contexts.

שיבוטי השמע הולכים ומתרבים במגוון הקשרי בחירות.

"Is it, isn't it" claims cloud human-rights evidence from war zones,

טענות של “זה נכון, לא?” מעמיד בצל הוכחות להפרת זכויות אדם מאזורי מלחמה,

sexual deepfakes target women in public and in private,

זיופים מיניים מטרגטים נשים בפומבי ובאופן פרטי,

and synthetic avatars impersonate news anchors.

ואווטרים מלאכותיים מתחזים למגישי חדשות .

I lead WITNESS.

אני ראש “וויטנס“.

אנו קבוצה להגנת זכויות אדם

We're a human-rights group

that helps people use video and technology to protect and defend their rights.

שעוזרת לאנשים להשתמש בווידאו ובטכנולוגיה כדי לשמור ולהגן על זכויותיהם.

ובחמש השנים האחרונות תיאמנו מאמץ עולמי,

And for the last five years, we've coordinated a global effort,

“להתכונן ולא להיבהל“,

"Prepare, Don't Panic,"

around these new ways to manipulate and synthesize reality,

סביב הדרכים החדשות הללו לתמרן ולסנתז את המציאות,

and on how to fortify the truth

ולבצר את האמת

of critical frontline journalists and human-rights defenders.

של עיתונאים ביקורתיים ומגיני זכויות-אדם שבחזית.

Now, one element in that is a deepfakes rapid-response task force,

מרכיב אחד הוא כוח משימה לתגובה מהירה נגד זיוף עמוק,

made up of media-forensics experts

המורכב ממומחים וחברות לזיהוי פלילי במדיה

and companies who donate their time and skills

שתורמים את זמנם וכישוריהם

to debunk deepfakes and claims of deepfakes.

כדי להפריך זיופים עמוקים וטענות לזיופים עמוקים.

The task force recently received three audio clips,

צוות המשימה קיבל לאחרונה שלושה קטעי שמע,

from Sudan, West Africa and India.

מסודן, מערב אפריקה והודו.

People were claiming that the clips were deepfaked, not real.

הטענה היתה שקטעים הם זיופים עמוקים ולא-אמיתיים.

In the Sudan case,

במקרה של סודן,

experts used a machine-learning algorithm

מומחים השתמשו באלגוריתם למידת מכונה

trained on over a million examples of synthetic speech

שאומן עם למעלה ממיליון דוגמאות של דיבור מלאכותי

to prove, almost without a shadow of a doubt,

כדי להוכיח, כמעט ללא צל של ספק,

that it was authentic.

שהקטע אותנטי.

In the West Africa case,

במקרה של מערב אפריקה,

they couldn't reach a definitive conclusion

הם לא הצליחו להגיע למסקנה חד-משמעית

because of the challenges of analyzing audio from Twitter,

בגלל הקשיים של ניתוח שמע מ“טוויטר”

and with background noise.

כולל רעשי הרקע.

The third clip was leaked audio of a politician from India.

הקטע השלישי הודלף כהקלטה של פוליטיקאי מהודו.

Nilesh Christopher of “Rest of World” brought the case to the task force.

נילש כריסטופר מהאתר “שאר העולם” הביא את המקרה לכוח המשימה.

The experts used almost an hour of samples

המומחים השתמשו כמעט בשעה של דגימות

to develop a personalized model of the politician's authentic voice.

לפיתוח מודל מותאם אישית של קולו המקורי של הפוליטיקאי.

Despite his loud and fast claims that it was all falsified with AI,

למרות טענותיו הקולניות והמהירות שהכל זוייף בבינה מלאכותית,

experts concluded that it at least was partially real, not AI.

המומחים הסיקו שזה אמיתי לפחות חלקית, ולא בינה מלאכותית.

As you can see,

כפי שאתם רואים,

even experts cannot rapidly and conclusively separate true from false,

אפילו מומחים אינם יכולים להבדיל במהירות ובפסקנות בין אמת לשקר,

and the ease of calling "that's deepfaked" on something real

והקלות לתייג משהו אמיתי כ“דיפ-פייק”

is increasing.

הולכת וגוברת.

The future is full of profound challenges,

העתיד מלא באתגרים קשים,

both in protecting the real and detecting the fake.

הן בהגנה על האמיתי והן בגילוי הזיוף.

We're already seeing the warning signs

אנו כבר רואים את סימני האזהרה לאתגר זה

of this challenge of discerning fact from fiction.

של הבחנה בין עובדה לבדיון.

Audio and video deepfakes have targeted politicians,

זיופי שמע ווידאו התמקדו בפוליטיקאים,

major political leaders in the EU, Turkey and Mexico,

מנהיגים פוליטיים חשובים באיחוד האירופי, בטורקיה ובמקסיקו,

and US mayoral candidates.

ובמועמדים לראשות ערים בארה“ב.

Political ads are incorporating footage of events that never happened,

בפרסומים פוליטיים מופיעים צילומים של אירועים שלא התרחשו,

and people are sharing AI-generated imagery from crisis zones,

ואנשים משתפים תמונות תוצרת בינה מלאכותית מאזורי משבר,

claiming it to be real.

בטענה שהן אמיתיות.

Now, again, this problem is not entirely new.

שוב, בעיה זו אינה חדשה לגמרי.

The human-rights defenders and journalists I work with

מגיני זכויות האדם והעיתונאים איתם אני עובד

are used to having their stories dismissed,

רגילים לכך שפוטרים את סיפוריהם,

and they're used to widespread, deceptive, shallow fakes,

והם רגילים לזיופים נרחבים, מטעים, רדודים,

videos and images taken from one context or time or place

לסרטונים ותמונות שצולמו בהקשר או בזמן מסוימים

and claimed as if they're in another,

ושמוצגים בהקשר וזמן אחרים,

used to share confusion and spread disinformation.

שמטרתם לפזר בלבול ולהפיץ מידע מסולף.

And of course, we live in a world that is full of partisanship

וכמובן, אנו חיים בעולם מלא במפלגתיות

and plentiful confirmation bias.

ובשפע של הטיית אישור.

Given all that,

בהינתן כל זה,

the last thing we need is a diminishing baseline

הדבר האחרון שנחוץ לנו הוא התמעטות הבסיס המשותף

of the shared, trustworthy information upon which democracies thrive,

של המידע המופץ והאמין שעליו משגשגות דמוקרטיות,

where the specter of AI

שבו תעתוע הבינה המלאכותית

is used to plausibly believe things you want to believe,

מנוצל כדי שנאמין במידה סבירה בדברים שנרצה להאמין בהם,

and plausibly deny things you want to ignore.

ולהתכחש במידה סבירה לדברים שנרצה להתעלם מהם.

But I think there's a way we can prevent that future,

אבל אני חושב שיש דרך למנוע את העתיד הזה,

if we act now;

אם נפעל עכשיו;

that if we "Prepare, Don't Panic,"

וזה אם “נתכונן ולא ניבהל“,

we'll kind of make our way through this somehow.

נצליח איכשהו לפלס את דרכנו.

Panic won't serve us well.

הבהלה לא תועיל לנו.

[It] plays into the hands of governments and corporations

זה מועיל לממשלות ותאגידים

who will abuse our fears,

שינצלו לרעה את פחדינו,

and into the hands of people who want a fog of confusion

ולאנשים שערפל של בלבול רצוי להם

and will use AI as an excuse.

ושישתמשו בבינה המלאכותית כתירוץ.

How many people were taken in, just for a minute,

כמה אנשים האמינו לרגע,

by the Pope in his dripped-out puffer jacket?

לתמונת האפיפיור במעיל הנפוח שלו? (צחוק)

You can admit it.

אתם יכולים להודות בזה.

(Laughter)

More seriously,

וחמור יותר,

how many of you know someone who's been scammed

כמה מכם מכירים מישהו שנפל קורבן להונאה

by an audio that sounds like their kid?

של קטע שמע שמזכיר את הילד שלו?

And for those of you who are thinking "I wasn't taken in,

ולאלה מכם שחושבים “לא הצליחו לעבוד עלי,

I know how to spot a deepfake,"

“אני יודע לזהות דיפ-פייק“,

any tip you know now is already outdated.

כל טיפ שאתם מכירים כיום כבר מיושן.

Deepfakes didn't blink, they do now.

בזיופים העמוקים לא היו מצמוצים. עכשיו יש בהם.

ידיים עם שש אצבעות היו נפוצות יותר בארץ דיפ-פייק מאשר בחיים האמיתיים --

Six-fingered hands were more common in deepfake land than real life --

not so much.

זה כבר לא כך.

Technical advances erase those visible and audible clues

ההתקדמות הטכנית מוחקת את הרמזים הגלויים והשמיעים

that we so desperately want to hang on to

שאנו כל-כך רוצים להיאחז בהם

כהוכחות לכך שביכולתנו להבחין בין האמיתי למזויף.

as proof we can discern real from fake.

But it also really shouldn’t be on us to make that guess without any help.

אבל אנו גם באמת לא אמורים לעסוק בניחושים בלי שום עזרה.

Between real deepfakes and claimed deepfakes,

בין זיופים עמוקים אמיתיים לבין זיופים עמוקים לכאורה,

אנו זקוקים לפתרונות מבניים שמתחשבים בתמונה המלאה.

we need big-picture, structural solutions.

We need robust foundations

אנו זקוקים ליסודות מוצקים

that enable us to discern authentic from simulated,

שיאפשרו לנו להבחין בין אותנטי לבין מדומה,

tools to fortify the credibility of critical voices and images,

לכלים שיחזקו את אמינותם של קולות ותמונות ביקורתיים,

and powerful detection technology

ולטכנולוגיית זיהוי רבת-עוצמה

that doesn't raise more doubts than it fixes.

שלא מעוררת יותר ספקות מאשר מתקנת.

There are three steps we need to take to get to that future.

יש שלושה שלבים שעלינו לנקוט כדי להגיע לעתיד הזה.

Step one is to ensure that the detection skills and tools

השלב הראשון הוא להבטיח שכישורי ואמצעי הגילוי

are in the hands of the people who need them.

מגיעים לידי מי שזקוקים להם.

I've talked to hundreds of journalists,

שוחחתי עם מאות עיתונאים, מנהיגי קהילה ומגיני זכויות אדם,

community leaders and human-rights defenders,

and they're in the same boat as you and me and us.

והם באותה סירה איתכם ואיתי ואיתנו.

הם מאזינים בקפידה לקטעי שמע ומנסים לחשוב, “האם זה פספוס?”

They're listening to the audio, trying to think, "Can I spot a glitch?"

Looking at the image, saying, "Oh, does that look right or not?"

מסתכלים על התמונה ותוהים, “זה נראה נכון או לא?”

Or maybe they're going online to find a detector.

או שהם נכנסים לאינטרנט כדי למצוא תוכנת זיהוי.

And the detector they find,

ותוכנת הזיהוי שהם מוצאים --

they don't know whether they're getting a false positive, a false negative,

הם לא יודעים אם הם מקבלים תוצאה חיובית שגויה, שלילית שגויה

או תוצאה אמינה.

or a reliable result.

Here's an example.

הנה דוגמה.

I used a detector, which got the Pope in the puffer jacket right.

השתמשתי בתוכנת זיהוי שידעה להלביש נכון את האפיפיור במעיל.

But then, when I put in the Easter bunny image that I made for my kids,

אבל כשהכנסתי את תמונת ארנב הפסחא שהכנתי לילדים שלי,

it said that it was human-generated.

נכתב שהיא נוצרה על ידי אדם.

This is because of some big challenges in deepfake detection.

הסיבה לכך היא כמה קשיים גדולים בזיהוי דיפ-פייק.

Detection tools often only work on one single way to make a deepfake,

כלי זיהוי עובדים לרוב רק על דרך אחת ליצירת דיפ-פייק,

so you need multiple tools,

כך שדרושים מספר כלים,

and they don't work well on low-quality social media content.

והם לא עובדים טוב על תוכן מדיה חברתית באיכות נמוכה.

Confidence score, 0.76-0.87,

דירוג סיווג, 0.76-0.87,

איך יודעים אם זה אמין,

how do you know whether that's reliable,

if you don't know if the underlying technology is reliable,

אם לא יודעים אם הטכנולוגיה הבסיסית אמינה,

or whether it works on the manipulation that is being used?

או אם היא עובדת על המניפולציה שבה נעשה שימוש?

And tools to spot an AI manipulation don't spot a manual edit.

וכלים לאיתור מניפולציות בינה מלאכותית אינם מזהים עריכה ידנית.

These tools also won't be available to everyone.

כלים אלה גם לא יהיו זמינים לכולם.

There's a trade-off between security and access,

יש פשרה בין אבטחה לגישה,

which means if we make them available to anyone,

מה שאומר שאם נהפוך אותם לזמינים לכולם,

they become useless to everybody,

הם ייעשו חסרי-תועלת לכולם,

because the people designing the new deception techniques

כי האנשים שמתכננים את טכניקות ההונאה החדשות

יבדקו אותם בתוכנות הזיהוי הזמינות לציבור ויעקפו אותן.

will test them on the publicly available detectors

and evade them.

אבל עלינו בהחלט לוודא שהן תהיינה זמינות

But we do need to make sure these are available

to the journalists, the community leaders,

לעיתונאים, למנהיגי הקהילה,

the election officials, globally, who are our first line of defense,

לפקידי הבחירות בעולם כולו, שהם קו ההגנה הראשון שלנו,

thought through with attention to real-world accessibility and use.

תוכנות שנבנו תוך תשומת לב לנגישות ולשימוש בעולם האמיתי.

Though at the best circumstances,

למרות שבנסיבות הטובות ביותר,

detection tools will be 85 to 95 percent effective,

כלי הגילוי יהיו יעילים ב-85 עד 95 אחוזים,

they have to be in the hands of that first line of defense,

עליהם להימצא בידי קו ההגנה הראשון,

and they're not, right now.

וכרגע, הם לא.

So for step one, I've been talking about detection after the fact.

אז בשלב הראשון דיברתי על גילוי לאחר מעשה.

Step two -- AI is going to be everywhere in our communication,

השלב השני -- הבינה המלאכותית תגיע לכל מקום בתקשורת שלנו,

creating, changing, editing.

היא תיצור, תשנה, תערוך.

It's not going to be a simple binary of "yes, it's AI" or "phew, it's not."

לא יהיה זיהוי בינארי פשוט של “כן, זה בינה מלאכותית” או “מזל שזה לא.”

AI is part of all of our communication,

הבינה המלאכותית היא חלק מכל התקשורת שלנו,

so we need to better understand the recipe of what we're consuming.

ולכן עלינו להבין טוב יותר את המתכון של מה שאנו צורכים.

Some people call this content provenance and disclosure.

יש אנשים שקוראים לזה “זיהוי מקור של תוכן וחשיפתו“.

Technologists have been building ways to add invisible watermarking

טכנולוגים כבר בונים דרכים להוסיף סימני-מים סמויים

to AI-generated media.

למדיה שנוצרה ע"י בינה מלאכותית.

They've also been designing ways --

הם גם תכננו דרכים -- ואני השתתפתי במאמצים אלה--

and I've been part of these efforts --

במסגרת תקן בשם C2PA,

within a standard called the C2PA,

to add cryptographically signed metadata to files.

להוסיף לקבצים נתוני-על חתומים בהצפנה.

This means data that provides details about the content,

כלומר, נתונים שמספקים פרטים על התוכן,

cryptographically signed in a way that reinforces our trust

חתומים בצורה מוצפנת

באופן שמחזק את האמון שלנו במידע זה.

in that information.

It's an updating record of how AI was used to create or edit it,

זהו תיעוד מתעדכן של אופן השימוש בבינה מלאכותית ביצירתו או בעריכתו,

where humans and other technologies were involved,

איפה היו מעורבים בני אדם וטכנולוגיות אחרות

and how it was distributed.

וכיצד הוא הופץ.

It's basically a recipe and serving instructions

זהו בעצם מתכון והוראות הגשה

for the mix of AI and human

לתערובת של בינה מלאכותית ואדם שנמצאת במה שאתם רואים ושומעים.

that's in what you're seeing and hearing.

And it's a critical part of a new AI-infused media literacy.

וזהו חלק קריטי באוריינות של מדיה חדשה ששולבה בה בינה מלאכותית.

And this actually shouldn't sound that crazy.

וזה בעצם לא אמור להישמע כל-כך מטורף.

Our communication is moving in this direction already.

התקשורת שלנו כבר מתקדמת לשם.

If you're like me -- you can admit it --

אם אתם כמוני -- אתם יכולים להודות בזה --

you browse your TikTok “For You” page,

אתם גולשים ב“טיקטוק” בעמוד “בשבילכם”

and you're used to seeing videos that have an audio source,

ואתם רגילים לראות סרטונים שיש להם מקור שמע,

an AI filter, a green screen, a background,

מסנן בינה מלאכותית, מסך ירוק, רקע,

a stitch with another edit.

תפר עם עריכה אחרת.

This, in some sense, is the alpha version of this transparency

זוהי, במובן מסוים, גרסת האלפא של שקיפות זו

in some of the major platforms we use today.

בכמה מהפלטפורמות העיקריות בהן אנו משתמשים כיום.

It's just that it does not yet travel across the internet,

זה רק לא מסתובב עדיין ברחבי האינטרנט,

it’s not reliable, updatable, and it’s not secure.

זה לא אמין, זה לא בר-עדכון וזה לא מאובטח.

Now, there are also big challenges

ישנם גם אתגרים גדולים

in this type of infrastructure for authenticity.

בסוג זה של תשתית לאותנטיות.

As we create these durable signs of how AI and human were mixed,

כשאנו יוצרים את הסימנים העמידים האלה לתערובת הבינה המלאכותית ואדם,

that carry across the trajectory of how media is made,

שמשולבים בכל מסלול יצירת המדיה החדשה,

we need to ensure they don't compromise privacy or backfire globally.

עלינו להבטיח שהם לא יפגעו בפרטיות או יפעלו כבומרנג ברחבי העולם.

We have to get this right.

עלינו לעשות את זה נכון.

We can't oblige a citizen journalist filming in a repressive context

איננו יכולים לחייב עיתונאי אזרחי שמצלם אירועי דיכוי,

or a satirical maker using novel gen-AI tools

או יוצר סאטירי שמשתמש בכלים חדשניים של בינה מלאכותית יוצרת

to parody the powerful ...

כדי ללגלג על החזקים,

to have to disclose their identity or personally identifiable information

לחשוף את זהותם או את המידע המזהה האישי שלהם

in order to use their camera or ChatGPT.

כדי שיוכלו להשתמש במצלמה או בצ‘ט ג’י-פי-טי.

Because it's important they be able to retain their ability to have anonymity,

כי חשוב שהם יוכלו לשמור על אלמוניות,

at the same time as the tool to create is transparent.

במקביל לשקיפות הכלי בו הם יוצרים.

This needs to be about the how of AI-human media making,

העיקר צריך להיות ה“איך” ביצירת המדיה של בינה מלאכותית-אדם,

not the who.

ולא ה“מי“.

This brings me to the final step.

זה מביא אותי לשלב האחרון.

None of this works without a pipeline of responsibility

כל זה לא עובד ללא מדרג אחריות

that runs from the foundation models and the open-source projects

החל מהמודלים הבסיסיים ומיזמי הקוד הפתוח

through to the way that is deployed into systems, APIs and apps,

דרך אופן היישום במערכות, בממשקי התכנות ובאפליקציות,

to the platforms where we consume media and communicate.

ועד לפלטפורמות שבהן אנו צורכים מדיה ומתקשרים.

I've spent much of the last 15 years fighting, essentially, a rearguard action,

את רוב 15 השנים האחרונות הקדשתי בעצם למאבק כחלק ממשמר אחורי,

like so many of my colleagues in the human rights world,

כמו רבים כל-כך מעמיתי בעולם זכויות האדם,

against the failures of social media.

נגד הכישלונות של המדיה החברתית.

We can't make those mistakes again in this next generation of technology.

איננו יכולים לחזור על הטעויות האלה בדור הבא של הטכנולוגיה.

What this means is that governments

המשמעות היא שהממשלות צריכות להבטיח

need to ensure that within this pipeline of responsibility for AI,

שכחלק ממדרג האחריות הזה לבינה המלאכותית,

there is transparency, accountability and liability.

יהיו שקיפות, דין וחשבון ואחריות.

Without these three steps --

ללא שלושת השלבים האלה --

detection for the people who need it most,

זיהוי, עבור מי שהכי זקוקים לכך,

provenance that is rights-respecting

מקורות, שמכבדים זכויות

and that pipeline of responsibility,

ומדרג אחריות זה,

we're going to get stuck looking in vain for the six-fingered hand,

ניתקע בחיפוש סתמי אחר ידיים עם שש אצבעות,

או עיניים שלא ממצמצות.

or the eyes that don't blink.

We need to take these steps.

עלינו לנקוט צעדים האלה.

Otherwise, we risk a world where it gets easier and easier

אחרת, אנו מסתכנים בעולם שבו נהיה קל יותר ויותר

to both fake reality

לזייף את המציאות

and dismiss reality as potentially faked.

וגם לפטור את המציאות כמזויפת בפוטנציאל.

And that is a world that the political philosopher Hannah Arendt

וזהו עולם שהפילוסופית הפוליטית חנה ארנדט תיארה במונחים אלה:

described in these terms:

"A people that no longer can believe anything

“עם שכבר לא יכול להאמין לדבר

cannot make up its own mind.

“לא יכול לקבל החלטות בעצמו.

It is deprived not only of its capacity to act

“נשללת ממנו לא רק היכולת לפעול

but also of its capacity to think and to judge.

“אלא גם יכולתו לחשוב ולשפוט.

And with such a people you can then do what you please."

“ועם כזה הוא כחומר ביד היוצר“.

That's a world I know none of us want,

זהו עולם שאני יודע שאיש מאיתנו לא רוצה בו,

that I think we can prevent.

ואני חושב שנוכל למנוע אותו.

Thanks.

תודה.

(Cheers and applause)

(תרועות ומחיאות כפיים)