Rana el Kaliouby: This app knows how you feel — from the look on your face

מתרגם: Zeeva Livshitz מבקר: Ido Dekkers

Our emotions influence every aspect of our lives,

הרגשות שלנו משפיעים על כל היבט של חיינו,

from our health and how we learn, to how we do business and make decisions,

מהבריאות שלנו, ואיך אנו לומדים, עושים עסקים ומקבלים החלטות,

big ones and small.

גדולות וקטנות.

Our emotions also influence how we connect with one another.

הרגשות שלנו משפיעים גם על הדרך בה אנו מתחברים זה לזה.

We've evolved to live in a world like this,

התפתחנו לחיות בעולם כמו זה,

but instead, we're living more and more of our lives like this --

אך במקום זאת, אנו חיים את חיינו יותר ויותר כך -

this is the text message from my daughter last night --

זוהי הודעת הטקסט מהבת שלי אתמול בלילה --

in a world that's devoid of emotion.

בעולם נטול רגש.

So I'm on a mission to change that.

אז אני במשימה לשנות זאת.

I want to bring emotions back into our digital experiences.

אני רוצה להחזיר את הרגשות לחוויות הדיגיטליות שלנו.

I started on this path 15 years ago.

התחלתי בדרך זו לפני 15 שנים

I was a computer scientist in Egypt,

הייתי מדעית מחשב במצרים,

and I had just gotten accepted to a Ph.D. program at Cambridge University.

ובדיוק התקבלתי לתכנית דוקטורט באוניברסיטת קיימברידג'.

So I did something quite unusual

אז עשיתי משהו יוצא דופן

for a young newlywed Muslim Egyptian wife:

לאישה מוסלמית צעירה ונשואה טרייה:

With the support of my husband, who had to stay in Egypt,

עם תמיכה של בעלי שנאלץ להישאר במצרים,

I packed my bags and I moved to England.

ארזתי את חפציי ועברתי לאנגליה.

At Cambridge, thousands of miles away from home,

בקיימברידג', אלפי קילומטרים הרחק מהבית,

I realized I was spending more hours with my laptop

נוכחתי שאני מבזבזת יותר שעות עם המחשב הנישא שלי

than I did with any other human.

מאשר עם כל בן אדם אחר.

Yet despite this intimacy, my laptop had absolutely no idea how I was feeling.

ועל אף האינטימיות, למחשב לא היה כל מושג איך אני מרגישה

It had no idea if I was happy,

לא היה לו מושג אם הייתי מאושרת

having a bad day, or stressed, confused,

היה לי יום גרוע, או לחוץ, מבולבל,

and so that got frustrating.

וכך זה נעשה מתסכל.

Even worse, as I communicated online with my family back home,

אפילו גרוע יותר, כשהתקשרתי עם משפחתי באינטרנט

I felt that all my emotions disappeared in cyberspace.

הרגשתי שכל הרגשות שלי נעלמו במרחב הקיברנטי.

I was homesick, I was lonely, and on some days I was actually crying,

התגעגעתי הביתה, הייתי בודדה, ולמשך כמה ימים ממש בכיתי,

but all I had to communicate these emotions was this.

אבל כל מה שהיה לי כדי להעביר את הרגשות האלו היה זה.

(Laughter)

(צחוק)

Today's technology has lots of I.Q., but no E.Q.;

לטכנולוגיה של היום יש הרבה I.Q., אבל לא E.Q .;

lots of cognitive intelligence, but no emotional intelligence.

המון אינטליגנציה קוגניטיבית, אבל אין אינטליגנציה רגשית.

So that got me thinking,

כך שזה גרם לי לחשוב,

what if our technology could sense our emotions?

מה אם הטכנולוגיה שלנו יכלה לחוש את הרגשות שלנו?

What if our devices could sense how we felt and reacted accordingly,

מה אם המכשירים שלנו יכלו לחוש איך הרגשנו והיו מגיבים בהתאם,

just the way an emotionally intelligent friend would?

כמו באופן בו חבר אינטליגנטי רגשית היה מרגיש?

Those questions led me and my team

שאלות אלו הנחו אותי ואת הצוות שלי

to create technologies that can read and respond to our emotions,

ליצור טכנולוגיות שיכולות לקרוא את הרגשות שלנו, ולהגיב להם.

and our starting point was the human face.

ונקודת המוצא שלנו הייתה הפנים האנושיות.

So our human face happens to be one of the most powerful channels

אז הפנים האנושיות שלנו הן אחד מהערוצים החזקים ביותר

that we all use to communicate social and emotional states,

שכולנו משתמשים בהן כדי לתקשר מצבים חברתיים ורגשיים,

everything from enjoyment, surprise,

הכל מהנאה, הפתעה

empathy and curiosity.

אמפתיה וסקרנות.

In emotion science, we call each facial muscle movement an action unit.

במדע הרגשות, אנחנו קוראים לכל תנועת שרירי פנים יחידת פעולה.

So for example, action unit 12,

כך למשל, יחידת פעולה 12,

it's not a Hollywood blockbuster,

זה לא שובר קופות הוליוודי,

it is actually a lip corner pull, which is the main component of a smile.

זו למעשה משיכה של פינת שפה, שמהווה את המרכיב העיקרי של חיוך.

Try it everybody. Let's get some smiles going on.

נסו את זה לכולם. בואו ונעלה כמה חיוכים.

Another example is action unit 4. It's the brow furrow.

דוגמה נוספת היא יחידת פעולה 4. היא כיווץ המצח.

It's when you draw your eyebrows together

זה כאשר אתם מושכים את הגבות שלכם יחד

and you create all these textures and wrinkles.

ואתם יוצרים את כל המרקמים והקמטים האלה.

We don't like them, but it's a strong indicator of a negative emotion.

אנחנו לא אוהבים אותם, אבל זו אינדיקציה חזקה של רגש שלילי.

So we have about 45 of these action units,

אז יש לנו כ -45 יחידות פעולה כאלו,

and they combine to express hundreds of emotions.

והן משתלבות להביע מאות רגשות.

Teaching a computer to read these facial emotions is hard,

קשה ללמד מחשב לקרוא את הבעות הפנים האלו,

because these action units, they can be fast, they're subtle,

כי יחידות פעולה אלה, הן יכולות להיות מהירות, הן עדינות,

and they combine in many different ways.

והן משתלבות בהרבה אופנים.

So take, for example, the smile and the smirk.

אז קחו לדוגמה, חיוך רגיל וגיחוך.

They look somewhat similar, but they mean very different things.

הם נראים זהים, אבל משמעותם שונה לחלוטין.

(Laughter)

(צחוק)

So the smile is positive,

אז החיוך הוא חיובי,

a smirk is often negative.

הגיחוך הוא לעתים קרובות שלילי.

Sometimes a smirk can make you become famous.

לפעמים גיחוך יכול לגרום לכם להיות מפורסמים

But seriously, it's important for a computer to be able

אבל ברצינות, זה חשוב שמחשב יהיה מסוגל

to tell the difference between the two expressions.

להצביע על ההבדל בין שתי ההבעות.

So how do we do that?

אז איך אנחנו עושים את זה?

We give our algorithms

אנחנו נותנים לאלגוריתמים שלנו

tens of thousands of examples of people we know to be smiling,

עשרות אלפי דוגמאות של אנשים שאנחנו מכירים כמחייכים,

from different ethnicities, ages, genders,

ממוצאים אתניים, גילים, ומגדרים שונים,

and we do the same for smirks.

ואנחנו עושים את אותו הדבר עבור גיחוכים.

And then, using deep learning,

ולאחר מכן, באמצעות למידה עמוקה

the algorithm looks for all these textures and wrinkles

האלגוריתם מחפש את כל המרקמים והקמטים האלו

and shape changes on our face,

וצורות שינוי על פנינו,

and basically learns that all smiles have common characteristics,

ובעצם לומד שלכל החיוכים יש מאפיינים משותפים,

all smirks have subtly different characteristics.

לכל הגיחוכים יש מאפיינים מעודנים שונים.

And the next time it sees a new face,

ובפעם הבאה שהוא רואה פנים חדשות,

it essentially learns that

הוא בעצם לומד

this face has the same characteristics of a smile,

שלפנים אלו יש אותם מאפיינים של חיוך,

and it says, "Aha, I recognize this. This is a smile expression."

והוא אומר, "אהה, אני מכיר את זה. זו הבעת חיוך. "

So the best way to demonstrate how this technology works

לכן הדרך הטובה ביותר להדגים איך הטכנולוגיה הזו עובדת

is to try a live demo,

היא לנסות תוכנית הדגמה חיה,

so I need a volunteer, preferably somebody with a face.

אז אני צריכה מתנדב, רצוי מישהו עם פנים.

(Laughter)

(צחוק)

Cloe's going to be our volunteer today.

קלואי הולכת להיות המתנדבת שלנו היום

So over the past five years, we've moved from being a research project at MIT

אז בחמש השנים האחרונות, עברנו מלהיות פרויקט מחקר ב- MIT

to a company,

לחברה,

where my team has worked really hard to make this technology work,

שבה הקבוצה שלי עבדה ממש קשה כדי לגרום לטכנולוגיה הזו לעבוד,

as we like to say, in the wild.

כמו שאנחנו אוהבים לומר, בטבע.

And we've also shrunk it so that the core emotion engine

וגם כיווצנו זאת כדי שליבת מנוע הרגש

works on any mobile device with a camera, like this iPad.

עובדת על כל מכשיר נייד עם מצלמה, כמו האייפד הזה.

So let's give this a try.

אז בואו וננסה את זה.

As you can see, the algorithm has essentially found Cloe's face,

כפי שתוכלו לראות, האלגוריתם בעצם מצא את פניה של קלואי,

so it's this white bounding box,

אז זוהי התיבה התוחמת הלבנה הזה,

and it's tracking the main feature points on her face,

והיא עוקבת אחר נקודות האפיון המרכזיים של פניה,

so her eyebrows, her eyes, her mouth and her nose.

אז גבותיה, עיניה, פיה ואפה.

The question is, can it recognize her expression?

השאלה היא, האם זה יכול לזהות את הבעתה?

So we're going to test the machine.

אז אנחנו הולכים לבחון את המכונה

So first of all, give me your poker face. Yep, awesome. (Laughter)

אז קודם כל, תני לי את פני הפוקר שלך. כן, מדהים. (צחוק)

And then as she smiles, this is a genuine smile, it's great.

ואז כשהיא מחייכת, זה חיוך אמיתי, זה נהדר.

So you can see the green bar go up as she smiles.

אז אתם יכולים לראות את הפס הירוק עולה כשהיא מחייכת.

Now that was a big smile.

עכשיו זה היה חיוך גדול.

Can you try a subtle smile to see if the computer can recognize?

את יכולה לנסות לחייך חיוך עדין כדי לראות אם המחשב יכול לזהות?

It does recognize subtle smiles as well.

הוא מזהה גם חיוכים עדינים.

We've worked really hard to make that happen.

עבדנו ממש קשים כדי שזה יקרה.

And then eyebrow raised, indicator of surprise.

ולאחר מכן גבה מורמת, שמצביעה של הפתעה.

Brow furrow, which is an indicator of confusion.

כיווץ מצח שמצביע על מבוכה.

Frown. Yes, perfect.

זעף. כן, מושלם.

So these are all the different action units. There's many more of them.

אז אלה הם כל יחידות הפעולה השונות. יש עוד מהן.

This is just a slimmed-down demo.

זו תכנית הדגמה מצומקת.

But we call each reading an emotion data point,

אבל אנחנו קוראים לכל קריאה נקודת נתוני רגש,

and then they can fire together to portray different emotions.

ואז הן יכולות "לירות" יחד כדי לתאר רגשות שונים.

So on the right side of the demo -- look like you're happy.

אז בצד ימין של ההדגמה - נראה כאילו שאתם שמחים

So that's joy. Joy fires up.

אז זו שמחה. השמחה "יורה."

And then give me a disgust face.

ואז תני לי הבעת גועל

Try to remember what it was like when Zayn left One Direction.

נסי להיזכר איך זה היה כשזאיין עזב בכיוון אחד.

(Laughter)

(צחוק)

Yeah, wrinkle your nose. Awesome.

כן, קמטי את האף שלך. מדהים.

And the valence is actually quite negative, so you must have been a big fan.

והערכיות היא למעשה שלילית למדי, אז כנראה שאת מעריצה גדולה.

So valence is how positive or negative an experience is,

אז ערכיות היא המידה עד כמה החוויה היא חיובית או שלילית,

and engagement is how expressive she is as well.

וההתחייבות היא עד כמה היא בעלת הבעה גם כן.

So imagine if Cloe had access to this real-time emotion stream,

אז דמיינו אם לקלואי הייתה גישה לזרם רגש כזה בזמן אמת,

and she could share it with anybody she wanted to.

והיא הייתה יכולה לחלוק את זה עם כל מי שהיא רצתה.

Thank you.

תודה.

(Applause)

(מחיאות כפיים)

So, so far, we have amassed 12 billion of these emotion data points.

אז עד כה, צברנו 12 מיליארד נקודות נתוני רגש אלה.

It's the largest emotion database in the world.

זה מסד נתוני הרגש הגדול ביותר בעולם.

We've collected it from 2.9 million face videos,

אספנו אותם מ-2.9 מיליון קטעי וידאו של פנים.

people who have agreed to share their emotions with us,

אנשים שהסכימו לחלוק את רגשותיהם איתנו,

and from 75 countries around the world.

ומ- 75 מדינות ברחבי העולם.

It's growing every day.

זה הולך וגדל מיום ליום.

It blows my mind away

זה מטריף אותי

that we can now quantify something as personal as our emotions,

שעכשיו אנחנו יכולים לכמת משהו כה אישי כמו הרגשות שלנו,

and we can do it at this scale.

ואנחנו יכולים לעשות את זה בקנה המידה הזה

So what have we learned to date?

אז מה למדנו עד כה?

Gender.

מגדר.

Our data confirms something that you might suspect.

הנתונים שלנו מאשרים משהו שאולי אתם מנחשים.

Women are more expressive than men.

נשים הן יותר בעלות הבעה מגברים.

Not only do they smile more, their smiles last longer,

לא רק שהן מחייכות יותר, החיוכים שלהם נמשכים יותר זמן,

and we can now really quantify what it is that men and women

ואנחנו יכולים עכשיו באמת לכמת מהו הדבר שגברים ונשים

respond to differently.

מגיבים לו באופן שונה.

Let's do culture: So in the United States,

בואו נפנה לתרבות: אז בארצות הברית,

women are 40 percent more expressive than men,

נשים הן ב-40 אחוזים יותר בעלות הבעה מגברים,

but curiously, we don't see any difference in the U.K. between men and women.

אך למרבה הפלא, איננו רואים כל הבדל בבריטניה בין גברים לנשים.

(Laughter)

(צחוק)

Age: People who are 50 years and older

גיל: אנשים שהם בני 50 ומעלה

are 25 percent more emotive than younger people.

הם ב-25% יותר אמוטיבים מאנשים צעירים.

Women in their 20s smile a lot more than men the same age,

נשים בשנות ה -20 שלהן מחייכות הרבה יותר מגברים באותו גיל,

perhaps a necessity for dating.

אולי זה הכרחי להיכרויות.

But perhaps what surprised us the most about this data

אבל אולי מה שהכי הפתיע אותנו בנתונים אלה

is that we happen to be expressive all the time,

זה שאנחנו הבעתיים כל הזמן

even when we are sitting in front of our devices alone,

אפילו כאשר אנו יושבים לבד מול המכשירים שלנו,

and it's not just when we're watching cat videos on Facebook.

וזה לא רק כאשר אנחנו צופים בקטעי וידאו על חתולים בפייסבוק.

We are expressive when we're emailing, texting, shopping online,

אנחנו הבעתיים כאשר אנחנו שולחים דואר אלקטרוני, הודעות SMS, וקניות באינטרנט,

or even doing our taxes.

או אפילו משלמים את המסים שלנו.

Where is this data used today?

איפה משתמשים בנתונים אלה היום?

In understanding how we engage with media,

בהבנת האופן בו אנו עוסקים בתקשורת

so understanding virality and voting behavior;

אז הבנת הוויראליות והרגלי הצבעה;

and also empowering or emotion-enabling technology,

וגם העצמה או טכנולוגיה שמאפשרת רגש,

and I want to share some examples that are especially close to my heart.

ואני רוצה לשתף כמה דוגמאות שקרובות ללבי במיוחד.

Emotion-enabled wearable glasses can help individuals

חבישת משקפיים מאפשרי-רגש יכולים לעזור לאנשים

who are visually impaired read the faces of others,

לקויי ראייה לקרוא את פניהם של אחרים

and it can help individuals on the autism spectrum interpret emotion,

וזה יכול לעזור לאנשים על הספקטרום האוטיסטי לפרש רגש,

something that they really struggle with.

משהו שהם ממש נאבקים איתו.

In education, imagine if your learning apps

בחינוך, דמיינו אם יישומי הלמידה שלכם

sense that you're confused and slow down,

חשים שאתם מבולבלים ואז מאיטים,

or that you're bored, so it's sped up,

או שאתם משועממים, אז הם מאיצים,

just like a great teacher would in a classroom.

כפי שמורה גדול היה נוהג בכיתה.

What if your wristwatch tracked your mood,

מה אם שעון היד שלכם היה עוקב אחר מצב הרוח שלכם,

or your car sensed that you're tired,

או שמכוניתכם הרגישה שאתם עייפים,

or perhaps your fridge knows that you're stressed,

או אולי המקרר שלכם יודע שאתם לחוצים,

so it auto-locks to prevent you from binge eating. (Laughter)

אז הוא ננעל אוטומטית כדי למנוע מכם בולמוס אכילה. (צחוק)

I would like that, yeah.

הייתי אוהבת את זה, כן.

What if, when I was in Cambridge,

מה אם, כשהייתי בקיימברידג ',

I had access to my real-time emotion stream,

הייתה לי גישה לזרם הרגש שלי בזמן אמת,

and I could share that with my family back home in a very natural way,

ויכולתי לחלוק את זה עם משפחתי בבית באופן מאוד טבעי,

just like I would've if we were all in the same room together?

בדיוק כפי שהייתי עושה לו היינו כולנו יחד באותו חדר?

I think five years down the line,

אני חושבת, שחמש שנים מהיום,

all our devices are going to have an emotion chip,

לכל המכשירים שלנו הולך להיות שבב רגש,

and we won't remember what it was like when we couldn't just frown at our device

ולא נזכור איך זה היה כשלא יכולנו פשוט לזעוף על המכשיר שלנו

and our device would say, "Hmm, you didn't like that, did you?"

והמכשיר היה אומר, "הממ, לא אהבת את זה , נכון?"

Our biggest challenge is that there are so many applications of this technology,

האתגר הגדול ביותר שלנו הוא שיש כל כך הרבה יישומים של טכנולוגיה זו,

my team and I realize that we can't build them all ourselves,

הצוות שלי ואני מבינים שאיננו יכולים לבנות את כולם בעצמנו,

so we've made this technology available so that other developers

אז עשינו טכנולוגיה זו זמינה כך שמפתחים אחרים

can get building and get creative.

יוכלו לבנות ולהיות יצירתיים.

We recognize that there are potential risks

אנו מודעים לכך שיש סיכונים פוטנציאליים

and potential for abuse,

ופוטנציאל לשימוש לרעה,

but personally, having spent many years doing this,

אבל באופן אישי, לאחר שביליתי שנים רבות בעשייה של זה,

I believe that the benefits to humanity

אני מאמינה שהיתרונות לאנושות,

from having emotionally intelligent technology

מהשגת טכנולוגיה אינטליגנטית רגשית

far outweigh the potential for misuse.

עולה בהרבה על הפוטנציאל לשימוש לרעה.

And I invite you all to be part of the conversation.

ואני מזמינה את כולכם להיות חלק מהשיחה.

The more people who know about this technology,

ככל שיותר אנשים ידעו על טכנולוגיה זו,

the more we can all have a voice in how it's being used.

יוכל להיות לכולנו קול שיאמר מה יהיה אופן השימוש.

So as more and more of our lives become digital,

כך כשיותר ויותר חלקים מחיינו נעשים דיגיטליים,

we are fighting a losing battle trying to curb our usage of devices

אנו לוחמים מלחמה אבודה בניסיון לרסן את השימוש במכשירים שלנו

in order to reclaim our emotions.

כדי להשיב לעצמנו את הרגשות שלנו.

So what I'm trying to do instead is to bring emotions into our technology

אז מה שאני מנסה לעשות במקום זה הוא להביא רגשות לטכנולוגיה שלנו

and make our technologies more responsive.

ולהפוך את הטכנולוגיה שלנו ליותר מגיבה.

So I want those devices that have separated us

אז אני רוצה שהמכשירים האלה שהפרידו בינינו

to bring us back together.

ישיבו לנו את הביחד.

And by humanizing technology, we have this golden opportunity

ועל ידי האנשת טכנולוגיה, יש לנו הזדמנות פז

to reimagine how we connect with machines,

לשוב ולדמיין כיצד אנו יוצרים קשר עם מכונות

and therefore, how we, as human beings,

ולכן, כיצד אנו, כבני אדם,

connect with one another.

מתחברים אחד עם השני.

Thank you.

תודה.

(Applause)

(מחיאות כפיים)