Haptography: Digitizing our sense of touch - Katherine Kuchenbecker

Translator: Andrea McDonough Reviewer: Morton Bast

תרגום: Shlomo Adam עריכה: Sigal Tifferet

I'm a mechanical engineering professor

אני מרצה להנדסת מכונות

at the University of Pennsylvania,

באוניברסיטת פנסילבניה

and my favorite hobby is photography.

והתחביב האהוב עלי הוא צילום.

And as I travel around the world,

כשאני מטיילת בעולם,

אני אוהבת לצלם תמונות כאלה

I love taking photographs like these,

so I can remember all the beautiful and interesting things

כדי שאוכל לזכור

את כל הדברים היפים והמעניינים שראיתי.

that I've seen.

But what I can't do is record and share

אך מה שאינני יכולה לעשות הוא לתעד ולשתף אחרים

איך הרגשתי כשנגעתי בדברים האלה.

how these objects feel to touch.

And that's kind of surprising,

וזה קצת מפתיע,

because your sense of touch is really important.

כי חוש המישוש הוא ממש חשוב.

It's involved in every physical interaction you do every day,

הוא משתתף בכל אינטראקציה פיזית שלכם, מידי יום,

כל יצירת שינוי,

every manipulation task, anything you do in the world.

כל מה שאתם עושים בעולם.

So the sense of touch is actually pretty interesting.

לכן חוש המישוש הוא בעצם מעניין מאד.

It has two main components.

יש לו שני רכיבים עיקריים.

The first is tactile sensations,

הראשון הוא תחושת המגע,

things you feel in your skin.

מה שאתם חשים על העור.

And the second is kinesthetic sensations.

והשני הוא תחושות התנועה,

This has to do with the position of your body and how it's moving,

וזה קשור במנח הגוף,

כיצד הוא מתנועע,

and the forces you encounter.

והכוחות אותם הוא פוגש.

And you're really good at incorporating

כולכם טובים מאד בשילוב

both of these types of sensations together

שני סוגי התחושות האלה

to understand the physical interactions you have with the world

במגמה להבין את האינטראקציות הפיזיות

שיש לכם עם העולם,

and understand as you touch a surface:

ולהבין, כשאתם נוגעים במשטח כלשהו,

is it a rock, is it a cat, is it a bunny, what is it?

האם זו אבן, האם זה חתול, ארנב? מה זה?

And so, as an engineer,

ולכן, כמהנדסת, זה ממש מרתק אותי

I'm really fascinated

and I have a lot of respect for how good people are with their hands.

ויש לי כבוד רב

לאנשים שמשתמשים היטב בידיהם.

And I'm intrigued and curious

מרתק ומסקרן אותי לדעת

about whether we could make technology better

אם נוכל לשפר את הטכנולוגיה

עד כדי כך שנצליח יותר למנף

by doing a better job at leveraging

the human capability with the sense of touch.

את היכולת האנושית הקשורה בחוש המישוש.

האם אוכל לשפר את הממשק של מחשבים ומכונות

Could I improve the interfaces to computers and machines

בכך שאאפשר לכם לנצל את מגע ידיכם?

by letting you take advantage of your hands?

And indeed, I think we can,

למען האמת, אני חושבת שכן,

and that's at the core of a field called haptics,

וזו התמצית של תחום הקרוי "הפטיקה",

and this is the area that I work in.

וזה התחום בו אני עובדת.

It's all about interactive touch technology.

מדובר בטכנולוגיית מגע הידודית.

And the way it works is,

והאופן בו זה עובד הוא,

as you move your body through the world,

כשאתם מניעים את הגוף במרחב,

if, as an engineer, I can make a system that can measure that motion,

אם אני, כמהנדסת, אוכל ליצור מערכת

שיכולה למדוד תנועה זו,

and then present to you sensations over time

ואחר אעביר לכם במשך זמן מסוים תחושות

that kind of make sense,

שתוכלו להבין,

that match up with what you might feel in the real world,

שמקבילות למה שהייתם עשויים לחוש בעולם האמיתי,

I can fool you into thinking you're touching something

אני יכולה לגרום לכם לחשוב שאתם נוגעים במשהו

אפילו כשאין שם כלום.

even though there's nothing there.

So here are three examples

בסדר. הנה 3 דוגמאות,

and these are all done from research in my lab at Penn.

וכולן נובעות מהמחקר במעבדה שלי באוניברסיטת פנסילבניה.

The first one is all about that same problem that I was showing you:

הראשונה עוסקת

באותה בעיה שהצגתי לכם:

how can we capture how objects feel

איך נוכל ללכוד כיצד עצמים מורגשים

and recreate those experiences?

ולשחזר את החוויות האלה?

So the way we solve this problem

הדרך בה אנו פותרים בעיה זו

is by creating a hand-held tool

היא ע"י יצירת כלי המוחזק ביד

that has many different sensors inside.

שיש בו חיישנים רבים ושונים.

It has a force sensor, so we can tell how hard you're pushing;

יש לו חיישן כוח

כדי שנוכל לקבוע כמה חזק אתם דוחפים,

it has motion tracking, so we can tell exactly where you've moved it;

יש לו מערכת עיקוב תנועה

כדי שנוכל לקבוע במדויק לאן העברתם אותו,

ויש לו חיישן ריטוט,

and it has a vibration sensor, an accelerometer, inside,

מד-תאוצה, בתוכו,

שמזהה את טלטול הכלי בכיוונים שונים

that detects the shaking back and forth of the tool

that lets you know that's a piece of canvas

וזה מאפשר לדעת שמדובר בפיסת בד קנבס

and not a piece of silk or something else.

ולא בפיסת משי או משהו אחר.

Then we take the data we record from these interactions.

ואז אנו לוקחים את הנתונים שהקלטנו

מן האינטראקציות הללו.

Here's ten seconds of data.

אלה 10 שניות של נתונים.

You can see how the vibrations get larger and smaller,

אתם רואים שהריטוטים גדלים וקטנים,

depending on how you move.

לפי אופי התנועה.

And we make a mathematical model of those relationships

ואנו יוצרים מודל מתמטי של היחסים האלה

and program them into a tablet computer

ומתכנתים אותו לתוך מחשב לוח,

so that when you take the stylus

כך שכאשר אתם לוקחים את העט

ונוגעים במסך,

and go and touch the screen,

that voice-coil actuator in the white bracket

הסליל הקולי שבמסגרת הלבנה

plays vibrations to give you the illusion

משמיע ריטוטים שנותנים לכם אשליה

that you're touching the real surface,

כאילו אתם נוגעים במשטח האמיתי

just like if you touched, dragged back and forth, on the real canvas.

ממש כאילו שנגעתם והזזתם לכאן ולשם,

על הקנבס עצמו.

We can create very compelling illusions.

אנו מסוגלים ליצור אשליות משכנעות מאד.

We can do this for all kinds of surfaces and it's really a lot of fun.

אנו מסוגלים לעשות זאת לכל סוגי המשטחים

וזה ממש כיף.

We call it haptography -- haptic photography.

אנו קוראים לזה "הפטוגרפיה",

או צילום מישוש.

And I think it has potential benefits in all sorts of areas

ואני חושבת שיכולה להיות לכך תועלת

בכל מיני תחומים כמו רכישה מקוונת,

like online shopping, maybe interactive museum exhibits,

אולי תצוגות הידודיות במוזיאון,

where you're not supposed to touch the precious artifacts,

שבו אינכם אמורים לגעת בפועל

בפריטים היקרים, ואתם הרי תמיד רוצים בכך.

but you always want to.

The second example I want to tell you about comes from a collaboration I have

הדוגמה השניה שאני רוצה לספר לכם עליה

באה משיתוף פעולה שלי

with Dr. Margrit Maggio at the Penn Dental School.

עם ד"ר מרגיט מאג'יו בביה"ס לרפואת שיניים של "פן".

Part of her job is to teach dental students

חלק מעבודתה הוא ללמד סטודנטים לרפאות שיניים

איך לקבוע היכן בפיו של החולה

how to tell where in a patient's mouth there are cavities.

ישנם חורים.

הם מסתכלים כמובן בצילומי רנטגן,

Of course they look at X-rays,

but a large part of this clinical judgment comes from what they feel

אבל חלק גדול מהשיפוט הקליני שלהם

מגיע ממה שהם מרגישים

when they touch your teeth with a dental explorer.

כשהם נוגעים בשיניכם בעזרת האקספלורר.

זה קרה לכולכם. הרופא עובר על השיניים.

You've all had this happen, they go across.

וכשהוא נוגע הוא בודק אם השן באמת קשה,

What they're feeling for is if the tooth is really hard, then it's healthy,

כלומר בריאה.

but if it's kind of soft and sticky,

אבל אם היא קצת רכה ודביקה,

that's a signal that the enamel is starting to decay.

זה סימן שהאמייל מתחיל להתנוון.

These types of judgments are hard for a new dental student to make,

ושיפוטים כאלה הם קשים לביצוע

עבור סטודנט חדש לרפואת שיניים

because they haven't touched a lot of teeth yet.

כי הוא טרם נגע בשיניים רבות.

And you want them to learn this before they start practicing

וכולנו מעוניינים שהוא ילמד את זה

לפני שיתחיל לעבוד על חולים אמיתיים.

on real human patients.

So what we do is add an accelerometer on to the dental explorer,

אז מה שעשינו הוא להוסיף מד-תאוצה

לאקספלורר

ואז אנו מקליטים את מה שד"ר מאג'יו מרגישה

and then we record what Dr. Maggio feels

כשהיא נוגעת בשיניים שונות שהוצאו מחולים.

as she touches different extracted teeth.

And we can play it back for you as a video

אח"כ אנו יכולים לנגן את זה כסרטון

with a touch track --

עם ערוץ מגע.

not just a sound track, but also a touch track,

כלומר לא רק ערוץ שמע אלא גם ערוץ מגע

that you can feel by holding that repeating tool.

שאפשר להרגיש אותו כשאוחזים בכלי ההשמעה הזה.

מרגישים את כל אותם דברים

You feel the same things the dentist felt when they did the recording,

שרופאת השיניים הרגישה כשביצעה את ההקלטה

and practice making judgments.

ומתאמנים בקבלת החלטות.

הנה דגימה אחת.

So here's a sample one.

Here's a tooth that looks kind of suspicious, right?

הנה שן שנראית קצת חשודה, נכון?

It has all those brown stains.

יש בה כל מיני כתמים חומים,

You might be thinking, "We should definitely put a filling in this tooth."

ואתם ודאי חושבים,

"כן. אין ספק שהיא זקוקה לסתימה."

But if you pay attention to how it feels,

אבל בעצם, כששמים לב כיצד זה מורגש,

all the surfaces of this tooth are hard and healthy,

כל משטחי השן הזו קשים ובריאים

so this patient does not need a filling.

כך שהחולה אינו זקוק לסתימה.

And these are exactly the kind of judgments doctors make every day

וזה בדיוק סוג ההחלטות

שרופאים מקבלים מידי יום

and I think this technology we've invented has a lot of potential

ולדעתי, לטכנולוגיה הזו שהמצאנו

יש המון פוטנציאל בכל מיני דברים

for many different things in medical training, because it's really simple

בתחום ההכשרה הרפואית כי היא ממש פשוטה

ועושה מלאכה מצוינת מבחינת השיחזור

and it does a great job at recreating what people feel through tools.

של מה שאנשים מרגישים כשהם משתמשים בכלי עבודה.

נראה לי שהיא יכולה גם לעזור בהפיכת משחקים

I think it could also help make games more interactive and fun

ליותר הידודיים וכיפיים,

ויותר מציאותיים מבחינת התחושות.

and more realistic in the sensations that you feel.

The last example I want to tell you about is again about human movement.

הדוגמה האחרונה שברצוני לספר לכם עליה

נוגעת שוב לתנועה האנושית.

So if any of you have ever learned sports,

אם מישהו מכם למד ענף ספורט כלשהו,

how do you get good at something like surfing?

למשל, איך להשתפר במשהו כמו גלישה,

You practice.

עליכם להתאמן.

You practice some more and more, right?

אתם מתאמנים עוד ועוד, נכון?

Making small corrections, maybe getting some input from a coach,

מבצעים תיקונים קטנים,

אולי מקבלים הדרכה ממאמן,

learning how to improve your motions.

לומדים איך לשפר את התנועות.

I think we could use computers

לדעתי אנו יכולים להשתמש במחשבים

כדי להפוך את התהליך הזה ליותר יעיל וכיפי.

to help make that process more efficient and more fun.

And so here, for example, if I have six different arm movements

אז הנה, למשל,

אם יש לי שש תנועות זרוע שונות

that I want you to learn,

שברצוני ללמד אתכם,

you come into my lab at Penn and try out our system.

אתם תבואו למעבדה שלי ב"פן"

ותתנסו במערכת שלנו.

We use a Kinect to measure your motions, we show graphics on the screen,

אנו משתמשים ב"קינקט" כדי למדוד את התנועות שלכם,

מציגים נתונים גרפיים על המסך,

and then we also give you touch cues,

ואז גם נותנים לכם את רמזי המגע שלכם,

haptic feedback on your arm,

משוב מישושי, על הזרוע

delivered by these haptic arm bands which have motors inside,

שמועבר דרך רצועות הזרוע ההפטיות האלה,

שיש בתוכן מנועים

and guide you as you move.

והן מנחות אצכם בזמן התנועה.

So, if we put it together,

אז אם נצרף הכל ביחד,

as you're trying to track this motion,

כשאתם מנסים לעקוב אחרי התנועה,

אם אתם חורגים ממנה,

if you deviate -- say, maybe, your arm is a little too high --

למשל אם הזרוע שלכם מעט גבוהה מדי,

אנו מפעילים את המנועים שנוגעים ממש בעור שלכם

we turn on the motors right there on the skin

to let you know you should move down,

כדי להודיע לכם: "הלו, עליך לנוע למטה",

כמעט כמו שמאמן מדריך אתכם בעדינות

almost like a coach gently guiding you

ועוזר לכם להשתלט מהר יותר על התנועות האלה

and helping you master these movements more quickly

ולבצע תיקונים מדויקים יותר.

and make more precise corrections.

We developed this system for use in stroke rehabilitation,

פיתחנו את המערכת הזו לשימוש בשיקום משבץ,

but I think there are a lot of applications,

אך לדעתי יש הרבה יישומים,

למשל, לימוד מחול

like maybe dance training or all sorts of sports training as well.

וגם כל סוגי האימון בענפי ספורט שונים.

So now you know a little bit about the field of haptics,

אז כעת אתם יודעים קצת יותר

על תחום ההפטיקה,

ונראה לי שעוד תשמעו עליו בשנים הבאות.

which I think you'll hear more about in the coming years.

I've shown you three examples.

הראיתי לכם 3 דוגמאות,

ואני רוצה להקדיש עוד רגע

I just want to take a moment

להודות לכל הסטודנטים הנפלאים

to acknowledge the great students who work with me in my lab at Penn

שעבדו לצידי במעבדה ב"פן"

and my collaborators.

ולחברי לצוות.

They're a great group.

זו חבורה נהדרת.

ואני רוצה גם להודות לכם על שהואלתם להקשיב.

I also want to thank you for your kind attention.

[מחיאות כפיים]

(Applause)