Haptography: Digitizing our sense of touch - Katherine Kuchenbecker

Translator: Andrea McDonough Reviewer: Morton Bast

Translator: rewas nadr Reviewer: Daban Q. Jaff

I'm a mechanical engineering professor

من پرۆفیسۆری ئەندازیاری میکانیکیم

at the University of Pennsylvania,

لە زانكۆی پەنسلڤینیا،

and my favorite hobby is photography.

وە ئارەزو و ئاواتم وێنەگرتنە.

And as I travel around the world,

وە کاتێک گەشتدەکەم بە جیهاندا

I love taking photographs like these,

حەزم لە وێنەگرتنی ئەم جۆرەیە،

so I can remember all the beautiful and interesting things

بۆیە دەتوانم هەمووشتەجوانو سەرنجراكێشەكانم بیربێتەوە

that I've seen.

كە بینیومە.

But what I can't do is record and share

بەڵام ئەوەی من ناتوانم بیکەم تۆماركردنو هاوبەشیكردنە

how these objects feel to touch.

کە چۆن ئەم ئامانجانە هەست یان دەستیان لێ دەدەین.

And that's kind of surprising,

وە ئەمە شتێکی زۆر سەرسوڕهێنەرە

because your sense of touch is really important.

چونکە هەستی دەست لێدانت زۆر گرنگە

It's involved in every physical interaction you do every day,

لە هەموو جەستەیەک تێوەگلاوە هەموو ڕۆژێک کارلێک کە دەیکەیت

every manipulation task, anything you do in the world.

هەمووئەرکێکی دەستکاریکردن شتێک لەجیهاند ئەنجامی دەدەین

So the sense of touch is actually pretty interesting.

کەواتە هەستی دەست لێدان لەڕاستیدا زۆر سەرنج ڕاکێشە

It has two main components.

دوو پێکهاتەی سەرەکی هەیە

The first is tactile sensations,

یەکەمیان هەستێکی بێ تایتە

things you feel in your skin.

ئەو شتانەی کە لە پێستتدا هەستی پێ دەکەیت

And the second is kinesthetic sensations.

وە دووەمیشیان هەستێکی هەستبەجوانییە

This has to do with the position of your body and how it's moving,

ئه مه ش ده بێت به بەشەوەی كە لە جەستەت چۆن دەجوڵێت

and the forces you encounter.

وەئەوهێزانەی تۆ ڕوبەڕویان دەبیەوە

And you're really good at incorporating

وە تۆ زۆر باشی لە یەکگرتنی

both of these types of sensations together

هەردوو جۆری ئەم جۆرە هەستانە پێکەوە

to understand the physical interactions you have with the world

بۆ تێگەیشتن لە کارلێککردنی جەستەیی تۆ لەگەڵ جیهاندا هەتە

and understand as you touch a surface:

وە تێبگەیت کە دەست لە ڕوویەک ئەدەیت

is it a rock, is it a cat, is it a bunny, what is it?

ئەوە بەردێکە، پشیلەیە ئەوە بەنییە، چییە؟

And so, as an engineer,

وە وەک ئەندازیارێک

I'm really fascinated

من بەڕاستی سەرنج ڕاکێشم

and I have a lot of respect for how good people are with their hands.

وە ڕێزێکی زۆرم هەیە کە خەڵکی باش بە دەستی ئەوانن

And I'm intrigued and curious

وە من بە تێهەڵچویو بە پرسیار

about whether we could make technology better

دەربارەی ئەوەی ئایا دەتوانین تەکنەلۆجیا باشتر بکەین

by doing a better job at leveraging

ئەنجامدان كاری باشترلە كاریگەركردن

the human capability with the sense of touch.

توانای مرۆڤ لەگەڵ هەستی دەست لێدان

Could I improve the interfaces to computers and machines

ئایا دەتوانم ڕووکارەکان باشتر بکەم بۆ کۆمپیوتەر و ئامێرەکان

by letting you take advantage of your hands?

بە ڕێگەدان بە تۆ سود لە دەستەکانت ببینی؟

And indeed, I think we can,

وە بەڕاستی، وابزانم دەتوانین

and that's at the core of a field called haptics,

وە ئەوە لە ناواخنی لە کێڵگەیەک بەناوی هاپتیک

and this is the area that I work in.

وە ئەمەئەناوچەیەیەکە من كاری لێدەكەم

It's all about interactive touch technology.

هەمووی دەربارەی كارلێكردنی تەكنەلۆجیای دەستلێدان

And the way it works is,

وە شێوەی کارکردنی

as you move your body through the world,

كاتێك بەناو جیهاندا دەڕۆیت،

if, as an engineer, I can make a system that can measure that motion,

ئەگەر وەک ئەندازیارێک بتوانم سیستەمێک دروستبكەم ئەم سیستەمە بپێوێ

and then present to you sensations over time

ئەوا دواتر هەستەكان پێشبینی دەكەم بە تێپەربونی كات

that kind of make sense,

ئەو جۆرەش مانایەکی هەیە،

that match up with what you might feel in the real world,

كە تۆ هەستی پێدەكەیت لە جیهانی ڕاستەقینەدا،

I can fool you into thinking you're touching something

دەتوانم لە بیرکردنەوەدا گێلت بکەم كە دەست لەشتێك دەدەی

even though there's nothing there.

هەرچەندە هیچ شتێک لەوێ نییە.

So here are three examples

کەواتە ئەمە سێ نموونەن

and these are all done from research in my lab at Penn.

وە ئەمانە هەمووی تەواو بوون لە لێکۆڵینەوەلە تاقیگەکەم لە پێن

The first one is all about that same problem that I was showing you:

ئەوەی یەكەمیان هەمووی شتێكەدەربارەی هەمان ئەوكێشانەی كە پێشانتادەدەم:

how can we capture how objects feel

چۆن دەتوانین هەست بەو شتانە بكەین

and recreate those experiences?

وە ئەو ئەزموونانە دروست بکەیت؟

So the way we solve this problem

کەواتەبەو شێوەیەی ئێمە كێشەكە چارەسەردەكەین

is by creating a hand-held tool

بە دروستکردنی ئامرازێکی دەستی

that has many different sensors inside.

کە چەندین هەستەوەری جیاوازی هتێدایە

It has a force sensor, so we can tell how hard you're pushing;

هەستەوەری هێزی هەیە، بۆیە دەتوانین بڵێین چەند بە سەختی پاڵت پێوە ناوە

it has motion tracking, so we can tell exactly where you've moved it;

شوێنەواری جووڵەی هەیە،بۆیە دەتوانین بڵێین ڕێک لەو شوێنەوەگواستراوەتەوە

and it has a vibration sensor, an accelerometer, inside,

وە هەستەوەری لەرینەوە لەباویدا

that detects the shaking back and forth of the tool

كە لەرزەكە لە پشتو پاشی ئامێرەكە دەدۆزرێتەوە

that lets you know that's a piece of canvas

ڕێگەتپێ دەدات بزانی ئەوە پارچەیێكە لەقوماش

and not a piece of silk or something else.

وە نەک پارچەیەک ئاوریشم و شتی تر.

Then we take the data we record from these interactions.

دواتر ئەو داتایە وەرئەگرتنی لەم کارلێکەرانە.

Here's ten seconds of data.

ئەمە دە چرکەی داتایە

You can see how the vibrations get larger and smaller,

دەتوانی ببینی چۆن لەرینەكان گەورەتروبچوكتر دەبن،

depending on how you move.

بەپشت بەستن بە چۆنیەتی جوڵاندن.

And we make a mathematical model of those relationships

وە ئێمە بیركاریانە مۆدێلی ئەوپەیوەندیانە دروستدەكەین

and program them into a tablet computer

وە بەرنامەی تابلێتی كۆمپیتەریان بۆ دادەنێین

so that when you take the stylus

بۆ ئەوەی کاتێک کەستلۆکەکە دەبەیت

and go and touch the screen,

دەست لە شاشەكە بدەی

that voice-coil actuator in the white bracket

دەنگی ئاکتۆویتە لە کەوانەی سپی

plays vibrations to give you the illusion

ئیشی لەرینەوە دەکات بۆ ئەوەی خەیاڵت پێبدات

that you're touching the real surface,

کە دەست لە ڕووی ڕاستیەوە ئەدەیت

just like if you touched, dragged back and forth, on the real canvas.

وەک ئەوەی كە دەستت لێدا، ڕاتبكئشێتە سەر تابلۆیێكی ڕاستەقینە.

We can create very compelling illusions.

دەتوانین وەهمێکی زۆرناچارکەر دروست بکەین

We can do this for all kinds of surfaces and it's really a lot of fun.

دەتوانین ئەمە بۆ هەموو جۆرە ڕوویەک بکەین وە بەڕاستی زۆر خۆشە

We call it haptography -- haptic photography.

ئێمە پێی دەڵێین هاپتۆگرافی وێنەگرتنی هاپتی.

And I think it has potential benefits in all sorts of areas

وە پێم وایە دەتوانرێ سودی لێوەربگیرێ لە هەموو ناوچەكان

like online shopping, maybe interactive museum exhibits,

وەک بازاڕکردنی سەرهێڵ لەوانە پێشانگای مۆزەخانەی کارلێکەر

where you're not supposed to touch the precious artifacts,

كە تۆ وابیر ناكەیەوە بۆ دەستدان لە كەلوپەلە بەنرخەكان

but you always want to.

بەڵام هەمیشە دەتەوێت

The second example I want to tell you about comes from a collaboration I have

دووەم نموونە کە دەمەوێت پێتان بڵێم دەربارەی هاوکارییەک کە هەمانە

with Dr. Margrit Maggio at the Penn Dental School.

لەگەڵ دکتۆر مارگریت ماگیۆ لە قوتابخانەی ددانی پێن

Part of her job is to teach dental students

بەشێک لە کارەکەی فێركردنی خوێندکارانی ددانە

how to tell where in a patient's mouth there are cavities.

چۆن بزانن لە کوێ دەمی نەخۆشێک کەونەوی هەیە.

Of course they look at X-rays,

بێگومان سەیری تیشکی ئێکس دەکەن

but a large part of this clinical judgment comes from what they feel

بەڵام بەشێکی زۆری ئەم حوکمدانە پزیشکیە لەوەوە دێت کە هەستیان پێ دەکەن

when they touch your teeth with a dental explorer.

کاتێک دەست لە ددانەکانت بدەن لەگەڵ پزیشكی ددان

You've all had this happen, they go across.

هەمووتان ئەوەتان بەسەره هاتو كەئەچنە ئەودیو

What they're feeling for is if the tooth is really hard, then it's healthy,

ئەوەی کە هەستی پێ دەکەن ئەوەیە کە ددان بەڕاستی قورسە، دواتر تەندروستە

but if it's kind of soft and sticky,

بەڵام ئەگەر جۆرێک نەرم و چەسپبێت

that's a signal that the enamel is starting to decay.

ئەوە نیشانەیەکە کە ناوەناوەکە خەریکە لە ناو ئەبەیت

These types of judgments are hard for a new dental student to make,

ئەم جۆرە حوکمانە قورسن بۆ قوتابیەکی نوێی ددان

because they haven't touched a lot of teeth yet.

چونكە ئەوان هێشتا دەستیان لە ددانێكی زۆر نەداوە

And you want them to learn this before they start practicing

وە دەتەوێت ئەوان ئەمە فێربن پێش ئەوەی دەست بکەن بە ڕاهێنان

on real human patients.

لەسەرنەخۆشی ڕاستەقینەی

So what we do is add an accelerometer on to the dental explorer,

کەواتە ئەوەی ئێمە دەیکەین زیادکردنی ئەکسێلێرۆمەتر ترە بۆ پزیشكی ددان

and then we record what Dr. Maggio feels

ئەوە تۆماردەكەین دکتۆر ماگیو هەست پێ دەكا

as she touches different extracted teeth.

کە دەست لە ددانی جیاواز ئەدا

And we can play it back for you as a video

وە دەتوانین وەک ڤیدیۆیەک بۆت لێبگەڕینەوە

with a touch track --

لەگەڵ شوێنەواری لەمسی

not just a sound track, but also a touch track,

نەك تەنهاشوێنەواری دەنگی بەڵكو شوێنەواری لەمسیش

that you can feel by holding that repeating tool.

کە هەست دەکەیت بە گرتنی دوبارەکردنەوەی ئامێرەکە

You feel the same things the dentist felt when they did the recording,

تۆهەست بەئەو شتانەدەکەی کەپزیشكی ددان هەستپێ دەكابەهۆی تۆماركردنەكەی

and practice making judgments.

وە حوكم دەكەن.

So here's a sample one.

ئەمە نمونەیەكە.

Here's a tooth that looks kind of suspicious, right?

ئەوە ددانێکی دیارە گومانم هەیە، وایە؟

It has all those brown stains.

هەموو ئەو پەڵە قاوەییانەی كە هەیە

You might be thinking, "We should definitely put a filling in this tooth."

لەوانەیە بیر بکەیتەوە کە بێگومان ئەم ددانە پڕكردنەوەی دەوێ

But if you pay attention to how it feels,

بەڵام ئەگەر سەرنج بدەی هەست دەكەی كە

all the surfaces of this tooth are hard and healthy,

هەموو ڕووەکانی ئەم ددانە قورس و تەندروستن

so this patient does not need a filling.

بۆیە ئەم نەخۆشە پێویستی بە پڕکردنەوە نیە

And these are exactly the kind of judgments doctors make every day

ئەمە بە تەواواتی لەو جۆرەن كە هەموو ڕۆژئ پزیشكك بڕیاری لەسەر دەدا

and I think this technology we've invented has a lot of potential

وە پێموایە ئەو توكنەلۆجیایەی ئێمە دامانهێناوە توانای زۆری هەیە

for many different things in medical training, because it's really simple

بۆ ڕاهێنانی پزیشكی لە زۆر شتی جیاوازدا چونكە زۆر سادەیە

and it does a great job at recreating what people feel through tools.

وکارێکی زۆ باش دەکالە دروستکردنەوە کە خەڵک هەستی پێ دەکەن لە ڕێگەی ئامێرەوە

I think it could also help make games more interactive and fun

پێم وایە ئەوە یارمەتیدەربێ بۆ دروستكردنی یاری كارلێكو خۆش

and more realistic in the sensations that you feel.

وە زیاتر واقیعیانەیە لەو هەستانەی کە هەستت پێ دەکەیت

The last example I want to tell you about is again about human movement.

دوا نموونە کە دەمەوێت پێتان بڵێم دەربارەی دووبارە دەربارەی جوڵەی مرۆڤە

So if any of you have ever learned sports,

بۆیەئەگەرهەریەکێک لەئێوە فێری وەرزش بوبێت

how do you get good at something like surfing?

چۆن باش دەبی لە شتێکی وەک سەرئاودا؟

You practice.

تۆ ڕاهێنان دەکەیت

You practice some more and more, right?

تۆ مەشقی زیاتر و زیاتر دەکەیت، وایە؟

Making small corrections, maybe getting some input from a coach,

ڕاستکردنەوەیەکی بچوک لەوانەیە دەستخۆشیت لەلای ڕاهێنەرەوە دەستكەوێ

learning how to improve your motions.

فێربوی كە چۆن جوڵەکانت باشتر بکەیت

I think we could use computers

دەتوانین کۆمپیوتەر بەكاربێنین

to help make that process more efficient and more fun.

بۆ یارمەتیدان لە دروستکردنی پرۆسەیەكی کارامەتر و خۆشتر

And so here, for example, if I have six different arm movements

بۆ نمونە لێرە ئەگەر شەش جوڵەی جیاوازی قۆڵم هەبێت

that I want you to learn,

کە دەمەوێت فێربیت

you come into my lab at Penn and try out our system.

دەتوانیت بێیتە تاقیگەکەم لە پێن وە سیستەمەکەمان تاقی بکەنەوە

We use a Kinect to measure your motions, we show graphics on the screen,

ئێمە کینێکت بەکار ئەهێنیت بۆ پێوانەکردنی جوڵەكانت كە لەسەر شاشەكە دیارە

and then we also give you touch cues,

وە دواتر نیشانەی دەست لێدانتان پێئەبەخشین

haptic feedback on your arm,

کاردانەوەیەك لەدوایەكەكان لەسەرت

delivered by these haptic arm bands which have motors inside,

گەیاندرا لەلایەن ئەم باندە قۆڵە هاپەنگانە کە ماتۆڕیان هەیە

and guide you as you move.

وە ڕێنماییت بکەم کە دەجوڵێن

So, if we put it together,

بۆیە ئەگەر پێکەوە دایبنێین

as you're trying to track this motion,

کە تۆ هەوڵ دەدەیت ئەم جوڵەیە بجوڵێنێت

if you deviate -- say, maybe, your arm is a little too high --

ئەگەر لادەیت، لەوانەیە دەستت کەمێک بەرزبێت

we turn on the motors right there on the skin

ماتۆڕەکان هەڵدەکەین ڕێک لەوێ لەسەر پێست

to let you know you should move down,

بۆ ئەوەی ئامادەبیت بڕۆیتە خوارەوە

almost like a coach gently guiding you

وەک ڕاهێنەرێک بە نەرمی ڕێنماییت دەکات

and helping you master these movements more quickly

وەمامۆستا یارمەتیت دەدات ئەو جموجۆڵانە خێراتربن

and make more precise corrections.

وە ڕاستکردنەوەیەکی وردتر بکەین

We developed this system for use in stroke rehabilitation,

ئەم سیستەمەمان پێباش نیە بۆ بەكارهێنانی چارەسەری جەڵدە

but I think there are a lot of applications,

بەڵام وابزانم زۆر شت هەیە لە بەرنامەکان

like maybe dance training or all sorts of sports training as well.

وەک ڕاهێنانی سەما یان هەموو جۆرە ڕاهێنانێکی وەرزشیش

So now you know a little bit about the field of haptics,

ئێستا تۆ کەمێک دەزانیت دەربارەی بواری هاوپۆتیک

which I think you'll hear more about in the coming years.

کە وابزانم زیاتر گوێت لێ دەبێت لە ساڵانی داهاتوو

I've shown you three examples.

من سێ نمونەم بۆ تان نیشاندەدەم

I just want to take a moment

تەنها دەمەوێت ساتێک وەربگرم

to acknowledge the great students who work with me in my lab at Penn

بۆ ئەوەی دان بە قوتابیە مەزنەکاندابنێیت كە لەتاقیگەكەم كارم كاردەكەن

and my collaborators.

وە هاوکارەکانم

They're a great group.

ئەوان گروپێکی زۆر باشن

I also want to thank you for your kind attention.

دەمەوێت سوپاسیشتان بکەم بۆ سەرنجدانتان

(Applause)

چەپڵە لێدان