Haptography: Digitizing our sense of touch - Katherine Kuchenbecker

Хаптография: цифровая осязательная технология — Кэтрин Кюхенбекер

Translator: Andrea McDonough Reviewer: Morton Bast

Переводчик: Евгений К. Редактор: Dina Bezsmertna

I'm a mechanical engineering professor

Я профессор машиностроения

at the University of Pennsylvania,

в Пенсильванском университете,

and my favorite hobby is photography.

моё любимое хобби — фотография.

And as I travel around the world,

Во время своих путешествий по миру

I love taking photographs like these,

я люблю делать подобные снимки —

so I can remember all the beautiful and interesting things

они позволяют мне помнить все красивые и интересные вещи, которые я видела.

that I've seen.

But what I can't do is record and share

Но, к сожалению, я не могу сохранить и поделиться

how these objects feel to touch.

ощущениями от прикосновения к этим объектам,

And that's kind of surprising,

и это очень странно,

because your sense of touch is really important.

ведь наше осязание очень важно.

It's involved in every physical interaction you do every day,

Оно участвует во всех повседневных задачах

и во всех взаимодействиях с внешним миром.

every manipulation task, anything you do in the world.

So the sense of touch is actually pretty interesting.

Осязание — довольно интересная вещь,

It has two main components.

оно состоит из двух компонентов.

The first is tactile sensations,

Первый — это тактильные ощущения,

things you feel in your skin.

то, что вы чувствуете кожей;

And the second is kinesthetic sensations.

второй — кинестетические,

This has to do with the position of your body and how it's moving,

они связаны с положением и движением вашего тела,

and the forces you encounter.

а также мышечными усилиями.

And you're really good at incorporating

Человек очень хорошо объединяет

both of these types of sensations together

эти два отдельных типа ощущений,

to understand the physical interactions you have with the world

чтобы оценивать взаимодействие с внешним миром

and understand as you touch a surface:

и определять объект по касанию:

is it a rock, is it a cat, is it a bunny, what is it?

камень, кот, кролик — узнать, к чему ты прикоснулся.

And so, as an engineer,

Как инженер, я просто восхищена способностью человека

I'm really fascinated

and I have a lot of respect for how good people are with their hands.

получать столько информации через свои руки.

And I'm intrigued and curious

Это привлекло моё внимание,

about whether we could make technology better

и мне интересно, можно ли сделать технологии более удобными,

by doing a better job at leveraging

если в них будет использоваться

the human capability with the sense of touch.

весь потенциал нашего осязания.

Could I improve the interfaces to computers and machines

Можно ли улучшить интерфейс компьютеров и машин,

если учитывать все возможности рук?

by letting you take advantage of your hands?

And indeed, I think we can,

На самом деле это возможно,

and that's at the core of a field called haptics,

и эти идеи — ядро области под названием хаптика,

and this is the area that I work in.

в которой я работаю.

It's all about interactive touch technology.

Её цель — интерактивная осязательная технология.

And the way it works is,

И вот как это работает.

as you move your body through the world,

Я могу создать оборудование,

if, as an engineer, I can make a system that can measure that motion,

которое будет измерять ваши движения

and then present to you sensations over time

и затем с течением времени

воспроизводить у вас ощущения от движения,

that kind of make sense,

которые покажутся естественными,

that match up with what you might feel in the real world,

как при реальном движении.

I can fool you into thinking you're touching something

Я могу заставить вас думать, что вы касаетесь чего-то

там, где просто гладкая поверхность.

even though there's nothing there.

So here are three examples

Вот три примера

and these are all done from research in my lab at Penn.

из моих исследований в университетской лаборатории.

The first one is all about that same problem that I was showing you:

В первом я расскажу о проблеме, о которой уже упоминала:

how can we capture how objects feel

как сохранить информацию о фактуре объекта

and recreate those experiences?

и потом воссоздать её?

So the way we solve this problem

Мы решили эту проблему,

is by creating a hand-held tool

создав портативное устройство

that has many different sensors inside.

с большим количеством датчиков:

It has a force sensor, so we can tell how hard you're pushing;

в нём есть датчик давления, он может рассказать о приложенной силе;

it has motion tracking, so we can tell exactly where you've moved it;

датчик отслеживания движения записывает траекторию движений;

and it has a vibration sensor, an accelerometer, inside,

датчик вибрации и акселерометр

that detects the shaking back and forth of the tool

фиксируют небольшие колебания,

that lets you know that's a piece of canvas

и по ним понятно, что это кусок холста,

and not a piece of silk or something else.

а не шёлка или чего-то другого.

Then we take the data we record from these interactions.

Затем мы интерпретируем всю собранную нами информацию.

Here's ten seconds of data.

Вот запись за десять секунд.

You can see how the vibrations get larger and smaller,

Можно увидеть, как вибрация увеличивается и уменьшается в зависимости от движений.

depending on how you move.

And we make a mathematical model of those relationships

Затем создаём математическую модель этих отношений

and program them into a tablet computer

и загружаем в планшетный компьютер,

so that when you take the stylus

а когда вы берёте стилус

и проводите им по экрану,

and go and touch the screen,

that voice-coil actuator in the white bracket

магнитная катушка, закреплённая на стилусе,

plays vibrations to give you the illusion

воспроизводит вибрации и создаёт иллюзию того,

that you're touching the real surface,

что вы касаетесь реальной поверхности,

just like if you touched, dragged back and forth, on the real canvas.

будто водите туда и обратно по настоящему холсту.

We can create very compelling illusions.

Мы можем создать иллюзии

We can do this for all kinds of surfaces and it's really a lot of fun.

для большого количества поверхностей, и это довольно интересно и занимательно.

We call it haptography -- haptic photography.

Мы назвали это хаптографией, или хаптической фотографией.

And I think it has potential benefits in all sorts of areas

Этому можно найти применение в различных сферах:

like online shopping, maybe interactive museum exhibits,

интернет-магазины, интерактивные музеи и выставки,

where you're not supposed to touch the precious artifacts,

где нельзя дотрагиваться до ценных экспонатов,

but you always want to.

но всегда очень хочется.

The second example I want to tell you about comes from a collaboration I have

В качестве второго примера я приведу совместную работу

с доктором Маргрит Маджио с факультета стоматологии нашего университета.

with Dr. Margrit Maggio at the Penn Dental School.

Part of her job is to teach dental students

Часть её работы — научить студентов

how to tell where in a patient's mouth there are cavities.

выявлять зубы, поражённые кариесом.

Естественно, они делают рентген,

Of course they look at X-rays,

but a large part of this clinical judgment comes from what they feel

но большу́ю роль в постановке диагноза играет то, что врачи чувствуют

when they touch your teeth with a dental explorer.

при осмотре зубоврачебным зондом.

Вы все проходили через подобную процедуру.

You've all had this happen, they go across.

Если зуб оказывается твёрдым — значит он здоров,

What they're feeling for is if the tooth is really hard, then it's healthy,

but if it's kind of soft and sticky,

если же он чуть мягкий и вязкий — значит, эмаль уже начала разрушаться.

that's a signal that the enamel is starting to decay.

These types of judgments are hard for a new dental student to make,

Делать подобного рода выводы для студента-новичка сложно,

because they haven't touched a lot of teeth yet.

так как у него нет достаточного опыта.

And you want them to learn this before they start practicing

Но они должны научиться это делать до начала своей практики на пациентах.

on real human patients.

So what we do is add an accelerometer on to the dental explorer,

В общем, мы закрепили акселерометр на стоматологическом зонде

and then we record what Dr. Maggio feels

и записали ощущения доктора Маджио

при обследовании различных зубов.

as she touches different extracted teeth.

And we can play it back for you as a video

Мы можем затем воспроизвести вам это видео

с «осязательной» дорожкой, не просто звук, но и ощущения,

with a touch track --

not just a sound track, but also a touch track,

that you can feel by holding that repeating tool.

которые передаются на дублирующий зонд.

You feel the same things the dentist felt when they did the recording,

Вы чувствуете то же, что и дантист во время записи видео,

and practice making judgments.

и таким образом можете практиковаться.

So here's a sample one.

Вот запись.

Here's a tooth that looks kind of suspicious, right?

Видите этот зуб, выглядит подозрительно, верно?

It has all those brown stains.

На нём столько коричневых пятен.

You might be thinking, "We should definitely put a filling in this tooth."

Наверняка думаете: «Конечно, надо ставить пломбу».

But if you pay attention to how it feels,

Но на самом деле, при осмотре зондом,

all the surfaces of this tooth are hard and healthy,

он оказался твёрдым и здоровым,

so this patient does not need a filling.

и значит пациенту пломба не нужна.

And these are exactly the kind of judgments doctors make every day

Именно так доктора и принимают решения,

and I think this technology we've invented has a lot of potential

мне кажется, эта технология имеет большой потенциал в подготовке медперсонала,

for many different things in medical training, because it's really simple

потому что она проста и воссоздаёт то, что чувствует доктор

and it does a great job at recreating what people feel through tools.

при работе с медицинскими инструментами.

Она также может сделать компьютерные игры более интерактивными

I think it could also help make games more interactive and fun

and more realistic in the sensations that you feel.

и более реалистичными в плане ощущений от игры.

The last example I want to tell you about is again about human movement.

В последнем примере я расскажу вам о движениях человека.

So if any of you have ever learned sports,

Кто занимался спортом, тот знает,

how do you get good at something like surfing?

хочешь преуспеть, например, в сёрфинге,

You practice.

нужно тренироваться.

You practice some more and more, right?

Постоянные тренировки, верно?

Making small corrections, maybe getting some input from a coach,

Потихоньку учитесь, возможно, с помощью тренера,

learning how to improve your motions.

совершенствуете свою технику.

I think we could use computers

А можно использовать компьютер,

чтобы сделать этот процесс эффективнее и интереснее.

to help make that process more efficient and more fun.

And so here, for example, if I have six different arm movements

Допустим, есть шесть различных движений рукой, которые надо отработать.

that I want you to learn,

you come into my lab at Penn and try out our system.

Вы можете прийти в мою лабораторию и опробовать нашу систему.

We use a Kinect to measure your motions, we show graphics on the screen,

Мы используем Кинект для захвата движений, затем выводим их на экран

and then we also give you touch cues,

и даём вам подсказки при движении

haptic feedback on your arm,

delivered by these haptic arm bands which have motors inside,

с помощью манжет с моторчиками внутри.

and guide you as you move.

Они корректируют ваши движения.

So, if we put it together,

В общем, если при повторении движения

as you're trying to track this motion,

if you deviate -- say, maybe, your arm is a little too high --

вы отклонились: подняли руку чуть выше,

we turn on the motors right there on the skin

эти моторчики включаются и дают вам сигнал опустить руку,

to let you know you should move down,

эта система, почти как тренер, помогает вам достичь мастерства в движениях быстрее

almost like a coach gently guiding you

and helping you master these movements more quickly

и делает более точные корректировки.

and make more precise corrections.

We developed this system for use in stroke rehabilitation,

Мы разработали эту систему для реабилитации пациентов после инсультов,

but I think there are a lot of applications,

но у неё большой потенциал —

её можно применять для обучения танцам или различным видам спорта.

like maybe dance training or all sorts of sports training as well.

So now you know a little bit about the field of haptics,

Итак, сегодня вы узнали немного о хаптике,

which I think you'll hear more about in the coming years.

и, наверняка, услышите о ней ещё.

I've shown you three examples.

Я привела вам три примера.

I just want to take a moment

Напоследок хочу поблагодарить студентов, которые работали со мной,

to acknowledge the great students who work with me in my lab at Penn

and my collaborators.

а также своих коллег.

They're a great group.

Они отличная команда.

I also want to thank you for your kind attention.

И большое спасибо вам за ваше внимание.

(Applause)

(Аплодисменты)