Haptography: Digitizing our sense of touch - Katherine Kuchenbecker

Translator: Andrea McDonough Reviewer: Morton Bast

Traducteur: Relecteur: Audrey Freudenreich

I'm a mechanical engineering professor

Je suis professeur d’ingénierie mécanique

at the University of Pennsylvania,

à l'Université de Pennsylvanie

and my favorite hobby is photography.

et mon passe-temps préféré, c'est la photographie.

And as I travel around the world,

Et comme je voyage dans le monde entier,

I love taking photographs like these,

j'aime prendre des photos comme celles-ci

so I can remember all the beautiful and interesting things

pour me rappeler toutes les choses

belles et intéressantes que j'ai vues.

that I've seen.

But what I can't do is record and share

Mais ce que je ne peux pas faire, c'est enregistrer et partager

l'impression que l'on a quand on touche ces objets.

how these objects feel to touch.

And that's kind of surprising,

C'est surprenant parce que

because your sense of touch is really important.

le sens du toucher est important

dans toutes vos interactions physiques,

It's involved in every physical interaction you do every day,

les tâches de manipulation,

every manipulation task, anything you do in the world.

tout ce que vous faites.

So the sense of touch is actually pretty interesting.

Et donc, le sens du toucher est en fait assez intéressant.

It has two main components.

Il a deux composantes principales.

The first is tactile sensations,

La première, est les sensations tactiles,

things you feel in your skin.

ce que vous sentez sur votre peau.

And the second is kinesthetic sensations.

La deuxième, est les sensations kinesthésiques --

This has to do with the position of your body and how it's moving,

la position de votre corps,

le déplacement,

and the forces you encounter.

et les forces extérieures.

And you're really good at incorporating

Et vous savez bien intégrer ces deux sensations,

both of these types of sensations together

to understand the physical interactions you have with the world

pour mieux comprendre vos interactions avec le monde

and understand as you touch a surface:

et ce que vous touchez.

is it a rock, is it a cat, is it a bunny, what is it?

Est-ce une pierre, un chat, un lapin ? Qu'est-ce que c'est ?

And so, as an engineer,

Alors, en tant qu'ingénieure, je suis vraiment fascinée

I'm really fascinated

and I have a lot of respect for how good people are with their hands.

et j'admire beaucoup ce que

les gens font avec leurs mains.

And I'm intrigued and curious

Et je suis intriguée et intéressée

about whether we could make technology better

à l'idée de créer de meilleures technologies

en exploitant la capacité humaine

by doing a better job at leveraging

the human capability with the sense of touch.

au moyen du sens du toucher.

Pourrais-je améliorer notre interface avec la technologie

Could I improve the interfaces to computers and machines

en vous permettant de profiter de vos mains ?

by letting you take advantage of your hands?

And indeed, I think we can,

En effet, j'y crois.

and that's at the core of a field called haptics,

C'est le fondement du domaine appelé "l'haptique",

and this is the area that I work in.

dans lequel je travaille.

It's all about interactive touch technology.

Il s'agit de la technologie tactile interactive.

And the way it works is,

En bref,

as you move your body through the world,

à mesure que vous vous déplacez à travers le monde,

if, as an engineer, I can make a system that can measure that motion,

si j'arrive a créer un système qui mesure ce mouvement-là

and then present to you sensations over time

et je vous présente des sensations apparemment normales,

that kind of make sense,

au fil du temps,

that match up with what you might feel in the real world,

qui coïncident avec les sensations du monde réel,

I can fool you into thinking you're touching something

je peux vous faire toucher quelque chose

qui n'est pas là.

even though there's nothing there.

So here are three examples

Bon, voici les exemples.

and these are all done from research in my lab at Penn.

Elles proviennent toutes de mon labo à Penn[sylvanie].

The first one is all about that same problem that I was showing you:

Le premier est à propos du problème

que je vous montrais :

how can we capture how objects feel

comment capturer les sensations des objets

and recreate those experiences?

pour recréer ces expériences-là ?

So the way we solve this problem

Et on résout ce problème-ci

is by creating a hand-held tool

en créant un appareil portatif

that has many different sensors inside.

équipé de plusieurs capteurs à l'intérieur.

It has a force sensor, so we can tell how hard you're pushing;

Un capteur de pression

pour mesurer combien vous poussez,

it has motion tracking, so we can tell exactly where you've moved it;

un capteur de mouvements

pour suivre si vous bougez,

et un capteur de vibration,

and it has a vibration sensor, an accelerometer, inside,

un accéléromètre, à l'intérieur

that detects the shaking back and forth of the tool

pour détecter si vous l'agitez;

that lets you know that's a piece of canvas

qui vous dit si vous touchez de la toile,

and not a piece of silk or something else.

de la soie ou autre chose.

Then we take the data we record from these interactions.

Et puis on prend les données des interactions.

Here's ten seconds of data.

Voici 10 secondes de données.

You can see how the vibrations get larger and smaller,

Vous pouvez voir les vibrations augmenter et diminuer

depending on how you move.

selon la façon dont vous bougez.

And we make a mathematical model of those relationships

Avec cela, on conçoit un modèle mathématique

and program them into a tablet computer

et le programmons dans une tablette

so that when you take the stylus

et donc quand vous appuyez le stylet sur l'écran,

and go and touch the screen,

that voice-coil actuator in the white bracket

un actionneur de bobine acoustique dans le support blanc

plays vibrations to give you the illusion

émet des vibrations pour vous donner l'illusion

that you're touching the real surface,

que vous appuyez sur une surface réelle,

just like if you touched, dragged back and forth, on the real canvas.

tout comme si vous dessiniez

sur une toile réelle.

We can create very compelling illusions.

On peut créer des illusions fascinantes

We can do this for all kinds of surfaces and it's really a lot of fun.

pour toute sorte de surface

et c'est vraiment amusant.

We call it haptography -- haptic photography.

On l'appelle l'haptographie.

La photographie haptique.

And I think it has potential benefits in all sorts of areas

Cela apporte des avantages

tel que pour les achats en ligne

like online shopping, maybe interactive museum exhibits,

ou les expositions interactives au musée

where you're not supposed to touch the precious artifacts,

où toucher les artefacts est interdit

but you always want to.

bien que vous vouliez toujours le faire.

The second example I want to tell you about comes from a collaboration I have

Le deuxième exemple

provient d'une collaboration

with Dr. Margrit Maggio at the Penn Dental School.

avec la Dr. Margarit Maggio de dentisterie à Penn.

Part of her job is to teach dental students

Elle apprend à ses élèves

à savoir où dans la bouche du patient

how to tell where in a patient's mouth there are cavities.

se trouvent les caries.

Ils font des radiographies

Of course they look at X-rays,

but a large part of this clinical judgment comes from what they feel

mais une grande partie du jugement clinique

vient de ce qu'ils touchent

when they touch your teeth with a dental explorer.

quand ils explorent vos dents.

Vous l'avez déjà expérimenté.

You've all had this happen, they go across.

Ils touchent pour savoir si la dent est dure,

What they're feeling for is if the tooth is really hard, then it's healthy,

alors saine,

but if it's kind of soft and sticky,

mais si elle est moelle est collante,

that's a signal that the enamel is starting to decay.

c'est un signe que l'émail se décompose.

These types of judgments are hard for a new dental student to make,

Ces jugements-ci sont difficiles

pour les nouveaux élèves

because they haven't touched a lot of teeth yet.

car ils n'ont pas assez d’expérience.

And you want them to learn this before they start practicing

Et ils doivent l’apprendre

avant de pratiquer sur un patient réel.

on real human patients.

So what we do is add an accelerometer on to the dental explorer,

Alors, nous intégrons un accéléromètre

à la sonde dentaire

et nous enregistrons ce que Dr. Maggio sent

and then we record what Dr. Maggio feels

as she touches different extracted teeth.

en touchant des dents extraites.

And we can play it back for you as a video

Et nous pouvons vous lire une vidéo

with a touch track --

avec une piste tactile.

not just a sound track, but also a touch track,

Donc pas seulement une piste audio

that you can feel by holding that repeating tool.

mais une piste tactile dans l'outil.

Vous pouvez sentir

You feel the same things the dentist felt when they did the recording,

ce que la dentiste sentait

and practice making judgments.

et vous entrainer aux diagnostics.

Voici un échantillon.

So here's a sample one.

Here's a tooth that looks kind of suspicious, right?

C'est une dent qui a l'air suspecte, n'est-ce pas ?

It has all those brown stains.

Elle est couverte de tâches brunes

You might be thinking, "We should definitely put a filling in this tooth."

et vous vous demandez,

s'il faut faire un plombage.

But if you pay attention to how it feels,

Mais si vous la touchez,

all the surfaces of this tooth are hard and healthy,

toutes les surfaces sont dures et saines

so this patient does not need a filling.

donc le patient n'a pas besoin d'un plombage.

And these are exactly the kind of judgments doctors make every day

Ce sont les diagnostics

que les médecins font

and I think this technology we've invented has a lot of potential

et je crois que notre technologie

est prometteuse pour la formation en médecine

for many different things in medical training, because it's really simple

parce que c'est vraiment simple

et ça réussi à recréer ce que les gens sentent

and it does a great job at recreating what people feel through tools.

à l'aide d'outils.

Ça pourrait aussi aider à créer des jeux

I think it could also help make games more interactive and fun

plus interactifs et sympas

et plus réalistes quant à vos sensations.

and more realistic in the sensations that you feel.

The last example I want to tell you about is again about human movement.

Le dernière exemple est encore

à propos du déplacement.

So if any of you have ever learned sports,

Si vous avez déjà appris un sport,

how do you get good at something like surfing?

vous savez comment on maitrise un sport, tel que le surf ?

You practice.

On pratique.

You practice some more and more, right?

Vous pratiquez beaucoup, n'est-ce pas ?

Making small corrections, maybe getting some input from a coach,

Faites de petites corrections,

écoutez l'entraîneur

learning how to improve your motions.

et améliorez vos mouvements.

I think we could use computers

On pourrait se servir des ordinateurs

to help make that process more efficient and more fun.

pour créer un processus plus efficace et amusant.

And so here, for example, if I have six different arm movements

Par exemple, ici,

si j'ai six mouvements différents

that I want you to learn,

à vous apprendre,

you come into my lab at Penn and try out our system.

vous allez à mon labo à Penn

et testez notre système.

We use a Kinect to measure your motions, we show graphics on the screen,

Une Kinect enregistre vos mouvements,

un écran montre des graphiques,

and then we also give you touch cues,

et vous recevez des signaux tactiles,

haptic feedback on your arm,

de rétroaction haptique,

delivered by these haptic arm bands which have motors inside,

transmis par ces brassards

qui ont des capteurs dedans

and guide you as you move.

et qui guident vos déplacements.

So, if we put it together,

Dans l'ensemble,

as you're trying to track this motion,

en suivant ce déplacement-ci,

si vous déviez,

if you deviate -- say, maybe, your arm is a little too high --

ou votre main est trop en haut,

nous mettons en marche les moteurs sur votre peau

we turn on the motors right there on the skin

to let you know you should move down,

pour vous dire de les baisser

comme un entraîneur qui vous guide

almost like a coach gently guiding you

et vous aide à maîtriser les mouvements plus vite

and helping you master these movements more quickly

et à faire des corrections plus précises.

and make more precise corrections.

We developed this system for use in stroke rehabilitation,

Nous avons conçu ce système pour la rééducation post-AVC,

but I think there are a lot of applications,

mais cela a plein d'applications,

tel que pour la danse

like maybe dance training or all sorts of sports training as well.

ou pour toute sorte d'entraînement sportif également.

So now you know a little bit about the field of haptics,

A présent vous connaissez un peu

le domaine de l'haptique

dont vous découvrirez plus à l'avenir.

which I think you'll hear more about in the coming years.

I've shown you three examples.

Je vous ai montré 3 exemples

et voudrais prendre un moment

I just want to take a moment

to acknowledge the great students who work with me in my lab at Penn

pour remercier toutes les élèves

qui travaillent avec moi

and my collaborators.

et mes collaborateurs.

They're a great group.

Ils font un super groupe.

Et vous aussi, je vous remercie pour votre attention.

I also want to thank you for your kind attention.

(Applaudissements)

(Applause)