Haptography: Digitizing our sense of touch - Katherine Kuchenbecker

Haptografie: Aanrakingen digitaliseren - Katherine Kuchenbecker

Translator: Andrea McDonough Reviewer: Morton Bast

Vertaald door: Christel Foncke Nagekeken door: Els De Keyser

I'm a mechanical engineering professor

Ik ben hoogleraar werktuigbouwkunde

at the University of Pennsylvania,

aan de Universiteit van Pennsylvania.

and my favorite hobby is photography.

Mijn favoriete hobby is fotografie.

And as I travel around the world,

Ik reis rond de wereld

en maak graag foto's zoals deze.

I love taking photographs like these,

so I can remember all the beautiful and interesting things

Ik kan mij nog alle mooie

en interessante dingen herinneren die ik gezien heb.

that I've seen.

But what I can't do is record and share

Maar ik kan niet vastleggen en delen

hoe deze objecten aanvoelen.

how these objects feel to touch.

And that's kind of surprising,

Dat is verrassend

because your sense of touch is really important.

want aanraken is heel erg belangrijk.

It's involved in every physical interaction you do every day,

Het is dagelijks betrokken bij elke fysieke interactie,

elke taak

every manipulation task, anything you do in the world.

en al wat je doet in de wereld.

So the sense of touch is actually pretty interesting.

De tastzin is eigenlijk heel interessant.

It has two main components.

Hij heeft twee componenten:

The first is tactile sensations,

tactiele gewaarwordingen,

things you feel in your skin.

dingen die je met je huid voelt

And the second is kinesthetic sensations.

en kinestetische gewaarwordingen

This has to do with the position of your body and how it's moving,

die te maken hebben met de positie van je lichaam,

en hoe het beweegt

and the forces you encounter.

en de krachten die je ondervindt.

And you're really good at incorporating

Je bent heel goed in het combineren

both of these types of sensations together

van die twee soorten gewaarwordingen

to understand the physical interactions you have with the world

om je fysieke interacties

met de wereld te begrijpen

and understand as you touch a surface:

en te begrijpen dat je een oppervlak raakt:

is it a rock, is it a cat, is it a bunny, what is it?

een rots, een kat, een konijn. Wat is het?

And so, as an engineer,

Als ingenieur ben ik gefascineerd

I'm really fascinated

and I have a lot of respect for how good people are with their hands.

en heb ik veel respect voor

hoe goed mensen zijn met hun handen.

And I'm intrigued and curious

Ik ben geïntrigeerd en nieuwsgierig

about whether we could make technology better

over hoe we technologie kunnen verbeteren

door de menselijke capaciteiten voor aanraken te verhogen.

by doing a better job at leveraging

the human capability with the sense of touch.

door de menselijke capaciteiten voor aanraken te verhogen.

Kon ik de interfaces naar computers en machines verbeteren

Could I improve the interfaces to computers and machines

door je je handen te laten gebruiken?

by letting you take advantage of your hands?

And indeed, I think we can,

Inderdaad, dat kan

and that's at the core of a field called haptics,

en dat is de kern van 'haptiek'

and this is the area that I work in.

en dat is mijn werkgebied.

It's all about interactive touch technology.

Het gaat allemaal om interactieve aanraaktechnologie.

And the way it works is,

Het werkt zo:

as you move your body through the world,

je beweegt je lichaam in de wereld

if, as an engineer, I can make a system that can measure that motion,

en als ingenieur kan ik een systeem maken

dat de beweging kan meten

and then present to you sensations over time

en je begrijpelijke gewaarwordingen kan geven

that kind of make sense,

en je begrijpelijke gewaarwordingen kan geven

that match up with what you might feel in the real world,

die overeen komen met wat je voelt in de echte wereld.

I can fool you into thinking you're touching something

Ik kan je doen geloven dat je iets aanraakt

zelfs als er niets is.

even though there's nothing there.

So here are three examples

Hier zijn drie voorbeelden

and these are all done from research in my lab at Penn.

en die komen allemaal uit mijn onderzoekslab in de Pennsylvania Universiteit.

The first one is all about that same problem that I was showing you:

De eerste gaat over

hetzelfde probleem dat ik jullie toonde:

how can we capture how objects feel

hoe kunnen we het aanvoelen van objecten vastleggen

and recreate those experiences?

en de ervaring opnieuw oproepen?

So the way we solve this problem

We lossen dit probleem op

is by creating a hand-held tool

door een instrument te maken

that has many different sensors inside.

met verschillende sensoren erin.

It has a force sensor, so we can tell how hard you're pushing;

Het voelt ook de kracht,

zodat we je kunnen vertellen hoeveel druk je uitoefent.

it has motion tracking, so we can tell exactly where you've moved it;

Het volgt beweging,

zodat we precies kunnen vertellen dat je bewogen hebt

en het heeft een vibratiesensor,

and it has a vibration sensor, an accelerometer, inside,

een versnellingsmeter vanbinnen

die het schudden van het instrument registreert.

that detects the shaking back and forth of the tool

that lets you know that's a piece of canvas

Daardoor weten we dat het een stuk doek is

and not a piece of silk or something else.

en geen zijde of iets anders.

Then we take the data we record from these interactions.

We nemen de gegevens

van deze interacties.

Here's ten seconds of data.

Hier zijn 10 seconden data.

You can see how the vibrations get larger and smaller,

Je kan zien dat de vibraties kleiner en groter worden,

depending on how you move.

afhankelijk van hoe je beweegt.

And we make a mathematical model of those relationships

We maakten een wiskundig model van die relatie

and program them into a tablet computer

en programmeerden het in een tabletcomputer.

so that when you take the stylus

Als je de stylus neemt

en het scherm aanraakt,

and go and touch the screen,

that voice-coil actuator in the white bracket

speelt die bedieningscylinder in de witte beugel

plays vibrations to give you the illusion

vibraties om je de illusie te geven

that you're touching the real surface,

dat je een echt oppervlak aanraakt

just like if you touched, dragged back and forth, on the real canvas.

net zoals het zou voelen als je over en weer

zou wrijven op een echt doek.

We can create very compelling illusions.

We kunnen heel goede illusies creëren.

We can do this for all kinds of surfaces and it's really a lot of fun.

We kunnen dit doen met allerlei soorten oppervlakten

en het is echt heel leuk.

We call it haptography -- haptic photography.

We noemen het haptografie:

haptische fotografie.

And I think it has potential benefits in all sorts of areas

Ik denk aan de mogelijke voordelen

van allerlei soorten gebieden zoals online winkelen,

like online shopping, maybe interactive museum exhibits,

misschien interactieve tentoonstellingen in musea

where you're not supposed to touch the precious artifacts,

waar we kostbare stukken niet mogen aanraken maar wel zouden willen.

waar we kostbare stukken niet mogen aanraken maar wel zouden willen.

but you always want to.

The second example I want to tell you about comes from a collaboration I have

Mijn tweede voorbeeld

komt voort uit een samenwerking

with Dr. Margrit Maggio at the Penn Dental School.

met dr. Margrit Maggio aan de tandartsschool in Pennsylvania.

Part of her job is to teach dental students

Zij leert studenten

gaatjes te vinden de mond van de patiënt.

how to tell where in a patient's mouth there are cavities.

gaatjes te vinden de mond van de patiënt.

Ze kijken naar radiografieën

Of course they look at X-rays,

but a large part of this clinical judgment comes from what they feel

maar een groot gedeelte van hun beoordelingen

komt door de tanden met een instrument te voelen.

when they touch your teeth with a dental explorer.

komt door de tanden met een instrument te voelen.

Je hebt het zeker al meegemaakt.

You've all had this happen, they go across.

Een harde tand is gezond.

What they're feeling for is if the tooth is really hard, then it's healthy,

Een harde tand is gezond.

but if it's kind of soft and sticky,

Zacht en kleverig is een signaal dat het glazuur aangetast is.

that's a signal that the enamel is starting to decay.

Zacht en kleverig is een signaal dat het glazuur aangetast is.

These types of judgments are hard for a new dental student to make,

Die beoordeling is moeilijk

voor nieuwe tandartsen

because they haven't touched a lot of teeth yet.

omdat ze nog niet veel tanden gevoeld hebben.

And you want them to learn this before they start practicing

Je wilt dat ze het leren

voordat ze het op mensen toepassen.

on real human patients.

So what we do is add an accelerometer on to the dental explorer,

We kunnen een versnellingsmeter

op de tandenvoeler zetten.

We nemen op wat dokter Maggio voelt

and then we record what Dr. Maggio feels

terwijl ze verschillende tanden aanraakt.

as she touches different extracted teeth.

And we can play it back for you as a video

We spelen het terug af als een video

with a touch track --

met een voelkanaal.

not just a sound track, but also a touch track,

Dus zowel een geluidskanaal als een voelkanaal.

that you can feel by holding that repeating tool.

Je voelt het door het herhalend instrument vast te houden.

Je voelt dezelfde dingen

You feel the same things the dentist felt when they did the recording,

die de tandartsen voelden toen zij het opnamen

and practice making judgments.

en je kan oefenen in het beoordelen.

Hier is een voorbeeld.

So here's a sample one.

Here's a tooth that looks kind of suspicious, right?

Hier is een verdachte tand.

It has all those brown stains.

Hij heeft bruine plekken,

You might be thinking, "We should definitely put a filling in this tooth."

en je zou kunnen denken:

oh, die moeten we zeker vullen.

But if you pay attention to how it feels,

Maar let op hoe hij aanvoelt:

all the surfaces of this tooth are hard and healthy,

de oppervlakken van de tand zijn hard en gezond,

so this patient does not need a filling.

dus de patiënt heeft geen vulling nodig.

And these are exactly the kind of judgments doctors make every day

Dat zijn precies de beoordelingen

die een dokter elke dag maakt

and I think this technology we've invented has a lot of potential

en ik denk dat deze nieuwe technologie

veel potentieel heeft voor verschillende dingen

for many different things in medical training, because it's really simple

in medische training omdat het echt eenvoudig is

en het kan ontzettend goed weergeven

and it does a great job at recreating what people feel through tools.

wat mensen voelen, via instrumenten.

Ik denk dat ik misschien kan helpen games maken

I think it could also help make games more interactive and fun

die meer interactief en leuker zijn,

realistischer in de sensaties.

and more realistic in the sensations that you feel.

The last example I want to tell you about is again about human movement.

Mijn laatste voorbeeld

is alweer menselijke beweging.

So if any of you have ever learned sports,

Als iemand van jullie al ooit een sport aanleerde:

how do you get good at something like surfing?

hoe word je goed in surfen?

You practice.

Je oefent.

You practice some more and more, right?

En je oefent nog wat meer.

Making small corrections, maybe getting some input from a coach,

Kleine correcties maken,

misschien heb je een coach,

learning how to improve your motions.

leren hoe je je bewegingen kan verbeteren.

I think we could use computers

We kunnen computers gebruiken

om te helpen dat proces efficiënter en leuker te maken.

to help make that process more efficient and more fun.

And so here, for example, if I have six different arm movements

Hier bijvoorbeeld:

als je zes verschillende armbewegingen hebt

that I want you to learn,

die je wilt leren,

you come into my lab at Penn and try out our system.

kom je naar mijn lab in Pennsylvania

en probeer ons systeem.

We use a Kinect to measure your motions, we show graphics on the screen,

We gebruiken een Kinect om je bewegingen te meten,

we tonen grafieken op het scherm.

and then we also give you touch cues,

We geven je ook voelsleutels,

haptic feedback on your arm,

haptische feedback, op je arm

delivered by these haptic arm bands which have motors inside,

geleverd door deze haptische armbanden

die vanbinnen motoren hebben

and guide you as you move.

en je gidsen terwijl je beweegt.

So, if we put it together,

Als we alles samennemen:

as you're trying to track this motion,

jij probeert de beweging te volgen,

en als je afwijkt,

if you deviate -- say, maybe, your arm is a little too high --

misschien je arm die te hoog is,

zetten we de motoren hier op de huid aan

we turn on the motors right there on the skin

to let you know you should move down,

om je te tonen dat je naar beneden moet,

een beetje zoals een coach je zachtjes gidst

almost like a coach gently guiding you

en helpt om de bewegingen sneller onder de knie te krijgen

and helping you master these movements more quickly

en meer precieze correcties te maken.

and make more precise corrections.

We developed this system for use in stroke rehabilitation,

We ontwikkelden dit systeem voor herstel na beroerte

but I think there are a lot of applications,

maar ik denk dat er veel toepassingen zijn.

Danstraining misschien

like maybe dance training or all sorts of sports training as well.

of allerlei soorten sporttrainingen.

So now you know a little bit about the field of haptics,

Nu weet je wat meer over het domein van de haptica,

Nu weet je wat meer over het domein van de haptica,

waar je de volgende jaren nog veel meer over zal horen.

which I think you'll hear more about in the coming years.

I've shown you three examples.

Ik toonde drie voorbeelden

en ik wil een ogenblik stilstaan

I just want to take a moment

bij geweldige studenten

to acknowledge the great students who work with me in my lab at Penn

die in mijn laboratorium werken

and my collaborators.

en bij mijn medewerkers:

They're a great group.

het is een geweldige groep.

Ik dank jullie voor je aandacht.

I also want to thank you for your kind attention.

(Applaus)

(Applause)