Haptography: Digitizing our sense of touch - Katherine Kuchenbecker

Translator: Andrea McDonough Reviewer: Morton Bast

Tradutor: Margarida Ferreira Revisora: Isabel Vaz Belchior

I'm a mechanical engineering professor

Sou professora de engenharia mecânica

at the University of Pennsylvania,

na Universidade da Pensilvânia

and my favorite hobby is photography.

e o meu passatempo preferido é a fotografia.

And as I travel around the world,

Quando viajo mundo fora,

I love taking photographs like these,

adoro tirar fotografias como estas,

so I can remember all the beautiful and interesting things

para poder recordar todas as coisas belas e interessantes que vi.

that I've seen.

But what I can't do is record and share

Mas o que eu não consigo é registar e partilhar

how these objects feel to touch.

a sensação que temos quando tocamos nestes objetos.

And that's kind of surprising,

É uma coisa surpreendente

because your sense of touch is really important.

porque o sentido do tacto é muito importante

It's involved in every physical interaction you do every day,

em todas as interações físicas que fazemos todos os dias,

every manipulation task, anything you do in the world.

todas as tarefas de manipulação, tudo o que fazemos.

So the sense of touch is actually pretty interesting.

O sentido do tacto é muito interessante.

It has two main components.

Tem dois componentes principais.

The first is tactile sensations,

O primeiro são as sensações tácteis,

things you feel in your skin.

as coisas que sentimos na nossa pele.

And the second is kinesthetic sensations.

O segundo são as sensações cinestésicas.

This has to do with the position of your body and how it's moving,

Isto tem a ver com a posição do corpo e como nos movimentamos

and the forces you encounter.

e as forças que encontramos.

And you're really good at incorporating

Somos muito bons a incorporar estes dois tipos de sensações

both of these types of sensations together

to understand the physical interactions you have with the world

para perceber as interações físicas que temos com o mundo

and understand as you touch a surface:

e perceber, quando tocamos numa superfície,

is it a rock, is it a cat, is it a bunny, what is it?

se é uma rocha, se é um gato, se é um coelhinho, o que será?

And so, as an engineer,

Assim, enquanto engenheira,

I'm really fascinated

sinto-me fascinada

and I have a lot of respect for how good people are with their hands.

e admiro imenso o que as pessoas fazem com as mãos.

And I'm intrigued and curious

Sinto-me intrigada e curiosa

about whether we could make technology better

com a possibilidade de criar melhores tecnologias

by doing a better job at leveraging

fazendo um trabalho melhor

the human capability with the sense of touch.

aproveitando a aptidão humana com o sentido do tacto.

Could I improve the interfaces to computers and machines

Poderei melhorar as interfaces com computadores e máquinas

by letting you take advantage of your hands?

deixando-vos tirar partido das mãos?

And indeed, I think we can,

Na verdade, penso que sim.

and that's at the core of a field called haptics,

Isso é a base de uma área chamada ciência háptica,

and this is the area that I work in.

a área em que estou a trabalhar.

It's all about interactive touch technology.

Trata da tecnologia interativa do tacto.

And the way it works is,

Funciona deste modo:

as you move your body through the world,

quando movimentamos o corpo no nosso meio ambiente,

if, as an engineer, I can make a system that can measure that motion,

se eu conseguir criar um sistema que meça esse movimento

and then present to you sensations over time

e apresentar sensações ao longo do tempo

that kind of make sense,

que sejam coincidentes

that match up with what you might feel in the real world,

com o que vocês sentem no mundo real,

I can fool you into thinking you're touching something

posso levar-vos a crer que estão a tocar numa coisa

even though there's nothing there.

apesar de não haver nada ali.

So here are three examples

Temos aqui três exemplos

and these are all done from research in my lab at Penn.

que provêm da investigação no meu laboratório na Pensilvânia.

The first one is all about that same problem that I was showing you:

O primeiro trata do mesmo problema que vos estava a mostrar.

how can we capture how objects feel

Como captar a forma como sentimos os objetos

and recreate those experiences?

e recriar essas experiências?

So the way we solve this problem

Resolvemos este problema

is by creating a hand-held tool

criando um utensílio portátil

that has many different sensors inside.

que tem vários detetores diferentes lá dentro.

It has a force sensor, so we can tell how hard you're pushing;

Tem um sensor de pressão, para saber a força que usamos.

it has motion tracking, so we can tell exactly where you've moved it;

Tem um detetor de movimento, para seguir os nossos movimentos.

and it has a vibration sensor, an accelerometer, inside,

e tem um sensor de vibrações, um acelerómetro, lá dentro,

that detects the shaking back and forth of the tool

que deteta o movimento de um lado para o outro

that lets you know that's a piece of canvas

que nos diz que isto é um pedaço de tela

and not a piece of silk or something else.

e não um pedaço de seda ou outra coisa.

Then we take the data we record from these interactions.

Depois vemos o registo de dados dessas interações.

Here's ten seconds of data.

Isto são 10 segundos de dados.

You can see how the vibrations get larger and smaller,

Vemos como as vibrações ficam maiores e mais pequenas,

depending on how you move.

consoante a forma como nos movemos.

And we make a mathematical model of those relationships

Fazemos um modelo matemático dessas relações

and program them into a tablet computer

e programamo-las num "tablet".

so that when you take the stylus

Assim, quando agarrarmos no estilete e tocarmos no ecrã,

and go and touch the screen,

that voice-coil actuator in the white bracket

um atuador da bobina acústica no suporte branco

plays vibrations to give you the illusion

emite as vibrações que dão a ilusão

that you're touching the real surface,

de estarmos a tocar na superfície real,

just like if you touched, dragged back and forth, on the real canvas.

tal como se tocássemos na tela real, de um lado para o outro.

We can create very compelling illusions.

Podemos criar ilusões fascinantes

We can do this for all kinds of surfaces and it's really a lot of fun.

para todos os tipos de superfícies e é muito divertido.

We call it haptography -- haptic photography.

Chamamos-lhe uma haptografia — fotografia háptica.

And I think it has potential benefits in all sorts of areas

Tem benefícios potenciais em todo o tipo de áreas,

like online shopping, maybe interactive museum exhibits,

como nas compras "online", nas exposições interativas de museus,

where you're not supposed to touch the precious artifacts,

onde não podemos tocar nos artefactos preciosos,

but you always want to.

mas queremos fazê-lo.

The second example I want to tell you about comes from a collaboration I have

O segundo exemplo provém de uma colaboração que tive

with Dr. Margrit Maggio at the Penn Dental School.

com a Dra. Margrit Maggio, da Escola Dentária da Pensilvânia.

Part of her job is to teach dental students

Ela ensina os alunos a saber

how to tell where in a patient's mouth there are cavities.

onde há cáries na boca de um paciente.

Of course they look at X-rays,

Claro que eles fazem radiografias

but a large part of this clinical judgment comes from what they feel

mas uma boa parte da avaliação clínica provém do que eles sentem

when they touch your teeth with a dental explorer.

quando tocam nos dentes com um explorador dental.

You've all had this happen, they go across.

Já viram isso acontecer.

What they're feeling for is if the tooth is really hard, then it's healthy,

O que eles sentem é que, se o dente está bem rijo, está são,

but if it's kind of soft and sticky,

mas se está mole e pegajoso

that's a signal that the enamel is starting to decay.

é sinal que o esmalte começa a degradar-se.

These types of judgments are hard for a new dental student to make,

Estas avaliações são difíceis de fazer para um novo aluno,

because they haven't touched a lot of teeth yet.

porque ainda não tocaram em muitos dentes.

And you want them to learn this before they start practicing

Queremos que eles aprendam antes de começarem a praticar

on real human patients.

em pacientes humanos reais.

So what we do is add an accelerometer on to the dental explorer,

Então, adicionamos um acelerómetro ao explorador dental

and then we record what Dr. Maggio feels

e registamos o que a Dra. Maggio sente

as she touches different extracted teeth.

quando toca em diferentes dentes arrancados.

And we can play it back for you as a video

Podemos passar um vídeo

with a touch track --

com uma banda táctil

not just a sound track, but also a touch track,

— não só uma banda sonora mas uma banda táctil.

that you can feel by holding that repeating tool.

Com aquele utensílio de repetição

You feel the same things the dentist felt when they did the recording,

sentimos o mesmo que a dentista sentiu, quando fez a gravação

and practice making judgments.

e praticamos o diagnóstico.

So here's a sample one.

Isto é uma amostra.

Here's a tooth that looks kind of suspicious, right?

É um dente que parece bastante suspeito, não é?

It has all those brown stains.

Tem estas manchas castanhas.

You might be thinking, "We should definitely put a filling in this tooth."

Devem pensar: "Temos que chumbar este dente".

But if you pay attention to how it feels,

Mas se prestarem atenção ao seu toque,

all the surfaces of this tooth are hard and healthy,

todas as superfícies do dente estão rijas e saudáveis,

so this patient does not need a filling.

portanto o dente não precisa de chumbo.

And these are exactly the kind of judgments doctors make every day

É este o tipo de diagnóstico que os médicos fazem todos os dias

and I think this technology we've invented has a lot of potential

e penso que esta tecnologia que inventámos tem muito potencial

for many different things in medical training, because it's really simple

para a formação médica, porque é muito simples

and it does a great job at recreating what people feel through tools.

e recria o que as pessoas sentem, através de utensílios.

I think it could also help make games more interactive and fun

Penso que pode ajudar a fazer jogos mais interativos e divertidos

and more realistic in the sensations that you feel.

e mais realistas, nas sensações que experimentamos.

The last example I want to tell you about is again about human movement.

O último exemplo que quero dar é sobre o movimento humano.

So if any of you have ever learned sports,

Se algum de vocês já praticou desporto,

how do you get good at something like surfing?

como melhoramos numa coisa como o "surf"?

You practice.

Praticamos.

You practice some more and more, right?

Praticamos cada vez mais, não é?

Making small corrections, maybe getting some input from a coach,

Fazendo pequenas correções, recebendo instruções de um treinador,

learning how to improve your motions.

aprendendo a melhorar os movimentos.

I think we could use computers

Podemos usar computadores

to help make that process more efficient and more fun.

para este processo ser mais eficaz e mais divertido.

And so here, for example, if I have six different arm movements

Por exemplo, se eu tiver seis movimentos diferentes dos braços

that I want you to learn,

que quero que vocês aprendam,

you come into my lab at Penn and try out our system.

vocês vão ao meu laboratório na Pensilvânia e usam o nosso sistema.

We use a Kinect to measure your motions, we show graphics on the screen,

Temos um Kinect para medir os movimentos, mostramos gráficos no ecrã,

and then we also give you touch cues,

e depois damos-vos pistas de toque,

haptic feedback on your arm,

um "feedback" háptico do braço,

delivered by these haptic arm bands which have motors inside,

realizado por estas bandas hápticas de braços que têm motores no interior

and guide you as you move.

e vos guiarão enquanto se movem.

So, if we put it together,

Se pusermos tudo junto,

as you're trying to track this motion,

enquanto estão a tentar seguir este movimento,

if you deviate -- say, maybe, your arm is a little too high --

se vocês se desviam — por exemplo, o braço está demasiado alto —

we turn on the motors right there on the skin

ligamos os motores aqui mesmo na pele

to let you know you should move down,

para vocês saberem que têm que o baixar,

almost like a coach gently guiding you

como um treinador que vos guia

and helping you master these movements more quickly

e vos ajuda a dominar esses movimentos mais rapidamente

and make more precise corrections.

e a fazer correções mais precisas.

We developed this system for use in stroke rehabilitation,

Desenvolvemos este sistema para uso em reabilitações de AVC

but I think there are a lot of applications,

mas penso que tem muitas aplicações

como no treino de dança, ou em todo o tipo de desportos.

like maybe dance training or all sorts of sports training as well.

So now you know a little bit about the field of haptics,

Ficaram a saber alguma coisa sobre a área da háptica

which I think you'll hear more about in the coming years.

e penso que irão ouvir falar dela nos próximos anos.

I've shown you three examples.

Mostrei-vos três exemplos.

I just want to take a moment

Quero aproveitar o momento

to acknowledge the great students who work with me in my lab at Penn

para agradecer aos ótimos alunos e colaboradores

que trabalham comigo no laboratório da Pensilvânia

and my collaborators.

They're a great group.

São um grupo fantástico.

I also want to thank you for your kind attention.

Também quero agradecer a vossa simpática atenção.

(Applause)

(Aplausos)