Haptography: Digitizing our sense of touch - Katherine Kuchenbecker

Translator: Andrea McDonough Reviewer: Morton Bast

Tradutor: Leonardo Silva Revisor: Wanderley Jesus

I'm a mechanical engineering professor

Sou professora de engenharia mecânica,

at the University of Pennsylvania,

na Universidade da Pensilvânia,

and my favorite hobby is photography.

e meu hobby favorito é a fotografia.

And as I travel around the world,

E quando viajo pelo mundo,

adoro tirar fotos como estas,

I love taking photographs like these,

so I can remember all the beautiful and interesting things

para poder recordar todas as coisas bonitas

e interessantes que eu vi.

that I've seen.

But what I can't do is record and share

Mas o que não consigo fazer é registrar e compartilhar

como é sentir esses objetos ao toque.

how these objects feel to touch.

And that's kind of surprising,

Isso é meio surpreendente,

because your sense of touch is really important.

porque o sentido do tato é muito importante.

It's involved in every physical interaction you do every day,

Ele participa em todas as interações físicas que realizamos todos os dias,

toda atividade que envolva manipulação,

every manipulation task, anything you do in the world.

o que quer que venhamos a fazer.

So the sense of touch is actually pretty interesting.

O sentido do tato é, de fato, bastante interessante.

It has two main components.

Ele possui dois componentes principais.

The first is tactile sensations,

O primeiro é a sensação tátil,

things you feel in your skin.

as coisas que você sente em sua pele,

And the second is kinesthetic sensations.

e o segundo é a sensação cinestésica,

This has to do with the position of your body and how it's moving,

e isso está relacionado com a posição do seu corpo,

e como ele se movimenta,

and the forces you encounter.

e as forças com que se depara.

And you're really good at incorporating

E somos muito bons em unir

both of these types of sensations together

esses dois tipos de sensação,

to understand the physical interactions you have with the world

na percepção das interações físicas

que temos com o mundo,

and understand as you touch a surface:

e para reconhecer, ao tocarmos uma superfície:

is it a rock, is it a cat, is it a bunny, what is it?

"Isso é uma pedra? É um gato? Um coelho? O que é isso?"

And so, as an engineer,

Então, como engenheira, sou realmente fascinada

I'm really fascinated

and I have a lot of respect for how good people are with their hands.

e respeito muito

a agilidade que as pessoas têm com suas mãos.

And I'm intrigued and curious

E fico intrigada e curiosa

about whether we could make technology better

se seria possível melhorarmos a tecnologia,

trabalhando mais para alavancar

by doing a better job at leveraging

the human capability with the sense of touch.

a capacidade humana no que diz repeito ao tato.

Seria possível melhorar as interfaces de computadores e máquinas,

Could I improve the interfaces to computers and machines

permitindo que pudéssemos usar nossas mãos?

by letting you take advantage of your hands?

And indeed, I think we can,

De fato, acho que é possível,

and that's at the core of a field called haptics,

e essa é a tarefa mais importante de uma área chamada "háptica",

and this is the area that I work in.

e é nessa área que trabalho.

It's all about interactive touch technology.

Está relacionada com tecnologias de toque interativas.

And the way it works is,

E funciona assim:

as you move your body through the world,

ao nos movermos por aí,

if, as an engineer, I can make a system that can measure that motion,

já que sou engenheira e posso criar um sistema

que consiga medir esse movimento,

and then present to you sensations over time

e fazer você experimentar sensações ao longo do tempo

that kind of make sense,

que meio que façam sentido,

that match up with what you might feel in the real world,

que sejam equivalentes ao que sentiríamos no mundo real,

I can fool you into thinking you're touching something

posso fazê-los acreditarem que estão tocando em algo

mesmo quando não estão tocando em nada.

even though there's nothing there.

So here are three examples

Muito bem. Então, temos aqui três exemplos

and these are all done from research in my lab at Penn.

e eles foram todos feitos através de pesquisa, no meu laboratório, na universidade.

The first one is all about that same problem that I was showing you:

O primeiro tem tudo a ver com

aquele mesmo problema que mostrei a vocês:

how can we capture how objects feel

como podemos capturar a impressão do toque dos objetos

and recreate those experiences?

e reproduzi-la?

So the way we solve this problem

Então, podemos resolver esse problema

is by creating a hand-held tool

criando uma ferramenta manual

that has many different sensors inside.

que possui diversos sensores internos.

It has a force sensor, so we can tell how hard you're pushing;

Ela tem um sensor de força,

para medirmos a pressão exercida ao toque,

it has motion tracking, so we can tell exactly where you've moved it;

tem sensores de movimento,

para detectarmos exatamente o movimento que fez com ela,

e tem um sensor de vibração,

and it has a vibration sensor, an accelerometer, inside,

um acelerômetro interno,

que detecta o chacoalhar da ferramenta,

that detects the shaking back and forth of the tool

that lets you know that's a piece of canvas

o que permite identificar quando se trata de tela

and not a piece of silk or something else.

e não de um pedaço de seda ou outra coisa qualquer.

Then we take the data we record from these interactions.

Aí, pegamos os dados que gravamos

nestas interações.

Here's ten seconds of data.

Aqui temos 10 segundos de dados.

You can see how the vibrations get larger and smaller,

Dá pra ver como as vibrações aumentam e diminuem,

depending on how you move.

dependendo de como nos mexemos.

And we make a mathematical model of those relationships

E criamos um modelo matemático para essas interações

and program them into a tablet computer

e o colocamos num "tablet",

so that when you take the stylus

para que, ao usarmos a caneta

para tocar a tela,

and go and touch the screen,

that voice-coil actuator in the white bracket

aquele dispositivo de som na presilha branca

plays vibrations to give you the illusion

reproduza vibrações para dar a impressão

that you're touching the real surface,

de que você está tocando uma superfície real,

just like if you touched, dragged back and forth, on the real canvas.

como se tocasse e rabiscasse

uma tela de verdade.

We can create very compelling illusions.

É possível criar impressões muito convincentes.

We can do this for all kinds of surfaces and it's really a lot of fun.

É possível fazer isso com todo tipo de superfícies

é isso é muito divertido.

We call it haptography -- haptic photography.

É o que chamamos de haptografia,

ou fotografia háptica.

And I think it has potential benefits in all sorts of areas

E acho que isso traz grandes benefícios

em diversas áreas, como compras "online",

like online shopping, maybe interactive museum exhibits,

ou exposições de museu interativas,

where you're not supposed to touch the precious artifacts,

em que você não pode tocar

peças de valor, como é natural querermos fazer.

but you always want to.

The second example I want to tell you about comes from a collaboration I have

O segundo exemplo que quero mostrar

surgiu de uma parceria que tenho

with Dr. Margrit Maggio at the Penn Dental School.

com a Dra. Margritt Maggio, na escola de odontologia da Universidade da Pensilvânia.

Part of her job is to teach dental students

Parte de seu trabalho é ensinar alunos de odonto

a identificar cáries na boca

how to tell where in a patient's mouth there are cavities.

de pacientes.

Claro que eles usam radiografias,

Of course they look at X-rays,

but a large part of this clinical judgment comes from what they feel

mas grande parte dessa avaliação clínica

vem daquilo que sentem

when they touch your teeth with a dental explorer.

quando tocam nossos dentes com um instrumento odontológico.

Vocês já passaram por isso. Eles olham tudo.

You've all had this happen, they go across.

Eles querem sentir se o dente está firme o bastante,

What they're feeling for is if the tooth is really hard, then it's healthy,

porque aí está saudável,

but if it's kind of soft and sticky,

mas se estiver meio mole e pegajoso,

that's a signal that the enamel is starting to decay.

é sinal de que o esmalte está começando cariar.

These types of judgments are hard for a new dental student to make,

Essas avaliações são difíceis de fazer

para um aluno de odonto,

because they haven't touched a lot of teeth yet.

porque não tocou em muitos dentes ainda.

And you want them to learn this before they start practicing

Eles precisam aprender isso

antes de começarem a praticar em pacientes de verdade.

on real human patients.

So what we do is add an accelerometer on to the dental explorer,

O que fazemos é acoplar um acelerômetro

ao instrumento odontológico

e registramos o que a Dra. Maggio sente

and then we record what Dr. Maggio feels

enquanto toca em vários dentes extraídos.

as she touches different extracted teeth.

And we can play it back for you as a video

E podemos reproduzir isso para vocês num vídeo

with a touch track --

com uma trilha de toque.

not just a sound track, but also a touch track,

Não apenas uma trilha sonora, mas também uma trilha de toque

that you can feel by holding that repeating tool.

que você pode sentir ao segurar o simulador.

Você vai sentir as mesmas sensações

You feel the same things the dentist felt when they did the recording,

que o dentista sentiu quando a gravação foi feita

and practice making judgments.

e praticar o diagnóstico de cáries.

Aqui temos uma amostra.

So here's a sample one.

Here's a tooth that looks kind of suspicious, right?

Este é um dente que parece meio suspeito, não?

It has all those brown stains.

Tem essas manchas escuras

You might be thinking, "We should definitely put a filling in this tooth."

e deve estar pensando:

"Ah, esse dente precisa ser obturado".

But if you pay attention to how it feels,

Mas na verdade, se avaliá-lo a partir do toque,

all the surfaces of this tooth are hard and healthy,

toda a superfície desse dente está firme e saudável

so this patient does not need a filling.

e por isso o paciente não precisa de obturação.

And these are exactly the kind of judgments doctors make every day

São exatamente essas avaliações

que os dentistas fazem todos os dias

and I think this technology we've invented has a lot of potential

e acredito que a tecnologia que criamos

é bastante promissora em diversas áreas

for many different things in medical training, because it's really simple

de treinamento médico, porque é bem simples

e é ótima em recriar

and it does a great job at recreating what people feel through tools.

o que se sente ao usar instrumentos.

Também acho que pode ser útil na criação de jogos

I think it could also help make games more interactive and fun

mais interativos e divertidos

e mais realistas no que diz respeito a sensações.

and more realistic in the sensations that you feel.

The last example I want to tell you about is again about human movement.

O último exemplo que quero mostrar

também tem a ver com movimento humano.

So if any of you have ever learned sports,

Caso já tenham praticado esportes,

how do you get good at something like surfing?

sabe, como você faz para ser bom no surf?

You practice.

Praticando.

You practice some more and more, right?

Praticando constantemente, certo?

Making small corrections, maybe getting some input from a coach,

Fazendo pequenas correções,

às vezes recebendo dicas de um treinador,

learning how to improve your motions.

aprendendo a melhorar seus movimentos.

I think we could use computers

Acho que podemos usar computadores

para fazer com que esse processo seja mais divertido e eficiente.

to help make that process more efficient and more fun.

And so here, for example, if I have six different arm movements

Aqui, por exemplo,

se tenho seis movimentos de braço diferentes

that I want you to learn,

que quero que vocês aprendam,

you come into my lab at Penn and try out our system.

vocês vão ao meu laboratório na universidade

e experimentam nosso sistema.

We use a Kinect to measure your motions, we show graphics on the screen,

Usamos um sensor para detectar seus movimentos,

mostramos imagens na tela

and then we also give you touch cues,

e damos a você sugestões de toque,

haptic feedback on your arm,

impressões hápticas, no seu braço,

delivered by these haptic arm bands which have motors inside,

através dessas braçadeiras hápticas,

que possuem motores internos

and guide you as you move.

que guiam você enquanto se move.

So, if we put it together,

Depois disso tudo,

as you're trying to track this motion,

quando estiver tentando imitar os movimentos,

se você se desviar,

if you deviate -- say, maybe, your arm is a little too high --

talvez seu braço esteja muito pra cima,

ligamos os motores que estão em contato com a pele

we turn on the motors right there on the skin

to let you know you should move down,

para te avisar: "Ei, precisa baixar o braço".

Quase como um treinador guiando

almost like a coach gently guiding you

e ajudando você a aperfeiçoar os movimentos de forma mais rápida

and helping you master these movements more quickly

e a fazer correções mais precisas.

and make more precise corrections.

We developed this system for use in stroke rehabilitation,

Desenvolvemos esse sistema para reabilitar vítimas de derrame,

but I think there are a lot of applications,

mas acho que há diversas outras aplicações,

como talvez em treinamento de dança

like maybe dance training or all sorts of sports training as well.

ou em todo tipo de treinamentos esportivos.

So now you know a little bit about the field of haptics,

Então, agora vocês conhecem um pouco

sobre o campo da háptica,

e acredito que vocês vão ouvir falar mais sobre isso nos próximos anos.

which I think you'll hear more about in the coming years.

I've shown you three examples.

Mostrei três exemplos

e quero apenas aproveitar

I just want to take a moment

para agradecer a todos os grandes alunos

to acknowledge the great students who work with me in my lab at Penn

que trabalham comigo no laboratório da universidade

and my collaborators.

e aos meus colaboradores.

They're a great group.

Eles são uma ótima equipe.

E também quero agradecer a vocês pela atenção.

I also want to thank you for your kind attention.

(Aplausos)

(Applause)