Unveiling the genius of multi-touch interface design | Jeff Han

Jeff Han présente son écran tactile révolutionnaire.

Traducteur: eric vautier Relecteur: Isabel Lopez

I'm really excited to be here today.

Je suis vraiment content d'être ici aujourd'hui,

I'll show you some stuff that's just ready to come out of the lab,

pour vous montrer ce qui va tout juste de sortir de nos laboratoires,

literally, and I'm really glad that you guys

littéralement, et je suis heureux que vous soyez les premiers à pouvoir

are going to be among the first to see it in person,

le voir en direct, car je pense vraiment que cela va changer

because I really think this is going to really change

-- vraiment changer -- notre manière d'interagir avec les machines.

the way we interact with machines from this point on.

Now, this is a rear-projected drafting table.

Voici une table à dessin rétro-projetée. Elle fait 91 cm de diagonale,

It's about 36 inches wide

and it's equipped with a multi-touch sensor.

et est équipée d'un capteur multi-points. Les capteurs tactiles ordinaires,

Normal touch sensors that you see,

présents dans les bornes ou les tableaux blancs interactifs,

like on a kiosk or interactive whiteboards,

can only register one point of contact at a time.

ne peuvent capter qu'un seul point à la fois.

This thing allows you to have multiple points at the same time.

Ceci vous permet de capter plusieurs points à la fois.

They can use both my hands; I can use chording actions;

Je peux utiliser mes deux mains, je peux faire un accord,

I can just go right up and use all 10 fingers if I wanted to.

ou encore mieux utiliser mes dix doigts à la fois.

You know, like that.

Comme cela.

Now, multi-touch sensing isn't completely new.

Les capteurs multi-points ne sont pas complètement nouveaux.

People like Bill Buxton have been playing around with it in the '80s.

Des personnes comme Bill Buxton s'en sont servi dans les années 80.

However, the approach I built here is actually high-resolution,

Cependant, mon approche se sert de la haute résolution,

low-cost, and probably most importantly, very scalable.

est peu chère, et sûrement le plus important, très évolutive.

So, the technology, you know,

La chose la plus excitante ici n'est donc pas la technologie,

isn't the most exciting thing here right now,

other than probably its newfound accessibility.

mais surtout les nouvelles possibilités d'accès.

What's really interesting here is what you can do with it

Ce qui est vraiment intéressant est ce que l'on peut en faire,

and the kind of interfaces you can build on top of it.

et le type d'interfaces que l'on peut construire. Voyons ça.

So let's see.

So, for instance, we have a lava lamp application here.

Par exemple, voici une application de lampe à lave. Vous voyez,

Now, you can see,

I can use both of my hands to kind of squeeze and put the blobs together.

j'utilise mes deux mains pour presser les bulles de lave les unes contre les autres.

I can inject heat into the system here,

Je peux injecter de la chaleur dans le système,

or I can pull it apart with two of my fingers.

ou le diviser avec deux doigts.

It's completely intuitive; there's no instruction manual.

C'est complètement intuitif, il n'y a pas de mode d'emploi.

L'interface devient transparente.

The interface just kind of disappears.

This started out as a screensaver app

Ceci a débuté sous la forme d'un économiseur d'écran fait par un des étudiants

that one of the Ph.D. students in our lab, Ilya Rosenberg, made.

de notre laboratoire, Ilya Rosenberg. Mais sa véritable identité émerge ici.

But I think its true identity comes out here.

Now what's great about a multi-touch sensor is that, you know,

Ce qui est génial dans un capteur multi-point, c'est

I could be doing this with as many fingers here,

que je peux faire cela avec autant de doigts que je veux,

but of course multi-touch also inherently means multi-user.

mais aussi, sous-entendu, avec plusieurs utilisateurs.

Chris could be interacting with another part of Lava,

Chris peut donc interagir avec une autre partie de la lave,

while I play around with it here.

pendant que je joue ici. On peut imaginer un nouvel outil de sculpture,

You can imagine a new kind of sculpting tool,

where I'm kind of warming something up, making it malleable,

en chauffant la matière, la rendant malléable,

and then letting it cool down and solidifying in a certain state.

puis en la laissant refroidir et se solidifier dans un certain état.

Google should have something like this in their lobby.

Google devrait avoir quelque chose comme ça dans leur hall. (Rires)

(Laughter)

I'll show you a little more of a concrete example here,

Je vais vous montrer -- un exemple un peu plus concret, pendant que cela charge.

as this thing loads.

This is a photographer's light-box application.

Voici une application de table lumineuse pour photographe.

Again, I can use both of my hands to interact and move photos around.

Ici encore, je peux utiliser mes deux mains pour interagir et bouger les photos.

But what's even cooler is that if I have two fingers,

Encore mieux: avec deux doigts,

I can actually grab a photo and then stretch it out like that really easily.

je peux prendre une photo et l'étirer comme cela très facilement.

I can pan, zoom and rotate it effortlessly.

Je peux faire un panoramique, zoomer ou la tourner sans effort.

I can do that grossly with both of my hands,

Je peux faire cela grossièrement avec mes deux mains,

or I can do it just with two fingers on each of my hands together.

ou juste avec deux doigts de chacune de mes mains en même temps.

If I grab the canvas, I can do the same thing -- stretch it out.

Si je prends l'ensemble, je peux faire la même chose -- l'étirer.

I can do it simultaneously, holding this down,

Je peux le faire en même temps, où je tiens ceci en bas,

and gripping on another one, stretching this out.

et je saisis l'autre côté, en l'étirant ainsi.

Again, the interface just disappears here.

A nouveau, l'interface devient transparente.

There's no manual.

Pas de mode d'emploi. C'est exactement que l'on attend,

This is exactly what you expect,

especially if you haven't interacted with a computer before.

surtout si vous ne vous êtes jamais servi d'un ordinateur auparavant.

Now, when you have initiatives like the $100 laptop,

Avec des initiatives comme l'ordinateur à 100 dollars,

I kind of cringe at the idea

l'idée me hérisse que nous créions une nouvelle génération

of introducing a whole new generation to computing

d'utilisateurs se servant de l'interface standard que sont la souris et les fenêtres.

with this standard mouse-and-windows-pointer interface.

This is something that I think is really the way

Je pense que ceci est vraiment la manière dont nous devrions interagir avec les

we should be interacting with machines from now on.

machines désormais. (Applaudissements)

(Applause)

Now, of course, I can bring up a keyboard.

Bien sûr, je peux ajouter un clavier.

(Laughter)

And I can bring that around, put that up there.

Et cela aussi, placer cela ici, et ça là.

Obviously, this is a standard keyboard,

Évidemment, c'est un clavier standard,

but of course I can rescale it to make it work well for my hands.

mais je peux le redimensionner pour qu'il soit adapté à mes mains.

That's really important, because there's no reason in this day and age

C'est vraiment important, il n'y a plus de raison de nos jours pour

that we should be conforming to a physical device.

que nous soyons obligés de notre adapter à un équipement.

That leads to bad things, like RSI.

Cela peut générer des troubles musculosquelettiques.

We have so much technology nowadays

La technologie étant si présente de nos jours,

that these interfaces should start conforming to us.

les interfaces devraient commencer à s'adapter à nous.

There's so little applied now to actually improving

Très peu a été fait pour améliorer

the way we interact with interfaces from this point on.

la manière d'interagir avec les interfaces de travail.

This keyboard is probably actually the really wrong direction to go.

Ce clavier ne va très certainement pas dans la bonne direction.

You can imagine, in the future, as we develop this kind of technology,

Vous pouvez imaginer, plus tard, quand cette technologie sera mature,

a keyboard that kind of automatically drifts as your hand moves away,

un clavier qui dérive en même temps que vos mains se déplacent,

and really intelligently anticipates which key you're trying to stroke.

qui anticipe intelligemment sur quelle touche vous essayez de taper.

So -- again, isn't this great?

N'est-ce pas génial?

(Laughter)

Public : Où est votre laboratoire?

Audience: Where's your lab?

Jeff Han: I'm a research scientist at NYU in New York.

Jeff Han : Je suis un chercheur de l'Université de New York.

Here's an example of another kind of app. I can make these little fuzz balls.

Voici un autre exemple d'application. Prenez ces petites boules.

It'll remember the strokes I'm making.

Elles retiendront mes mouvements. Bien sûr, je peux le faire avec mes deux mains.

Of course I can do it with all my hands.

It's pressure-sensitive.

Elles sont sensibles à la pression, comme vous le voyez.

What's neat about that is,

Mais ce qui super, à nouveau, c'est ce geste avec deux doigts pour

I showed that two-finger gesture that zooms in really quickly.

zoomer très rapidement. Puisque vous n'avez pas à passer sur un outil manuel

Because you don't have to switch to a hand tool

or the magnifying glass tool,

ou la loupe,

vous pouvez faire des choses sans vous arrêter, à plusieurs échelles, en même temps.

you can just continuously make things

in real multiple scales, all at the same time.

I can create big things out here,

Je peux créer de grands objets ici, mais je peux retourner très vite

but I can go back and really quickly go back

to where I started, and make even smaller things here.

au début, et créer des objets encore plus petits ici.

This is going to be really important

Ceci va devenir très important avec le développement de la

as we start getting to things like data visualization.

visualisation des données. Par exemple, rappelez-vous la présentation de Hans Rosling

For instance, I think we all enjoyed Hans Rosling's talk,

and he really emphasized the fact I've been thinking about for a long time:

où il a vraiment mis l'accent sur ce que je pense depuis longtemps :

We have all this great data,

nous avons des données nombreuses, mais, pour diverses raisons, inexploitées.

but for some reason, it's just sitting there.

We're not accessing it.

Nous n'y accédons pas vraiment. C'est pourquoi, à mon avis,

And one of the reasons why I think that is

will be helped by things like graphics and visualization and inference tools,

nous serons aidés par des graphiques et des outils de visualisation et d'inférence.

but I also think a big part of it

Je pense donc que tout ça commencera grâce à de meilleures interfaces

is going to be having better interfaces,

to be able to drill down into this kind of data,

capables d'aller dans le détail des données, tout en pensant à la vue globale, ici.

while still thinking about the big picture here.

Let me show you another app here. This is called WorldWind.

Voici une autre application. Elle s'appelle WorldWind.

It's done by NASA.

C'est fait par la NASA. C'est -- nous avons tous vu Google Earth,

We've all seen Google Earth;

this is an open-source version of that.

c'est une version en logiciel libre. Il y a des connecteurs capables

There are plug-ins to be able to load in different data sets

de charger différents ensembles de données que la NASA a amassés au fil des ans.

that NASA's collected over the years.

As you can see, I can use the same two-fingered gestures

Mais comme vous le voyez, je peux utiliser les mêmes gestes des doigts

pour zoomer en profondeur sans rupture. Pas d'interface, à nouveau.

to go down and go in really seamlessly.

There's no interface, again.

It really allows anybody to kind of go in --

Cela permet à n'importe qui de zoomer -- cela fait ce à quoi vous vous attendez,

and it just does what you'd expect, you know?

vous voyez? Encore, pas d'interface. Elle disparaît tout simplement.

Again, there's just no interface here. The interface just disappears.

I can switch to different data views.

Je peux passer d'une vue à l'autre. C'est ce qui super avec cette application.

That's what's neat about this app here.

NASA's really cool.

Voilà. La NASA est vraiment sympa. Ils ont ces images hyper-spectrales

These hyper-spectral images are false-colored so you can --

qui sont colorisées pour -- c'est vraiment pratique pour déterminer l'usage végétal. Bref, revenons à notre sujet.

it's really good for determining vegetative use.

Well, let's go back to this.

Le grand intérêt des applications de cartographies --

The great thing about mapping applications --

ce n'est pas en 2D, plutôt en 3D. A nouveau, avec une interface multi-points,

it's not really 2D, it's 3D.

So, again, with a multi-point interface, you can do a gesture like this --

vous pouvez faire un geste ainsi -- et être capable d'incliner comme ça,

so you can be able to tilt around like that --

(Surprised laughter)

Ce n'est vraiment pas qu'un simple mouvement de déplacement en 2D.

It's not just simply relegated to a kind of 2D panning and motion.

This gesture is just putting two fingers down --

Ce geste que nous avons développé, à nouveau, juste avec deux doigts,

it's defining an axis of tilt -- and I can tilt up and down that way.

définit un axe d'inclinaison et vous pouvez incliner vers le haut ou le bas ainsi.

We just came up with that on the spot,

C'est venu naturellement sur le moment,

it's probably not the right thing to do,

ce n'est probablement pas la bonne chose à faire,

but there's such interesting things you can do with this interface.

mais vous pouvez faire tellement de choses intéressantes avec ces interfaces.

It's just so much fun playing around with it, too.

C'est aussi très amusant de jouer avec. (Rires)

(Laughter)

And so the last thing I want to show you is --

La dernière chose que je veux vous montrer est --

I'm sure we can all think of a lot of entertainment apps

je suis sûr que nous pouvons tous imaginer des applications de

that you can do with this thing.

divertissement avec ceci.

I'm more interested in the creative applications we can do with this.

Je suis un peu plus intéressé par les applications créatives.

Now, here's a simple application here -- I can draw out a curve.

Enfin, voici une application toute simple -- Je dessine une courbe.

And when I close it, it becomes a character.

Quand je la ferme, cela devient un personnage.

But the neat thing about it is I can add control points.

Le truc sympa, c'est que je peux ajouter des points de contrôle.

And then what I can do is manipulate them with both of my fingers at the same time.

Ensuite, je peux les manipuler avec mes deux doigts en même temps.

And you notice what it does.

Regardez ce qui se passe.

It's kind of a puppeteering thing,

C'est comme une marionnette, où j'utilise

where I can use as many fingers as I have to draw and make --

tous les doigts possibles pour dessiner et créer --

Now, there's a lot of actual math going on under here

Il y a beaucoup de calculs derrière

for this to control this mesh and do the right thing.

pour arriver à contrôler cet engrenage et obtenir le résultat voulu.

This technique of being able to manipulate a mesh here, with multiple control points,

En clair, cette technique pour manipuler ici un engrenage,

avec plusieurs points de contrôle, est en fait l'état de l'art.

is actually state of the art.

It was released at SIGGRAPH last year.

Cela vient juste de sortir à Siggraph l'an dernier,

It's a great example of the kind of research I really love:

mais c'est un super exemple du type de recherche que j'aime.

Toute cette puissance de calcul pour faire des choses utiles.

all this compute power to make things do the right things,

intuitive things, to do exactly what you expect.

Intuitivement. Exactement ce que vous attendez.

So, multi-touch interaction research is a very active field right now in HCI.

La recherche sur l'interaction multi-point est très active en ce moment dans le domaine des interfaces homme-machine

I'm not the only one doing it, a lot of other people are getting into it.

Je ne suis pas tout seul, beaucoup de gens s'y mettent.

This kind of technology is going to let even more people get into it,

Cette technologie permettra à plus de gens de s'y mettre,

I'm looking forward to interacting with all of you over the next few days

je suis très impatient d'interagir avec vous tous

dans les jours à venir et de voir comme cela pourra s'appliquer dans vos domaines respectifs.

and seeing how it can apply to your respective fields.

Merci.

Thank you.

(Applaudissements)

(Applause)