Unveiling the genius of multi-touch interface design | Jeff Han

Traduttore: Michele Gianella Revisore: Paolo Chiti

I'm really excited to be here today.

Sono davvero contento di essere qui, oggi,

I'll show you some stuff that's just ready to come out of the lab,

e mostrarvi una cosa pronta ad uscire dal laboratorio,

literally, and I'm really glad that you guys

e sono molto contento che voi siate tra i primi

are going to be among the first to see it in person,

a poterla vedere di persona. Penso davvero, infatti,

because I really think this is going to really change

che cambierà il modo in cui interagiremo con le macchine da ora in poi.

the way we interact with machines from this point on.

Now, this is a rear-projected drafting table.

Questo é un tavolo da disegno retro-proiettato, largo circa 36 pollici,

It's about 36 inches wide

and it's equipped with a multi-touch sensor.

ed è dotato di un sensore multi touch. Ora, i sensori dei touchscreen tradizionali,

Normal touch sensors that you see,

che trovate per esempio nei chioschi o nelle lavagne interattive,

like on a kiosk or interactive whiteboards,

can only register one point of contact at a time.

registrano un solo punto di contatto alla volta.

This thing allows you to have multiple points at the same time.

Qui invece i punti di contatto possono esssere multipli.

They can use both my hands; I can use chording actions;

Si possono usare entrambe le mani, fare azioni coordinate,

I can just go right up and use all 10 fingers if I wanted to.

e, volendo, usare tutte le dieci dita.

You know, like that.

Così.

Now, multi-touch sensing isn't completely new.

La tecnologia multi-touch non è completamente nuova:

People like Bill Buxton have been playing around with it in the '80s.

Bill Buxton se ne era già occupato negli anni ’80.

However, the approach I built here is actually high-resolution,

Tuttavia, questo prototipo ha un'alta risoluzione,

low-cost, and probably most importantly, very scalable.

un basso costo, e soprattutto é molto scalabile.

So, the technology, you know,

La cosa più esaltante qui, non é tanto la tecnologia in sé,

isn't the most exciting thing here right now,

other than probably its newfound accessibility.

quanto la facilità d'uso,

What's really interesting here is what you can do with it

le cose che ci si possono fare,

and the kind of interfaces you can build on top of it.

e l'interfaccia che puoi costruirci sopra.

So let's see.

So, for instance, we have a lava lamp application here.

Per esempio, qui abbiamo un’applicazione della LavaLamp. Come potete vedere,

Now, you can see,

I can use both of my hands to kind of squeeze and put the blobs together.

posso utilizzare entrambi le mani per strizzare ed unire le bolle,

I can inject heat into the system here,

posso "iniettare calore" qui,

or I can pull it apart with two of my fingers.

posso separarle, usando due dita.

It's completely intuitive; there's no instruction manual.

E' completamente intuitivo, non serve un manuale.

L'interfaccia scompare, in un certo senso.

The interface just kind of disappears.

This started out as a screensaver app

E' nato come salvaschermo realizzato nel nostro laboratorio

that one of the Ph.D. students in our lab, Ilya Rosenberg, made.

da un nostro studente come tesi per il Ph.D., Ilva Rosemberg, ma qui dà il suo meglio, trovo.

But I think its true identity comes out here.

Now what's great about a multi-touch sensor is that, you know,

Ora, una grande qualità di un sensore multi-touch è

I could be doing this with as many fingers here,

la libertà di usare più dita.

but of course multi-touch also inherently means multi-user.

Ma multi-touch significa, anche, multi utente.

Chris could be interacting with another part of Lava,

Quindi Chris potrebbe lavorare con una parte di Lava

while I play around with it here.

mentre io gioco con un'altra. Si potrebbe farne uno strumento di modellazione,

You can imagine a new kind of sculpting tool,

where I'm kind of warming something up, making it malleable,

che mi permette di scaldare qualcosa per renderla malleabile,

and then letting it cool down and solidifying in a certain state.

e poi di raffreddarla solidificandola in una forma.

Google should have something like this in their lobby.

Google dovrebbe mettere qualcosa del genere, nell'atrio. (Risate)

(Laughter)

I'll show you a little more of a concrete example here,

Vi mostrerò qui un esempio un pò più concreto ... appena si carica.

as this thing loads.

This is a photographer's light-box application.

Questa applicazione permette di manipolare una galleria d immagini.

Again, I can use both of my hands to interact and move photos around.

Agendo con due mani, posso muovere le foto,

But what's even cooler is that if I have two fingers,

ma la cosa ancora più interessante è che, con due dita,

I can actually grab a photo and then stretch it out like that really easily.

posso afferrare una foto e ingrandirla così, molto semplicemente.

I can pan, zoom and rotate it effortlessly.

La sposto, la ruoto, la giro senza sforzo.

I can do that grossly with both of my hands,

Posso farlo "grossolanamente", con le due mani,

or I can do it just with two fingers on each of my hands together.

oppure con due dita di ciascuna mano allo stesso tempo.

If I grab the canvas, I can do the same thing -- stretch it out.

Posso fare la stessa cosa con lo sfondo, deformandolo.

I can do it simultaneously, holding this down,

Posso farlo mentre tengo fermo questo

and gripping on another one, stretching this out.

e prendendo quest'altro, contemporaneamente, deformarlo così.

Again, the interface just disappears here.

Anche qui, l'interfaccia non interferisce,

There's no manual.

Non c'é bisogno di manuali, fa esattamente quello che uno si aspetta che faccia,

This is exactly what you expect,

especially if you haven't interacted with a computer before.

specialmente se l'utente è un neofita.

Now, when you have initiatives like the $100 laptop,

Ora, quando penso al laptop da 100 $,

I kind of cringe at the idea

tremo al pensiero che una nuova generazione di utenti

of introducing a whole new generation to computing

si abitui ad interfacce di mouse e finestre.

with this standard mouse-and-windows-pointer interface.

This is something that I think is really the way

Trovo sia questo il modo di interagire con le macchine da adottare (Applausi)

we should be interacting with machines from now on.

da ora in poi (Applausi)

(Applause)

Now, of course, I can bring up a keyboard.

Naturalmente, posso far apparire una tastiera,

(Laughter)

And I can bring that around, put that up there.

spostarla, lasciarla qui.

Obviously, this is a standard keyboard,

E' una tastiera standard,

but of course I can rescale it to make it work well for my hands.

ma posso adattarla alle dimensioni delle mie mani.

That's really important, because there's no reason in this day and age

Il che é fondamentale. Non si capisce, infatti, perchè ancora oggi

that we should be conforming to a physical device.

ci si debba adattare alle dimensioni di un oggetto fisico,

That leads to bad things, like RSI.

con tutti i problemi, come la RSI (danno da sforzo prolungato), che ne derivano.

We have so much technology nowadays

Con tutta la tecnologia che abbiamo, sono le interfacce fisiche

that these interfaces should start conforming to us.

che dovrebbero adeguarsi a noi (e non viceversa).

There's so little applied now to actually improving

Ma si sta lavorando davvero poco

the way we interact with interfaces from this point on.

sul modo in cui interagiamo con le interfacce.

This keyboard is probably actually the really wrong direction to go.

La tastiera tradizionale é probabilmente il modo sbagliato di procedere.

You can imagine, in the future, as we develop this kind of technology,

Sviluppando la nostra tecnologia si può immaginare, in futuro,

a keyboard that kind of automatically drifts as your hand moves away,

una tastiera mobile che segue le dita,

and really intelligently anticipates which key you're trying to stroke.

anticipando quale sia il prossimo tasto usato,

So -- again, isn't this great?

Quindi ... non è fantastico?

(Laughter)

Pubblico: Dov'é il tuo laboratorio?

Audience: Where's your lab?

Jeff Han: I'm a research scientist at NYU in New York.

Jeff Han: - Sono un ricercatore alla New York University.

Here's an example of another kind of app. I can make these little fuzz balls.

Questa é un'altra applicazione. Posso creare puntini animati.

It'll remember the strokes I'm making.

il programma ricorda l'operazione precedente, e naturalmente posso farlo con tutte e due le mani.

Of course I can do it with all my hands.

It's pressure-sensitive.

Notate che è sensibile alla pressione.

What's neat about that is,

ma la cosa più bella è che posso zoomare con due dita,

I showed that two-finger gesture that zooms in really quickly.

con rapidità. Non serve selezionare uno strumento

Because you don't have to switch to a hand tool

or the magnifying glass tool,

o una lente di ingrandimento,

e si può operare a scale diverse contemporaneamente.

you can just continuously make things

in real multiple scales, all at the same time.

I can create big things out here,

Posso "allontanarmi" e creare oggetti grandi, qui, e poi

but I can go back and really quickly go back

to where I started, and make even smaller things here.

"avvicinarmi", e fare oggetti anche più piccoli, di qua.

This is going to be really important

Questo sarà molto importante in campi come la visualizzazione dei dati.

as we start getting to things like data visualization.

Abbiamo certamente apprezzato la conferenza di Hans Rosling

For instance, I think we all enjoyed Hans Rosling's talk,

and he really emphasized the fact I've been thinking about for a long time:

e la sua enfasi su una cosa cui anch'io ho pensato a lungo:

We have all this great data,

abbiamo una mole enorme di dati, ma sono "fermi",

but for some reason, it's just sitting there.

We're not accessing it.

non vi possiamo accedere perchè, credo ...

And one of the reasons why I think that is

will be helped by things like graphics and visualization and inference tools,

in futuro saremo aiutati da strumenti di rappresentazione grafica e di estrapolazione.

but I also think a big part of it

Ma un grande contributo verrà anche da interfacce migliori che permettano

is going to be having better interfaces,

to be able to drill down into this kind of data,

di analizzare i dettagli "in basso", senza perdere il quadro generale "in alto".

while still thinking about the big picture here.

Let me show you another app here. This is called WorldWind.

Adesso vi mostro un'altra applicazione. Si chiama World Wind,

It's done by NASA.

é un programma della NASA. Conoscete Google Earth?

We've all seen Google Earth;

this is an open-source version of that.

E' una versione Open Source di Google Earth. Ci sono dei plug-in per

There are plug-ins to be able to load in different data sets

caricare i dati raccolti dalla NASA nel corso degli anni.

that NASA's collected over the years.

As you can see, I can use the same two-fingered gestures

E anche qui, posso zoomare, spostarmi con due dita,

entrare ed uscire senza fatica. Ancora una volta, l'interfaccia non si vede

to go down and go in really seamlessly.

There's no interface, again.

It really allows anybody to kind of go in --

Chiunque può entrare e fare quello che si aspetta,

and it just does what you'd expect, you know?

l'interfaccia è trasparente.

Again, there's just no interface here. The interface just disappears.

I can switch to different data views.

Posso spostarmi tra visualizzazioni diverse, e questo è il bello di questa applicazione.

That's what's neat about this app here.

NASA's really cool.

Ecco. Il bello della NASA è che usa immagini iperspettrali,

These hyper-spectral images are false-colored so you can --

falsamente colorate, ottime per studiare la vegetazione. E ora, torniamo indietro.

it's really good for determining vegetative use.

Well, let's go back to this.

Una cosa bella delle applicazioni di mappatura

The great thing about mapping applications --

è che sono in 3D, non in 2D. E quindi, un'interfaccia multipunto

it's not really 2D, it's 3D.

So, again, with a multi-point interface, you can do a gesture like this --

ci permette di inclinare la prospettiva con questo semplice gesto.

so you can be able to tilt around like that --

(Surprised laughter)

Non siamo limitati ad ingrandimenti e movimenti in 2D.

It's not just simply relegated to a kind of 2D panning and motion.

This gesture is just putting two fingers down --

Qui abbiamo sviluppato un asse di rotazione definibile con due dita

it's defining an axis of tilt -- and I can tilt up and down that way.

attorno a cui effettuare la rotazione, così.

We just came up with that on the spot,

Un'invezione fatta quasi per caso,

it's probably not the right thing to do,

e forse non é nemmeno giusta

but there's such interesting things you can do with this interface.

ma dà l'idea di quanto questa interfaccia sia interessante,

It's just so much fun playing around with it, too.

e persino divertente da usare (Risate).

(Laughter)

And so the last thing I want to show you is --

Per finire, l'ultima cosa che voglio mostrarvi ...

I'm sure we can all think of a lot of entertainment apps

a tutti verranno senz'altro in mente applicazioni divertenti

that you can do with this thing.

per questa tecnologia.

I'm more interested in the creative applications we can do with this.

Ma io sono più interessato alle applicazioni creative realizzabili con questa tecnologia.

Now, here's a simple application here -- I can draw out a curve.

Guardate questa. Posso tracciare una curva.

And when I close it, it becomes a character.

Quando la chiudo, diventa un personaggio.

But the neat thing about it is I can add control points.

E il bello è che posso aggiungere i "punti di controllo",

And then what I can do is manipulate them with both of my fingers at the same time.

naturalmente con più dita, contemporaneamente.

And you notice what it does.

Come potete notare,

It's kind of a puppeteering thing,

posso diventare un burattinaio

where I can use as many fingers as I have to draw and make --

usando tutte le dieci dita.

Now, there's a lot of actual math going on under here

E' necessaria molta matematica

for this to control this mesh and do the right thing.

per controllare questo "gioco", e fargli fare la cosa "giusta".

This technique of being able to manipulate a mesh here, with multiple control points,

La manipolazione della forma mantenendo fermi

i punti di controllo, richiede una tecnologia allo stato dell'arte.

is actually state of the art.

It was released at SIGGRAPH last year.

Sono cose uscite dal Siggraph dell'anno scorso.

It's a great example of the kind of research I really love:

Ma sono un grande esempio del tipo di ricerca che amo.

Usare la potenza di calcolo perché il computer faccia le cose "giuste",

all this compute power to make things do the right things,

intuitive things, to do exactly what you expect.

in modo intuitivo, come uno se le aspetta.

So, multi-touch interaction research is a very active field right now in HCI.

La ricerca sull'interazione multi-touch è un campo molto attivo, nell'HCI.

I'm not the only one doing it, a lot of other people are getting into it.

Siamo in tanti a lavorarci, ed altri stanno arrivando.

This kind of technology is going to let even more people get into it,

E questa tecnologia attirerà ancora altra gente.

I'm looking forward to interacting with all of you over the next few days

E non vedo l'ora di parlare con tutti voi,

nei prossimi giorni, per studiare come utilizzarla nel vostro settore.

and seeing how it can apply to your respective fields.

Grazie.

Thank you.

(Applausi)

(Applause)