Unveiling the genius of multi-touch interface design | Jeff Han

Vertaald door: Els De Keyser Nagekeken door: Wouter Valvekens

I'm really excited to be here today.

Ik ben heel erg blij om hier vandaag te zijn.

I'll show you some stuff that's just ready to come out of the lab,

Ik toon jullie zo meteen iets dat net uit het laboratorium is gekomen,

literally, and I'm really glad that you guys

letterlijk, en ik ben erg blij dat jullie bij de eersten zullen zijn die het

are going to be among the first to see it in person,

persoonlijk zullen kunnen zien, want volgens mij zal dit echt

because I really think this is going to really change

de manier waarop wij met machines interageren, grondig veranderen.

the way we interact with machines from this point on.

Now, this is a rear-projected drafting table.

Dit is een videoprojectie-ontwerptafel. Ze is ongeveer 91 cm breed

It's about 36 inches wide

and it's equipped with a multi-touch sensor.

en is uitgerust met een multi-aanraaksensor. Normale aanraaksensoren,

Normal touch sensors that you see,

bijvoorbeeld op een kiosk of op een interactief bord,

like on a kiosk or interactive whiteboards,

can only register one point of contact at a time.

kunnen maar één contactpunt tegelijk registreren.

This thing allows you to have multiple points at the same time.

Dit ding laat je meerdere punten tegelijk toe.

They can use both my hands; I can use chording actions;

Ik kan mijn beide handen gebruiken. Ik kan een akkoord spelen.

I can just go right up and use all 10 fingers if I wanted to.

Ik kan naar boven gaan en alle 10 vingers gebruiken, als ik wil.

You know, like that.

Op deze manier.

Now, multi-touch sensing isn't completely new.

Multi-aanraaksensoren zijn niet helemaal nieuw.

People like Bill Buxton have been playing around with it in the '80s.

Mensen als Bill Buxton speelden er al mee in de jaren '80.

However, the approach I built here is actually high-resolution,

Maar mijn aanpak hier heeft een hoge resolutie,

low-cost, and probably most importantly, very scalable.

een lage kost, en -- het belangrijkste -- een hoge schaalbaarheid.

So, the technology, you know,

De technologie is hier dus niet het spannendste,

isn't the most exciting thing here right now,

other than probably its newfound accessibility.

afgezien van haar nieuwe toegankelijkheid.

What's really interesting here is what you can do with it

Wat interessant is, zijn de toepassingsmogelijkheden

and the kind of interfaces you can build on top of it.

en de interfaces die je er bovenop kan bouwen. Even kijken.

So let's see.

So, for instance, we have a lava lamp application here.

Hier hebben we bijvoorbeeld een lavalamptoepassing. Je ziet

Now, you can see,

I can use both of my hands to kind of squeeze and put the blobs together.

dat ik mijn twee handen kan gebruiken om samen te knijpen en de blobs

I can inject heat into the system here,

te verzamelen. Ik kan hier hitte in het systeem injecteren,

or I can pull it apart with two of my fingers.

of ik kan het uiteentrekken met twee vingers.

It's completely intuitive; there's no instruction manual.

Het is volledig intuïtief. Er is geen handleiding.

De interface verdwijnt zowat.

The interface just kind of disappears.

This started out as a screensaver app

Dit begon als een soort screensaver gemaakt door één van mijn doctoraatsstudenten,

that one of the Ph.D. students in our lab, Ilya Rosenberg, made.

Ilya Rosenberg. Maar volgens mij komt zijn ware aard hier boven.

But I think its true identity comes out here.

Now what's great about a multi-touch sensor is that, you know,

Het geweldige aan een multi-aanraaksensor is

I could be doing this with as many fingers here,

dat ik dat hier kan doen met zoveel vingers,

but of course multi-touch also inherently means multi-user.

maar multi-aanraak is inherent natuurlijk ook multi-gebruiker.

Chris could be interacting with another part of Lava,

Chris zou dus hier kunnen interageren met een ander deel van Lava,

while I play around with it here.

terwijl ik hier dingen uitprobeer. Stel je een nieuw soort beeldhouwgereedschap voor,

You can imagine a new kind of sculpting tool,

where I'm kind of warming something up, making it malleable,

waarbij ik iets voorverwarm, het kneedbaar maak,

and then letting it cool down and solidifying in a certain state.

en het dan laat afkoelen en hard worden in een bepaalde staat.

Google should have something like this in their lobby.

Google zou dit ding in zijn lobby moeten zetten. (Gelach)

(Laughter)

I'll show you a little more of a concrete example here,

Ik toon je hier een wat concreter voorbeeld, terwijl dit ding geladen wordt.

as this thing loads.

This is a photographer's light-box application.

Dit is een toepassing voor een lichtbak van een fotograaf.

Again, I can use both of my hands to interact and move photos around.

Ik kan mijn beide handen gebruiken om te interageren en foto's te verplaatsen.

But what's even cooler is that if I have two fingers,

Nog leuker: met twee vingers

I can actually grab a photo and then stretch it out like that really easily.

kan ik een foto beetnemen en ze heel eenvoudig groter maken, zo.

I can pan, zoom and rotate it effortlessly.

Ik kan zonder moeite pannen, inzoomen en roteren.

I can do that grossly with both of my hands,

Ik kan dat ruwweg doen met mijn twee handen,

or I can do it just with two fingers on each of my hands together.

of met een combinatie van twee vingers van elk van mijn handen.

If I grab the canvas, I can do the same thing -- stretch it out.

Als ik het canvas beetneem, kan ik hetzelfde doen -- het oprekken.

I can do it simultaneously, holding this down,

Ik kan dit tegelijk doen: ik hou dit naar beneden

and gripping on another one, stretching this out.

en trek aan een andere, waardoor ik dit oprek.

Again, the interface just disappears here.

De interface verdwijnt ook hier.

There's no manual.

Er is geen handleiding. Dit is precies wat je verwacht,

This is exactly what you expect,

especially if you haven't interacted with a computer before.

vooral als je nooit eerder met een computer hebt gewerkt.

Now, when you have initiatives like the $100 laptop,

Met initiatieven als de laptop van 100 dollar

I kind of cringe at the idea

krimp ik zowat ineen bij de idee dat we een hele nieuwe generatie mensen

of introducing a whole new generation to computing

met computers vertrouwd zullen maken via de standaard-muis-en-windows-interface.

with this standard mouse-and-windows-pointer interface.

This is something that I think is really the way

Volgens mij is dit echt de manier waarop we met machines moeten intereageren,

we should be interacting with machines from now on.

van nu af aan. (Applaus)

(Applause)

Now, of course, I can bring up a keyboard.

Ik kan er natuurlijk een toetsenbord bijhalen.

(Laughter)

And I can bring that around, put that up there.

En ik kan dat meebrengen, het daar zetten.

Obviously, this is a standard keyboard,

Dit is een soort standaardtoetsenbord,

but of course I can rescale it to make it work well for my hands.

maar ik kan de schaal aanpassen aan mijn handen.

That's really important, because there's no reason in this day and age

Dat is erg belangrijk, want heden ten dage is er geen enkele reden

that we should be conforming to a physical device.

waarom we ons aan een fysiek toestel zouden moeten aanpassen.

That leads to bad things, like RSI.

Daar komen slechte dingen van, zoals RSI.

We have so much technology nowadays

We hebben heden ten dage zoveel technologie

that these interfaces should start conforming to us.

dat die interfaces zich aan ons zouden moeten aanpassen.

There's so little applied now to actually improving

Vandaag gaat er zo weinig inspanning naar de verbetering

the way we interact with interfaces from this point on.

van hoe we met interfaces omgaan.

This keyboard is probably actually the really wrong direction to go.

Dit toetsenbord is waarschijnlijk echt een stap in de verkeerde richting.

You can imagine, in the future, as we develop this kind of technology,

Beeld je in dat in de toekomst, naarmate we deze technologie verder ontwikkelen,

a keyboard that kind of automatically drifts as your hand moves away,

een toetsenbord automatisch wegdrijft als je hand zich verwijdert,

and really intelligently anticipates which key you're trying to stroke.

en echt intelligent anticipeert welke toets je wil aanslaan met je vinger.

So -- again, isn't this great?

Is dit niet geweldig?

(Laughter)

Publiek: Waar is je laboratorium?

Audience: Where's your lab?

Jeff Han: I'm a research scientist at NYU in New York.

Jeff Han: Ik ben onderzoeker in NYU in New York.

Here's an example of another kind of app. I can make these little fuzz balls.

Hier is een ander soort toepassing. Ik kan kleine pluisballetjes maken.

It'll remember the strokes I'm making.

Het onthoudt welke bewegingen ik maak. Ik kan het met al mijn handen doen.

Of course I can do it with all my hands.

It's pressure-sensitive.

Je merkt dat het drukgevoelig is.

What's neat about that is,

Maar wat geweldig is: ik heb je die beweging met twee vingers getoond waardoor je

I showed that two-finger gesture that zooms in really quickly.

supersnel kan inzoomen. Omdat je niet moet overschakelen naar een handgereedschap,

Because you don't have to switch to a hand tool

or the magnifying glass tool,

of naar het vergrootglas,

kan je continu dingen maken op verschillende schalen, allemaal tegelijk.

you can just continuously make things

in real multiple scales, all at the same time.

I can create big things out here,

Ik kan hier grote dingen maken, maar ik kan teruggaan naar de start,

but I can go back and really quickly go back

to where I started, and make even smaller things here.

heel snel, en daar kan ik nog kleinere dingen maken.

This is going to be really important

Dit zal heel belangrijk zijn als we dingen als we bijvoorbeeld beginnen met

as we start getting to things like data visualization.

datavisualisatie. We hebben allemaal genoten van de toespraak van Hans Rosling.

For instance, I think we all enjoyed Hans Rosling's talk,

and he really emphasized the fact I've been thinking about for a long time:

Hij heeft benadrukt wat ik ook al lang aan het bedenken ben:

We have all this great data,

we hebben hopen geweldige gegevens, maar om één of andere reden liggen die daar maar.

but for some reason, it's just sitting there.

We're not accessing it.

We vragen ze niet echt op. Eén van de redenen is volgens mij

And one of the reasons why I think that is

will be helped by things like graphics and visualization and inference tools,

dat grafische weergave en visualisatie en conclusie-ondersteuning zal wel helpen,

but I also think a big part of it

maar het zal belangrijker worden om betere interfaces te hebben,

is going to be having better interfaces,

to be able to drill down into this kind of data,

om dieper te kunnen graven in dit soort gegevens, terwijl je daar nog over het grotere plaatje nadenkt.

while still thinking about the big picture here.

Let me show you another app here. This is called WorldWind.

Ik toon jullie nog een app. Dit heet WorldWind.

It's done by NASA.

Het is van NASA. We kennen allemaal Google Earth.

We've all seen Google Earth;

this is an open-source version of that.

Dit is een open-source-versie daarvan. Er zijn plug-ins waarmee je

There are plug-ins to be able to load in different data sets

verschillende sets gegevens kan opladen die NASA door de jaren heen heeft verzameld.

that NASA's collected over the years.

As you can see, I can use the same two-fingered gestures

Zoals je ziet, kan ik dezelfde beweging van twee vingers gebruiken

om naadloos af te dalen en binnen te gaan. Nogmaals, er is geen interface.

to go down and go in really seamlessly.

There's no interface, again.

It really allows anybody to kind of go in --

Iedereen kan hierlangs naar binnen -- en het doet wat je verwacht.

and it just does what you'd expect, you know?

Er is geen interface. De interface verdwijnt gewoon.

Again, there's just no interface here. The interface just disappears.

I can switch to different data views.

Ik kan overschakelen naar andere voorstellingen van gegevens. Dat is zo leuk aan deze app.

That's what's neat about this app here.

NASA's really cool.

Kijk maar. NASA is echt cool. Ze hebben hyperspectrale beelden

These hyper-spectral images are false-colored so you can --

met valse kleuren. Prima om vegetatief gebruik te bepalen. Laten we eens terugkeren.

it's really good for determining vegetative use.

Well, let's go back to this.

Het geweldige aan kaarttoepassingen --

The great thing about mapping applications --

het is niet echt 2D, het is een soort 3D. Met een multipunt-interface

it's not really 2D, it's 3D.

So, again, with a multi-point interface, you can do a gesture like this --

kan je een gebaar als dit doen -- je kan het zo kantelen.

so you can be able to tilt around like that --

(Surprised laughter)

Het is niet zomaar een soort 2D-panning met beweging.

It's not just simply relegated to a kind of 2D panning and motion.

This gesture is just putting two fingers down --

De beweging die we hebben ontwikkeld, bestaat eruit dat je twee vingers neerzet --

it's defining an axis of tilt -- and I can tilt up and down that way.

dat bepaalt de as waarmee je optilt -- en je kan het zo op en neer kantelen.

We just came up with that on the spot,

Dat hebben we gewoon ter plekke bedacht.

it's probably not the right thing to do,

Het is waarschijnlijk niet ideaal.

but there's such interesting things you can do with this interface.

Maar er zijn zoveel interessante dingen die je met deze interface kan doen.

It's just so much fun playing around with it, too.

Het is zo leuk om mee te spelen. (Gelach)

(Laughter)

And so the last thing I want to show you is --

Het laatste dat ik jullie wil tonen, is dit.

I'm sure we can all think of a lot of entertainment apps

We kunnen allemaal vele ontspanningsapps bedenken

that you can do with this thing.

voor dit ding.

I'm more interested in the creative applications we can do with this.

Ik ben meer geïnteresseerd in de creatieve toepassingen hiervan.

Now, here's a simple application here -- I can draw out a curve.

Dit is een eenvoudige toepassing. Ik teken een curve.

And when I close it, it becomes a character.

Als ik ze sluit, wordt het een personage.

But the neat thing about it is I can add control points.

Het leuke is dat ik controlepunten kan toevoegen;

And then what I can do is manipulate them with both of my fingers at the same time.

Vervolgens kan ik ze met mijn twee vingers tegelijk manipuleren.

And you notice what it does.

Kijk wat het doet.

It's kind of a puppeteering thing,

Het is een soort poppenspel,

where I can use as many fingers as I have to draw and make --

waarbij ik al mijn vingers kan gebruiken om te tekenen.

Now, there's a lot of actual math going on under here

Hieronder komt er een hoop wiskunde bij kijken

for this to control this mesh and do the right thing.

om te zorgen dit net goed wordt aangestuurd en goed werkt.

This technique of being able to manipulate a mesh here, with multiple control points,

Deze techniek waarbij je hier een net kan manipuleren

met verschillende controlepunten, dat is echt het neusje van de zalm.

is actually state of the art.

It was released at SIGGRAPH last year.

Het werd pas vorig jaar op Siggraph gelanceerd.

It's a great example of the kind of research I really love:

Het is een prachtig voorbeeld van het soort onderzoek waar ik van hou:

al die computerkracht om te zorgen dat dingen de juiste dingen doen,

all this compute power to make things do the right things,

intuitive things, to do exactly what you expect.

intuïtieve dingen, precies wat je verwacht.

So, multi-touch interaction research is a very active field right now in HCI.

Onderzoek naar multi-aanraak-interactie is momenteel heel actief in HCI.

I'm not the only one doing it, a lot of other people are getting into it.

Ik ben niet de enige die het doet, er zijn veel andere mensen mee bezig.

This kind of technology is going to let even more people get into it,

Deze technologie zal nog meer mensen toelaten tot het domein,

I'm looking forward to interacting with all of you over the next few days

en ik kijk ernaar uit om met jullie allemaal in dialoog te gaan

de komende dagen, om te bekijken wat dit voor jullie domein kan betekenen.

and seeing how it can apply to your respective fields.

Hartelijk dank.

Thank you.

(Applaus)

(Applause)