Unveiling the genius of multi-touch interface design | Jeff Han

מתרגם: Ido Dekkers מבקר: Sigal Tifferet

I'm really excited to be here today.

אני ממש , ממש מתרגש להיות פה היום,

I'll show you some stuff that's just ready to come out of the lab,

מפני שאני עומד להראות לכם דברים שבדיוק מוכנים לצאת מהמעבדה,

literally, and I'm really glad that you guys

ממש, ואני ממש שמח שאתם תהיו בין הראשונים שתוכלו

are going to be among the first to see it in person,

לראות את זה ממבט ראשון, מפני שאני ממש, ממש חושב שזה עומד לשנות

because I really think this is going to really change

-- ממש לשנות -- את הדרך שבה אנשים ממתמשקים למכונות מעכשיו.

the way we interact with machines from this point on.

Now, this is a rear-projected drafting table.

עכשיו, זה מסך ציור מוקרן מאחור. הוא בערך ברוחב 36 אינטש,

It's about 36 inches wide

and it's equipped with a multi-touch sensor.

והוא מצוייד בחישן ריבוי מגעים. עכשיו, חיישני מגע רגילים

Normal touch sensors that you see,

שאתם רואים, כמו בקיוסק מידע או לוחות אינטראקטיביים,

like on a kiosk or interactive whiteboards,

can only register one point of contact at a time.

יכולים לקלוט רק נקודת מגע אחת בכל רגע.

This thing allows you to have multiple points at the same time.

הדבר הזה מאפשר לכם מספר נקודות באותו זמן.

They can use both my hands; I can use chording actions;

אפשר להשתמש בשתי ידי, אני יכול להשתמש בתנועות מתואמות,

I can just go right up and use all 10 fingers if I wanted to.

ואני יכול פשוט להשתמש בכל 10 האצבעות אם הייתי רוצה.

You know, like that.

אתם יודעים, ככה.

Now, multi-touch sensing isn't completely new.

עכשיו, מסך ריבוי מגעים הוא לא ממש חדש.

People like Bill Buxton have been playing around with it in the '80s.

אני מתכוון, אנשים כמו ביל בקסטון שיחקו עם זה בשנות השמונים.

However, the approach I built here is actually high-resolution,

אבל, הגישה שבניתי פה היא בעצם רזולוציה גבוהה,

low-cost, and probably most importantly, very scalable.

מחיר נמוך, וכנראה הכי חשוב, מאוד ניתן לשדרוג.

So, the technology, you know,

אז, הטכנולוגיה, אתם יודעים, היא לא הדבר הכי מרגש פה עכשיו,

isn't the most exciting thing here right now,

other than probably its newfound accessibility.

אולי חוץ מהנגישות שלה.

What's really interesting here is what you can do with it

מה שבאמת מעניין כאן זה מה אפשר לעשות עם זה,

and the kind of interfaces you can build on top of it.

וסוג הממשקים שאפשר לבנות על זה. אז בא נראה.

So let's see.

So, for instance, we have a lava lamp application here.

אז, לדוגמה, יש לנו כאן אפליקציית מנורת לבה. עכשיו, אתם יכולים לראות,

Now, you can see,

I can use both of my hands to kind of squeeze and put the blobs together.

אני יכול להשתמש בשתי הידיים כדי למעוך ביחד ולשים את שתי הבועות

I can inject heat into the system here,

ביחד. אני יכול להזריק חום לתוך המערכת כאן,

or I can pull it apart with two of my fingers.

או שאני יכול להפריד אותה עם שתי האצבעות שלי.

It's completely intuitive; there's no instruction manual.

זה אינטואיטיבי לחלוטין; אין שום מדריך.

הממשק פשוט מעין נעלם.

The interface just kind of disappears.

This started out as a screensaver app

זה התחיל כסוג של אפליקציית שומר מסך שאחד מהסטודנטים לדוקטורט

that one of the Ph.D. students in our lab, Ilya Rosenberg, made.

במעבדה שלנו, איליה רוזנברג, יצר. אבל אני חושב שהזהות של זה יוצאת כאן.

But I think its true identity comes out here.

Now what's great about a multi-touch sensor is that, you know,

עכשיו מה שנפלא ברגשי ריבוי מגע זה, אתם יודעים,

I could be doing this with as many fingers here,

אני יכול לעשות את זה עם כמה אצבעות פה,

but of course multi-touch also inherently means multi-user.

אבל כמובן ריבוי מגע מיסודו אומר ריבוי משתמשים.

Chris could be interacting with another part of Lava,

אז כריס יכול לעמוד פה להשפיע על חלק אחר של לבה,

while I play around with it here.

בזמן שאני משחק עם זה פה. אתם יכולים לדמיין סוג חדש של כלי פיסול,

You can imagine a new kind of sculpting tool,

where I'm kind of warming something up, making it malleable,

איפה שאני מחמם משהו, עושה אותו רך,

and then letting it cool down and solidifying in a certain state.

ואז נותן לו להתקרר ולהתקשות במצב מסויים.

Google should have something like this in their lobby.

לגוגל צריך להיות משהו כזה בלובי.(צחוק)

(Laughter)

I'll show you a little more of a concrete example here,

אני אראה לכם משהו -- דוגמה קצת יותר מוחשית כאן, בזמן שזה נטען,

as this thing loads.

This is a photographer's light-box application.

זו אפליקציית לייטבוקס של צלם.

Again, I can use both of my hands to interact and move photos around.

שוב, אני יכול להשתמש בשתי ידי כדי לשנות ולהזיז תמונות.

But what's even cooler is that if I have two fingers,

אבל מה שיותר מגניב זה שאם יש לי שתי אצבעות,

I can actually grab a photo and then stretch it out like that really easily.

אני יכול לתפוס תמונה ולמתוח אותה ככה בפשטות.

I can pan, zoom and rotate it effortlessly.

אני יכול לעשות פאן, זום ולסובב אותה בלי מאמץ.

I can do that grossly with both of my hands,

אני יכול לעשות את זה עם שתי ידי,

or I can do it just with two fingers on each of my hands together.

או שאני יכול לעשות את זה עם שתי אצבעות בכל יד.

If I grab the canvas, I can do the same thing -- stretch it out.

אני אתפוס את הקאנבס, אני יכול בערך לעשות אותו דבר -- למתוח אותו.

I can do it simultaneously, holding this down,

אני יכול לעשות את זה במקביל, כשאני מחזיק את זה במקום,

and gripping on another one, stretching this out.

ותופס אחר, מותח את זה ככה.

Again, the interface just disappears here.

שוב, הממשק פשוט נעלם פה.

There's no manual.

אין מדריך. זה בדיוק מה שמצפים,

This is exactly what you expect,

especially if you haven't interacted with a computer before.

בעיקר אם לא השתמשתם במחשב בעבר.

Now, when you have initiatives like the $100 laptop,

עכשיו, כשיש יוזמה כמו לפטופ במאה דולר,

I kind of cringe at the idea

אני די מתכווץ מהרעיון שאנחנו הולכים להציג דור שלם

of introducing a whole new generation to computing

של אנשים למחשוב עם הממשק הרגיל של מקלדת ועכבר.

with this standard mouse-and-windows-pointer interface.

This is something that I think is really the way

זה משהו שאני חושב שצריך באמת להיות הדרך להתממשק למכונות

we should be interacting with machines from now on.

מהנקודה הזו והלאה.(מחיאות כפיים)

(Applause)

Now, of course, I can bring up a keyboard.

עכשיו, כמובן, אני יכול להעלות מקלדת.

(Laughter)

And I can bring that around, put that up there.

ואני יכול להזיז את זה, לשים את זה למעלה.

Obviously, this is a standard keyboard,

עכשיו, ברור מאליו, זה סוג של מקלדת סטנדרטית,

but of course I can rescale it to make it work well for my hands.

אבל כמובן אני יכול לשנות את גודלה להתאים אותה לגודל ידי.

That's really important, because there's no reason in this day and age

וזה ממש חשוב, מפני שאין סיבה בימינו

that we should be conforming to a physical device.

שנצטרך להתאים את עצמנו למכשיר פיסי.

That leads to bad things, like RSI.

זה מוביל לדברים רעים, כמו פציעה מפעולה חוזרת.

We have so much technology nowadays

יש לנו כל כך הרבה טכנולוגיה כיום שהממשקים

that these interfaces should start conforming to us.

האלה צריכים להתחיל להתאים את עצמם אלינו.

There's so little applied now to actually improving

יש כל כך מעט דברים ממומשים עכשיו כדי ממש לשפר

the way we interact with interfaces from this point on.

את הדרך בה אנחנו פועלים על ממשקים מעתה והלאה.

This keyboard is probably actually the really wrong direction to go.

המקלדת הזו היא כנראה הדרך הלא נכונה ללכת בה.

You can imagine, in the future, as we develop this kind of technology,

אתם יכולים לדמיין, בעתיד, כשנפתח את הטכנולוגיה הזו,

a keyboard that kind of automatically drifts as your hand moves away,

מקלדת שמעין נסחפת לאט כשהידיים זזות,

and really intelligently anticipates which key you're trying to stroke.

וממש מצפה אינטיליגנטית על איזה מקש אתם מנסים ללחוץ עם ידיכם.

So -- again, isn't this great?

אז -- שוב, זה לא נפלא?

(Laughter)

קהל: איפה המעבדה שלך?

Audience: Where's your lab?

Jeff Han: I'm a research scientist at NYU in New York.

ג'ף האן: אני מדען חוקר בNYU בניו יורק.

Here's an example of another kind of app. I can make these little fuzz balls.

הנה דוגמה לעוד סוג של אפליקציה. היא יוצרת את הכדורים הפרוותיים האלה.

It'll remember the strokes I'm making.

היא תזכור את הלחיצות שאני עושה. כמובן אני יכול לעשות את זה עם שתי הידים.

Of course I can do it with all my hands.

It's pressure-sensitive.

זה רגיש ללחיצה, אתם יכולים לראות.

What's neat about that is,

אבל מה שנחמד בזה, שוב, הראתי לכם את התנועה עם שתי האצבעות

I showed that two-finger gesture that zooms in really quickly.

לעשות זום ממש מהר. מפני שלא צריך להחליף לכלי יד

Because you don't have to switch to a hand tool

or the magnifying glass tool,

או לכלי זכוכית מגדלת;

אפשר פשוט בהמשכיות לעשות דברים בסקאלות מרובות, הכל באותו זמן.

you can just continuously make things

in real multiple scales, all at the same time.

I can create big things out here,

אני יכול ליצור דברים גדולים כאן, אבל אני יכול לחזור ולחזור ממש מהר

but I can go back and really quickly go back

to where I started, and make even smaller things here.

למקום בו התחלתי, ולעשות דברים אפילו יותר קטנים כאן.

This is going to be really important

עכשיו זה הולך להיות ממש חשוב כשנתחיל להגיע לדברים כמו

as we start getting to things like data visualization.

וירטואליזציה של מידע. לדוגמה, אני חושב שמאוד נהנינו מההרצאה של הנס רוזלינג,

For instance, I think we all enjoyed Hans Rosling's talk,

and he really emphasized the fact I've been thinking about for a long time:

והוא ממש הדגיש את העובדה שגם אני חשבתי עליה כבר הרבה זמן:

We have all this great data,

יש לנו את כל המידע הנפלא הזה, אבל מסיבה כלשהי, הוא פשוט יושב שם.

but for some reason, it's just sitting there.

We're not accessing it.

אנחנו לא באמת ניגשים אליו. ואחת הסיבות שאנחנו חושבים שגורמות לזה, היא מפני

And one of the reasons why I think that is

will be helped by things like graphics and visualization and inference tools,

-- אנחנו נעזר בדברים כמו גרפיקה וויזואליזציה וכלי ממשק.

but I also think a big part of it

אבל אני גם חושב שחלק גדול מזה יהיה שנוכל שיהיו לנו ממשקים טובים יותר,

is going to be having better interfaces,

to be able to drill down into this kind of data,

כדי שנוכל לחדור עמוק יותר לתוך מידע כזה, ועדיין לחשוב על התמונה הגדולה כאן.

while still thinking about the big picture here.

Let me show you another app here. This is called WorldWind.

תנו לי להראות לכם עוד אפליקציה, זה משהו שנקרא וורלדווינד.

It's done by NASA.

זה נעשה על ידי נאסא, זה סוג של -- כולנו ראינו את גוגל ארת';

We've all seen Google Earth;

this is an open-source version of that.

זה גרסת קוד פתוח של זה. יש פלאג אינים כדי

There are plug-ins to be able to load in different data sets

לטעון סוגי מידע שונים שנאסא אגרה במהלך השנים.

that NASA's collected over the years.

As you can see, I can use the same two-fingered gestures

אבל כמו שאתם יכולים לראות, אני יכול להשתמש באותן תנועות של שתי אצבעות

כדי לרדת למטה ולחדור בצורה חלקה. אין ממשק, שוב.

to go down and go in really seamlessly.

There's no interface, again.

It really allows anybody to kind of go in --

זה ממש מאפשר לכל אחד להכנס -- וזה פשוט עושה מה שמצפים,

and it just does what you'd expect, you know?

אתם יודעים? שוב, פשוט אין ממשק פה. הממשק פשוט נעלם.

Again, there's just no interface here. The interface just disappears.

I can switch to different data views.

אני יכול לעבור לתצוגות מידע שונות. זה מה שיפה באפליקציה הזאת.

That's what's neat about this app here.

NASA's really cool.

אז הנה לכם. נאסא היא ממש קול. יש להם תמונות מולטי ספקטרליות

These hyper-spectral images are false-colored so you can --

שצבועות באופן מלאכותי כדי שתוכלו לראות -- זה מעולה לשימושים צמחיים. טוב, בא נחזור לזה.

it's really good for determining vegetative use.

Well, let's go back to this.

עכשיו, הדבר הגדול באפליקציות מיפוי --

The great thing about mapping applications --

זה לא באמת דו מימדי, זה סוג של תלת מימד. אז, שוב, עם ממשק מגע רב מוקדי,

it's not really 2D, it's 3D.

So, again, with a multi-point interface, you can do a gesture like this --

אפשר לעשות מחוות כמו זו -- כך שאפשר להטות ככה,

so you can be able to tilt around like that --

(Surprised laughter)

אתם יודעים. זה לא פשוט מורד לדרגת דו מימד של פאן ותנועה.

It's not just simply relegated to a kind of 2D panning and motion.

This gesture is just putting two fingers down --

עכשיו, המחווה הזאת שפיתחנו, שוב, זה פשוט לשים שתי אצבעות,

it's defining an axis of tilt -- and I can tilt up and down that way.

זה מגדיר ציר הטיה, וזה יכול להיות מוטה למטה או למטה ככה.

We just came up with that on the spot,

זה משהו שהגינו כך על המקום,

it's probably not the right thing to do,

אתם יודעים; זה כנראה לא הדבר הנכון לעשות,

but there's such interesting things you can do with this interface.

אבל יש דברים כל כך מעניינים שאפשר לעשות עם ממשק כזה.

It's just so much fun playing around with it, too.

זה גם פשוט יותר מדי כיף לשחק אתו.(צחוק)

(Laughter)

And so the last thing I want to show you is --

אז הדבר האחרון שאני רוצה להראות לכם הוא --

I'm sure we can all think of a lot of entertainment apps

אתם יודעים, אני בטוח שכולנו יכולים לחשוב על אפליקציות בידוריות

that you can do with this thing.

שאפשר לעשות עם זה.

I'm more interested in the creative applications we can do with this.

אני יותר מתעניין באפליקציות הקריאטיביות שאפשר ליצור עם זה.

Now, here's a simple application here -- I can draw out a curve.

עכשיו, הנה אפליקציה פשוטה כאן -- אני יכול לצייר עקומה.

And when I close it, it becomes a character.

וכשאני סוגר אותה, היא נעשית דמות.

But the neat thing about it is I can add control points.

אבל הדבר הנחמד בזה הוא, אני יכול להוסיף נקודות שליטה.

And then what I can do is manipulate them with both of my fingers at the same time.

ואז אני יכול להזיז אותן עם שתי האצבעות באותו זמן.

And you notice what it does.

ואתם רואים מה זה עושה.

It's kind of a puppeteering thing,

זה מין תאטרון בובות כזה, שאני יכול להשתמש

where I can use as many fingers as I have to draw and make --

בכמה אצבעות שיש לי כדי לצייר וליצור --

Now, there's a lot of actual math going on under here

עכשיו, יש הרבה מתמטיקה שקורית מתחת לזה

for this to control this mesh and do the right thing.

כדי שזה ישלוט ברשת הנקודות ויעשה את הדבר הנכון.

This technique of being able to manipulate a mesh here, with multiple control points,

אני מתכוון, הטכניקה הזו של יכולת שליטה ברשת הנקודות כאן,

עם ריבוי נקודות שליטה, זה משהו שהוא מתקדם מאוד.

is actually state of the art.

It was released at SIGGRAPH last year.

זה רק שוחרר בסיגרף בשנה שעברה,

It's a great example of the kind of research I really love:

אבל זו דוגמה מעולה לסוג המחקר שאני ממש אוהב.

כל כוח המחשוב הזה משועבד לגרימה לדברים לעשות את הדברים הנכונים.

all this compute power to make things do the right things,

intuitive things, to do exactly what you expect.

דברים אינטואיטיביים. כדי לעשות בדיוק מה שאתם מצפים.

So, multi-touch interaction research is a very active field right now in HCI.

אז, מחקר אינטראקציה מרובת נקודות מגע הוא תחום פעיל מאוד כיום בHCI.

I'm not the only one doing it, a lot of other people are getting into it.

אני לא היחיד שעושה את זה, יש עוד הרבה אנשים אחרים שנכנסים לזה.

This kind of technology is going to let even more people get into it,

סוג זה של טכנולוגיה יאפשר לאנשים רבים יותר להכנס לזה,

I'm looking forward to interacting with all of you over the next few days

ואני מאוד מצפה לעבוד עם האנשים האלה

בימים הקרובים ולראות איך זה יכול להעזור בתחומי העבודה שלכם.

and seeing how it can apply to your respective fields.

תודה רבה.

Thank you.

(מחיאות כפיים)

(Applause)