Unveiling the genius of multi-touch interface design | Jeff Han

번역: Joonha Lee 검토: Yangwoo Ko

I'm really excited to be here today.

저는 오늘 이 자리가 너무 너무 흥분됩니다.

I'll show you some stuff that's just ready to come out of the lab,

왜냐하면 문자 그대로 연구실에서 막 나온 것을 보여드릴 것이기 때문입니다.

literally, and I'm really glad that you guys

처음으로 여러분들께 보여드릴 수 있어 무척 기쁘게 생각합니다

are going to be among the first to see it in person,

저는 이 기술이 우리가 컴퓨터와 만나는 방법에

because I really think this is going to really change

진정한 변화를 일으킬 것이라고 믿고 있습니다.

the way we interact with machines from this point on.

Now, this is a rear-projected drafting table.

여기 있는 것은 후면투사형 스크린 테이블입니다. 폭은 36인치이고

It's about 36 inches wide

and it's equipped with a multi-touch sensor.

멀티터치 센서를 장착했습니다.

Normal touch sensors that you see,

일반적인 터치 센서는 키오스크나 양방향 화이트보드에서 사용하며

like on a kiosk or interactive whiteboards,

can only register one point of contact at a time.

한번에 하나의 접촉만을 인식할 수 있지만

This thing allows you to have multiple points at the same time.

이 장치는 한번에 여러 개의 지점을 사용할 수 있습니다.

They can use both my hands; I can use chording actions;

양손을 사용할 수 있고 동시에 눌러서 입력할 수도 있고요.

I can just go right up and use all 10 fingers if I wanted to.

원한다면 10개의 손가락을 다 사용할 수 있습니다.

You know, like that.

이렇게요.

Now, multi-touch sensing isn't completely new.

멀티터치의 개념이 새로운 것은 아닙니다.

People like Bill Buxton have been playing around with it in the '80s.

빌 벅스턴은 이러한 개념을 80년대에 이미 구상했습니다.

However, the approach I built here is actually high-resolution,

하지만 지금 보여드리는 것은 높은 해상도를 구현하면서

low-cost, and probably most importantly, very scalable.

싸고 아마 가장 중요한 것은 유연하게 확장할 수 있다는 것입니다.

So, the technology, you know,

기술 자체가 흥미롭다기 보다는

isn't the most exciting thing here right now,

other than probably its newfound accessibility.

새로운 접근법을 찾았다는 점이 중요합니다.

What's really interesting here is what you can do with it

정말로 흥미로운 것은 이걸 가지고 뭘 할 수 있는지

and the kind of interfaces you can build on top of it.

그리고 어떤 인터페이스를 만들 수 있는지 입니다. 한번 볼까요?

So let's see.

So, for instance, we have a lava lamp application here.

먼저 이것은 라바 램프를 구현한 화면입니다. 이렇게

Now, you can see,

I can use both of my hands to kind of squeeze and put the blobs together.

양손으로 짜내듯이 눌러볼 수 있고 하나로 합칠 수도 있습니다.

I can inject heat into the system here,

이렇게 해서 체온을 불어넣을 수도 있고

or I can pull it apart with two of my fingers.

손가락으로 이렇게 떼어낼 수 도 있습니다.

It's completely intuitive; there's no instruction manual.

대단히 직관적이죠. 굳이 사용설명서가 필요하지 않습니다.

조작을 위한 화면도 따로 필요 없습니다.

The interface just kind of disappears.

This started out as a screensaver app

이것은 우리 연구실의 일리야 로젠버그가

that one of the Ph.D. students in our lab, Ilya Rosenberg, made.

만든 화면 보호기에서 시작되었습니만 이것이 좀 더 실제 라바 램프와 같은 모습을 보여주고 있습니다.

But I think its true identity comes out here.

Now what's great about a multi-touch sensor is that, you know,

멀티터치 센서에서 무엇이 굉장한가 하면 이렇게

I could be doing this with as many fingers here,

여러 손가락을 사용할 수 있으며

but of course multi-touch also inherently means multi-user.

멀티 터치라는 것은 당연히 여러 명이 사용할 수 있다는 것입니다.

Chris could be interacting with another part of Lava,

크리스가 이쪽으로 나와서 저와 함께 라바램프의 다른 부분을 조작할 수 있습니다.

while I play around with it here.

또 새로운 조형 도구로도 생각해볼 수 있습니다

You can imagine a new kind of sculpting tool,

where I'm kind of warming something up, making it malleable,

재료를 녹이고 모양을 만들고

and then letting it cool down and solidifying in a certain state.

이렇게 식혀서 모양을 만드는 것이죠.

Google should have something like this in their lobby.

구글에서 로비에 가져다 놓고 싶어할지도 모르겠네요. (웃음)

(Laughter)

I'll show you a little more of a concrete example here,

이번에는 좀 더 구체적인 예제를 보여드리겠습니다. 화면을 불러오고 있네요.

as this thing loads.

This is a photographer's light-box application.

이번에는 사진작가의 갤러리 화면입니다.

Again, I can use both of my hands to interact and move photos around.

역시 양손을 사용해 사진을 이리저리 옮겨볼 수 있습니다.

But what's even cooler is that if I have two fingers,

하지만 더 굉장한 것은 이렇게 양손가락으로

I can actually grab a photo and then stretch it out like that really easily.

사진을 잡아 크게 확대해서 볼 수 있습니다. 정말 간단하죠.

I can pan, zoom and rotate it effortlessly.

사진을 옮겨놓고 확대하고 방향을 바꾸는 것을 아주 쉽게 할 수 있습니다.

I can do that grossly with both of my hands,

이러한 것들을 모두 두 손을 다 사용해도 되고

or I can do it just with two fingers on each of my hands together.

양손에서 손가락 두개씩으로도 할 수 있습니다.

If I grab the canvas, I can do the same thing -- stretch it out.

마찬가지로 화면을 잡아서 늘려볼 수 도 있지요.

I can do it simultaneously, holding this down,

이것을 동시에 해볼 수도 있습니다. 이렇게 화면을 붙들고

and gripping on another one, stretching this out.

다른 하나를 밖으로 옮겨놓고 이렇게 늘려볼 수 있습니다.

Again, the interface just disappears here.

역시 조작을 위한 별도의 화면이나

There's no manual.

사용설명서는 필요 없습니다. 생각대로 되는 거죠.

This is exactly what you expect,

especially if you haven't interacted with a computer before.

컴퓨터에 익숙하지 않은 사람에게 특히 그렇습니다.

Now, when you have initiatives like the $100 laptop,

여러분 중에 100달러 랩탑 프로젝트를 주도하고 있는 분이 계시다면

I kind of cringe at the idea

저는 새로운 세대의 아이들에게 마우스와 윈도우 인터페이스를

of introducing a whole new generation to computing

물려주는 것은 좋은 생각이 아니라고 생각합니다.

with this standard mouse-and-windows-pointer interface.

This is something that I think is really the way

저는 이 방식이 이제 사람이 기계와 만나는

we should be interacting with machines from now on.

진정한 방법이 되어야 한다고 생각합니다. (박수)

(Applause)

Now, of course, I can bring up a keyboard.

이번에는 키보드를 불러옵니다.

(Laughter)

And I can bring that around, put that up there.

이렇게 글자를 떼내어 이쪽으로 보냅니다.

Obviously, this is a standard keyboard,

이건 분명히 기존 키보드와 동일한 역할을 합니다.

but of course I can rescale it to make it work well for my hands.

하지만 제 손에 딱 맞게 크기를 조절할 수 있습니다.

That's really important, because there's no reason in this day and age

진짜 중요한 점은 이제는 물리적인 장치에

that we should be conforming to a physical device.

우리가 맞출 필요가 없다는 것입니다.

That leads to bad things, like RSI.

예전의 장치는 RSI(반복사용긴장성손상증후군)와 같은 나쁜 결과를 가져오기도 합니다.

We have so much technology nowadays

점점 더 많은 기술이 나타나서

that these interfaces should start conforming to us.

인터페이스가 우리에게 맞추게 될 것입니다.

There's so little applied now to actually improving

지금은 적용되는 분야가 거의 없지만 앞으로는

the way we interact with interfaces from this point on.

인터페이스를 다루는 방법이 변할 것입니다.

This keyboard is probably actually the really wrong direction to go.

이러한 키보드가 우리의 미래는 아니라는 것이지요.

You can imagine, in the future, as we develop this kind of technology,

키보드가 손이 가는 대로 알아서 움직여주며

a keyboard that kind of automatically drifts as your hand moves away,

어떤 글자를 입력하려고 하는지 정말 똑똑하게

and really intelligently anticipates which key you're trying to stroke.

미리 예측하는 이런 기술을 개발하는 미래를 상상할 수 있습니다.

So -- again, isn't this great?

다시 한번 볼까요. 멋지지 않나요?

(Laughter)

관중 : 어느 연구소에 있나요?

Audience: Where's your lab?

Jeff Han: I'm a research scientist at NYU in New York.

제프 한 : 저는 뉴욕대 연구교수로 있습니다.

Here's an example of another kind of app. I can make these little fuzz balls.

다른 응용을 볼까요. 이렇게 작은 뭉치를 만들 수 있고요.

It'll remember the strokes I'm making.

각 뭉치는 방향을 기억합니다. 물론 이렇게 양손으로도 할 수 있습니다.

Of course I can do it with all my hands.

It's pressure-sensitive.

보시는 것처럼 누르는 것을 감지하고 있습니다.

What's neat about that is,

이 기술의 깔끔한 점은 역시 양손가락의 움직임만으로 정말 빠르게 화면을

I showed that two-finger gesture that zooms in really quickly.

확대할 수 있다는 거죠. 손바닥 도구나 돋보기 도구로

Because you don't have to switch to a hand tool

or the magnifying glass tool,

일부러 전환할 필요가 없기 때문이죠.

동시에 서로 다른 크기로 만들어 낼 수 있습니다.

you can just continuously make things

in real multiple scales, all at the same time.

I can create big things out here,

여기에 크게 몇 개를 만들고 다시 처음 시작했던 위치로

but I can go back and really quickly go back

to where I started, and make even smaller things here.

돌아와서 작은 것을 만들 수 있습니다.

This is going to be really important

이러한 것은 데이터 시각화에서 무척 중요한 부분입니다.

as we start getting to things like data visualization.

예를 들어 조금 전에 한스 로슬링의 이야기를 모두 흥미롭게 들으셨을 겁니다.

For instance, I think we all enjoyed Hans Rosling's talk,

and he really emphasized the fact I've been thinking about for a long time:

저도 오랫동안 같은 것을 생각했었는데 잘 정리해주셨습니다.

We have all this great data,

우리는 방대한 데이터를 가지고 있으면서도 이런 저런 이유로 그냥 방치해놓았습니다.

but for some reason, it's just sitting there.

We're not accessing it.

거의 제대로 활용을 못했던 거죠. 제가 생각하기에 이런 문제의 원인 중 하나는

And one of the reasons why I think that is

will be helped by things like graphics and visualization and inference tools,

시각화를 통해 추론할 수 있는 도구들의 도움이 필요했던 것입니다.

but I also think a big part of it

여기서 중요한 부분은 더 좋은 인터페이스를 사용함으로써

is going to be having better interfaces,

to be able to drill down into this kind of data,

전체적인 그림을 고려하면서 상세한 데이터에 단계적으로 접근하는 것이라고 봅니다.

while still thinking about the big picture here.

Let me show you another app here. This is called WorldWind.

다음 화면을 보겠습니다. 이번에는 월드윈드라고 불리는 것입니다.

It's done by NASA.

NASA에서 만들었고요. 구글 어스에서 보았던 것과 같은 종류입니다

We've all seen Google Earth;

this is an open-source version of that.

이것은 오픈소스로 제공됩니다. NASA에서 오랜기간동안

There are plug-ins to be able to load in different data sets

수집한 다양한 데이터를 활용할 수 있는 플러그인도 있습니다.

that NASA's collected over the years.

As you can see, I can use the same two-fingered gestures

화면에서 보듯이 양손가락으로 지도를 부드럽게

확대하고 다시 축소할 수 있습니다. 역시 조작을 위한 화면은 필요하지 않습니다.

to go down and go in really seamlessly.

There's no interface, again.

It really allows anybody to kind of go in --

이런 것을 처음 다루는 사람들도 쉽게 사용할 수 있습니다.

and it just does what you'd expect, you know?

다시 한번 말씀 드리지만 조작을 위한 인터페이스 자체가 필요 없습니다. 그냥 보이는 대로 사용하면 됩니다.

Again, there's just no interface here. The interface just disappears.

I can switch to different data views.

다른 데이터로 전환할 수 도 있습니다. 굉장히 멋진 기능이지요.

That's what's neat about this app here.

NASA's really cool.

그렇죠. NASA는 정말 굉장한 일을 하는 것 같습니다. 이렇게 초분광영상을

These hyper-spectral images are false-colored so you can --

가지고 색을 분리하고 나면 식물의 분포를 파악하는 데에도 사용할 수 있습니다. 자 그리고 다시 돌아가서요.

it's really good for determining vegetative use.

Well, let's go back to this.

그리고 이 지도를 보여주는 화면에서

The great thing about mapping applications --

정말 멋진 것은 2D가 아니라 3D라는 것입니다. 멀티포인트 인터페이스에서

it's not really 2D, it's 3D.

So, again, with a multi-point interface, you can do a gesture like this --

이렇게 움직여주면 이와 같이 화면을 돌려볼 수 있습니다.

so you can be able to tilt around like that --

(Surprised laughter)

이건 단순하게 평면적인 화면에서 움직여보거나 모션으로 처리된 기능이 아닙니다.

It's not just simply relegated to a kind of 2D panning and motion.

This gesture is just putting two fingers down --

이것은 우리가 만든 제스처인데요. 양 손가락을 올려놓으면

it's defining an axis of tilt -- and I can tilt up and down that way.

화면을 돌려보기 위한 중심축이 됩니다. 이렇게 위, 아래로 기울여볼 수 있습니다.

We just came up with that on the spot,

보시다시피 즉석에서 만들어 본 것입니다.

it's probably not the right thing to do,

이런 조작만 맞는다고 할 수는 없지만

but there's such interesting things you can do with this interface.

이런 인터페이스를 사용해 좀 더 관심 있는 일을 해볼 수 있습니다.

It's just so much fun playing around with it, too.

그냥 이렇게 재미있게 놀 수도 있습니다. (웃음)

(Laughter)

And so the last thing I want to show you is --

그리고 마지막으로 드리고 싶은 말씀은

I'm sure we can all think of a lot of entertainment apps

이것을 통해 오락 분야에서

that you can do with this thing.

많은 아이디어를 낼 수 있을 것 이라는 점입니다.

I'm more interested in the creative applications we can do with this.

저는 이 기술을 창의적으로 응용 하는데 관심이 많은데요.

Now, here's a simple application here -- I can draw out a curve.

간단한 응용으로 이런 것이 있습니다. 선을 그릴 수 있고

And when I close it, it becomes a character.

이렇게 연결해주면 캐릭터가 만들어집니다.

But the neat thing about it is I can add control points.

흥미로운 것은 조종할 수 있는 지점을 정할 수 있다는 것입니다.

And then what I can do is manipulate them with both of my fingers at the same time.

그리고 양손으로 동시에 조종할 수 있게 되죠.

And you notice what it does.

어떻게 동작하는지 보세요.

It's kind of a puppeteering thing,

마치 꼭두각시인형을 다루는 것 같죠.

where I can use as many fingers as I have to draw and make --

더 많은 손가락을 사용해서 그리고 만들 수 있습니다.

Now, there's a lot of actual math going on under here

이런 복잡한 구조를 제대로 동작하게 하기 위해서

for this to control this mesh and do the right thing.

엄청난 수학적인 작업이 있습니다.

This technique of being able to manipulate a mesh here, with multiple control points,

조종할 수 있는 점을 여러 개 정하고

만들어진 구조를 움직이는 것은 최첨단 기술이라고 할 수 있습니다.

is actually state of the art.

It was released at SIGGRAPH last year.

이것은 작년에 SIGGRAPH 컨퍼런스에서 공개되었고

It's a great example of the kind of research I really love:

제가 정말 좋아하는 연구 주제이기도 합니다.

컴퓨터의 힘을 이렇게 직관적으로 알 수 있게

all this compute power to make things do the right things,

intuitive things, to do exactly what you expect.

그리고 기대한대로 동작하도록 만드는 것입니다.

So, multi-touch interaction research is a very active field right now in HCI.

멀티터치 인터랙션 연구는 인간과 컴퓨터 상호작용에서 매우 활발한 분야입니다.

I'm not the only one doing it, a lot of other people are getting into it.

저뿐 아니라 많은 연구자들이 이 분야에서 활동하고 있습니다.

This kind of technology is going to let even more people get into it,

더 많은 사람들이 이 분야에 뛰어들게 될 것이고

I'm looking forward to interacting with all of you over the next few days

앞으로 며칠간 여러분들과 교류하며

이 기술이 각자의 분야에 어떻게 적용될지 얘기하게 되길 기대합니다.

and seeing how it can apply to your respective fields.

감사합니다.

Thank you.

(박수)

(Applause)