Unveiling the genius of multi-touch interface design | Jeff Han

Джефф Хэн: Революционный сенсорный экран

Переводчик: Viacheslav Bogomazov Редактор: Olga Volftsun

I'm really excited to be here today.

Я очень, очень рад быть сегодня здесь,

I'll show you some stuff that's just ready to come out of the lab,

потому что я покажу вам устройство, работа над которым уже почти закончена,

literally, and I'm really glad that you guys

я очень рад, что вы будете в числе первых, кто

are going to be among the first to see it in person,

лично увидит это, потому что я уверен, что это устройство изменит —

because I really think this is going to really change

действительно изменит — то, как мы взаимодействуем с техникой.

the way we interact with machines from this point on.

Now, this is a rear-projected drafting table.

Итак, это чертёжный стол с обратной проекцией, примерно 92 см в ширину,

It's about 36 inches wide

and it's equipped with a multi-touch sensor.

оборудованный датчиком мультитач. Обычные тактильные датчики,

Normal touch sensors that you see,

которые вы видите в терминалах или интерактивных досках,

like on a kiosk or interactive whiteboards,

can only register one point of contact at a time.

могут регистрировать только одно касание.

This thing allows you to have multiple points at the same time.

Эта вещь позволяет вам делать одновременно несколько касаний.

They can use both my hands; I can use chording actions;

Можно работать обеими руками, нажимать аккорды,

I can just go right up and use all 10 fingers if I wanted to.

использовать все 10 пальцев, если нужно.

You know, like that.

Вот так.

Now, multi-touch sensing isn't completely new.

Сейчас мультитач-сенсоры не такая уж новинка.

People like Bill Buxton have been playing around with it in the '80s.

Люди, вроде Билла Бакстона игрались с ними уже в 80-х.

However, the approach I built here is actually high-resolution,

Однако я использую сенсор высокого разрешения,

low-cost, and probably most importantly, very scalable.

дешёвый и, что, наверное, важнее всего, легко масштабируемый.

So, the technology, you know,

Так что эта технология, конечно, не самая революционная,

isn't the most exciting thing here right now,

other than probably its newfound accessibility.

за исключением разве что её доступности.

What's really interesting here is what you can do with it

Действительно интересно то, что можно с этим сделать,

and the kind of interfaces you can build on top of it.

какой тип интерфейса построить на её основе. Давайте посмотрим.

So let's see.

So, for instance, we have a lava lamp application here.

Итак, к примеру, у нас есть приложение с лавовой лампой. Как вы можете видеть,

Now, you can see,

I can use both of my hands to kind of squeeze and put the blobs together.

я могу пользоваться обеими руками, чтобы сжимать и ставить капли

I can inject heat into the system here,

вместе. Я могу добавить тепла в систему здесь,

or I can pull it apart with two of my fingers.

или разорвать её двумя пальцами.

It's completely intuitive; there's no instruction manual.

Всё делается совершенно интуитивно; нет никакой инструкции.

Интерфейс просто как бы исчезает.

The interface just kind of disappears.

This started out as a screensaver app

Всё началось с экранной заставки, которую сделал Илья Розенберг, один из аспирантов

that one of the Ph.D. students in our lab, Ilya Rosenberg, made.

нашей лаборатории. Но я думаю, что её истинное лицо появляется здесь.

But I think its true identity comes out here.

Now what's great about a multi-touch sensor is that, you know,

Что очень хорошо в мультитач-сенсорах, это то, что

I could be doing this with as many fingers here,

я мог бы пользоваться всеми пальцами,

but of course multi-touch also inherently means multi-user.

но, конечно, мультитач по сути означает множество пользователей.

Chris could be interacting with another part of Lava,

Так, Крис мог бы стоять здесь и работать с другой частью лавы,

while I play around with it here.

пока я играю с ней здесь. Вы можете представить новый инструмент,

You can imagine a new kind of sculpting tool,

where I'm kind of warming something up, making it malleable,

с помощью которого я бы нагревал материал, делал его податливым,

and then letting it cool down and solidifying in a certain state.

и потом охлаждать и придавать определенную форму.

Google should have something like this in their lobby.

Google стоило бы обзавестись чем-то подобным. (Смех)

(Laughter)

I'll show you a little more of a concrete example here,

Я покажу вам чуть более конкретный пример, когда всё загрузится.

as this thing loads.

This is a photographer's light-box application.

Это приложение для организации фотографий.

Again, I can use both of my hands to interact and move photos around.

Опять-таки я могу пользоваться обеими руками, работая с фотографиями.

But what's even cooler is that if I have two fingers,

Но, что ещё лучше, двумя пальцами

I can actually grab a photo and then stretch it out like that really easily.

я могу буквально взять фото и растянуть его — вот так... очень легко.

I can pan, zoom and rotate it effortlessly.

Я легко могу панорамировать, приближать и вращать изображение.

I can do that grossly with both of my hands,

Я могу делать это двумя руками

or I can do it just with two fingers on each of my hands together.

или двумя пальцами.

If I grab the canvas, I can do the same thing -- stretch it out.

Если я возьму холст, то я могу делать примерно то же — растягивать его.

I can do it simultaneously, holding this down,

Могу работать одновременно с несколькими холстами: держу этот,

and gripping on another one, stretching this out.

беру другой и растягиваю вот так.

Again, the interface just disappears here.

Интерфейс просто исчезает.

There's no manual.

Нет никакой инструкции. Это именно то, что вы хотите,

This is exactly what you expect,

especially if you haven't interacted with a computer before.

особенно, если вы раньше не работали на компьютере.

Now, when you have initiatives like the $100 laptop,

Теперь, когда есть такие инициативы как 100 долларовый ноутбук,

I kind of cringe at the idea

я захвачен идеей представить эту разработку целому поколению

of introducing a whole new generation to computing

людей, пользующихся стандартным интерфейсом с мышью, окнами и курсором.

with this standard mouse-and-windows-pointer interface.

This is something that I think is really the way

Я думаю, что с этого дня мы не должны пользоваться ничем другим,

we should be interacting with machines from now on.

работая на компьютере. (Аплодисменты)

(Applause)

Now, of course, I can bring up a keyboard.

Сейчас, конечно, я могу взять клавиатуру.

(Laughter)

And I can bring that around, put that up there.

И я могу взять вот это, и положить туда.

Obviously, this is a standard keyboard,

Пока это всего лишь стандартная клавиатура,

but of course I can rescale it to make it work well for my hands.

но, конечно, я могу масштабировать её, чтобы было удобно работать руками.

That's really important, because there's no reason in this day and age

И, это важно, потому что сегодня уже не нужно

that we should be conforming to a physical device.

подстраиваться под конструкцию устроийства.

That leads to bad things, like RSI.

Это приводит к плохим вещам, таким как туннельный синдром.

We have so much technology nowadays

Сегодня существует много технологий, благодаря которым

that these interfaces should start conforming to us.

интерфейсы должны приспосабливаться к нам.

There's so little applied now to actually improving

Но для того, чтобы улучшить отношения человека и компьютера,

the way we interact with interfaces from this point on.

сейчас применяется лишь малая часть новых открытий.

This keyboard is probably actually the really wrong direction to go.

Эта клавиатура, вероятно, неправильное направление развития.

You can imagine, in the future, as we develop this kind of technology,

Можете представить, в будущем мы разработаем технологию,

a keyboard that kind of automatically drifts as your hand moves away,

клавиатуру, которая может автоматически следовать за движением руки

and really intelligently anticipates which key you're trying to stroke.

и предугадывать, какую клавишу вы захотите нажать.

So -- again, isn't this great?

Разве же это не здорово?

(Laughter)

Зрители: Где расположена ваша лаборатория?

Audience: Where's your lab?

Jeff Han: I'm a research scientist at NYU in New York.

Джефф Хэн: Я научный сотрудник Нью-Йоркского университета.

Here's an example of another kind of app. I can make these little fuzz balls.

А вот пример приложения другого типа. Я делаю эти маленькие шарики из пуха.

It'll remember the strokes I'm making.

Они запоминают мои движения. Конечно, я могу делать их обеими руками.

Of course I can do it with all my hands.

It's pressure-sensitive.

Они чувствительны к давлению, как вы можете заметить.

What's neat about that is,

Но, что хорошо, я уже показывал этот жест двумя пальцами, при помощи него

I showed that two-finger gesture that zooms in really quickly.

можно быстро приближать объект. Потому что вам не нужно переключаться на инструмент «руки»

Because you don't have to switch to a hand tool

or the magnifying glass tool,

или «лупа»;

вы можете продолжать делать вещи в разных масштабах одновременно.

you can just continuously make things

in real multiple scales, all at the same time.

I can create big things out here,

Я могу создавать большие шарики, но могу и очень быстро вернуться,

but I can go back and really quickly go back

to where I started, and make even smaller things here.

и начать делать маленькие.

This is going to be really important

Теперь, когда мы начинаем понимать такие вещи, как визуализация данных,

as we start getting to things like data visualization.

это приобретает большое значение. Я думаю, всем очень понравилось выступление Ханса Рослинга,

For instance, I think we all enjoyed Hans Rosling's talk,

and he really emphasized the fact I've been thinking about for a long time:

и он справедливо отметил то, о чем я сам думал уже давно:

We have all this great data,

у нас есть множество хороших данных, но по некоторым причинам они невостребованы.

but for some reason, it's just sitting there.

We're not accessing it.

У нас нет к ним доступа. И помочь исправить это

And one of the reasons why I think that is

will be helped by things like graphics and visualization and inference tools,

нам помогут такие вещи как графика, визуализация и средства вывода.

but I also think a big part of it

Но я также думаю, что дело сдвинется, когда будут лучшие интерфейсы,

is going to be having better interfaces,

to be able to drill down into this kind of data,

когда мы сможем видеть одновременно и частное и целое.

while still thinking about the big picture here.

Let me show you another app here. This is called WorldWind.

Давайте, я покажу ещё одно приложение. Оно называется WorldWind (ветры мира).

It's done by NASA.

Его сделали в НАСА. Оно напоминает Google Earth;

We've all seen Google Earth;

this is an open-source version of that.

это версия с открытым кодом. Здесь расширения, дающие возможность

There are plug-ins to be able to load in different data sets

загрузить разные наборы информации, которые NASA собирает годами.

that NASA's collected over the years.

As you can see, I can use the same two-fingered gestures

Но как вы видите, я могу использовать те же движения пальцев,

чтобы с легкостью спускаться и двигаться. Интерфейса нет опять.

to go down and go in really seamlessly.

There's no interface, again.

It really allows anybody to kind of go in --

Это позволяет любому управлять программой так, как ему удобно.

and it just does what you'd expect, you know?

Снова, нет интерфейса. Интерфейс просто исчезает.

Again, there's just no interface here. The interface just disappears.

I can switch to different data views.

Я могу переключиться на другой слой данных. Это здорово!

That's what's neat about this app here.

NASA's really cool.

Смотрите. У NASA всё здорово. У них есть эти гиперспектральные изображения,

These hyper-spectral images are false-colored so you can --

они с ложными цветами, это удобно для нужд сельского хозяйства.

it's really good for determining vegetative use.

Well, let's go back to this.

Итак, в приложениях с картами здорово то,

The great thing about mapping applications --

что они не двух-, а практически трёхмерные. С многоточечным интерфейсом

it's not really 2D, it's 3D.

So, again, with a multi-point interface, you can do a gesture like this --

вы можете делать вот так и вот так.

so you can be able to tilt around like that --

(Surprised laughter)

Это не похоже просто на двухмерное приближение и движение.

It's not just simply relegated to a kind of 2D panning and motion.

This gesture is just putting two fingers down --

Теперь, вот что мы придумали: просто поставьте два пальца так,

it's defining an axis of tilt -- and I can tilt up and down that way.

это определяет ось наклона, и я могу наклонять вверх и вниз таким образом.

We just came up with that on the spot,

Это получилось неожиданно для нас,

it's probably not the right thing to do,

так, конечно, проекты не разрабатывают,

but there's such interesting things you can do with this interface.

но с этим интерфейсом можно много чего делать.

It's just so much fun playing around with it, too.

И с этим ещё очень весело играть. (Смех)

(Laughter)

And so the last thing I want to show you is --

И последнее, что я хочу показать вам —

I'm sure we can all think of a lot of entertainment apps

я уверен, можно придумать множество развлекательных приложений,

that you can do with this thing.

с помощью этого устроийства.

I'm more interested in the creative applications we can do with this.

Я более заинтересован в «творческих» приложениях, которые можно создать на его основе.

Now, here's a simple application here -- I can draw out a curve.

Вот простое приложение — я могу нарисовать кривую.

And when I close it, it becomes a character.

И, когда я замкну её, она обретает самостоятельную жизнь.

But the neat thing about it is I can add control points.

Вот что здорово — я могу добавить контрольные точки.

And then what I can do is manipulate them with both of my fingers at the same time.

И теперь я могу управлять ими одновременно несколькими пальцами.

And you notice what it does.

Посмотрите, что оно делает.

It's kind of a puppeteering thing,

Это что-то вроде пальцевой куклы, которой я могу управлять,

where I can use as many fingers as I have to draw and make --

используя пальцы.

Now, there's a lot of actual math going on under here

За этим стоит множество вычислений, позволяющих

for this to control this mesh and do the right thing.

контролировать объекты и делать всё правильно.

This technique of being able to manipulate a mesh here, with multiple control points,

Я имею в виду, эта техника с манипуляцией сеткой,

с множеством контрольных точек, на самом деле очень современная.

is actually state of the art.

It was released at SIGGRAPH last year.

Её представили в прошлом году на конференции Siggraph,

It's a great example of the kind of research I really love:

и это отличный пример разработок, которые мне нравятся.

Вся эта вычислительная мощь применяется, чтобы всё делалось верно.

all this compute power to make things do the right things,

intuitive things, to do exactly what you expect.

Интуитивно. Делать то, что ожидаете.

So, multi-touch interaction research is a very active field right now in HCI.

Исследования в области мультитач взаимодействия человека и компьютера ведутся очень активно.

I'm not the only one doing it, a lot of other people are getting into it.

Ими заняты множество людей, помимо меня.

This kind of technology is going to let even more people get into it,

Эта технология соберет ещё больше людей вокруг себя,

I'm looking forward to interacting with all of you over the next few days

и я очень надеюсь пообщаться со всеми вами, ребята,

и послушать, какое применение моему изобретению вы сможете найти.

and seeing how it can apply to your respective fields.

Спасибо.

Thank you.

(Аплодисменты)

(Applause)