Unveiling the genius of multi-touch interface design | Jeff Han

Перекладач: Khrystyna Romashko Утверджено: Alina Kozoriz

I'm really excited to be here today.

Я справді щасливий бути тут сьогодні.

I'll show you some stuff that's just ready to come out of the lab,

Я покажу вам дещо, що тільки вийшло з лабораторії,

literally, and I'm really glad that you guys

буквально щойно, і я радий, що ви

are going to be among the first to see it in person,

будете серед тих, хто вперше побачить це на власні очі,

because I really think this is going to really change

бо я дійсно думаю, що це змінить

the way we interact with machines from this point on.

наш дотеперішній спосіб взаємодії з машинами.

Now, this is a rear-projected drafting table.

Це креслярський стіл з нижньою підсвіткою.

It's about 36 inches wide

Він 91 см завширшки

and it's equipped with a multi-touch sensor.

та обладнаний мультисенсорним екраном.

Normal touch sensors that you see,

Звичайні сенсорні екрани, які ви бачите,

like on a kiosk or interactive whiteboards,

наприклад, на кіоску чи інтерактивних магнітних дошках,

can only register one point of contact at a time.

можуть реєструвати тільки одну точку чи один контакт за раз.

This thing allows you to have multiple points at the same time.

Ця річ дає вам змогу мати багато точок водночас.

They can use both my hands; I can use chording actions;

Вона може реєструвати обидві мої руки; я можу застосувати кілька дій;

I can just go right up and use all 10 fingers if I wanted to.

можу піднятися вправо догори та використати всі 10 пальців, якщо захочу.

You know, like that.

Ось так, бачите.

Now, multi-touch sensing isn't completely new.

Мультисенсорний екран не є чимось цілком новим.

People like Bill Buxton have been playing around with it in the '80s.

Такі люди, як Білл Бакстон, гралися з ним ще у 80-х.

However, the approach I built here is actually high-resolution,

Однак, підхід, який я тут розробив, власне, має високу роздільність,

low-cost, and probably most importantly, very scalable.

низьку вартість, і, ймовірно, найважливіше – піддається налаштуванням.

So, the technology, you know,

Технологія, бачте,

isn't the most exciting thing here right now,

не є найбільш вражаючим у цій ситуації.

other than probably its newfound accessibility.

Тут вражає нововідкрита доступність.

What's really interesting here is what you can do with it

Цікаво те, що можна з цим робити

and the kind of interfaces you can build on top of it.

та які інтерфейси можна створити на такій поверхні.

So let's see.

Погляньмо.

So, for instance, we have a lava lamp application here.

Наприклад, тут ми маємо додаток "Лавова лампа".

Now, you can see,

Ви можете побачити,

I can use both of my hands to kind of squeeze and put the blobs together.

я застосовую обидві руки, щоб неначе стиснути та звести докупи кульки.

I can inject heat into the system here,

Можу додати тепло в систему

or I can pull it apart with two of my fingers.

або роз'єднати двома пальцями.

It's completely intuitive; there's no instruction manual.

Це абсолютно інтуїтивно; посібника з інструкціями немає.

The interface just kind of disappears.

Інтерфейс ніби зникає.

This started out as a screensaver app

Почалося це з додатку для екранної заставки,

that one of the Ph.D. students in our lab, Ilya Rosenberg, made.

що його розробив один з аспірантів у нашій лабораторії, Ілля Розенберґ.

But I think its true identity comes out here.

Та, гадаю, тут проявляється його справжня сутність.

Now what's great about a multi-touch sensor is that, you know,

У мультисенсорному екрані чудово те,

I could be doing this with as many fingers here,

що я можу робити це тут багатьма пальцями,

but of course multi-touch also inherently means multi-user.

але, звісно, мультисенсор також дає змогу залучати більше одного користувача.

Chris could be interacting with another part of Lava,

Кріс може взаємодіяти з іншою частиною лампи,

while I play around with it here.

поки я бавлюся нею тут.

You can imagine a new kind of sculpting tool,

Уявіть новий вид інструменту для створення скульптур,

where I'm kind of warming something up, making it malleable,

коли я щось підігріваю, роблю його еластичним,

and then letting it cool down and solidifying in a certain state.

а тоді даю охолодитися та затверднути в певному стані.

Google should have something like this in their lobby.

Google повинен мати щось таке в своїй приймальні.

(Laughter)

(Сміх)

I'll show you a little more of a concrete example here,

Покажу вам ще кілька конкретних прикладів,

as this thing loads.

поки ця штука завантажується.

This is a photographer's light-box application.

Це додаток негатоскопа для фотографів.

Again, I can use both of my hands to interact and move photos around.

Знову ж, я можу використати обидві руки для взаємодії та переміщати фото.

But what's even cooler is that if I have two fingers,

Але ще крутіше, що двома пальцями

I can actually grab a photo and then stretch it out like that really easily.

я можу, власне, схопити фото і тоді дуже легко розтягнути його ось так.

I can pan, zoom and rotate it effortlessly.

Я можу підганяти форму, збільшувати та обертати без жодних зусиль.

I can do that grossly with both of my hands,

Можу робити це згрубша обома руками,

or I can do it just with two fingers on each of my hands together.

або ж двома пальцями обох рук одночасно.

If I grab the canvas, I can do the same thing -- stretch it out.

Якщо захопити робочий стіл, можна зробити те саме – розтягти його.

I can do it simultaneously, holding this down,

Я можу робити це одночасно, тримаючи це знизу,

and gripping on another one, stretching this out.

і зачепити за інше, розтягнувши ось тут.

Again, the interface just disappears here.

Знову ж таки, інтерфейс ніби зникає.

There's no manual.

Немає інструкції.

This is exactly what you expect,

Це саме те, чого ви очікуєте,

especially if you haven't interacted with a computer before.

особливо, якщо ви раніше не працювали з комп'ютером.

Коли йдеться про такі ініціативи як ноутбук за 100 доларів,

Now, when you have initiatives like the $100 laptop,

I kind of cringe at the idea

я схиляюсь перед ідеєю

of introducing a whole new generation to computing

запуску зовсім нового покоління комп'ютерів,

with this standard mouse-and-windows-pointer interface.

на зміну стандартним інтерфейсам з вікнами і вказівником мишки.

This is something that I think is really the way

Я справді гадаю, що саме так

we should be interacting with machines from now on.

ми повинні взаємодіяти з машинами відтепер.

(Applause)

(Оплески)

Now, of course, I can bring up a keyboard.

Звичайно, можна взяти клавіатуру.

(Laughter)

(Сміх)

And I can bring that around, put that up there.

Я можу принести її, поставити тут.

Obviously, this is a standard keyboard,

Звісно, це стандартна клавіатура,

but of course I can rescale it to make it work well for my hands.

але я ж можу переналаштувати її для кращої роботи з руками.

That's really important, because there's no reason in this day and age

Це справді важливо, бо не існує причини у цей час та в цю епоху,

that we should be conforming to a physical device.

через яку ми б мали підлаштовуватись під фізичний прилад.

That leads to bad things, like RSI.

Це призводить до поганого, наприклад, розтягнення сухожиль.

We have so much technology nowadays

Сьогодні існує стільки технологій,

that these interfaces should start conforming to us.

що ці інтерфейси мають почати підлаштовуватись під нас.

There's so little applied now to actually improving

А так мало відводиться уваги тому, щоб, власне, покращити

the way we interact with interfaces from this point on.

наш спосіб взаємодії з інтерфейсами з цього моменту.

This keyboard is probably actually the really wrong direction to go.

Ця клавіатура, мабуть, справді не те, що варто розвивати.

You can imagine, in the future, as we develop this kind of technology,

Можете уявити, в майбутньому, коли ми розвинемо таку технологію,

a keyboard that kind of automatically drifts as your hand moves away,

клавіатуру, яка наче автоматично переміщується за рухами вашої руки

and really intelligently anticipates which key you're trying to stroke.

і справді розумно вгадує, яку клавішу ви намагаєтесь натиснути.

So -- again, isn't this great?

Знову ж, хіба це не чудово?

(Laughter)

(Сміх)

Audience: Where's your lab?

Зал: Де ваша лабораторія?

Jeff Han: I'm a research scientist at NYU in New York.

Джефф Ген: Я вчений-дослідник з Університету Нью-Йорка.

Here's an example of another kind of app. I can make these little fuzz balls.

Ось приклад іншого виду додатку. Можна робити такі маленькі гриби-дощовики.

It'll remember the strokes I'm making.

Він запам'ятає мої рухи.

Of course I can do it with all my hands.

Звичайно, я можу це робити обома руками.

It's pressure-sensitive.

Він реагує на дотик.

What's neat about that is,

Це круто тим,

I showed that two-finger gesture that zooms in really quickly.

що я показав цей жест двома пальцями, який справді швидко збільшує.

Because you don't have to switch to a hand tool

Бо вам не треба перемикатись на маніпуляцію інструментом

or the magnifying glass tool,

чи на збільшуючий інструмент,

you can just continuously make things

ви можете безперервно робити речі

in real multiple scales, all at the same time.

різного обсягу та одночасно.

I can create big things out here,

Я можу створювати тут великі речі,

but I can go back and really quickly go back

а можу повернутись, справді швидко повернутись

to where I started, and make even smaller things here.

до місця, з якого почав, і зробити тут щось менше.

This is going to be really important

Це буде дійсно важливо,

as we start getting to things like data visualization.

коли справа дійде до таких речей як візуалізація даних.

For instance, I think we all enjoyed Hans Rosling's talk,

Гадаю, нам всім сподобався виступ Ганса Рослінґа,

and he really emphasized the fact I've been thinking about for a long time:

який наголосив на тому, про що я думаю вже довгий час:

We have all this great data,

у нас є усі ці чудові дані,

but for some reason, it's just sitting there.

але з якоїсь причини вони просто там собі лежать.

We're not accessing it.

Ми їх не використовуємо.

And one of the reasons why I think that is

Як на мене, одна з причин у тому,

will be helped by things like graphics and visualization and inference tools,

що тут є потреба у графічній візуалізації та інструментах аналізу,

but I also think a big part of it

а ще, гадаю, йдеться про те,

is going to be having better interfaces,

щоб мати кращі інтерфейси

to be able to drill down into this kind of data,

для детального вивчення такого типу даних,

while still thinking about the big picture here.

не забуваючи про повну картину.

Let me show you another app here. This is called WorldWind.

Дозвольте показати вам інший додаток під назвою WorldWind.

It's done by NASA.

Його розробила НАСА.

We've all seen Google Earth;

Усі ми бачили Google Earth;

this is an open-source version of that.

це його версія з відкритим джерелом.

There are plug-ins to be able to load in different data sets

Тут є плагіни для завантаження різних наборів даних,

that NASA's collected over the years.

які НАСА збирала роками.

As you can see, I can use the same two-fingered gestures

Як бачите, можна використати ті самі жести двома пальцями,

to go down and go in really seamlessly.

щоб опуститись вниз та зайти туди без зусиль.

There's no interface, again.

Знову ж таки, немає інтерфейсу.

It really allows anybody to kind of go in --

Тому сюди може зайти будь-хто –

and it just does what you'd expect, you know?

і воно робить саме те, що ви очікуєте.

Again, there's just no interface here. The interface just disappears.

Тут немає інтерфейсу. Він просто зникає.

Я можу переключатися на різні перегляди даних.

I can switch to different data views.

That's what's neat about this app here.

Тому цей додаток є крутим.

NASA's really cool.

НАСА - крута.

These hyper-spectral images are false-colored so you can --

Ці гіперспектральні зображення забарвлені штучно,

it's really good for determining vegetative use.

це справді добре для визначення вегетативного розмноження.

Well, let's go back to this.

Повернемося до цього.

The great thing about mapping applications --

Додатки з картами чудові тим,

it's not really 2D, it's 3D.

що це не зовсім 2D, це 3D.

So, again, with a multi-point interface, you can do a gesture like this --

Тож, знову, із сенсорним екраном можна зробити такий жест –

so you can be able to tilt around like that --

і ви зможете обернути ось так –

(Surprised laughter)

(Здивований сміх)

It's not just simply relegated to a kind of 2D panning and motion.

Тут ідеться не тільки про рух та панораму 2D.

This gesture is just putting two fingers down --

Цей жест полягає просто у прикладанні двох пальців –

it's defining an axis of tilt -- and I can tilt up and down that way.

він визначає вісь нахилу – і можна нахиляти догори чи вниз ось так.

We just came up with that on the spot,

Ми тільки-но відкрили це,

it's probably not the right thing to do,

мабуть, це не те, чим варто займатись,

but there's such interesting things you can do with this interface.

але з цим інтерфейсом можна робити такі цікаві штуки.

It's just so much fun playing around with it, too.

З цим також дуже весело бавитись.

(Laughter)

(Сміх)

And so the last thing I want to show you is --

Останнє, що я хочу вам показати –

я впевнений, ви всі думаєте про безліч розважальних додатків,

I'm sure we can all think of a lot of entertainment apps

that you can do with this thing.

які можна створити з цією штукою.

I'm more interested in the creative applications we can do with this.

Мене більше цікавлять креативні додатки, які з нею можна створити.

Now, here's a simple application here -- I can draw out a curve.

Ось простий додаток – можна намалювати криву.

And when I close it, it becomes a character.

Коли я закрию його, вона перетвориться на символ.

But the neat thing about it is I can add control points.

Класно, що я можу додати контрольні точки.

And then what I can do is manipulate them with both of my fingers at the same time.

А тоді я можу маніпулювати ними обома пальцями водночас.

And you notice what it does.

Ви помітили, що воно робить.

It's kind of a puppeteering thing,

Схоже на маріонетку,

where I can use as many fingers as I have to draw and make --

коли можна застосувати усі пальці для малювання та створення.

Now, there's a lot of actual math going on under here

За цим усім приховано багато математичних розрахунків,

for this to control this mesh and do the right thing.

щоб контролювати ці фігури та робити те, що треба.

This technique of being able to manipulate a mesh here, with multiple control points,

Ця техніка маніпуляції фігурами, з численними контрольними точками,

is actually state of the art.

власне, є мистецтвом.

It was released at SIGGRAPH last year.

Її реліз відбувся минулого року у компанії SIGGRAPH.

It's a great example of the kind of research I really love:

Це прекрасний приклад дослідження, яке мені справді подобається:

all this compute power to make things do the right things,

уся сила комп'ютера, щоб змусити речі робити, що потрібно,

intuitive things, to do exactly what you expect.

інтуїтивні речі, робити саме те, чого ми очікуємо.

So, multi-touch interaction research is a very active field right now in HCI.

Дослідження мультисенсорності зараз є дуже активним у взаємодії людини і комп'ютера.

I'm not the only one doing it, a lot of other people are getting into it.

Я не єдиний, хто цим займається, сюди залучено багато інших людей.

This kind of technology is going to let even more people get into it,

Така технологія дозволить залучити ще більшу кількість людей.

I'm looking forward to interacting with all of you over the next few days

Я з нетерпінням чекаю спілкування з усіма вами у наступні кілька днів,

and seeing how it can apply to your respective fields.

щоб поговорити, як це можна застосувати у ваших сферах.

Thank you.

Дякую.

(Applause)

(Оплески)