The thrilling potential of SixthSense technology | Pranav Mistry

Пранав Мистри: Захватывающий потенциал технологии Шестого чувства

Переводчик: Denis Shvedov Редактор: Valentina Wellbrock

We grew up

Мы выросли, взаимодействуя

interacting with the physical objects around us.

с различными физическими объектами.

There are an enormous number of them that we use every day.

Ежедневно мы используем

огромное количество предметов.

Unlike most of our computing devices,

В отличие от компьютерных приспособлений

these objects are much more fun to use.

эти предметы относительно удобны для использования.

Говоря о предметах,

When you talk about objects,

one other thing automatically comes attached to that thing,

в голову приходит связанная с ними вещь —

and that is gestures:

это телодвижения, с их помощью

how we manipulate these objects,

мы манипулируем этими объектами,

how we use these objects in everyday life.

и используем в повседневной жизни.

We use gestures not only to interact with these objects,

Телодвижения нам необходимы не только для взаимодействия с предметами,

but we also use them to interact with each other.

но и для общения друг с другом.

A gesture of "Namaste!", maybe, to respect someone, or maybe,

Например, посредством движения «Намасте» мы приветствуем,

или,

in India I don't need to teach a kid that this means

к примеру, в Индии любой ребёнок знает

"four runs" in cricket.

что это «четвёрка» в крикете.

It comes as a part of our everyday learning.

Всё это естественно в нашей повседневной жизни.

So, I am very interested, from the beginning,

Но уже давно

меня интересует вопрос

how our knowledge about everyday objects and gestures,

как наши знания

об обычных предметах и телодвижениях

and how we use these objects,

и о том, как мы используем предметы,

can be leveraged to our interactions with the digital world.

могут быть использованы для взаимодействия с цифровым миром.

Rather than using a keyboard and mouse,

Почему бы вместо использования клавиатуры и мыши

why can I not use my computer

нам не использовать компьютер

in the same way that I interact in the physical world?

таким же способом, как мы используем предметы из физического мира?

So, I started this exploration around eight years back,

В результате 8 лет назад я занялся исследованием этого вопроса.

and it literally started with a mouse on my desk.

И началось всё с мышки на моём столе.

Rather than using it for my computer, I actually opened it.

Вместо использования её для компьютера,

я просто разобрал её.

Most of you might be aware that, in those days,

Должен предупредить, что тогда

the mouse used to come with a ball inside,

внутри мышки находился шарик

and there were two rollers

и два ролика,

that actually guide the computer where the ball is moving,

с помощью которых компьютеру передавалась информация о вращении шарика,

and, accordingly, where the mouse is moving.

и, следовательно, движениях мышки.

So, I was interested in these two rollers,

Меня заинтересовали эти два ролика.

and I actually wanted more, so I borrowed another mouse from a friend --

Мне понадобились ещё ролики, и я попросил мышку у друга -

never returned to him --

но так и не вернул её -

and I now had four rollers.

теперь у меня было четыре ролика.

Interestingly, what I did with these rollers is,

С этим роликами я поступил просто -

basically, I took them off of these mouses and then put them in one line.

извлёк их из мышек

и положил в одну линию.

It had some strings and pulleys and some springs.

У них были различные пружинки, шкивы.

What I got is basically a gesture-interface device

В результате я сделал устройство,

that actually acts as a motion-sensing device

способное обрабатывать движения

made for two dollars.

стоимостью лишь $2.

So, here, whatever movement I do in my physical world

Теперь любое физическое движение

is actually replicated inside the digital world

могло повторяться в электронном мире

just using this small device that I made, around eight years back,

с использованием небольшого устройства, сделанного мной 8 лет назад

in 2000.

в 2000 г.

Because I was interested in integrating these two worlds,

Поскольку мне хотелось объединить электронный и физический мир,

I thought of sticky notes.

я подумал о клейких листочках для заметок.

I thought, "Why can I not connect

Я подумал «Почему бы мне не объединить

the normal interface of a physical sticky note

воедино обычную заметку на таком листке

to the digital world?"

с цифровым аналогом?»

A message written on a sticky note to my mom,

Записка на этом листке для мамы

on paper,

могла бы

can come to an SMS,

быть отправлена по SMS

or maybe a meeting reminder

или напоминание о встрече

automatically syncs with my digital calendar --

могло бы синхронизоваться с моим электронным календарём —

a to-do list that automatically syncs with you.

получается электронный ежедневник, который всегда со мной.

But you can also search in the digital world,

Но так же можно искать что-то в электронном мире,

or maybe you can write a query, saying,

например, можно сделать запрос, скажем,

"What is Dr. Smith's address?"

«Какой адрес у Доктора Смита?»

and this small system actually prints it out --

и система тут же выдаст ответ —

so it actually acts like a paper input-output system,

т.е. получается система ввода-вывода на бумагу

just made out of paper.

только без самой бумаги.

In another exploration,

Или, другими словами,

I thought of making a pen that can draw in three dimensions.

я задумался о создании авторучки, которая пишет в 3 измерениях.

So, I implemented this pen that can help designers and architects

И я сделал её.

Она позволяет дизайнерам и архитекторам

not only think in three dimensions,

не только думать в трёх измерениях,

but they can actually draw,

но и воплощать их идеи

so that it's more intuitive to use that way.

просто и легко.

Then I thought, "Why not make a Google Map,

Затем я подумал, «Почему бы мне не перенести Google Map

but in the physical world?"

в физический мир?»

Rather than typing a keyword to find something,

Вместо того чтобы набирать на клавиатуре поисковый запрос,

I put my objects on top of it.

я поместил предметы на неё.

If I put a boarding pass, it will show me where the flight gate is.

Я кладу авиабилет, и система показывает мне номер выхода на посадку.

A coffee cup will show where you can find more coffee,

Чашка кофе — и мы видим, где можно найти ещё кофе,

or where you can trash the cup.

или куда выбросить чашку.

So, these were some of the earlier explorations I did

Но это были лишь первые шаги, поскольку

because the goal was to connect these two worlds seamlessly.

моей целью было объединить два мира.

Among all these experiments,

Во всех этих экспериментах

there was one thing in common:

была одна общая вещь:

I was trying to bring a part of the physical world

я пытался поместить часть физического мира в мир электронный.

to the digital world.

Я брал различные части предметов,

I was taking some part of the objects,

or any of the intuitiveness of real life,

или же действия из реальной жизни

and bringing them to the digital world,

и пытался поместить их в электронный мир,

because the goal was to make our computing interfaces more intuitive.

чтобы сделать компьютерные устройства более интуитивными.

But then I realized that we humans are not actually interested in computing.

Но потом я понял, что людям

не так уж интересны компьютеры.

What we are interested in is information.

Интерес представляет информация.

We want to know about things.

Нам хочется знать о различных вещах.

We want to know about dynamic things going around.

Мы хотим знать о происходящем вокруг.

So I thought, around last year -- in the beginning of the last year --

И где-то в прошлом году — в начале прошлого года —

I started thinking, "Why can I not take this approach in the reverse way?"

у меня появилась мысль «Почему бы мне не изменить свой подход?»

Может так — «Взять и перенести информацию

Maybe, "How about I take my digital world

and paint the physical world with that digital information?"

из электронного мира в физический?»

Пикселы сегодня заключены в различные прямоугольные устройства,

Because pixels are actually, right now, confined in these rectangular devices

вмещающиеся в карман.

that fit in our pockets.

Why can I not remove this confine

Почему бы мне не избавиться от этих ограничений

and take that to my everyday objects, everyday life

и передать их на окружающие объекты,

so that I don't need to learn the new language

чтобы мне не приходилось изучать новые языки

for interacting with those pixels?

для общения с этими пикселами?»

So, in order to realize this dream,

Для того чтобы реализовать эту мечту,

I actually thought of putting a big-size projector on my head.

я решил поместить на свою голову широкоформатный проектор.

I think that's why this is called a head-mounted projector, isn't it?

Думаю его можно назвать наголовным проектором.

I took it very literally,

Собственно, так я и сделал —

and took my bike helmet,

взял мотоциклетный шлем

put a little cut over there so that the projector actually fits nicely.

и проделал в нём отверстие для проектора.

So now, what I can do --

Итак, теперь я могу

I can augment the world around me with this digital information.

дополнить окружающий мир электронной информацией.

But later,

Но затем я понял,

I realized that I actually wanted to interact

что мне необходимо как-то работать с электронной информацией.

with those digital pixels, also.

So I put a small camera over there that acts as a digital eye.

Я добавил к устройству ещё и камеру,

которая стала электронным глазом.

Later, we moved to a much better,

Потом мы стали использовать

consumer-oriented pendant version of that,

более компактную, похожую на кулон версию изобретения,

that many of you now know as the SixthSense device.

известного как устройство «шестого чувства» (SixthSense).

But the most interesting thing about this particular technology

Но самое любопытное в этой технологии —

is that you can carry your digital world with you

то, что вы можете носить свой электронный мир с собой,

wherever you go.

где бы вы не находились.

You can start using any surface, any wall around you,

Вы можете использовать любую поверхность, любую стену

as an interface.

в качестве интерфейса.

The camera is actually tracking all your gestures.

Камера следит за каждым вашим движением.

Whatever you're doing with your hands,

Когда вы жестикулируете руками,

it's understanding that gesture.

камера воспринимает ваши действия.

And, actually, if you see, there are some color markers

Вы видите несколько цветных маркеров,

that in the beginning version we are using with it.

которые мы использовали в первоначальной версии.

You can start painting on any wall.

Вы можете рисовать что угодно на любой стене.

You stop by a wall, and start painting on that wall.

Увидели стену — и начали рисовать.

But we are not only tracking one finger, here.

Но здесь мы следим не только за одним пальцем.

We are giving you the freedom of using all of both of your hands,

У вас есть полная свобода в использовании обеих рук,

so you can actually use both of your hands to zoom into or zoom out

например, с помощью рук можно приближать и удалять изображение

of a map just by pinching all present.

карты простым движением пальцев.

The camera is actually doing -- just, getting all the images --

Что делает камера? —

помимо съёмки изображения —

is doing the edge recognition and also the color recognition

она воспринимает цветовое и пространственное разрешение,

and so many other small algorithms are going on inside.

а также ряд других небольших алгоритмов.

So, technically, it's a little bit complex,

Технически, это сложно,

but it gives you an output which is more intuitive to use, in some sense.

но зато вы получаете интуитивно понятное средство для вывода информации.

But I'm more excited that you can actually take it outside.

Но больше всего мне нравится, что это устройство можно использовать где угодно.

Rather than getting your camera out of your pocket,

Вместо того чтобы доставать камеру из кармана,

you can just do the gesture of taking a photo,

можно сделать движение съёмки

and it takes a photo for you.

и получить фотографию

(Applause)

(Аплодисменты)

Thank you.

Спасибо.

And later I can find a wall, anywhere,

А потом можно найти любую стену

and start browsing those photos

и посмотреть сделанные снимки

or maybe, "OK, I want to modify this photo a little bit

или отредактировать фотографию

and send it as an email to a friend."

и послать её по электронной почте.

So, we are looking for an era

В общем-то, мы находимся на пороге эры

where computing will actually merge with the physical world.

когда компьютеры будут объединены с реальным миром.

And, of course, if you don't have any surface,

Даже если рядом нет стены —

you can start using your palm for simple operations.

можно использовать собственную ладонь.

Here, I'm dialing a phone number just using my hand.

Вот я использую свою ладонь, чтобы набрать номер.

The camera is actually not only understanding your hand movements,

Камера не только понимает ваши действия,

but, interestingly,

но, что интересно,

is also able to understand what objects you are holding in your hand.

понимает, какой объект находится у вас в руках.

Что же мы получаем на практике? —

For example, in this case,

например,

the book cover is matched

обложка книги совпадает

with so many thousands, or maybe millions of books online,

с тысячами или даже миллионами книг в интернете,

and checking out which book it is.

и мы можем узнать о ней подробности.

Once it has that information,

Таким образом

it finds out more reviews about that,

мы можем найти её обзор

or maybe New York Times has a sound overview on that,

или аудиорецензию из New York Times,

so you can actually hear, on a physical book,

которую можно тут же прослушать на поверхности

a review as sound.

обычной книги.

(Video) Famous talk at Harvard University --

(«знаменитое выступление в Гарвардском Университете...»)

This was Obama's visit last week to MIT.

Это визит Обамы в Массачусетский технологический институт на прошлой неделе.

(Video) And particularly I want to thank two outstanding MIT --

("... и я хотел бы поблагодарить двух выдающихся ...")

Pranav Mistry: So, I was seeing the live [video] of his talk,

Таким образом, я смог посмотреть видео на чём угодно — хоть на газете.

outside, on just a newspaper.

Your newspaper will show you live weather information

Ваша газета теперь может показать вам актуальный прогноз погоды проще,

rather than having it updated.

чем если бы вы для этого

You have to check your computer in order to do that, right?

воспользовались компьютером. Здорово?

(Applause)

(Аплодисменты)

When I'm going back, I can just use my boarding pass

Когда я буду возвращаться, могу использовать билет,

to check how much my flight has been delayed,

чтобы узнать задерживается ли мой рейс

because at that particular time,

на конкретный момент времени.

I'm not feeling like opening my iPhone,

И мне совершенно не нужно использовать для этого iPhone,

and checking out a particular icon.

и кликать по какой-то иконке.

And I think this technology will not only change the way --

И я думаю, что эта технология не просто изменит мир —

(Laughter)

Да. (Смех)

Yes.

It will change the way we interact with people, also,

Это позволит дополнить возможность общения с другими людьми

not only the physical world.

и не только в физическом мире.

The fun part is, I'm going to the Boston metro,

Любопытно, когда я еду в Бостонском метро

and playing a pong game inside the train on the ground, right?

могу играть в пинг-понг внутри поезда

просто на полу.

(Laughter)

(Смех)

And I think the imagination is the only limit

Думаю, что единственным ограничителем

of what you can think of

станет ваша фантазия,

when this kind of technology merges with real life.

когда эта технология проникнет в нашу жизнь.

But many of you argue, actually,

Многие из вас скажут, что

that all of our work is not only about physical objects.

всё это не является работой с физическими объектами.

We actually do lots of accounting and paper editing

Но что мы обычно с вами делаем

and all those kinds of things; what about that?

при различных подсчётах и редактировании текстов?

And many of you are excited about the next-generation tablet computers

Многие из нас уже ожидают появления нового поколения

to come out in the market.

компьютеров-планшетов.

So, rather than waiting for that,

Но, чтобы не ждать этого

I actually made my own, just using a piece of paper.

я создал свой собственный, работающий на листе бумаги.

So, what I did here is remove the camera --

Всё что я сделал — удалил камеру —

All the webcam cameras have a microphone inside the camera.

во всех вебкамерах есть встроенный микрофон.

I removed the microphone from that,

Я вынул его

and then just pinched that --

и прикрепил —

like I just made a clip out of the microphone --

прикрепил этот микрофон

and clipped that to a piece of paper, any paper that you found around.

к листу бумаги — любому листку, который есть поблизости.

So now the sound of the touch

И теперь звук прикосновения

is getting me when exactly I'm touching the paper.

воспринимается системой.

But the camera is actually tracking where my fingers are moving.

При этом камера следит за движением моих пальцев.

You can of course watch movies.

Конечно, вы можете смотреть фильмы.

(Video) Good afternoon. My name is Russell,

(«Добрый день. Меня зовут Рассел...»)

and I am a Wilderness Explorer in Tribe 54."

(«... я состою в отряде скаутов».)

PM: And you can of course play games.

Также вы можете играть в компьютерные игры.

(Car engine)

(Звук мотора)

Here, the camera is actually understanding how you're holding the paper

В данном случае камера воспринимает лист ещё и как джойстик

and playing a car-racing game.

и вы играете в игру.

(Applause)

(Аплодисменты)

Many of you already must have thought, OK, you can browse.

Многие догадались, что так можно и посещать сайты.

Да! Разумеется, можно посетить любой сайт,

Yeah. Of course you can browse to any websites

or you can do all sorts of computing on a piece of paper

на листе бумаги можно выполнять любые компьютерные действия,

wherever you need it.

которые вам необходимы.

So, more interestingly,

Но более интересно то,

I'm interested in how we can take that in a more dynamic way.

как можно совершать эти действия более эффективно.

When I come back to my desk, I can just pinch that information

Когда я приближаюсь к своему компьютеру,

back to my desktop

я могу вернуть

so I can use my full-size computer.

эту информацию на монитор.

(Applause)

(Аплодисменты)

And why only computers? We can just play with papers.

Но зачем компьютер, когда всё можно делать на бумаге?

Paper world is interesting to play with.

Бумажный мир не менее интересен.

Here, I'm taking a part of a document,

Я могу взять часть документа

and putting over here a second part from a second place,

и поместить её часть в нужном месте —

and I'm actually modifying the information that I have over there.

и, таким образом, изменить информацию

взятую извне.

Yeah. And I say, "OK, this looks nice, let me print it out, that thing."

И я решил — «Здорово!

Теперь нужно это распечатать».

So I now have a print-out of that thing.

Теперь у меня есть распечатка.

So the workflow is more intuitive,

Такая работа с документами

the way we used to do it maybe 20 years back,

и взаимодействием двух миров

rather than now switching between these two worlds.

была невообразима 20 лет назад.

So, as a last thought,

В заключение,

I think that integrating information to everyday objects

я думаю, интеграция информации об обычных объектах

не только поможет нам избавиться от отдельности цифрового мира,

will not only help us to get rid of the digital divide,

the gap between these two worlds,

разрывом между этими мирами,

but will also help us, in some way,

но и поможет

to stay human,

стать нам более человечными,

to be more connected to our physical world.

соприкоснуться с реальным миром.

And it will actually help us not end up being machines

И избавит нас от участи стать машинами,

sitting in front of other machines.

сидящими перед другими машинами.

That's all. Thank you.

Вот и всё. Спасибо!

(Applause)

(Аплодисменты)

Thank you.

Спасибо.

(Applause)

(Аплодисменты)

Chris Anderson: So, Pranav, first of all, you're a genius.

Крис Андерсон: Пранав,

во-первых, вы гений!

This is incredible, really.

Это действительно невероятно.

What are you doing with this? Is there a company being planned?

Что вы будете делать со всем этим? Этим займётся какая-то компания?

Or is this research forever, or what?

Или это вечное исследование, или ещё что-то?

Pranav Mistry: So, there are lots of companies,

Пранав Мистри: Есть множество компаний —

sponsor companies of Media Lab interested in taking this ahead

например, спонсоры лаборатории Media Lab —

заинтересованных в использовании разработок.

in one or another way.

Companies like mobile-phone operators

Мобильные операторы

want to take this in a different way than the NGOs in India,

хотят использовать их совместно с индийскими НКО в другом виде,

thinking, "Why can we only have 'Sixth Sense'?

они думают — «Зачем нам технология шестого чувства?

We should have a 'Fifth Sense' for missing-sense people who cannot speak.

Мы можем создать “Пятое чувство” для людей с ограниченными способностями,

например, для тех, кто не может говорить.

This technology can be used for them to speak out in a different way

Эта технология позволит им говорить другим способом

maybe a speaker system."

возможно при помощи особой системы».

CA: What are your own plans? Are you staying at MIT,

К.А.: А каковы Ваши дальнейшие планы? Останетесь в MIT,

or are you going to do something with this?

или будете делать что-то другое?

П.М.: Я стараюсь сделать это более доступным для людей,

PM: I'm trying to make this more available to people

практически любой может создавать собственное устройство «Шестого чувства»,

so that anyone can develop their own SixthSense device,

поскольку оборудование не так сложно производить

because the hardware is actually not that hard to manufacture

or hard to make your own.

или даже сделать самому.

We will provide all the open source software for them,

Мы можем обеспечить их свободным программным обеспечением,

maybe starting next month.

возможно, начнём это делать уже через месяц.

CA: Open source? Wow.

К.А.: Свободное ПО? Здорово.

(Applause)

(Аплодисменты)

CA: Are you going to come back to India with some of this, at some point?

К.А.: Собираетесь ли вы вернуться в Индию с этим?

PM: Yeah. Yes, yes, of course.

П.М.: Да, конечно.

CA: What are your plans? MIT? India?

К.А.: Каковы Ваши планы? MIT?

How are you going to split your time going forward?

Индия? Как вы распланировали своё будущее?

PM: There is a lot of energy here. Lots of learning.

П.М.: Здесь очень много энергии. Многому можно научиться.

All of this work that you have seen is all about my learning in India.

Всё, что сделано, сделано благодаря знаниям,

полученным в Индии.

And now, if you see, it's more about the cost-effectiveness:

И, кстати о стоимости:

this system costs you $300

эта система стоит $300, сравните это

compared to the $20,000 surface tables, or anything like that.

с $20 000 за интерактивный стол или чем-то подобным.

Or maybe even the $2 mouse gesture system at that time was costing around $5,000?

Или даже с системой, воспринимающей движения, с которой всё начиналось

с её аналогом за $5 000?

I showed that, at a conference, to President Abdul Kalam, at that time,

Я продемонстрировал свою систему на конференции

президенту Абдуле Каламу и он сказал:

and then he said, "OK, we should use this in Bhabha Atomic Research Centre

«Хорошо, мы можем использовать её в Атомном исследовательском центре Bhabha

for some use of that."

для ряда задач».

So I'm excited about how I can bring the technology to the masses

И я восхищён тем, что могу сделать технологию массовой

rather than just keeping that technology in the lab environment.

вместо того, чтобы держать её в лаборатории.

(Applause)

(Аплодисменты)

CA: Based on the people we've seen at TED,

CA: По мнению посетителей TED

I would say you're truly one of the two or three

в настоящее время вы являетесь одним из двух-трёх

best inventors in the world right now.

лучших изобретателей в мире.

It's an honor to have you at TED.

Это честь для нас, что вы продемонстрировали всё это для TED.

Thank you so much.

Большое спасибо!

That's fantastic.

Это просто удивительно.

(Applause)

(Аплодисменты)