Welcome to the World of Audio Computers | Jason Rugolo | TED

Переводчик: Alena Chernykh Редактор: Elena Malykh

You know, when I was a kid,

Когда я был ребёнком,

dreaming about the amazing future that computers could bring,

мечтая об удивительном будущем, которое могут принести компьютеры,

I never thought it would look like this.

я никогда не думал, что всё будет вот так.

I snapped this photo in line at a Chipotle, thinking,

Я сделал эту фотографию в очереди в Chipotle и подумал:

"Man, what has the world come to?"

«Чувак, куда катится этот мир?»

You know, everyone's stuck in their phones all the time.

Все стояли, уткнувшись в свои телефоны.

And then I almost doubled over laughing at myself because there I am,

А потом я чуть не согнулся пополам от смеха над самим собой,

stuck in my phone being judgy about these people, stuck in theirs.

потому что я сам залипаю в телефоне и при этом осуждаю этих людей.

The truth is that we could all benefit from a little less screen time.

Правда, нам всем было бы полезно проводить перед экраном меньше времени.

And so how do we push back

Как же нам не поддасться влиянию технологий

and create a healthier relationship to our technology?

и наладить с ними более здоровые отношения?

I've been trying to figure out what comes next,

Я пытаюсь понять, что будет дальше,

what's the technology that we want to be using?

какую технологию мы захотим использовать?

I spent three years funding deep tech at ARPA-E,

Я три года финансировал наукоёмкие технологии в ARPA-E,

and then I moved to Google X,

а затем перешёл в Google X,

Google's moonshot factory,

исследовательскую лабораторию идей,

before creating a spin out called iyo.

а затем создал дочернюю компанию под названием iyo.

The last 10 years, diligently, and some may say obsessively,

Последние десять лет я старательно, а кто-то даже скажет, одержимо,

trying to peek beyond the curve.

пытался выйти за рамки привычного.

What I think is next is that we need an entirely new kind of computer.

И следующее, что нам понадобится, это компьютер совершенно нового типа.

One that speaks our language

Который будет говорить на нашем языке

instead of forcing us to speak their language of swipes and clicks.

вместо того, чтобы заставлять нас говорить на его языке свайпов и кликов.

A computer that we can talk to.

Компьютер, с которым мы сможем говорить.

And not in the way that you speak at Siri

Но не так, как мы говорим с Siri

with loud, robotic voice commands,

с помощью громких роботизированных голосовых команд,

but in the way that we talk with each other.

а так, как мы разговариваем друг с другом.

So genuine, engaging conversation.

Такой искренний и увлекательный разговор.

So a new kind of natural language computing

Новый вид компьютерного, внешне естественного языка,

built on a new kind of compute hardware.

сделанного на новом типе вычислительного оборудования.

So we've been building this new kind of computer in secret for six years now,

Мы тайно создаём этот новый тип компьютера уже шесть лет,

and today is the first time that we're talking about it publicly.

и сегодня мы впервые говорим об этом публично.

So this is a prototype “audio computer,”

Этот прототип — «аудио компьютер»,

as we call them.

так мы его называем.

And the first thing that you'll see is they don't have a screen.

И первое, что вы увидите, это то, что у него отсутствует экран.

We've got perfectly good screens in our pockets,

У нас в карманах уже есть очень хорошие экраны,

and we're hoping that we could leave them there or even at home

и мы надеемся, что сможем чаще оставлять их там

a little bit more often.

или даже дома.

So these are not just fancy-looking earbuds.

И это не просто новомодные наушники.

They're an entire computer,

Это целый компьютер,

and we think they're going to replace some of what we do

который, мы надеемся, заменит кое-что из того,

with the visual computers that we're used to.

что мы делаем с привычными нам визуальными компьютерами.

We've created a new audio-based user interface,

Это новый пользовательский интерфейс на основе аудио,

which relies on natural language as the input

который использует естественный язык в качестве входных данных,

and what we call “auditory space” as the output.

и так называемое «слуховое пространство» в качестве выходных данных.

And we're hoping that these innovations will help us create

И мы надеемся, что эти инновации помогут нам создать

a new kind of relationship with computers,

новый подход к компьютерам,

where the iyo is more natural, more intuitive.

в котором интерфейс будет более естественным и интуитивно понятным.

So you can just talk,

То есть, вы можете просто разговаривать,

have a natural-language conversation

беседовать на естественном языке

with all kinds of different powerful audio apps.

с помощью различных мощных аудиоприложений.

So here's a really simple example.

Вот очень простой пример.

Hey, Q.

Привет, Q.

Voice: Hi, Jason. How are you doing?

Голос: Привет, Джейсон. Как дела?

Jason Rugolo: Hey, I'm good, I'm doing the TED talk right now.

Джейсон Руголо: У меня всё хорошо, я сейчас выступаю на TED.

Voice: You got this, Jason, how can I support you?

Голос: Ты справишься, Джейсон, как я могу тебя поддержать?

JR: I don't know, you know I'm nervous talking in front of this many people.

ДР: Не знаю, ну, я нервничаю, выступая перед таким количеством людей.

Voice: Yeah, I know you don't like public speaking.

Голос: Я знаю, ты не любишь публичные выступления.

How can I help?

Чем я могу помочь?

JR: I guess I could use a little bit of encouragement.

ДР: Думаю, мне не помешала бы небольшая поддержка.

Voice: Do you want me to share a positive message from a loved one?

Голос: Хочешь, чтобы я прислал позитивное смс от любимого человека?

JR: Yeah, that'd be great.

ДР: Да, было бы здорово.

Maybe just one, I don't want to bore people.

Но только одно, не хочу утомлять людей.

Voice: Your dad texted,

Голос: Твой отец написал:

"Good luck today, Jason. I'm so proud of you."

«Удачи сегодня, Джейсон. Я так горжусь тобой».

JR: That's awesome, thanks, Q.

ДР: Это круто, спасибо, Q.

Can you tell him I said thanks and tell him I'm up on stage right now?

Можешь сказать ему, что я поблагодарил его, и что я сейчас на сцене?

He'll get a kick out of that.

Он будет в восторге.

Voice: No problem.

Голос: Без проблем.

JR: So any suggestions for how I could loosen up a little bit?

ДР: Так есть предложения, как мне немного расслабиться?

Voice: Do you want to hear a joke to lighten the mood?

Голос: Хочешь послушать шутку, чтобы поднять настроение?

JR: OK, yeah, maybe if it's on theme.

ДР: Да, давай, если она в тему.

Do you know any tech start-up jokes?

Ты знаешь шутки о технологических стартапах?

Voice: How many start-up founders does it take to change a light bulb?

Голос: Сколько основателей стартапов нужно, чтобы заменить лампочку?

JR: I don't know, tell me.

ДР: Не знаю, скажи мне.

Voice: Only one.

Голос: Только один.

He just holds it in place, and the world revolves around him.

Он просто держит её на месте, и мир вращается вокруг него.

(Laughter)

(Смех)

JR: OK, sick burn.

JR: Хорошо, уделал.

I'm going to get back to the talk here.

Мы ещё вернёмся к этому диалогу.

So do you see the difference between those robotic voice commands

Вы уловили разницу между этими роботизированными голосовыми командами

and just a conversation?

и просто разговором?

Natural language is just more natural.

Естественный язык звучит естественнее.

It's intuitive, it's better.

Он интуитивно понятен, лучше.

So what makes this kind of conversation possible?

Что же делает возможным такой разговор?

It's the single most revolutionary breakthrough

Это самый революционный прорыв

in the history of information technology.

в истории информационных технологий.

And don't worry, I'm not talking about our devices,

Не волнуйтесь, я говорю не о наших устройствах,

although they're pretty cool.

хотя они довольно крутые.

And I don't mean LLMs either, which are obviously a building block here.

И я также не имею в виду языковой ИИ, который, явно, взят здесь за основу.

What I'm talking about is something much older.

Я говорю о чём-то гораздо более старом.

It's the first uniquely human form of communication,

Это первая уникальная для человека форма общения,

которую мы естественным образом осваиваем в детстве,

the one that we naturally learn as children

and has its structure built into our brain.

и её структура встроена в наш мозг.

It's the very thing I'm doing right now.

Именно этим я сейчас и занимаюсь.

Talking.

Говорю.

Spoken language emerged in tandem with the evolution of human consciousness,

Разговорный язык появился одновременно с развитием человеческого сознания

and to this day, it remains our most efficient

и по сей день остаётся нашим самым эффективным

and emotionally robust form of communication.

и эмоционально устойчивым средством общения.

Conversation is not just transmitting ideas from one person to another.

Беседа — это не просто передача идей от одного человека другому.

It's more like thinking together.

Это больше похоже на совместное мышление.

Modern neuroscientists have pioneered a whole new approach to the brain.

Наши нейробиологи впервые применили совершенно новый подход к мозгу.

Это так называемая нейробиология от второго лица,

It's called second-person neuroscience,

and it’s built on the notion that how we think is not isolated.

она основана на том, что наше мышление не является изолированным.

It’s collective, and it happens out loud.

Это коллективное явление, и оно происходит вслух.

Not just through words,

Не только словами,

but through subtle signals of tone and prosody,

но и тонкими сигналами тона и просодии, тембра,

your timbre and your pitch and intensity.

высоты тона и интенсивности.

And neuroscience is just not complete

А нейробиология не будет полноценной,

until you add a second person into this full social dynamic.

если не включить в эту полную социальную динамику ещё одного человека.

So why can't we have a computer that we can talk with in that way?

Почему же у нас нет компьютера чтобы разговаривать с ним таким образом?

With that kind of natural language.

На таком естественном языке.

A computer that has superhuman processing speed.

Компьютер со сверхчеловеческой скоростью обработки.

And it has access to the internet.

И у него есть доступ в Интернет.

And it’s been trained on the entire written record of human thought.

Он обучен на основе всех письменных записей человеческого мышления,

But engages with you like a person would,

но взаимодействует с вами так же, как с человеком,

that understands your intention

понимающим ваши намерения

and that taps into the superpower of human natural language understanding.

и использующим суперсилу человеческого понимания естественного языка.

That's the promise of audio computing.

В этом и заключается перспектива аудио технологий.

So think about not just how it can replace many of the things

Поэтому подумайте не только о том, как он может заменить многое,

that you do on your phone

что мы делаем на телефоне,

but actually make them better.

но и улучшить его.

So take email, for example.

Например, электронную почту.

We pull out our phones, we swipe, we scroll,

Мы берём телефон, проводим по экрану, скролим

we furiously type with our thumbs.

и яростно печатаем большими пальцами.

Wouldn't it be better to just sit back with a cup of coffee

Не лучше ли просто посидеть за чашечкой кофе

and to be briefed in a conversation?

и получить информацию в ходе беседы?

Or search, search is a big one.

Или поиск, поиск — это большое дело.

It's an incredible technology

Это невероятная технология,

that made the world a radically better place.

которая сделала мир кардинально лучше.

But with these audio computers,

Но с помощью этих аудио компьютеров

you can just talk out loud about anything that you want to know.

вы можете говорить вслух обовсём, что хотите узнать.

It just feels so normal.

Это так естественно.

So there's a big difference between giving a voice command

Поэтому есть большая разница между голосовыми

to one of the big five voice assistants,

командами одного из пяти основных голосовых ассистентов.

which are these structured, predefined choose-your-own-adventure dialogue models

Это структурированные, заранее заданные модели диалогов «выбери сам»,

that we all have to learn,

которые нужно изучить,

and I'm sure have all felt that frustration,

и я уверен, что каждый хоть раз испытывал разочарование

and just having a real conversation.

от обычной живой беседы.

These natural-language applications can get to know you

Эти приложения на естественном языке помогут узнать вас

in the same way that we get to know each other.

так же, как и мы узнаём друг друга.

They build context about our lives just through us talking over time.

Они формируют контекст нашей жизни, просто беседуя с нами определённое время.

So later, take out your phone, look at all those apps,

Позже возьмите телефон, посмотрите на все приложения,

all those candy-colored icons,

на все эти конфетных цветов значки,

and think about how could you accomplish the same thing

и подумайте, как вы могли бы сделать то же самое,

but through conversation?

но через разговор?

Or how could you make it better?

Или как можно улучшить ситуацию?

You won't be able to do Instagram or TikTok,

Вы не сможете использовать Instagram или TikTok,

those apps whose content is mostly visual.

те приложения, контент которых в основном визуальный.

But wouldn't it be better to spend a little bit less time in those apps,

Не лучше ли тратить на эти приложения немного меньше времени

or just to need your screen a little bit less?

или просто реже использовать экран?

So our goal is to be heads-up and hands-free

Поэтому наша цель — больше времени проводить,

for a little bit more of the day.

держа выше голову и «без рук».

You know, just get back into the world.

Просто вернитесь в реальность.

Of course, if the auditory user interface or the AUI, as we call it,

Конечно, если пользовательский интерфейс или, как мы его называем, AUI,

is going to really integrate into your life,

действительно войдёт в нашу жизнь,

it has to feel private and convenient to use.

он должен быть конфиденциальным и удобным в использовании.

So that's why we built it as an all-day wearable for the ear.

И мы создали его так, чтобы его можно было носить в ушах целый день.

But your ears are for hearing first and foremost.

Но уши в первую очередь предназначены для слуха.

And so if you're going to wear a computer on them all day,

Поэтому, если носить на них компьютер целый день,

we can't mess that up.

не должно быть путаницы.

In fact, we should probably make that better too.

На самом деле, нам, наверное, и это стоит улучшить.

So these audio computers,

Эти аудио компьютеры

over the last six grueling years of R and D,

за последние шесть лет напряжённых исследований и разработок

became a sort of mixed-reality device.

стали устройствами смешанной реальности.

It's like the Apple Vision Pro, but for audio,

Они похожи Apple Vision Pro, но используются для аудио:

where we can pass through and we can modify your ambient acoustics,

мы можем передавать звук и изменять окружающую акустику,

giving you an unprecedented control over your personal soundscape.

предоставляя вам беспрецедентный контроль над своим персональным звуковым полем.

In order to do mixed-audio reality,

Чтобы создать реальность со смешанным звуком,

we sort of had to hack the auditory system

нам пришлось, так сказать, взломать слуховую систему,

to be able to display sound in ultra-high fidelity, spatially,

чтобы воспроизводить звук со сверхвысокой точностью в пространстве,

as if it's all around you.

как будто он повсюду.

So there's this whole field of research.

Существует целая область исследований.

It’s called psychoacoustics, which we’ve led on for years.

Это психоакустика, и мы занимаемся ею уже много лет.

We built this giant audio structure.

Мы построили гигантскую аудио структуру.

It's a dome with 128 custom speakers coming from all directions,

Это купол со 128 настраиваемыми динамиками, расположенными со всех сторон,

so we could create virtual soundscapes.

поэтому мы можем делать виртуальную звуковую среду.

It's sort of like the Star Trek holodeck, but for audio.

Это что-то вроде голографической приставки Star Trek, но только для звука.

And if you're standing in the middle of this and you close your eyes,

Когда вы стоите посреди этого места и закрываете глаза,

we can transport you auditorily to anywhere that we want.

мы можем отвезти вас на слух куда угодно.

So we can render a virtual football game,

Мы можем создать виртуальный футбольный матч,

and you feel the energy.

и вы почувствуете его атмосферу.

Or we can make it sound like you’re in the middle of a bustling city street.

Или создать впечатление, будто вы посреди оживлённой городской улицы.

And if you’re me, you feel the anxiety.

А если вы на моём месте, вы испытываете беспокойство.

Or standing on a beach with the crashing waves,

Или будучи на пляже с грохочущими волнами,

and you feel the peace.

вы почувствуете умиротворение.

And so it's super cool.

Так что это очень круто.

I wish everyone could be inside there.

Хотелось бы, чтобы все смогли попробовать это.

Then we ran countless experiments to figure out all the complicated ways

Мы провели огромное количество экспериментов, чтобы выяснить

that your brain positions sounds in space.

все способы позиционирования звуков мозгом в пространстве.

Also, we could reverse-engineer those neural algorithms

Кроме того, мы могли бы перепроектировать эти нейронные алгоритмы

and code them into our software.

и закодировать их в наше ПО.

So our goal has been to create this experience

Поэтому наша цель состояла в том, чтобы создать такую реальность

but right here.

прямо здесь.

Us psychoacousticians call this “virtual auditory space”

Мы, психоакусты, называем это «виртуальным слуховым пространством»,

to distinguish from our real auditory space,

для отличия от реального пространства,

which is, you know, the sounds that are all around us.

то есть окружающих нас звуков.

And this is what's necessary to create a compelling mixed audio-reality device.

Это необходимо для создания наглядного устройства смешанной аудио реальности.

So it's actually impossible to demonstrate this experience

На самом деле, невозможно продемонстрировать этот опыт,

until you hear it with your ears yourself.

пока вы не услышите его своими ушами.

But to give you an idea, we have tried to simulate it for you.

Но чтобы дать вам представление, мы постарались смоделировать его для вас.

So imagine that you’re sitting in a noisy restaurant,

Представьте, что вы в шумном ресторане

and you're having trouble hearing your friends across the table.

и вам плохо слышно, как друзья разговаривают за столом.

(Overlapping voices, music and noise)

(Пересекающиеся голоса, музыка и шум)

Hey, can you enhance the sounds that are right in front of me?

Эй, а можно улучшить звуки, которые звучат прямо передо мной?

(People speaking)

(Говорят люди)

(Baby crying)

(Ребёнок плачет)

And can you turn that baby down?

Можно успокоить ребёнка?

(People talking)

(Люди говорят)

That’s better.

Так лучше.

I'm still having a little trouble hearing Pedro.

Я всё ещё плохо слышу Педро.

Can you isolate Pedro for me?

Можно выделить Педро?

Pedro: (Speaking in Spanish)

Педро: (говорит по-испански)

JR: That's perfect.

ДР: Отлично.

And, you know, my Spanish is a little rusty.

Я не особо силён в испанском.

Can I hear Pedro but in English?

Как бы мне услышать Педро, но на английском?

Pedro: And at the end of the trip,

Педро: И в конце поездки

we came back to the city to visit the historic center.

мы вернулись в город, чтобы посетить исторический центр.

JR: Hey Shell, close all programs.

ДР: Шелл, закрой все программы.

(Noise enhances)

(Шум усиливается)

Ah, it’s so much worse.

Стало намного хуже.

That's pretty cool, right?

Очень круто, правда?

It's pretty cool.

Очень круто.

(Applause)

(Аплодисменты)

So what you just heard was a beamforming app,

Это были приложения для формирования луча,

the computational auditory scene analysis app,

для вычислительного анализа слуховых сцен,

a machine-learning denoising app,

для машинного обучения,

an AI transcription and translation

для транскрипции, перевода

and text-to-speech with style transfer app.

преобразования текста в речь с передачей стиля с помощью ИИ.

The point is that all those audio transformations are done by software.

Преобразования звука выполняются с помощью ПО,

So we think the possibilities for these audio computers

поэтому мы считаем, что возможности аудио компьютеров

are pretty much endless,

практически безграничны,

and we can't wait to see

нам не терпится узнать,

what the world's developers are going to do here.

что собираются сделать здесь мировые разработчики.

Like imagine an education app that knows your personal learning style

Представьте обучающее приложение, которое знает ваш личный стиль обучения

and can teach you with the quality of a world-class professor,

и обучает вас не хуже профессора мирового уровня,

on-call anytime.

который доступен в любое время.

Или, будучи фитнес-тренером, можно весь день рассказывать

Or like a fitness coach you can summon all day

about your diet and exercise,

о своей диете и физических упражнениях,

who can also motivate you through conversation

а также мотивировать разговорами

and even gamify your workout with some auditory cues.

и даже использовать слуховые подсказки в игровой форме.

Or, hey, K?

Или, привет, К?

Voice: Hi, Jason. What's up?

Голос: Привет, Джейсон. Что?

Hey, if you were going to make an audio app that could be anything,

Если бы ты решил создать любое аудио приложение,

what would it be?

что бы это было?

Voice: How about a whoopee cushion

Голос: Может, подушка-пердушка,

that plays a fart sound whenever you sit down?

которая издаёт звук, когда вы садитесь?

(Laughter)

(Смех)

JR: Hey, K, if you were going to make an audio app

ДР: А если создать аудио приложение,

that didn't have anything to do with farts, what would it be?

не имеющее ничего общего с таким, что бы это было?

Voice: Maybe an app that generates personalized soundscapes

Голос: Приложение с персонализированными саундскейпами,

for relaxation and focus?

чтобы расслабиться и сосредоточиться?

JR: That's much better.

ДР: Так намного лучше.

Alright, it looks like we still have a little fine-tuning to do here.

Ладно, похоже, нам ещё предстоит кое-что доработать.

So the point is,

Дело в том, что

imagination is the only limit to what you can do here.

воображение — это единственное, что может нас ограничить.

Our goal is not just to create the world's first audio computer,

Наша цель — не просто создать первый в мире аудио компьютер,

it's to create a truly intuitive computing experience

но и сделать по-настоящему интуитивно понятный компьютерный интерфейс,

where we're not monetizing your attention

где мы не будем монетизировать ваше внимание

or making you captive to a new kind of device,

или подсаживать вас на новый гаджет,

but instead interfacing machines with us

а налаживать взаимодействие компьютеров с человеком,

in the way that we were born to.

так, как мы для этого были рождены.

So I think it's time for a computer that speaks our language.

Я думаю, что настало время создать компьютер, говорящий на нашем языке.

Thank you.

Спасибо.

(Applause)

(Аплодисменты)