Rupal Patel: Synthetic voices, as unique as fingerprints

Рупал Патель: Синтезированные голоса, такие же уникальные, как и отпечатки пальцев

Переводчик: Alina Siluyanova Редактор: Aliaksandr Autayeu

I'd like to talk today

Сегодня мне бы хотелось поговорить

about a powerful and fundamental aspect

о значительном и существенном аспекте

of who we are: our voice.

того, кем мы являемся: о голосе.

Each one of us has a unique voiceprint

Каждый из нас обладает уникальным отпечатком голоса,

that reflects our age, our size,

отражающим возраст, пропорции,

even our lifestyle and personality.

даже стиль жизни и личность.

In the words of the poet Longfellow,

Словами поэта Лонгфелло:

"the human voice is the organ of the soul."

«Голос человека есть орган его души».

As a speech scientist, I'm fascinated

Как учёный-лингвист, я восхищена тем,

by how the voice is produced,

как возникает голос,

and I have an idea for how it can be engineered.

и у меня есть идея, как голос может быть спроектирован.

That's what I'd like to share with you.

Вот, чем бы мне хотелось с вами поделиться.

I'm going to start by playing you a sample

Начну с проигрывания образца голоса,

of a voice that you may recognize.

который вы можете узнать.

(Recording) Stephen Hawking: "I would have thought

(Запись) Стивен Хокинг: «Я бы подумал,

it was fairly obvious what I meant."

что было довольно очевидно то, что я имел в виду».

Rupal Patel: That was the voice

Рупал Патель: Это был голос

of Professor Stephen Hawking.

профессора Стивена Хокинга.

What you may not know is that same voice

Вы можете не знать, что тот же голос

may also be used by this little girl

может быть использован вот этой девочкой,

who is unable to speak

которая не может говорить

because of a neurological condition.

из-за неврологического нарушения.

In fact, all of these individuals

На деле, все эти люди

may be using the same voice,

могут использовать один и тот же голос,

and that's because there's only a few options available.

потому что есть всего лишь несколько доступных вариантов.

In the U.S. alone, there are 2.5 million Americans

Только в США живут 2,5 миллиона американцев,

who are unable to speak,

которые не могут говорить,

and many of whom use computerized devices

и множество из которых пользуются компьютеризированными устройствами

to communicate.

для общения.

Now that's millions of people worldwide

Это миллионы людей по всему миру,

who are using generic voices,

применяющие универсальные голоса,

including Professor Hawking,

включая профессора Хокинга,

who uses an American-accented voice.

который использует голос с американским акцентом.

This lack of individuation of the synthetic voice

Вот эта нехватка индивидуальности синтезированного голоса

really hit home

по-настоящему задела меня за живое,

when I was at an assistive technology conference

когда я была на конференции по вспомогательным технологиям

a few years ago,

пару лет назад.

and I recall walking into an exhibit hall

Я вспоминаю, как зашла в выставочный зал

and seeing a little girl and a grown man

и увидела беседующих маленькую девочку и взрослого мужчину

having a conversation using their devices,

с помощью своих устройств —

different devices, but the same voice.

разных устройств, но с тем же голосом.

And I looked around and I saw this happening

Я огляделась вокруг и увидела,

all around me, literally hundreds of individuals

что все так делают. Буквально сотни людей,

using a handful of voices,

использующих горстку голосов —

voices that didn't fit their bodies

голосов, не подходящих их телам

or their personalities.

или их личностям.

We wouldn't dream of fitting a little girl

Мы бы и не подумали на маленькую девочку

with the prosthetic limb of a grown man.

подгонять протез взрослого мужчины.

So why then the same prosthetic voice?

Почему же тогда один и тот же искусственный голос?

It really struck me,

Меня это поразило,

and I wanted to do something about this.

и мне захотелось что-то с этим сделать.

I'm going to play you now a sample

Сейчас я проиграю вам образец аудио

of someone who has, two people actually,

человека, у которого — вообще-то два человека —

who have severe speech disorders.

у которых есть тяжёлые нарушения речи.

I want you to take a listen to how they sound.

Хочу, чтобы вы послушали, как звучат их голоса.

They're saying the same utterance.

Они говорят одно и то же.

(First voice)

(Первый голос)

(Second voice)

(Второй голос)

You probably didn't understand what they said,

Вероятно, вы не поняли, что они сказали,

but I hope that you heard

но я надеюсь, вы услышали

their unique vocal identities.

их уникальные вокальные индивидуальности.

So what I wanted to do next is,

Следующим шагом мне захотелось

I wanted to find out how we could harness

найти, как можно приспособить

these residual vocal abilities

эти остаточные вокальные способности

and build a technology

и создать технологию,

that could be customized for them,

которую можно будет настроить под них,

voices that could be customized for them.

голоса, которые могут быть настроены под них.

So I reached out to my collaborator, Tim Bunnell.

Я связалась с моим коллегой — Тимом Баннеллом.

Dr. Bunnell is an expert in speech synthesis,

Доктор Баннелл — эксперт в синтезе речи.

and what he'd been doing is building

Он занимался созданием

personalized voices for people

персонифицированных голосов для людей,

by putting together

соединяя

pre-recorded samples of their voice

записанные заранее образцы их голосов

and reconstructing a voice for them.

и воспроизводя заново их голос.

These are people who had lost their voice

Это для тех людей, кто потерял возможность говорить

later in life.

в какой-то момент своей жизни.

We didn't have the luxury

У нас не было такой роскоши,

of pre-recorded samples of speech

как заранее записанные образцы речи

for those born with speech disorder.

для тех, кто родился с нарушениями речи.

But I thought, there had to be a way

Но я думала, что должен быть способ

to reverse engineer a voice

обратной разработки голоса

from whatever little is left over.

из того малого, что осталось.

So we decided to do exactly that.

Мы решили именно это и делать.

We set out with a little bit of funding from the National Science Foundation,

Мы начали с небольшого гранта от Национального Научного Фонда,

to create custom-crafted voices that captured

чтобы создать специально разработанные под конкретных людей голоса, которые

their unique vocal identities.

улавливали уникальность их вокальной индивидуальности.

We call this project VocaliD, or vocal I.D.,

Мы называем этот проект VocaliD, или vocal I.D.,

for vocal identity.

что означает «вокальная индивидуальность».

Now before I get into the details of how

Прежде чем я окунусь в детали того,

the voice is made and let you listen to it,

как создаётся голос и дам вам его прослушать,

I need to give you a real quick speech science lesson. Okay?

позвольте сначала краткую лекцию о речи. Хорошо?

So first, we know that the voice is changing

Во-первых, мы знаем, что голос

dramatically over the course of development.

радикально меняется в процессе развития.

Children sound different from teens

Дети звучат иначе, нежели подростки,

who sound different from adults.

голоса которых отличаются от взрослых.

We've all experienced this.

У всех у нас есть этот опыт.

Fact number two is that speech

Факт номер два: речь —

is a combination of the source,

это сочетание источника,

which is the vibrations generated by your voice box,

коим являются вибрации, производимые гортанью,

which are then pushed through

которые далее проходят

the rest of the vocal tract.

сквозь остальной речевой тракт.

These are the chambers of your head and neck

Это те участки в голове и шее,

that vibrate,

которые вибрируют,

and they actually filter that source sound

и они фильтруют звук от источника,

to produce consonants and vowels.

чтобы образовывать гласные и согласные.

So the combination of source and filter

Сочетание источника и фильтра —

is how we produce speech.

это то, как мы генерируем речь.

And that happens in one individual.

И всё это происходит в каждом отдельном человеке.

Now I told you earlier that I'd spent

Ранее я говорила вам, что провела

a good part of my career

добрую часть моей карьеры,

understanding and studying

пытаясь понять и изучить

the source characteristics of people

исходные характеристики людей

with severe speech disorder,

с тяжёлыми нарушениями речи,

and what I've found

и я обнаружила,

is that even though their filters were impaired,

что даже несмотря на то, что их фильтры были повреждены,

they were able to modulate their source:

они могли модулировать свой источник:

the pitch, the loudness, the tempo of their voice.

высоту, громкость, темп своего голоса.

These are called prosody, and I've been documenting for years

Их называют «просодиями». Я документально подтверждала

that the prosodic abilities of these individuals

в течение нескольких лет, что просодические способности этих людей

are preserved.

сохранены.

So when I realized that those same cues

Когда же я поняла, что те же самые стимулы

are also important for speaker identity,

важны и для индивидуальности говорящего,

I had this idea.

у меня появилась идея.

Why don't we take the source

Почему бы не взять источник

from the person we want the voice to sound like,

от человека, голос которого мы хотим воссоздать,

because it's preserved,

ибо он сохранен,

and borrow the filter

и позаимствовать фильтр

from someone about the same age and size,

у кого-то, кто схож по пропорциям и возрасту,

because they can articulate speech,

владеющего членораздельной речью,

and then mix them?

а затем смешать их?

Because when we mix them,

Ведь, когда мы их смешиваем,

we can get a voice that's as clear

мы можем получить голос, настолько же чистый,

as our surrogate talker --

как и голос нашего суррогатного носителя голоса —

that's the person we borrowed the filter from—

того человека, у которого мы позаимствовали фильтр —

and is similar in identity to our target talker.

и совпадает с индивидуальностью нашего целевого владельца голоса.

It's that simple.

Вот так просто.

That's the science behind what we're doing.

Таков научный фон нашей работы.

So once you have that in mind,

Как только эта идея появилась,

how do you go about building this voice?

что делать дальше для создания такого голоса?

Well, you have to find someone

Придётся найти кого-то,

who is willing to be a surrogate.

кто захочет стать суррогатом.

It's not such an ominous thing.

Не такая уж и зловещая вещь.

Being a surrogate donor

Чтобы быть суррогатным донором,

only requires you to say a few hundred

вам только нужно произнести от нескольких сотен

to a few thousand utterances.

до нескольких тысяч шаблонных фраз.

The process goes something like this.

Процесс происходит примерно вот так.

(Video) Voice: Things happen in pairs.

(Видео) Голос: Всё имеет пару.

I love to sleep.

Я люблю спать.

The sky is blue without clouds.

Небо голубое и без облаков.

RP: Now she's going to go on like this

Рупал Патель: Вот так она и будет продолжать

for about three to four hours,

в течение порядка 3—4 часов,

and the idea is not for her to say everything

и идея не в том, чтобы сказать всё,

that the target is going to want to say,

что целевой владелец захочет сказать,

but the idea is to cover all the different combinations

а просто охватить все различные сочетания

of the sounds that occur in the language.

звуков, которые существуют в языке.

The more speech you have,

Чем больше речевой информации у вас есть,

the better sounding voice you're going to have.

тем лучший по звучанию голос получится.

Once you have those recordings,

Как только такие записи созданы,

what we need to do

следующее, что нужно сделать,

is we have to parse these recordings

это разобрать эти записи

into little snippets of speech,

на маленькие фрагменты речи —

one- or two-sound combinations,

сочетания одного—двух звуков,

sometimes even whole words

иногда даже целые слова, —

that start populating a dataset or a database.

которые начнут заполнять набор данных, или базу данных.

We're going to call this database a voice bank.

Мы будем называть эту базу данных «банк голоса».

Now the power of the voice bank

Сила этого банка голоса в том,

is that from this voice bank,

что из него теперь

we can now say any new utterance,

мы можем создать любые новые фразы,

like, "I love chocolate" --

например, «Я люблю шоколад» —

everyone needs to be able to say that—

каждому нужно уметь это сказать.

fish through that database

Покопайтесь в этой базе данных

and find all the segments necessary

и найдите все необходимые сегменты,

to say that utterance.

чтобы сказать эту фразу.

(Video) Voice: I love chocolate.

(Видео) Голос: Я люблю шоколад.

RP: So that's speech synthesis.

Рупал Патель: Это синтез речи.

It's called concatenative synthesis, and that's what we're using.

Называется «конкатенативный синтез», и это то, с чем мы работаем.

That's not the novel part.

Это не новая часть.

What's novel is how we make it sound

А новое в том, как мы делаем так, чтобы голос звучал,

like this young woman.

как эта молодая женщина.

This is Samantha.

Это Саманта.

I met her when she was nine,

Я встретила её, когда ей было 9 лет,

and since then, my team and I

и с тех пор я и моя команда

have been trying to build her a personalized voice.

пытались создать для неё персонифицированный голос.

We first had to find a surrogate donor,

Сначала нам нужно было найти суррогатного донора,

and then we had to have Samantha

а затем — дать Саманте

produce some utterances.

воспроизвести несколько шаблонных фраз.

What she can produce are mostly vowel-like sounds,

То, что она может произнести, в большинстве своём звучит, как звуки гласных,

but that's enough for us to extract

но нам этого достаточно, чтобы выявить

her source characteristics.

её исходные характеристики.

What happens next is best described

То, что происходит потом, лучше всего описано

by my daughter's analogy. She's six.

аналогией моей дочери. Ей 6 лет.

She calls it mixing colors to paint voices.

Она называет это «смешением цветов, чтобы рисовать голоса».

It's beautiful. It's exactly that.

Это красиво. Это именно так.

Samantha's voice is like a concentrated sample

Голос Саманты — как концентрированный образец

of red food dye which we can infuse

красного пищевого красителя, который мы можем «влить»

into the recordings of her surrogate

в записи её суррогата,

to get a pink voice just like this.

чтобы получился «розовый голос». Вот такой.

(Video) Samantha: Aaaaaah.

(Видео) Саманта: Ааааааааа.

RP: So now, Samantha can say this.

Рупал Патель: Сейчас Саманта может сказать вот это.

(Video) Samantha: This voice is only for me.

(Видео) Саманта: Этот голос — только для меня.

I can't wait to use my new voice with my friends.

Не дождусь попробовать мой новый голос с друзьями.

RP: Thank you. (Applause)

Рупал Патель: Спасибо. (Аплодисменты)

I'll never forget the gentle smile

Никогда не забуду мягкую улыбку,

that spread across her face

появившуюся на её лице,

when she heard that voice for the first time.

когда она впервые услышала этот голос.

Now there's millions of people

Миллионы таких людей

around the world like Samantha, millions,

по всему миру, как и Саманта. Миллионы.

and we've only begun to scratch the surface.

И мы только делаем первые шаги.

What we've done so far is we have

К настоящему моменту у нас есть

a few surrogate talkers from around the U.S.

несколько суррогатных носителей голоса из США,

who have donated their voices,

которые дали свои голоса,

and we have been using those

и мы их использовали,

to build our first few personalized voices.

чтобы создать несколько наших первых персонифицированных голосов.

But there's so much more work to be done.

Но так ещё много работы предстоит сделать.

For Samantha, her surrogate

Суррогат Саманты —

came from somewhere in the Midwest, a stranger

со Среднего Запада, незнакомец,

who gave her the gift of voice.

который наделил её даром голоса.

And as a scientist, I'm so excited

Как учёный, я так взволнована тем,

to take this work out of the laboratory

чтобы вынести эту работу за пределы лаборатории,

and finally into the real world

наконец-то, в реальный мир,

so it can have real-world impact.

чтобы она по-настоящему внесла свой вклад в него.

What I want to share with you next

Далее хочу поделиться с вами тем,

is how I envision taking this work

как я представляю себе продвижение этой работы

to that next level.

на следующий уровень.

I imagine a whole world of surrogate donors

Я представляю целый мир суррогатных доноров

from all walks of life, different sizes, different ages,

из разных профессий, разных пропорций и возраста,

coming together in this voice drive

объединяющихся в таком «драйве голоса»

to give people voices

с целью дать людям голоса,

that are as colorful as their personalities.

которые настолько же красочны, как и их личности.

To do that as a first step,

Чтобы сделать это, для начала

we've put together this website, VocaliD.org,

мы создали веб-сайт, VocaliD.org,

as a way to bring together those

как способ собрать тех,

who want to join us as voice donors,

кто хочет присоединиться к нам в качестве доноров голоса,

as expertise donors,

доноров компетенции,

in whatever way to make this vision a reality.

чтобы каким-либо образом сделать это видение реальностью.

They say that giving blood can save lives.

Говорят, что донорство крови может спасти жизни.

Well, giving your voice can change lives.

Что же, донорство вашего голоса может изменить жизни.

All we need is a few hours of speech

Всё, что нужно, — это пара часов речи

from our surrogate talker,

от суррогатного носителя голоса,

and as little as a vowel from our target talker,

и всего-навсего гласная от целевого владельца голоса,

to create a unique vocal identity.

чтобы создать уникальную вокальную индивидуальность.

So that's the science behind what we're doing.

Таков научный фон наших действий.

I want to end by circling back to the human side

Хочу закончить, обратившись вновь к человеческому,

that is really the inspiration for this work.

что по-настоящему является вдохновением для этой работы.

About five years ago, we built our very first voice

Около 5 лет назад мы создали наш первый голос

for a little boy named William.

для маленького мальчика по имени Вильям.

When his mom first heard this voice,

Когда его мама впервые услышала его голос,

she said, "This is what William

она сказала: «Так бы звучал

would have sounded like

голос Вильяма,

had he been able to speak."

если бы он мог говорить».

And then I saw William typing a message

А потом я увидела Вильяма, набирающего сообщение

on his device.

на своём устройстве.

I wondered, what was he thinking?

Я заинтересовалась, о чём он думал?

Imagine carrying around someone else's voice

Представьте, таскаться с чьим-то чужим голосом

for nine years

в течение 9 лет

and finally finding your own voice.

и, наконец-то, найти свой собственный.

Imagine that.

Представьте это.

This is what William said:

Вот, что сказал Вильям:

"Never heard me before."

«Никогда раньше себя не слышал».

Thank you.

Спасибо.

(Applause)

(Аплодисменты)