Rupal Patel: Synthetic voices, as unique as fingerprints

Перекладач: Khrystyna Romashko Утверджено: Hanna Leliv

I'd like to talk today

Я б хотіла розповісти сьогодні

about a powerful and fundamental aspect

про могутній та фундаментальний аспект

of who we are: our voice.

того, ким ми є: наш голос.

Each one of us has a unique voiceprint

Кожен із нас має унікальний спектр голосу,

that reflects our age, our size,

який відображає наш вік, нашу статуру,

even our lifestyle and personality.

навіть наш стиль життя та особистість.

In the words of the poet Longfellow,

Словами поета Лонґфелло:

"the human voice is the organ of the soul."

"людський голос є органом душі".

As a speech scientist, I'm fascinated

Як науковець, котрий вивчає мовлення, я захоплююся тим,

by how the voice is produced,

як продукується голос,

and I have an idea for how it can be engineered.

і я маю уявлення про те, як він генерується.

That's what I'd like to share with you.

Це те, про що б я хотіла вам розповісти.

I'm going to start by playing you a sample

Я почну з програвання зразка

of a voice that you may recognize.

голосу, який ви можете упізнати.

(Recording) Stephen Hawking: "I would have thought

(Звукозапис) Стівен Гокінґ: "Я думав,

it was fairly obvious what I meant."

що було досить очевидним, що я мав на увазі".

Rupal Patel: That was the voice

Рупал Пател: Це був голос

of Professor Stephen Hawking.

Професора Стівена Гокінґа.

What you may not know is that same voice

Ви можете не знати, що той самий голос

may also be used by this little girl

може також використовувати ця маленька дівчинка,

who is unable to speak

яка не може говорити

because of a neurological condition.

через неврологічний розлад.

In fact, all of these individuals

Насправді, усі ці індивіди

may be using the same voice,

можуть використовувати той самий голос,

and that's because there's only a few options available.

це відбувається через те, що є всього кілька доступних опцій.

In the U.S. alone, there are 2.5 million Americans

Тільки у США є 2,5 мільйони американців,

who are unable to speak,

неспроможних говорити,

and many of whom use computerized devices

і багато з них використовують комп'ютеризовані прилади

to communicate.

для комунікації.

Now that's millions of people worldwide

На даний час мільйони людей по всьому світу

who are using generic voices,

користуються згенерованими голосами,

including Professor Hawking,

включно з професором Гокінґом,

who uses an American-accented voice.

який використовує голос з американським акцентом.

This lack of individuation of the synthetic voice

Цей брак індивідуалізації синтетичного голосу

really hit home

дуже зачепив мене за живе,

when I was at an assistive technology conference

коли я була на конференції з допоміжних технологій

a few years ago,

кілька років тому,

and I recall walking into an exhibit hall

я пригадую, як ішла виставковою залою

and seeing a little girl and a grown man

і побачила маленьку дівчинку і дорослого чоловіка,

having a conversation using their devices,

які спілкувалися, використовуючи їхні прилади,

different devices, but the same voice.

різні прилади, але однаковий голос.

And I looked around and I saw this happening

Я подивилася довкола і побачила, що це відбувається

all around me, literally hundreds of individuals

всюди довкола мене, буквально сотні осіб

using a handful of voices,

використовували невеличку кількість голосів,

voices that didn't fit their bodies

голосів, які не підходили їхнім тілам

or their personalities.

або їхнім особистостям.

We wouldn't dream of fitting a little girl

Ми б не хотіли уявити маленьку дівчинку

with the prosthetic limb of a grown man.

з протезом кінцівки дорослого чоловіка.

So why then the same prosthetic voice?

То ж чому однаковий штучний голос?

It really struck me,

Це насправді шокувало мене,

and I wanted to do something about this.

і я хотіла щось з цим зробити.

I'm going to play you now a sample

Зараз я прокручу вам запис

of someone who has, two people actually,

однієї особи, власне, двох осіб

who have severe speech disorders.

зі значними розладами мовлення.

I want you to take a listen to how they sound.

Я хочу, щоб ви послухали, як вони звучать.

They're saying the same utterance.

Вони промовляють одне і те ж речення.

(First voice)

(Перший голос)

(Second voice)

(Другий голос)

You probably didn't understand what they said,

Ймовірно, ви не зрозуміли, що вони сказали,

but I hope that you heard

але, сподіваюся, ви почули

their unique vocal identities.

їхні унікальні вокальні ідентичності.

So what I wanted to do next is,

Тож далі я хотіла

I wanted to find out how we could harness

знайти, як ми можемо продукувати

these residual vocal abilities

цю залишкову вокальну здатність

and build a technology

і розробити технологію,

that could be customized for them,

яку можна підлаштована під них,

voices that could be customized for them.

голоси, які можна підлаштувати для них.

So I reached out to my collaborator, Tim Bunnell.

Тож я звернулася до свого співробітника, Тіма Баннела.

Dr. Bunnell is an expert in speech synthesis,

Доктор Баннел є експертом із синтезування мовлення

and what he'd been doing is building

і займався розробкою

personalized voices for people

персоналізованих голосів для людей,

by putting together

складаючи докупи

pre-recorded samples of their voice

попередньо записані зразки їхнього голосу

and reconstructing a voice for them.

та реконструюючи голос для них.

These are people who had lost their voice

Це люди, які втратили голос

later in life.

пізніше у житті.

We didn't have the luxury

У нас не було такої розкоші,

of pre-recorded samples of speech

як попередньо записані зразки мовлення

for those born with speech disorder.

для тих, хто народився з мовленнєвими розладами.

But I thought, there had to be a way

Але я подумала, що мав бути спосіб

to reverse engineer a voice

для зворотнього генерування голосу

from whatever little is left over.

із тої дещиці, яка залишилася.

So we decided to do exactly that.

І ми вирішили саме так і зробити.

We set out with a little bit of funding from the National Science Foundation,

Ми почали з незначним фінансуванням від Національної наукової фундації,

to create custom-crafted voices that captured

щоб створити голоси, розроблені під споживача, які містили

their unique vocal identities.

їхню унікальну голосову ідентичність.

We call this project VocaliD, or vocal I.D.,

Ми називаємо цей проект ВокалІД, або вокальний I.D.,

for vocal identity.

для вокальної ідентичності.

Now before I get into the details of how

Перед тим, як я вдамся до деталей,

the voice is made and let you listen to it,

як робиться голос і дам вам його послухати,

I need to give you a real quick speech science lesson. Okay?

мушу вам дати коротенький урок з науки про мовлення, гаразд?

So first, we know that the voice is changing

По-перше, ми знаємо, що голос кардинально змінюється

dramatically over the course of development.

у процесі розвитку.

Children sound different from teens

Діти звучать інакше, ніж підлітки,

who sound different from adults.

які звучать відмінно від дорослих.

We've all experienced this.

Ми всі це пройшли.

Fact number two is that speech

По-друге, мовлення

is a combination of the source,

є комбінацією джерела,

which is the vibrations generated by your voice box,

яким є вібрації, згенеровані вашою голосовою скринькою,

which are then pushed through

які надалі передаються крізь

the rest of the vocal tract.

решту голосового тракту.

These are the chambers of your head and neck

Вібрації створюють камери

that vibrate,

вашої голови та шиї,

and they actually filter that source sound

і, власне, вони фільтрують це джерело звуку

to produce consonants and vowels.

для продукування приголосних і голосних.

So the combination of source and filter

Отож поєднання джерела та фільтру -

is how we produce speech.

ось як ми продукуємо мовлення.

And that happens in one individual.

І це відбувається в одному індивіді.

Now I told you earlier that I'd spent

Я говорила вам раніше, що я провела

a good part of my career

значну частину моєї кар'єри,

understanding and studying

спостерігаючи та вивчаючи

the source characteristics of people

характеристики первинних джерел людей

with severe speech disorder,

із значними розладами мовлення,

and what I've found

і ми виявили,

is that even though their filters were impaired,

що навіть при тому, що функція їхніх фільтрів була порушена,

they were able to modulate their source:

вони були здатні модулювати джерело звуку:

the pitch, the loudness, the tempo of their voice.

тон, гучність, темп їхнього голосу.

These are called prosody, and I've been documenting for years

Ці характеристики називаються прозодичними, і я роками документально підтверджувала,

that the prosodic abilities of these individuals

що прозодичні здатності цих індивідів

are preserved.

були збережені.

So when I realized that those same cues

Коли я усвідомила, що ці самі засоби

are also important for speaker identity,

є також важливими для ідентичності мовця,

I had this idea.

у мене з'явилася ідея.

Why don't we take the source

Чому б нам не взяти джерело

from the person we want the voice to sound like,

від людини, чий голос ми б хотіли згенерувати,

because it's preserved,

оскільки він збережений,

and borrow the filter

і позичити фільтр

from someone about the same age and size,

у когось такого ж віку та статури,

because they can articulate speech,

бо вони можуть артикулювати мовлення,

and then mix them?

і змішати їх?

Because when we mix them,

Бо, коли ми змішаємо їх,

we can get a voice that's as clear

ми можемо отримати голос, настільки ж чистий,

as our surrogate talker --

як у нашого сурогатного мовця -

that's the person we borrowed the filter from—

людини, в якої ми позичили фільтр -

and is similar in identity to our target talker.

і подібний до ідентичності нашого цільового мовця.

It's that simple.

Настільки просто.

That's the science behind what we're doing.

Ось така наука стоїть за тим, що ми робимо.

So once you have that in mind,

Як тільки у вас з'являється думка про те,

how do you go about building this voice?

як вам згенерувати цей голос?

Well, you have to find someone

Що ж, вам треба знайти когось,

who is willing to be a surrogate.

хто забажає бути сурогатом.

It's not such an ominous thing.

Це не настільки жахлива річ.

Being a surrogate donor

Бути сурогатним донором

only requires you to say a few hundred

вимагає від вас тільки проговорити від декількох сотень

to a few thousand utterances.

до декількох тисяч речень.

The process goes something like this.

Процес виглядає приблизно так.

(Video) Voice: Things happen in pairs.

(Відео) Голос: Речі відбуваються попарно.

I love to sleep.

Я люблю спати.

The sky is blue without clouds.

Небо блакитне й безхмарне.

RP: Now she's going to go on like this

РП: Вона продовжуватиме в такому ж дусі

for about three to four hours,

приблизно три-чотири години,

and the idea is not for her to say everything

і головне для неї не сказати все,

that the target is going to want to say,

що цільовий мовець може хотіти сказати,

but the idea is to cover all the different combinations

а головне покрити усі різноманітні комбінації

of the sounds that occur in the language.

звуків, які трапляються в мові.

The more speech you have,

Що більше проговореного тексту у вас буде,

the better sounding voice you're going to have.

то краще звучання голосу ви отримаєте.

Once you have those recordings,

Як тільки в нас є ці записи,

what we need to do

нам потрібно

is we have to parse these recordings

синтаксично розібрати їх

into little snippets of speech,

на маленькі уривочки мовлення,

one- or two-sound combinations,

одно- та двозвукові комбінації,

sometimes even whole words

іноді навіть цілі слова,

that start populating a dataset or a database.

з яких починається певний набір даних або база даних.

We're going to call this database a voice bank.

Назвемо цю базу даних банком голосу.

Now the power of the voice bank

Сила банку голосу в тому,

is that from this voice bank,

що завдяки йому

we can now say any new utterance,

ми можемо сказати будь-яке нове речення,

like, "I love chocolate" --

наприклад, "Я люблю шоколад" -

everyone needs to be able to say that—

кожному треба бути здатним сказати це -

fish through that database

пошукати в цій базі даних

and find all the segments necessary

і знайти усі необхідні сегменти,

to say that utterance.

щоб сказати це речення.

(Video) Voice: I love chocolate.

(Відео) Голос: Я люблю шоколад.

RP: So that's speech synthesis.

РП: Це синтез голосу.

It's called concatenative synthesis, and that's what we're using.

Його називають конкатенативним синтезом, це те, що ми використовуємо.

That's not the novel part.

Це не новинка.

What's novel is how we make it sound

Новітнім є те, як ми змушуємо його звучати

like this young woman.

як ця молода жінка.

This is Samantha.

Це Саманта.

I met her when she was nine,

Я познайомилася з нею, коли їй було дев'ять,

and since then, my team and I

і з того часу я зі своєю командою

have been trying to build her a personalized voice.

намагалися згенерувати для неї персоналізований голос.

We first had to find a surrogate donor,

Спершу нам треба було знайти сурогатного донора,

and then we had to have Samantha

і тоді нам треба було, щоб Саманта

produce some utterances.

спродукувала деякі речення.

What she can produce are mostly vowel-like sounds,

Вона здебільшого може продукувати певні голосні звуки,

but that's enough for us to extract

але нам цього достатньо, щоб витягти

her source characteristics.

характеристики її джерела.

What happens next is best described

Що відбувається далі, найкраще опише аналогія,

by my daughter's analogy. She's six.

проведена моєю донькою. Їй шість років.

She calls it mixing colors to paint voices.

Вона називає це - змішувати кольори, щоб малювати голоси.

It's beautiful. It's exactly that.

Красиво сказано. Це саме так і є.

Samantha's voice is like a concentrated sample

Голос Саманти є наче концентрованим зразком

of red food dye which we can infuse

червоного харчового барвника, який ми можемо додати

into the recordings of her surrogate

в записи її сурогата,

to get a pink voice just like this.

щоб отримати рожевий голос, як оцей.

(Video) Samantha: Aaaaaah.

(Відео) Саманта: Аааааа.

RP: So now, Samantha can say this.

РП: А зараз Саманта може сказати це.

(Video) Samantha: This voice is only for me.

(Відео) Саманта: Цей голос є тільки для мене.

I can't wait to use my new voice with my friends.

Не можу дочекатися, щоб використати мій новий голос з моїми друзями.

RP: Thank you. (Applause)

РП: Дякую. (Оплески)

I'll never forget the gentle smile

Ніколи не забуду милу усмішку,

that spread across her face

яка осяяла її обличчя,

when she heard that voice for the first time.

коли вона почула цей голос вперше.

Now there's millions of people

Є мільйони людей

around the world like Samantha, millions,

у світі таких, як Саманта, мільйони,

and we've only begun to scratch the surface.

і ми тільки-но почали пробувати ґрунт.

What we've done so far is we have

На теперішній момент ми маємо

a few surrogate talkers from around the U.S.

декілька сурогатних мовців із різних штатів США,

who have donated their voices,

які стали донорами голосів,

and we have been using those

і ми використовували їх

to build our first few personalized voices.

для побудови наших кількох перших персоналізованих голосів.

But there's so much more work to be done.

Але ще стільки роботи попереду.

For Samantha, her surrogate

Для Саманти, її сурогат

came from somewhere in the Midwest, a stranger

походить звідкись із середнього заходу, незнайомець,

who gave her the gift of voice.

який подарував їй голос.

And as a scientist, I'm so excited

Як науковець, я захоплююся тим,

to take this work out of the laboratory

що виношу цю працю з лабораторії

and finally into the real world

і в кінцевому результаті вношу в реальний світ,

so it can have real-world impact.

щоб вона могла справді впливати на світ.

What I want to share with you next

Хочу поділитися з вами тим,

is how I envision taking this work

як я планую перенести цю роботу

to that next level.

на той наступний рівень.

I imagine a whole world of surrogate donors

Я уявляю собі цілий світ сурогатних донорів,

from all walks of life, different sizes, different ages,

з різних прошарків життя, різних статур, різного віку,

coming together in this voice drive

які поєднуються у стремлінні

to give people voices

дати людям голоси,

that are as colorful as their personalities.

які настільки ж яскраві, як їхні особистості.

To do that as a first step,

Для початку

we've put together this website, VocaliD.org,

ми запустили ось цей вебсайт, VocaliD.org,

as a way to bring together those

як засіб для об'єднання тих,

who want to join us as voice donors,

хто хоче приєднатися до нас як донори голосу,

as expertise donors,

як досвідчені донори,

in whatever way to make this vision a reality.

у будь-який спосіб, щоб зробити цю візію реальністю.

They say that giving blood can save lives.

Кажуть, що донорство крові може рятувати життя.

Well, giving your voice can change lives.

Що ж, донорство голосу може змінювати життя.

All we need is a few hours of speech

Потрібно всього лиш кілька годин говоріння

from our surrogate talker,

від нашого сурогатного мовця,

and as little as a vowel from our target talker,

і всього лише голосна від нашого цільового мовця,

to create a unique vocal identity.

щоб створити унікальну вокальну ідентичність.

So that's the science behind what we're doing.

Ось така наука стоїть за тим, що ми робимо.

I want to end by circling back to the human side

Хочу закінчити, повертаючись до людського фактору,

that is really the inspiration for this work.

що дійсно надихає на цю працю.

About five years ago, we built our very first voice

Близько п'яти років тому ми згенерували наш найперший голос

for a little boy named William.

для маленького хлопчика на ім'я Вільям.

When his mom first heard this voice,

Коли його мама вперше почула цей голос,

she said, "This is what William

вона сказала: "Ось так Вільям

would have sounded like

звучав би,

had he been able to speak."

якби міг говорити".

And then I saw William typing a message

І тоді я побачила, як Вільям друкував повідомлення

on his device.

на своєму пристрої.

I wondered, what was he thinking?

Мені стало цікаво, про що він думав?

Imagine carrying around someone else's voice

Уявіть, що ви носили чийсь чужий голос

for nine years

протягом дев'яти років

and finally finding your own voice.

і нарешті знайшли ваш власний голос.

Imagine that.

Уявіть це.

This is what William said:

Ось що сказав Вільям:

"Never heard me before."

"Ніколи не чув себе раніше".

Thank you.

Дякую.

(Applause)

(Оплески)