Rupal Patel: Synthetic voices, as unique as fingerprints

Translator: Alena Zhaliazniak Reviewer: Yauhen Klimovich

I'd like to talk today

Сёння я б хацела паразмаўляць

about a powerful and fundamental aspect

пра базісную і ўплывовую частку

of who we are: our voice.

нашае існасці: наш голас.

Each one of us has a unique voiceprint

У кожнага з нас свой галасавы адбітак,

that reflects our age, our size,

які адлюстроўвае наш узрост, памер,

even our lifestyle and personality.

і нават стыль жыцця ці асабовасць.

In the words of the poet Longfellow,

Як напісаў паэт Лангфэлаў,

"the human voice is the organ of the soul."

"чалавечы голас -- орган ягонай душы".

As a speech scientist, I'm fascinated

Я -- навуковы спецыяліст па размове, і мяне вельмі цікавіць,

by how the voice is produced,

як голас вырабляецца.

and I have an idea for how it can be engineered.

Я трохі ведаю, як яго вырабіць штучна.

That's what I'd like to share with you.

Менавіта гэтым я і хачу падзяліцца.

I'm going to start by playing you a sample

Я распачну з запісу голасу,

of a voice that you may recognize.

які вы, мажліва, распазнаеце.

(Recording) Stephen Hawking: "I would have thought

(Запіс) Сцівен Хокін: Мне здаецца,

it was fairly obvious what I meant."

было даволі ясна, што я меў на ўвазе.

Rupal Patel: That was the voice

Рупал Патэль: Гэта быў голас

of Professor Stephen Hawking.

прафесара Сцівена Хокіна.

What you may not know is that same voice

Чаго вы хутчэй за ўсё не ведаеце, дык гэта тое, што гэткі самы голас

may also be used by this little girl

можна даць і маленькай дзяўчынцы,

who is unable to speak

якая не можа размаўляць

because of a neurological condition.

з-за нейралагічнага захворвання.

In fact, all of these individuals

Факт у тым, што ўсе гэтыя асобы

may be using the same voice,

могуць карыстацца тым самым голасам,

and that's because there's only a few options available.

таму што існуючы выбар невялікі.

In the U.S. alone, there are 2.5 million Americans

Толькі ў ЗША жывуць 2,5 мільёны людзей,

who are unable to speak,

якія не могуць размаўляць,

and many of whom use computerized devices

і шмат хто з іх карыстаецца кампутарнымі прыстасаваннямі

to communicate.

для паразумення з іншымі.

Now that's millions of people worldwide

Значыцца, у свеце мільёны людзей,

who are using generic voices,

якія карыстаюцца абагульненымі галасамі,

including Professor Hawking,

у тым ліку і прафесар Хокін,

who uses an American-accented voice.

у каго гэты голас з амерыканскім вымаўленнем.

This lack of individuation of the synthetic voice

Я насамрэч уцяміла гэткую адсутнасць

really hit home

індывідуальнасці штучнага голасу

when I was at an assistive technology conference

калі я была на канферэнцыі па тэхналагічных дапаможніках

a few years ago,

некалькі год таму.

and I recall walking into an exhibit hall

Я ясна памятаю, як я ўвайшла ў выставачную залу

and seeing a little girl and a grown man

і ўбачыла, як маленькая дзяўчына размаўляе з дарослым мужчынам

having a conversation using their devices,

праз свае прыстасаванні,

different devices, but the same voice.

якія былі розныя, але галасы ім давалі аднолькавыя.

And I looked around and I saw this happening

Я глянула вакол і ўбачыла

all around me, literally hundreds of individuals

тую самую сітуацыю паўсюль вакол мяне,калі сотні чалавек

using a handful of voices,

карысталіся мо якой пяцёркай галасоў,

voices that didn't fit their bodies

і гэтыя галасы не пасавалі ні да іхняе постаці,

or their personalities.

ні да іхняга характару.

We wouldn't dream of fitting a little girl

Мы ніколі б не надзелі на дзяўчынку

with the prosthetic limb of a grown man.

пратэз канцавіны таго самага памеру, што і пратэз дарослага мужчыны.

So why then the same prosthetic voice?

Чаму ж мы ім даямо аднолькавыя пратэзы галасоў?

It really struck me,

Гэта мяне моцна ўразіла,

and I wanted to do something about this.

і я захацела неяк на сітуацыю паўплываць.

I'm going to play you now a sample

Я прайграю вам прыклад гучання

of someone who has, two people actually,

двух людзей, у каго моцныя

who have severe speech disorders.

размоўныя праблемы.

I want you to take a listen to how they sound.

Я хачу, каб вы паслухалі, як яны гучаць.

They're saying the same utterance.

Яны вымаўляюць той самы сказ.

(First voice)

(Першы голас)

(Second voice)

(Другі голас)

You probably didn't understand what they said,

Верагодней за ўсё, вы іх не зразумелі,

but I hope that you heard

але, спадзяюся, вы пачулі

their unique vocal identities.

адзінкавыя якасці іхніх галасоў.

So what I wanted to do next is,

Маёй наступнай ідэяй

I wanted to find out how we could harness

была даведацца, ці мажліва прыладзіць

these residual vocal abilities

гэтыя другасныя галасавыя якасці

and build a technology

і пабудаваць тэхналагічную мажлівасць,

that could be customized for them,

якую можна дапасаваць да кожнага паасобку,

voices that could be customized for them.

гэта значыцца кожнаму асобны голас.

So I reached out to my collaborator, Tim Bunnell.

Я запыталася майго суаўтара, Ціма Баннела.

Dr. Bunnell is an expert in speech synthesis,

Кандыдат навук, Баннел -- спецыяліст па сукладу мовы.

and what he'd been doing is building

Ён займаецца будаваннем нанова

personalized voices for people

індывідуальных галасоў для людзей

by putting together

праз працэс складання

pre-recorded samples of their voice

запісаных прыкладаў іх голаса

and reconstructing a voice for them.

і пасля яго рэканструкцыі.

These are people who had lost their voice

Гэта для людзей,

later in life.

што згубілі голас пазней у жыцці.

We didn't have the luxury

У нас не было пажаданага

of pre-recorded samples of speech

запісу прыкладаў размовы

for those born with speech disorder.

для людзей, што нарадзіліся з дэфектам голасу.

But I thought, there had to be a way

Але я падумала, што можна

to reverse engineer a voice

выкарастацца рэверсіўным праектаваннем

from whatever little is left over.

і зрабіць голас з таго, што ёсць.

So we decided to do exactly that.

Гэтак мы і вырашылі зрабіць.

We set out with a little bit of funding from the National Science Foundation,

Мы распачал на невялікай стыпендыі з Нацыянальнага навуковага фонда,

to create custom-crafted voices that captured

і мэтай было стварыць паасобку падабраныя галасы,

their unique vocal identities.

якія б выяўлялі адзінкавыя галасавыя асаблівасці.

We call this project VocaliD, or vocal I.D.,

Мы назвалі праект VocaliD,

for vocal identity.

што значыцца галасавая асабовасць.

Now before I get into the details of how

Перад тым, як паглыбіцца ў дэталі працы голаса,

the voice is made and let you listen to it,

і да таго, як прайграць вам прыклад,

I need to give you a real quick speech science lesson. Okay?

я настаўлю вас трохі ў навуцы пра голас. Згода?

So first, we know that the voice is changing

Мы ведаем, што голас радыкальна змяняецца

dramatically over the course of development.

ў працэсе развіцця чалавека.

Children sound different from teens

Дзіцячыя галасы адрозніваюцца ад падлеткавых,

who sound different from adults.

якія ў сваю чаргу іншыя, чым дарослыя.

We've all experienced this.

Мы ўсе гэта чулі са свайго досведу.

Fact number two is that speech

Другі факт: мова складаецца

is a combination of the source,

з аб'яднанага першаснага гуку --

which is the vibrations generated by your voice box,

вібрыцыяў галасавых складкаў --

which are then pushed through

якія праціскаюцца праз

the rest of the vocal tract.

рэшту галасавога апарату.

These are the chambers of your head and neck

Гэта -- рэзанатары ў галаве і шыі,

that vibrate,

што хістаюцца,

and they actually filter that source sound

яны працуюць гэткім цэдалем для першаснага гуку

to produce consonants and vowels.

па выпрацаванні галосных і зычных гукаў.

So the combination of source and filter

Нам трэба першасны гук і цэдаль разам

is how we produce speech.

каб мець магчымасць нешта вымавіць.

And that happens in one individual.

Усё гэтае здараецца з адным чалавекам.

Now I told you earlier that I'd spent

Як я вам ужо казала,

a good part of my career

вялікую частку майго працоўнага жыцця

understanding and studying

я правяла ў пашырэнні ведаў

the source characteristics of people

пра характэрыстыкі першаснага гуку людзей

with severe speech disorder,

з цяжкімі парушэннямі мовы,

and what I've found

і з маіх выханоджанняў бачна,

is that even though their filters were impaired,

што нягледзячы на парушэнні цэдаляў,

they were able to modulate their source:

людзі могуць мяняць першасны гук,

the pitch, the loudness, the tempo of their voice.

ягоная вышыня, голаснасць, тэмп.

These are called prosody, and I've been documenting for years

Агульна яны завуцца прасодыя, і я ўжо не раз апісвала,

that the prosodic abilities of these individuals

як прасадычныя якасці людзей з парушэннямі размаўлення

are preserved.

застаюцца.

So when I realized that those same cues

Таму, калі я зразумела, што гэтыя ж самыя якасці

are also important for speaker identity,

важны для асабовасці голасу,

I had this idea.

у мяне з'явмлася ідэя.

Why don't we take the source

Чаму б не ўзяць першасны гук

from the person we want the voice to sound like,

ад чалавека, чый голас мы хочам чуць,

because it's preserved,

таму што ён захаваны,

and borrow the filter

і пазычым цэдаль

from someone about the same age and size,

ад кагось з аднолькавым узростам і памерам,

because they can articulate speech,

таму што яны могуць вымаўляць,

and then mix them?

і змяшаем іх?

Because when we mix them,

Калі мы іх змяшаем,

we can get a voice that's as clear

у нас атрымаецца настолькі чысты голас,

as our surrogate talker --

як у сурагатнага размоўцы --

that's the person we borrowed the filter from—

гэта таго, ад каго мы пазычылі цэдаль --

and is similar in identity to our target talker.

але з асабовасцю носьбіта гэтага голасу.

It's that simple.

Вельмі проста.

That's the science behind what we're doing.

Гэта ўся навука нашых даследванняў.

So once you have that in mind,

Ведаючы гэтае,

how do you go about building this voice?

як далей будаваць голас?

Well, you have to find someone

Трэба кагосьці знайсці,

who is willing to be a surrogate.

хто хоча стаць сурагатам.

It's not such an ominous thing.

Гэта зусім не злавесная праца.

Being a surrogate donor

Быць сурагатным донарам

only requires you to say a few hundred

займае час на вымаўленне ад некалькіх сотняў

to a few thousand utterances.

да некалькіх тысячаў выказванняў.

The process goes something like this.

Працэс выглядае гэтак.

(Video) Voice: Things happen in pairs.

(Відэа) Голас: Рэчы робяцца запар.

I love to sleep.

Я люблю спаць.

The sky is blue without clouds.

Неба блакітнае без хмар.

RP: Now she's going to go on like this

РП: Яна гэтак будзе працягваць

for about three to four hours,

недзе тры ці чатыры гадзіны.

and the idea is not for her to say everything

Мэта не ў тым, каб сказаць усё,

that the target is going to want to say,

што носьбіт пасля кольвесь захоча сказаць,

but the idea is to cover all the different combinations

а ў тым, каб агучыць усе розныя камбінацыі гукаў,

of the sounds that occur in the language.

што сустракаюцца ў мове.

The more speech you have,

Чым больш у цябе вымаўленняў,

the better sounding voice you're going to have.

тым лепш гучаць будзе твой голас.

Once you have those recordings,

Атрымаўшы гэтыя запісы

what we need to do

трэба іх

is we have to parse these recordings

пачленаваць

into little snippets of speech,

у маленькія кавалкі вымаўлення

one- or two-sound combinations,

ў адзін ці два гукі,

sometimes even whole words

ці калі-нікалі цэлыя словы,

that start populating a dataset or a database.

якія пазней склалаюцца ў базу дадзеных.

We're going to call this database a voice bank.

Назавем гэтыў базу банкам голасу.

Now the power of the voice bank

Прыгажосць банка голасу ў тым,

is that from this voice bank,

што з такога банку

we can now say any new utterance,

мы можам зрабіць любы новы сказ,

like, "I love chocolate" --

як, напрыклад, "Я люблю шакалад" --

everyone needs to be able to say that—

усім трэба магчы гэта сказаць --

fish through that database

і мы пашукаем у банку,

and find all the segments necessary

і знойдам там скадальнікі,

to say that utterance.

патрэбныя для вымаўлення фразы.

(Video) Voice: I love chocolate.

(Відэа) Голас: Я люблю шакалад.

RP: So that's speech synthesis.

РП: Гэта сінтэз мовы.

It's called concatenative synthesis, and that's what we're using.

Гэта завецца кантатэнцыйны сінтэз, мы карыстаемся гэтай методай.

That's not the novel part.

Гэта не новае.

What's novel is how we make it sound

Новае -- гэта як прымусіць словы

like this young woman.

гучаць як гэтая дзяўчына.

This is Samantha.

Яе зваць Саманта.

I met her when she was nine,

Мы пазнаёміліся, калі ёй было 9 год,

and since then, my team and I

і з тае пары наша група навукоўцаў

have been trying to build her a personalized voice.

спрабуюць пабудаваць ёй асабісты голас.

We first had to find a surrogate donor,

Нам трэ было спачатку знайсці сурагатнага донара,

and then we had to have Samantha

пасля Саманце трэ было

produce some utterances.

вымавіць некалькі выказванняў.

What she can produce are mostly vowel-like sounds,

Яна можа вымавіць толькі збольшага спалучэнні галосных,

but that's enough for us to extract

але гэтага дастаткова, каб атрымаць

her source characteristics.

характэрыстыкі першаснага гуку.

What happens next is best described

Тое, што здарылася далей, лепш перадаць

by my daughter's analogy. She's six.

словамі маёй дачкі. Ёй шэсць гадоў.

She calls it mixing colors to paint voices.

Яна заве гэта перамешваннем колераў для фарбавання галасоў.

It's beautiful. It's exactly that.

Прыгожае параўнанне. Менавіта гэтае мы й робім.

Samantha's voice is like a concentrated sample

Голас Саманты бы сканцэнтраваная сумесь

of red food dye which we can infuse

чырвонае харчовае фарбы, якую мы можам дадаць

into the recordings of her surrogate

да запісаў яе сурагата,

to get a pink voice just like this.

каб атрымаць гэткі ружовы голас.

(Video) Samantha: Aaaaaah.

(Відэа) Саманта: Ааааааааааааа.

RP: So now, Samantha can say this.

РП: Таму зараз Саманта можа сказаць наступнае.

(Video) Samantha: This voice is only for me.

(Відэа) Саманта: Гэты голас толькі для мяне.

I can't wait to use my new voice with my friends.

Не дачакаюся яго выкарастаць з сябрамі.

RP: Thank you. (Applause)

РП: Дзякуй. (Воплескі)

I'll never forget the gentle smile

Мне ніколі не запамятаваць ейнае мяккае ўсмешкі,

that spread across her face

якая расплылася па твары,

when she heard that voice for the first time.

калі яна ўпершыню пачула гэты голас.

Now there's millions of people

Зараз мільёны людзей па свеце,

around the world like Samantha, millions,

такіх, як Саманта, мільёны,

and we've only begun to scratch the surface.

а мы нават яшчэ і не паглыбіліся ў прадмет.

What we've done so far is we have

Што мы дасель зрабілі,

a few surrogate talkers from around the U.S.

дык назбіралі некалькі сурагатных размоўцаў з розных частак ЗША,

who have donated their voices,

якія ахвяравалі свае галасы,

and we have been using those

і імі мы карыстаемся,

to build our first few personalized voices.

каб стварыць нашыя першыя індывідуальныя галасы.

But there's so much more work to be done.

Але ж працы яшчэ пройма.

For Samantha, her surrogate

Сурагат Саманты

came from somewhere in the Midwest, a stranger

жыве недзе на сярэднім захадзе краіны, ён -- чужэнец,

who gave her the gift of voice.

але падараваў ёй голас.

And as a scientist, I'm so excited

Я -- навуковец, і вельмі задаволена,

to take this work out of the laboratory

што нарэшце гэтую працу

and finally into the real world

можна вынесці з лабараторыі

so it can have real-world impact.

ў свет, каб убачыць сапраўдны ўплыў на нечае жыццё.

What I want to share with you next

Далей я хачу з вамі падзяліцца тым,

is how I envision taking this work

як гэтую працу можна пасунуць

to that next level.

на наступны ўзровень.

I imagine a whole world of surrogate donors

Я ўяўляю свет сурагатных донараў

from all walks of life, different sizes, different ages,

розных заняткаў, розных памераў, розных узростаў,

coming together in this voice drive

якія аб'ядноўваюцца ў жаданні

to give people voices

даць людзям галасы,

that are as colorful as their personalities.

якія настолькі ж каляровыя, як і людскія асабовасці.

To do that as a first step,

Каб гэта дасягнуць мы спачатку

we've put together this website, VocaliD.org,

зрабілі старонку на інтэрнэт, VocalID.org,

as a way to bring together those

каб злучыць тых,

who want to join us as voice donors,

хто хоча далучыцца ў якасці донару голасу,

as expertise donors,

ці донару экспертных ведаў,

in whatever way to make this vision a reality.

ці якой-кольвесь ролі, каб ажыцявіць гэтае мае бачанне.

They say that giving blood can save lives.

Кажуць, што донарства крыві бароніць жыццё.

Well, giving your voice can change lives.

А донарства голасу мяняе жыццё.

All we need is a few hours of speech

Усё, што для гэтага трэба -- некалькі гадзін размовы

from our surrogate talker,

ад сурагатнага размоўцы,

and as little as a vowel from our target talker,

і хоць бы адзін галосны гук ад носьбіта новага голасу,

to create a unique vocal identity.

і мы можам стварыць адзінкавую галасавую асабовасць.

So that's the science behind what we're doing.

Гэта з навуковага пункту гледжання.

I want to end by circling back to the human side

Я хочу скончыць прамову звярнуўшысы да чалавечага боку,

that is really the inspiration for this work.

які мяне ў працы сапраўды натхняе.

About five years ago, we built our very first voice

Недзе 5 год таму мы сканструктавалі наш першы голас,

for a little boy named William.

маленькаму хлопчыку Вільяму.

When his mom first heard this voice,

Калі яго маці ўпершыню пачула гэты голас,

she said, "This is what William

яна сказала: "Гэтак бы Вільям гучаў,

would have sounded like

"калі б

had he been able to speak."

"мог размаўляць."

And then I saw William typing a message

Тут я ўбачыла, як Вільям

on his device.

піша нешта на сваім прыстасаванні.

I wondered, what was he thinking?

Мне было цікава, пра што ён думае.

Imagine carrying around someone else's voice

Уявіце сабе, што вы размаўляеце

for nine years

чужым голасам 9 год,

and finally finding your own voice.

і раптам знайшлі свой.

Imagine that.

Уявіце.

This is what William said:

Вось што ён сказаў:

"Never heard me before."

"Ніколі мяне не чуў."

Thank you.

Дзякуй.

(Applause)

(Воплескі)