Rupal Patel: Synthetic voices, as unique as fingerprints

Translator: augustė mi Reviewer: Andrius Družinis-Vitkus

I'd like to talk today

Šiandien norėčiau aptarti

about a powerful and fundamental aspect

galingą ir esminį aspektą

of who we are: our voice.

to, kas mes esame: mūsų balsą.

Each one of us has a unique voiceprint

Kiekvienas iš mūsų turi unikalų balso tembrą,

that reflects our age, our size,

kuris atspindi mūsų amžių, dydį,

even our lifestyle and personality.

net mūsų gyvenimo būdą ir asmenybę.

In the words of the poet Longfellow,

Poeto Longfelo žodžiais,

"the human voice is the organ of the soul."

"žmogaus balsas yra sielos skambesys."

As a speech scientist, I'm fascinated

Kaip kalbėsenos mokslininkė, aš esu sužavėta,

by how the voice is produced,

kaip balsas yra sukuriamas,

and I have an idea for how it can be engineered.

ir turiu idėją, kaip jis gali būti projektuojamas.

That's what I'd like to share with you.

Tuo ir norėčiau pasidalinti su jumis.

I'm going to start by playing you a sample

Pradėti ketinu pavyzdžiu

of a voice that you may recognize.

balso, kurį jūs veikiausiai atpažinsite.

(Recording) Stephen Hawking: "I would have thought

(Įrašas) Stivenas Hokingas: "Aš galvojau,

it was fairly obvious what I meant."

kad buvo visiškai akivaizdu, ką turėjau omenyje."

Rupal Patel: That was the voice

Rupal Patel: Tai buvo profesoriaus

of Professor Stephen Hawking.

Stiveno Hokingo balsas.

What you may not know is that same voice

Greičiausiai jūs nežinote, kad toks pats balsas

may also be used by this little girl

taip pat gali būti naudojamas ir šios mažos mergaitės,

who is unable to speak

kuri turi kalbos negalią

because of a neurological condition.

dėl neurologinės ligos.

In fact, all of these individuals

Iš tiesų, visi sergantys asmenys

may be using the same voice,

naudoja tokį patį balsą

and that's because there's only a few options available.

todėl, kad įmanoma tėra rinktis iš kelių.

In the U.S. alone, there are 2.5 million Americans

Vien Jungtinės Valstijose yra 2,5 milijono

who are unable to speak,

kalbos negalią turinčių amerikiečių

and many of whom use computerized devices

ir dauguma jų naudoja kompiuterizuotus prietaisus

to communicate.

bendrauti.

Now that's millions of people worldwide

Pasaulyje yra milijonai žmonių,

who are using generic voices,

kurie naudoja bendrus balsus,

including Professor Hawking,

įskaitant ir profesorių Hokingą,

who uses an American-accented voice.

kuris naudoja balsą su amerikietišku akcentu.

This lack of individuation of the synthetic voice

Individualizacijos trūkumo dirbtiniame balse problema

really hit home

iš tiesų sukrėtė mane,

when I was at an assistive technology conference

kai buvau technologijų neįgaliesiems konferencijoje

a few years ago,

prieš keletą metų,

and I recall walking into an exhibit hall

ir aš prisimenu save įeinančią į parodų salę

and seeing a little girl and a grown man

ir matančią mažą mergaitę ir suaugusį vyrą

having a conversation using their devices,

besišnekančius naudojantis savo prietaisais,

different devices, but the same voice.

skirtingais prietaisais, bet tuo pačiu balsu.

And I looked around and I saw this happening

Aš apsidairiau aplink ir mačiau, kad tai vyksta

all around me, literally hundreds of individuals

visoje salėje, šimtai asmenų

using a handful of voices,

naudojosi vos keletu skirtingų balsų,

voices that didn't fit their bodies

kurie netiko jų kūnams

or their personalities.

ir jų asmenybėms.

We wouldn't dream of fitting a little girl

Mes nenorėtume matyti mažos mergaitės

with the prosthetic limb of a grown man.

su suaugusio žmogaus galūnės protezu.

So why then the same prosthetic voice?

Tad kodėl tas pats balsas?

It really struck me,

Tai iš tiesų sukrėtė mane

and I wanted to do something about this.

ir aš panorau ko nors imtis.

I'm going to play you now a sample

Dabar ketinu parodyti pavyzdį

of someone who has, two people actually,

žmogaus, iš tikrųjų dviejų žmonių, kurie turi

who have severe speech disorders.

sunkų kalbos sutrikimą.

I want you to take a listen to how they sound.

Noriu, kad pasiklausytumėte, kaip jie skamba.

They're saying the same utterance.

Jie abu sako tą patį.

(First voice)

(Pirmasis balsas)

(Second voice)

(Antrasis balsas)

You probably didn't understand what they said,

Tikriausiai nesupratote, ką jie sako,

but I hope that you heard

bet tikiuosi, kad išgirdote,

their unique vocal identities.

jog abu šie balsai unikalūs.

So what I wanted to do next is,

Taigi, toliau ketinau

I wanted to find out how we could harness

atrasti kaip mes galėtume panaudoti

these residual vocal abilities

šiuos gebėsenos kalbėti likučius

and build a technology

ir sukurti technologiją,

that could be customized for them,

kuri būtų pritaikyta jiems,

voices that could be customized for them.

balsus, pritaikytus jiems.

So I reached out to my collaborator, Tim Bunnell.

Taigi aš užmezgiau ryšius su savo bendradarbiu, Timu Bunelu.

Dr. Bunnell is an expert in speech synthesis,

Dr. Bunelas yra kalbos sintezės ekspertas,

and what he'd been doing is building

taigi jis užsiima personalizuotų

personalized voices for people

balsų kurimu žmonėms,

by putting together

kartu sudėdamas

pre-recorded samples of their voice

iš anksto įrašytus jų balso pavyzdžius

and reconstructing a voice for them.

ir atkurdamas jų balsą.

These are people who had lost their voice

Tai yra žmonės, kurie

later in life.

prarado balsą.

We didn't have the luxury

Mes neturime prabangos

of pre-recorded samples of speech

įrašytų kalbos pavyzdžių tų,

for those born with speech disorder.

kurie gimė su kalbos negalia.

But I thought, there had to be a way

Bet aš pamaniau, kad turi būti būdas

to reverse engineer a voice

atkurti balsą

from whatever little is left over.

iš to, kas liko.

So we decided to do exactly that.

Tad nusprendėme užsiimti būtent tuo.

We set out with a little bit of funding from the National Science Foundation,

Su Nacionalinio Mokslo Fondo parama mes pamėginome

to create custom-crafted voices that captured

sukurti dirbtinai sukurtus balsus, kurie atspindėtų

their unique vocal identities.

unikalią jų balso tapatybę.

We call this project VocaliD, or vocal I.D.,

Mes vadiname šį projektą VocaliD, arba vocal I.D.,

for vocal identity.

kaip balso tapatybę.

Now before I get into the details of how

Prieš leidžiantis į detales kaip

the voice is made and let you listen to it,

balsas yra kuriamas, ir leidžiant jo pasiklausyti,

I need to give you a real quick speech science lesson. Okay?

aš turiu išdėstyti trumpą kalbėsenos mokslo pamoką. Gerai?

So first, we know that the voice is changing

Pirma, mes žinome, kad balsas pastebimai

dramatically over the course of development.

kinta skirtingais gyvenimo laikotarpiais.

Children sound different from teens

Vaikų balsas skiriasi nuo paauglių,

who sound different from adults.

kurių balsas skiriasi nuo suaugusių.

We've all experienced this.

Mes visi tai patyrėme.

Fact number two is that speech

Antra, kalba

is a combination of the source,

atsiranda,

which is the vibrations generated by your voice box,

kai vibracijos, sukuriamos balso aparato,

which are then pushed through

yra nustumiamos

the rest of the vocal tract.

išilgai viso balso trakto.

These are the chambers of your head and neck

Tai yra ertmės galvoje ir kakle,

that vibrate,

kurios vibruoja

and they actually filter that source sound

ir jos iš tiesų filtruoja šaltinio garsą ir

to produce consonants and vowels.

taip sukuriamos priebalsės ir balsės.

So the combination of source and filter

Taigi šaltinio ir filtro kombinacija

is how we produce speech.

yra tai, kaip mes kalbame.

And that happens in one individual.

Ir tai įvyksta kiekvienam individualiai.

Now I told you earlier that I'd spent

Aš minėjau anksčiau, kad didelę dalį

a good part of my career

savo karjeros aš praleidau

understanding and studying

bandydama suprasti ir studijuodama

the source characteristics of people

šaltinio savybes tų žmonių,

with severe speech disorder,

kurie turi stiprius kalbėsenos sutrikimus,

and what I've found

ir aš atradau,

is that even though their filters were impaired,

kad nors jų filtrai yra sumenkę,

they were able to modulate their source:

jie gali valdyti savo šaltinį:

the pitch, the loudness, the tempo of their voice.

toną, garsumą, balso tempą.

These are called prosody, and I've been documenting for years

Tai vadinama prozodija, ir aš ilgus metus tyrinėjau,

that the prosodic abilities of these individuals

kad prozodiniai šių asmenų gebėjimai

are preserved.

yra išsaugoti.

So when I realized that those same cues

Taigi kai aš supratau tai, kad šie panašūs signalai

are also important for speaker identity,

taip pat yra svarbūs kalbėtojo asmenybei,

I had this idea.

man gimė idėja.

Why don't we take the source

Kodėl nepaėmus šaltinio

from the person we want the voice to sound like,

iš žmogaus, kurio balsą norime išgirsti,

because it's preserved,

kadangi jis išsaugotas,

and borrow the filter

ir nepasiskolinus filtro

from someone about the same age and size,

iš kieno nors panašaus amžiaus ir dydžio,

because they can articulate speech,

kadangi jis gali artikuliuoti kalbą,

and then mix them?

ir šiuos du sujungti?

Because when we mix them,

Kadangi juos sujungus,

we can get a voice that's as clear

mes galime gauti balsą, kuris bus aiškus

as our surrogate talker --

kaip žmogaus, iš kurio

that's the person we borrowed the filter from—

filtras buvo pasiskolintas,

and is similar in identity to our target talker.

bet panašus į žmogaus, kurio šaltinis naudotas balse.

It's that simple.

Tai taip paprasta.

That's the science behind what we're doing.

Tai mokslinis paaiškinimas tam, ką mes darome.

So once you have that in mind,

Turėdami tai galvoje,

how do you go about building this voice?

kaip sukurtumėte balsą?

Well, you have to find someone

Na, reikia surasti ką nors,

who is willing to be a surrogate.

kas norėtų būtų balso surogatu.

It's not such an ominous thing.

Tai visiškai nėra nerimą keliantis dalykas.

Being a surrogate donor

Buvimas surogatu donoru

only requires you to say a few hundred

reikalauja tik pasakyti nuo kelių šimtų

to a few thousand utterances.

iki kelių tūkstančių išsireiškimų.

The process goes something like this.

Šis procesas skamba maždaug taip.

(Video) Voice: Things happen in pairs.

(Video) Balsas:

I love to sleep.

Aš mėgstu miegoti.

The sky is blue without clouds.

Dangus mėlynas be debesų.

RP: Now she's going to go on like this

RP: Dabar ji darys tai

for about three to four hours,

apie tris ar keturias valandas

and the idea is not for her to say everything

ir pagrindinė mintis nėra ištarti viską,

that the target is going to want to say,

ką neįgalusis norėtų pasakyti,

but the idea is to cover all the different combinations

bet apimti visas skirtingas kombinacijas

of the sounds that occur in the language.

garsų, pasitaikančių kalboje.

The more speech you have,

Kuo daugiau kalbos turima,

the better sounding voice you're going to have.

tuo geriau skambantį balsą galima turėti.

Once you have those recordings,

Jau turint šiuos įrašus,

what we need to do

tereikia išnagrinėti

is we have to parse these recordings

šiuos įrašus

into little snippets of speech,

į kalbos fragmentus,

one- or two-sound combinations,

į vieno ar dviejų garsų kombinacijas,

sometimes even whole words

kartais net atskirus žodžius,

that start populating a dataset or a database.

ir taip pradėti įkurdinti duomenų bazę.

We're going to call this database a voice bank.

Vadinkime šią duomenų bazę balso banku.

Now the power of the voice bank

Šio balso banko galia slypi tame,

is that from this voice bank,

kad iš šio balso banko

we can now say any new utterance,

mes galime pasakyti bet kokį naują išsireiškimą,

like, "I love chocolate" --

pavyzdžiui, "Aš mėgstu šokoladą" --

everyone needs to be able to say that—

kiekvienas turi galėti tai pasakyti --

fish through that database

duomenų bazėje tereikia sužvejoti

and find all the segments necessary

ir surasti reikiamas daleles

to say that utterance.

šiam išsireiškimui.

(Video) Voice: I love chocolate.

(Video) Balsas: Aš mėgstu šokoladą.

RP: So that's speech synthesis.

RP: Taigi tai yra kalbos sintezė.

It's called concatenative synthesis, and that's what we're using.

Ji vadinama sujungiamąja sinteze, kurią mes naudojame.

That's not the novel part.

Tai nėra neįprastoji dalis.

What's novel is how we make it sound

Neįprasta yra tai, kaip mes priversime tai

like this young woman.

skambėti kaip šios jaunos moters balsą.

This is Samantha.

Štai Samanta.

I met her when she was nine,

Kai aš ją sutikau, jai buvo devyneri,

and since then, my team and I

ir nuo tada aš ir mano komanda

have been trying to build her a personalized voice.

bandėme sukurti jai personalizuotą balsą.

We first had to find a surrogate donor,

Pirmiausia mums teko surasti surogatą donorą,

and then we had to have Samantha

tada mums reikėjo, kad Samanta

produce some utterances.

ištartų keletą frazių.

What she can produce are mostly vowel-like sounds,

Tai, ką ji gali ištarti daugiausiai yra į balses panašūs garsai,

but that's enough for us to extract

bet jų užtenka tam, kad

her source characteristics.

iš jų išgautume jos šaltinio charakteristiką.

What happens next is best described

Kas vyksta toliau, geriausiai apibūdina

by my daughter's analogy. She's six.

mano dukters analogija. Jai šešeri.

She calls it mixing colors to paint voices.

Ji vadina tai spalvų maišymu nupiešti balsams.

It's beautiful. It's exactly that.

Tai nuostabu. Tai būtent tai.

Samantha's voice is like a concentrated sample

Samantos balsas yra lyg koncentruotas pavyzdys

of red food dye which we can infuse

raudonų maistinių dažų, kuriuos įliejame

into the recordings of her surrogate

į jos surogatinio balso įrašus

to get a pink voice just like this.

gauti tokį kaip šis rožinį balsą.

(Video) Samantha: Aaaaaah.

(Video) Samanta: Aaaaaah.

RP: So now, Samantha can say this.

RP: Dabar Samanta gali pasakyti tai.

(Video) Samantha: This voice is only for me.

(Video) Samanta: Šis balsas sukurtas tik man.

I can't wait to use my new voice with my friends.

Aš negaliu sulaukti, kol galėsiu kalbėti juo su savo draugais.

RP: Thank you. (Applause)

RP: Ačiū. (Plojimai)

I'll never forget the gentle smile

Aš niekad nepamiršiu švelnios šypsenos,

that spread across her face

kuri perbėgo jos veidu,

when she heard that voice for the first time.

kai ji išgirdo šį balsą pirmą kartą.

Now there's millions of people

Pasaulyje yra milijonai žmonių

around the world like Samantha, millions,

panašių į Samantą, milijonai,

and we've only begun to scratch the surface.

ir mes vos pradėjome darbą.

What we've done so far is we have

Iki šiol mes turime

a few surrogate talkers from around the U.S.

keletą surogatų balsų iš Jungtinių Valstijų,

who have donated their voices,

kurie paaukojo savo balsus,

and we have been using those

ir mes naudojame juos

to build our first few personalized voices.

kurdami pirmuosius personalizuotus balsus.

But there's so much more work to be done.

Bet yra dar daugybė darbo.

For Samantha, her surrogate

Samantos surogatė gyvena kažkur

came from somewhere in the Midwest, a stranger

Vidurio Vakaruose, nepažįstamoji,

who gave her the gift of voice.

kuri dovanojo jai balso dovaną.

And as a scientist, I'm so excited

Kaip mokslininkė, aš esu labai sujaudinta

to take this work out of the laboratory

perkeldama šį darbą iš laboratorijos

and finally into the real world

į realų pasaulį, tad

so it can have real-world impact.

negaliu sulaukti šio darbo poveikio.

What I want to share with you next

Taip pat aš noriu pasidalinti su jumis

is how I envision taking this work

kaip aš įsivaizduoju šį darbą

to that next level.

kopiant į kitą lygmenį.

I imagine a whole world of surrogate donors

Aš įsivaizduoju pasaulį pilną surogatų donorų

from all walks of life, different sizes, different ages,

iš įvairių gyvenimo sričių, skirtingo amžiaus ir padėčių,

coming together in this voice drive

kurie kartu bus skatinami idėjos

to give people voices

duoti žmonėms balsus,

that are as colorful as their personalities.

kurie būtų tokie pat spalvingi kaip ir jų asmenybės.

To do that as a first step,

Pirmasis žingsnis to link

we've put together this website, VocaliD.org,

yra VocaliD.org puslapio sukūrimas,

as a way to bring together those

kaip būdas sujungti tuos,

who want to join us as voice donors,

kurie nori prisidėti prie mūsų kaip balso donorai,

as expertise donors,

kaip įvertinti donorai,

in whatever way to make this vision a reality.

bet kokiu keliu paversti šią viziją realybe.

They say that giving blood can save lives.

Sakoma, kad kraujo davimas gali išsaugoti gyvybes.

Well, giving your voice can change lives.

Na, balso davimas gali pakeisti gyvenimus.

All we need is a few hours of speech

Viskas, ko reikia, yra kelios valandos kalbos

from our surrogate talker,

surogato šnekos

and as little as a vowel from our target talker,

ir visai nedaug, vos balsės, iš neįgaliojo,

to create a unique vocal identity.

kad būtų sukurta unikali balso tapatybė.

So that's the science behind what we're doing.

Taigi tai mokslas, kuo paremta tai, ką darome.

I want to end by circling back to the human side

Norėčiau baigti grįžtant prie žmogiškosios pusės,

that is really the inspiration for this work.

kuri įkvepia šiam darbui.

About five years ago, we built our very first voice

Maždaug prieš penkerius metus sukūrėme patį pirmą balsą

for a little boy named William.

mažam berniuku, vardu Viljamas.

When his mom first heard this voice,

Kai jo mama pirmą kartą išgirdo šį balsą,

she said, "This is what William

ji pasakė, "Štai kaip Viljamas

would have sounded like

būtų kalbėjęs, jei

had he been able to speak."

būtų galėjęs kalbėti."

And then I saw William typing a message

Ir tada pamačiau Viljamą rašantį žinutę

on his device.

savo prietaise.

I wondered, what was he thinking?

Aš mąsčiau, ką jis galvojo?

Imagine carrying around someone else's voice

Įsivaizduokite, ką reiškia devynerius metus

for nine years

kalbėti svetimu balsu

and finally finding your own voice.

ir galiausiai surasti savąjį.

Imagine that.

Tik įsivaizduokite.

This is what William said:

Štai, ką Viljamas pasakė:

"Never heard me before."

"Niekada nesu girdėjęs savęs."

Thank you.

Ačiū.

(Applause)

(Plojimai)