Rupal Patel: Synthetic voices, as unique as fingerprints

Translator: Caroline Thomsen Reviewer:

I'd like to talk today

I dag vil jeg gerne tale

about a powerful and fundamental aspect

om et kraftfuld og grundlæggende aspekt

of who we are: our voice.

af hvem vi er: vores stemme

Each one of us has a unique voiceprint

Hver og en af os, har en unik stemme

that reflects our age, our size,

som reflekterer vores alder, vores størrelse,

even our lifestyle and personality.

og selv vores livsstil og personlighed

In the words of the poet Longfellow,

Som digteren Longfellow sagde,

"the human voice is the organ of the soul."

"den menneskelige stemme er sjælens talerør."

As a speech scientist, I'm fascinated

Som taleekspert, er jeg fascineret

by how the voice is produced,

af hvordan vores stemme er fremstillet,

and I have an idea for how it can be engineered.

og jeg har en ide til hvordan den kan blive konstrueret.

That's what I'd like to share with you.

Det er dette som jeg gerne vil dele med jer.

I'm going to start by playing you a sample

Jeg vil starte med at afspille en prøve for jer

of a voice that you may recognize.

af en stemme som i måske genkender

(Recording) Stephen Hawking: "I would have thought

(Optagelse) Stephen Hawking: "Jeg ville have troet

it was fairly obvious what I meant."

at det var ret tydeligt hvad jeg mente."

Rupal Patel: That was the voice

Rupal Patel: Dette var

of Professor Stephen Hawking.

Professor Stephen Hawkings stemme.

What you may not know is that same voice

Hvad du måske ikke ved, er at denne samme stemme

may also be used by this little girl

også kan blive brugt af denne lille pige

who is unable to speak

som ikke kan tale

because of a neurological condition.

på grund af en neurologisk lidelse.

In fact, all of these individuals

Faktisk kan alle disse individer

may be using the same voice,

bruge den samme stemme,

and that's because there's only a few options available.

og det er fordi der kun er få muligheder tilgængelige.

In the U.S. alone, there are 2.5 million Americans

Alene i USA, er der 2.5 millioner amerikanere

who are unable to speak,

som ikke kan tale,

and many of whom use computerized devices

og mange af dem bruger computerstyrede systemer

to communicate.

til at kommunikere.

Now that's millions of people worldwide

I hele verden, er det millioner af mennesker

who are using generic voices,

som bruger generiske stemmer,

including Professor Hawking,

inklusiv Professor Hawking,

who uses an American-accented voice.

som bruger en Amerikansk-betonet stemme.

This lack of individuation of the synthetic voice

Denne mangel af individualisering af den syntetiske stemme

really hit home

gik virkelig op for mig

when I was at an assistive technology conference

da jeg var til en konference om teknologiske hjælpemidler

a few years ago,

for et par år tilbage,

and I recall walking into an exhibit hall

og jeg husker hvordan jeg kom ind i en udstillingssal

and seeing a little girl and a grown man

hvor jeg så en lille pige og en voksen mand

having a conversation using their devices,

have en samtale ved hjælp af deres enheder,

different devices, but the same voice.

forskellige enheder, men den samme stemme.

And I looked around and I saw this happening

Og jeg kiggede rundt og så dette ske

all around me, literally hundreds of individuals

alle steder omkring mig, hundrede forskellige mennesker

using a handful of voices,

med en håndfuld forskellige stemmer,

voices that didn't fit their bodies

stemmer som ikke passede til deres kroppe

or their personalities.

eller deres personligheder.

We wouldn't dream of fitting a little girl

Vi ville aldrig drømme om at give en lille pige

with the prosthetic limb of a grown man.

en voksen mands protese.

So why then the same prosthetic voice?

So hvorfor er det anderledes med kunstige stemmer?

It really struck me,

Det ramte mig virkelig,

and I wanted to do something about this.

og jeg havde lyst til at gøre noget ved det.

I'm going to play you now a sample

Nu vil jeg afspille en lydfil

of someone who has, two people actually,

af en som har, faktisk to som har,

who have severe speech disorders.

alvorlige taleforstyrrelser.

I want you to take a listen to how they sound.

Jeg vil have jer til at lytte til hvordan de lyder.

They're saying the same utterance.

De har samme talemåde.

(First voice)

(Første stemme)

(Second voice)

(Anden stemme)

You probably didn't understand what they said,

Du forstod nok ikke hvad de sagde,

but I hope that you heard

men jeg håber at du hørte

their unique vocal identities.

deres unikke stemme identiteter.

So what I wanted to do next is,

Så det næste jeg havde lyst til at gøre,

I wanted to find out how we could harness

var at finde ud af hvordan vi kunne udnytte

these residual vocal abilities

disse resterende vokale evner

and build a technology

og bygge en teknologi

that could be customized for them,

som kunne være skræddersyet til dem,

voices that could be customized for them.

stemmer som kunne være tilpasset til dem

So I reached out to my collaborator, Tim Bunnell.

Så jeg henvendte mig til min samarbejdspartner, Tim Bunnell.

Dr. Bunnell is an expert in speech synthesis,

Dr. Bunell er en ekspert i stemmesyntese,

and what he'd been doing is building

og hvad han har gjort, er at bygge

personalized voices for people

personlige stemmer for mennesker

by putting together

ved at sammensætte

pre-recorded samples of their voice

førindspillede prøver af deres stemmer

and reconstructing a voice for them.

og rekonstruere en stemme til dem.

These are people who had lost their voice

Dette er mennesker som havde mistet deres stemme

later in life.

senere i livet.

We didn't have the luxury

Vi havde ikke den luksus

of pre-recorded samples of speech

af før-indspillede stemmeprøver

for those born with speech disorder.

til dem der er født med taleforstyrrelser.

But I thought, there had to be a way

Men jeg tænkte, der må være en måde

to reverse engineer a voice

at sammensætte en stemme baglæns

from whatever little is left over.

fra den smule der er tilbage.

So we decided to do exactly that.

Så vi besluttede at gøre præcis det.

We set out with a little bit of funding from the National Science Foundation,

Vi indsamlede nogle penge fra den Nationale Videnskabs Fond,

to create custom-crafted voices that captured

så vi kunne skabe specialdesignede stemmer som fangede

their unique vocal identities.

deres unikke stemme identiteter.

We call this project VocaliD, or vocal I.D.,

Vi kalder dette projekt for "VocaliD", eller stemme I.D.,

for vocal identity.

for stemme identitet.

Now before I get into the details of how

Før jeg nu kommer ind på detaljerne om hvordan

the voice is made and let you listen to it,

stemmen er lavet og lader jer lytte til den,

I need to give you a real quick speech science lesson. Okay?

bliver jeg nødt til at give en meget hurtig lektion om videnskaben bag tale. Okay?

So first, we know that the voice is changing

Først og fremmest, ved vi at stemmen ændrer sig

dramatically over the course of development.

dramatisk under udviklingen.

Children sound different from teens

Børn lyder forskelligt fra teenagere

who sound different from adults.

som lyder anderledes end voksne.

We've all experienced this.

Vi har alle oplevet dette.

Fact number two is that speech

Den anden ting er at tale

is a combination of the source,

er en kombination af kilden,

which is the vibrations generated by your voice box,

hvilket er vibrationer genereret i strubehovedet,

which are then pushed through

som derefter er skubbet igennem

the rest of the vocal tract.

resten af svælget.

These are the chambers of your head and neck

Disse er kamrene i dit hoved og din hals

that vibrate,

som vibrerer,

and they actually filter that source sound

og de filtrerer rent faktisk lydkilden

to produce consonants and vowels.

og producerer konsonanter og vokaler.

So the combination of source and filter

Så kombinationen af kilder og filtrering

is how we produce speech.

er hvordan vi producerer tale.

And that happens in one individual.

Og dette sker i hvert individ.

Now I told you earlier that I'd spent

Jeg fortalte jer tidligere at jeg har brugt

a good part of my career

en god del af min karriere

understanding and studying

på at forstå og studere

the source characteristics of people

kildekendetegn ved personer

with severe speech disorder,

som har alvorlige taleforstyrrelser,

and what I've found

og hvad jeg har fundet ud af er,

is that even though their filters were impaired,

at selv hvis deres filtrering er nedsat,

they were able to modulate their source:

så er de stadig i stand til at modulere deres kilder:

the pitch, the loudness, the tempo of their voice.

tonehøjden, lydstyrken og tempoet i deres stemme.

These are called prosody, and I've been documenting for years

Dette er kaldet prosodi, og jeg har i flere år dokumenteret

that the prosodic abilities of these individuals

at de prosodiske evner hos disse individer

are preserved.

er bevaret.

So when I realized that those same cues

Så da jeg opdagede at disse samme signaler

are also important for speaker identity,

også er vigtigt for stemmeidentitet,

I had this idea.

så fik jeg en idé.

Why don't we take the source

Hvorfor tager vi ikke kilden

from the person we want the voice to sound like,

fra personen som vi vil have stemmen til at lyde som,

because it's preserved,

fordi den er bevaret,

and borrow the filter

og låner filteret

from someone about the same age and size,

fra en på cirka samme alder og størrelse,

because they can articulate speech,

fordi de kan artikulere tale,

and then mix them?

og derefter blande dem sammen?

Because when we mix them,

For når vi blander dem sammen,

we can get a voice that's as clear

så kan vi få en stemme der er ligeså klar

as our surrogate talker --

som vores surrogat stemme --

that's the person we borrowed the filter from—

altså personen vi lånte filteret fra --

and is similar in identity to our target talker.

og som er ens med vores person.

It's that simple.

Så simpelt er det.

That's the science behind what we're doing.

Det er videnskaben bag hvad vi laver.

So once you have that in mind,

Så når nu vi ved det,

how do you go about building this voice?

hvordan bygger man så denne stemme?

Well, you have to find someone

Det du gør, er at du finder en

who is willing to be a surrogate.

som er villig til at være surrogat.

It's not such an ominous thing.

Det er ikke en farlig ting.

Being a surrogate donor

At være surrogat donor

only requires you to say a few hundred

kræver kun at du siger nogle få hundrede

to a few thousand utterances.

til nogle få tusinde ytringer.

The process goes something like this.

Processen fungerer cirka sådan her.

(Video) Voice: Things happen in pairs.

(Video) Stemme: Ting sker i par.

I love to sleep.

Jeg elsker at sove.

The sky is blue without clouds.

Himlen er blå uden skyer.

RP: Now she's going to go on like this

RP: Nu fortsætter hun sådan

for about three to four hours,

for omkring tre til fire timer,

and the idea is not for her to say everything

og idéen er ikke at hun skal sige alting

that the target is going to want to say,

som vores person med taleforstyrrelse, vil have lyst til at sige,

but the idea is to cover all the different combinations

men idéen er at afdække alle de forskellige kombinationer

of the sounds that occur in the language.

af lyde som findes i sproget.

The more speech you have,

Jo mere tale du har,

the better sounding voice you're going to have.

jo bedre en stemme vil du have.

Once you have those recordings,

Så snart du har disse optagelser,

what we need to do

hvad vi så skal gøre,

is we have to parse these recordings

er at analysere disse optagelser

into little snippets of speech,

indtil små uddrag af tale,

one- or two-sound combinations,

en- eller to- lyd kombinationer,

sometimes even whole words

nogle gange endda hele ord

that start populating a dataset or a database.

som begynder at udfylde et datasæt eller en database.

We're going to call this database a voice bank.

Denne database kalder vi en stemme bank.

Now the power of the voice bank

Det kraftfulde ved denne stemmebank

is that from this voice bank,

er at fra denne bank,

we can now say any new utterance,

kan vi nu fiske alle nye udtryk,

like, "I love chocolate" --

som "Jeg elsker chokolade" --

everyone needs to be able to say that—

alle bliver nødt til at kunne sige det --

fish through that database

ud af den database

and find all the segments necessary

og finde alle de nødvendige segmenter

to say that utterance.

til at sige denne sætning.

(Video) Voice: I love chocolate.

(Video) Stemme: Jeg elsker chokolade

RP: So that's speech synthesis.

RP: So det er talesyntese.

It's called concatenative synthesis, and that's what we're using.

Det kaldes concatenative syntese, og det er hvad vi bruger.

That's not the novel part.

Dette er ikke den nye del.

What's novel is how we make it sound

Den nye del er hvordan vi får det til at lyde

like this young woman.

som denne unge kvinde.

This is Samantha.

Dette er Samantha.

I met her when she was nine,

Jeg mødte hende da hun var ni år gammel,

and since then, my team and I

og siden da, har mit team og jeg

have been trying to build her a personalized voice.

forsøgt at bygge en personlig stemme til hende.

We first had to find a surrogate donor,

Først måtte vi finde en surrogatdonor,

and then we had to have Samantha

og derefter fik Samantha til at

produce some utterances.

sige nogle sætninger.

What she can produce are mostly vowel-like sounds,

Hvad hun kan sige er mest vokalagtige lyde,

but that's enough for us to extract

men det er nok for os, til at finde

her source characteristics.

hendes kildekarakteristika.

What happens next is best described

Det næste der sker er bedst beskrevet

by my daughter's analogy. She's six.

af min datter. Hun er seks år gammel.

She calls it mixing colors to paint voices.

Hun kalder det "at blande farver så man kan male stemmer"

It's beautiful. It's exactly that.

Det er smukt. Det er præcis dét.

Samantha's voice is like a concentrated sample

Samanthas stemme er som en koncentreret

of red food dye which we can infuse

rød frugtfarve som vi kan indføre

into the recordings of her surrogate

i optagelserne af hendes surrogat

to get a pink voice just like this.

og få en lyserød stemme, så let er det.

(Video) Samantha: Aaaaaah.

(Video) Samantha: Aaaaah.

RP: So now, Samantha can say this.

RP: Så nu, kan Samantha sige dette.

(Video) Samantha: This voice is only for me.

(Video) Samantha: Denne stemme er kun for mig.

I can't wait to use my new voice with my friends.

Jeg kan ikke vente til at jeg skal bruge min nye stemme overfor mine venner.

RP: Thank you. (Applause)

RP: Tak. (Bifald)

I'll never forget the gentle smile

Jeg vil aldrig glemme det blide smil

that spread across her face

som spredte sig over hendes ansigt

when she heard that voice for the first time.

da hun hørte den stemme for første gang.

Now there's millions of people

Nu er der millioner af mennesker

around the world like Samantha, millions,

omkring verden, som Samantha, millioner,

and we've only begun to scratch the surface.

og vi er først lige begyndt at kradse i overfladen.

What we've done so far is we have

Hvad vi har gjort indtil nu, er at vi har

a few surrogate talkers from around the U.S.

nogle få surrogat stemmer fra USA

who have donated their voices,

som har doneret deres stemmer,

and we have been using those

og vi har brugt disse

to build our first few personalized voices.

til at bygge vores første personlige stemmer.

But there's so much more work to be done.

Men der er så meget mere arbejde at gøre.

For Samantha, her surrogate

For Samantha, kom hendes surrogat

came from somewhere in the Midwest, a stranger

fra et sted i den amerikanske midtvest, en fremmed

who gave her the gift of voice.

som gav hende stemmen som gave.

And as a scientist, I'm so excited

Og som videnskabsmand, er jeg så begejstret

to take this work out of the laboratory

for at kunne tage dette arbejde ud af laboratoriet

and finally into the real world

og ud i den virkelige verden

so it can have real-world impact.

så det kan have indflydelse i den virkelige verden.

What I want to share with you next

Det næste jeg vil dele med jer

is how I envision taking this work

er hvordan jeg har planlagt at tage dette arbejde

to that next level.

til det næste niveau.

I imagine a whole world of surrogate donors

Jeg drømmer om en hel verden af surrogatdonorer

from all walks of life, different sizes, different ages,

fra alle steder i livet, forskellige størrelser, forskellige aldre,

coming together in this voice drive

som sammen

to give people voices

vil give folk stemmer

that are as colorful as their personalities.

som er ligeså farverige som deres personligheder.

To do that as a first step,

For at gøre det, er det første trin

we've put together this website, VocaliD.org,

at vi har lavet denne hjemmeside: VocaliD.org,

as a way to bring together those

som en måde at samle dem

who want to join us as voice donors,

som sammen med os vil være stemme donorer,

as expertise donors,

ekspertdonorer,

in whatever way to make this vision a reality.

som kan hjælpe med at gøre denne vision til virkelighed.

They say that giving blood can save lives.

De siger at donering af blod kan redde liv.

Well, giving your voice can change lives.

At give din stemme kan ændre liv.

All we need is a few hours of speech

Alt vi har brug for er nogle få timers stemme

from our surrogate talker,

fra vores stemme doner

and as little as a vowel from our target talker,

og så lidt som en vokal fra vores individ med en taleforstyrrelse

to create a unique vocal identity.

for at lave en unik stemme identitet.

So that's the science behind what we're doing.

Så det er videnskaben bag hvad vi laver.

I want to end by circling back to the human side

Jeg vil slutte med at vende tilbage til den menneskelige side

that is really the inspiration for this work.

som er den virkelige inspiration for dette arbejde.

About five years ago, we built our very first voice

For fem år siden, byggede vi vores første stemme

for a little boy named William.

for en lille dreng, kaldet William.

When his mom first heard this voice,

Da hans mor først hørte denne stemme,

she said, "This is what William

sagde hun: "Dette er hvad William

would have sounded like

ville have lydt som

had he been able to speak."

hvis han havde kunne tale."

And then I saw William typing a message

Og så så jeg William taste en besked

on his device.

på hans enhed.

I wondered, what was he thinking?

Jeg undrede mig, hvad tænkte han?

Imagine carrying around someone else's voice

Forestil dig at gå rundt med en anden persons stemme

for nine years

i ni år

and finally finding your own voice.

og pludselig finde din egen stemme.

Imagine that.

Forestil dig det.

This is what William said:

Dette er hvad William sagde:

"Never heard me before."

"Jeg har aldrig hørt mig før"

Thank you.

Tak

(Applause)

(Bifald)