Rupal Patel: Synthetic voices, as unique as fingerprints

Vertaald door: Valérie Boor Nagekeken door: Els De Keyser

I'd like to talk today

Ik wil het vandaag hebben

about a powerful and fundamental aspect

over een krachtig en fundamenteel aspect

of who we are: our voice.

van wie we zijn: onze stem.

Each one of us has a unique voiceprint

Ieder van ons heeft een unieke stemafdruk

that reflects our age, our size,

die onze leeftijd en afmetingen weerspiegelt

even our lifestyle and personality.

en zelfs onze manier van leven en persoonlijkheid.

In the words of the poet Longfellow,

Met de woorden van de dichter Longfellow:

"the human voice is the organ of the soul."

"De menselijke stem is het orgaan van de ziel."

As a speech scientist, I'm fascinated

Als spraakwetenschapper ben ik gefascineerd

by how the voice is produced,

door hoe de stem wordt geproduceerd.

and I have an idea for how it can be engineered.

Ik heb een idee om een stem te construeren.

That's what I'd like to share with you.

Dat wil ik graag aan jullie vertellen.

I'm going to start by playing you a sample

Ik zal beginnen met een stukje te laten horen

of a voice that you may recognize.

van een stem die je misschien herkent.

(Recording) Stephen Hawking: "I would have thought

(Opname) Stephen Hawking: "Ik dacht

it was fairly obvious what I meant."

dat het vrij duidelijk was wat ik bedoelde."

Rupal Patel: That was the voice

Pupal Patel: Dat was de stem

of Professor Stephen Hawking.

van Professor Stephen Hawking.

What you may not know is that same voice

Wat je misschien niet weet, is dat dezelfde stem

may also be used by this little girl

misschien ook wordt gebruikt door dit meisje

who is unable to speak

dat niet kan praten

because of a neurological condition.

vanwege een neurologische aandoening.

In fact, all of these individuals

Misschien gebruiken al deze mensen

may be using the same voice,

wel dezelfde stem,

and that's because there's only a few options available.

want er zijn maar een paar opties beschikbaar.

In the U.S. alone, there are 2.5 million Americans

In de VS alleen, zijn er 2,5 miljoen Amerikanen

who are unable to speak,

die niet kunnen praten.

and many of whom use computerized devices

Velen van hen gebruiken spraakcomputers

to communicate.

om te communiceren.

Now that's millions of people worldwide

Dat zijn dus miljoenen mensen wereldwijd

who are using generic voices,

die generieke stemmen gebruiken,

including Professor Hawking,

inclusief Professor Hawking,

who uses an American-accented voice.

die een stem met Amerikaans accent bezigt.

This lack of individuation of the synthetic voice

Dit gebrek aan individualiteit van de synthetische stem

really hit home

drong pas echt tot me door

when I was at an assistive technology conference

op een conferentie over hulpmiddelen voor gehandicapten,

a few years ago,

een paar jaar geleden.

and I recall walking into an exhibit hall

Ik weet nog dat ik een zaal inliep

and seeing a little girl and a grown man

en een meisje en een volwassen man

having a conversation using their devices,

met elkaar zag praten met hun apparaten,

different devices, but the same voice.

verschillende apparaten, maar dezelfde stem.

And I looked around and I saw this happening

Toen keek ik rond en zag dit

all around me, literally hundreds of individuals

overal om me heen: echt honderden mensen

using a handful of voices,

die een handjevol stemmen bezigden.

voices that didn't fit their bodies

Stemmen die niet pasten bij hun lichaam

or their personalities.

of hun persoonlijkheid.

We wouldn't dream of fitting a little girl

We zouden er niet aan moeten denken om een klein meisje

with the prosthetic limb of a grown man.

de prothese van een volwassen man aan te meten.

So why then the same prosthetic voice?

Waarom dan wel dezelfde stemprothese?

It really struck me,

Het raakte me echt.

and I wanted to do something about this.

Ik wilde hier iets aan doen.

I'm going to play you now a sample

Ik zal jullie nu een stukje laten horen

of someone who has, two people actually,

van iemand die -- of eigenlijk van twee mensen

who have severe speech disorders.

die een ernstige spraakhandicap hebben.

I want you to take a listen to how they sound.

Ik wil dat je luistert naar hoe ze klinken.

They're saying the same utterance.

Ze uiten hetzelfde.

(First voice)

(Eerste stem)

(Second voice)

(Tweede stem)

You probably didn't understand what they said,

Je begreep waarschijnlijk niet wat ze zeiden,

but I hope that you heard

maar ik hoop dat je

their unique vocal identities.

hun unieke stemidentiteit hoorde.

So what I wanted to do next is,

Vervolgens wilde ik uitvinden

I wanted to find out how we could harness

hoe we de resterende stemvermogens zouden kunnen vangen

these residual vocal abilities

and build a technology

om een technologie te bouwen

that could be customized for them,

die gepersonaliseerd kan worden,

voices that could be customized for them.

gepersonaliseerde stemmen.

So I reached out to my collaborator, Tim Bunnell.

Dus vroeg ik steun aan Tim Bunnel, met wie ik werk.

Dr. Bunnell is an expert in speech synthesis,

Dr. Bunnell is een expert in spraaksynthese.

and what he'd been doing is building

Hij heeft gewerkt aan het bouwen

personalized voices for people

van gepersonaliseerde stemmen voor mensen

by putting together

met behulp van

pre-recorded samples of their voice

vooraf opgenomen fragmenten van hun stem.

and reconstructing a voice for them.

Daarmee reconstrueert hij stemmen voor hen.

These are people who had lost their voice

Dat zijn mensen die hun stem zijn verloren

later in life.

op latere leeftijd.

We didn't have the luxury

Wij hadden niet de luxe

of pre-recorded samples of speech

van vooraf opgenomen stemfragmenten

for those born with speech disorder.

voor degenen met aangeboren spraakstoornissen.

But I thought, there had to be a way

Maar ik dacht dat er een manier moest zijn

to reverse engineer a voice

om een stem te construeren

from whatever little is left over.

uit wat ervan overblijft, hoe weinig dat ook is.

So we decided to do exactly that.

Dus besloten we precies dat te doen.

We set out with a little bit of funding from the National Science Foundation,

We begonnen met wat subsidie van de National Science Foundation

to create custom-crafted voices that captured

om gepersonaliseerde stemmen te maken

met behoud van hun unieke vocale identiteiten.

their unique vocal identities.

We call this project VocaliD, or vocal I.D.,

We noemen dit project VocaliD, of vocaal ID,

for vocal identity.

voor vocale identiteit.

Now before I get into the details of how

Voordat ik in detail treed over hoe

the voice is made and let you listen to it,

de stem wordt gemaakt en hem laat horen,

I need to give you a real quick speech science lesson. Okay?

moet ik jullie heel even spraakwetenschapsles geven, oké?

So first, we know that the voice is changing

Allereerst weten we dat de stem

gedurende de ontwikkeling dramatisch verandert.

dramatically over the course of development.

Children sound different from teens

Kinderen klinken anders dan tieners

who sound different from adults.

die anders klinken dan volwassenen.

We've all experienced this.

Dat hebben we allemaal ervaren.

Fact number two is that speech

Ten tweede is spraak

is a combination of the source,

een combinatie van de bron,

which is the vibrations generated by your voice box,

wat de trillingen van je strottenhoofd zijn,

which are then pushed through

die dan verder worden geduwd

the rest of the vocal tract.

door de rest van het spraakkanaal.

These are the chambers of your head and neck

Dat zijn de holten in je hoofd en nek

that vibrate,

die vibreren.

and they actually filter that source sound

Die filteren dat brongeluid

to produce consonants and vowels.

om klinkers en medeklinkers te produceren.

So the combination of source and filter

Dus de combinatie van bron en filter

is how we produce speech.

is hoe we spraak produceren.

And that happens in one individual.

Dat gebeurt in één individu.

Now I told you earlier that I'd spent

Ik vertelde al eerder dat ik

a good part of my career

een groot deel van mijn carrière

understanding and studying

heb gewijd aan het begrijpen en bestuderen

the source characteristics of people

van de bronkarakteristieken van mensen

with severe speech disorder,

met ernstige spraakstoornissen.

and what I've found

Ik heb vastgesteld

is that even though their filters were impaired,

dat, al waren hun filters verstoord,

they were able to modulate their source:

ze in staat waren om hun bron te moduleren:

the pitch, the loudness, the tempo of their voice.

de toon, het volume, het tempo van hun stem.

These are called prosody, and I've been documenting for years

Dat heet de prosodie. Ik heb jarenlang gedocumenteerd

that the prosodic abilities of these individuals

dat deze individuen in staat blijven tot prosodie.

are preserved.

So when I realized that those same cues

Dus toen ik me realiseerde dat diezelfde hints

are also important for speaker identity,

ook belangrijk zijn voor de identiteit van de spreker,

I had this idea.

kreeg ik dit idee.

Why don't we take the source

Waarom nemen we niet de bron

from the person we want the voice to sound like,

van degene waarop het stemgeluid moet lijken,

because it's preserved,

omdat die bewaard is,

and borrow the filter

en lenen we het filter

from someone about the same age and size,

van iemand die ongeveer van dezelfde leeftijd en grootte,

because they can articulate speech,

die spraak kan articuleren

and then mix them?

en mengen we die vervolgens?

Because when we mix them,

Want als we ze mengen, kunnen we net zo'n heldere stem krijgen

we can get a voice that's as clear

as our surrogate talker --

als onze surrogaat-spreker --

that's the person we borrowed the filter from—

degene van wie we het filter lenen --

and is similar in identity to our target talker.

met een identiteit die vergelijkbaar is met onze doelspreker.

It's that simple.

Zo simpel is het.

That's the science behind what we're doing.

Dat is de wetenschap achter wat we doen.

So once you have that in mind,

Als je dat eenmaal in gedachten hebt,

how do you go about building this voice?

hoe construeer je dan die stem?

Well, you have to find someone

Nou, je moet iemand vinden

who is willing to be a surrogate.

die surrogaat wil zijn.

It's not such an ominous thing.

Dat is niet zo verontrustend.

Being a surrogate donor

Om surrogaatdonor te zijn,

only requires you to say a few hundred

hoef je alleen maar een paar honderd

to a few thousand utterances.

tot een paar duizend uitingen te doen.

The process goes something like this.

Het proces gaat ongeveer zo.

(Video) Voice: Things happen in pairs.

(Video) Stem: Dingen gebeuren in paren.

I love to sleep.

Ik hou van slapen.

The sky is blue without clouds.

De hemel is blauw zonder wolken.

RP: Now she's going to go on like this

RP: Zo gaat ze een uur of drie door,

for about three to four hours,

RP: Zo gaat ze een uur of drie door,

and the idea is not for her to say everything

en het idee is niet dat ze alles moet zeggen

that the target is going to want to say,

wat het doel zal willen zeggen,

but the idea is to cover all the different combinations

maar het idee is om alle verschillende combinaties

of the sounds that occur in the language.

van geluiden die in de taal voorkomen te vormen.

The more speech you have,

Hoe meer spraak je hebt,

the better sounding voice you're going to have.

hoe beter de resulterende stem zal klinken.

Once you have those recordings,

Als je die opnames eenmaal hebt,

what we need to do

moeten we

is we have to parse these recordings

de opnames ontleden

into little snippets of speech,

in kleine spraaksnippertjes,

one- or two-sound combinations,

geluiden of combinaties van twee geluiden,

sometimes even whole words

soms zelfs hele woorden

that start populating a dataset or a database.

die een gegevensverzameling of -bestand zullen beginnen te vormen.

We're going to call this database a voice bank.

We zullen dat gegevensbestand een stembank noemen.

Now the power of the voice bank

De kracht van de stembank

is that from this voice bank,

is dat we vanuit deze stembank

we can now say any new utterance,

nu willekeurige nieuwe uitingen kunnen doen

like, "I love chocolate" --

zoals: "Ik hou van chocola" --

everyone needs to be able to say that—

iedereen moet dat kunnen zeggen --

fish through that database

we vissen in het gegevensbestand

and find all the segments necessary

en vinden alle benodigde segmenten

to say that utterance.

om die uiting te doen.

(Video) Voice: I love chocolate.

(Video) Stem: Ik hou van chocola.

RP: So that's speech synthesis.

RP: Dus dat is spraaksynthese.

It's called concatenative synthesis, and that's what we're using.

Dat heet concatenatieve synthese en dat doen we.

That's not the novel part.

Dat is niet het nieuwe stuk.

What's novel is how we make it sound

Het nieuwe is hoe we het laten klinken

like this young woman.

als deze jonge vrouw.

This is Samantha.

Dit is Samantha.

I met her when she was nine,

Ik heb haar ontmoet toen ze negen was,

and since then, my team and I

en sindsdien proberen mijn team en ik

have been trying to build her a personalized voice.

voor haar een gepersonaliseerde stem te construeren.

We first had to find a surrogate donor,

We moesten eerst een surrogaatdonor voor haar vinden.

and then we had to have Samantha

Daarna moesten we Samantha

produce some utterances.

wat geluiden laten maken.

What she can produce are mostly vowel-like sounds,

Zij kan vooral klinkerachtige klanken maken,

but that's enough for us to extract

maar dat is genoeg voor ons

her source characteristics.

om haar bronkarakteristieken te extraheren.

What happens next is best described

Mijn dochter van zes beschrijft wat dan gebeurt, met een mooie vergelijking.

by my daughter's analogy. She's six.

She calls it mixing colors to paint voices.

Ze noemt het kleuren mengen om stemmen te schilderen.

It's beautiful. It's exactly that.

Dat is prachtig. Het is precies zo.

Samantha's voice is like a concentrated sample

Samantha's stem is net onverdunde rode kleurstof

of red food dye which we can infuse

die we kunnen laten intrekken

into the recordings of her surrogate

in de opnames van haar surrogaat

to get a pink voice just like this.

om een roze stem zoals dit te krijgen.

(Video) Samantha: Aaaaaah.

(Video) Samantha: Aaaaaah.

RP: So now, Samantha can say this.

RP: Dus nu kan Samantha dit zeggen.

(Video) Samantha: This voice is only for me.

(Video) Samantha: Deze stem is alleen voor mij.

I can't wait to use my new voice with my friends.

Ik kan niet wachten om mijn nieuwe stem met mijn vrienden te gebruiken.

RP: Thank you. (Applause)

RP: (Applaus) Bedankt.

I'll never forget the gentle smile

Ik zal nooit de zachte glimlach vergeten

that spread across her face

die over haar gezicht kwam

when she heard that voice for the first time.

toen ze die stem voor het eerst hoorde.

Now there's millions of people

Nu zijn er miljoenen mensen ter wereld

around the world like Samantha, millions,

zoals Samantha, miljoenen.

and we've only begun to scratch the surface.

En we hebben nog maar een krasje op het oppervlak gemaakt.

What we've done so far is we have

Tot nu toe hebben we

a few surrogate talkers from around the U.S.

een aantal surrogaatsprekers uit de VS

who have donated their voices,

die hun stem hebben gedoneerd.

and we have been using those

Die hebben we gebruikt

to build our first few personalized voices.

om onze eerste paar aangepaste stemmen te construeren.

But there's so much more work to be done.

Maar er is zoveel meer werk te doen.

For Samantha, her surrogate

Voor Samantha kwam haar surrogaat

came from somewhere in the Midwest, a stranger

ergens uit het Midwesten, een vreemdeling

who gave her the gift of voice.

die haar de gave van haar stem schonk.

And as a scientist, I'm so excited

Als wetenschapper vind ik het zo spannend

to take this work out of the laboratory

om dit werk uit het laboratorium te halen

and finally into the real world

en eindelijk de echte wereld in te nemen

so it can have real-world impact.

zodat het daadwerkelijk impact kan hebben.

What I want to share with you next

Wat ik nu met jullie wil delen,

is how I envision taking this work

is hoe ik me voorstel dat we dit werk

to that next level.

naar het volgende niveau tillen.

I imagine a whole world of surrogate donors

Ik stel me een hele wereld van surrogaatdonoren voor

from all walks of life, different sizes, different ages,

van allerlei pluimage, verschillende maten en leeftijden,

coming together in this voice drive

die allemaal samenkomen in deze stemopslag

to give people voices

om mensen stemmen te geven

that are as colorful as their personalities.

die net zo kleurig zijn als hun persoonlijkheid.

To do that as a first step,

Om dat te doen, hebben we als eerste stap

we've put together this website, VocaliD.org,

een website samengesteld, VocaliD.org,

as a way to bring together those

als verzamelpunt voor diegenen

who want to join us as voice donors,

die zich als stemdonoren bij ons willen voegen

as expertise donors,

of als expertisedonoren

in whatever way to make this vision a reality.

om deze visie op welke manier ook realiteit te laten worden.

They say that giving blood can save lives.

Ze zeggen dat bloed geven levens kan redden.

Well, giving your voice can change lives.

Welnu, je stem geven kan levens veranderen.

All we need is a few hours of speech

Het enige dat we nodig hebben, zijn een paar uren spraak

from our surrogate talker,

van onze surrogaatspreker,

and as little as a vowel from our target talker,

en maar een klinker van onze doelspreker

to create a unique vocal identity.

om een unieke stemidentiteit te creëren.

So that's the science behind what we're doing.

Dus dat is de wetenschap achter wat we doen.

I want to end by circling back to the human side

Ik wil afsluiten door terug te komen op de menselijke kant

that is really the inspiration for this work.

die de eigenlijke inspiratie is voor dit werk.

About five years ago, we built our very first voice

Ongeveer vijf jaar geleden construeerden we onze allereerste stem

for a little boy named William.

voor een jongetje dat William heet.

When his mom first heard this voice,

Toen zijn moeder deze stem voor het eerst hoorde,

she said, "This is what William

zei ze: "Dit is hoe William

would have sounded like

zou hebben geklonken

had he been able to speak."

als hij kon praten."

And then I saw William typing a message

En toen zag ik William een bericht typen

on his device.

op zijn apparaat.

I wondered, what was he thinking?

Ik vroeg me af wat hij dacht.

Imagine carrying around someone else's voice

Stel je voor dat je negen jaar lang rondloopt met andermans stem

for nine years

and finally finding your own voice.

en eindelijk je eigen stem tegenkomt.

Imagine that.

Stel je voor.

This is what William said:

Dit is wat William zei:

"Never heard me before."

"Nooit eerder mezelf gehoord."

Thank you.

Bedankt.

(Applause)

(Applaus)