Rupal Patel: Synthetic voices, as unique as fingerprints

Rupal Patel: Synthetische Stimmen, einzigartig wie Fingerabdrücke

Übersetzung: Angelika Lueckert Leon Lektorat: Judith Matz

I'd like to talk today

Heute möchte ich

about a powerful and fundamental aspect

über einen wichtigen und wesentlichen Aspekt

of who we are: our voice.

dessen reden, was wir sind: unsere Stimme.

Each one of us has a unique voiceprint

Jeder von uns hat einen einzigartigen Stimmabdruck,

that reflects our age, our size,

der unser Alter, unsere Größe

even our lifestyle and personality.

und sogar unseren Lebensstil und unsere Persönlichkeit reflektiert.

In the words of the poet Longfellow,

Nach den Worten des Dichters Longfellow:

"the human voice is the organ of the soul."

"Die menschliche Stimme ist das Organ der Seele."

As a speech scientist, I'm fascinated

Als Sprachwissenschaftlerin fasziniert mich,

by how the voice is produced,

wie die Stimme erzeugt wird,

and I have an idea for how it can be engineered.

und ich habe eine Vorstellung, wie sie konstruiert werden kann.

That's what I'd like to share with you.

Das möchte ich mit Ihnen teilen.

I'm going to start by playing you a sample

Ich spiele Ihnen erst eine Hörprobe

of a voice that you may recognize.

einer Stimme vor, die Sie vielleicht wiedererkennen.

(Recording) Stephen Hawking: "I would have thought

(Aufnahme) Stephen Hawking: "Ich dachte,

it was fairly obvious what I meant."

es wäre ziemlich klar, was ich meinte."

Rupal Patel: That was the voice

Rupal Patel: Das war die Stimme

of Professor Stephen Hawking.

von Professor Stephen Hawking.

What you may not know is that same voice

Sie wissen vielleicht nicht, dass dieselbe Stimme

may also be used by this little girl

auch von diesem kleinen Mädchen benutzt werden könnte,

who is unable to speak

die nicht sprechen kann,

because of a neurological condition.

aufgrund einer neurologischen Erkrankung.

In fact, all of these individuals

Tatsächlich könnten all diese Individuen

may be using the same voice,

dieselbe Stimme benutzen,

and that's because there's only a few options available.

da es nur wenig verfügbare Optionen gibt.

In the U.S. alone, there are 2.5 million Americans

Allein in den USA gibt es 2,5 Millionen Amerikaner,

who are unable to speak,

die nicht sprechen können,

and many of whom use computerized devices

und viele von ihnen nutzen Computergeräte,

to communicate.

um zu kommunizieren.

Now that's millions of people worldwide

Das sind Millionen Menschen weltweit,

who are using generic voices,

die generierte Stimmen nutzen,

including Professor Hawking,

einschließlich Professor Hawking,

who uses an American-accented voice.

der eine Stimme mit amerikanischem Akzent verwendet.

This lack of individuation of the synthetic voice

Dieser Mangel an Individualisation der synthetischen Stimme

really hit home

kam richtig zum Tragen,

when I was at an assistive technology conference

als ich auf einer Konferenz für Assistierende Technologien war.

a few years ago,

Das war vor ein paar Jahren.

and I recall walking into an exhibit hall

Ich erinnere mich, wie ich in eine Ausstellungshalle ging

and seeing a little girl and a grown man

und ein kleines Mädchen und einen erwachsenen Mann sah,

having a conversation using their devices,

die mittels ihrer Geräte ein Gespräch führten,

different devices, but the same voice.

verschiedene Geräte, aber dieselbe Stimme.

And I looked around and I saw this happening

Ich schaute mich um und sah, dass das überall

all around me, literally hundreds of individuals

um mich herum passierte, buchstäblich Hunderte Personen,

using a handful of voices,

die eine Handvoll an Stimmen haben.

voices that didn't fit their bodies

Stimmen, die weder zu ihren Körpern

or their personalities.

noch zu ihren Persönlichkeiten passten.

We wouldn't dream of fitting a little girl

Wir würden niemals einem kleinen Mädchen

with the prosthetic limb of a grown man.

die Prothese eines erwachsenen Manns anpassen.

So why then the same prosthetic voice?

Warum dann dieselbe prothetische Stimme?

It really struck me,

Es fiel mir sofort auf

and I wanted to do something about this.

und ich wollte etwas daran ändern.

I'm going to play you now a sample

Ich spiele Ihnen nun eine Hörprobe

of someone who has, two people actually,

von zwei Menschen vor,

who have severe speech disorders.

die schwere Sprachstörungen haben.

I want you to take a listen to how they sound.

Hören Sie sich an, wie sie klingen.

They're saying the same utterance.

Sie machen dieselbe Äußerung.

(First voice)

(Erste Stimme)

(Second voice)

(Zweite Stimme)

You probably didn't understand what they said,

Sie haben vielleicht nicht verstanden, was sie sagten,

but I hope that you heard

aber hoffentlich haben Sie

their unique vocal identities.

ihre einzigartigen stimmlichen Identitäten gehört.

So what I wanted to do next is,

Als nächstes wollte ich herausfinden,

I wanted to find out how we could harness

wie wir die restlichen Sprechfähigkeiten

these residual vocal abilities

nutzbar machen können

and build a technology

und eine Technologie bauen können,

that could be customized for them,

die für sie maßgeschneidert werden kann.

voices that could be customized for them.

Stimmen, die für sie angepasst werden können.

So I reached out to my collaborator, Tim Bunnell.

Daher kontaktierte ich meinen Mitarbeiter, Tim Bunnell.

Dr. Bunnell is an expert in speech synthesis,

Dr. Bunnell ist ein Experte in Sprachsynthese

and what he'd been doing is building

und er hat personalisierte Stimmen

personalized voices for people

für Menschen kreiert,

by putting together

indem er aufgezeichnete Proben

pre-recorded samples of their voice

ihrer Stimmen zusammenstellte

and reconstructing a voice for them.

und eine Stimme für sie rekonstruierte.

These are people who had lost their voice

Diese Menschen haben ihre Stimmen

later in life.

später im Leben verloren.

We didn't have the luxury

Wir konnten es uns nicht leisten,

of pre-recorded samples of speech

aufgezeichnete Sprachproben zu nutzen,

for those born with speech disorder.

für die mit einer Sprachstörung geborenen.

But I thought, there had to be a way

Aber ich dachte, es müsse einen Weg geben,

to reverse engineer a voice

eine Stimme zu rekonstruieren,

from whatever little is left over.

aus dem, was noch übrig ist.

So we decided to do exactly that.

Wir entschieden uns also, genau das zu tun.

We set out with a little bit of funding from the National Science Foundation,

Wir begannen mit wenig finanziellen Mitteln von der National Science Foundation,

to create custom-crafted voices that captured

maßgefertigte Stimmen zu erschaffen, die ihre einzigartige

their unique vocal identities.

Stimm-Identität einfingen.

We call this project VocaliD, or vocal I.D.,

Wir nennen dieses Projekt VocaliD, oder vokale I.D.,

for vocal identity.

für vokale Identität.

Now before I get into the details of how

Bevor ich jetzt ins Detail gehe,

the voice is made and let you listen to it,

wie die Stimme gemacht wird und Sie sie anhören können,

I need to give you a real quick speech science lesson. Okay?

muss ich Ihnen eine kurze Lektion in Sprachwissenschaften geben.

So first, we know that the voice is changing

Erstens wissen wir, dass die Stimme sich

dramatically over the course of development.

im Laufe der Entwicklung dramatisch ändert.

Children sound different from teens

Kinder hören sich anders an als Jugendliche,

who sound different from adults.

welche sich anders anhören als Erwachsene.

We've all experienced this.

Wir haben das alle erlebt.

Fact number two is that speech

Zweitens ist Sprache

is a combination of the source,

eine Kombination der Klangquelle

which is the vibrations generated by your voice box,

die von unserem Kehlkopf generierten Vibrationen,

which are then pushed through

die dann durch den Rest

the rest of the vocal tract.

des Stimmapparats gedrückt werden.

These are the chambers of your head and neck

Diese Hohlräume in Ihrem Kopf und Hals

that vibrate,

vibrieren,

and they actually filter that source sound

und sie filtern die Klangquelle,

to produce consonants and vowels.

um Konsonanten und Vokale zu erzeugen.

So the combination of source and filter

Mit der Kombination von Quelle und Filter

is how we produce speech.

produzieren wir Sprache.

And that happens in one individual.

Und das findet in einem Individuum statt.

Now I told you earlier that I'd spent

Ich habe Ihnen anfangs gesagt, dass ich einen guten Teil

a good part of my career

meiner Karriere damit verbrachte,

understanding and studying

die Quellmerkmale von Menschen

the source characteristics of people

mit schwerer Sprachstörung

with severe speech disorder,

zu verstehen und zu studieren.

and what I've found

Und ich fand heraus,

is that even though their filters were impaired,

dass sie trotz ihrer beschädigten Filter

they were able to modulate their source:

ihre Quelle modulieren konnten:

the pitch, the loudness, the tempo of their voice.

die Tonlage, die Lautstärke, das Tempo ihrer Stimme.

These are called prosody, and I've been documenting for years

Das nennt sich Prosodie, und ich habe jahrelang dokumentiert,

that the prosodic abilities of these individuals

dass die prosodischen Fähigkeiten dieser Menschen

are preserved.

erhalten sind.

So when I realized that those same cues

Als ich feststellte, dass dieselben Umgebungsreize

are also important for speaker identity,

auch für die Sprecheridentität wichtig sind,

I had this idea.

hatte ich diese Idee.

Why don't we take the source

Warum nehmen wir nicht diese Schallquelle

from the person we want the voice to sound like,

von der Person, nach der die Stimme klingen soll,

because it's preserved,

da sie erhalten ist,

and borrow the filter

und borgen den Filter

from someone about the same age and size,

von jemanden mit gleichem Alter und Größe aus,

because they can articulate speech,

denn sie können Sprache artikulieren

and then mix them?

und diese mixen?

Because when we mix them,

Denn wenn wir sie mischen,

we can get a voice that's as clear

erhalten wir eine Stimme, die so klar ist

as our surrogate talker --

wie die unseres Ersatzsprechers --

that's the person we borrowed the filter from—

das ist die Person, von der wir den Filter geborgt haben --

and is similar in identity to our target talker.

und entspricht der Identität unseres Ziel-Sprechers.

It's that simple.

So einfach ist das.

That's the science behind what we're doing.

Das ist die Wissenschaft hinter dem, was wir machen.

So once you have that in mind,

Wenn Sie das im Sinn haben,

how do you go about building this voice?

wie erzeugt man nun diese Stimme?

Well, you have to find someone

Man muss jemanden finden,

who is willing to be a surrogate.

der sich als Stellvertreter zur Verfügung stellt.

It's not such an ominous thing.

Das ist keine besonders bedrohliche Sache.

Being a surrogate donor

Ein Ersatzstimmen-Spender zu sein

only requires you to say a few hundred

erfordert nur ein paar hundert

to a few thousand utterances.

bis tausend Äußerungen zu sprechen.

The process goes something like this.

Der Prozess ist in etwa so.

(Video) Voice: Things happen in pairs.

(Video) Stimme: Die Dinge geschehen paarweise.

I love to sleep.

Ich schlafe ungeheuer gern.

The sky is blue without clouds.

Der Himmel ist wolkenlos blau.

RP: Now she's going to go on like this

RP: Jetzt wird sie

for about three to four hours,

3 bis 4 Stunden so weiter machen.

and the idea is not for her to say everything

Ziel ist es nicht, dass sie alles sagen muss,

that the target is going to want to say,

was die Zielperson sagen will,

but the idea is to cover all the different combinations

sondern alle verschiedenen Kombinationen

of the sounds that occur in the language.

von Klängen abzudecken, die in der Sprache vorkommen.

The more speech you have,

Je mehr Sprachaufnahmen man hat,

the better sounding voice you're going to have.

desto besser wird die Stimme klingen.

Once you have those recordings,

Wenn man einmal die Aufnahmen hat,

what we need to do

müssen wir

is we have to parse these recordings

diese Aufzeichnungen

into little snippets of speech,

in Sprach-Schnipsel zergliedern,

one- or two-sound combinations,

1- bis 2-Sekunden lange Klangkombinationen.

sometimes even whole words

Manchmal sogar ganze Wörter,

that start populating a dataset or a database.

die einen Datensatz oder eine Datenbank bevölkern.

We're going to call this database a voice bank.

Wir werden diese Datenbank eine Stimmen-Bank nennen.

Now the power of the voice bank

Die Stärke dieser Stimmen-Bank ist,

is that from this voice bank,

dass man jetzt

we can now say any new utterance,

irgendwelche neuen Äußerungen sagen kann,

like, "I love chocolate" --

wie, "Ich liebe Schokolade" --

everyone needs to be able to say that—

jeder muss in der Lage sein, das zu sagen --

fish through that database

die Datenbank zu durchsuchen

and find all the segments necessary

und all die notwendigen Teilstücke zu finden,

to say that utterance.

um diese Äußerung zu sagen.

(Video) Voice: I love chocolate.

(Video) Stimme: Ich liebe Schokolade.

RP: So that's speech synthesis.

RP: Das ist Sprach-Synthese.

It's called concatenative synthesis, and that's what we're using.

Das nennt sich konkatenative Synthese, und das setzen wir ein.

That's not the novel part.

Das ist nicht das Neue.

What's novel is how we make it sound

Das Neue daran ist, wie wir es so klingen lassen

like this young woman.

wie diese junge Frau.

This is Samantha.

Das ist Samantha.

I met her when she was nine,

Ich traf sie, als sie 9 war,

and since then, my team and I

und seit damals haben mein Team und ich versucht,

have been trying to build her a personalized voice.

ihre personalisierte Stimme zu kreieren.

We first had to find a surrogate donor,

Zuerst mussten wir einen Ersatz-Spender finden,

and then we had to have Samantha

und dann mussten wir Samantha dazu bringen,

produce some utterances.

ein paar Äußerungen zu machen.

What she can produce are mostly vowel-like sounds,

Sie kann zumeist vokalähnliche Laute produzieren,

but that's enough for us to extract

aber das reicht uns, um ihre

her source characteristics.

Klangcharakteristika rauszufiltern.

What happens next is best described

Das Folgende wird am besten

by my daughter's analogy. She's six.

durch die Analogie meiner 6-jährigen Tochter beschrieben.

She calls it mixing colors to paint voices.

Sie nennt es Farben mischen, um Stimmen zu malen.

It's beautiful. It's exactly that.

Das ist wunderbar. Genau das machen wir.

Samantha's voice is like a concentrated sample

Samanthas Stimme ist wie eine konzentrierte Probe

of red food dye which we can infuse

von roter Lebensmittelfarbe, die wir in die Aufnahmen

into the recordings of her surrogate

ihrer Stellvertreterin einfließen lassen können,

to get a pink voice just like this.

um eine rosa Stimme wie diese zu erhalten.

(Video) Samantha: Aaaaaah.

(Video) Samantha: Aaaaaah.

RP: So now, Samantha can say this.

RP: Jetzt kann Samantha das sagen.

(Video) Samantha: This voice is only for me.

(Video) Samantha: Diese Stimme ist nur für mich.

I can't wait to use my new voice with my friends.

Ich kann es kaum erwarten, meine neue Stimme an meinen Freunden auszuprobieren.

RP: Thank you. (Applause)

RP: Danke. (Applaus)

I'll never forget the gentle smile

Ich werde nie das sanfte Lächeln vergessen,

that spread across her face

das sich auf ihrem Gesicht ausbreitete,

when she heard that voice for the first time.

als sie zum ersten Mal diese Stimme hörte.

Now there's millions of people

Es gibt Millionen von Menschen

around the world like Samantha, millions,

auf der Welt wie Samantha, Millionen,

and we've only begun to scratch the surface.

und das ist erst der Anfang.

What we've done so far is we have

Bisher haben wir ein paar

a few surrogate talkers from around the U.S.

Ersatz-Sprecher aus den USA,

who have donated their voices,

die ihre Stimmen gespendet haben,

and we have been using those

und wir haben diese genutzt,

to build our first few personalized voices.

um unsere ersten paar personalisierten Stimmen zu erschaffen.

But there's so much more work to be done.

Aber es gibt noch so viel zu tun.

For Samantha, her surrogate

Bei Samantha kam ihre Stellvertreterin

came from somewhere in the Midwest, a stranger

irgendwo aus dem mittleren Westen, eine Fremde,

who gave her the gift of voice.

die ihr die Gabe einer Stimme schenkte.

And as a scientist, I'm so excited

Als Wissenschaftlerin bin ich so begeistert,

to take this work out of the laboratory

diese Arbeit aus dem Labor hinaus

and finally into the real world

und endlich in die echte Welt zu tragen,

so it can have real-world impact.

damit es eine reale Auswirkung haben kann.

What I want to share with you next

Als nächstes möchte ich Ihnen erzählen,

is how I envision taking this work

wie ich mir vorstelle, diese Arbeit

to that next level.

auf die nächste Ebene zu bringen.

I imagine a whole world of surrogate donors

Ich stelle mir eine Welt voller Ersatz-Spender vor,

from all walks of life, different sizes, different ages,

aus allen sozialen Geschichten, verschiedener Größen und unterschiedlichen Alters,

coming together in this voice drive

die in diesem Stimmen-Laufwerk zusammenkommen,

to give people voices

um Menschen Stimmen zu geben,

that are as colorful as their personalities.

die so farbenfroh sind wie ihre Persönlichkeiten.

To do that as a first step,

Um diesen ersten Schritt zu tun,

we've put together this website, VocaliD.org,

haben wir diese Website erstellt, VocaliD.org,

as a way to bring together those

um die zusammenzubringen,

who want to join us as voice donors,

die uns als Stimmen-Spender beitreten wollen,

as expertise donors,

als Experten-Spender,

in whatever way to make this vision a reality.

in welcher Form auch immer, um diese Vision zu ermöglichen.

They say that giving blood can save lives.

Man sagt, dass Blutspenden Leben retten kann.

Well, giving your voice can change lives.

Seine Stimme herzugeben, kann Leben verändern.

All we need is a few hours of speech

Wir brauchen nur ein paar Stunden Rede

from our surrogate talker,

von unserem Ersatz-Sprecher,

and as little as a vowel from our target talker,

und nur einen Vokal von unserem Ziel-Sprecher,

to create a unique vocal identity.

um eine einzigartige Stimmidentität zu kreieren.

So that's the science behind what we're doing.

Das ist die Wissenschaft hinter unserer Tätigkeit.

I want to end by circling back to the human side

Abschließend möchte ich auf die menschliche Seite zurückkommen,

that is really the inspiration for this work.

das ist die eigentliche Inspiration für diese Arbeit.

About five years ago, we built our very first voice

Vor etwa 5 Jahren schufen wir unsere allererste Stimme

for a little boy named William.

für einen kleinen Jungen namens William.

When his mom first heard this voice,

Als seine Mutter diese Stimme erstmals hörte,

she said, "This is what William

sagte sie: "So hätte William

would have sounded like

sich angehört,

had he been able to speak."

wenn er sprechen könnte."

And then I saw William typing a message

Und dann sah ich William diese Nachricht

on his device.

auf seinem Gerät schreiben.

I wondered, what was he thinking?

Ich frage mich, was er dachte.

Imagine carrying around someone else's voice

Stellen Sie sich vor, jemand anderes Stimme

for nine years

neun Jahre lang herumzutragen

and finally finding your own voice.

und endlich die eigene Stimme zu finden.

Imagine that.

Stellen Sie sich das vor.

This is what William said:

William sagte Folgendes:

"Never heard me before."

"Hab mich vorher noch nie gehört."

Thank you.

Danke.

(Applause)

(Applaus)