Rupal Patel: Synthetic voices, as unique as fingerprints

Tłumaczenie: Mateusz Radziwonowicz Korekta: Agata Leśnicka

I'd like to talk today

Chciałabym dziś opowiedzieć

about a powerful and fundamental aspect

o potężnym i podstawowym aspekcie tego, kim jesteśmy: naszym głosie.

of who we are: our voice.

Each one of us has a unique voiceprint

Każdy z nas ma unikalny głos

that reflects our age, our size,

odzwierciedlający nasz wiek, rozmiary, nawet styl życia i osobowość,

even our lifestyle and personality.

In the words of the poet Longfellow,

jak rzekł poeta Longfellow:

"the human voice is the organ of the soul."

"Ludzki głos to narząd duszy".

As a speech scientist, I'm fascinated

Jako badaczka mowy jestem zafascynowana tym,

by how the voice is produced,

w jaki sposób powstaje głos

and I have an idea for how it can be engineered.

i mam pomysł na temat tego, jak może być obrabiany.

That's what I'd like to share with you.

Tym właśnie chcę się z wami podzielić.

I'm going to start by playing you a sample

Zacznę od odtworzenia próbki głosu, który być może rozpoznacie.

of a voice that you may recognize.

(Nagranie) Stephen Hawking: "Wydaje mi się,

(Recording) Stephen Hawking: "I would have thought

it was fairly obvious what I meant."

że to, co miałem na myśli, jest całkiem oczywiste".

Rupal Patel: That was the voice

Rupal Patel: Był to głos profesora Stephena Hawkinga.

of Professor Stephen Hawking.

What you may not know is that same voice

Być może nie wiecie, że ten sam głos

may also be used by this little girl

może być również użyty przez tą małą dziewczynkę,

who is unable to speak

która nie może mówić z powodu choroby neurologicznej.

because of a neurological condition.

In fact, all of these individuals

Każda z tych osób może używać tego samego głosu,

may be using the same voice,

and that's because there's only a few options available.

ponieważ jest to jedno z niewielu dostępnych rozwiązań.

In the U.S. alone, there are 2.5 million Americans

W samych Stanach jest 2,5 miliona Amerykanów,

who are unable to speak,

którzy nie mogą mówić.

and many of whom use computerized devices

Wielu używa do komunikacji skomputeryzowanych urządzeń.

to communicate.

Now that's millions of people worldwide

Miliony osób na świecie używają generowanych głosów,

who are using generic voices,

including Professor Hawking,

włącznie z profesorem Hawkingiem,

who uses an American-accented voice.

który używa głosu z amerykańskim akcentem.

This lack of individuation of the synthetic voice

Brak indywidualności syntetycznego głosu bardzo mnie uderzył,

really hit home

when I was at an assistive technology conference

gdy kilka lat temu byłam na konferencji technologii pomocniczej,

a few years ago,

and I recall walking into an exhibit hall

pamiętam, że wchodząc do sali pokazowej

and seeing a little girl and a grown man

widziałam małą dziewczynkę i dorosłego mężczyznę

having a conversation using their devices,

rozmawiających przy użyciu urządzeń,

different devices, but the same voice.

różnych urządzeń, lecz z tym samym głosem.

And I looked around and I saw this happening

Rozejrzałam się dookoła i zobaczyłam,

all around me, literally hundreds of individuals

że wszędzie dosłownie setki osób używają garstki głosów,

using a handful of voices,

voices that didn't fit their bodies

które nie pasują do ich ciała ani osobowości.

or their personalities.

We wouldn't dream of fitting a little girl

Nie odważylibyśmy się dać małej dziewczynce

with the prosthetic limb of a grown man.

protezy kończynowej dorosłego mężczyzny.

So why then the same prosthetic voice?

Dlaczego więc mają mieć ten sam syntetyczny głos?

It really struck me,

Uderzyło mnie to, chciałam coś z tym zrobić.

and I wanted to do something about this.

I'm going to play you now a sample

Odtworzę wam teraz próbkę

of someone who has, two people actually,

dwojga ludzi, którzy mają poważne zaburzenia mowy.

who have severe speech disorders.

I want you to take a listen to how they sound.

Chcę, byście posłuchali jak brzmią.

They're saying the same utterance.

Wypowiadają oni tę samą kwestię.

(First voice)

(Pierwszy głos)

(Second voice)

(Drugi głos)

You probably didn't understand what they said,

Prawdopodobnie nie zrozumieliście, o czym mówią,

but I hope that you heard

jednak mam nadzieję, że słyszeliście ich unikalne tożsamości głosów.

their unique vocal identities.

So what I wanted to do next is,

Chciałam więc następnie dowiedzieć się, jak można wykorzystać

I wanted to find out how we could harness

these residual vocal abilities

ich szczątkowe zdolności wokalne

and build a technology

do opracowania technologii,

that could be customized for them,

która byłaby do nich dostosowana,

voices that could be customized for them.

głosów, które byłyby dostosowane do nich.

So I reached out to my collaborator, Tim Bunnell.

Udałam się do mojego współpracownika, Tima Bunnella.

Dr. Bunnell is an expert in speech synthesis,

Dr Bunnell jest ekspertem w syntezie mowy

and what he'd been doing is building

i ostatnimi czasy opracowywał spersonalizowane głosy dla ludzi

personalized voices for people

by putting together

poprzez składanie uprzednio nagranych próbek ich głosu

pre-recorded samples of their voice

and reconstructing a voice for them.

i rekonstruowanie go.

These are people who had lost their voice

To ludzie, którzy stracili głos, ale wcześniej posługiwali się mową.

later in life.

We didn't have the luxury

Nie mamy tego luksusu

of pre-recorded samples of speech

w postaci uprzednio nagranych próbek mowy

for those born with speech disorder.

dla ludzi urodzonych z zaburzeniami mowy.

But I thought, there had to be a way

Jednak uważam, że musi być sposób by opracować głos z tego,

to reverse engineer a voice

from whatever little is left over.

co jeszcze pozostało.

So we decided to do exactly that.

Zdecydowaliśmy więc to zrobić.

We set out with a little bit of funding from the National Science Foundation,

Dostaliśmy dofinansowanie z Narodowej Fundacji na Rzecz Nauki,

to create custom-crafted voices that captured

by utworzyć unikalne głosy, które odzwierciedlałyby

their unique vocal identities.

unikalną tożsamość wokalną tych osób.

We call this project VocaliD, or vocal I.D.,

Projekt ten nazywamy VocaliD lub vocal I.D.,

for vocal identity.

czyli tożsamością głosową.

Now before I get into the details of how

Zanim zagłębię się w szczegóły

the voice is made and let you listen to it,

sposobu produkcji głosu i pozwolę wam go posłuchać,

I need to give you a real quick speech science lesson. Okay?

muszę wygłosić naprawdę krótką lekcję na temat mowy, ok?

So first, we know that the voice is changing

Po pierwsze wiemy, że głos zmienia się dramatycznie wraz z rozwojem.

dramatically over the course of development.

Children sound different from teens

Dzieci brzmią inaczej niż nastolatkowie, którzy brzmią inaczej niż dorośli.

who sound different from adults.

We've all experienced this.

Wszyscy tego doświadczyliśmy.

Fact number two is that speech

Po drugie mowa to kombinacje źródła,

is a combination of the source,

which is the vibrations generated by your voice box,

którym są wibrację generowane w krtani,

which are then pushed through

które przemieszczają się przez resztę dróg głosowych.

the rest of the vocal tract.

These are the chambers of your head and neck

Elementem wibrującym jest wnętrze głowy i szyi,

that vibrate,

and they actually filter that source sound

w którym dźwięk źródłowy jest filtrowany,

to produce consonants and vowels.

by utworzyć samogłoski i spółgłoski.

So the combination of source and filter

Zatem ta kombinacja źródła i filtra to sposób powstawania mowy.

is how we produce speech.

And that happens in one individual.

Dzieje się tak u każdego.

Now I told you earlier that I'd spent

Mówiłam wcześniej, że znaczną część kariery spędziłam,

a good part of my career

understanding and studying

badając źródła charakterystycznych cech głosu

the source characteristics of people

with severe speech disorder,

osób z poważnymi zaburzeniami mowy.

and what I've found

Odkryłam,

is that even though their filters were impaired,

że choć ich filtry były osłabione,

they were able to modulate their source:

nadal byli zdolni do modulowania źródła:

the pitch, the loudness, the tempo of their voice.

wysokości, natężenia, szybkości ich głosu.

These are called prosody, and I've been documenting for years

Nazywa się to prozodią i od lat dokumentuję fakt,

that the prosodic abilities of these individuals

że prozodyczne zdolności tych osób są zachowane.

are preserved.

So when I realized that those same cues

Gdy zrozumiałam, że te same elementy są ważne dla tożsamości rozmówcy,

are also important for speaker identity,

I had this idea.

wpadłam na pomysł.

Why don't we take the source

Dlaczego by nie wziąć źródła od osoby, dla której tworzymy głos,

from the person we want the voice to sound like,

because it's preserved,

ponieważ jest ono zachowane,

and borrow the filter

i pożyczyć filtr od kogoś podobnego wiekiem i budową ciała,

from someone about the same age and size,

because they can articulate speech,

kto potrafi artykułować mowę,

and then mix them?

i wymieszać to razem?

Because when we mix them,

Gdy je pomieszamy,

we can get a voice that's as clear

dostaniemy głos tak czysty, jak naszego zastępczego mówcy,

as our surrogate talker --

that's the person we borrowed the filter from—

osoby od której pożyczyliśmy filtr,

and is similar in identity to our target talker.

jak również podobny tożsamością do naszego celu.

It's that simple.

To takie proste.

That's the science behind what we're doing.

To nauka stojąca za naszym projektem.

So once you have that in mind,

Gdy masz to na uwadze, w jaki sposób zbudujesz ten głos?

how do you go about building this voice?

Well, you have to find someone

Musisz znaleźć kogoś, kto chciałby zostać dawcą.

who is willing to be a surrogate.

It's not such an ominous thing.

Nie jest to takie groźne.

Being a surrogate donor

Bycie dawcą

only requires you to say a few hundred

wymaga jedynie wypowiedzenia od kilkuset do kilku tysięcy wypowiedzi.

to a few thousand utterances.

The process goes something like this.

Proces ten wygląda mniej więcej tak.

(Video) Voice: Things happen in pairs.

(Wideo) Głos: Nieszczęścia chodzą parami.

I love to sleep.

Kocham spać.

The sky is blue without clouds.

Niebo bez chmur jest niebieskie.

RP: Now she's going to go on like this

RP: Będzie ona mówić w ten sposób

for about three to four hours,

przez około trzy-cztery godziny.

and the idea is not for her to say everything

Nie chodzi o to, żeby powiedziała wszystko,

that the target is going to want to say,

co będzie chciał powiedzieć cel,

but the idea is to cover all the different combinations

lecz by stworzyć wszystkie różne kombinacje

of the sounds that occur in the language.

dźwięków występujących w naszym języku.

The more speech you have,

Im więcej masz mowy,

the better sounding voice you're going to have.

tym lepiej brzmiący głos otrzymamy.

Once you have those recordings,

Gdy mamy już nagrania,

what we need to do

musimy przeprowadzić analizę składni tych próbek

is we have to parse these recordings

into little snippets of speech,

i stworzyć strzępki mowy,

one- or two-sound combinations,

jedno-lub dwudźwiękowe kombinacje,

sometimes even whole words

czasem całe słowa,

that start populating a dataset or a database.

po czym stworzyć zestaw lub bazę danych.

We're going to call this database a voice bank.

Tę bazę danych nazywamy bankiem głosu.

Now the power of the voice bank

Siła banku głosu

is that from this voice bank,

tkwi w tym, że korzystając z niego,

we can now say any new utterance,

możemy wypowiedzieć nowe kwestie,

like, "I love chocolate" --

na przykład "Kocham czekoladę".

everyone needs to be able to say that—

To się przyda każdemu.

fish through that database

Trzeba przedrzeć się przez bazę danych

and find all the segments necessary

i znaleźć wszystkie segmenty niezbędne,

to say that utterance.

by wypowiedzieć tę kwestię.

(Video) Voice: I love chocolate.

(Wideo) Głos: Kocham czekoladę.

RP: So that's speech synthesis.

RP: Oto synteza głosu.

It's called concatenative synthesis, and that's what we're using.

Zwana jest syntezą połączeniową i w ten sposób jest używana.

That's not the novel part.

To podejście nie jest nowatorskie.

What's novel is how we make it sound

Nowatorskie jest to, jak stworzyliśmy głos tej młodej kobiety.

like this young woman.

This is Samantha.

Oto Samantha.

I met her when she was nine,

Spotkałam ją, gdy miała 9 lat.

and since then, my team and I

Od tamtej pory ja i mój zespół

have been trying to build her a personalized voice.

próbowaliśmy zbudować dla niej spersonalizowany głos.

We first had to find a surrogate donor,

Najpierw musieliśmy znaleźć dawcę,

and then we had to have Samantha

potem Samantha musiała stworzyć kilka wypowiedzi.

produce some utterances.

What she can produce are mostly vowel-like sounds,

To, co tworzyła, to głównie samogłoskowe dźwięki,

but that's enough for us to extract

jednak wystarczyło to do ekstrakcji charakterystyki jej źródła.

her source characteristics.

What happens next is best described

Następnie jest coś, co najlepiej opisała moja sześcioletnia córka.

by my daughter's analogy. She's six.

She calls it mixing colors to paint voices.

Nazywa to mieszaniem kolorów do malowania głosów.

It's beautiful. It's exactly that.

To piękne, dokładnie tak jest.

Samantha's voice is like a concentrated sample

Głos Samanthy jest jak skupiona próbka czerwonego barwnika, który dodajemy

of red food dye which we can infuse

into the recordings of her surrogate

do nagrań jej dawcy,

to get a pink voice just like this.

żeby uzyskać taki oto różowy głos.

(Video) Samantha: Aaaaaah.

(Wideo) Samantha: Aaaaaa.

RP: So now, Samantha can say this.

RP: Samantha może teraz powiedzieć to.

(Video) Samantha: This voice is only for me.

(Wideo) Samantha: Ten głos jest tylko dla mnie.

I can't wait to use my new voice with my friends.

Nie mogę się doczekać rozmowy z moimi przyjaciółmi.

RP: Thank you. (Applause)

RP: Dziękuję. (Brawa)

I'll never forget the gentle smile

Nigdy nie zapomnę łagodnego uśmiechu,

that spread across her face

który pojawił się na jej twarzy,

when she heard that voice for the first time.

gdy usłyszała ten głos pierwszy raz.

Now there's millions of people

Na świecie są miliony ludzi takich jak Samantha,

around the world like Samantha, millions,

and we've only begun to scratch the surface.

a my dopiero co rozpoczęliśmy ten projekt.

What we've done so far is we have

Do tej pory uzyskaliśmy kilkoro dawców z całych Stanów,

a few surrogate talkers from around the U.S.

who have donated their voices,

którzy udostępnili swój głos,

and we have been using those

dając możliwość jego użycia

to build our first few personalized voices.

do zbudowania pierwszych spersonalizowanych głosów.

But there's so much more work to be done.

Jednak jest wiele pracy do zrobienia.

For Samantha, her surrogate

Dawczyni głosu Samanthy

came from somewhere in the Midwest, a stranger

pochodzi ze środkowych stanów.

who gave her the gift of voice.

To nieznajoma, która podarowała jej głos.

And as a scientist, I'm so excited

Jako naukowiec jestem podekscytowana

to take this work out of the laboratory

przeniesieniem pracy z laboratorium do prawdziwego świata,

and finally into the real world

so it can have real-world impact.

by miała ona wpływ na świat realny.

What I want to share with you next

Opowiem wam teraz,

is how I envision taking this work

jak wyobrażam sobie przeniesienie tej pracy

to that next level.

na wyższy poziom.

I imagine a whole world of surrogate donors

Wyobrażam sobie świat dawców

from all walks of life, different sizes, different ages,

z różnych dziedzin życia, w różnym wieku, o różnych rozmiarach,

coming together in this voice drive

zrzeszających się w tym projekcie

to give people voices

oferowania ludziom głosów,

that are as colorful as their personalities.

które są tak kolorowe, jak ich osobowości.

To do that as a first step,

By wykonać pierwszy krok,

we've put together this website, VocaliD.org,

założyliśmy stronę VocaliD.org.

as a way to bring together those

Jest to sposób na zebranie tych,

who want to join us as voice donors,

którzy chcieliby stać się dawcami głosu,

as expertise donors,

zaoferować swoje doświadczenie,

in whatever way to make this vision a reality.

lub w jakikolwiek sposób przyczynić się do realizacji tej wizji.

They say that giving blood can save lives.

Mówi się, że oddawanie krwi ratuje życie.

Well, giving your voice can change lives.

Oddawanie głosu może zmienić życie.

All we need is a few hours of speech

Potrzebujemy jedynie kilku godzin mowy od mówcy zastępczego,

from our surrogate talker,

and as little as a vowel from our target talker,

i kilku samogłosek od naszego docelowego mówcy,

to create a unique vocal identity.

by stworzyć unikalną tożsamość głosową.

So that's the science behind what we're doing.

Oto kryjąca się za tym nauka.

I want to end by circling back to the human side

Na koniec wrócę do strony ludzkiej,

that is really the inspiration for this work.

która jest prawdziwą inspiracją dla tej pracy.

About five years ago, we built our very first voice

Około 5 lat temu stworzyliśmy pierwszy głos

for a little boy named William.

dla małego chłopca o imieniu William.

When his mom first heard this voice,

Gdy jego mama po raz pierwszy usłyszała ten głos, powiedziała:

she said, "This is what William

"Tak brzmiałby głos Williama, gdyby potrafił mówić".

would have sounded like

had he been able to speak."

And then I saw William typing a message

Patrząc, jak William pisze wiadomość na swoim urządzeniu,

on his device.

I wondered, what was he thinking?

zastanawiałam się, o czym on myśli.

Imagine carrying around someone else's voice

Wyobraźcie sobie używania czyjegoś głosu przez dziewięć lat

for nine years

and finally finding your own voice.

i odnalezienie w końcu własnego.

Imagine that.

Wyobraźcie to sobie.

This is what William said:

Oto, co powiedział William:

"Never heard me before."

"Nigdy przedtem siebie nie słyszałem".

Thank you.

Dziękuję.

(Applause)

(Brawa)