Rupal Patel: Synthetic voices, as unique as fingerprints

Traduttore: Debora Serrentino Revisore: Anna Andreocci

I'd like to talk today

Oggi vorrei parlarvi

about a powerful and fundamental aspect

di un aspetto importante e fondamentale

of who we are: our voice.

del nostro modo di essere: la nostra voce.

Each one of us has a unique voiceprint

Ognuno di noi ha un timbro di voce unico

that reflects our age, our size,

che riflette la nostra età, corporatura,

even our lifestyle and personality.

persino lo stile di vita e la personalità.

In the words of the poet Longfellow,

Secondo le parole del poeta Longfellow,

"the human voice is the organ of the soul."

"la voce umana è l'organo dell'anima."

As a speech scientist, I'm fascinated

Da scienziata della parola, mi affascina

by how the voice is produced,

il modo in cui viene prodotta la voce,

and I have an idea for how it can be engineered.

e ho un'idea su come la si possa progettare.

That's what I'd like to share with you.

E vorrei condividerla con voi.

I'm going to start by playing you a sample

Vorrei iniziare mostrandovi il campione

of a voice that you may recognize.

di una voce che forse riconoscerete.

(Recording) Stephen Hawking: "I would have thought

(Audio) Stephen Hawking: "Pensavo che

it was fairly obvious what I meant."

fosse abbastanza ovvio ciò che intendevo."

Rupal Patel: That was the voice

Rupa Patel: Era la voce

of Professor Stephen Hawking.

del Professor Stephen Hawking.

What you may not know is that same voice

Ciò che forse non saprete è che la stessa voce

may also be used by this little girl

può essere usata anche da questa ragazzina

who is unable to speak

che non può parlare

because of a neurological condition.

a causa di una patologia neurologica.

In fact, all of these individuals

È probabile, infatti, che tutte queste persone

may be using the same voice,

stiano utilizzando la stessa voce,

and that's because there's only a few options available.

poiché le opzioni disponibili sono ben poche.

In the U.S. alone, there are 2.5 million Americans

Solo negli USA, sono 2.5 milioni gli americani

who are unable to speak,

che non possono parlare,

and many of whom use computerized devices

molti dei quali ricorrono a un sistema computerizzato

to communicate.

per comunicare.

Now that's millions of people worldwide

A livello mondiale, sono milioni le persone

who are using generic voices,

che usano voci generiche,

including Professor Hawking,

incluso il Professor Hawking,

who uses an American-accented voice.

che usa una voce con accento americano.

This lack of individuation of the synthetic voice

L'assenza di personalizzazione della voce sintetizzata

really hit home

mi ha davvero colpito

when I was at an assistive technology conference

mentre ero a una conferenza sulle tecnologie assistive

a few years ago,

alcuni anni fa,

and I recall walking into an exhibit hall

e ricordo che stavo entrando in un padiglione

and seeing a little girl and a grown man

e ho visto una ragazzina e un uomo

having a conversation using their devices,

che parlavano attraverso i loro dispositivi,

different devices, but the same voice.

diversi ma con la stessa voce.

And I looked around and I saw this happening

Mi sono guardata intorno e ho visto che succedeva

all around me, literally hundreds of individuals

lo stesso attorno a me: centinaia di persone

using a handful of voices,

che usavano appena un paio di voci,

voices that didn't fit their bodies

non adatte ai loro corpi

or their personalities.

o alle loro personalità.

We wouldn't dream of fitting a little girl

Non immagineremmo mai una ragazzina

with the prosthetic limb of a grown man.

con la stessa protesi di un uomo.

So why then the same prosthetic voice?

Perché, invece, deve usare la stessa voce protesica?

It really struck me,

Mi ha davvero colpito,

and I wanted to do something about this.

e ho voluto fare qualcosa.

I'm going to play you now a sample

Ora ascolterete un campione

of someone who has, two people actually,

di qualcuno che ha, in realtà due persone,

who have severe speech disorders.

che hanno gravi disturbi del linguaggio.

I want you to take a listen to how they sound.

Vorrei che prestiate ascolto a come li percepite.

They're saying the same utterance.

Dicono lo stesso enunciato.

(First voice)

(Prima voce)

(Second voice)

(Seconda voce)

You probably didn't understand what they said,

Forse non avrete capito cosa hanno detto,

but I hope that you heard

ma spero abbiate notato

their unique vocal identities.

le loro identità vocali individuali.

So what I wanted to do next is,

Quello che vorrei fare, adesso,

I wanted to find out how we could harness

è scoprire come possiamo impiegare

these residual vocal abilities

queste capacità vocali residue

and build a technology

e costruire una tecnologia

that could be customized for them,

su misura per loro,

voices that could be customized for them.

voci che possano essere personalizzate su misura.

So I reached out to my collaborator, Tim Bunnell.

Mi sono messa in contatto col mio collaboratore, Tim Bunnell.

Dr. Bunnell is an expert in speech synthesis,

Il dott. Bunnell è un esperto di sintesi vocale,

and what he'd been doing is building

e sta costruendo

personalized voices for people

voci personalizzate per i suoi pazienti,

by putting together

unendo insieme

pre-recorded samples of their voice

campioni delle loro voci preregistrate

and reconstructing a voice for them.

e ricostruendo loro una voce.

These are people who had lost their voice

Queste sono persone che hanno perso la loro voce

later in life.

dopo la nascita.

We didn't have the luxury

Non abbiamo il lusso

of pre-recorded samples of speech

di campioni vocali preregistrati

for those born with speech disorder.

per chi è nato, con problemi alla voce.

But I thought, there had to be a way

Ma ho pensato che ci dovesse essere un modo

to reverse engineer a voice

di progettare una voce partendo

from whatever little is left over.

da quel poco che ne resta.

So we decided to do exactly that.

Ed è proprio quello che abbiamo deciso di fare.

We set out with a little bit of funding from the National Science Foundation,

Siamo partiti con alcuni finanziamenti della Fondazione Nazionale per le Scienze,

to create custom-crafted voices that captured

per creare voci personalizzate che catturino

their unique vocal identities.

l'unicità della loro impronta vocale.

We call this project VocaliD, or vocal I.D.,

Abbiamo creato questo progetto, VocaliD o vocal I.D.

for vocal identity.

per l'identità vocale.

Now before I get into the details of how

Prima di entrare nel dettaglio di come

the voice is made and let you listen to it,

venga prodotta la voce e di come la sentiamo,

I need to give you a real quick speech science lesson. Okay?

devo farvi una rapida lezione di scienze. Va bene?

So first, we know that the voice is changing

Per iniziare, sappiamo che la voce cambia

dramatically over the course of development.

radicalmente, nel corso dello sviluppo.

Children sound different from teens

I bambini hanno una voce diversa dagli adolescenti,

who sound different from adults.

che hanno una voce diversa dagli adulti.

We've all experienced this.

Ci siamo passati tutti.

Fact number two is that speech

Secondo, la parola

is a combination of the source,

è una combinazione della fonte,

which is the vibrations generated by your voice box,

che è la vibrazione generata dalla vostra scatola vocale,

which are then pushed through

che viene successivamente spinta attraverso

the rest of the vocal tract.

il resto del tratto vocale.

These are the chambers of your head and neck

Queste sono le camere della vostra testa e collo

that vibrate,

che vibrano,

and they actually filter that source sound

e in realtà filtrano il suono sorgente

to produce consonants and vowels.

per produrre consonanti e vocali.

So the combination of source and filter

La combinazione di fonte e filtro, poi,

is how we produce speech.

produce la parola.

And that happens in one individual.

È questo che accade nelle persone.

Now I told you earlier that I'd spent

Vi ho raccontato che ho passato

a good part of my career

buona parte della mia carriera

understanding and studying

cercando di capire e studiare

the source characteristics of people

la caratteristiche delle fonti delle persone

with severe speech disorder,

con seri disturbi del linguaggio,

and what I've found

e ho scoperto

is that even though their filters were impaired,

che anche attraverso i loro filtri danneggiati

they were able to modulate their source:

erano in grado di modulare la propria fonte:

the pitch, the loudness, the tempo of their voice.

il tono, il volume, il ritmo della loro voce.

These are called prosody, and I've been documenting for years

Si chiama prosodia, e ho documentato per anni

that the prosodic abilities of these individuals

che le abilità prosodiche di questi individui

are preserved.

sono intatte.

So when I realized that those same cues

Così, quando ho capito che quegli stessi spunti

are also important for speaker identity,

erano importanti per l'identità del parlante

I had this idea.

ho avuto questa idea:

Why don't we take the source

perché non prendere la fonte

from the person we want the voice to sound like,

dalle persone di cui volevamo riprodurre la voce

because it's preserved,

visto che era intatta

and borrow the filter

e prendere in prestito i filtri

from someone about the same age and size,

da qualcuno della stessa età e corporatura,

because they can articulate speech,

in grado di articolare suoni

and then mix them?

e mescolarli?

Because when we mix them,

Perché quando li mescoliamo,

we can get a voice that's as clear

possiamo ottenere una voce chiara

as our surrogate talker --

come quella del nostro parlante-surrogato

that's the person we borrowed the filter from—

(che è la persona da cui prendiamo in prestito i filtri)

and is similar in identity to our target talker.

che ha un'identità simile al nostro parlante-obiettivo.

It's that simple.

È tutto qui.

That's the science behind what we're doing.

Questa è la scienza dietro quello che facciamo.

So once you have that in mind,

Così, una volta che avete questo in mente,

how do you go about building this voice?

come si procede nel costruire questa voce?

Well, you have to find someone

Bisogna trovare qualcuno

who is willing to be a surrogate.

disponibile a essere un surrogato.

It's not such an ominous thing.

Non è una cosa così terribile.

Being a surrogate donor

Fare il donatore surrogato

only requires you to say a few hundred

richiede semplicemente dover dire dal centinaio

to a few thousand utterances.

al migliaio di parole.

The process goes something like this.

Il tutto si svolge più o meno così.

(Video) Voice: Things happen in pairs.

Voce: Le cose capitano in coppia.

I love to sleep.

Amo dormire.

The sky is blue without clouds.

Il cielo è blu senza nuvole.

RP: Now she's going to go on like this

Andrà avanti così

for about three to four hours,

per circa tre o quattro ore.

and the idea is not for her to say everything

L'idea non è che lei dica tutto

that the target is going to want to say,

quello che il soggetto potrebbe voler dire,

but the idea is to cover all the different combinations

l'idea è quella di coprire tutte le varie combinazioni

of the sounds that occur in the language.

di suoni che ricorrono nel linguaggio.

The more speech you have,

Più parole ottieni,

the better sounding voice you're going to have.

migliore sarà il suono della voce che otterrai.

Once you have those recordings,

Ottenute queste registrazioni,

what we need to do

quel che occorre fare

is we have to parse these recordings

è analizzare queste registrazioni

into little snippets of speech,

in piccoli frammenti di parlato,

one- or two-sound combinations,

una o due combinazioni di suoni,

sometimes even whole words

talvolta persino intere parole

that start populating a dataset or a database.

che iniziano a popolare un set di dati o un database.

We're going to call this database a voice bank.

Chiameremo questo database banca vocale.

Now the power of the voice bank

Il potere di questa banca vocale

is that from this voice bank,

è che da questa banca vocale

we can now say any new utterance,

potremo articolare ogni nuova parola.

like, "I love chocolate" --

tipo "mi piace il cioccolato",

everyone needs to be able to say that—

dobbiamo tutti essere in grado di dirlo,

fish through that database

pescare in questo database

and find all the segments necessary

e trovare tutti i segmenti necessari

to say that utterance.

per pronunciare quell'espressione.

(Video) Voice: I love chocolate.

(Video) Voce: Mi piace il cioccolato.

RP: So that's speech synthesis.

RP: Ecco, questa è la sintesi vocale.

It's called concatenative synthesis, and that's what we're using.

Si chiama sintesi concatenativa, ed è ciò che stiamo utilizzando.

That's not the novel part.

Ma non è questa la vera novità.

What's novel is how we make it sound

La novità è come la utilizziamo per farla sembrare

like this young woman.

la voce di questa ragazza.

This is Samantha.

Lei è Samantha.

I met her when she was nine,

L'ho incontrata quando aveva nove anni,

and since then, my team and I

e da allora la mia squadra e io

have been trying to build her a personalized voice.

stiamo cercando di costruirle una voce personalizzata.

We first had to find a surrogate donor,

Prima di tutto abbiamo dovuto trovare un donatore surrogato,

and then we had to have Samantha

poi Samantha ha dovuto

produce some utterances.

produrre qualche frase.

What she can produce are mostly vowel-like sounds,

Era in grado di produrre principalmente suoni vocalici,

but that's enough for us to extract

ma a noi bastava per estrarre

her source characteristics.

le caratteristiche della sua fonte.

What happens next is best described

Per descrivere al meglio quel che accadde dopo,

by my daughter's analogy. She's six.

userò un'analogia di mia figlia di sei anni.

She calls it mixing colors to paint voices.

Lei lo definisce "mescolare i colori per dipingere la voce".

It's beautiful. It's exactly that.

È una bella metafora. Ed è proprio così.

Samantha's voice is like a concentrated sample

La voce di Samantha è come un campione concentrato

of red food dye which we can infuse

di colorante alimentare rosso che possiamo infondere

into the recordings of her surrogate

nelle registrazioni del suo surrogato

to get a pink voice just like this.

per ottenere una voce rosa proprio come questa.

(Video) Samantha: Aaaaaah.

(Video) Samantha: Aaaaaah.

RP: So now, Samantha can say this.

Adesso Samantha può dire una cosa come questa:

(Video) Samantha: This voice is only for me.

(Video) Samantha: Questa voce è su misura per me.

I can't wait to use my new voice with my friends.

Non vedo l'ora di usare la mia voce con i miei amici.

RP: Thank you. (Applause)

RP: Grazie.

(Applausi)

I'll never forget the gentle smile

Non dimenticherò mai il sorriso gentile

that spread across her face

che si è allargato sul suo viso

when she heard that voice for the first time.

quando ha sentito questa voce per la prima volta.

Now there's millions of people

Ci sono milioni di persone

around the world like Samantha, millions,

al mondo come Samantha, milioni,

and we've only begun to scratch the surface.

e noi abbiamo appena iniziato a scalfire la superficie.

What we've done so far is we have

Per ora abbiamo

a few surrogate talkers from around the U.S.

alcuni parlanti surrogati provenienti dagli Stati Uniti

who have donated their voices,

che hanno donato la loro voce

and we have been using those

e li stiamo usando

to build our first few personalized voices.

per costruire le prime voci personalizzate.

But there's so much more work to be done.

C'è ancora molto lavoro, da fare.

For Samantha, her surrogate

Il surrogato di Samantha

came from somewhere in the Midwest, a stranger

proviene da qualche parte del Midwest, una sconosciuta

who gave her the gift of voice.

che le ha regalato la voce.

And as a scientist, I'm so excited

Da scienziata sono così eccitata

to take this work out of the laboratory

di portare questo lavoro fuori dal laboratorio

and finally into the real world

finalmente nel mondo reale

so it can have real-world impact.

così da poter avere un vero impatto nel mondo.

What I want to share with you next

Quel che voglio condividere con voi adesso

is how I envision taking this work

è come immagino di portare questo lavoro

to that next level.

al prossimo livello.

I imagine a whole world of surrogate donors

Mi immagino un intero mondo di donatori surrogati

from all walks of life, different sizes, different ages,

di tutti i ceti sociali, di corporature diverse, di età diverse,

coming together in this voice drive

convergere in questo archivio di voci

to give people voices

per dare alle persone

that are as colorful as their personalities.

voci colorate come le loro personalità.

To do that as a first step,

Per procedere al passo successivo

we've put together this website, VocaliD.org,

abbiamo realizzato questo sito, VocaliD.org,

as a way to bring together those

in modo da raccogliere

who want to join us as voice donors,

le adesioni di quelli che si vogliono unire a noi come donatori di voce,

as expertise donors,

come volontari esperti

in whatever way to make this vision a reality.

in qualunque modo, per rendere questa visione realtà.

They say that giving blood can save lives.

Si dice che donare il sangue possa salvare una vita.

Well, giving your voice can change lives.

Donare la vostra voce può cambiarla, una vita.

All we need is a few hours of speech

Tutto quel che ci serve è qualche ora di parlato

from our surrogate talker,

di un parlante surrogato

and as little as a vowel from our target talker,

e qualche vocale dal nostro parlante obiettivo

to create a unique vocal identity.

per creare un'identità vocale unica.

So that's the science behind what we're doing.

Questa è la scienza dietro quel che facciamo.

I want to end by circling back to the human side

Voglio terminare tornando al lato umano,

that is really the inspiration for this work.

che è quello che ispira veramente questo lavoro.

About five years ago, we built our very first voice

Circa cinque anni fa, abbiamo costruito la nostra primissima voce

for a little boy named William.

per un ragazzino di nome William.

When his mom first heard this voice,

Quando sua madre ha sentito per la prima volta questa voce

she said, "This is what William

ha detto "Questa è la voce

would have sounded like

che avrebbe avuto William

had he been able to speak."

se fosse stato in grado di parlare".

And then I saw William typing a message

Quindi ho visto William digitare un messaggio

on his device.

sul suo dispositivo.

I wondered, what was he thinking?

Mi domandavo cosa stesse pensando.

Imagine carrying around someone else's voice

Immaginate di parlare con la voce di qualcun altro

for nine years

per nove anni

and finally finding your own voice.

e finalmente di trovare la vostra voce.

Imagine that.

Immaginatelo.

This is what William said:

Questo è quel che William ha scritto:

"Never heard me before."

"Non avevo mai sentito me stesso, prima d'ora".

Thank you.

Grazie.

(Applause)

(Applauso)