Rupal Patel: Synthetic voices, as unique as fingerprints

מתרגם: Elazar Raab מבקר: Ido Dekkers

I'd like to talk today

ברצוני לדבר היום

about a powerful and fundamental aspect

על היבט יסודי ועוצמתי

of who we are: our voice.

של מי אנחנו:

הקול שלנו.

Each one of us has a unique voiceprint

לכל אחד מאיתנו יש חתימת קול ייחודית

that reflects our age, our size,

המשקפת את גילנו, הגודל שלנו,

even our lifestyle and personality.

אפילו את סגנון חיינו והאישיות שלנו.

In the words of the poet Longfellow,

במילותיו של המשורר לונגפלו,

"the human voice is the organ of the soul."

"הקול האנושי הוא איבר של הנשמה."

As a speech scientist, I'm fascinated

כמדענית דיבור, אני מוקסמת

by how the voice is produced,

מאיך שמופק הקול,

and I have an idea for how it can be engineered.

ויש לי רעיון כיצד ניתן להנדס אותו.

That's what I'd like to share with you.

זה מה שהייתי רוצה לשתף איתכם.

I'm going to start by playing you a sample

אני אתחיל בלנגן לכם דגימה

of a voice that you may recognize.

של קול שייתכן ותזהו.

(Recording) Stephen Hawking: "I would have thought

(הקלטה): "הייתי חושב

it was fairly obvious what I meant."

שזה היה די ברור למה התכוונתי."

Rupal Patel: That was the voice

זה היה קולו

of Professor Stephen Hawking.

של פרופסור סטיבן הוקינג.

What you may not know is that same voice

מה שייתכן שאינכם יודעים זה שאותו הקול

may also be used by this little girl

עשוי להיות בשימוש של הילדה הקטנה הזו

who is unable to speak

שאינה מסוגלת לדבר

because of a neurological condition.

בגלל מצב נוירולוגי.

In fact, all of these individuals

למעשה, כל האנשים הללו

may be using the same voice,

עשויים להשתמש באותו הקול,

and that's because there's only a few options available.

וזאת מכיוון שיש רק מספר אפשרויות מצומצם.

In the U.S. alone, there are 2.5 million Americans

בארה"ב לבדה יש 2.5 מליון אמריקאים

who are unable to speak,

שאינם מסוגלים לדבר,

and many of whom use computerized devices

ורבים מהם משתמשים במכשירים ממוחשבים

to communicate.

על מנת לתקשר.

Now that's millions of people worldwide

כלומר, מדובר על מליוני אנשים בעולם

who are using generic voices,

המשתמשים בקולות גנריים,

including Professor Hawking,

כולל פרופסור הוקינג,

who uses an American-accented voice.

המשתמש בקול במבטא אמריקאי.

This lack of individuation of the synthetic voice

חוסר האינדיבידואליזם בקולות סינטתיים

really hit home

היה ממש ברור

when I was at an assistive technology conference

כאשר הייתי בועידה לטכנולוגיות נגישות

a few years ago,

לפני מספר שנים,

and I recall walking into an exhibit hall

ואני זוכרת שנכנסתי לאולם התצוגה

and seeing a little girl and a grown man

וראיתי ילדה קטנה ואדם מבוגר

having a conversation using their devices,

מנהלים שיחה תוך שימוש במכשירי העזר שלהם,

different devices, but the same voice.

מכשירים שונים, אבל אותו הקול.

And I looked around and I saw this happening

והיבטתי מסביבי וראיתי את זה קורה

all around me, literally hundreds of individuals

מכל הכיוונים, למעשה מאות אנשים

using a handful of voices,

משתמשים בקומץ של קולות,

voices that didn't fit their bodies

קולות שלא התאימו לגוף שלהם

or their personalities.

או לאישיות שלהם.

We wouldn't dream of fitting a little girl

לא נעלה על דעתנו להתאים לילדה קטנה

with the prosthetic limb of a grown man.

פרוטזה (רגל תותבת) של אדם מבוגר.

So why then the same prosthetic voice?

אז מדוע אם כך אותו "תותב קול"?

It really struck me,

זה המם אותי,

and I wanted to do something about this.

ורציתי לעשות משהו בנוגע לזה.

I'm going to play you now a sample

אנגן לכם עכשיו דגימה

of someone who has, two people actually,

של מישהו... של שני אנשים למעשה,

who have severe speech disorders.

שיש להם הפרעת דיבור חמורה.

I want you to take a listen to how they sound.

אני רוצה שתקשיבו כיצד הם נשמעים.

They're saying the same utterance.

הם אומרים את אותו המשפט.

(First voice)

(קול ראשון)

(Second voice)

(קול שני)

You probably didn't understand what they said,

בטח לא הבנתם מה הם אמרו,

but I hope that you heard

אבל אני מקווה ששמעתם

their unique vocal identities.

את הזהות הקולית הייחודית שלהם.

So what I wanted to do next is,

אז הדבר הבא שרציתי לעשות הוא

I wanted to find out how we could harness

רציתי לברר כיצד נוכל לרתום

these residual vocal abilities

את שארית היכולות הקוליות הללו

and build a technology

ולבנות טכנולוגיה

that could be customized for them,

שתוכל להיות מותאמת להם,

voices that could be customized for them.

קולות שיוכלו להיות מותאמים להם.

So I reached out to my collaborator, Tim Bunnell.

אז פניתי לשותף שלי, טים בנל.

Dr. Bunnell is an expert in speech synthesis,

ד"ר בנל הוא מומחה בסינטזה של דיבור,

and what he'd been doing is building

ומה שהוא עשה זה לבנות

personalized voices for people

קולות אישיים לאנשים

by putting together

על ידי צירוף

pre-recorded samples of their voice

דגימות מוקלטות של קולם

and reconstructing a voice for them.

ושחזור של קול עבורם.

These are people who had lost their voice

אלו אנשים שאיבדו את קולם

later in life.

מאוחר יותר בחייהם.

We didn't have the luxury

לנו לא היתה את הפריווילגיה

of pre-recorded samples of speech

שבזמינות של דגימות דיבור מוקלטות

for those born with speech disorder.

עבור אלו שנולדו עם הפרעת דיבור.

But I thought, there had to be a way

אבל חשבתי - חייבת להיות דרך

to reverse engineer a voice

להנדס לאחור קול

from whatever little is left over.

מהמעט שנותר.

So we decided to do exactly that.

אז החלטתנו לעשות בדיוק את זה.

We set out with a little bit of funding from the National Science Foundation,

יצאנו לדרך עם מעט מימון מהקרן הלאומית למדעים,

to create custom-crafted voices that captured

ליצור קולות בהתאמה אישית שיכילו

their unique vocal identities.

את הזהות הקולית הייחודית שלהם.

We call this project VocaliD, or vocal I.D.,

אנו קוראים לפרוייקט הזה "ווקאלי-די" או "ווקאל איי-די"

for vocal identity.

עבור "זהות קולית".

Now before I get into the details of how

ובכן, לפני שארד לפרטים כיצד

the voice is made and let you listen to it,

הקול נוצר ואתן לכם להקשיב לו,

I need to give you a real quick speech science lesson. Okay?

אני צריכה להעביר לכם שעור זריז במדעי הדיבור. בסדר?

So first, we know that the voice is changing

ראשית, אנו יודעים שהקול משתנה

dramatically over the course of development.

באופן דרמטי לאורך תהליך ההתפתחות.

Children sound different from teens

ילדים נשמעים שונה מבני עשרה

who sound different from adults.

שנשמעים שונה ממבוגרים.

We've all experienced this.

כולנו התנסנו בזה.

Fact number two is that speech

עובדה מספר שתיים היא שדיבור

is a combination of the source,

היא שילוב של המקור,

which is the vibrations generated by your voice box,

שהוא התנודות שמופקות על ידי תיבת הקול שלכם,

which are then pushed through

שלאחר מכן נדחפות דרך

the rest of the vocal tract.

שאר מערכת הקול.

These are the chambers of your head and neck

אלו החללים של הראש והצוואר

that vibrate,

שרועדים,

and they actually filter that source sound

והם למעשה מסננים את מקור הצליל

to produce consonants and vowels.

על מנת להפיק עיצורים ותנועות.

So the combination of source and filter

אז השילוב של מקור ומסנן

is how we produce speech.

זה הדרך בה אנו מפיקים דיבור.

And that happens in one individual.

וזה קורה אצל כל אחד.

Now I told you earlier that I'd spent

ובכן אמרתי לכם קודם לכן שהשקעתי

a good part of my career

חלק ניכר מהקריירה שלי

understanding and studying

בהבנה ולימוד

the source characteristics of people

של מאפייני המקור של אנשים

with severe speech disorder,

עם הפרעות דיבור חמורות,

and what I've found

ומה שגיליתי

is that even though their filters were impaired,

שלמרות שהמסננים שלהם היו פגומים,

they were able to modulate their source:

הם הצליחו לאפנן את המקור שלהם:

the pitch, the loudness, the tempo of their voice.

את גובה הצליל, העוצמה והקצב של הקול שלהם.

These are called prosody, and I've been documenting for years

מרכיבים אלו נקראים פרוזודיה, ותיעדתי במשך שנים

that the prosodic abilities of these individuals

שהיכולות הפרוזודיות של אנשים אלו

are preserved.

משתמרות.

So when I realized that those same cues

אז כאשר הבנתי שאותם הסימנים הללו

are also important for speaker identity,

הם גם חשובים לזהות הדובר,

I had this idea.

היה לי רעיון כזה.

Why don't we take the source

מדוע שלא ניקח את המקור

from the person we want the voice to sound like,

מהאדם שנרצה שהקול יישמע כמותו,

because it's preserved,

מכיוון שהוא משתמר,

and borrow the filter

ונשאיל את המסנן

from someone about the same age and size,

ממישהו בערך באותו גיל וגודל,

because they can articulate speech,

מכיוון שהם יכולים להגות דיבור

and then mix them?

ואז נערבב אותם?

Because when we mix them,

כי כאשר אנחנו מערבבים אותם,

we can get a voice that's as clear

אנו יכולים לקבל קול שהוא ברור

as our surrogate talker --

כמו הדובר החליפי שלנו --

that's the person we borrowed the filter from—

זה האדם שהשאלנו ממנו את המסנן --

and is similar in identity to our target talker.

והוא דומה בזהות לדובר היעד שלנו.

It's that simple.

זה ממש פשוט.

That's the science behind what we're doing.

זה המדע העומד מאחורי מה שאנחנו עושים.

So once you have that in mind,

אז כשאתם מבינים את זה,

how do you go about building this voice?

איך מתקדמים בבניית קולות?

Well, you have to find someone

ובכן, עליכם למצוא מישהו

who is willing to be a surrogate.

שמוכן להיות דובר חליפי.

It's not such an ominous thing.

זה לא סיפור.

Being a surrogate donor

להיות תורם חליפי

only requires you to say a few hundred

דורש מכם לומר רק מאות ספורות

to a few thousand utterances.

עד אלפים ספורים של ביטויים.

The process goes something like this.

התהליך קורה באופן כמו זה:

(Video) Voice: Things happen in pairs.

"דברים קורים בצמדים"

I love to sleep.

"אני אוהב לישון"

The sky is blue without clouds.

"השמיים כחולים ללא עננים"

RP: Now she's going to go on like this

ובכן, היא עומדת להמשיך כך

for about three to four hours,

במשך שלוש עד ארבע שעות

and the idea is not for her to say everything

והרעיון אינו שתאמר כל דבר

that the target is going to want to say,

שהיעד ירצה לומר,

but the idea is to cover all the different combinations

אלא הרעיון לכסות את כל הצירופים השונים

of the sounds that occur in the language.

של הצלילים שקיימים בשפה.

The more speech you have,

ככל שיש לך יותר דיבור,

the better sounding voice you're going to have.

כך תשתפר איכות הקול שתקבל.

Once you have those recordings,

כאשר יש לך את ההקלטות הללו,

what we need to do

מה שאנו צריכים לעשות

is we have to parse these recordings

הוא שעלינו לנתח ולפרק את ההקלטות הללו

into little snippets of speech,

לקטעים קטנים של דיבור,

one- or two-sound combinations,

צירוף של צליל אחד או שניים,

sometimes even whole words

לפעמים גם מילים שלמות

that start populating a dataset or a database.

שמתחילים למלא בסיס נתונים.

We're going to call this database a voice bank.

נקרא לבסיס הנתונים הזה בנק קול.

Now the power of the voice bank

ובכן, העוצמה של בנק הקול

is that from this voice bank,

היא שמבנק קול זה,

we can now say any new utterance,

אנו יכולים כעת לומר כל ביטוי חדש,

like, "I love chocolate" --

כמו "אני אוהב שוקולד" --

everyone needs to be able to say that—

כולם צריכים להיות מסוגלים לומר את זה --

fish through that database

חפור בבסיס הנתונים הזה

and find all the segments necessary

ותמצא את כל המקטעים הדרושים

to say that utterance.

לומר את הביטוי הזה.

(Video) Voice: I love chocolate.

"אני אוהב שוקולד"

RP: So that's speech synthesis.

אז זה סינטזה של דיבור.

It's called concatenative synthesis, and that's what we're using.

היא נקראת סינטזה משרשרת, ובזה אנו משתמשים.

That's not the novel part.

החדשנות אינה בזה.

What's novel is how we make it sound

מה שחדשני הוא איך אנו גורמים לזה להשמע

like this young woman.

כמו האישה הצעירה הזו.

This is Samantha.

זאת סמנטה.

I met her when she was nine,

פגשתי אותה כשהיתה בת תשע,

and since then, my team and I

ומאז הצוות שלי ואני

have been trying to build her a personalized voice.

מנסים לבנות לה קול אישי.

We first had to find a surrogate donor,

ראשית היה עלינו למצוא תורם קול חליפי,

and then we had to have Samantha

ואז היה עלינו לגרום לסמנטה

produce some utterances.

להפיק מספר ביטויים.

What she can produce are mostly vowel-like sounds,

מה שהיא מסוגלת להפיק זה בעיקר צלילים דמויי תנועות

but that's enough for us to extract

אבל זה מספיק לנו על מנת למצות

her source characteristics.

את מאפייני מקור הקול שלה.

What happens next is best described

הדבר הבא שקורה מתואר הכי טוב

by my daughter's analogy. She's six.

על ידי אנלוגיה של הבת שלי. היא בת שש.

She calls it mixing colors to paint voices.

היא קוראת לזה לערבב צבעים כדי לצבוע קולות.

It's beautiful. It's exactly that.

זה יפהפה. זה בדיוק זה.

Samantha's voice is like a concentrated sample

הקול של סמנטה הוא כמו דגימה מרוכזת

of red food dye which we can infuse

של צבע מאכל אדום שאנו יכולים להזריק

into the recordings of her surrogate

לתוך ההקלטות של הקול החליפי שלה

to get a pink voice just like this.

על מנת לקבל קול ורוד, בדיוק ככה:

(Video) Samantha: Aaaaaah.

סמנטה: "אאאאאאה."

RP: So now, Samantha can say this.

אז עכשיו סמנטה יכולה לומר את זה.

(Video) Samantha: This voice is only for me.

סמנטה: "הקול הזה הוא רק בשבילי.

I can't wait to use my new voice with my friends.

אני לא יכולה לחכות להשתמש בקול החדש שלי עם החברים שלי."

RP: Thank you. (Applause)

תודה רבה. (מחיאות כפיים)

I'll never forget the gentle smile

לעולם לא אשכח את החיוך העדין

that spread across her face

שנפרש על פניה

when she heard that voice for the first time.

כאשר שמעה את הקול הזה בפעם הראשונה.

Now there's millions of people

ובכן, יש מליוני אנשים

around the world like Samantha, millions,

בכל העולם כמו סמנטה. מליונים.

and we've only begun to scratch the surface.

ורק התחלנו לגלות את קצה הקרחון.

What we've done so far is we have

מה שעשינו עד כה זה שיש לנו

a few surrogate talkers from around the U.S.

כמה דוברים חליפיים מרחבי ארה"ב

who have donated their voices,

שתרמו את קולם,

and we have been using those

והשתמשנו באלה

to build our first few personalized voices.

לבנות את מספר הקולות המותאמים אישית הראשונים שלנו

But there's so much more work to be done.

אבל יש עוד כל כך הרבה עבודה לעשות.

For Samantha, her surrogate

עבור סמנטה, הדובר החליפי שלה

came from somewhere in the Midwest, a stranger

הגיע מאיפשהו במערב המרכזי (של ארה"ב) - זר

who gave her the gift of voice.

שנתן לה את מתנת הקול.

And as a scientist, I'm so excited

וכמדענית אני כל כך נרגשת

to take this work out of the laboratory

לקחת את העבודה הזו אל מחוץ למעבדה

and finally into the real world

וסוף סוף אל העולם האמיתי

so it can have real-world impact.

על מנת שתהיה לה השפעה אמיתית.

What I want to share with you next

הדבר הבא שאני רוצה לחלוק איתכם

is how I envision taking this work

זה איך אני חוזה שהעבודה הזו

to that next level.

תעבור לשלב הבא.

I imagine a whole world of surrogate donors

אני מדמיינת עולם שלם של תורמי קול חליפי

from all walks of life, different sizes, different ages,

מכל תחומי החיים, בגדלים שונים, גילאים שונים,

coming together in this voice drive

באים יחדיו למהלך הקולי הזה

to give people voices

לתת לאנשים קולות

that are as colorful as their personalities.

שהם מגוונים כמו האישיות השונה של כל אחד מהם.

To do that as a first step,

על מנת לעשות את זה, כצעד ראשון

we've put together this website, VocaliD.org,

הקמנו את האתר הזה: VocaliD.org

as a way to bring together those

כדרך לכנס את כל אלה

who want to join us as voice donors,

שרוצים להצטרף אלינו כתורמי קול,

as expertise donors,

כתורמי מומחיות,

in whatever way to make this vision a reality.

בכל דרך שתאפשר להפוך את החזון הזה למציאות.

They say that giving blood can save lives.

אומרים שתרומת דם מצילה חיים.

Well, giving your voice can change lives.

ובכן, לתת את הקול שלך יכול לשנות חיים.

All we need is a few hours of speech

כל מה שאנו צריכים זה מספר שעות של דיבור

from our surrogate talker,

מתורם הקול החליפי שלנו,

and as little as a vowel from our target talker,

ורק צליל תנועה מדובר היעד,

to create a unique vocal identity.

על מנת ליצור זהות קולית ייחודית.

So that's the science behind what we're doing.

אז זה המדע שמאחורי מה שאנו עושים.

I want to end by circling back to the human side

אני רוצה לסיים בחזרה לסיפור האנושי

that is really the inspiration for this work.

שהוא בעצם ההשראה לעבודה הזו.

About five years ago, we built our very first voice

לפני כחמש שנים בנינו את הקול הראשון בהחלט שלנו

for a little boy named William.

לנער צעיר בשם וויליאם.

When his mom first heard this voice,

כשאימו שמעה את הקול שלו בפעם הראשונה,

she said, "This is what William

היא אמרה: "זה איך שוויליאם

would have sounded like

היה נשמע

had he been able to speak."

אם הוא היה יכול לדבר."

And then I saw William typing a message

ואז ראיתי את וויליאם מקליד מסר

on his device.

במכשיר שלו.

I wondered, what was he thinking?

תהיתי, מה הוא חושב?

Imagine carrying around someone else's voice

דמיינו שאתם נושאים קול של מישהו אחר

for nine years

במשך תשע שנים

and finally finding your own voice.

וסוף סוף מוצאים את הקול שלכם.

Imagine that.

דמיינו את זה.

This is what William said:

זה מה שוויליאם אמר:

"Never heard me before."

"אף פעם לא שמעתי את עצמי לפני כן."

Thank you.

תודה.

(Applause)

(מחיאות כפיים)