Rupal Patel: Synthetic voices, as unique as fingerprints

번역: K Bang 검토: Jenny Lee

I'd like to talk today

오늘 제가 말씀드리고자 하는 것은

about a powerful and fundamental aspect

우리 자신의 강력하고도 기본적인

of who we are: our voice.

한 측면에 대한 것입니다. 바로 우리의 목소리죠.

Each one of us has a unique voiceprint

우리 모두는 독특한 성문을 가지고 있는데요.

that reflects our age, our size,

이 성문은 우리의 나이, 크기,

even our lifestyle and personality.

심지어 생활 양식이나 성격까지도 드러내줍니다.

In the words of the poet Longfellow,

시인 롱펠로우는

"the human voice is the organ of the soul."

"인간의 목소리는 영혼의 오르간이다." 라고 까지 했습니다.

As a speech scientist, I'm fascinated

음성학자로서 저는 음성이

by how the voice is produced,

어떻게 만들어지는지에 매료되어 있고

and I have an idea for how it can be engineered.

공학적으로 어떻게 만들어질 수 있는지에 대해 알고 있습니다.

That's what I'd like to share with you.

이게 오늘 제가 여러분과 드릴 이야기의 주제입니다.

I'm going to start by playing you a sample

여러분이 알아들으실만한 목소리로 예시를 들며

of a voice that you may recognize.

시작해 보겠습니다.

(Recording) Stephen Hawking: "I would have thought

(녹음) 스티븐 호킹: "제가 생각하는 바로는

it was fairly obvious what I meant."

제 의도가 아주 명확합니다."

Rupal Patel: That was the voice

러팰 패텔: 저건 바로

of Professor Stephen Hawking.

스티븐 호킹 교수의 목소리였습니다.

What you may not know is that same voice

여러분이 흥미롭게 느끼실만한 점은,

may also be used by this little girl

이 어린 소녀가 똑같은 목소리를 사용할 수도 있다는 것입니다.

who is unable to speak

이 아이는 신경학적 문제로 인해

because of a neurological condition.

말을 할 수가 없습니다.

In fact, all of these individuals

사실 이런 모든 사람들은

may be using the same voice,

똑같은 목소리를 쓰고 있을지도 모릅니다.

and that's because there's only a few options available.

그 이유는 선택 가능한 목소리 종류가 그리 많지 않기 때문이에요.

In the U.S. alone, there are 2.5 million Americans

미국에만 말하지 못하는 사람이 250만이나

who are unable to speak,

됩니다.

and many of whom use computerized devices

그들 중 많은 사람들은 컴퓨터화된 기기를 이용하여

to communicate.

의사 소통을 합니다.

Now that's millions of people worldwide

그렇다면 세계적으로는 수백만의 사람들이

who are using generic voices,

공통적인 목소리를 사용하는거겠죠.

including Professor Hawking,

호킹 교수를 포함해서 말입니다.

who uses an American-accented voice.

그 분은 미국 억양을 가진 목소리를 사용합니다.

This lack of individuation of the synthetic voice

이렇듯 기계 음성의 개별화가 부족하다는 것,

really hit home

이게 바로 문제의 핵심입니다.

when I was at an assistive technology conference

제가 보조 기구 회의에 참석했던 적이 있습니다.

a few years ago,

몇 해 전이었죠.

and I recall walking into an exhibit hall

그때 저는 전시관을 걸어가다가

and seeing a little girl and a grown man

어린 소녀와 성인이 각자의 기구를 사용하여

having a conversation using their devices,

대화하는 것을 보았습니다.

different devices, but the same voice.

서로 다른 기구였지만 목소리는 똑같았죠.

And I looked around and I saw this happening

둘러보니 이런 일이 제 주위에서도 빈번하게 일어나고 있었죠.

all around me, literally hundreds of individuals

말 그대로 수백명의 사람들이

using a handful of voices,

단 몇 가지 목소리를 갖고 있었습니다.

voices that didn't fit their bodies

그들의 신체나 성격과는

or their personalities.

맞지 않는 목소리였어요.

We wouldn't dream of fitting a little girl

우리는 어린 소녀에게

with the prosthetic limb of a grown man.

성인의 보조 기구를 사용시킬 상상도 하지 않습니다.

So why then the same prosthetic voice?

그런데 왜 목소리는 똑같은 것을 사용할까요?

It really struck me,

이건 정말 제게 큰 충격이었고

and I wanted to do something about this.

저는 뭔가 해야겠다는 생각이 들었습니다.

I'm going to play you now a sample

여러분들께 어떤 사람의 목소리를

of someone who has, two people actually,

들려 드릴텐데요. 두 사람의 목소리입니다.

who have severe speech disorders.

이 두 사람에게는 심각한 육성 장애가 있습니다.

I want you to take a listen to how they sound.

어떻게 들리는지 한번 들어보세요.

They're saying the same utterance.

두 사람은 똑같은 말을 하고 있습니다.

(First voice)

(첫번째 음성)

(Second voice)

(두번째 음성)

You probably didn't understand what they said,

여러분들은 아마 두 사람이 어떤 말을 나눴는지 모르실 겁니다.

but I hope that you heard

하지만 저는 여러분들이 각각의

their unique vocal identities.

독특한 음성을 들으셨기를 바랍니다.

So what I wanted to do next is,

그래서 제가 그 다음으로 하고자 해던 게 있습니다.

I wanted to find out how we could harness

저는 이렇게 내재된 발성 능력을 어떻게 이용할 수 있는지

these residual vocal abilities

알아내고 싶었습니다.

and build a technology

그리고는 기술을 이용해

that could be customized for them,

각자의 목소리로 개별화할 수 있기를 희망했습니다.

voices that could be customized for them.

각자의 특성을 지닌 목소리로 말이에요.

So I reached out to my collaborator, Tim Bunnell.

저는 제 동료인 팀 버넬을 찾아갔습니다.

Dr. Bunnell is an expert in speech synthesis,

버넬 박사님은 음성 분석 전문가인데

and what he'd been doing is building

그분이 하고 계시던 일은

personalized voices for people

사람들의 개별적인 목소리를 만드는 일이었어요.

by putting together

미리 녹음된

pre-recorded samples of their voice

사람들의 목소리를 조합하여

and reconstructing a voice for them.

개개인을 위한 목소리를 다시 만들어 내는 일이었죠.

These are people who had lost their voice

이 분들은 후천적으로 자신의 목소리를

later in life.

잃은 사람들이에요.

We didn't have the luxury

우리에겐 선천적으로

of pre-recorded samples of speech

음성 장애를 가지고 태어난 사람들이

for those born with speech disorder.

이미 녹음한 목소리를 가지는 사치 같은 것은 없었습니다.

But I thought, there had to be a way

하지만 아무리 적은 것이라도 남아있으면 그것을 통해

to reverse engineer a voice

공학적으로 목소리를 되살려 낼 수 있는

from whatever little is left over.

방법이 있을거라고 생각했어요.

So we decided to do exactly that.

바로 그 방법을 써보기로 한겁니다.

We set out with a little bit of funding from the National Science Foundation,

우리는 국립과학재단(NSF)로 부터 받은 약간의 재정 지원을 가지고

to create custom-crafted voices that captured

각자의 유일한 음성적 특성을 갖도록

their unique vocal identities.

맞춤 제작형 목소리를 만들기 시작했습니다.

We call this project VocaliD, or vocal I.D.,

저희는 이 프로젝트를 보컬아이디( vocal I.D.)라고 불렀습니다.

for vocal identity.

vocal identitiy에서 따왔죠.

Now before I get into the details of how

저희가 목소리를 어떻게 만들었는지에 대한

the voice is made and let you listen to it,

자세한 이야기나 목소리를 여러분께 들려드리기 전에

I need to give you a real quick speech science lesson. Okay?

여러분께 아주 짧은 음성 과학 교육을 해야할 필요가 있습니다, 괜찮겠죠?

So first, we know that the voice is changing

우선, 우리는 사람의 목소리가 그 주인이 성장함에 따라

dramatically over the course of development.

급격하게 변한다는 사실을 알고 있습니다.

Children sound different from teens

어린 아이일 때의 음성은 청소년기의 음성과 다르고

who sound different from adults.

또 그건 성인이 되었을 때와도 다릅니다.

We've all experienced this.

우리 모두 이런 경험을 해본 적이 있지요.

Fact number two is that speech

두번째 사실은 음성이란 것이

is a combination of the source,

각자의 후두에서 발생하는

which is the vibrations generated by your voice box,

진동, 즉 음원과

which are then pushed through

그 음원이 나머지 성도 부분을 통해 밀려나가며 일어나는 현상의

the rest of the vocal tract.

조화로 만들어진다는 것입니다.

These are the chambers of your head and neck

이런 것들은 사람의 머리와 목에 있는 공간인데요.

that vibrate,

이들이 진동하고

and they actually filter that source sound

음성원을 투과시켜

to produce consonants and vowels.

자음과 모음을 만들어 냅니다.

So the combination of source and filter

즉, 음성원과 투과 과정의 조합으로

is how we produce speech.

우리가 말하게 되는 겁니다.

And that happens in one individual.

그것이 모든 개개인에게서 일어나죠.

Now I told you earlier that I'd spent

앞에서 말씀드린대로

a good part of my career

저는 제 일생의 상당 부분을

understanding and studying

심각한 음성 장애를 가진 사람들의

the source characteristics of people

음성원이 가진 특성을 이해하고

with severe speech disorder,

연구해 왔습니다.

and what I've found

제가 알아낸 것은

is that even though their filters were impaired,

그들의 투과 장치가 손상되어도

they were able to modulate their source:

음성원을 조절할 수 있다는 사실입니다:

the pitch, the loudness, the tempo of their voice.

목소리의 높낮이, 크기, 빠르게 같은 것들이요.

These are called prosody, and I've been documenting for years

이런 것들을 운율 체계라고 하는데, 저는 이런 분들의 운율적 능력이

that the prosodic abilities of these individuals

보존된다는 점을 여러 해에 걸쳐

are preserved.

조사해 왔습니다.

So when I realized that those same cues

그래서 이런 것들이

are also important for speaker identity,

말하는 사람의 특성에 중요하다는 것에 생각이 미치자

I had this idea.

바로 이런 아이디어가 떠올랐습니다.

Why don't we take the source

원하는 목소리를 가진 사람들의

from the person we want the voice to sound like,

음성원을 가져오면 어떨까하는 것이었죠.

because it's preserved,

음성원은 보존되니까요.

and borrow the filter

그리고 이 투과 기관이 음성을 구분지을 수 있으니까

from someone about the same age and size,

비슷한 나이와 신체 크기를 가진 사람의

because they can articulate speech,

투과 기간을 차용하여

and then mix them?

음성원과 혼합하면 어떨까하는 생각이었습니다.

Because when we mix them,

왜냐하면 그것들을 합성하면

we can get a voice that's as clear

대리자의 목소리 만큼이나

as our surrogate talker --

명확한 목소리를 얻을 수 있으니까요.

that's the person we borrowed the filter from—

투과 기관을 차용해 준 사람이 대리자가 되는 겁니다.

and is similar in identity to our target talker.

그리고 그 목소리의 특성은 육성을 내고자 하는 사람의 목소리와 비슷하게 되는거죠.

It's that simple.

아주 간단하죠.

That's the science behind what we're doing.

이게 바로 저희가 하고 있는 일의 과학적 원리라고 할 수 있습니다.

So once you have that in mind,

그럼 이런 것을 염두에 두었을 때,

how do you go about building this voice?

이런 목소리는 어떻게 만드는 걸까요?

Well, you have to find someone

우선 목소리를 빌려줄 사람을

who is willing to be a surrogate.

찾아야 합니다.

It's not such an ominous thing.

그건 그리 어려운 일이 아니죠.

Being a surrogate donor

목소리를 빌려주는 데에는

only requires you to say a few hundred

몇 백에서 몇 천개쯤의

to a few thousand utterances.

소리만 내주면 됩니다.

The process goes something like this.

그 과정은 이렇습니다.

(Video) Voice: Things happen in pairs.

(영상) 목소리: 현상은 짝으로 일어난다.

I love to sleep.

나는 잠자는 걸 좋아해.

The sky is blue without clouds.

하늘이 구름 한점없이 맑군.

RP: Now she's going to go on like this

페텔: 이제 그녀는 이렇게

for about three to four hours,

서너 시간을 계속합니다.

and the idea is not for her to say everything

요점은 그녀가 이렇게 모든 단어를

that the target is going to want to say,

말하는 것이 아니라

but the idea is to cover all the different combinations

언어에서 일어날 수 있는

of the sounds that occur in the language.

모든 음성의 다른 조합들을 만들어 내는 것이에요.

The more speech you have,

발음샘플을 더 많이 확보할 수록

the better sounding voice you're going to have.

더 좋은 목소리를 갖게 됩니다.

Once you have those recordings,

이걸 모두 녹음한 다음에

what we need to do

해야 할 일은

is we have to parse these recordings

이 녹음을 분석하여

into little snippets of speech,

말에 쓰이는 작은 조각으로

one- or two-sound combinations,

그리고 이걸 다시 한두가지 소리의 조합으로 만드는데,

sometimes even whole words

때론 전체 단어로

that start populating a dataset or a database.

자료 집합 혹은 데이터베이스를 많이 만들어냅니다.

We're going to call this database a voice bank.

이런 자료 조합을 음성 은행이라고 합니다.

Now the power of the voice bank

음성 은행의 힘은

is that from this voice bank,

그로부터

we can now say any new utterance,

어떤 새로운 음성이라도 만들어낼 수 있다는 점에 있습니다.

like, "I love chocolate" --

--"나는 쵸코렛을 사랑해." 같은 말도요.

everyone needs to be able to say that—

누구나 이 말은 꼭 할 수 있어야 하잖아요. --

fish through that database

그 자료 집합에서 걸러내

and find all the segments necessary

그런 발음을 하는데 필요한

to say that utterance.

모든 단위를 찾아냅니다.

(Video) Voice: I love chocolate.

(영상) 음성: 나는 초코렛을 사랑해.

RP: So that's speech synthesis.

패텔: 이것이 통합된 음성입니다.

It's called concatenative synthesis, and that's what we're using.

흔히 '복합적 통합'이라고 하는데요. 우리가 사용하는 음성이 바로 이거에요.

That's not the novel part.

이건 특별히 새로운 것은 아닙니다.

What's novel is how we make it sound

독창적인 부분은 우리가 그걸 이용해 육성을 만드는 부분이에요.

like this young woman.

이 젊은 여성처럼이요.

This is Samantha.

이 여성분의 이름은 사만다라고 해요.

I met her when she was nine,

저는 이 아이가 9살때 처음 만났는데

and since then, my team and I

그 이후로, 저희 팀과 저는

have been trying to build her a personalized voice.

이 아이만의 음성을 만들려고 노력했습니다.

We first had to find a surrogate donor,

처음에 우리는 목소리를 빌려줄 사람을 찾아야만 했습니다.

and then we had to have Samantha

그리고는 사만다가

produce some utterances.

몇가지 소리를 내도록 했죠.

What she can produce are mostly vowel-like sounds,

그 아이가 낼 수 있는 소리는 대부분 모음처럼 들리는 것이었지만

but that's enough for us to extract

저희가 그 아이의 특색을 살린

her source characteristics.

육성을 추출하기에는 충분했습니다.

What happens next is best described

그 다음으로 했던 일은

by my daughter's analogy. She's six.

제 딸아이가 했던 것과 똑같아요. 이제 6살인데요.

She calls it mixing colors to paint voices.

그 애는 소리를 합성하는 것을 목소리에 색을 입힌다고 합니다.

It's beautiful. It's exactly that.

아주 아름다운 비유죠. 딱 그말이 맞습니다.

Samantha's voice is like a concentrated sample

사만다의 목소리는 빨강색 식용색소를

of red food dye which we can infuse

농축해 놓은 것과 같아서

into the recordings of her surrogate

그걸 기증된 목소리를 녹음한 것에 입혀

to get a pink voice just like this.

이런 핑크빛 목소리를 만들어 냅니다.

(Video) Samantha: Aaaaaah.

(영상) 사마다: 아~~

RP: So now, Samantha can say this.

패텔: 이제 사만다는 이런 말을 할 수 있어요.

(Video) Samantha: This voice is only for me.

(영상) 사만다: 이 목소리는 오직 나를 위한 목소리다.

I can't wait to use my new voice with my friends.

새로 받은 목소리로 어서 친구들과 얘기하고 싶어요.

RP: Thank you. (Applause)

패텔: 감사합니다. (박수)

I'll never forget the gentle smile

저는 사만다가 이 목소리를 처음 들었을 때,

that spread across her face

아이의 얼굴에 퍼지던

when she heard that voice for the first time.

부드러운 미소를 절대로 잊을 수가 없습니다.

Now there's millions of people

전세계에는 사만다와 같은 사람들이

around the world like Samantha, millions,

수백만 명이나 있어요. 수백만이요.

and we've only begun to scratch the surface.

저희는 이제 겨우 한걸음 내딛기 시작한 정도구요.

What we've done so far is we have

이제까지 우리가 해낸 일은

a few surrogate talkers from around the U.S.

미국에서 자신의 목소리를 기부하겠다고 해준

who have donated their voices,

몇몇의 봉사자를 찾아냈고

and we have been using those

우리는 그 목소리를 이용하여

to build our first few personalized voices.

몇몇 개별화된 목소리를 만들어냈어요.

But there's so much more work to be done.

하지만 아직도 해야할 일이 많습니다.

For Samantha, her surrogate

사만다의 경우에, 그 아이가 빌린 목소리는

came from somewhere in the Midwest, a stranger

중서부 어느 지역에서 받은건데

who gave her the gift of voice.

얼굴도 모르는 사람이 선물을 준 것이지요.

And as a scientist, I'm so excited

과학자로서 저는

to take this work out of the laboratory

실험실에서 이런 일을 해내고 실제 세상에도 확산할 수 있다는 것에

and finally into the real world

상당히 고무되어 있습니다.

so it can have real-world impact.

실생활에 영향을 미칠 수 있는 것이죠.

What I want to share with you next

그 다음으로 여러분들께

is how I envision taking this work

이런 작업을 어떻게 다음 단계로

to that next level.

이끌어 갈지에 대해 말씀드리고 싶어요.

I imagine a whole world of surrogate donors

저는 목소리 기증자가 전세계적으로 충분히 있어서

from all walks of life, different sizes, different ages,

어디를 가든, 다른 크기와 나이대에서 있기를 희망합니다.

coming together in this voice drive

모두가 이런 목소리 기증에 참여하여

to give people voices

사람들에게

that are as colorful as their personalities.

각자의 개성만큼이나 다양한 음색을 줄 수 있기를 바랍니다.

To do that as a first step,

그러기 위한 첫걸음으로

we've put together this website, VocaliD.org,

저희가 이런 웹사이트를 개설했어요. VocaliD.org 입니다.

as a way to bring together those

이를 통하여 목소리 기증자로

who want to join us as voice donors,

우리와 함께 하고자 하는 사람들을 한데 모으고

as expertise donors,

기증도 전문화하는 겁니다.

in whatever way to make this vision a reality.

그리고 어떤 방식으로든 이런 희망을 현실로 만들고자 합니다.

They say that giving blood can save lives.

사람들은 헌혈이 생명을 구할 수 있다고 말합니다.

Well, giving your voice can change lives.

자, 목소리를 기증하면 누군가의 삶을 바꿀 수 잇어요.

All we need is a few hours of speech

해야할 것이라곤 목소리 기증자로

from our surrogate talker,

몇 시간 발성하는 것이 전부에요.

and as little as a vowel from our target talker,

목소리가 필요한 사람이 내는 몇 가지 모음으로

to create a unique vocal identity.

각자의 개성에 맞는 음성을 창조해내는 겁니다.

So that's the science behind what we're doing.

그게 바로 저희가 하고 있는 일의 밑바탕에 깔린 과학입니다.

I want to end by circling back to the human side

저는 인간적인 측면으로 되돌아 가면서 강연을 마치고자 합니다.

that is really the inspiration for this work.

이런 작업을 하게 된 이유이기도 하죠.

About five years ago, we built our very first voice

5년전 즈음, 저희는 윌리엄이란 아이를 위해

for a little boy named William.

처음으로 목소리를 만들었었어요.

When his mom first heard this voice,

아이의 엄마가 그 목소리를 처음 들었을 때

she said, "This is what William

그녀가 이렇게 말했습니다.

would have sounded like

"이 음성이 윌리엄이 말을 할 수 있다면

had he been able to speak."

내리라고 생각하는 음성이에요."

And then I saw William typing a message

그리고는 윌리엄에 제게 자신의 기구를 통해

on his device.

문자 메시지를 쓰는 것을 보았습니다.

I wondered, what was he thinking?

저도 궁음했어요. 아이가 어떻게 생각할까?

Imagine carrying around someone else's voice

남의 목소리를 가지고 9년이나 살아오다가

for nine years

이제서야

and finally finding your own voice.

자기 자신만의 목소리를 찾게 된 것을 생각해보세요.

Imagine that.

그게 어떤 기분일지 한번 상상해 보세요.

This is what William said:

윌리엄에 제게 한 말입니다:

"Never heard me before."

"이제야 제 목소리를 들어보네요."

Thank you.

감사합니다.

(Applause)

(박수)