Dear Facebook, this is how you're breaking democracy | Yael Eisenstat

번역: 승민 이 검토: Jihyeon J. Kim

Around five years ago,

약 5년 전쯤에

it struck me that I was losing the ability

저는 제 사상을 공유하지 않는 사람들과

to engage with people who aren't like-minded.

소통할 능력을 상실하고 있음을 알게 되었습니다.

The idea of discussing hot-button issues with my fellow Americans

제 동료 미국인들과 민감한 문제에 대해 논의하는 것이

was starting to give me more heartburn

바다 건너편에 있는 극단주의자들과 논의하는 것보다 더 답답할 때가 많았죠.

than the times that I engaged with suspected extremists overseas.

It was starting to leave me feeling more embittered and frustrated.

이 문제는 저를 더욱 더 찜찜하고 불편하게 만들었습니다.

And so just like that,

그래서

I shifted my entire focus

저는 제 초점을

from global national security threats

범세계적 국가 안보 위협에서

to trying to understand what was causing this push

미국의 극단적 양극화에 대한

towards extreme polarization at home.

근본적인 원인 분석으로 옮겼습니다.

As a former CIA officer and diplomat

지난 몇 년간 양극화 이슈에 관한 연구를 해오던

who spent years working on counterextremism issues,

전 CIA 요원과 외교관으로서

I started to fear that this was becoming a far greater threat to our democracy

저는 이 양극화가 우리 민주주의의 그 어느 적보다 더 큰

than any foreign adversary.

위협이 될 수 있음을 직감했습니다.

And so I started digging in,

그래서 저는 이 문제에 깊숙이 파고들고

and I started speaking out,

제 목소리를 높이기 시작했죠.

which eventually led me to being hired at Facebook

이런 일들을 바탕으로 저는 페이스북에 고용이 됐고

and ultimately brought me here today

지금 이 기회를 통해

to continue warning you about how these platforms

여러분들에게 이 플랫폼들이 어떻게 우리의 사상을

are manipulating and radicalizing so many of us

극단적으로 치우치게 만드는지, 그리고 어떻게 하면 이 플랫폼들을

and to talk about how to reclaim our public square.

다시 우리의 것으로 만드는지에 대한 대화를 나누고자합니다.

I was a foreign service officer in Kenya

저는 9/11 테러 사건으로부터 몇 년 후

just a few years after the September 11 attacks,

케냐에 외무직 요원으로 일하면서

and I led what some call "hearts and minds" campaigns

많은 사람들이 말하길 "마음과 사상" 이라 하는 캠페인을

along the Somalia border.

소말리아 국경 근처에서 주도했습니다.

A big part of my job was to build trust with communities

이 일의 큰 부분은 극단주의적 사상에 잠식될 가능성이 가장 높은

deemed the most susceptible to extremist messaging.

커뮤니티 내에서 신뢰를 쌓는 것에 있었습니다.

I spent hours drinking tea with outspoken anti-Western clerics

저는 반서방주의인 성직자들과 몇 시간이나 차를 마시고

and even dialogued with some suspected terrorists,

심지어 테러범으로 의심되는 자들과도 대화를 나눴습니다.

and while many of these engagements began with mutual suspicion,

이러한 대화 중 다수는 상호적 의심으로부터 시작됐으나

I don't recall any of them resulting in shouting or insults,

이것이 욕설이 난무하는 경우로 변한 적은 기억하지 못합니다.

and in some case we even worked together on areas of mutual interest.

몇몇 사례에서는 상호 이해관계를 맺고 협력했죠.

The most powerful tools we had were to simply listen, learn

우리가 가지고 있던 가장 강력한 대화수단은 경청하는 것과 배우는 것,

and build empathy.

그리고 상대방을 이해하는 것이었습니다.

This is the essence of hearts and minds work,

이것이 우리 캠페인의 본질이었죠.

because what I found again and again is that what most people wanted

제가 보았을 때 이 사람들이 우리한테 가장 바랬던 것은

was to feel heard, validated and respected.

우리가 자신들의 이야기를 들어주는 것과 존중받는 것이었습니다.

And I believe that's what most of us want.

대부분 우리는 이것들을 원하죠.

So what I see happening online today is especially heartbreaking

그렇기에 지금 일어나고 있는 일들이 특히나 가슴 아프고

and a much harder problem to tackle.

해결하기 어려운 문제이기도합니다.

We are being manipulated by the current information ecosystem

우리들은 현재 이 정보 네트워크에 의해 한쪽 사상으로 극단적으로 치우치고

entrenching so many of us so far into absolutism

절대주의에 깊이 빠지어 타협은 생각도 못하게

that compromise has become a dirty word.

교묘히 이용당하고있습니다.

Because right now,

왜냐면 지금 현재

social media companies like Facebook

페이스북을 비롯한 많은 기업들이

profit off of segmenting us and feeding us personalized content

우리의 편견에서 비롯된 개인화된 콘텐츠로

that both validates and exploits our biases.

우리를 분열시킴으로써 이득을 보기 때문입니다.

Their bottom line depends on provoking a strong emotion

이런 회사들은 격한 감정을 이끌어 내고, 우리의 시선을 끄는 콘텐츠를

to keep us engaged,

제공하는데 의존하기 때문에

often incentivizing the most inflammatory and polarizing voices,

극단론자들의 콘텐츠를 우선적으로 제공함으로써 우리들에게

to the point where finding common ground no longer feels possible.

협상과 타협이 불가능하다는 생각이 들게끔 유도합니다.

And despite a growing chorus of people crying out for the platforms to change,

하지만 많은 요구에도 불구하고 이 회사들이 이런 정책들을

it's clear they will not do enough on their own.

바꾸지 않을 것임이 너무나도 뻔합니다.

So governments must define the responsibility

그러므로 이제는 정부에서

for the real-world harms being caused by these business models

기업들의 이런 정책들이

and impose real costs on the damaging effects

우리의 사회, 민주주의와 공중보건에 끼치는

they're having to our public health, our public square and our democracy.

악영향에 대해 책임지게 할 때입니다.

But unfortunately, this won't happen in time for the US presidential election,

유감스럽게도, 이런 제재는 다음 대통령 선거 전까지는 이행되지 못할 겁니다.

so I am continuing to raise this alarm,

그래서 제가 계속 상기시켜 드리는 겁니다.

because even if one day we do have strong rules in place,

왜냐하면 어느날 강경한 규율이 세워진다 한들

it will take all of us to fix this.

우리 모두가 고쳐나가야 할 문제이기 때문입니다.

When I started shifting my focus from threats abroad

제가 제 초점을 국가 안보 위협에서

to the breakdown in civil discourse at home,

우리의 사회적 분열으로 옮겼을 때

I wondered if we could repurpose some of these hearts and minds campaigns

저는 "마음과 사상" 캠페인을 재활용해

to help heal our divides.

이 분열을 치유해보면 어떨지 생각했습니다.

Our more than 200-year experiment with democracy works

우리의 200년 된 민주주의가 성공 할 수 있었던 가장 큰 이유는

in large part because we are able to openly and passionately

우리가 우리들의 생각에 대해 자유롭게 토론하고 해답을

debate our ideas for the best solutions.

찾을 수 있었기 때문입니다.

But while I still deeply believe

저는 지금도 대면 방식의

in the power of face-to-face civil discourse,

시민 담론의 힘을 믿습니다만

it just cannot compete

SNS가 우리에게 끼치는

with the polarizing effects and scale of social media right now.

악영향에 비해서는 역부족입니다.

The people who are sucked down these rabbit holes

이런 기업들의 술책에 속수무책으로 빠져드는 사람들은

of social media outrage

often feel far harder to break of their ideological mindsets

제가 케냐에서 보았던 사람들보다 더욱 더

than those vulnerable communities I worked with ever were.

자신의 극단화된 사상으로부터 해어 나오기 힘들어합니다.

So when Facebook called me in 2018

그래서 저는 2018년 페이스북으로부터

and offered me this role

선거 광고 운영 총괄자로

heading its elections integrity operations for political advertising,

고용 오퍼가 들어왔을 때

I felt I had to say yes.

저는 수락해야만 했습니다.

I had no illusions that I would fix it all,

이 상황을 다 바로잡으리라 예상하지는 않았지만

but when offered the opportunity

우리가 탄 배를 정확한 방향으로

to help steer the ship in a better direction,

바꾸는 기회가 주어졌을 때

I had to at least try.

그래도 시도는 해봐야겠다고 생각했습니다.

I didn't work directly on polarization,

양분화에 대하여 직접적으로 일을 한 것은 아니지만

but I did look at which issues were the most divisive in our society

우리 사회에서 가장 분열화된 쟁점들을 관찰할 수 있었습니다.

and therefore the most exploitable in elections interference efforts,

가장 유리하게 이용할 수 있는 선거 개입 활동들도 말이죠.

which was Russia's tactic ahead of 2016.

2016년 이전의 러시아의 전략처럼요.

So I started by asking questions.

그래서 질문을 하기 시작했습니다.

I wanted to understand the underlying systemic issues

어떤 조직적 기반 문제들이

that were allowing all of this to happen,

이것들을 가능하게 했고,

in order to figure out how to fix it.

어떻게 고칠 수 있는지요.

Now I still do believe in the power of the internet

그래도 저는 인터넷이 더 많은 의견들이 표출되게

to bring more voices to the table,

도와준다고 생각합니다.

but despite their stated goal of building community,

하지만 그들이 하나된 공동체를 만든다는 목표와 상반되어,

the largest social media companies as currently constructed

현재의 대기업 SNS들은

are antithetical to the concept of reasoned discourse.

이유에 근거한 담론이 살아남기 힘들게 구조화되어 있습니다.

There's no way to reward listening,

사용자, 활동량 증가가 성공의 키인 사업체에서

to encourage civil debate

경청을 옹호하고,

and to protect people who sincerely want to ask questions

정중한 토론을 장려하고,

in a business where optimizing engagement and user growth

진정성 있는 질문자들을

are the two most important metrics for success.

보호할 일은 없을 겁니다.

There's no incentive to help people slow down,

사람들이 더 천천히 생각하고

to build in enough friction that people have to stop,

사람들이 멈출 때를 알게 해주고

recognize their emotional reaction to something,

어떤 것에 대한 자신의 반응을 관찰하고

and question their own assumptions before engaging.

자신의 편견들을 되돌아 보게 할 필요가 없거든요.

The unfortunate reality is:

바로 안타까운 현실은

lies are more engaging online than truth,

온라인에서 거짓말은 진실보다 매혹적이고,

and salaciousness beats out wonky, fact-based reasoning

빠르고 급속적인 세상에서

in a world optimized for frictionless virality.

추잡스러움은 시시하고 사실적인 추론을 이깁니다.

As long as algorithms' goals are to keep us engaged,

알고리즘의 목표가 우리가 계속 SNS를 하게 만드는 것인 이상,

they will continue to feed us the poison that plays to our worst instincts

우리의 최악의 본능과 약점을 이끌어내는

and human weaknesses.

독을 계속 먹일 것입니다.

And yes, anger, mistrust,

분노, 불신,

그리고 무서움과 증오의 문화,

the culture of fear, hatred:

none of this is new in America.

다 미국에서 있던 것이지만,

But in recent years, social media has harnessed all of that

최근에 SNS 는 그것들을 포용하고,

and, as I see it, dramatically tipped the scales.

제가 보기에는, 극단화 시켰습니다.

And Facebook knows it.

그리고 페이스북도 압니다.

A recent "Wall Street Journal" article

최근에 월 스트리트 저널에서 나온 기사가

exposed an internal Facebook presentation from 2018

페이스북 사내에서 2018년에 이루어진 발표를 폭로했는데

that specifically points to the companies' own algorithms

바로 여기서 회사의 알고리즘을 통해

for growing extremist groups' presence on their platform

극단주의 단체들의 존재감을 높이고

and for polarizing their users.

사용자들을 분열시키자는 내용이 나왔습니다.

But keeping us engaged is how they make their money.

우리 활동을 부추기는 것이 바로 그들이 돈을 버는 방법이기 때문이죠.

The modern information environment is crystallized around profiling us

현재의 정보 세상은 우리의 자료를 수집하고,

and then segmenting us into more and more narrow categories

더 좁은 카테고리로 분류하여

to perfect this personalization process.

개인화 과정을 다지는것에 따라 형성되었습니다.

We're then bombarded with information confirming our views,

그 다음에 우리의 사상을 검증하고,

reinforcing our biases,

편견들을 강화시키고

and making us feel like we belong to something.

소속감을 주는 정보로 공격당합니다.

These are the same tactics we would see terrorist recruiters

이것들은 테러리스트 모집원들이

using on vulnerable youth,

그들에게 사상을 주입하기 위해

albeit in smaller, more localized ways before social media,

SNS 이전에 더 작고, 지역적인 방법으로

with the ultimate goal of persuading their behavior.

취약한 청년층에게 사용하는 방법과 같습니다.

Unfortunately, I was never empowered by Facebook to have an actual impact.

불행하게도, 전 변화를 줄 수 있을 정도로 페이스북에서 권한을 부여받지 못했습니다.

In fact, on my second day, my title and job description were changed

사실 제 두 번째 날, 제 직책과 업무 내용이 바뀌어 있었으며

and I was cut out of decision-making meetings.

중대한 회의들에서 제외되었습니다.

My biggest efforts,

제 가장 큰 노력들,

trying to build plans

계흭적으로 허위정보와 정치적 광고를 통한 유권자 억압을 막는 것,

to combat disinformation and voter suppression in political ads,

were rejected.

모두 거절당했습니다.

And so I lasted just shy of six months.

그래서 약 6개월 후 회사를 그만뒀습니다.

But here is my biggest takeaway from my time there.

제가 이 경험에서 배운 건 이것입니다.

There are thousands of people at Facebook

바로 열정적으로 제품 개발에 몰두하는

who are passionately working on a product

몇천명의 페이스북 직원들은

that they truly believe makes the world a better place,

세상을 더 좋은 곳으로 만들 수 있다고 믿지만,

but as long as the company continues to merely tinker around the margins

회사가 계속 컨텐츠 관리와 정책에

of content policy and moderation,

소홀이 행동하고

as opposed to considering

수익 창출과 플랫폼 설계에만

how the entire machine is designed and monetized,

집중하는 이상,

they will never truly address how the platform is contributing

이 플랫폼이 어떻게 혐오, 분열과 급진화에 앞장서는지

to hatred, division and radicalization.

신경써서 고치려 하진 않을 겁니다.

And that's the one conversation I never heard happen during my time there,

제가 거기서 일할 때 이런 것에 대한 언급은 듣지를 못했습니다.

because that would require fundamentally accepting

그러기 위해서는

that the thing you built might not be the best thing for society

그들이 만든게 근본적으로 사회에 해가 되는것을 인정하고

and agreeing to alter the entire product and profit model.

제품 전체와 수익 창출 방법을 바꿔야 하기 때문일 겁니다.

So what can we do about this?

그래서 우린 무얼 할 수 있을까요?

I'm not saying that social media bears the sole responsibility

전 지금 이 상황에 놓이게 된 것이

for the state that we're in today.

SNS만의 책임이라고 하는 것은 아닙니다.

Clearly, we have deep-seated societal issues that we need to solve.

분명히, 우리는 풀어나가야 할 뿌리 깊은 사회적 문제들이 많죠.

But Facebook's response, that it is just a mirror to society,

하지만 페이스북이 이건 모두 다 사회의 본모습일 뿐이라고 주장하는 것은,

is a convenient attempt to deflect any responsibility

그들의 플랫폼이 해로운 콘텐츠를 확산하고

from the way their platform is amplifying harmful content

몇몇 유저들을 극단적인 사상으로 밀어넣는 것에 대한

and pushing some users towards extreme views.

책임 회피일 뿐입니다.

And Facebook could, if they wanted to,

페이스북이 원한다면,

fix some of this.

어느 정도는 고칠 수 있을 겁니다.

They could stop amplifying and recommending the conspiracy theorists,

그들이 음모론자들, 증오 집단들,

the hate groups, the purveyors of disinformation

그리고 가짜 뉴스를 조달하는 사람들을 그만 부추기고 추천하면 됩니다.

and, yes, in some cases even our president.

심지어 우리의 대통령도 말이죠.

They could stop using the same personalization techniques

그들이 우리에게 운동화를 광고하듯이

to deliver political rhetoric that they use to sell us sneakers.

정치적으로 설득하는 것을 그만하면 됩니다.

They could retrain their algorithms

그들이 알고리즘을 재훈련 시키면 될 겁니다.

to focus on a metric other than engagement,

활동량이 아닌 다른 지표를 세우고,

and they could build in guardrails to stop certain content from going viral

특정 콘텐츠가 인기를 얻지 못하게

before being reviewed.

안전 장치를 설치함으로써 말이죠.

And they could do all of this

이것을 다 하면서도

without becoming what they call the arbiters of truth.

그들이 지칭하는 "진실의 중재자"가 되지 않을 수 있습니다.

But they've made it clear that they will not go far enough

하지만 그들이 강제되지 않는 이상

to do the right thing without being forced to,

옮은 일을 하지 않을 것이라고 명백히 밝혔습니다.

and, to be frank, why should they?

솔직히, 그들이 굳이 그럴 이유도 없으니까요.

The markets keep rewarding them, and they're not breaking the law.

시장에서 계속 수익이 나며, 법을 어기는 것도 아니기 때문이죠.

Because as it stands,

왜냐하면 현재 상황에서는

there are no US laws compelling Facebook, or any social media company,

미국의 어느 법도 페이스북이나 다른 SNS업체들이

우리의 의견을 내는 공간

to protect our public square,

우리의 민주주의나 선거를 보호하도록

our democracy

and even our elections.

강제하지 않기 때문입니다.

We have ceded the decision-making on what rules to write and what to enforce

우리는 지금까지 영리 인터넷 기업들의 CEO들에게

to the CEOs of for-profit internet companies.

무슨 규칙을 세우고 무엇을 강제할지 맡겨왔습니다.

Is this what we want?

서로 독이 되고 분열되어

A post-truth world where toxicity and tribalism

유대감 없이 교감만 찾아 헤매는 진실을 외면하는 세상,

trump bridge-building and consensus-seeking?

이게 정말 우리가 원하는 것일까요?

I do remain optimistic that we still have more in common with each other

그래도 아직은 우리가 SNS에서 보이는 것보다는

than the current media and online environment portray,

서로 닮은 점이 많다라고 긍정적으로 생각합니다.

and I do believe that having more perspective surface

그리고 더 많은 관점들을 수용하는 것이

makes for a more robust and inclusive democracy.

더욱 건강하고 포용적인 민주주의를 만든다고 믿습니다.

But not the way it's happening right now.

하지만 지금처럼은 아닙니다.

And it bears emphasizing, I do not want to kill off these companies.

강조하는데, 저는 이 회사들을 죽이고 싶은 마음이 없습니다.

I just want them held to a certain level of accountability,

그냥 어느 정도의 책임감만 질 수 있었으면 좋겠습니다.

just like the rest of society.

사회의 다른 것들처럼 말이죠.

It is time for our governments to step up and do their jobs

이제 우리의 정부들이 일어서서

of protecting our citizenry.

우리의 시민성을 지킬 때가 됐습니다.

And while there isn't one magical piece of legislation

이걸 모두 고쳐줄 마법같은 법안이

that will fix this all,

존재하는 것은 아니지만

I do believe that governments can and must find the balance

정부가 표현의 자유 보장과 SNS가 사회에 미치는 영향에 대해

between protecting free speech

책임을 지게 하는 것, 그 사이에 균형을 찾을 수 있으며,

and holding these platforms accountable for their effects on society.

찾아야 한다고 생각합니다.

And they could do so in part by insisting on actual transparency

그리고 그들은 이걸 추천 알고리즘과

around how these recommendation engines are working,

개인화, 증폭과 타겟팅을 어떻게 하는지

around how the curation, amplification and targeting are happening.

투명하게 밝힘으로써 도울 수 있습니다.

You see, I want these companies held accountable

이 회사들이

not for if an individual posts misinformation

개개인이 가짜 정보나

극단적인 사상을 개재하는것이 아닌

or extreme rhetoric,

but for how their recommendation engines spread it,

그들의 알고리즘이 이걸 어떻게 퍼트리고,

how their algorithms are steering people towards it,

사람들을 끌어들이며,

and how their tools are used to target people with it.

타겟팅을 하는지에 대하여 책임을 졌으면 좋겠습니다.

I tried to make change from within Facebook and failed,

제가 페이스북 안에서 변화를 주는 것에 실패했지만,

and so I've been using my voice again for the past few years

지난 몇 년간 다시 목소리를 내어

to continue sounding this alarm

사람들이 회사들에게 이런 책임을 요구하기를 원하며

and hopefully inspire more people to demand this accountability.

계속 경고를 하고 있는 중입니다.

My message to you is simple:

제가 여러분에게 하고 싶은 말은 간단합니다:

pressure your government representatives

정부에게 압력을 주어

to step up and stop ceding our public square to for-profit interests.

우리가 목소리를 내는 공간을 영리 법인들에게 양도하는 것을 멈추라고 말이죠.

Help educate your friends and family

친구들과 가족들에게

about how they're being manipulated online.

그들이 온라인상에서 어떻게 이용당하는지 알려주고,

Push yourselves to engage with people who aren't like-minded.

비슷한 사상을 가지지 않은 사람들과 어울리도록 노력하세요.

Make this issue a priority.

이 문제를 우선시켜 주세요.

We need a whole-society approach to fix this.

사회 모두가 참여해야 고칠 수 있습니다.

And my message to the leaders of my former employer Facebook is this:

제 전 직장인 페이스북의 총수들에게 바칩니다:

right now, people are using your tools exactly as they were designed

지금도 사람들은 당신들이 만든 도구들로

to sow hatred, division and distrust,

증오, 분단과 불신을 퍼트리고 있으며

and you're not just allowing it, you are enabling it.

당신들은 그것들을 허락하는 것을 넘어서 유도하고 있습니다.

And yes, there are lots of great stories

물론 당신들의 플랫폼에는 전 세계에서 나오는

of positive things happening on your platform around the globe,

긍정적이고 근사한 이야기들이 많이 있지만,

but that doesn't make any of this OK.

이것들을 정당화시키는 것은 아닙니다.

And it's only getting worse as we're heading into our election,

이제 선거에 더 가까워질수록 더욱 나빠지고 있는데

and even more concerning,

더욱더 걱정인 것은

face our biggest potential crisis yet,

가장 큰 국면이 일어날 경우

if the results aren't trusted, and if violence breaks out.

바로 결과를 받아들이지 못하고 폭력 시위가 일어날 경우입니다.

So when in 2021 you once again say, "We know we have to do better,"

그러니 2021년에 또 "우리가 더 잘하겠습니다" 라고 할 때,

I want you to remember this moment,

이 순간을 기억해주세요.

because it's no longer just a few outlier voices.

왜냐하면 이제는 소수의 목소리가 아닌

Civil rights leaders, academics,

인권운동 지도자, 교수와 학생,

journalists, advertisers, your own employees,

기자, 광고주와 당신의 직원들이

are shouting from the rooftops

당신들의 정책과 운영 방식이

that your policies and your business practices

사람들과 민주주의에 해악을 끼친다고

are harming people and democracy.

외치고 있으니까요.

You own your decisions,

당신들의 결정은 당신들이 한 것이지만,

but you can no longer say that you couldn't have seen it coming.

이렇게 될 걸 예측하지 못했다고 말할 수는 없을 겁니다.

감사합니다.

Thank you.