How technology can fight extremism and online harassment | Yasmin Green

Translator: Irena Djourelova Reviewer: Yavor Ivanov

My relationship with the internet reminds me of the setup

Моята връзка с интернет напомня на филмов декор

to a clichéd horror movie.

към клиширан филм на ужасите.

You know, the blissfully happy family moves in to their perfect new home,

Сещате се, блажено щастливото семейство се нанася в своя перфектен нов дом,

excited about their perfect future,

вълнувайки се за своето перфектно бъдеще,

and it's sunny outside and the birds are chirping ...

а навън е слънчево и птичките пеят...

And then it gets dark.

И тогава се стъмва.

And there are noises from the attic.

И от тавана се чуват звуци.

And we realize that that perfect new house isn't so perfect.

И тогава осъзнаваме, че тази перфектна нова къща не e толкова перфектна.

When I started working at Google in 2006,

Когато започнах да работя в Гугъл през 2006-та,

Facebook was just a two-year-old,

Фейсбук беше на едва две години,

and Twitter hadn't yet been born.

а Туитър дори не беше роден.

And I was in absolute awe of the internet and all of its promise

А аз бях абсолютно изумена от интернет и целия му потенциал

to make us closer

да ни направи по-близки,

and smarter

и по-умни,

and more free.

и по-свободни.

Но докато ние се занимавахме с вдъхновяващата работа

But as we were doing the inspiring work of building search engines

да създаваме търсачки,

and video-sharing sites and social networks,

и сайтове за видео споделяне, и социални мрежи;

criminals, dictators and terrorists were figuring out

престъпниците, диктаторите и терористите разбираха

how to use those same platforms against us.

как да използват същите тези платформи против нас.

And we didn't have the foresight to stop them.

А ние не бяхме достатъчно предвидливи, за да ги спрем.

Over the last few years, geopolitical forces have come online to wreak havoc.

През последните години геополитическите сили

дойдоха в интернет, за да опустошат безпорядъка.

And in response,

И в отговор,

Google supported a few colleagues and me to set up a new group called Jigsaw,

Гугъл подкрепи мен и няколко мои колеги

в изграждането на нова група, наречена Джигсоу,

with a mandate to make people safer from threats like violent extremism,

с целта да направи хората по-защитени от заплахи като насилствения екстремизъм,

censorship, persecution --

цензурата, тормоза -

threats that feel very personal to me because I was born in Iran,

заплахи, които приемам за много лични, защото съм родена в Иран

and I left in the aftermath of a violent revolution.

и заминах по време на последиците от една кървава революция.

But I've come to realize that even if we had all of the resources

Но с времето осъзнах, че дори да имахме всичките ресурси

of all of the technology companies in the world,

на всички технологични компании на света,

we'd still fail

ние пак бихме се провалили,

if we overlooked one critical ingredient:

ако подценим една критична съставка:

the human experiences of the victims and perpetrators of those threats.

човешките преживявания на жертвите и виновниците за тези заплахи.

There are many challenges I could talk to you about today.

Има много предизвикателства, за които мога да ви говоря днес.

I'm going to focus on just two.

Но ще се фокусирам само на две от тях.

The first is terrorism.

Първото е тероризмът.

So in order to understand the radicalization process,

За да разберем процеса на радикализация,

we met with dozens of former members of violent extremist groups.

ние се срещнахме с дузина бивши членове на групировки за насилнически екстремизъм.

One was a British schoolgirl,

Една от тях беше британска ученичка,

who had been taken off of a plane at London Heathrow

която е била свалена от самолет в Лондон Хийтроу,

as she was trying to make her way to Syria to join ISIS.

докато се е опитвала да стигне до Сирия, за да се присъедини към Ислямска държава.

And she was 13 years old.

И тя беше на 13 години.

So I sat down with her and her father, and I said, "Why?"

И така, седнах с нея и баща ѝ, и попитах - "Защо?".

And she said,

А тя отговори -

"I was looking at pictures of what life is like in Syria,

"Гледах снимки за това какъв е животът в Сирия,

and I thought I was going to go and live in the Islamic Disney World."

и си помислих, че отивам да живея в ислямския Дисниленд."

That's what she saw in ISIS.

Това видяла тя в Ислямска държава.

She thought she'd meet and marry a jihadi Brad Pitt

Тя си е помислила, че ще срещне и ще се омъжи за джихадския Брат Пит,

and go shopping in the mall all day and live happily ever after.

и че ще пазарува по цял ден в мола, и че ще заживее щастливо.

ISIS understands what drives people,

Ислямска държава разбира какво мотивира хората

and they carefully craft a message for each audience.

и избира внимателно как да сглоби послание за всяка аудитотия.

Само погледнете на колко много езици

Just look at how many languages

they translate their marketing material into.

те превеждат своите маркетинг материали.

They make pamphlets, radio shows and videos

Те правят памфлети, радио предавания и видеа,

in not just English and Arabic,

и те не са само на английски и арабски,

but German, Russian, French, Turkish, Kurdish,

но също на немски, руски, френски, турски, кюрдски,

Hebrew,

хибру,

Mandarin Chinese.

китайски мандарин.

Виждала съм дори видео, продуцирано от Ислямска дръжава,

I've even seen an ISIS-produced video in sign language.

на езика на глухонемите.

Just think about that for a second:

Само си помислете за това за секунда:

ISIS took the time and made the effort

Ислямска държава е отделила време и е положила усилия

to ensure their message is reaching the deaf and hard of hearing.

да бъде сигурна, че посланието им достига до глухите и трудно чуващите.

Всъщност, технологическа напредничевост не е

It's actually not tech-savviness

that is the reason why ISIS wins hearts and minds.

причината, поради която Ислямска държава печели сърца и умове.

It's their insight into the prejudices, the vulnerabilities, the desires

Техните познания за предразсъдъците, слабостите, желанията

на хората, до които се опитват да достигнат,

of the people they're trying to reach

that does that.

са това, което ги движи.

That's why it's not enough

Ето защо не е достатъчно

for the online platforms to focus on removing recruiting material.

за онлайн платформите да се фокусират

върху премахването на материалите за наемане на хора.

If we want to have a shot at building meaningful technology

Ако искаме да притежаваме шанса да създадем смислена технология,

that's going to counter radicalization,

която да се противопоставя на радикализацията,

we have to start with the human journey at its core.

трябва да започнем с човешкия път в неговата сърцевина.

So we went to Iraq

И така, ние отидохме до Ирак,

to speak to young men who'd bought into ISIS's promise

за да говорим с млади мъже,

които се бяха подвели от обещанието на Ислямска държава

of heroism and righteousness,

за героичност и правда,

who'd taken up arms to fight for them

които бяха вдигнали сами ръка, за да се бият за тях,

and then who'd defected

after they witnessed the brutality of ISIS's rule.

и които бяха дезертирали,

след като бяха видяли бруталността на режима на Ислямска държава.

And I'm sitting there in this makeshift prison in the north of Iraq

И аз седя в този импровизиран затвор в северната част на Ирак

with this 23-year-old who had actually trained as a suicide bomber

с този 23-годишен, който всъщност беше обучен за атентатор самоубиец

before defecting.

преди да дезертира.

And he says,

И той казва -

"I arrived in Syria full of hope,

"Дойдох в Сирия пълен с надежда,

and immediately, I had two of my prized possessions confiscated:

и незабавно две от моите най-ценни притежания бяха конфискувани:

my passport and my mobile phone."

моят паспорт и мобилният ми телефон."

The symbols of his physical and digital liberty

Символите на неговата физическа и дигитална свобода

were taken away from him on arrival.

са били отнети от него при пристигането му.

And then this is the way he described that moment of loss to me.

И после, това е начинът, по който той описа този момент на загуба пред мен.

He said,

Той каза -

"You know in 'Tom and Jerry,'

"Сещаш ли се как в "Том и Джери",

when Jerry wants to escape, and then Tom locks the door

когато Джери иска да избяга, и после Том заключи вратата,

and swallows the key

и глътнe ключа,

and you see it bulging out of his throat as it travels down?"

виждаш издутината в гърлото му, докато слиза надолу?"

And of course, I really could see the image that he was describing,

Разбира се, аз наистина можех да видя картината, която той описваше,

and I really did connect with the feeling that he was trying to convey,

и наистина разбрах чувството, което той се опитваше да пресъздаде,

which was one of doom,

което беше чувството на обреченост,

when you know there's no way out.

когато знаеш, че няма изход.

And I was wondering:

И се зачудих -

What, if anything, could have changed his mind

"Какво, ако въобще има нещо, би могло да промени решението му

the day that he left home?

в деня, в който е напуснал дома си?"

So I asked,

"If you knew everything that you know now

И така, аз попитах -

"Ако знаеше всичко, което знаеш сега,

about the suffering and the corruption, the brutality --

за страданието, корупцията, бруталността,

that day you left home,

в деня, когато напусна дома си,

would you still have gone?"

би ли го напуснал пак?"

And he said, "Yes."

А той каза - "Да".

And I thought, "Holy crap, he said 'Yes.'"

И аз си помислих - "Божичко, той каза "Да". "

And then he said,

И тогава той отвърна -

"At that point, I was so brainwashed,

"В този момент мозъкът ми беше толкова промит,

I wasn't taking in any contradictory information.

че не възприемах никаква противоречаща информация.

I couldn't have been swayed."

Не можех да бъда разколебан."

"Well, what if you knew everything that you know now

"Добре, а ако знаеше всичко, което знаеш сега,

six months before the day that you left?"

шест месеца преди деня, в който замина?"

"At that point, I think it probably would have changed my mind."

"В онзи момент, мисля, че най-вероятно щях да променя решението си."

Radicalization isn't this yes-or-no choice.

Радикализацията не е този категоричен избор.

It's a process, during which people have questions --

Тя е процес, през който хората имат въпроси -

about ideology, religion, the living conditions.

за идеологията, религията, условията за живот.

And they're coming online for answers,

И идват онлайн за отговорите,

which is an opportunity to reach them.

което е възможност да бъдат достигнати.

And there are videos online from people who have answers --

И онлайн има видеа от хора, които имат отговорите -

defectors, for example, telling the story of their journey

дезертьори, например, които разказват историята на своя път

into and out of violence;

към и извън насилието;

stories like the one from that man I met in the Iraqi prison.

истории като на онзи мъж, с който се срещнах в иракския затвор.

There are locals who've uploaded cell phone footage

Там има местни, които качват онлайн материали от мобилните си телефони,

of what life is really like in the caliphate under ISIS's rule.

показвайки какъв наистина е животът

в калифата под управлението на Ислямска държава.

There are clerics who are sharing peaceful interpretations of Islam.

Има духовни лица, които споделят мирни интерпретации на исляма.

But you know what?

Но знаете ли какво?

These people don't generally have the marketing prowess of ISIS.

Тези хора обикновено нямат маркетинг нюха на Ислямска държава.

Те рискуват живота си, за да проговорят

They risk their lives to speak up and confront terrorist propaganda,

и да се противопоставят на терористическата пропаганда,

and then they tragically don't reach the people

и след това те трагично не достигат до хората,

who most need to hear from them.

които имат най-голяма нужда да ги чуят.

And we wanted to see if technology could change that.

Поискахме да видим дали технологиите могат да променят това.

So in 2016, we partnered with Moonshot CVE

И така, през 2016-та започнахме да си партнираме с организацията Мууншот,

to pilot a new approach to countering radicalization

за да изпробваме нов подход за противопоставяне на радикализацията,

called the "Redirect Method."

наречен "Метод за пренасочване".

It uses the power of online advertising

Той използва силата на онлайн рекламата,

to bridge the gap between those susceptible to ISIS's messaging

за да преодолее разликата между тези,

поддаващи се на посланията на Ислямска държава,

and those credible voices that are debunking that messaging.

и тези с гласове, заслужаващи доверие, които развенчават въпросните послания.

And it works like this:

И работи ето така:

someone looking for extremist material --

някой търси екстремистки материали -

say they search for "How do I join ISIS?" --

да речем, търсят:

"Как да се присъединя към Ислямска държава?",

will see an ad appear

и ще видят как се повявява реклама,

that invites them to watch a YouTube video of a cleric, of a defector --

която им предлага да гледат Ютуб видео на духовник, на дезертьор -

someone who has an authentic answer.

някой, който има автентичен отговор.

And that targeting is based not on a profile of who they are,

Този таргетинг не е основан на профила, който показва кои са,

but of determining something that's directly relevant

а детерминирайки нещо, което директно съвпада

to their query or question.

с тяхното търсене или въпрос.

През пилотните ни осем седмици, ползвайки английски и арабски,

During our eight-week pilot in English and Arabic,

we reached over 300,000 people

достигнахме до повече от 300 000 души,

who had expressed an interest in or sympathy towards a jihadi group.

които бяха изявили интерес или симпатия към джихадистка група.

These people were now watching videos

Същите хора сега гледат нашите видеа,

that could prevent them from making devastating choices.

които могат да ги предпазят от правенето на деструктивни избори.

And because violent extremism isn't confined to any one language,

И защото насилственият екстремизъм не е обвързан само с един език,

religion or ideology,

религия или идеалология,

the Redirect Method is now being deployed globally

Методът за пренасочване сега се използва глобално,

to protect people being courted online by violent ideologues,

за да предпази хората от това да бъдат ухажвани онлайн от насилствени идеалогии,

whether they're Islamists, white supremacists

било то ислямисти, бели супремасисти

or other violent extremists,

или други агресивни екстремисти,

with the goal of giving them the chance to hear from someone

с целта да дадем шанс да чуем гласа на някого

on the other side of that journey;

от другата страна на това пътешествие;

to give them the chance to choose a different path.

да им дадем шанс да изберат различен път.

It turns out that often the bad guys are good at exploiting the internet,

Оказва се, че най-често лошите хора са добри в експлоатацията на интернет,

not because they're some kind of technological geniuses,

не защото те са някакъв вид технологични гении,

but because they understand what makes people tick.

а защото разбират какво мотивира хората.

I want to give you a second example:

Искам да ви дам втори пример:

online harassment.

онлайн тормозът.

Online harassers also work to figure out what will resonate

Онлайн тормозителите също полагат усилия, за да разберат какво ще резонира

with another human being.

с друго човешко същество.

But not to recruit them like ISIS does,

Но не за да ги привлекат, както Ислямска държава прави,

but to cause them pain.

а за да им причинят болка.

Imagine this:

Представете си това:

you're a woman,

Вие сте жена,

you're married,

омъжена сте,

you have a kid.

имате дете.

You post something on social media,

Публикувате нещо в социалните медии,

and in a reply, you're told that you'll be raped,

а в отговор Ви се казва, че ще бъдете изнасилена,

that your son will be watching,

че Вашият син ще гледа,

details of when and where.

с детайли къде и кога.

In fact, your home address is put online for everyone to see.

Всъщност, адресът Ви е онлайн и всеки може да го види.

That feels like a pretty real threat.

Това изглежда като доста реалистична заплаха.

Мислите ли, че бихте се прибрала вкъщи?

Do you think you'd go home?

Do you think you'd continue doing the thing that you were doing?

Мислите ли, че ще продължите да правите това, което сте правила до момента?

Would you continue doing that thing that's irritating your attacker?

Ще продължите ли да вършите нещото, което дразни Вашия заплашител?

Онлайн тормозът се е превърнал в това перверзно изкуство

Online abuse has been this perverse art

of figuring out what makes people angry,

да откриеш какво кара хората да се ядосват,

what makes people afraid,

какво ги кара да се страхуват,

what makes people insecure,

какво ги кара да се чувстват несигурни,

and then pushing those pressure points until they're silenced.

и после да натискаш тези точки на напрежение, докато не замлъкнат.

When online harassment goes unchecked,

Когато онлайн тормозът остане непроврен,

free speech is stifled.

свободата на словото се схваща.

And even the people hosting the conversation

И дори хората, поддържащи комуникацията

throw up their arms and call it quits,

вдигат ръце във въздуха и се отказват,

closing their comment sections and their forums altogether.

затварят своите секции за коментари и техните форуми като цяло.

That means we're actually losing spaces online

Това означава, че ние губим нашите онлайн пространства

to meet and exchange ideas.

за досег и обмен на идеи.

And where online spaces remain,

А там, където онлайн пространствата останат,

we descend into echo chambers with people who think just like us.

ние ги превръщаме в ехо камари, пълни с хора, които мислят точно като нас.

But that enables the spread of disinformation;

Но това позволява разпространяването на дезинформация,

that facilitates polarization.

което улеснява поляризацията.

What if technology instead could enable empathy at scale?

Какво ще стане, ако технологията, вместо това,

успее да предизвика мащабна емпатия?

This was the question that motivated our partnership

Това беше въпросът, който мотивира нашето партньорство

with Google's Counter Abuse team,

с отдела против тормоз на Гугъл,

Wikipedia

с Уикипедия

and newspapers like the New York Times.

и с вестници като Ню Йорк Таймс.

We wanted to see if we could build machine-learning models

Искахме да видим дали можем да построим модели за машинно самообучение,

that could understand the emotional impact of language.

които да разбират емоционалното влияние на езика.

Можем ли да предвидим кои коментари

Could we predict which comments were likely to make someone else leave

имат потенциала да накарат някой друг да напусне

the online conversation?

онлайн разговора.

And that's no mean feat.

И това е сериозен успех.

That's no trivial accomplishment

Това не е тривиално постижение

for AI to be able to do something like that.

за изкуствения интелект да направи подобно нещо.

I mean, just consider these two examples of messages

Имам предвид, помислете си само за тези два примера за съобщения,

that could have been sent to me last week.

които можеха да ми бъдат пратени миналата седмица.

"Break a leg at TED!"

"Успех на ТЕД!" (буквален превод: "Счупи крак на ТЕД!")

... and

..и

"I'll break your legs at TED."

"Ще ти счупя краката на ТЕД."

(Laughter)

(Смях)

You are human,

Вие сте хора,

that's why that's an obvious difference to you,

затова има очевидна разлика за вас,

even though the words are pretty much the same.

дори думите да са горе-долу еднакви.

But for AI, it takes some training to teach the models

Но за изкуствения интелект се изисква подготовка, за бъдат научени моделите,

to recognize that difference.

чрез които се разпознава тази разлика.

The beauty of building AI that can tell the difference

Красотата на това да създадеш изкуствен интелект, който може да прави тази разлика,

is that AI can then scale to the size of the online toxicity phenomenon,

е в това, че изкуственият интелект после става съизмерим с мащабността на онлайн токсичността,

and that was our goal in building our technology called Perspective.

и това беше нашата цел при създаването на технология, наречена "Перспектива".

With the help of Perspective,

С помощта на Перпектива,

the New York Times, for example,

Ню Йорк Таймс, например,

has increased spaces online for conversation.

увеличиха техните пространства за онлайн разговори.

Before our collaboration,

Преди колаборацията ни

they only had comments enabled on just 10 percent of their articles.

те позволяваха коментирането на едва 10 процента от техните статии.

С помощта на автоматизираното машинно обучение,

With the help of machine learning,

they have that number up to 30 percent.

те увеличиха числото до 30 процента.

So they've tripled it,

Тоест, те са го утроили,

and we're still just getting started.

а ние все още едва започваме.

But this is about way more than just making moderators more efficient.

Но има много повече от това да направим модераторите по-ефикасни.

Right now I can see you,

Сега мога да ви погледна

and I can gauge how what I'm saying is landing with you.

и да преценя как това, което казвам, се приема от вас.

You don't have that opportunity online.

Няма подобна възможност онлайн.

Imagine if machine learning could give commenters,

Представете си, ако машиното обучение, можеше да дава на коментиращите,

as they're typing,

докато пишат,

real-time feedback about how their words might land,

обратна връзка в реално време за това как техните думи могат да бъдат възприети,

just like facial expressions do in a face-to-face conversation.

също както лицевите изражения правят в разговор лице в лице.

Machine learning isn't perfect,

Машинното самообучение не е перфектно

and it still makes plenty of mistakes.

и все още прави доста грешки.

But if we can build technology

Но ако можем да създадем технология,

that understands the emotional impact of language,

която разбира емоционалния заряд на езика,

we can build empathy.

ние ще можем да изградим емпатия.

That means that we can have dialogue between people

Това означава, че можем да улесним диалога между хора

with different politics,

с различни политически убеждения,

different worldviews,

с различни перспективи за света,

different values.

с различни ценности.

And we can reinvigorate the spaces online that most of us have given up on.

И можем да дадем нов живот на онлайн пространствата,

от които повечето от нас са се отказали.

When people use technology to exploit and harm others,

Когато хората използват технологиите, за да експлоатират или наранят другите,

they're preying on our human fears and vulnerabilities.

те грабят от нашите човешки страхове и слабости.

If we ever thought that we could build an internet

Ако някога сме си мислели, че можем да изградим интернет,

insulated from the dark side of humanity,

изолиран от тъмната страна на човечеството,

we were wrong.

сме били в грешка.

If we want today to build technology

Ако днес искаме да създадем технология,

that can overcome the challenges that we face,

която може да преодолее предизвикателствата, които срещаме,

we have to throw our entire selves into understanding the issues

ние трябва да дадем всичко от себе си, за да разберем проблемите

and into building solutions

и да изградим решения,

that are as human as the problems they aim to solve.

които са толкова човешки,

колкото и проблемите, които целят да разрешат.

Нека направим така, че това да се случи.

Let's make that happen.

Thank you.

Благодаря.

(Applause)

(Аплодисменти)