How technology can fight extremism and online harassment | Yasmin Green

Переводчик: Natalia Ost Редактор: Yulia Kallistratova

My relationship with the internet reminds me of the setup

Мои отношения с интернетом напоминают мне засаду

to a clichéd horror movie.

из полного клише фильма ужасов.

You know, the blissfully happy family moves in to their perfect new home,

Знаете, когда ничего не ведающая счастливая семья

въезжает в прекрасный новый дом

excited about their perfect future,

в предвкушении прекрасного будущего.

and it's sunny outside and the birds are chirping ...

За окном солнечно, щебечут птички...

And then it gets dark.

А затем наступает тьма.

And there are noises from the attic.

С чердака доносятся звуки.

And we realize that that perfect new house isn't so perfect.

И мы понимаем, что прекрасный новый дом не так прекрасен.

When I started working at Google in 2006,

Когда я начала работать в Google в 2006 году,

Facebook was just a two-year-old,

Facebook было всего два года,

and Twitter hadn't yet been born.

а Twitter ещё не появился.

And I was in absolute awe of the internet and all of its promise

Я была абсолютно восхищена интернетом и его перспективами

to make us closer

сделать нас ближе,

and smarter

умнее

and more free.

и свободнее.

But as we were doing the inspiring work of building search engines

Но пока мы вдохновенно занимались созданием поисковых систем,

and video-sharing sites and social networks,

сайтов обмена видео и социальных сетей,

criminals, dictators and terrorists were figuring out

преступники, диктаторы и террористы придумывали,

how to use those same platforms against us.

как использовать эти же платформы против нас.

And we didn't have the foresight to stop them.

И нам не хватило дальновидности остановить их.

Over the last few years, geopolitical forces have come online to wreak havoc.

За последние несколько лет геополитические силы пришли в сеть и принесли хаос.

And in response,

В ответ

Google supported a few colleagues and me to set up a new group called Jigsaw,

Google помог нам с коллегами объединиться в группу под названием Jigsaw,

with a mandate to make people safer from threats like violent extremism,

чтобы уберечь людей от угроз вроде экстремизма,

censorship, persecution --

цензуры, преследования —

threats that feel very personal to me because I was born in Iran,

угроз, которые я воспринимаю очень лично, потому что родилась в Иране,

and I left in the aftermath of a violent revolution.

который покинула вскоре после жестокой революции.

But I've come to realize that even if we had all of the resources

Но я поняла, что даже если бы у нас были все возможные ресурсы,

of all of the technology companies in the world,

все технологии компаний мира,

we'd still fail

мы бы всё равно проиграли,

if we overlooked one critical ingredient:

если бы упустили ключевой ингредиент:

the human experiences of the victims and perpetrators of those threats.

человеческий опыт жертв и тех, кто им угрожал.

There are many challenges I could talk to you about today.

Я могла бы сегодня говорить о многих угрозах,

I'm going to focus on just two.

но хочу сосредоточиться только на двух.

The first is terrorism.

Первая — это терроризм.

So in order to understand the radicalization process,

Чтобы понять процесс радикализации,

we met with dozens of former members of violent extremist groups.

мы встретились с десятками бывших членов экстремистских группировок.

One was a British schoolgirl,

Одной из них была британская школьница,

who had been taken off of a plane at London Heathrow

которую сняли с самолёта в лондонском аэропорту Хитроу,

as she was trying to make her way to Syria to join ISIS.

когда она попыталась добраться до Сирии, чтобы вступить в ИГИЛ.

And she was 13 years old.

Ей было 13 лет.

So I sat down with her and her father, and I said, "Why?"

Я встретилась с ней и её отцом и спросила: «Почему?»

And she said,

И она ответила:

"I was looking at pictures of what life is like in Syria,

«Я смотрела на фотографии сирийской жизни

and I thought I was going to go and live in the Islamic Disney World."

и решила, что буду жить в исламском Диснейленде».

That's what she saw in ISIS.

Вот каким она представляла себе ИГИЛ.

She thought she'd meet and marry a jihadi Brad Pitt

Она думала, что встретит и станет женой джихадистского Брэда Питта,

and go shopping in the mall all day and live happily ever after.

целыми днями будет ходить по магазинам и жить долго и счастливо.

ISIS understands what drives people,

В ИГИЛ знают, что мотивирует людей,

and they carefully craft a message for each audience.

и они тщательно работают над сообщениями для каждой конкретной аудитории.

Just look at how many languages

Только посмотрите, на сколько языков

they translate their marketing material into.

они переводят свои рекламные материалы.

They make pamphlets, radio shows and videos

Они делают листовки, радиопередачи и видео

in not just English and Arabic,

не только на английском и арабском,

but German, Russian, French, Turkish, Kurdish,

но и на немецком, русском, французском, турецком, курдском языках,

Hebrew,

иврите

Mandarin Chinese.

и китайском.

I've even seen an ISIS-produced video in sign language.

Я даже видела их видео на языке жестов.

Just think about that for a second:

Только задумайтесь:

ISIS took the time and made the effort

В ИГИЛ потратили время и силы,

to ensure their message is reaching the deaf and hard of hearing.

чтобы их сообщение дошло до глухих и слабослышащих.

It's actually not tech-savviness

Дело не во владении технологиями,

that is the reason why ISIS wins hearts and minds.

не поэтому ИГИЛ завоёвывает умы и сердца людей.

It's their insight into the prejudices, the vulnerabilities, the desires

Дело в их понимании предрассудков, слабостей и желаний

of the people they're trying to reach

людей, к которым они обращаются,

that does that.

вот в чём.

That's why it's not enough

Вот почему онлайн-платформам недостаточно

for the online platforms to focus on removing recruiting material.

сосредоточиться на удалении вербовочных материалов.

If we want to have a shot at building meaningful technology

Если мы хотим получить шанс на создание значимых технологий,

that's going to counter radicalization,

которые одолеют радикализацию,

we have to start with the human journey at its core.

нам нужно начать с человеческого путешествия к её истокам.

So we went to Iraq

Поэтому мы отправились в Ирак

to speak to young men who'd bought into ISIS's promise

поговорить с молодыми людьми, которые купились на обещания ИГИЛ

of heroism and righteousness,

о героизме и правоте,

who'd taken up arms to fight for them

взяли в руки оружие,

and then who'd defected

но дезертировали,

after they witnessed the brutality of ISIS's rule.

когда увидели жестокость режима ИГИЛ.

And I'm sitting there in this makeshift prison in the north of Iraq

И вот я сижу в этой временной тюрьме на севере Ирака

with this 23-year-old who had actually trained as a suicide bomber

с 23-летним парнем, которого обучали подорвать себя,

before defecting.

пока он не сбежал.

And he says,

Он сказал:

"I arrived in Syria full of hope,

«Я прибыл в Сирию полным надежд,

and immediately, I had two of my prized possessions confiscated:

но у меня тут же отобрали две самые ценные вещи:

my passport and my mobile phone."

паспорт и телефон».

The symbols of his physical and digital liberty

Символы физической и цифровой свободы

were taken away from him on arrival.

отняли сразу по прибытии.

And then this is the way he described that moment of loss to me.

И вот как он описал мне этот момент потери.

He said,

Он сказал:

"You know in 'Tom and Jerry,'

«Знаете, в "Том и Джерри",

when Jerry wants to escape, and then Tom locks the door

когда Джерри пытается убежать, а Том закрывает дверь

and swallows the key

и проглатывает ключ

and you see it bulging out of his throat as it travels down?"

и видно, как ключ спускается по горлу?»

And of course, I really could see the image that he was describing,

Конечно, я могла представить себе то, что он описывал,

and I really did connect with the feeling that he was trying to convey,

и я прочувствовала то, что он пытался передать,

which was one of doom,

чувство обречённости,

when you know there's no way out.

когда знаешь, что выхода нет.

And I was wondering:

И мне стало интересно,

What, if anything, could have changed his mind

что, если бы что-то заставило его передумать

the day that he left home?

в день, когда он ушёл из дома?

So I asked,

И я его спросила:

"If you knew everything that you know now

«Если бы ты знал всё, что знаешь сегодня

about the suffering and the corruption, the brutality --

о страданиях, коррупции, жестокости,

that day you left home,

в день, когда ушёл из дома,

would you still have gone?"

ты бы всё равно ушёл?»

And he said, "Yes."

И он ответил: «Да».

And I thought, "Holy crap, he said 'Yes.'"

Я подумала: «Чёрт, он сказал "да"».

And then he said,

А затем он добавил:

"At that point, I was so brainwashed,

«В тот момент мне уже так промыли мозги,

I wasn't taking in any contradictory information.

что я ничего другого не воспринимал.

I couldn't have been swayed."

Меня было не переубедить».

"Well, what if you knew everything that you know now

«Тогда что, если бы ты знал всё, что знаешь сегодня,

six months before the day that you left?"

за шесть месяцев до того, как ушёл из дома?»

"At that point, I think it probably would have changed my mind."

«На тот момент, думаю, это могло бы изменить моё мнение».

Radicalization isn't this yes-or-no choice.

Радикализация это не выбор из двух вариантов.

It's a process, during which people have questions --

Это процесс, во время которого у людей возникают вопросы

about ideology, religion, the living conditions.

об идеологии, религии, условиях жизни.

And they're coming online for answers,

И они ищут ответы онлайн,

which is an opportunity to reach them.

и это возможность достучаться до них.

And there are videos online from people who have answers --

В сети есть видео от тех, у кого есть ответы,

defectors, for example, telling the story of their journey

например, видео дезертиров, рассказывающих свои истории

into and out of violence;

о том, как они сбежали от насилия,

stories like the one from that man I met in the Iraqi prison.

истории, как у мужчины, которого я встретила в иракской тюрьме.

There are locals who've uploaded cell phone footage

В сеть выложены кадры, на которых местные жители засняли,

of what life is really like in the caliphate under ISIS's rule.

какова жизнь в халифате под управлением ИГИЛ.

There are clerics who are sharing peaceful interpretations of Islam.

Есть церковники, которые делятся мирным толкованием ислама.

But you know what?

Но знаете что?

These people don't generally have the marketing prowess of ISIS.

У этих людей, как правило, нет рекламного мастерства ИГИЛ.

They risk their lives to speak up and confront terrorist propaganda,

Они рискуют своей жизнью, чтобы не молчать

и противостоять террористической пропаганде,

and then they tragically don't reach the people

но трагедия в том, что они могут не достучаться до людей,

who most need to hear from them.

которым нужнее всего это услышать.

And we wanted to see if technology could change that.

Мы хотели проверить, могут ли технологии это изменить.

So in 2016, we partnered with Moonshot CVE

Поэтому в 2016 мы вместе с Moonshot CVE

to pilot a new approach to countering radicalization

применили новаторский подход к борьбе с радикализацией,

called the "Redirect Method."

названный «Методом переадресации».

It uses the power of online advertising

Он использовал мощь онлайн-рекламы,

to bridge the gap between those susceptible to ISIS's messaging

чтобы соединить подверженных призывам ИГИЛ

and those credible voices that are debunking that messaging.

с теми достойными доверия людьми, которые изобличают ложь таких призывов.

And it works like this:

Вот как это работает:

someone looking for extremist material --

когда, кто-то ищет экстремистский материал,

say they search for "How do I join ISIS?" --

например, ищет «Как вступить в ИГИЛ?»,

will see an ad appear

увидит всплывающую рекламу

that invites them to watch a YouTube video of a cleric, of a defector --

приглашающую посмотреть на YouTube видео с духовным лицом или с дезертиром —

someone who has an authentic answer.

с кем-то, у кого есть личный опыт.

And that targeting is based not on a profile of who they are,

Таргетированная реклама основана не на профиле пользователя,

but of determining something that's directly relevant

а напрямую зависит от поискового запроса.

to their query or question.

During our eight-week pilot in English and Arabic,

За восемь недель пробного периода на английском и арабском

we reached over 300,000 people

мы смогли обратиться к 300 000 человек,

who had expressed an interest in or sympathy towards a jihadi group.

которые проявили интерес или сочувствие джихадистским группировкам.

These people were now watching videos

Эти люди теперь посмотрели видео,

that could prevent them from making devastating choices.

которые могли уберечь их от ужасных последствий необдуманного выбора.

And because violent extremism isn't confined to any one language,

И поскольку крайний экстремизм не ограничен каким-то одним языком,

religion or ideology,

религией или идеологией,

the Redirect Method is now being deployed globally

«Метод переадресации» сейчас применяется по всему миру,

to protect people being courted online by violent ideologues,

чтобы защитить людей от заигрывания с экстремистскими идеологиями,

whether they're Islamists, white supremacists

хоть исламисткими, хоть расистскими —

or other violent extremists,

любым экстремизмом,

with the goal of giving them the chance to hear from someone

и цель — дать людям шанс услышать кого-то,

on the other side of that journey;

кто прошёл этот путь и получил другой опыт;

to give them the chance to choose a different path.

дать им шанс выбрать другой путь.

It turns out that often the bad guys are good at exploiting the internet,

Часто оказывается, что плохие парни хорошо умеют пользоваться интернетом,

not because they're some kind of technological geniuses,

не потому что они гении в технологиях,

but because they understand what makes people tick.

а потому что понимают, что «цепляет» людей.

I want to give you a second example:

Хочу привести вам второй пример:

online harassment.

угрозы в сети.

Online harassers also work to figure out what will resonate

Угрозы в сети тоже зависят от отклика,

with another human being.

который найдёт сообщение.

But not to recruit them like ISIS does,

Но цель — не вербовать в ИГИЛ,

but to cause them pain.

а причинять другому боль.

Imagine this:

Представьте:

you're a woman,

вы женщина,

you're married,

замужем,

you have a kid.

у вас ребёнок.

You post something on social media,

Вы что-то выкладываете в соцсетях,

and in a reply, you're told that you'll be raped,

а в ответ вам пишут, что вас изнасилуют

that your son will be watching,

на глазах у сына,

details of when and where.

подробно описывают где и когда.

In fact, your home address is put online for everyone to see.

Ваш адрес выкладывают на всеобщее обозрение.

That feels like a pretty real threat.

Это похоже на реальную угрозу.

Do you think you'd go home?

Вы бы вернулись домой?

Do you think you'd continue doing the thing that you were doing?

Стали бы продолжать заниматься тем, чем занимались до этого?

Would you continue doing that thing that's irritating your attacker?

Будете и дальше делать то, что разозлило вашего обидчика?

Online abuse has been this perverse art

Угрозы онлайн — это такой извращённый акт,

of figuring out what makes people angry,

когда выясняют, что злит других людей,

what makes people afraid,

что их пугает,

what makes people insecure,

из-за чего они теряют покой,

and then pushing those pressure points until they're silenced.

а затем используют эти больные места, чтобы заставить замолчать.

When online harassment goes unchecked,

Когда запугивание в сети остаётся безнаказанным,

free speech is stifled.

свободу слова душат.

And even the people hosting the conversation

И даже люди, на чьей площадке всё происходит,

throw up their arms and call it quits,

поднимают руки и белый флаг:

closing their comment sections and their forums altogether.

полностью закрывают раздел комментариев и свои форумы.

That means we're actually losing spaces online

Это означает, что мы теряем свои площадки в сети,

to meet and exchange ideas.

где могли обмениваться идеями.

And where online spaces remain,

А там, где площадки сохраняются,

we descend into echo chambers with people who think just like us.

мы оказываемся заперты с теми, кто уже с нами согласен.

But that enables the spread of disinformation;

Но это способствует распространению дезинформации,

that facilitates polarization.

обостряет противоречия.

What if technology instead could enable empathy at scale?

Что, если бы технологии способствовали эмпатии?

This was the question that motivated our partnership

Этот вопрос вдохновлял нашу совместную работу

with Google's Counter Abuse team,

с командой Google по борьбе с агрессией онлайн,

Wikipedia

Википедией

and newspapers like the New York Times.

и такими газетами, как New York Times.

We wanted to see if we could build machine-learning models

Мы хотели попробовать создать модели самообучения машин,

that could understand the emotional impact of language.

которые будут понимать эмоциональное воздействие слов.

Could we predict which comments were likely to make someone else leave

Сможем ли мы предугадывать, какие комментарии заставят собеседника

the online conversation?

выйти из онлайн-дискуссии.

And that's no mean feat.

И это настоящий подвиг.

That's no trivial accomplishment

Для искусственного интеллекта подобное —

for AI to be able to do something like that.

настоящее достижение.

I mean, just consider these two examples of messages

Только посмотрите на эти два примера сообщений,

that could have been sent to me last week.

которые могли бы прийти мне на прошлой неделе.

"Break a leg at TED!"

«Зажги на TED!»

... and

и

"I'll break your legs at TED."

«Я тебя сожгу на TED».

(Laughter)

(Смех)

You are human,

Вы — люди,

that's why that's an obvious difference to you,

и вам разница очевидна,

even though the words are pretty much the same.

хотя слова очень похожи.

But for AI, it takes some training to teach the models

Но ИИ нужно обучать моделям,

to recognize that difference.

чтобы он мог распознать разницу.

The beauty of building AI that can tell the difference

Прелесть ИИ, который видит разницу, в том,

is that AI can then scale to the size of the online toxicity phenomenon,

что ИИ может вырасти до масштабов токсичной агрессии онлайн.

and that was our goal in building our technology called Perspective.

Такой была наша цель при создании технологии под названием «Перспектива».

With the help of Perspective,

С помощью «Перспективы»

the New York Times, for example,

портал New York Times, например,

has increased spaces online for conversation.

расширил площадку для общения онлайн.

Before our collaboration,

До нашего сотрудничества

they only had comments enabled on just 10 percent of their articles.

комментарии были возможны только под 10% публикаций.

With the help of machine learning,

С помощью машинного обучения

they have that number up to 30 percent.

эта цифра выросла до 30%.

So they've tripled it,

Она утроилась,

and we're still just getting started.

и это только самое начало.

But this is about way more than just making moderators more efficient.

Но это намного больше, чем помощь модераторам.

Right now I can see you,

Сейчас я вас вижу

and I can gauge how what I'm saying is landing with you.

и могу оценивать вашу реакцию на мои слова.

You don't have that opportunity online.

Онлайн у вас нет такой возможности.

Imagine if machine learning could give commenters,

Представьте, что машинное обучение дало бы комментаторам,

по мере того как они печатают,

as they're typing,

real-time feedback about how their words might land,

фидбек в реальном времени о возможной оценке их слов,

just like facial expressions do in a face-to-face conversation.

что при разговоре обычно видно по выражению лица.

Machine learning isn't perfect,

Машинное обучение не совершенно,

and it still makes plenty of mistakes.

ИИ всё ещё часто ошибается.

But if we can build technology

Но если нам удастся создать технологию,

that understands the emotional impact of language,

понимающую эмоциональное воздействие слов,

we can build empathy.

мы сможем создать эмпатию.

That means that we can have dialogue between people

Значит, мы сможем налаживать диалог между людьми

with different politics,

с разными политическими убеждениями,

different worldviews,

разными мировоззрениями,

different values.

разными ценностями.

And we can reinvigorate the spaces online that most of us have given up on.

И мы сможем оживить онлайн-площадки, которые считались утерянными.

When people use technology to exploit and harm others,

Когда люди используют технологии, чтобы эксплуатировать и обижать других,

they're preying on our human fears and vulnerabilities.

они играют на человеческих страхах и слабостях.

If we ever thought that we could build an internet

Если мы раньше думали, что сможем создать интернет,

insulated from the dark side of humanity,

защищённый от тёмной стороны человеческой природы, —

we were wrong.

мы ошибались.

If we want today to build technology

Если мы сегодня захотим создать технологии,

that can overcome the challenges that we face,

которые помогут справиться с нашими проблемами,

we have to throw our entire selves into understanding the issues

нужно посвятить всех себя пониманию стоящих перед нами вопросов

and into building solutions

и созданию решений,

that are as human as the problems they aim to solve.

таких же человеческих по своей природе, как и проблемы, которые они должны решить.

Let's make that happen.

Давайте сделаем, чтобы так и случилось.

Thank you.

Спасибо.

(Applause)

(Аплодисменты)