The nightmare videos of childrens' YouTube — and what's wrong with the internet today | James Bridle

Translator: Daban Q Jaff Reviewer: halo fariq

I'm James.

من .جه‌یمسم

I'm a writer and artist,

نوسه‌رو هونه‌رمه‌ندم

and I make work about technology.

.و لە بواری ته‌كنه‌لۆجیا كار ده‌كه‌م

I do things like draw life-size outlines of military drones

وێنەی ئامێرە سەربازییەکان دەکێشم

in city streets around the world,

،له‌ شه‌قامه‌كانی شارەکانیی جیهان

so that people can start to think and get their heads around

بۆ ئەوەی خەڵک بیربكه‌نه‌ وه‌ و سەیری ده‌وروبه‌ریان بكه‌ن بۆ

these really quite hard-to-see and hard-to-think-about technologies.

ئەو تەکنەلۆژیایەی کە قورسە .ببینرێت و بیری لێبکرێتەوە

I make things like neural networks that predict the results of elections

شه‌به‌كه‌ی نیوراڵ دروست ده‌كه‌م كه‌ ئه‌نجامی هه‌ڵبژاردن پێشبینی ده‌كات

based on weather reports,

،له‌سه‌ر بنه‌مای ڕاپۆرتی ئاو هه‌وا

because I'm intrigued about

چونكه‌ خۆم بۆ مەڵاس دابوو

what the actual possibilities of these weird new technologies are.

ئه‌گه‌ره‌ ڕاسته‌قینه‌كانی .ئه‌و ته‌كنه‌لۆجیا سه‌یرانه‌ چین

Last year, I built my own self-driving car.

پار، ئۆتۆمبێلێکی خۆلێخۆری .تایبەت بە خۆم دروست کرد

But because I don't really trust technology,

به‌ڵام له‌به‌رئه‌وه‌ی بڕوام ،به‌ ته‌كنه‌لۆجیا نییه‌

I also designed a trap for it.

.ته‌لێكم بۆی دروستكرد

(Laughter)

(پێكه‌نین)

And I do these things mostly because I find them completely fascinating,

زۆر کات ئه‌و شتانه‌ ده‌كه‌م چونكه‌ چێژێکی ،ته‌واوی لێ دەبینم

but also because I think when we talk about technology,

به‌ڵام پێموایه‌ کاتێک سەبارەت ،بە ته‌كنه‌لۆجیا ده‌دوێین

we're largely talking about ourselves

به‌زۆری ده‌رباره‌ی خۆمان دەدوێین

and the way that we understand the world.

.و چۆن لە جیهان تێدەگەین

So here's a story about technology.

چیرۆكێك ده‌رباره‌ی ته‌كنه‌لۆجیا .هه‌یه‌

This is a "surprise egg" video.

.ئه‌وه‌ ڤیدیۆی " هێلكه‌ی سه‌رسامکار"ه‌

It's basically a video of someone opening up loads of chocolate eggs

ڤیدیۆی كه‌سێكه‌ هێلكه‌ چوكلاتیه‌كانی ده‌كاته‌وه‌

and showing the toys inside to the viewer.

له‌ ناویدا یاری یپێشانی بینه‌ران .ده‌دات

That's it. That's all it does for seven long minutes.

تەواو. بۆ حه‌وت .خوله‌ك تەها ئەوەندە ده‌كات

And I want you to notice two things about this.

.ده‌مه‌وێ لێره‌دا تێبینی دوو شت بكه‌ن

First of all, this video has 30 million views.

پێش هه‌موشت، ئه‌و ڤیدیۆیه‌ .٣٠ملیۆن بینه‌ری هه‌یه‌

(Laughter)

(پێكه‌نین)

And the other thing is,

،شته‌كه‌ی دیكه‌ش

it comes from a channel that has 6.3 million subscribers,

له‌ كه‌ناڵێكه‌وه‌ وه‌رگیراوه‌ ،٦.٣ ملیۆن سەبسکرایبەری هه‌یه‌

that has a total of eight billion views,

و بینه‌ری سه‌رجەم ،ڤیدیۆکانی هه‌شت بلیۆنه‌

and it's all just more videos like this --

و زۆر ڤیدیۆی تری هاوشێوه‌ی ئه‌وه‌ی تیایە

30 million people watching a guy opening up these eggs.

٣٠ملیۆن خه‌ڵك سه‌یری ئه‌و .كوڕه‌ ده‌كات كه‌ هێلكه‌كه‌ ده‌كاته‌وه‌

It sounds pretty weird, but if you search for "surprise eggs" on YouTube,

ئه‌وه‌ سه‌یر ده‌رده‌كه‌وێت، به‌ڵام ئه‌گه‌ر ،له‌ یوتیوب بۆ"هێلكه‌ی سه‌رسامی" بگه‌ڕێیت

it'll tell you there's 10 million of these videos,

ئه‌وا ١٠ ملیۆن ،له‌و جۆره‌ ڤیدیۆیانه‌ت پێده‌ڵێت

and I think that's an undercount.

وا بزانم ڕوو له‌ زیاد .بوونه‌

I think there's way, way more of these.

.پێموایه‌ ڕێگەی زیاتر بۆ ئه‌وه‌ هه‌یه‌

If you keep searching, they're endless.

.ئه‌گه‌ر به‌دوای بگه‌ڕێی، بێ كۆتان

There's millions and millions of these videos

ملیۆنان و ملیۆنان ڤیدیۆی ئاوا

in increasingly baroque combinations of brands and materials,

،كه‌ ڕێژەیەکی زۆر مارکە و مادەی هه‌یه‌

and there's more and more of them being uploaded every single day.

و زیاترو زیاتر له‌وجۆرانه‌ .ڕۆژانه‌ بڵاو ده‌كرێنه‌و

Like, this is a strange world. Right?

ئه‌وه‌ جیهانێكی سه‌یره‌، ڕاسته‌؟

But the thing is, it's not adults who are watching these videos.

به‌ڵام شتكه‌ ئه‌وه‌یه‌، ئه‌وانه‌ی .سه‌یری ده‌كه‌ن گەورە نین

It's kids, small children.

منداڵن، منداڵی .بچوك

These videos are like crack for little kids.

.ئه‌و ڤیدیۆیانه‌ بۆ منداڵ شتێکی خۆشە

There's something about the repetition,

،شتێك هه‌یه‌ ده‌رباره‌ی دوباره‌كردنه‌وه‌

the constant little dopamine hit of the reveal,

،گەڕانەوەی پێشی سەرشێتانەی ڤیدیۆکان

that completely hooks them in.

.ئه‌وانه‌ به‌شێوه‌یه‌كی گشتی ئالودەن

And little kids watch these videos over and over and over again,

منداڵی بچوك ئه‌و ڤیدیۆیانه‌ ،چه‌ند جارێك دوباره‌ سه‌یر ده‌كه‌ن

and they do it for hours and hours and hours.

بۆ چه‌ند كاتژمێرێك و .كاتژمێرێك ئه‌وه‌ ده‌كه‌ن

And if you try and take the screen away from them,

،ئه‌گه‌ر تۆ شاشه‌كه‌یان لێ بگۆڕی

they'll scream and scream and scream.

هاوار ده‌كه‌ن وهاوار .ده‌كه‌ن

If you don't believe me --

ئه‌گه‌ر بڕوا به‌من ناكه‌ی

and I've already seen people in the audience nodding --

خه‌ڵكم بینیوه‌ له‌ ئاماده‌بووه‌كان سه‌ر ده‌له‌قێنن

if you don't believe me, find someone with small children and ask them,

ئه‌گه‌ر باوه‌ڕناكه‌ی له‌ منداڵێك ،و كه‌سێك بپرسه‌

and they'll know about the surprise egg videos.

و ده‌رباره‌ی ڤیدیۆی .هێلكه‌ی سه‌رسامی ده‌زانن

So this is where we start.

.لێرەوە دەستپێدەکەین

It's 2018, and someone, or lots of people,

،ئه‌وه ٢٠١٨ یه‌، كه‌سێك یا چه‌ندین كه‌س

are using the same mechanism that, like, Facebook and Instagram are using

هه‌مان ڕێچکە، وه‌ك، فه‌یسبوك و ئینستگرام به‌كار دێنن

to get you to keep checking that app,

،تا به‌رده‌وام به‌رنامه‌كه‌ به‌كاربێنن

and they're using it on YouTube to hack the brains of very small children

و له‌ یوتیوب به‌كاری دێنن تا مێشكی منداڵی بچوك هاك بكه‌ن

in return for advertising revenue.

.بۆ بەدەست هێنانی قازانج لە رێگەی رێکلام

به‌لایه‌نی كه‌مەوە .هیوا ده‌خوازم ئەم کارە بکەن

At least, I hope that's what they're doing.

I hope that's what they're doing it for,

،هیوا ده‌خوازم بۆ قازانج ئەم کارە بکەن

because there's easier ways of making ad revenue on YouTube.

چونكه‌ ڕێگەی ئاسانتر له‌ یوتیوب .بۆ بەدەست هێنانی داهات ڕیكلام هەیە

You can just make stuff up or steal stuff.

.ده‌توانی شته‌كان دروست بکەی یا بیدزی

So if you search for really popular kids' cartoons

ئه‌گه‌ر به‌دوای كارتۆنی به‌ناوبانگی منداڵان بگه‌ڕێی

like "Peppa Pig" or "Paw Patrol,"

،"وه‌ك "پیپا پیگ" یا "پاو پتڕۆڵ

you'll find there's millions and millions of these online as well.

هه‌روه‌ها به‌ ملیۆنه‌ها .ڤیدیۆی سەرهێڵی ده‌دۆزیه‌وه‌

Of course, most of them aren't posted by the original content creators.

بێگومان، زۆیان له‌لایه‌ن دروستكه‌ری .سه‌ره‌كی بڵاو نه‌كراونه‌ته‌وه‌

They come from loads and loads of different random accounts,

له‌ ئه‌كاونته‌ هه‌ڕه‌مه‌كه‌ ،جیاوازه‌كانه‌وه‌ دێن

and it's impossible to know who's posting them

كه‌ مه‌حاڵه‌ بزانی كێ بڵاویان ده‌كاته‌وه‌

or what their motives might be.

.و پاڵنه‌ره‌كه‌یان چییه‌

Does that sound kind of familiar?

ئاشنان بەمە؟

Because it's exactly the same mechanism

چونكه‌ ئه‌وه‌ هه‌مان میكانزمه‌

that's happening across most of our digital services,

كه‌ له‌ خزمه‌تگوزاری ژمێریاری ،زۆربه‌مان ڕووده‌دات

where it's impossible to know where this information is coming from.

ئەستەمە بزانیت ئه‌و .زانیاریانه‌ له‌كوێوه‌ دێن

It's basically fake news for kids,

،هه‌واڵێكی فێڵاویه‌ بۆ منداڵ

and we're training them from birth

و ڕاهینانیان پێده‌كه‌ین له‌ له‌دایك بوونه‌وه‌

to click on the very first link that comes along,

بۆئه‌وه‌ی كلیك له‌سه‌ریه‌كه‌م لینك ،بكات دیته‌ پێشی

regardless of what the source is.

.به‌بێ گوێدان به‌سه‌رچاوه‌كه‌ی

That's doesn't seem like a terribly good idea.

.له‌وه‌ ناچێت ئه‌وه‌ بیرۆكه‌یه‌كی باش بێت

Here's another thing that's really big on kids' YouTube.

لێره‌ شتێكی به‌ڕاستی گه‌وره‌ .هه‌یه‌ له‌ یوتیوبی منداڵ

This is called the "Finger Family Song."

."كه‌ پێیده‌ڵێن "گۆرانی په‌نجه‌ی خێزانی

I just heard someone groan in the audience.

.ناڵه‌ی كه‌سێكم بیست له‌ ئاماده‌بوه‌كان

This is the "Finger Family Song."

."ئه‌وه‌"گۆرانی په‌نجه‌ی خێزانیه‌

This is the very first one I could find.

.ئه‌وه‌ یه‌كه‌مه‌ ده‌توانم بیدۆزمه‌وه‌

It's from 2007, and it only has 200,000 views,

ئه‌وه‌ له‌ساڵی٢٠٠٧، ته‌نها ٢٠٠ هه‌زار ،بینه‌ری هه‌بوو

which is, like, nothing in this game.

.كه‌ وه‌ك هیچ نه‌بێ له‌ناو یاریه‌كه‌

But it has this insanely earwormy tune,

،به‌ڵام تۆنێکی ناخۆشی شێتانەی هه‌یه‌

which I'm not going to play to you,

،من بۆتانی ناژه‌نم

because it will sear itself into your brain

چونكه‌ میشك داخ ده‌كات

in the same way that it seared itself into mine,

،به‌هه‌مان شێوه‌ هی منیش داخ ده‌كات

and I'm not going to do that to you.

من ئه‌وه‌ ناكه‌م بۆ .ئێوە

But like the surprise eggs,

،وه‌ك هێلكه‌ی سه‌رسامی

it's got inside kids' heads

ده‌چیته‌ ناو مێشكه‌ی منداڵ

and addicted them to it.

.و ئاڵوده‌ی ده‌بن

So within a few years, these finger family videos

له‌چه‌ند ساڵێكی كه‌مدا ئه‌م ڤیدۆیی په‌نجه‌ی خێزانییه‌

start appearing everywhere,

لە هەموو جێیەک .بڵاوبووەوە

and you get versions in different languages

بە چەند زمانێکی جیاواز .دەیبینیتەوە

with popular kids' cartoons using food

بە بەکارهێنانی خواردن و .کارتۆنی بەناوبانگ

or, frankly, using whatever kind of animation elements

یان، به‌كارهیێنانی هه‌ر جۆره‌ توخمێكی هه‌ست بزوێن

you seem to have lying around.

.تا درۆبكه‌ن له‌گه‌ڵ ده‌وروبه‌ر

And once again, there are millions and millions and millions of these videos

و جارێكی دیكه‌، ملیۆن و ملیۆنانی ئه‌م ڤیدۆیانه‌

available online in all of these kind of insane combinations.

به‌رده‌سته‌ له‌هه‌موجۆره‌ .شته‌ تێكه‌ڵاویه‌كان

And the more time you start to spend with them,

له‌ كاتی زیاتر ده‌ستبه‌به‌كار ،هێنانیان ده‌كه‌ی

the crazier and crazier you start to feel that you might be.

شێتانه‌و شێتانه‌ ده‌ست پێده‌كه‌ی .تا هه‌ست بكه‌ی كه‌تۆ له‌وانه‌بیت

And that's where I kind of launched into this,

،وئه‌مه‌ ئه‌وشوێنه‌یه‌ كه‌ ده‌ستم پێكرد

that feeling of deep strangeness and deep lack of understanding

هەستی نامۆییەکی زۆر و تێنەگەیشتنێکی زۆر

of how this thing was constructed that seems to be presented around me.

كه‌ چۆن ئه‌م شته‌ دروستكرا بۆ .پیێشكه‌شكردنی ده‌وروبه‌رم

Because it's impossible to know where these things are coming from.

چونكه‌ مه‌حاڵه‌ بزانیت .ئه‌و شتانه‌ له‌كوێوه‌ دێن

Like, who is making them?

كێ ئه‌وانه‌ی دروستكردووه‌؟

Some of them appear to be made of teams of professional animators.

ده‌رده‌كه‌وێت له‌لایه‌ن تیمی .شاره‌زای هه‌ستبزوێن دروستكرابن

Some of them are just randomly assembled by software.

كه‌ به‌ هه‌ره‌مه‌كی له‌ .به‌رنامه‌كان كۆیانده‌كه‌نه‌وه‌

Some of them are quite wholesome-looking young kids' entertainers.

هه‌ندێكیان سه‌یركردنێكی به‌تامیان .هه‌یه‌ منداڵ چێژی لێده‌بینێ

And some of them are from people

و هه‌ندێك له‌ لایه‌ن خه‌ڵكێكه‌

who really clearly shouldn't be around children at all.

.كه‌ به‌ڕاستی نایه‌وێ له‌لایی منداڵ بێ

(Laughter)

(پێكه‌نین)

And once again, this impossibility of figuring out who's making this stuff --

جارێكی دیكه‌، كێ ئه‌و ئه‌سته‌مییه‌ دروست ده‌كات

like, this is a bot?

ئه‌وه‌ ڕۆبۆته‌؟

Is this a person? Is this a troll?

یا كه‌سێكه‌؟ یا عه‌ره‌بانه‌یه‌؟

What does it mean that we can't tell the difference

مانای چییه‌ كه‌ چیتر ناتوانین جیاوازی

between these things anymore?

لە نێوان ئەو شتانە بکەین؟

And again, doesn't that uncertainty feel kind of familiar right now?

دوباره‌، دوو دڵ نیت له‌ ئێستادا هه‌ست به‌ئاشنابوون بكه‌ی؟

So the main way people get views on their videos --

ڕێگای سه‌ره‌كی تا خه‌ڵك ڤیدیۆكانیان سه‌یربكه‌ن

and remember, views mean money --

له‌بیرت بێبت، بینه‌ر واته‌ پاره‌

is that they stuff the titles of these videos with these popular terms.

ئه‌وه‌یه‌ ناونیشانی ڤیدیۆكه‌و .وشه‌ گرینگه‌كان ده‌خه‌نه‌ڕوو

So you take, like, "surprise eggs"

"وه‌ك، "هێلكه‌ی سه‌رسامی

and then you add "Paw Patrol," "Easter egg,"

،"یان "پاو په‌تڕۆل "،" ئه‌سته‌ر ئێگ

or whatever these things are,

،یان هه‌ر شتێكی له‌وجۆره‌

all of these words from other popular videos into your title,

له‌ ناونیشانه‌كه‌ی وشه‌ی ،ڤیدیۆ به‌ناوبانگه‌كان به‌كاربێنی

until you end up with this kind of meaningless mash of language

هه‌تا له‌گه‌ڵ ئه‌و زمانه‌ تێكه‌ڵه‌ بێمانایه‌ كۆتای پێدێنی

that doesn't make sense to humans at all.

ئه‌وه‌ به‌هیچ شێوه‌یه‌ك .بۆ مرۆڤ ناشێت

Because of course it's only really tiny kids who are watching your video,

چونكه‌ به‌دڵنیایه‌وه‌ ته‌نها ،منداڵی بچوك سه‌یری ئه‌وانە ده‌كه‌ن

and what the hell do they know?

ئەوان چی دەزانن؟

Your real audience for this stuff is software.

ئاماده‌بونی ڕاسته‌قینه‌ .بۆ ئه‌و شته‌ به‌رنامه‌یه‌كه‌

It's the algorithms.

.كه‌ ئالۆگریتمه‌كانه‌

It's the software that YouTube uses

به‌رنامه‌یه‌كه‌ یوتیوب به‌كاری ده‌هێنێت

to select which videos are like other videos,

،تا ڤیدیۆ هاوشێوه‌كان هه‌ڵبژێرێت

to make them popular, to make them recommended.

.تا ئه‌وان به‌ناوبانگ و په‌سند بكات

And that's why you end up with this kind of completely meaningless mash,

و له‌به‌ر ئه‌وه‌یه‌ تۆ ،به‌بێمانایی كۆتای پێده‌هێنیت

both of title and of content.

.له‌ ناونیشان و ناوه‌ڕۆكه‌كه‌ی

But the thing is, you have to remember,

،به‌ڵام، ئه‌وشته‌ی ده‌بێت له‌ بیرت بێت

there really are still people within this algorithmically optimized system,

تا ئێستاش خه‌ڵك هه‌ن له‌ ناو ئالگۆڕیزمی گه‌شبینی

people who are kind of increasingly forced to act out

زۆر میهره‌بانن ناچاركران نواندن بكه‌ن

these increasingly bizarre combinations of words,

له‌ تێكه‌ڵكردنی وشه‌ ،به‌شێوه‌یه‌كی سه‌یر

like a desperate improvisation artist responding to the combined screams

وه‌ك هونه‌رمه‌ندێكی بێ هیوا و كاردانه‌وه‌ی بۆ تێكه‌ڵكردنی

of a million toddlers at once.

.ملیۆنێك منداڵ به‌یه‌ك جار

There are real people trapped within these systems,

خه‌ڵكی باش له‌ناو ،سیسته‌مه‌كه‌ به‌ ته‌ڵه‌وه‌ بونه‌

and that's the other deeply strange thing about this algorithmically driven culture,

ئه‌وە شتێكی تری سه‌یر و ،شاراوه‌یه‌ ده‌رباره‌ی ئالگۆڕیزم

because even if you're human,

،چونكه‌ ئه‌گه‌ر تۆ مرۆڤ بیت

you have to end up behaving like a machine

پێویسته‌ وه‌ك ئامێرێك ڕه‌فتار بكه‌یت

just to survive.

.ته‌نها بۆ خۆپاراستن

And also, on the other side of the screen,

هه‌روه‌ها، له‌سه‌ر لایه‌كی دیكه‌ی ،شاشه‌كه‌

there still are these little kids watching this stuff,

ته‌نها منداڵی بچوكن سه‌یری ،ئه‌و شتانه‌ ده‌كه‌ن

stuck, their full attention grabbed by these weird mechanisms.

ئه‌و میكانزمه‌ سه‌یرانه‌ .سه‌رنجیان ڕاده‌كێشن

And most of these kids are too small to even use a website.

ئه‌و منداڵانه‌ زۆر بچوكن .بۆ به‌كارهێنانی ئه‌و ماڵپه‌ڕانه‌

They're just kind of hammering on the screen with their little hands.

.به‌و ده‌سته‌ بچوكه‌یان شاشه‌كه‌ ده‌كوتن

And so there's autoplay,

،ئەوتۆپلەی هەیە

where it just keeps playing these videos over and over and over in a loop,

،یاریه‌كه‌ به‌رده‌وام ده‌كا زیاترو زیاتر

endlessly for hours and hours at a time.

به‌رده‌وام بۆ چه‌ند كاتژمێرێك له‌یه‌ك .كات

And there's so much weirdness in the system now

و ئێستا زۆر شتی نامۆ له‌ سیسته‌مه‌كه‌ هه‌یه‌

that autoplay takes you to some pretty strange places.

كه‌ ئەوتۆپلەی ده‌تبات بۆ .زۆر شوێنی جوان و سه‌یر

This is how, within a dozen steps,

،به‌شێوه‌یه‌ك له‌ ناو ده‌رزه‌نێك هه‌نگاو

you can go from a cute video of a counting train

ده‌توانی له‌ ناو ڤییدێۆیه‌كی شه‌مه‌نده‌فه‌ری ژماردن بڕۆی

to masturbating Mickey Mouse.

.بۆ ده‌سپه‌ڕ لێدان له‌ میكی ماوس

Yeah. I'm sorry about that.

.به‌ڵێ، من دڵگرانم ده‌رباره‌ی ئه‌وه‌

This does get worse.

.ئه‌وه‌ خراپتری ده‌كات

This is what happens

كه‌ ڕوده‌دات

when all of these different keywords,

،كاتێك ئه‌و كیبۆڕده‌ جیاوازانه‌

all these different pieces of attention,

،هه‌موو ئه‌و پارچه‌ جیاوازانه‌ی سه‌رنج

this desperate generation of content,

،ئه‌و نه‌وه‌ بێ هیوایانه‌ له‌ ناوه‌ڕۆك

all comes together into a single place.

هه‌موو به‌یه‌كه‌ه‌وه‌ له‌یه‌ك شوێن .كۆبونه‌ته‌وه‌

This is where all those deeply weird keywords come home to roost.

ئەو کیبۆردانە لە ماڵەکانماندا .ڕەگیان داکوتاوە

You cross-breed the finger family video

به‌ ڤیدیۆی په‌نجه‌ی خێزانی تێده‌په‌ڕی

with some live-action superhero stuff,

،له‌گه‌ڵ هه‌ندێ پاڵه‌وانی نایاب ده‌ژی

you add in some weird, trollish in-jokes or something,

هه‌ندێك شتی سه‌یر زیاد ده‌كه‌یت ،وه‌ك نوكته‌ یان شتی تر

and suddenly, you come to a very weird place indeed.

.له‌ناكاو ده‌چیت بۆ شوێنێكی سه‌یر

The stuff that tends to upset parents

ئه‌و شته‌ی دایك و باوك پێی نیگه‌ران ده‌بن

is the stuff that has kind of violent or sexual content, right?

ئه‌و شته‌ یا جۆرێكی توند و تیژیه‌ یاخود جنسیه‌، وایه‌؟

Children's cartoons getting assaulted,

منداڵه‌ كارتۆنیه‌كان ده‌بن .بە شتی نەشیاو

getting killed,

،به‌ كوشتن

weird pranks that actually genuinely terrify children.

گاڵته‌ی سه‌یر كه‌ له‌ ڕاستیدا .به‌ گشتی منداڵ ده‌تۆقێنن

What you have is software pulling in all of these different influences

هه‌موو ئه‌و كاریگه‌رییه‌ جیاوازانه

to automatically generate kids' worst nightmares.

ئۆتۆماتیكیه‌ن دروستده‌بێت .له‌سه‌ر خه‌وی ناخۆشی منداڵ

And this stuff really, really does affect small children.

ئه‌وه‌ به‌ڕاستی كاریگه‌ری زۆر .هه‌یه‌ له‌سه‌ر منداڵی بچوك

Parents report their children being traumatized,

باوان ڕاپۆرت له‌سه‌ر كۆسپی ده‌رونی ،منداڵ ده‌ده‌ن

becoming afraid of the dark,

،وه‌ك بوونی ترس له‌ تاریكی

becoming afraid of their favorite cartoon characters.

یا ترس له‌كارێكته‌ره‌كانی .ئه‌و كارتۆنه‌ی حه‌زیان لێیه‌

If you take one thing away from this, it's that if you have small children,

ئه‌گه‌ر منداڵی بچوكت هه‌یه‌ ،ده‌ته‌وێت له‌ یه‌ك شت لایان بده‌یت

keep them the hell away from YouTube.

.له‌ یوتیوب دوریان بخه‌وه‌

(Applause)

(چەپڵە)

But the other thing, the thing that really gets to me about this,

،به‌ڵام شتێكی دی، ده‌رباره‌ی ئه‌وه‌

is that I'm not sure we even really understand how we got to this point.

من دڵنیانیم كه‌ ئێمه‌ به‌ڕاستی .چۆن ده‌گه‌ین به‌وخاڵه‌

We've taken all of this influence, all of these things,

،ئێمه‌ هه‌موو ئه‌و شت ،و ده‌سه‌ڵاته‌مان به‌ده‌ست هێنا

and munged them together in a way that no one really intended.

به‌شێوه‌یه‌ك .هیچ كه‌س به‌و شێوه‌ نه‌یتوانیوه‌

And yet, this is also the way that we're building the entire world.

تاوه‌كو ئێستاش، ئه‌و ڕێگەیه‌یه‌ كه‌ .جیهانی له‌سه‌ر بنیات ده‌نێین

We're taking all of this data,

،ئێمه‌ هه‌مو ئه‌و داتایانه‌ ده‌به‌ین

a lot of it bad data,

،به‌شێكی زۆریان خراپن

a lot of historical data full of prejudice,

به‌شێكی زۆری داتای مێژوین ،كه‌ پڕیه‌تی له‌ لایه‌ن گری كویرانه‌

full of all of our worst impulses of history,

،و پریه‌تی له‌ مه‌یلی خراپی ئێمه‌ بۆ مێژوو

and we're building that into huge data sets

و ئه‌وانمان كردوه‌ به‌ داتای گه‌وره‌و زۆر

and then we're automating it.

.دواتر ده‌یكه‌ینه‌ ئۆتۆماتیكی

And we're munging it together into things like credit reports,

و هه‌مویانمان به‌ده‌ست هێناوه‌ ،شتێكمان لێدروستكردوه‌ وه‌ك ڕاپۆرتی كارد

into insurance premiums,

،یان بیمه‌ی دڵنیای

into things like predictive policing systems,

،یان وه‌ك سیسته‌می پێشبینی كراوی پۆلیسی

into sentencing guidelines.

.یان بڕیاردان له‌سه‌ر یاسا گشتیه‌كان

This is the way we're actually constructing the world today

ئه‌مه‌ ئه‌و ڕێگەیه‌یه‌ ئه‌وڕۆ دونیای له‌سه‌ر دروست ده‌كه‌ین

out of this data.

.له‌و داتایانه‌

And I don't know what's worse,

،و نازانم چ خراپه‌یه‌كی هه‌یه‌

that we built a system that seems to be entirely optimized

كه‌ ئێمه‌ سیسته‌مێكی وامان دروستكردوه‌ کە تەواو لە گونجاو دەچێت

for the absolute worst aspects of human behavior,

،بۆ خراپترین لایه‌نی ئه‌خلاقی مرۆڤ

or that we seem to have done it by accident,

یان ئێمه‌ ئه‌وه‌مان به‌ هەڵکەوت ،دروست كردوه‌

without even realizing that we were doing it,

به‌بێ ئه‌وه‌ی بزانین ،ئه‌وه‌مان دروست كردوه‌

because we didn't really understand the systems that we were building,

له‌به‌ر ئه‌وه‌ی ئێمه‌ له‌و سیسته‌مه‌ ،تێناگه‌ین كه‌ دروستمان كردوه

and we didn't really understand how to do anything differently with it.

و له‌وه‌ش تێنه‌گه‌یشتوین چۆن هه‌رشتی .بكه‌ین به‌شێوه‌یه‌كی جیاواز له‌وه‌

There's a couple of things I think that really seem to be driving this

لێره‌دا دوشت هه‌یه‌ كه‌ من پێم وایه‌ ڕۆڵیان هه‌بووه‌

most fully on YouTube,

،به‌تایبه‌تی له‌ یوتیوب

and the first of those is advertising,

،یه‌كه‌میان ڕیكلامه‌

which is the monetization of attention

كه‌ به‌ مه‌به‌ستی پاره‌ په‌یداكردنه‌

without any real other variables at work,

،به‌بێ هیچ جیاوازیه‌كی تر له‌ كار

any care for the people who are actually developing this content,

هیچ گرنگیدانێك به‌و خه‌ڵكه‌ی ،كه‌ له‌ ڕاستیدا ئه‌و كاره‌ پیشده‌خه‌ن

the centralization of the power, the separation of those things.

،كۆكردنه‌وه‌ و ده‌سه‌ڵات .و جیاكردنه‌وه‌ی ئه‌و شتانه‌

And I think however you feel about the use of advertising

من پێم وایه‌ هه‌ستده‌كه‌ی له‌چۆنیه‌تی به‌كارهێنانی ڕیكلامدا

to kind of support stuff,

،له‌ پشتگیری ئه‌و ستافه‌دا

the sight of grown men in diapers rolling around in the sand

دیمه‌نی بینینی پیاوێكی به‌ده‌رپێی منداڵان له‌ناو خۆڵ بێوبچێت

in the hope that an algorithm that they don't really understand

به‌هیوای ئه‌وه‌ی ئه‌لگۆریزم كه‌ ته‌واو لێی تێناگه‌ن

will give them money for it

پاره‌یان پێ بدات بۆ ئه‌وه‌

suggests that this probably isn't the thing

پیشنیار ده‌كات ئه‌وه‌ ئه‌و شته‌ نییه‌

that we should be basing our society and culture upon,

بتوانین كۆمه‌وڵگە وكلتوره‌كه‌مانی ،له‌سه‌ر بنیاتبنێین

and the way in which we should be funding it.

بەو ڕێگه‌یه‌ی بتوانین .پشتگیری دارای بكه‌ین

And the other thing that's kind of the major driver of this is automation,

و خاڵی دوه‌م كه‌ ڕۆڵی هه‌یه‌ ،له‌و به‌ ئۆتۆماتیك كردنه‌

which is the deployment of all of this technology

كه‌ بڵاوكردنه‌وه‌ی ئه‌و هه‌مو ته‌كنه‌لۆجیایه‌یه‌

as soon as it arrives, without any kind of oversight,

،به‌خێراترین شێوه‌ ده‌رده‌كه‌ون ،به‌بێ هیچ چاودێریه‌ك

and then once it's out there,

،و له‌ده‌ره‌وه‌ی ئه‌وێ

kind of throwing up our hands and going, "Hey, it's not us, it's the technology."

شێوازی به‌رزكردنه‌وه‌ی ده‌ستمان ".ڕۆیشتنمان، "ئێمه‌ نین ته‌كنه‌لۆجیایه‌

Like, "We're not involved in it."

".وه‌ك "ئێمه‌ تێوه‌ نه‌گلاوین

That's not really good enough,

،ئه‌وه‌ زۆر باش نییه‌ یان به‌س نییه‌

because this stuff isn't just algorithmically governed,

چونكه‌ ئه‌و ستافه‌ به‌شێوه‌یه‌كی ،ڕێكخراو به‌ڕیوه‌ نابرێت

it's also algorithmically policed.

.له‌ڕوی ڕێكخراوه‌وه‌ چاودێری ده‌كرێت

When YouTube first started to pay attention to this,

كاتێك یوتیوب ده‌ست ده‌كات ،به‌وه‌ی گرنگی پێبده‌یت

the first thing they said they'd do about it

یه‌كه‌م شت ده‌یڵێن شتێكی له‌باره‌وه‌ ده‌كه‌ن

was that they'd deploy better machine learning algorithms

ده‌یانه‌وێ ئامێری باشترفیربونی ئه‌لگۆریزم بڵاوبكه‌نه‌وه‌

to moderate the content.

.بۆ نوێگه‌ری ناوه‌رۆكه‌كه‌

Well, machine learning, as any expert in it will tell you,

باش، ئامێری فێربون، وه‌ك ،هه‌رئه‌زمونێك به‌تۆ ده‌ڵێت

is basically what we've started to call

بەو ناوە دەستمان پێکرد

software that we don't really understand how it works.

سۆفتوێر كه‌ له‌سه‌ره‌تاوه‌ .نازانین چۆن كارده‌كات

And I think we have enough of that already.

.پێموایه‌ ئێستا به‌شی پێویستمان هه‌یه‌

We shouldn't be leaving this stuff up to AI to decide

پێویست ناكات ئه‌م ستافه‌ جێبێڵین بۆ ئه‌ی ئای تا بڕیار بدات

what's appropriate or not,

،كه‌ چی گونجاوه‌ یان نا

because we know what happens.

.چونكه‌ ده‌زانین چی ده‌بیت

It'll start censoring other things.

.ده‌ست ده‌كات به‌ سه‌رژمێری شته‌كان

It'll start censoring queer content.

.سه‌رژمێری ناوه‌ڕۆكی سه‌یرو نائاسای

It'll start censoring legitimate public speech.

.و سه‌رژمێری قسه‌ی دروستی گشتی

What's allowed in these discourses,

،ئه‌وه‌ی له‌و گفتوگۆیانه‌ ڕێگه‌ پێدراوه‌

it shouldn't be something that's left up to unaccountable systems.

نابێت شتێك بێت كه‌ به‌رز بكرێته‌وه‌ .بۆ سیسته‌مێكی نه‌ژمێردراو

It's part of a discussion all of us should be having.

ئه‌مه‌ به‌شێكه‌ له‌ گفتوگۆیه‌ك .كه‌ پێویسته‌ هه‌مانبیت

But I'd leave a reminder

بیرهێنه‌ره‌وه‌یه‌ك جێدێڵم

that the alternative isn't very pleasant, either.

جێگرەوەیەکی .زۆر بەهێز نییە

YouTube also announced recently

یوتیوب ئاشكرای كردوه‌

that they're going to release a version of their kids' app

به‌ نیازن ڤێرژنێك بڵاو بكه‌نه‌وه‌ تایبەت بە منداڵان

that would be entirely moderated by humans.

كه‌ ڕۆڵی نێوانگیری ببینێت .له‌لایه‌ن مرۆڤه‌وه‌

Facebook -- Zuckerberg said much the same thing at Congress,

فه‌یسبوك--زوكبێرگ له‌كۆبونه‌وه‌دا ،زۆرشتی هاوشێوه‌ی وت

when pressed about how they were going to moderate their stuff.

كاتێك باسی چونیه‌تی ڕۆڵی .نیوه‌نگیری ستافه‌كه‌یانی كرد

He said they'd have humans doing it.

گوتی كه‌سانێك هه‌ن ئه‌وانه‌ .ده‌كه‌ن

And what that really means is,

،مه‌به‌ستی ئه‌وه‌ بوو

instead of having toddlers being the first person to see this stuff,

پێش ئه‌وه‌ی منداڵه‌كان یه‌كه‌م ،كه‌س بن ئه‌و ستافه‌ ببینن

you're going to have underpaid, precarious contract workers

،ده‌بێ كرێیه‌كی كه‌مت دابێ وه‌ك عه‌قدێكی ئیشكردن

without proper mental health support

به‌بێ یارمه‌تی ته‌ندروست باشی عه‌قڵی

being damaged by it as well.

.خراپ ده‌بێت

(Laughter)

(پێكه‌نین)

And I think we can all do quite a lot better than that.

من پێم وایه‌ ده‌توانین زۆر له‌وه‌ .باشتر بكه‌ین

(Applause)

(چەپڵە)

The thought, I think, that brings those two things together, really, for me,

،ئه‌و بیرۆكه‌، پێموایه‌ دوو شت ،بۆمن پێكه‌وه‌ ده‌نیت

is agency.

بریکار

It's like, how much do we really understand -- by agency, I mean:

چه‌ند له‌ ئێمه‌ له‌ بریکار :تێده‌گه‌ین، مه‌به‌ستم

how we know how to act in our own best interests.

ئێمه‌ چۆن ده‌زانین چۆن كارده‌كه‌ین .به‌پێی ئه‌و توانایه‌ی هه‌مانه‌

Which -- it's almost impossible to do

كه‌--ئه‌وه‌ی ئه‌سته‌مه‌ كردنی

in these systems that we don't really fully understand.

له‌م سیسته‌مه‌ كه‌ ئێمه‌ به‌ته‌واوی .لێی تێناگه‌ین

Inequality of power always leads to violence.

و نه‌بونی یا كه‌می هێز سه‌رده‌كێشێت .بۆ توندو تیژی

And we can see inside these systems

و ئێمه‌ ده‌زانین له‌م سیسته‌مانەدا

that inequality of understanding does the same thing.

كه‌می یا نه‌بونی تێگه‌شتن .هه‌مان شت ده‌كات

If there's one thing that we can do to start to improve these systems,

ئه‌گه‌ریه‌ك شت هه‌بێت كه‌ ،بۆ به‌ره‌و پێشبردنی ئه‌و سیسته‌مه‌ بیكه‌م

it's to make them more legible to the people who use them,

كه‌ وای لێبكه‌م زیاتر ڕونبێت ،بۆ ئه‌وانه‌ی به‌كاری دێنن

so that all of us have a common understanding

له‌به‌رئه‌وه‌ی تێگه‌شتنی هاوبه‌شمان هه‌یه‌

of what's actually going on here.

.كه‌ لێره‌ چی ده‌گوزه‌رێت

The thing, though, I think most about these systems

شتێك، پێموایه‌ زۆرترین شت ده‌رباره‌ی ئه‌م سیسته‌مه‌

is that this isn't, as I hope I've explained, really about YouTube.

كه‌ به‌ هیوام توانیبێتم به‌ته‌واوه‌تی ،ده‌رباره‌ی یوتیوب ڕوونم كردبێته‌وه‌

It's about everything.

.و هه‌موو شتێكه‌

These issues of accountability and agency,

،ئه‌و بابه‌ته‌ به‌رپرسیاریه‌تی و بریكاریه‌

of opacity and complexity,

،هی ناڕونی و ئاڵۆزی

of the violence and exploitation that inherently results

توندوتیژی وبه‌ركارهێنان كه‌ سه‌رچاوه‌ ده‌گرێت

from the concentration of power in a few hands --

له‌كۆكردنه‌وه‌ی ده‌سه‌ڵات له‌هه‌ندێك ده‌ستی كه‌مدا

these are much, much larger issues.

.ئه‌وانه‌ ،كێشه‌ی زۆر زۆر گه‌وره‌ن

And they're issues not just of YouTube and not just of technology in general,

به‌ته‌نها بۆ یوتیوب كێشه‌ نین ،و نه‌ بۆ ته‌كنه‌لۆجیا به‌گشتی

and they're not even new.

.كێشه‌یه‌كی نوێ نییه‌

They've been with us for ages.

.ماوه‌یه‌كی زۆره‌ له‌گه‌ڵمانن

But we finally built this system, this global system, the internet,

له‌كۆتایدا ئه‌و سیسته‌مه‌ جیهانیه‌مان ،دروست كرد، ئینته‌رنێت

that's actually showing them to us in this extraordinary way,

كه‌ به‌ڕیگه‌یه‌كی له‌ ڕاده‌ به‌ده‌ر ،پیشانی ئێمه‌ی ده‌ده‌ن

making them undeniable.

.كه‌ حاشا هه‌ڵنه‌گر بن

Technology has this extraordinary capacity

ته‌كنه‌لوجیا ئه‌و توانا زۆره‌ی هه‌یه‌

to both instantiate and continue

بۆ هه‌ردوو نوێنه‌رایه‌تی و به‌رده‌وامی

all of our most extraordinary, often hidden desires and biases

،ئێمه‌ به‌ ڕاده‌یه‌كی زۆر حه‌زه‌ شاراوه‌ ولایه‌نگیریمان به‌ كۆد

and encoding them into the world,

،ده‌خاته‌ پێش چاوی دونیا

but it also writes them down so that we can see them,

به‌ڵام له‌ هه‌مانكاتیش ده‌یاننوسێته‌وه‌ ،بۆیه‌ به‌ ئاسانی ده‌یبینین

so that we can't pretend they don't exist anymore.

كه‌ ناتوانین پیشانیان بده‌ین ،چونكه‌ له‌ هیچ كوێ بونیان نییه‌

We need to stop thinking about technology as a solution to all of our problems,

بیرنه‌كه‌ینه‌وه‌ له‌ ته‌كنه‌لۆجیا هه‌موو ،كێشه‌كانمان چاره‌سه‌ر ده‌كات

but think of it as a guide to what those problems actually are,

به‌ڵام وه‌ك نیشانه‌یه‌ك بۆدیاریكردنی ،جۆری كێشه‌كه‌ بیریلێبكه‌وه‌

so we can start thinking about them properly

ده‌توانین به‌ دروستی بیریان لێبكه‌ینه‌وه‌

and start to address them.

.و ده‌ست به‌ ناسینیان بكه‌ین

Thank you very much.

.زۆر سوپاستان ده‌كه‌م

(Applause)

(چه‌پڵه‌ لێده‌ده‌ن)

Thank you.

.سوپاستانده‌كه‌م

(Applause)

(چەپڵە)

Helen Walters: James, thank you for coming and giving us that talk.

هیلان واڵته‌رز: جیمس، سوپاس بۆ .پێدانی ئه‌و قسانەت

So it's interesting:

:كه‌وایه‌ سه‌رنج ڕاكێشه‌

when you think about the films where the robotic overlords take over,

كاتێك كه‌ سه‌یری فیلمێك ده‌كه‌یت ،ڕۆبۆتێكی گه‌وره‌ شتێك به‌ده‌ست ده‌هێنێت

it's all a bit more glamorous than what you're describing.

ئه‌وه‌ تۆزێك خۆشیه‌ به‌ .به‌راورد به‌وه‌ی باستكرد

But I wonder -- in those films, you have the resistance mounting.

به‌ڵام من له‌و فیلمانه‌ ترسم .له‌وه‌یه‌ ڕێگریت هه‌بێت

Is there a resistance mounting towards this stuff?

ئایا هیچ ڕێگریه‌ك هه‌یه‌ له‌به‌رده‌م ئه‌و ستافه‌؟

Do you see any positive signs, green shoots of resistance?

ئایا هیچ ئاماژه‌یه‌كی پۆزەتیڤ به‌ره‌و پێش چون ده‌بینیت، له‌و ڕێگریه‌؟

James Bridle: I don't know about direct resistance,

جه‌یمس: من هیچ ،ده‌رباره‌ی ڕێگری ڕاسته‌وخۆ نازانم

because I think this stuff is super long-term.

چونكه‌ ستافه‌كه‌ نایابن .و هه‌رواش ده‌مێننه‌وه‌

I think it's baked into culture in really deep ways.

هه‌ستده‌كه‌م به‌باشی و قوڵی .تێكه‌ڵی كه‌لتوربوونه‌

A friend of mine, Eleanor Saitta, always says

،هاوڕێیه‌كم، ئیلینه‌ سایتا هه‌میشه‌ ده‌ڵێت

that any technological problems of sufficient scale and scope

هه‌ر كێشه‌یه‌كی ته‌كنه‌لۆجیا له‌ بوارێكی پێویستدا

are political problems first of all.

.پێش هه‌ر شتێك كێشه‌یه‌كی سیاسیه‌

So all of these things we're working to address within this

هه‌موو ئه‌و شتانه‌ی ئیشی له‌سه‌ر ده‌كه‌ین تا بیانناسێنین

are not going to be addressed just by building the technology better,

ناتوانرێ ته‌نها به‌ ،بونیادنانی ته‌كنه‌لجیا باشتر بناسرێن

but actually by changing the society that's producing these technologies.

بەڵکو بە گۆڕینی ئەو کۆمەڵگەیەی .کە تەکنەلۆژیا بەرهەمدێنێت

So no, right now, I think we've got a hell of a long way to go.

پێم وایه‌ ڕێگه‌یه‌كی زۆر قورس .و دوور له‌ ڕێمان دایه‌

But as I said, I think by unpacking them,

وه‌ك وتم، به‌هۆی قسه‌كردن ،له‌سه‌ریان

by explaining them, by talking about them super honestly,

وزیاتر ڕونكردنه‌وه‌یان ،به‌شێوه‌یه‌كی ڕاستگۆییانه‌

we can actually start to at least begin that process.

ده‌توانین ده‌ست بكه‌ین .به‌ دروستكردنی ئه‌و پڕۆسه‌

HW: And so when you talk about legibility and digital literacy,

و كاتێك تۆ ده‌دوێیت له‌سه‌ر ،ڕوونی خوێنده‌واری

I find it difficult to imagine

قورسه‌ بیهێنمه‌ پێش چاوی خۆم

that we need to place the burden of digital literacy on users themselves.

ئه‌و خوێنده‌واریه‌ ژماره‌یه‌ك ئه‌ركی .بخه‌ینه‌ ئه‌ستۆی به‌كارهێنه‌ران خۆیان

But whose responsibility is education in this new world?

به‌ڵام به‌رپرسیاریه‌تیه‌كه‌ی ده‌كه‌وێته‌ ئه‌ستۆی په‌روه‌رده‌؟

JB: Again, I think this responsibility is kind of up to all of us,

جیمس: پێموایه‌ ئه‌م به‌رپرسیاریه‌ته‌ ،په‌یوه‌سته‌ به‌ هه‌مومانه‌وه‌

that everything we do, everything we build, everything we make,

،له‌ هه‌موو شتێك كه‌ ده‌یكه‌ین ،و دروستی ده‌كه‌ین

needs to be made in a consensual discussion

ده‌بێت دروستبكرێت به‌ شێوه‌ی داتاو گفتوگۆی له‌باره‌وه‌ بكرێت

with everyone who's avoiding it;

;له‌گه‌ڵ هه‌ر كه‌سێك خۆشی دوور بگرێت

that we're not building systems intended to trick and surprise people

كه‌ پڕۆگرامێك دروست ناكه‌ین خه‌ڵك فریو بدات یا توشی سه‌رسوڕمانیان بكات

into doing the right thing,

،به‌ شێوه‌یه‌ك تا دروستترین شت بكه‌ن

but that they're actually involved in every step in educating them,

به‌ڵام له‌ ڕاستیدا تێوه‌گلاون له‌هه‌ر ،هه‌نگاوێكی په‌روه‌رده‌ كردنیان

because each of these systems is educational.

چونكه‌ هه‌ریه‌ك له‌و پڕۆگرامانه‌ .په‌روه‌رده‌ین

That's what I'm hopeful about, about even this really grim stuff,

ئه‌وه‌ش تاكه‌ هۆیه‌ ده‌رباره‌ی ئه‌و ،بابه‌ت و گروپه دڵخۆشی كردوم

that if you can take it and look at it properly,

،ئه‌گه‌ر بتوانی به‌جوانی لێی بڕوانیت

it's actually in itself a piece of education

له‌ناو خۆیدا هه‌ندێك په‌روه‌رده‌ی هه‌ڵگرتوه‌

that allows you to start seeing how complex systems come together and work

كه‌ ڕێگه‌ت ده‌دات ببینیت پڕۆگرامه‌كان چه‌ند ئاڵۆزن و پێكه‌وه‌ كارده‌كه‌ن

and maybe be able to apply that knowledge elsewhere in the world.

له‌وانه‌یه‌ هه‌ر زانیاریه‌كت ده‌ست .بكه‌وێ له‌ هه‌ر كوێیه‌كی جیهان بێت

HW: James, it's such an important discussion,

،پێشكه‌شكار: جه‌یمس ،گفتوگۆیه‌كی گرینگبوو

and I know many people here are really open and prepared to have it,

و ده‌زانم خه‌ڵكێكی زۆر لێره‌ن مێشكیان ،كراوه‌یه‌ و وه‌ری ده‌گرن

،سوپاس ئه‌و به‌یانیه‌ له‌گه‌ڵمان بوویت

so thanks for starting off our morning.

JB: Thanks very much. Cheers.

.جه‌یمس: سوپاس

(Applause)

(چەپڵە)