The nightmare videos of childrens' YouTube — and what's wrong with the internet today | James Bridle

Übersetzung: Eva Fischer Lektorat: Andreas Herzog

I'm James.

Ich heiße James.

I'm a writer and artist,

Ich bin Schriftsteller und Künstler

and I make work about technology.

und mache Arbeiten über Technologie.

I do things like draw life-size outlines of military drones

Ich mache solche Dinge wie lebensgroße Umrisse von Militärdrohnen

in city streets around the world,

in städtischen Straßen weltweit zu zeichnen,

so that people can start to think and get their heads around

damit Menschen anfangen, über diese wirklich schwer sichtbaren

these really quite hard-to-see and hard-to-think-about technologies.

und schwer vorstellbaren Technologien nachzudenken und sie zu begreifen.

I make things like neural networks that predict the results of elections

Ich mache Dinge wie neuronale Netzwerke, die das Ergebnis von Wahlen

based on weather reports,

anhand von Wetterberichten vorhersagen,

because I'm intrigued about

denn ich bin neugierig,

what the actual possibilities of these weird new technologies are.

was die tatsächlichen Möglichkeiten dieser seltsamen neuen Technologien sind.

Last year, I built my own self-driving car.

Letztes Jahr baute ich mein eigenes selbstfahrendes Auto.

But because I don't really trust technology,

Aber da ich der Technologie nicht wirklich vertraue,

I also designed a trap for it.

entwarf ich auch eine Falle dafür.

(Laughter)

(Lachen)

And I do these things mostly because I find them completely fascinating,

Ich mache diese Dinge vor allem, weil ich sie absolut faszinierend finde,

but also because I think when we talk about technology,

aber auch weil ich denke, wenn wir über Technologie sprechen,

we're largely talking about ourselves

sprechen wir hauptsächlich über uns selbst

and the way that we understand the world.

und darüber, wie wir die Welt verstehen.

So here's a story about technology.

Hier ist eine Geschichte über Technologie:

This is a "surprise egg" video.

Das ist ein "Überraschungsei-Video".

It's basically a video of someone opening up loads of chocolate eggs

Es ist ein Video von jemandem, der massenhaft Schokoladeneier öffnet

and showing the toys inside to the viewer.

und die Spielzeuge darin dem Zuschauer zeigt.

That's it. That's all it does for seven long minutes.

Das ist alles. In sieben langen Minuten passiert nichts anderes.

And I want you to notice two things about this.

Ich möchte, dass Ihnen hier zwei Dinge auffallen.

First of all, this video has 30 million views.

Erstens, dieses Video hat 30 Millionen Aufrufe.

(Laughter)

(Lachen)

And the other thing is,

Die andere Sache ist:

it comes from a channel that has 6.3 million subscribers,

Es stammt von einem Kanal mit 6,3 Millionen Abonnenten,

that has a total of eight billion views,

der insgesamt 8 Milliarden Aufrufe hat,

and it's all just more videos like this --

und es sind einfach nur mehr Videos dieser Art.

30 million people watching a guy opening up these eggs.

30 Millionen Menschen, die einem Typen dabei zusehen, wie er diese Eier öffnet.

It sounds pretty weird, but if you search for "surprise eggs" on YouTube,

Es klingt ziemlich seltsam, aber wenn man auf YouTube "Überraschungseier" sucht,

it'll tell you there's 10 million of these videos,

wird einem angezeigt, dass es 10 Millionen dieser Videos gibt,

und ich halte das für eine Untertreibung.

and I think that's an undercount.

I think there's way, way more of these.

Ich denke, es gibt noch viel mehr.

If you keep searching, they're endless.

Wenn man weitersucht, ist es endlos.

There's millions and millions of these videos

Es gibt Millionen von diesen Videos

in increasingly baroque combinations of brands and materials,

mit zunehmend seltsamen Kombinationen von Marken und Material,

and there's more and more of them being uploaded every single day.

und tagtäglich werden mehr und mehr dieser Videos hochgeladen.

Like, this is a strange world. Right?

Was für eine komische Welt, nicht wahr?

But the thing is, it's not adults who are watching these videos.

Aber die Sache ist, dass es nicht Erwachsene sind, die diese Videos sehen.

It's kids, small children.

Es sind Kinder, kleine Kinder.

These videos are like crack for little kids.

Kleine Kinder sind süchtig nach sowas.

There's something about the repetition,

Irgendetwas an den Wiederholungen,

the constant little dopamine hit of the reveal,

den permanenten kleinen Dopaminschüben bei der Enthüllung,

that completely hooks them in.

fasziniert sie total.

And little kids watch these videos over and over and over again,

Kleine Kinder sehen sich diese Videos immer und immer und immer wieder an

and they do it for hours and hours and hours.

und sie tun das stundenlang.

And if you try and take the screen away from them,

Wenn man versucht, ihnen den Bildschirm wegzunehmen,

they'll scream and scream and scream.

werden sie unermüdlich schreien.

If you don't believe me --

Wenn Sie mir nicht glauben --

and I've already seen people in the audience nodding --

und ich sehe schon, wie einige im Publikum nicken --

if you don't believe me, find someone with small children and ask them,

wenn Sie mir nicht glauben, fragen Sie Leute mit kleinen Kindern

and they'll know about the surprise egg videos.

und sie werden von den Überraschungsei-Videos wissen.

So this is where we start.

Also hier fangen wir an.

It's 2018, and someone, or lots of people,

Es ist 2018 und jemand, vielleicht sogar viele Menschen,

are using the same mechanism that, like, Facebook and Instagram are using

nutzen denselben Mechanismus, den Facebook und Instagram benutzen,

to get you to keep checking that app,

der Sie dazu bringt, die App ständig zu öffnen,

and they're using it on YouTube to hack the brains of very small children

und sie nutzen ihn auf YouTube, um das Gehirn sehr kleiner Kindern zu hacken,

in return for advertising revenue.

um damit Werbeeinnahmen zu erzielen.

At least, I hope that's what they're doing.

Ich hoffe jedenfalls, das ist es, was sie tun.

I hope that's what they're doing it for,

Ich hoffe, dass es der Grund ist,

because there's easier ways of making ad revenue on YouTube.

denn es gibt einfachere Möglichkeiten, Werbeeinnahmen auf YouTube zu erzielen.

You can just make stuff up or steal stuff.

Man kann einfach etwas erfinden oder klauen.

So if you search for really popular kids' cartoons

Wenn Sie also nach sehr beliebten Kinderserien

like "Peppa Pig" or "Paw Patrol,"

wie "Peppa Wutz" oder "Paw Patrol" suchen,

you'll find there's millions and millions of these online as well.

werden Sie feststellen, dass es auch sie millionenfach online gibt.

Of course, most of them aren't posted by the original content creators.

Die meisten stammen natürlich nicht von den Machern der Sendungen,

They come from loads and loads of different random accounts,

sondern von vielen verschiedenen, beliebigen Konten,

and it's impossible to know who's posting them

und es ist unmöglich zu wissen, wer sie veröffentlicht

or what their motives might be.

oder was ihre Absichten sein könnten.

Does that sound kind of familiar?

Kommt Ihnen das bekannt vor?

Because it's exactly the same mechanism

Es ist nämlich genau derselbe Mechanismus,

that's happening across most of our digital services,

den wir auch in den meisten unserer digitalen Dienste sehen,

where it's impossible to know where this information is coming from.

wo es unmöglich ist, zu wissen, woher die Informationen kommen.

It's basically fake news for kids,

Es sind im Prinzip Fake News für Kinder

and we're training them from birth

und wir trainieren sie von Geburt an,

to click on the very first link that comes along,

auf den allerersten Link zu klicken, der erscheint,

regardless of what the source is.

unabhängig davon, was die Quelle ist.

That's doesn't seem like a terribly good idea.

Das scheint keine sehr gute Idee zu sein.

Here's another thing that's really big on kids' YouTube.

Eine weitere Sache, die auf Kinder-YouTube sehr populär ist:

This is called the "Finger Family Song."

Es nennt sich der "Finger Family Song".

I just heard someone groan in the audience.

Jemand im Publikum hat gerade aufgestöhnt.

This is the "Finger Family Song."

Das ist der "Finger Family Song".

This is the very first one I could find.

Das ist das erste Video, das ich finden konnte.

It's from 2007, and it only has 200,000 views,

Es ist von 2007 und hat nur 200.000 Aufrufe,

which is, like, nothing in this game.

was in diesem Spiel so gut wie nichts ist.

But it has this insanely earwormy tune,

Aber das Lied ist so ein wahnsinniger Ohrwurm

which I'm not going to play to you,

und ich spiele es Ihnen nicht vor,

because it will sear itself into your brain

da es sich in Ihr Gehirn einbrennen wird,

in the same way that it seared itself into mine,

genauso wie es sich in meines eingebrannt hat,

and I'm not going to do that to you.

und das will ich Ihnen nicht antun.

But like the surprise eggs,

Aber wie die Überraschungsei-Videos

it's got inside kids' heads

ist es in die Köpfe der Kinder gelangt

and addicted them to it.

und hat sie süchtig danach gemacht.

So within a few years, these finger family videos

Innerhalb weniger Jahre beginnen diese Finger-Family-Videos also,

start appearing everywhere,

überall zu sein,

and you get versions in different languages

und es gibt verschiedene Sprachversionen

with popular kids' cartoons using food

mit beliebten Kinderserien, die Essen, oder, um ehrlich zu sein,

or, frankly, using whatever kind of animation elements

alle Arten von Animationselementen,

you seem to have lying around.

die man gerade hat, verwenden.

And once again, there are millions and millions and millions of these videos

Auch hier gibt es Millionen und Abermillionen dieser Videos,

available online in all of these kind of insane combinations.

die online in all diesen verrückten Kombinationen verfügbar sind.

And the more time you start to spend with them,

Je mehr Zeit Sie damit verbringen,

the crazier and crazier you start to feel that you might be.

desto mehr haben Sie das Gefühl, dass Sie verrückt sind.

And that's where I kind of launched into this,

Deswegen fing ich an, mich damit auseinanderzusetzen,

that feeling of deep strangeness and deep lack of understanding

weil es so tiefgreifend absurd und unverständlich ist,

of how this thing was constructed that seems to be presented around me.

wie das Ganze konstruiert wurde, was man mir hier offenbar präsentiert.

Because it's impossible to know where these things are coming from.

Denn es ist unmöglich, zu wissen, woher diese Dinge kommen.

Like, who is making them?

Wer produziert sie?

Some of them appear to be made of teams of professional animators.

Einige von ihnen scheinen von Teams professioneller Animatoren zu stammen.

Some of them are just randomly assembled by software.

Andere wurden einfach zufällig per Software zusammengestellt.

Some of them are quite wholesome-looking young kids' entertainers.

Wieder andere sind ganz gesund aussehende Unterhaltungskünstler für Kinder.

And some of them are from people

Und manche sind von Menschen,

who really clearly shouldn't be around children at all.

die ganz klar nichts mit Kindern zu tun haben sollten.

(Laughter)

(Lachen)

And once again, this impossibility of figuring out who's making this stuff --

Wieder ist es unmöglich, herauszufinden, wer dieses Zeug macht.

like, this is a bot?

Ist es ein Bot?

Is this a person? Is this a troll?

Ist es eine Person? Ist es ein Troll?

What does it mean that we can't tell the difference

Was bedeutet es,

dass wir den Unterschied zwischen diesen Dingen nicht mehr erkennen?

between these things anymore?

And again, doesn't that uncertainty feel kind of familiar right now?

Und wieder: Fühlt sich diese Unsicherheit nicht irgendwie vertraut an?

So the main way people get views on their videos --

Die gängigste Art und Weise, wie man Videoaufrufe bekommt --

and remember, views mean money --

und bedenken Sie, Aufrufe bedeuten Geld --

is that they stuff the titles of these videos with these popular terms.

ist, diese populären Begriffe in die Titel dieser Videos zu packen.

So you take, like, "surprise eggs"

Sie nehmen zum Beispiel "Überraschungseier"

and then you add "Paw Patrol," "Easter egg,"

und fügen "Paw Patrol", "Osterei"

or whatever these things are,

oder was auch immer,

all of these words from other popular videos into your title,

all diese Worte aus anderen populären Videos in Ihren Titel ein,

until you end up with this kind of meaningless mash of language

bis Sie am Ende eine Art bedeutungslosen Sprachbrei haben,

that doesn't make sense to humans at all.

der für Menschen überhaupt keinen Sinn ergibt.

Because of course it's only really tiny kids who are watching your video,

Weil sich natürlich nur ganz kleine Kinder

diese Videos ansehen

and what the hell do they know?

und was zum Teufel wissen sie schon?

Your real audience for this stuff is software.

Das wirkliche Publikum für dieses Zeug ist Software.

It's the algorithms.

Es sind die Algorithmen.

It's the software that YouTube uses

Es ist die Software, die YouTube benutzt,

to select which videos are like other videos,

um auszuwählen, welche Videos wie andere Videos sind,

to make them popular, to make them recommended.

um sie populär zu machen, um sie zu empfehlen.

And that's why you end up with this kind of completely meaningless mash,

Deshalb kommt diese Art von völlig bedeutungslosem Brei heraus,

both of title and of content.

sowohl was den Titel als auch den Inhalt betrifft.

But the thing is, you have to remember,

Aber die Sache ist die, Sie müssen bedenken,

there really are still people within this algorithmically optimized system,

dass in diesem algorithmisch optimierten System wirklich noch Menschen stecken,

people who are kind of increasingly forced to act out

Menschen, die quasi immer mehr dazu gezwungen werden,

these increasingly bizarre combinations of words,

diese immer absurderen Wortkombinationen zu verwenden,

like a desperate improvisation artist responding to the combined screams

wie ein verzweifelter Impro-Künstler, der auf die kombinierten Schreie

of a million toddlers at once.

von einer Million Kleinkindern auf einmal reagiert.

There are real people trapped within these systems,

In diesen Systemen sind echte Menschen gefangen

and that's the other deeply strange thing about this algorithmically driven culture,

und das ist das andere sehr Seltsame an dieser algorithmisch gesteuerten Kultur,

because even if you're human,

denn selbst wenn man ein Mensch ist,

you have to end up behaving like a machine

muss man sich am Ende wie eine Maschine verhalten,

just to survive.

um zu überleben.

And also, on the other side of the screen,

Auf der anderen Seite des Bildschirms

there still are these little kids watching this stuff,

gibt es immer noch diese kleinen Kinder, die dieses Zeug schauen,

stuck, their full attention grabbed by these weird mechanisms.

gefesselt, ihre volle Aufmerksamkeit von diesen seltsamen Mechanismen erfasst.

And most of these kids are too small to even use a website.

Die meisten dieser Kinder sind zu klein, um überhaupt eine Website zu nutzen.

They're just kind of hammering on the screen with their little hands.

Sie hämmern nur mit ihren Händchen auf dem Bildschirm herum.

And so there's autoplay,

Und dann ist da Autoplay,

where it just keeps playing these videos over and over and over in a loop,

das diese Videos immer und immer und immer wieder abspielt,

endlessly for hours and hours at a time.

stundenlang in Endlosschleife.

And there's so much weirdness in the system now

Inzwischen gibt es so viel Seltsames im System,

that autoplay takes you to some pretty strange places.

dass Autoplay einen an einige ziemlich skurrile Orte führt.

This is how, within a dozen steps,

So kann man in nur wenigen Schritten

you can go from a cute video of a counting train

von einem süßen Video eines Zählzuges

to masturbating Mickey Mouse.

zu einer masturbierenden Micky Maus gelangen.

Yeah. I'm sorry about that.

Ja. Das tut mir leid.

This does get worse.

Es wird noch schlimmer.

This is what happens

Das passiert,

when all of these different keywords,

wenn all diese verschiedenen Schlagwörter,

all these different pieces of attention,

all diese verschiedenen Aufmerksamkeiten,

this desperate generation of content,

diese verzweifelte Erzeugung von Inhalten

all comes together into a single place.

an einem einzigen Ort zusammenkommen.

This is where all those deeply weird keywords come home to roost.

Hier kommen all diese äußerst merkwürdigen Suchbegriffe nach Hause, um zu ruhen.

You cross-breed the finger family video

Man kreuzt das Video der Fingerfamilie

with some live-action superhero stuff,

mit einigen lebensechten Superhelden,

you add in some weird, trollish in-jokes or something,

fügt einige komische, trollische Insiderwitze oder so etwas hinzu

and suddenly, you come to a very weird place indeed.

und plötzlich landet man an einem wirklich sehr befremdlichen Ort.

The stuff that tends to upset parents

Das Zeug, das Eltern normalerweise verärgert,

is the stuff that has kind of violent or sexual content, right?

ist das Zeug, das gewalttätige oder sexuelle Inhalte hat, nicht wahr?

Children's cartoons getting assaulted,

Zeichentrickfiguren werden angegriffen,

getting killed,

getötet,

weird pranks that actually genuinely terrify children.

absurde Streiche, die Kindern wirklich richtige Angst einjagen.

What you have is software pulling in all of these different influences

Was Sie hier haben, ist Software, die diese ganzen Einflüsse zusammenbringt

to automatically generate kids' worst nightmares.

und so automatisch die schlimmsten Albträume von Kindern erzeugt.

And this stuff really, really does affect small children.

Dieses Zeug hat echte Auswirkungen auf kleine Kinder.

Parents report their children being traumatized,

Eltern berichten,

dass ihre Kinder traumatisiert sind, Angst vor der Dunkelheit bekommen,

becoming afraid of the dark,

becoming afraid of their favorite cartoon characters.

Angst vor ihren liebsten Zeichentrickfiguren bekommen.

If you take one thing away from this, it's that if you have small children,

Wenn man eine Sache hier mitnimmt, ist es die: Wenn Sie kleine Kinder haben,

keep them the hell away from YouTube.

halten Sie sie verdammt nochmal von YouTube fern.

(Applause)

(Applaus)

But the other thing, the thing that really gets to me about this,

Aber die andere Sache, die mich wirklich beschäftigt,

is that I'm not sure we even really understand how we got to this point.

ist, dass ich nicht weiß,

ob wir überhaupt wirklich verstehen, wie wir an diesen Punkt gekommen sind.

We've taken all of this influence, all of these things,

Wir haben diese ganzen Einflüsse und all diese Dinge genommen

and munged them together in a way that no one really intended.

und sie so vermischt, wie es niemand wirklich beabsichtigt hatte.

And yet, this is also the way that we're building the entire world.

Dabei ist das die Art und Weise, wie wir die ganze Welt konstruieren.

We're taking all of this data,

Wir nehmen all diese Daten,

a lot of it bad data,

viele davon schlechte Daten,

a lot of historical data full of prejudice,

viele historische Daten voller Vorurteile,

full of all of our worst impulses of history,

voll von all unseren schlimmsten Impulsen der Geschichte,

and we're building that into huge data sets

erstellen daraus riesige Datensätze

and then we're automating it.

und anschließend automatisieren wir sie.

And we're munging it together into things like credit reports,

Und wir verarbeiten sie zu Dingen wie Kreditauskünften,

into insurance premiums,

Versicherungsprämien,

into things like predictive policing systems,

Systemen vorausschauender Polizeiarbeit,

into sentencing guidelines.

Richtlinien zur Strafzumessung.

This is the way we're actually constructing the world today

So konstruieren wir die heutige Welt

out of this data.

aus diesen Daten.

And I don't know what's worse,

Ich weiß nicht, was schlimmer ist,

that we built a system that seems to be entirely optimized

dass wir ein System geschaffen haben, das scheinbar vollständig

for the absolute worst aspects of human behavior,

für die absolut schlimmsten Aspekte des menschlichen Verhaltens optimiert ist,

or that we seem to have done it by accident,

oder dass wir es aus Versehen taten,

without even realizing that we were doing it,

ohne zu merken, dass wir es taten,

because we didn't really understand the systems that we were building,

weil wir die Systeme, die wir aufbauten, nicht wirklich verstanden,

and we didn't really understand how to do anything differently with it.

und wir nicht wirklich wussten, wie man etwas anderes damit macht.

There's a couple of things I think that really seem to be driving this

Es gibt ein paar Dinge, die das Ganze auf YouTube

most fully on YouTube,

am meisten voranzutreiben scheinen,

and the first of those is advertising,

und das erste davon ist die Werbung,

which is the monetization of attention

sprich die Monetarisierung von Aufmerksamkeit,

without any real other variables at work,

ohne dass irgendwelche echten, anderen Variablen am Werk sind,

any care for the people who are actually developing this content,

wie Sorge um die Menschen, die diese Inhalte tatsächlich entwickeln,

the centralization of the power, the separation of those things.

die Zentralisierung der Macht, die Trennung dieser Dinge.

And I think however you feel about the use of advertising

Und ich glaube, egal wie Sie zum Einsatz von Werbung stehen,

to kind of support stuff,

um Dinge zu verkaufen,

der Anblick von erwachsenen Männern in Windeln, die im Sand herumrollen

the sight of grown men in diapers rolling around in the sand

in the hope that an algorithm that they don't really understand

in der Hoffnung, dass ein Algorithmus, den sie nicht wirklich verstehen,

will give them money for it

ihnen Geld dafür gibt,

suggests that this probably isn't the thing

legt nahe, dass dies wohl nicht das ist,

that we should be basing our society and culture upon,

worauf wir unsere Gesellschaft und Kultur gründen sollten,

and the way in which we should be funding it.

und wie wir sie finanzieren sollten.

And the other thing that's kind of the major driver of this is automation,

Der andere wesentliche Antriebsfaktor ist die Automatisierung,

sprich die Bereitstellung dieser ganzen Technologie,

which is the deployment of all of this technology

as soon as it arrives, without any kind of oversight,

sobald sie eintrifft, ohne irgendeine Art von Kontrolle,

and then once it's out there,

und dann, sobald sie verfügbar ist, werfen wir unsere Hände hoch und sagen:

kind of throwing up our hands and going, "Hey, it's not us, it's the technology."

"Hey, das sind nicht wir, es ist die Technologie."

Like, "We're not involved in it."

"Wir haben damit nichts zu tun."

That's not really good enough,

Das ist nicht gut genug.

because this stuff isn't just algorithmically governed,

Denn dieses Zeug wird nicht nur von Algorithmen gesteuert,

it's also algorithmically policed.

es wird auch von Algorithmen kontrolliert.

When YouTube first started to pay attention to this,

Als YouTube zum ersten Mal darauf aufmerksam wurde,

the first thing they said they'd do about it

war das Erste, was sie tun wollten,

was that they'd deploy better machine learning algorithms

bessere maschinelle Lernalgorithmen einzusetzen,

to moderate the content.

um den Inhalt zu moderieren.

Well, machine learning, as any expert in it will tell you,

Nun, maschinelles Lernen, wie jeder Experte bezeugen kann,

is basically what we've started to call

ist im Grunde genommen nichts anderes als Software,

software that we don't really understand how it works.

von der wir nicht wirklich wissen, wie sie funktioniert.

And I think we have enough of that already.

Ich denke, davon haben wir bereits genug.

We shouldn't be leaving this stuff up to AI to decide

Wir sollten die Entscheidung nicht der KI überlassen, was geeignet ist oder nicht,

what's appropriate or not,

because we know what happens.

denn wir wissen, was dann passiert.

It'll start censoring other things.

Es wird andere Dinge zensieren.

It'll start censoring queer content.

Es wird Queer-Inhalte zensieren.

It'll start censoring legitimate public speech.

Es wird den legitimen, öffentlichen Diskurs zensieren.

What's allowed in these discourses,

Was in diesen Diskursen erlaubt ist,

it shouldn't be something that's left up to unaccountable systems.

sollte nicht von unverantwortlichen Systemen bestimmt werden.

It's part of a discussion all of us should be having.

Es ist Teil einer Diskussion, die wir alle führen sollten.

But I'd leave a reminder

Aber ich möchte Sie erinnern,

that the alternative isn't very pleasant, either.

dass die Alternative auch nicht sehr angenehm ist.

YouTube also announced recently

YouTube kündigte vor Kurzem an,

that they're going to release a version of their kids' app

dass sie eine Version ihrer Kinder-App veröffentlichen werden,

that would be entirely moderated by humans.

die vollständig von Menschen betreut wird.

Facebook -- Zuckerberg said much the same thing at Congress,

Facebook -- Zuckerberg sagte etwas sehr Ähnliches vor dem Kongress,

when pressed about how they were going to moderate their stuff.

als er gefragt wurde, wie sie ihre Sachen überwachen würden.

He said they'd have humans doing it.

Er sagte, dass es Menschen machen würden.

And what that really means is,

Was das wirklich bedeutet, ist:

instead of having toddlers being the first person to see this stuff,

Anstatt dass Kleinkinder die Ersten sind, die dieses Zeug sehen,

you're going to have underpaid, precarious contract workers

hat man nun unterbezahlte Vertragsarbeiter

ohne angemessene psychologische Betreuung,

without proper mental health support

being damaged by it as well.

die davon auch noch geschädigt werden.

(Laughter)

(Lachen)

And I think we can all do quite a lot better than that.

Ich denke, wir können alle viel mehr zustande bringen.

(Applause)

(Applaus)

The thought, I think, that brings those two things together, really, for me,

Der Gedanke, der diese beiden Dinge für mich wirklich zusammenbringt,

is agency.

ist Handlungsfähigkeit.

It's like, how much do we really understand -- by agency, I mean:

Es geht darum, wie viel wir verstehen -- mit Handlungsfähigkeit meine ich:

how we know how to act in our own best interests.

zu wissen, wie wir in unserem eigenen, besten Interesse handeln können.

Which -- it's almost impossible to do

Was fast unmöglich ist

in these systems that we don't really fully understand.

in diesen Systemen, die wir nicht wirklich vollständig verstehen.

Inequality of power always leads to violence.

Ungleiche Machtverhältnisse führen immer zu Gewalt.

And we can see inside these systems

Diese Systeme zeigen uns,

that inequality of understanding does the same thing.

dass ungleiches Verständnis dasselbe bewirkt.

If there's one thing that we can do to start to improve these systems,

Wenn es eine Möglichkeit gibt, zu beginnen, diese Systeme zu verbessern,

it's to make them more legible to the people who use them,

ist es, sie für Nutzer verständlicher zu machen,

so that all of us have a common understanding

sodass wir alle zu einem gemeinsamen Verständnis dessen gelangen,

of what's actually going on here.

was hier tatsächlich vor sich geht.

The thing, though, I think most about these systems

Jedoch denke ich, das Wichtigste an diesen Systemen ist, dass es,

is that this isn't, as I hope I've explained, really about YouTube.

wie ich hoffentlich erklärt habe, nicht wirklich um YouTube geht.

It's about everything.

Es geht um alles.

These issues of accountability and agency,

Themen wie Verantwortlichkeit und Handlungsfähigkeit,

of opacity and complexity,

Intransparenz und Komplexität,

of the violence and exploitation that inherently results

Gewalt und Ausbeutung,

from the concentration of power in a few hands --

was zwangsläufig aus der Konzentration von Macht in wenigen Händen resultiert --

these are much, much larger issues.

das sind viel, viel größere Themen.

And they're issues not just of YouTube and not just of technology in general,

Es sind keine Themen, die nur YouTube und Technologie im Allgemeinen betreffen,

and they're not even new.

und sie sind nicht einmal neu.

They've been with us for ages.

Sie begleiten uns schon ewig.

But we finally built this system, this global system, the internet,

Aber schließlich haben wir dieses globale System, das Internet, entwickelt,

that's actually showing them to us in this extraordinary way,

das sie uns auf diese außergewöhnliche Art und Weise vorführt

making them undeniable.

und sie unbestreitbar macht.

Technology has this extraordinary capacity

Technologie hat diese außergewöhnliche Fähigkeit,

to both instantiate and continue

all unsere außergewöhnlichsten,

all of our most extraordinary, often hidden desires and biases

oft verdeckten Wünsche und Vorurteile zu instanziieren und weiterzuentwickeln

and encoding them into the world,

und sie in die Welt zu kodieren,

but it also writes them down so that we can see them,

aber sie schreibt sie auch auf, damit wir sie sehen können,

so that we can't pretend they don't exist anymore.

damit wir nicht so tun können, als ob sie nicht mehr existieren.

We need to stop thinking about technology as a solution to all of our problems,

Wir müssen aufhören, Technologie als Lösung für all unsere Probleme zu sehen

und sie stattdessen als Leitfaden betrachten,

but think of it as a guide to what those problems actually are,

um herauszufinden, was diese Probleme tatsächlich sind,

so we can start thinking about them properly

damit wir anfangen können, richtig über sie nachzudenken und sie anzugehen.

and start to address them.

Thank you very much.

Vielen Dank.

(Applause)

(Applaus)

Thank you.

Danke.

(Applause)

(Applaus)

Helen Walters: James, thank you for coming and giving us that talk.

Helen Walters: James, danke fürs Kommen und für den Vortrag.

So it's interesting:

Es ist interessant:

when you think about the films where the robotic overlords take over,

Wenn man an die Filme denkt, in denen die Roboter-Oberherren die Macht ergreifen,

it's all a bit more glamorous than what you're describing.

wirkt das alles etwas glamouröser als das, was du beschreibst.

But I wonder -- in those films, you have the resistance mounting.

Aber ich frage mich -- in diesen Filmen hat man einen wachsenden Widerstand.

Is there a resistance mounting towards this stuff?

Gibt es auch einen wachsenden Widerstand gegen dieses Zeug?

Do you see any positive signs, green shoots of resistance?

Siehst du irgendwelche positiven Signale, erste Anzeichen eines Widerstandes?

James Bridle: I don't know about direct resistance,

James Bridle: Ich weiß nichts von direktem Widerstand,

because I think this stuff is super long-term.

weil ich denke, dieses Zeug ist super langfristig.

I think it's baked into culture in really deep ways.

Es hat sich tief in die Kultur eingebrannt.

A friend of mine, Eleanor Saitta, always says

Eine Freundin von mir, Eleanor Saitta, sagt immer,

that any technological problems of sufficient scale and scope

dass alle technologischen Probleme von ausreichendem Umfang und Ausmaß

are political problems first of all.

zuallererst politische Probleme sind.

So all of these things we're working to address within this

All diese Dinge, an deren Lösung wir arbeiten,

are not going to be addressed just by building the technology better,

werden nicht einfach dadurch behoben, dass wir die Technologie verbessern,

but actually by changing the society that's producing these technologies.

sondern indem wir die Gesellschaft verändern, die diese Technologien erzeugt.

So no, right now, I think we've got a hell of a long way to go.

Also nein, ich denke, im Moment haben wir einen verdammt langen Weg vor uns.

But as I said, I think by unpacking them,

Aber wie gesagt,

by explaining them, by talking about them super honestly,

indem wir sie erklären und ehrlich über sie sprechen,

können wir wenigstens anfangen, diesen Prozess zu beginnen.

we can actually start to at least begin that process.

HW: And so when you talk about legibility and digital literacy,

HW: Wenn du über Verständlichkeit und digitale Kompetenz sprichst,

I find it difficult to imagine

finde ich es schwer, zu glauben,

that we need to place the burden of digital literacy on users themselves.

dass wir die Last der digitalen Kompetenz auf die Nutzer selbst abwälzen sollten.

But whose responsibility is education in this new world?

Aber wessen Verantwortung ist die Bildung in dieser neuen Welt?

JB: Again, I think this responsibility is kind of up to all of us,

JB: Nochmals, ich denke, diese Verantwortung liegt bei uns allen,

that everything we do, everything we build, everything we make,

dass alles, was wir tun, alles, was wir entwickeln, alles, was wir machen,

needs to be made in a consensual discussion

in einer einvernehmlichen Diskussion stattfinden muss,

with everyone who's avoiding it;

mit allen, die es vermeiden;

that we're not building systems intended to trick and surprise people

dass wir keine Systeme entwickeln, die Menschen überlisten oder überraschen,

into doing the right thing,

damit sie das Richtige tun,

but that they're actually involved in every step in educating them,

sondern dass sie vielmehr an jedem Schritt der Bildung beteiligt sind,

because each of these systems is educational.

denn jedes dieser Systeme ist lehrreich.

That's what I'm hopeful about, about even this really grim stuff,

Das ist es, was mir Hoffnung gibt, selbst bei diesem sehr düsteren Zeug,

that if you can take it and look at it properly,

dass, wenn man es nehmen und richtig betrachten kann,

it's actually in itself a piece of education

es an sich schon ein Stück Bildung ist,

that allows you to start seeing how complex systems come together and work

das es ermöglicht, zu sehen, wie komplexe Systeme zusammenkommen und funktionieren

and maybe be able to apply that knowledge elsewhere in the world.

und dieses Wissen vielleicht an anderer Stelle auf der Welt anzuwenden.

HW: James, it's such an important discussion,

HW: James, es ist eine so wichtige Diskussion und ich weiß,

and I know many people here are really open and prepared to have it,

viele Menschen hier sind wirklich offen und bereit, sie zu führen.

so thanks for starting off our morning.

Danke für diesen Start in den Morgen.

JB: Thanks very much. Cheers.

JB: Vielen Dank. Tschüss.

(Applause)

(Applaus)