We're building a dystopia just to make people click on ads | Zeynep Tufekci

Traducteur: Morgane Quilfen Relecteur: Claire Ghyselen

So when people voice fears of artificial intelligence,

Quand les gens expriment de la peur envers l'intelligence artificielle,

very often, they invoke images of humanoid robots run amok.

très souvent, ils évoquent des images de robots humanoïdes qui se déchaînent.

You know? Terminator?

Vous voyez ? Terminator ?

You know, that might be something to consider,

Ce pourrait être à considérer

but that's a distant threat.

mais c'est une menace très lointaine.

Or, we fret about digital surveillance

Ou nous nous tracassons au sujet de la surveillance numérique

with metaphors from the past.

avec des métaphores du passé.

"1984," George Orwell's "1984,"

« 1984 » de George Orwell

it's hitting the bestseller lists again.

est à nouveau parmi les livres les plus vendus.

It's a great book,

C'est un super livre,

but it's not the correct dystopia for the 21st century.

mais ce n'est pas la bonne dystopie pour le 21e siècle.

What we need to fear most

Ce que nous devons craindre

is not what artificial intelligence will do to us on its own,

n'est pas ce que l'intelligence artificielle fera seule,

but how the people in power will use artificial intelligence

mais comment les gens au pouvoir utiliseront l'intelligence artificielle

to control us and to manipulate us

pour nous contrôler et nous manipuler

in novel, sometimes hidden,

de façons nouvelles, parfois cachées,

subtle and unexpected ways.

subtiles et inattendues.

Much of the technology

La plupart des technologies

that threatens our freedom and our dignity in the near-term future

qui menacent notre liberté et notre dignité dans un avenir proche

is being developed by companies

sont développées par des entreprises

in the business of capturing and selling our data and our attention

dans le domaine de l'enregistrement et de la vente

de nos données et notre attention

to advertisers and others:

à des publicitaires et autres :

Facebook, Google, Amazon,

Facebook, Google, Amazon,

Alibaba, Tencent.

Alibaba, Tencent.

Now, artificial intelligence has started bolstering their business as well.

L'intelligence artificielle a également commencé à stimuler leur marché.

And it may seem like artificial intelligence

On pourrait croire que l'intelligence artificielle

is just the next thing after online ads.

sera la suite des publicités en ligne.

It's not.

Ce n'est pas le cas.

It's a jump in category.

C'est un saut dans la catégorie.

It's a whole different world,

C'est un monde complètement différent

and it has great potential.

qui a un énorme potentiel.

It could accelerate our understanding of many areas of study and research.

Ça pourrait accélérer notre compréhension

de nombreux domaines d'étude et de recherche.

But to paraphrase a famous Hollywood philosopher,

Pour paraphraser un célèbre philosophe hollywoodien :

"With prodigious potential comes prodigious risk."

« Un grand pouvoir implique de grandes responsabilités. »

Now let's look at a basic fact of our digital lives, online ads.

Considérons un fait fondamental de nos vies numériques : les publicités.

Right? We kind of dismiss them.

Nous les ignorons.

They seem crude, ineffective.

Elles semblent grossières, inefficaces.

We've all had the experience of being followed on the web

Nous avons tous été suivis sur internet

by an ad based on something we searched or read.

par une pub basée sur une chose que nous avions cherchée ou lue.

You know, you look up a pair of boots

Vous cherchez un paire de bottes

and for a week, those boots are following you around everywhere you go.

et pendant une semaine, ces bottes vous suivent partout où vous allez.

Even after you succumb and buy them, they're still following you around.

Même après avoir succombé et les avoir achetées,

elles vous suivent encore.

We're kind of inured to that kind of basic, cheap manipulation.

Nous sommes un peu protégés contre cette manipulation bon marché.

We roll our eyes and we think, "You know what? These things don't work."

Nous levons les yeux au ciel et pensons : « Ça ne marche pas. »

Except, online,

Mis à part qu'en ligne,

the digital technologies are not just ads.

les technologies numériques ne sont pas que des publicités.

Now, to understand that, let's think of a physical world example.

Pour le comprendre, réfléchissons à un exemple du monde physique.

You know how, at the checkout counters at supermarkets, near the cashier,

Vous savez comment à la caisse au supermarché, près du caissier,

there's candy and gum at the eye level of kids?

il y a des bonbons et chewing-gums à hauteur des yeux des enfants ?

That's designed to make them whine at their parents

C'est conçu pour les faire pleurnicher auprès de leurs parents

just as the parents are about to sort of check out.

alors que les parents sont sur le point de payer.

Now, that's a persuasion architecture.

C'est une architecture de persuasion.

It's not nice, but it kind of works.

Ce n'est pas sympa, mais ça marche.

That's why you see it in every supermarket.

C'est pourquoi vous le voyez partout.

Now, in the physical world,

Dans le monde physique,

such persuasion architectures are kind of limited,

de telles architectures de persuasion sont limitées

because you can only put so many things by the cashier. Right?

car on ne peut mettre qu'un certain nombre de choses près de la caisse.

And the candy and gum, it's the same for everyone,

Les bonbons et chewing-gums sont les mêmes pour tout le monde,

even though it mostly works

même si ça fonctionne

only for people who have whiny little humans beside them.

surtout pour les gens ayant des petits êtres pleurnichant à leurs côtés.

In the physical world, we live with those limitations.

Dans le monde physique, nous vivons avec ces limites.

In the digital world, though,

Dans le monde numérique cependant,

persuasion architectures can be built at the scale of billions

les architectures de persuasion peuvent être adaptées

pour des milliards de personnes,

and they can target, infer, understand

elles peuvent cibler, déduire, comprendre

and be deployed at individuals

et être déployées pour des individus,

one by one

un par un,

by figuring out your weaknesses,

en déterminant nos faiblesses

and they can be sent to everyone's phone private screen,

et elles peuvent être envoyées sur l'écran privé des téléphones

so it's not visible to us.

afin que ce ne soit pas visible à nos yeux.

And that's different.

C'est différent.

And that's just one of the basic things that artificial intelligence can do.

Ce n'est qu'une chose basique dont est capable l'intelligence artificielle.

Now, let's take an example.

Prenons un exemple.

Let's say you want to sell plane tickets to Vegas. Right?

Vous voulez vendre des billets d'avion pour Las Vegas.

So in the old world, you could think of some demographics to target

Dans l'ancien monde, vous pensiez à des segments démographiques à cibler

based on experience and what you can guess.

d'après votre expérience et ce que vous pouvez imaginer.

You might try to advertise to, oh,

Vous pourriez faire de la publicité

men between the ages of 25 and 35,

aux hommes ayant entre 25 et 35 ans

or people who have a high limit on their credit card,

ou aux gens qui ont une limite élevée sur leur carte de crédit

or retired couples. Right?

ou aux couples à la retraite.

That's what you would do in the past.

C'est ce que vous auriez fait.

With big data and machine learning,

Avec le big data et l'apprentissage des machines,

that's not how it works anymore.

ça ne marche plus comme ça.

So to imagine that,

Pour l'imaginer,

think of all the data that Facebook has on you:

pensez à toutes les données que Facebook a sur vous :

every status update you ever typed,

tous les status tapés,

every Messenger conversation,

toutes les conversations Messenger,

every place you logged in from,

tous vos lieux de connexion,

all your photographs that you uploaded there.

toutes les photos que vous avez téléchargées.

If you start typing something and change your mind and delete it,

Si vous tapez quelque chose, changez d'avis et le supprimez,

Facebook keeps those and analyzes them, too.

Facebook le garde et l'analyse également.

Increasingly, it tries to match you with your offline data.

De plus en plus, il essaye de vous relier à vos données hors ligne.

It also purchases a lot of data from data brokers.

Il achète également des données auprès de courtiers de données.

It could be everything from your financial records

Ce pourrait être n'importe quoi, de vos documents financiers

to a good chunk of your browsing history.

à votre historique de recherche.

Right? In the US, such data is routinely collected,

Aux Etats-Unis, de telles données sont systématiquement collectées,

collated and sold.

comparées et vendues.

In Europe, they have tougher rules.

En Europe, les règles sont plus strictes.

So what happens then is,

Ce qu'il se passe alors c'est que,

by churning through all that data, these machine-learning algorithms --

en fouillant toutes ces données,

ces algorithmes d'apprentissage des machines --

that's why they're called learning algorithms --

ils sont appelés algorithmes d'apprentissage pour cette raison --

they learn to understand the characteristics of people

ils apprennent à comprendre les caractéristiques des gens

who purchased tickets to Vegas before.

ayant déjà acheté des billets pour Las Vegas.

When they learn this from existing data,

Quand ils l'apprennent de données existantes,

they also learn how to apply this to new people.

ils apprennent aussi comment l'appliquer à de nouvelles personnes.

So if they're presented with a new person,

Face à une nouvelle personne,

they can classify whether that person is likely to buy a ticket to Vegas or not.

ils peuvent classifier

si cette personne a des chances d'acheter un billet pour Las Vegas ou pas.

Fine. You're thinking, an offer to buy tickets to Vegas.

Bien. Vous vous dites qu'une offre pour acheter des billets pour Las Vegas,

I can ignore that.

vous pouvez l'ignorer.

But the problem isn't that.

Mais le problème n'est pas là.

The problem is,

Le problème,

we no longer really understand how these complex algorithms work.

c'est que nous ne comprenons plus vraiment

comment fonctionnent ces algorithmes complexes.

We don't understand how they're doing this categorization.

Nous ne comprenons pas comment ils font cette catégorisation.

It's giant matrices, thousands of rows and columns,

Ce sont d'énormes matrices, des milliers de lignes et colonnes,

maybe millions of rows and columns,

peut-être même des millions,

and not the programmers

et ni les programmeurs,

and not anybody who looks at it,

ni quiconque les regardant,

even if you have all the data,

même avec toutes les données,

understands anymore how exactly it's operating

ne comprend plus comment ça opère exactement,

any more than you'd know what I was thinking right now

pas plus que vous ne sauriez ce que je pense en ce moment

if you were shown a cross section of my brain.

si l'on vous montrait une coupe transversale de mon cerveau.

It's like we're not programming anymore,

C'est comme si nous ne programmions plus,

we're growing intelligence that we don't truly understand.

nous élevons une intelligence que nous ne comprenons pas vraiment.

And these things only work if there's an enormous amount of data,

Ces choses fonctionnent seulement s'il y a un énorme volume de données,

so they also encourage deep surveillance on all of us

elles pourraient donc aussi encourager une surveillance intensifiée à notre égard

so that the machine learning algorithms can work.

afin que les algorithmes d'apprentissage marchent.

C'est pour ça que Facebook veut collecter toutes les données sur vous.

That's why Facebook wants to collect all the data it can about you.

The algorithms work better.

Les algorithmes marchent mieux.

So let's push that Vegas example a bit.

Allons un peu plus loin avec cet exemple de Las Vegas.

What if the system that we do not understand

Et si le système que nous ne comprenons pas

was picking up that it's easier to sell Vegas tickets

déterminait qu'il est plus simple de vendre des billets pour Las Vegas

to people who are bipolar and about to enter the manic phase.

aux gens bipolaires qui sont sur le point d'entrer dans la phase maniaque.

Such people tend to become overspenders, compulsive gamblers.

De telles personnes ont tendance à dépenser et parier de façon compulsive.

They could do this, and you'd have no clue that's what they were picking up on.

Ils pourraient le faire, vous ignoreriez que c'était là leur conclusion.

I gave this example to a bunch of computer scientists once

Une fois, j'ai donné cet exemple à quelques informaticiens

and afterwards, one of them came up to me.

et après, l'un d'eux est venu me voir.

He was troubled and he said, "That's why I couldn't publish it."

Il était préoccupé : « C'est pour ça que je n'ai pas pu le publier ».

I was like, "Couldn't publish what?"

J'ai dit : « Publier quoi ? »

He had tried to see whether you can indeed figure out the onset of mania

Il avait essayé de voir s'il l'on pouvait détecter le début d'une manie

from social media posts before clinical symptoms,

d'après les posts sur les réseaux sociaux avant les symptômes cliniques

and it had worked,

et ça avait fonctionné,

and it had worked very well,

ça avait très bien fonctionné,

and he had no idea how it worked or what it was picking up on.

et il n'avait aucune idée de comment ça marchait ou ce que ça détectait.

Now, the problem isn't solved if he doesn't publish it,

Le problème n'est pas résolu s'il ne le publie pas

because there are already companies

car il y a déjà des entreprises

that are developing this kind of technology,

qui développent ce genre de technologie

and a lot of the stuff is just off the shelf.

et beaucoup de choses existent déjà.

This is not very difficult anymore.

Ce n'est plus très compliqué.

Do you ever go on YouTube meaning to watch one video

Vous arrive-t-il d'aller sur YouTube pour regarder une vidéo

and an hour later you've watched 27?

et, une heure plus tard, d'en avoir regardées 27 ?

You know how YouTube has this column on the right

Vous voyez cette colonne que YouTube a sur la droite,

that says, "Up next"

qui dit « A suivre »

and it autoplays something?

et qui se lance automatiquement ?

It's an algorithm

C'est un algorithme

picking what it thinks that you might be interested in

qui choisit ce qu'il pense qui pourrait vous intéresser

and maybe not find on your own.

et que vous ne trouveriez pas seul.

It's not a human editor.

Ce n'est pas un humain,

It's what algorithms do.

ce sont des algorithmes.

It picks up on what you have watched and what people like you have watched,

Il considère ce que vous avez regardé et ce que d'autres comme vous ont regardé

and infers that that must be what you're interested in,

et il déduit que ce doit être ce qui vous intéresse,

what you want more of,

ce dont vous voulez voir plus

and just shows you more.

et vous en montre plus.

It sounds like a benign and useful feature,

Ça semble être une fonction bénigne et utile,

except when it isn't.

mais ça ne l'est pas.

So in 2016, I attended rallies of then-candidate Donald Trump

En 2016, j'ai été à des rassemblements du candidat Donald Trump

to study as a scholar the movement supporting him.

pour étudier en tant que chercheuse le mouvement le soutenant.

I study social movements, so I was studying it, too.

J'étudie les mouvements sociaux, alors j'étudiais ça aussi.

And then I wanted to write something about one of his rallies,

Puis j'ai voulu écrire quelque chose au sujet d'un de ses rassemblements

so I watched it a few times on YouTube.

alors je l'ai regardé sur YouTube.

YouTube started recommending to me

YouTube a commencé à me recommander

and autoplaying to me white supremacist videos

et à lancer automatiquement des vidéos de suprématistes blancs

in increasing order of extremism.

étant de plus en plus extrémistes.

If I watched one,

Si j'en regardais une,

it served up one even more extreme

il m'en recommandait une encore plus extrême

and autoplayed that one, too.

et la lançais automatiquement.

If you watch Hillary Clinton or Bernie Sanders content,

Si vous regardez du contenu d'Hillary Clinton ou Bernie Sanders,

YouTube recommends and autoplays conspiracy left,

YouTube recommande et lance des vidéos gauchistes de conspiration

and it goes downhill from there.

et plus ça va, plus ça empire.

Well, you might be thinking, this is politics, but it's not.

Vous pensez peut-être que c'est de la politique, mais non.

This isn't about politics.

Il ne s'agit pas de politique.

This is just the algorithm figuring out human behavior.

Ce n'est qu'un algorithme déterminant le comportement humain.

I once watched a video about vegetarianism on YouTube

Une fois, j'ai regardé une vidéo sur le végétarisme sur YouTube

and YouTube recommended and autoplayed a video about being vegan.

et YouTube a recommandé et lancé une vidéo sur le fait d'être végétalien.

It's like you're never hardcore enough for YouTube.

Vous n'êtes jamais assez extrême pour YouTube.

(Laughter)

(Rires)

So what's going on?

Que se passe-t-il ?

Now, YouTube's algorithm is proprietary,

L'algorithme de YouTube est propriétaire,

but here's what I think is going on.

mais voici ce qui, à mon avis, se passe.

The algorithm has figured out

L'algorithme a déterminé

that if you can entice people

que si vous pouvez pousser les gens

into thinking that you can show them something more hardcore,

à penser que vous pouvez leur montrer quelque chose de plus extrême,

they're more likely to stay on the site

ils ont plus de chances de rester sur le site

watching video after video going down that rabbit hole

à regarder vidéo sur vidéo, descendant dans le terrier du lapin

while Google serves them ads.

pendant que Google leur sert des pubs.

Now, with nobody minding the ethics of the store,

Puisque personne ne fait attention à l'éthique du magasin,

these sites can profile people

ces sites peuvent profiler des gens

who are Jew haters,

comme haïssant les juifs,

who think that Jews are parasites

pensant que les juifs sont des parasites,

and who have such explicit anti-Semitic content,

qui ont du contenu anti-sémite très explicite,

and let you target them with ads.

et vous laisser les cibler avec des pubs.

They can also mobilize algorithms

Ils peuvent mobiliser les algorithmes

to find for you look-alike audiences,

pour trouver des publics similaires,

people who do not have such explicit anti-Semitic content on their profile

des gens n'ayant pas de contenu anti-sémite si explicite sur leur profil

but who the algorithm detects may be susceptible to such messages,

mais que les algorithmes détectent comme étant sensibles à de tels messages,

and lets you target them with ads, too.

et vous laisser les cibler avec des pubs.

Now, this may sound like an implausible example,

Ça peut sembler être un exemple peu plausible,

but this is real.

mais c'est vrai.

ProPublica investigated this

ProPublica a enquêté sur ça

and found that you can indeed do this on Facebook,

et a découvert que vous pouviez vraiment le faire sur Facebook

and Facebook helpfully offered up suggestions

et Facebook, serviable, offrait des suggestions

on how to broaden that audience.

sur comment étendre ce public.

BuzzFeed tried it for Google, and very quickly they found,

BuzzFeed l'a essayé pour Google et a rapidement découvert

yep, you can do it on Google, too.

que vous pouvez le faire sur Google.

And it wasn't even expensive.

Ce n'était même pas cher.

The ProPublica reporter spent about 30 dollars

Le reporter de ProPublica a dépensé environ 30 dollars

to target this category.

pour cibler cette catégorie.

So last year, Donald Trump's social media manager disclosed

L'année dernière, le responsable des réseaux sociaux de Donald Trump

a révélé utiliser les dark posts de Facebook pour démobiliser les gens,

that they were using Facebook dark posts to demobilize people,

not to persuade them,

pas pour les persuader,

but to convince them not to vote at all.

mais pour les convaincre de ne pas voter du tout.

And to do that, they targeted specifically,

Pour ce faire, ils ont spécifiquement ciblé,

for example, African-American men in key cities like Philadelphia,

par exemple, les hommes afro-américains dans des villes clés comme Philadelphie

and I'm going to read exactly what he said.

et je vais lire exactement ce qu'il a dit.

I'm quoting.

Je cite.

They were using "nonpublic posts

Ils utilisaient « des posts non publics

whose viewership the campaign controls

dont la campagne contrôle l'audience

so that only the people we want to see it see it.

afin que seuls les voient les gens dont nous voulons qu'ils les voient.

We modeled this.

Nous l'avons façonné.

It will dramatically affect her ability to turn these people out."

Ça affectera considérablement sa capacité à retourner ces gens. »

What's in those dark posts?

Qu'y a-t-il dans ces dark posts ?

We have no idea.

Nous l'ignorons.

Facebook won't tell us.

Facebook refuse de le dire.

So Facebook also algorithmically arranges the posts

Facebook arrange également algorithmiquement les posts

that your friends put on Facebook, or the pages you follow.

que vos amis mettent sur Facebook ou des pages que vous suivez.

It doesn't show you everything chronologically.

Il ne vous montre pas tout chronologiquement.

It puts the order in the way that the algorithm thinks will entice you

Il le met dans l'ordre qui, selon l'algorithme, devrait vous pousser

to stay on the site longer.

à rester plus longtemps sur le site.

Now, so this has a lot of consequences.

Ça a de nombreuses conséquences.

You may be thinking somebody is snubbing you on Facebook.

Vous pensez peut-être que quelqu'un vous ignore sur Facebook.

The algorithm may never be showing your post to them.

L'algorithme ne lui montre peut-être jamais vos posts.

The algorithm is prioritizing some of them and burying the others.

L'algorithme en priorise certains et en enterre d'autres.

Experiments show

Des expériences montrent

that what the algorithm picks to show you can affect your emotions.

que ce que l'algorithme choisit de vous montrer

peut influencer vos émotions.

But that's not all.

Mais ce n'est pas tout.

It also affects political behavior.

Ça influence aussi votre comportement politique.

So in 2010, in the midterm elections,

En 2010, aux élections de mi-mandat,

Facebook did an experiment on 61 million people in the US

Facebook a conduit une expérience sur 61 millions de personnes américaines

that was disclosed after the fact.

qui a été révélée après les faits.

So some people were shown, "Today is election day,"

Certaines personnes ont vu « Aujourd'hui, c'est jour d'élection »,

the simpler one,

le plus simple,

and some people were shown the one with that tiny tweak

et certaines personnes ont vu celui avec ce petit ajustement

with those little thumbnails

avec les petites photos

of your friends who clicked on "I voted."

de vos amis ayant cliqué sur « j'ai voté ».

This simple tweak.

Ce simple ajustement.

OK? So the pictures were the only change,

D'accord ? Les photos étaient la seule modification

and that post shown just once

et ce post montré qu'une seule fois

turned out an additional 340,000 voters

a attiré 340 000 électeurs supplémentaires

in that election,

dans cette élection,

according to this research

d'après cette recherche

as confirmed by the voter rolls.

et la liste des électeurs l'a confirmé.

A fluke? No.

Un hasard ? Non.

Because in 2012, they repeated the same experiment.

Parce qu'en 2012, ils ont reconduit cette même expérience.

And that time,

A cette époque-là,

that civic message shown just once

ce message civique montré une seule fois

turned out an additional 270,000 voters.

a attiré 270 000 électeurs supplémentaires.

For reference, the 2016 US presidential election

En guise de référence, l'élection présidentielle de 2016

was decided by about 100,000 votes.

s'est jouée à environ 100 000 votes.

Now, Facebook can also very easily infer what your politics are,

Facebook peut aussi très facilement déduire vos opinions politiques,

even if you've never disclosed them on the site.

même si vous ne les avez pas révélées sur le site.

Right? These algorithms can do that quite easily.

Ces algorithmes peuvent le faire assez facilement.

What if a platform with that kind of power

Et si une plateforme avec un tel pouvoir

decides to turn out supporters of one candidate over the other?

décidait de retourner les partisans d'un candidat pour l'autre ?

How would we even know about it?

Comment le saurions-nous ?

Now, we started from someplace seemingly innocuous --

Nous sommes partis de quelque chose semble-t-il inoffensif --

online adds following us around --

les pubs nous suivant partout en ligne --

and we've landed someplace else.

et sommes arrivés ailleurs.

As a public and as citizens,

En tant que public et citoyens,

we no longer know if we're seeing the same information

nous ne savons plus si nous voyons les mêmes informations

or what anybody else is seeing,

ou ce que voient les autres

and without a common basis of information,

et sans base d'informations commune,

little by little,

peu à peu,

public debate is becoming impossible,

le débat public devient impossible

and we're just at the beginning stages of this.

et nous n'en sommes qu'aux premières phases.

These algorithms can quite easily infer

Ces algorithmes peuvent facilement déduire

things like your people's ethnicity,

des choses comme votre ethnie, vos opinions religieuses, politiques,

religious and political views, personality traits,

vos traits de personnalité,

intelligence, happiness, use of addictive substances,

votre intelligence, votre bonheur, votre usage de substances addictives,

parental separation, age and genders,

la situation maritale de vos parents, votre âge et votre sexe,

just from Facebook likes.

uniquement grâce aux « J'aime » de Facebook.

These algorithms can identify protesters

Ces algorithmes peuvent identifier des manifestants

even if their faces are partially concealed.

même si leur visage est partiellement caché.

These algorithms may be able to detect people's sexual orientation

Ces algorithmes peuvent peut-être détecter l'orientation sexuelle des gens

just from their dating profile pictures.

simplement grâce à leur photo de profil sur un site de rencontres.

Now, these are probabilistic guesses,

Ce sont des conjectures statistiques,

so they're not going to be 100 percent right,

ils n'auront pas raison à 100%,

but I don't see the powerful resisting the temptation to use these technologies

mais je ne vois pas les puissants résister à la tentation d'utiliser ces technologies

just because there are some false positives,

simplement parce qu'il y a des faux positifs,

which will of course create a whole other layer of problems.

ce qui, bien sûr, créera un couche supplémentaire de problèmes.

Imagine what a state can do

Imaginez ce qu'un Etat peut faire

with the immense amount of data it has on its citizens.

avec l'énorme volume de données qu'il a sur ces citoyens.

China is already using face detection technology

La Chine utilise déjà une technologie de détection du visage

to identify and arrest people.

pour identifier et arrêter des gens.

And here's the tragedy:

Voici la tragédie :

we're building this infrastructure of surveillance authoritarianism

nous instaurons cette infrastructure de surveillance d’autoritarisme

merely to get people to click on ads.

simplement pour que les gens cliquent sur des pubs.

And this won't be Orwell's authoritarianism.

Ce ne sera pas l’autoritarisme d'Orwell.

This isn't "1984."

Ce n'est pas « 1984 ».

Now, if authoritarianism is using overt fear to terrorize us,

Si l'autoritarisme une peur déclarée pour nous terroriser,

we'll all be scared, but we'll know it,

nous aurons tous peur mais nous le saurons,

we'll hate it and we'll resist it.

nous détesterons ça et résisterons.

But if the people in power are using these algorithms

Mais si les gens au pouvoir utilisent ces algorithmes

to quietly watch us,

pour nous surveiller discrètement,

to judge us and to nudge us,

pour nous juger et nous inciter,

to predict and identify the troublemakers and the rebels,

pour prédire et identifier les fauteurs de trouble et les rebelles,

to deploy persuasion architectures at scale

pour déployer une architecture de persuasion à grande échelle

and to manipulate individuals one by one

et pour manipuler les individus un par un

using their personal, individual weaknesses and vulnerabilities,

grâce à leurs faiblesses et vulnérabilités personnelles et individuelles

and if they're doing it at scale

et s'ils le font à grande échelle

through our private screens

via nos écrans privés

so that we don't even know

afin que nous ne sachions même pas

what our fellow citizens and neighbors are seeing,

ce que les autres citoyens et nos voisins voient,

that authoritarianism will envelop us like a spider's web

l'autoritarisme nous enveloppera tel une toile d'araignée

and we may not even know we're in it.

et nous ignorons même que nous sommes dans la toile.

So Facebook's market capitalization

La capitalisation du marché de Facebook

is approaching half a trillion dollars.

approche le demi milliard de dollars.

It's because it works great as a persuasion architecture.

C'est parce que c'est une très bonne architecture de persuasion.

But the structure of that architecture

Mais la structure de cette architecture

is the same whether you're selling shoes

est la même que vous vendiez des chaussures

or whether you're selling politics.

ou de la politique.

The algorithms do not know the difference.

Les algorithmes ne connaissent pas la différence.

The same algorithms set loose upon us

Les mêmes algorithmes utilisés sur nous

to make us more pliable for ads

pour nous rendre plus malléables face aux publicités

are also organizing our political, personal and social information flows,

organisent aussi nos flux d'informations politiques, personnelles et sociales

and that's what's got to change.

et ça doit changer.

Now, don't get me wrong,

Ne vous méprenez pas,

we use digital platforms because they provide us with great value.

nous utilisons les plateformes numériques car elles ont beaucoup de valeur.

I use Facebook to keep in touch with friends and family around the world.

J'utilise Facebook pour garder contact

avec des amis et de la famille à travers le monde.

I've written about how crucial social media is for social movements.

J'ai écrit sur l'importance des réseaux sociaux pour les mouvements sociaux.

I have studied how these technologies can be used

J'ai étudié comment ces technologies peuvent être utilisées

to circumvent censorship around the world.

pour contourner la censure à travers le monde.

But it's not that the people who run, you know, Facebook or Google

Ce n'est pas que les dirigeants de Facebook ou Google

are maliciously and deliberately trying

essayent perfidement et délibérément

to make the country or the world more polarized

de polariser plus le pays ou le monde

and encourage extremism.

et d'encourager l'extrémisme.

I read the many well-intentioned statements

J'ai lu les nombreuses déclarations bien intentionnées

that these people put out.

que ces gens ont publiées.

But it's not the intent or the statements people in technology make that matter,

Mais ce n'est pas l'intention ou les déclarations

des gens dans les technologies qui comptent,

it's the structures and business models they're building.

ce sont les structures et les modèles commerciaux qu'ils créent.

And that's the core of the problem.

C'est le cœur du problème.

Either Facebook is a giant con of half a trillion dollars

Soit Facebook est un escroc d'un demi milliard de dollars

and ads don't work on the site,

et les pubs ne marchent pas sur le site,

it doesn't work as a persuasion architecture,

ça ne marche pas comme une architecture de persuasion

or its power of influence is of great concern.

ou son pouvoir d'influence est très préoccupant.

It's either one or the other.

C'est l'un ou l'autre.

It's similar for Google, too.

Il en va de même pour Google.

So what can we do?

Que pouvons-nous faire ?

This needs to change.

Ça doit changer.

Now, I can't offer a simple recipe,

Je ne peux pas offrir de recette simple

because we need to restructure

car nous devons restructurer

the whole way our digital technology operates.

tout le fonctionnement de notre technologie numérique.

Everything from the way technology is developed

Tout, de la façon dont la technologie est développée

to the way the incentives, economic and otherwise,

à la façon dont les incitations, économiques et autres,

are built into the system.

sont intégrées au système.

We have to face and try to deal with

Nous devons faire face et gérer

the lack of transparency created by the proprietary algorithms,

le manque de transparence créé par les algorithmes propriétaires,

the structural challenge of machine learning's opacity,

le défi structurel de l'opacité de l'apprentissage des machines,

all this indiscriminate data that's being collected about us.

toutes ces données aveuglément collectées sur nous.

We have a big task in front of us.

Nous avons devant nous une tâche importante.

We have to mobilize our technology,

Nous devons mobiliser notre technologie,

our creativity

notre créativité

and yes, our politics

et oui, notre science politique

so that we can build artificial intelligence

pour créer une intelligence artificielle

that supports us in our human goals

qui soutient nos objectifs humains

but that is also constrained by our human values.

mais qui est aussi contrainte par nos valeurs humaines.

And I understand this won't be easy.

Je comprends que ce ne sera pas simple.

We might not even easily agree on what those terms mean.

Nous ne serons pas facilement d'accord sur le sens de ces termes.

But if we take seriously

Mais si nous prenons au sérieux

how these systems that we depend on for so much operate,

le fonctionnement de ces systèmes dont nous sommes si dépendants,

I don't see how we can postpone this conversation anymore.

je ne vois pas comment nous pouvons encore retarder cette conversation.

These structures

Ces structures organisent notre fonctionnement

are organizing how we function

and they're controlling

et elles contrôlent ce que nous pouvons faire ou non.

what we can and we cannot do.

And many of these ad-financed platforms,

Beaucoup de ces plateformes financées par les pubs

they boast that they're free.

se proclament gratuites.

In this context, it means that we are the product that's being sold.

Dans ce contexte, ça signifie que nous sommes le produit qui est vendu.

We need a digital economy

Nous avons besoin d'une économie numérique

where our data and our attention

où nos données et notre attention

is not for sale to the highest-bidding authoritarian or demagogue.

ne sont pas à vendre à l'autoritariste ou au démagogue le plus offrant.

(Applause)

(Applaudissements)

So to go back to that Hollywood paraphrase,

Pour revenir à cette paraphrase hollywoodienne,

we do want the prodigious potential

nous voulons que le grand pouvoir

of artificial intelligence and digital technology to blossom,

de l'intelligence artificielle et de la technologie numérique fleurisse

but for that, we must face this prodigious menace,

mais pour ça , nous devons faire face à une grande menace,

open-eyed and now.

les yeux ouverts et maintenant.

Thank you.

Merci.

(Applause)

(Applaudissements)