The Dark Side of Competition in AI | Liv Boeree | TED

Traducteur: Claire Ghyselen Relecteur: eric vautier

Competition.

La concurrence

It's a fundamental part of human nature.

est un élément fondamental de la nature humaine.

I was a professional poker player for 10 years,

J’ai été 10 ans joueuse de poker professionnelle.

so I've very much seen all the good, bad and ugly ways it can manifest.

J’ai donc beaucoup vu

toutes les manières, bonnes ou mauvaises, dont elle se manifeste.

When it's done right,

Bien exploitée,

it can drive us to incredible feats in sports and innovation,

elle nous mène à des exploits incroyables, dans le sport ou l’innovation,

like when car companies compete over who can build the safest cars

comme les constructeurs automobiles se font concurrence

pour construire les voitures les plus sûres

or the most efficient solar panels.

ou les panneaux solaires les plus efficaces.

Those are all examples of healthy competition,

Ce sont des exemples de saine concurrence,

because even though individual companies might come and go,

car même si les entreprises peuvent naître et disparaître,

in the long run,

à long terme,

the game between them creates win-win outcomes

le jeu entre elles crée des résultats gagnant-gagnant

where everyone benefits in the end.

où tout le monde en bénéficie en fin de compte.

But sometimes competition is not so great

Mais parfois, la concurrence n’est pas si positive

and can create lose-lose outcomes where everyone's worse off than before.

et peut créer des résultats perdants où tout le monde est plus mal loti qu'avant.

Take these AI beauty filters, for example.

Prenez ces filtres de beauté IA, par exemple.

As you can see, they're a very impressive technology.

Certes, il s’agit d’une technologie très impressionnante.

They can salvage almost any picture.

Ils peuvent sauver presque n’importe quelle photo.

They can even make Angelina and Margot more beautiful.

Même Angelina et Margot plus belles.

So they're very handy,

C’est donc très pratique,

especially for influencers who, now, at the click of a button,

en particulier pour les influenceuses qui peuvent en un clic

can transform into the most beautiful Hollywood versions of themselves.

devenir les plus belles versions hollywoodiennes d’elles-mêmes.

But handy doesn't always mean healthy.

Mais pratique ne veut pas forcément dire sain.

And I've personally noticed how quickly these things can train you

J’ai personnellement remarqué à quelle vitesse ces choses peuvent vous entraîner

to hate your natural face.

à détester votre visage naturel.

And there's growing evidence that they're creating issues

Et il est de plus en plus évident que ça crée des problèmes

like body dysmorphia, especially in young people.

tels que la dysmorphie corporelle, en particulier chez les jeunes.

Nonetheless, these things are now endemic to social media

Néanmoins, ces éléments sont désormais endémiques aux réseaux sociaux,

because the nature of the game demands it.

car la nature du jeu l'exige.

The platforms are incentivized to provide them

Les plateformes sont incitées à les fournir,

because hotter pictures means more hijacked limbic systems,

car des images plus sexy signifient plus de systèmes limbiques pris en otage,

which means more scrolling and thus more ad revenue.

donc plus de scrolling et donc plus de revenus publicitaires.

And users are incentivized to use them

Les utilisateurs sont incités à les utiliser

because hotter pictures get you more followers.

car des images sexy conquièrent plus de followers.

But this is a trap,

Mais c'est un piège,

because once you start using these things,

car une fois qu’on commence à utiliser ces choses,

it's really hard to go back.

c’est difficile de revenir en arrière.

Plus, you don't even get a competitive advantage from them anymore

De plus, on n’en tire même plus d’avantage concurrentiel,

because everyone else is already using them too.

car tout le monde les utilise déjà également.

So influencers are stuck using these things

Les influenceurs sont donc contraints d'utiliser ces outils

with all the downsides

avec tous les inconvénients

and very little upside.

et très peu d'avantages.

A lose-lose game.

Tout le monde y perd.

A similar kind of trap is playing out in our news media right now,

Un piège similaire se répand actuellement dans nos médias d’information,

but with much worse consequences.

mais avec des conséquences bien pires.

You'd think since the internet came along

Depuis l’apparition d’Internet, on aurait pu penser

that the increased competition between news outlets

que la concurrence accrue entre les médias créerait une sorte de spirale positive,

would create a sort of positive spiral,

like a race to the top of nuanced, impartial, accurate journalism.

comme une course vers le sommet d’un journalisme nuancé,

impartial et précis.

Instead, we're seeing a race to the bottom of clickbait and polarization,

Nous assistons plutôt à un nivellement par le bas,

avec les pièges à clics et la polarisation,

où même les journaux respectables se tournent de plus en plus

where even respectable papers are increasingly leaning

into these kind of low-brow partisan tactics.

vers ce type de tactiques partisanes sournoises.

Again, this is due to crappy incentives.

Encore une fois, cela est dû à des incitations glauques.

Today, we no longer just read our news.

Nous ne nous contentons plus de lire l’actualité.

We interact with it by sharing and commenting.

Nous interagissons avec elle en partageant et en commentant.

And headlines that trigger emotions like fear or anger

Et les gros titres qui déclenchent des émotions comme la peur ou la colère

are far more likely to go viral than neutral or positive ones.

sont beaucoup plus susceptibles de devenir viraux que les titres neutres ou positifs.

So in many ways, news editors are in a similar kind of trap

À bien des égards, les rédacteurs se trouvent donc dans le même piège

as the influencers,

que les influenceurs :

where, the more their competitors lean into clickbaity tactics,

plus leurs concurrents adoptent des tactiques de pièges à clics,

the more they have to as well.

plus ils doivent le faire également.

Otherwise, their stories just get lost in the noise.

Sinon, leurs articles sont noyés dans le bruit ambiant.

But this is terrible for everybody,

Mais c'est terrible pour tout le monde,

because now the media get less trust from the public,

car le public a non seulement perdu confiance dans la presse,

but also it becomes harder and harder for anyone to discern truth from fiction,

mais il devient aussi de plus en plus difficile

pour quiconque de distinguer la vérité de la fiction,

which is a really big problem for democracy.

ce qui est un gros problème pour la démocratie.

Now, this process of competition gone wrong

Ce processus de concurrence qui a mal tourné

is actually the driving force behind so many of our biggest issues.

est en fait la force motrice d’un grand nombre de nos plus grands problèmes.

Plastic pollution,

La pollution plastique,

deforestation,

la déforestation,

antibiotic overuse in farming,

la surutilisation d’antibiotiques dans l’agriculture,

arms races,

la course aux armements,

greenhouse gas emissions.

les émissions de gaz à effet de serre.

These are all a result of crappy incentives,

Tout cela est le résultat d’incitations nauséabondes,

of poorly designed games that push their players --

de jeux mal conçus qui poussent leurs joueurs,

be them people, companies or governments --

qu’il s’agisse de particuliers, d’entreprises ou de gouvernements,

into taking strategies and tactics that defer costs and harms to the future.

à adopter des stratégies et des tactiques qui privilégient les coûts

et portent préjudice à l’avenir.

And what's so ridiculous is that most of the time,

Et ce qui est particulièrement ridicule, c’est que la plupart du temps,

these guys don't even want to be doing this.

ces gars n’ont même pas envie de faire ça.

You know, it's not like packaging companies

Ce n’est pas comme si les entreprises d’emballage

want to fill the oceans with plastic

voulaient remplir les océans de plastique,

or farmers want to worsen antibiotic resistance.

ou que les agriculteurs voulaient aggraver la résistance aux antibiotiques.

But they’re all stuck in the same dilemma of:

Mais ils sont tous confrontés au même dilemme :

"If I don't use this tactic,

« Si je n'utilise pas cette tactique,

I’ll get outcompeted by all the others who do.

je serai devancé par tous ceux qui le feront.

So I have to do it, too.”

Je dois donc le faire moi aussi. »

This is the mechanism we need to fix as a civilization.

C’est ce mécanisme que nous devons corriger en tant que civilisation.

And I know what you're probably all thinking, "So it's capitalism."

Vous pensez certainement : « Et alors ? C’est le capitalisme. »

No, it's not capitalism.

Non, ce n’est pas le capitalisme.

Which, yes, can cause problems,

Le capitalisme, certes, peut être la source de problèmes,

but it can also solve them and has been fantastic in general.

mais ça les résout aussi, et plutôt bien.

It's something much deeper.

C’est quelque chose de beaucoup plus profond.

It's a force of misaligned incentives of game theory itself.

C'est une force d'incitations mal alignées de la théorie des jeux elle-même.

So a few years ago, I retired from poker,

Il y a quelques années, j’ai pris ma retraite du poker,

in part because I wanted to understand this mechanism better.

en partie parce que je voulais mieux comprendre ce mécanisme.

Because it takes many different forms, and it goes by many different names.

Parce qu'il prend de nombreuses formes et qu'il porte de nombreux noms différents.

These are just some of those names.

Ce ne sont là que quelques-uns de ces noms.

You can see they're a little bit abstract and clunky, right?

Vous pouvez voir qu’ils sont un peu abstraits et maladroits.

They don't exactly roll off the tongue.

on ne les a pas vraiment sur le bout des lèvres.

And given how insidious and connected all of these problems are,

Et étant donné à quel point tous ces problèmes sont insidieux et connectés,

it helps to have a more visceral way of recognizing them.

il est utile d’avoir une façon plus viscérale de les reconnaître.

So this is probably the only time

C’est la seule fois, je pense

you're going to hear about the Bible at this conference.

où vous entendrez parler de la Bible lors de cette conférence.

But I want to tell you a quick story from it,

Mais je citerai une brève histoire,

because allegedly, back in the Canaanite days,

car apparemment, à l’époque de Cana,

there was a cult who wanted money and power so badly,

un culte qui convoitait tant l’argent et le pouvoir

they were willing to sacrifice their literal children for it.

qu’il était prêt à sacrifier littéralement ses enfants pour cela.

And they did this by burning them alive in an effigy

Et il l’a fait, en les brûlant vifs à l’effigie d’un Dieu qui,

of a God that they believed would then reward them

selon eux, le récompenserait pour ce sacrifice ultime.

for this ultimate sacrifice.

And the name of this god was Moloch.

Et le nom de ce dieu était Moloch.

Bit of a bummer, as stories go.

Ce fut décevant, selon l’histoire.

But you can see why it's an apt metaphor,

Mais on comprend pourquoi cette métaphore est appropriée,

because sometimes we get so lost in winning the game right in front of us,

car parfois, nous nous égarons pour gagner la partie

we lose sight of the bigger picture

qu’on en oublie les enjeux ultimes

and sacrifice too much in our pursuit of victory.

et que nous faisons trop de sacrifices dans notre quête de la victoire.

So just like these guys were sacrificing their children for power,

Donc, tout comme ce culte sacrifiait ses enfants pour le pouvoir,

those influencers are sacrificing their happiness for likes.

ces influenceurs sacrifient leur bonheur pour des likes.

Those news editors are sacrificing their integrity for clicks,

Ces rédacteurs sacrifient leur intégrité au profit de clics,

and polluters are sacrificing the biosphere for profit.

et les pollueurs sacrifient la biosphère à des fins lucratives.

In all these examples,

Dans tous ces exemples,

the short-term incentives of the games themselves are pushing,

les incitations à court terme des jeux incitent les joueurs

they're tempting their players

to sacrifice more and more of their future,

à sacrifier de plus en plus leur avenir,

trapping them in a death spiral where they all lose in the end.

en les piégeant dans une spirale mortelle où ils finissent tous par perdre.

That's Moloch's trap.

C'est le piège de Moloch.

The mechanism of unhealthy competition.

Le mécanisme d’une concurrence malsaine.

And the same is now happening in the AI industry.

Et il en va de même aujourd’hui dans l’industrie de l’IA.

We're all aware of the race that's heating up

Personne n’ignore la course qui s’exacerbe entre les entreprises aujourd’hui

between companies right now

over who can score the most compute,

pour conquérir la première place en capacité de calcul,

who can get the biggest funding round or get the top talent.

le plus gros financement, ou les meilleurs talents.

Well, as more and more companies enter this race,

Eh bien, plus les entreprises participent à cette course,

the greater the pressure for everyone to go as fast as possible

plus la pression est forte pour que tout le monde aille le plus vite possible

and sacrifice other important stuff like safety testing.

et sacrifie d'autres éléments importants tels que les tests de sécurité.

This has all the hallmarks of a Moloch trap.

Cela a toutes les caractéristiques d’un piège Moloch.

Because, like, imagine you're a CEO who, you know, in your heart of hearts,

Parce que, imaginez que vous êtes un PDG qui, au plus profond de son cœur,

believes that your team is the best

pense que son équipe est la meilleure au monde

to be able to safely build extremely powerful AI.

pour créer en toute sécurité une IA extrêmement puissante.

Well, if you go too slowly, then you run the risk of other,

Eh bien, si vous y allez trop lentement, vous courez le risque que d’autres,

much less cautious teams getting there first

beaucoup moins prudents, y parviennent en premier

and deploying their systems before you can.

et déploient leurs systèmes avant vous.

So that in turn pushes you to be more reckless yourself.

Cela vous pousse à être vous-même plus imprudent.

And given how many different experts and researchers,

Et étant donné que de nombreux experts et chercheurs,

both within these companies

tant au sein de ces entreprises,

but also completely independent ones,

que dans des entreprises totalement indépendantes,

have been warning us about the extreme risks of rushed AI,

nous ont mis en garde contre les risques extrêmes de toute précipitation dans l’IA,

this approach is absolutely mad.

cette approche est complètement insensée.

Plus, almost all AI companies

De plus, presque toutes les entreprises d’IA

are beholden to satisfying their investors,

sont tenues de satisfaire leurs investisseurs,

a short-term incentive which, over time, will inevitably start to conflict

une incitation à court terme qui, au fil du temps,

entrera inévitablement en conflit avec toute mission bienveillante.

with any benevolent mission.

And this wouldn't be a big deal

Et ce ne serait pas grave

if this was really just toasters we're talking about here.

s'il ne s'agissait vraiment que de grille-pain dont nous parlons ici.

But AI, and especially AGI,

Mais l’IA, et en particulier l’IA générale

is set to be a bigger paradigm shift

va représenter un changement de paradigme

than the agricultural or industrial revolutions.

plus important que les révolutions agricole ou industrielle.

A moment in time so pivotal,

Un moment charnière si crucial

it's deserving of reverence and reflection,

qu’il mérite respect et réflexion,

not something to be reduced to a corporate rat race

et ne peut se réduire à une course d’entreprise

of who can score the most daily active users.

pour obtenir le plus grand nombre d’utilisateurs actifs par jour.

I'm not saying I know

Je ne dis pas

what the right trade-off between acceleration and safety is,

que je connais le juste compromis entre accélération et sécurité,

but I do know that we'll never find out what that right trade-off is

mais je sais que nous ne saurons jamais quel est ce bon compromis

if we let Moloch dictate it for us.

si nous laissons Moloch nous le dicter.

So what can we do?

Alors, que pouvons-nous faire ?

Well, the good news is we have managed to coordinate

La bonne nouvelle : nous avons déjà réussi à nous coordonner

to escape some of Moloch's traps before.

pour échapper à certains des pièges de Moloch.

We managed to save the ozone layer from CFCs

Nous avons réussi à préserver la couche d’ozone des CFC

with the help of the Montreal Protocol.

grâce au Protocole de Montréal.

We managed to reduce the number of nuclear weapons on Earth

Nous avons réussi à réduire de 80 %, le nombre d’armes nucléaires sur Terre

by 80 percent,

with the help of the Strategic Arms Reduction Treaty in 1991.

grâce au Traité de réduction des armes stratégiques de 1991.

So smart regulation may certainly help with AI too,

Une réglementation intelligente peut donc certainement être utile

dans le domaine de l’IA,

but ultimately,

mais en fin de compte,

it's the players within the game who have the most influence on it.

ce sont les joueurs qui ont le plus d’influence sur celle-ci.

So we need AI leaders to show us

Il faut donc que les leaders de l’IA montrent

that they're not only aware of the risks their technologies pose,

qu’ils sont non seulement conscients des risques inhérents à leurs technologies,

but also the destructive nature of the incentives

mais également de la nature destructrice des incitations

that they're currently beholden to.

auxquelles ils sont soumis.

As their technological capabilities reach towards the power of gods,

À mesure que leurs capacités technologiques atteindront

le pouvoir des dieux,

they're going to need the godlike wisdom to know how to wield them.

ils auront besoin de la sagesse divine pour savoir comment les manier.

So it doesn't fill me with encouragement

Cela ne me rassure pas beaucoup

when I see a CEO of a very major company saying something like,

de voir le PDG d’une grande entreprise affirmer quelque chose comme :

"I want people to know we made our competitor dance."

« Je veux que l’on sache que nous battons la mesure de nos concurrents. »

That is not the type of mindset we need here.

Ce n’est pas le bon type d’état d’esprit.

We need leaders who are willing to flip Moloch's playbook,

Nous avons besoin de leaders prêts à inverser le schéma du Moloch,

who are willing to sacrifice their own individual chance of winning

prêts à sacrifier leurs propres chances de gagner pour le bien de tous.

for the good of the whole.

Now, fortunately, the three leading labs are showing some signs of doing this.

Aujourd’hui, heureusement,

les trois principaux laboratoires montrent des signes en ce sens.

Anthropic recently announced their responsible scaling policy,

Anthropic vient d’annoncer sa politique de croissance responsable,

which pledges to only increase capabilities

s’engageant à n’augmenter ses capacités

once certain security criteria have been met.

que lorsque certains critères de sécurité seront remplis.

OpenAI have recently pledged

OpenAI s’est récemment engagé

to dedicate 20 percent of their compute purely to alignment research.

à consacrer 20 % de ses calculs uniquement à la recherche d’alignement.

And DeepMind have shown a decade-long focus

Et DeepMind met l’accent depuis dix ans sur la science avant le commerce,

of science ahead of commerce,

comme en témoigne le développement d'AlphaFold,

like their development of AlphaFold,

which they gave away to the science community for free.

offert gratuitement à la communauté scientifique.

These are all steps in the right direction,

Tout cela va dans la bonne direction,

but they are still nowhere close to being enough.

mais c’est encore loin d’être suffisant.

I mean, most of these are currently just words,

Ce ne sont principalement que des promesses.

they're not even proven actions.

on n’a même pas de preuves.

So we need a clear way to turn the AI race into a definitive race to the top.

Nous devons donc trouver un moyen clair de transformer la course à l’IA

en un cercle vertueux.

Perhaps companies can start competing over who can be within these metrics,

Les entreprises pourraient commencer à se faire concurrence

pour se situer dans ces paramètres,

over who can develop the best security criteria.

pour savoir qui peut élaborer les meilleurs critères de sécurité.

A race of who can dedicate the most compute to alignment.

Une course pour déterminer qui consacre le plus de calculs à l’alignement.

Now that would truly flip the middle finger to Moloch.

Ça, ce serait vraiment faire un doigt d’honneur au Moloch.

Competition can be an amazing tool,

La concurrence peut être un formidable outil,

provided we wield it wisely.

à condition de l’utiliser avec sagesse.

And we're going to need to do that

Et nous allons devoir le faire,

because the stakes we are playing for are astronomical.

parce que les enjeux pour lesquels nous jouons sont astronomiques.

If we get AI, and especially AGI, wrong,

Si nous nous trompons sur l’IA, et en particulier sur l’IA générale,

it could lead to unimaginable catastrophe.

cela pourrait mener à une catastrophe inimaginable.

But if we get it right,

Mais si on fait ça bien,

it could be our path out of many of these Moloch traps

cela pourrait nous faire sortir de nombreux pièges du Moloch

that I've mentioned today.

que j’ai évoqués aujourd’hui.

And as things get crazier over the coming years,

Et plus les choses deviendront folles les prochaines années,

which they're probably going to,

ce qui sera probablement le cas,

it's going to be more important than ever

plus il sera important de nous rappeler

that we remember that it is the real enemy here, Moloch.

que le véritable ennemi ici, c’est le Moloch.

Not any individual CEO or company, and certainly not one another.

Pas un PDG ou une entreprise, et certainement pas nous.

So don't hate the players,

Alors ne détestez pas les joueurs,

change the game.

changez la donne.

(Applause)

(Applaudissements)