How to get empowered, not overpowered, by AI | Max Tegmark

Traducteur: Karine Gantin Relecteur: Hélène Vernet

After 13.8 billion years of cosmic history,

Après 13,8 milliards d’années d’histoire cosmique,

our universe has woken up

notre univers s’est éveillé et a pris conscience de lui-même.

and become aware of itself.

From a small blue planet,

Sur une petite planète bleue,

tiny, conscious parts of our universe have begun gazing out into the cosmos

des petites parts conscientes de notre univers

ont commencé à observer le cosmos avec des télescopes,

with telescopes,

et ont découvert avec humilité

discovering something humbling.

We've discovered that our universe is vastly grander

que notre univers est beaucoup plus grand que ne l'imaginaient nos ancêtres,

than our ancestors imagined

and that life seems to be an almost imperceptibly small perturbation

et que la vie semble être une perturbation mineure, presque imperceptible,

on an otherwise dead universe.

dans un univers complètement mort.

But we've also discovered something inspiring,

Mais nous avons aussi découvert, avec inspiration,

which is that the technology we're developing has the potential

que les technologies que nous développons

ont la capacité d'aider la vie à s'épanouir comme jamais auparavant,

to help life flourish like never before,

not just for centuries but for billions of years,

non seulement pendant des siècles, mais des milliards d’années,

and not just on earth but throughout much of this amazing cosmos.

et non seulement sur Terre, mais dans une bonne partie de ce formidable cosmos.

I think of the earliest life as "Life 1.0"

Les premières formes de vie sont pour moi « La vie 1.0 »,

because it was really dumb,

parce qu'elles étaient vraiment ignorantes,

like bacteria, unable to learn anything during its lifetime.

comme les bactéries incapables d’apprendre quoi que ce soit dans leur vie.

I think of us humans as "Life 2.0" because we can learn,

Nous, humains, représentons « La vie 2.0 » car nous pouvons apprendre,

which we in nerdy, geek speak,

ce qui pour nous, en language de geek,

might think of as installing new software into our brains,

est un peu comme télécharger de nouveaux logiciels dans notre cerveau,

like languages and job skills.

comme des langues ou des compétences professionnelles.

"Life 3.0," which can design not only its software but also its hardware

« La vie 3.0. » qui peut concevoir son programme mais aussi son équipement

n'existe pas encore, bien sûr.

of course doesn't exist yet.

But perhaps our technology has already made us "Life 2.1,"

Mais peut-être que notre technologie a déjà fait de nous « La vie 2.1 »,

with our artificial knees, pacemakers and cochlear implants.

considérant nos genoux artificiels, pacemakers et implants cochléaires.

So let's take a closer look at our relationship with technology, OK?

Donc, observons de plus près notre relation à la technologie, d'accord ?

As an example,

Par exemple, la mission lunaire Apollo 11

the Apollo 11 moon mission was both successful and inspiring,

a été à la fois un succès et une source d'inspiration.

showing that when we humans use technology wisely,

Elle a montré que quand nous utilisons la technologie intelligemment,

we can accomplish things that our ancestors could only dream of.

nous pouvons accomplir des choses que nos ancêtres ne pouvaient que rêver.

But there's an even more inspiring journey

Mais il existe un voyage encore plus inspirant,

propelled by something more powerful than rocket engines,

propulsé par une chose encore plus puissante que les moteurs de fusée,

where the passengers aren't just three astronauts

et dont les voyageurs ne sont pas juste trois astronautes,

but all of humanity.

mais l’humanité toute entière.

Let's talk about our collective journey into the future

Parlons de notre voyage collectif dans le futur

with artificial intelligence.

avec l’intelligence artificielle.

My friend Jaan Tallinn likes to point out that just as with rocketry,

Mon ami Jaan Tallinn aime signaler que, comme pour les fusées,

it's not enough to make our technology powerful.

il ne suffit pas de rendre notre technologie efficace.

We also have to figure out, if we're going to be really ambitious,

Nous devons aussi, si nous voulons être vraiment ambitieux,

how to steer it

trouver le moyen de la guider et définir ce que nous voulons en faire.

and where we want to go with it.

So let's talk about all three for artificial intelligence:

Donc, parlons de l'intelligence artificielle sous ces trois aspects :

the power, the steering and the destination.

sa puissance, son guidage, et sa destination.

Let's start with the power.

Commençons par sa puissance.

I define intelligence very inclusively --

Je définis « l’intelligence » de manière très inclusive

simply as our ability to accomplish complex goals,

comme étant notre capacité à atteindre des objectifs complexes,

because I want to include both biological and artificial intelligence.

car je veux y inclure les deux intelligences, biologique et artificielle.

And I want to avoid the silly carbon-chauvinism idea

Et je souhaite éviter l'idée absurde du chauvinisme carbonique

that you can only be smart if you're made of meat.

qui dit, vous ne pouvez être intelligent que si vous êtes fait de viande.

It's really amazing how the power of AI has grown recently.

Récemment, le pouvoir de l’I.A. s’est développé de façon incroyable.

Just think about it.

Réfléchissez un instant.

Not long ago, robots couldn't walk.

Il n'y a pas si longtemps, les robots ne pouvaient pas marcher.

Aujourd’hui, ils font des saltos arrières.

Now, they can do backflips.

Not long ago,

Il n'y a pas si longtemps,

we didn't have self-driving cars.

nous n’avions pas de voiture totalement autonome.

Now, we have self-flying rockets.

Aujourd’hui, nous avons des fusées autonomes.

Not long ago,

Il n'y a pas si longtemps,

AI couldn't do face recognition.

l’I.A. était incapable de reconnaître nos visages.

Now, AI can generate fake faces

Aujourd’hui, elle peut générer de faux visages

and simulate your face saying stuff that you never said.

et simuler le vôtre en train de dire des trucs que vous n’avez jamais dits.

Not long ago,

Il n'y a pas si longtemps, l’I.A. ne pouvait pas nous battre au jeu de go.

AI couldn't beat us at the game of Go.

Then, Google DeepMind's AlphaZero AI took 3,000 years of human Go games

Puis l'I.A. de Google DeepMind, AlphaZero,

a pris 3 000 ans de parties et la sagacité du jeu Go, pour ensuite tout ignorer,

and Go wisdom,

ignored it all and became the world's best player by just playing against itself.

et elle est devenue la meilleure joueuse mondiale

et en jouant seulement contre elle-même.

And the most impressive feat here wasn't that it crushed human gamers,

Le plus impressionnant, ce n'est pas sa victoire contre des joueurs humains

but that it crushed human AI researchers

mais sa victoire contre les chercheurs en I.A.

who had spent decades handcrafting game-playing software.

qui avaient passé des décennies à concevoir leur logiciel de jeu.

And AlphaZero crushed human AI researchers not just in Go but even at chess,

AlphaZero a battu les chercheurs en I.A. au jeu de go, mais aussi au jeu d’échecs,

which we have been working on since 1950.

un jeu sur lequel nous avons travaillé depuis 1950.

So all this amazing recent progress in AI really begs the question:

Donc, tous ces progrès récents incroyables de l’l.A. soulèvent vraiment la question :

How far will it go?

« Jusqu’où cela va-t-il aller ? »

I like to think about this question

J’aime imaginer cette question

in terms of this abstract landscape of tasks,

sous la forme d'un paysage abstrait constitué de tâches,

where the elevation represents how hard it is for AI to do each task

où l’altitude représente le degré de difficulté qu'a l'I.A.

à exécuter chaque tâche comme un être humain,

at human level,

and the sea level represents what AI can do today.

et le niveau de la mer, les capacités de l'I.A. aujourd’hui.

The sea level is rising as AI improves,

Son niveau monte en fonction des progrès de l’I.A.,

so there's a kind of global warming going on here in the task landscape.

donc on peut voir une sorte de réchauffement climatique ici.

(Rires)

And the obvious takeaway is to avoid careers at the waterfront --

Evidemment, la première conclusion, c'est éviter les métiers en bord de mer,

(Laughter)

(Rires)

which will soon be automated and disrupted.

parce qu'ils vont bientôt être automatisés.

But there's a much bigger question as well.

Mais il y a une autre question bien plus importante :

How high will the water end up rising?

« Jusqu’où l’eau va-t-elle monter ? »

Will it eventually rise to flood everything,

Est-ce qu'elle va tout inonder

matching human intelligence at all tasks.

et être comparable à l'intelligence humaine partout ?

This is the definition of artificial general intelligence --

Voici la définition de l'Intelligence Artificielle Générale,

AGI,

I.A.G.

which has been the holy grail of AI research since its inception.

le Saint Graal de la recherche en I.A. depuis son lancement.

Selon cette définition, ceux qui disent

By this definition, people who say,

"Ah, there will always be jobs that humans can do better than machines,"

« Il y aura toujours des métiers où l’homme fait mieux que la machine »,

are simply saying that we'll never get AGI.

disent simplement que nous n’aurons jamais d'I.A.G.

Sure, we might still choose to have some human jobs

Bien sûr, on pourrait choisir de garder certains emplois humains,

or to give humans income and purpose with our jobs,

ou offrir, par nos emplois, un revenu et une vocation,

but AGI will in any case transform life as we know it

mais l’I.A.G. va de toute façon modifier la vie telle que nous la connaissons

with humans no longer being the most intelligent.

quand les humains ne seront plus les plus intelligents.

Now, if the water level does reach AGI,

Maintenant, si le niveau de la mer atteint effectivement l’I.A.G.,

then further AI progress will be driven mainly not by humans but by AI,

les progrès futurs de l’I.A. seront alors gérés principalement

non plus par les hommes, mais par l’I.A.,

which means that there's a possibility

ce qui pourrait impliquer de nouveaux progrès bien plus rapides

that further AI progress could be way faster

than the typical human research and development timescale of years,

que les années de recherches nécessaires à l'homme pour aboutir.

raising the controversial possibility of an intelligence explosion

Cela évoque la possibilité contestée d’un essor gigantesque de l’I.A.,

where recursively self-improving AI

où l'I.A. qui s'auto-améliore récursivement

rapidly leaves human intelligence far behind,

devance très vite l’intelligence humaine,

creating what's known as superintelligence.

en créant ce qu’on appelle une « superintelligence ».

Alright, reality check:

Bon, revenons à la réalité.

Are we going to get AGI any time soon?

Allons-nous obtenir l'I.A.G. dans un futur proche ?

Some famous AI researchers, like Rodney Brooks,

Des chercheurs célèbres en I.A., comme Rodney Brooks,

pensent que cela ne va pas arriver avant des centaines d’années.

think it won't happen for hundreds of years.

But others, like Google DeepMind founder Demis Hassabis,

Mais d’autres, comme Demis Hassabis, le fondateur de Google DeepMind,

are more optimistic

sont plus optimistes et travaillent à ce qu'elle se produise beaucoup plus tôt.

and are working to try to make it happen much sooner.

And recent surveys have shown that most AI researchers

Des enquêtes récentes ont montré que la plupart des chercheurs en I.A.

actually share Demis's optimism,

partagent l’optimisme de Demis, en fait,

expecting that we will get AGI within decades,

et s’attendent à voir l'I.A.G. émerger d’ici quelques dizaines d'années,

so within the lifetime of many of us,

donc du vivant de beaucoup d'entre nous ;

which begs the question -- and then what?

ce qui nous amène à nous demander « Et ensuite ? »

What do we want the role of humans to be

Quel rôle voulons-nous donner aux hommes

if machines can do everything better and cheaper than us?

quand les machines pourront tout faire mieux que nous et moins cher ?

The way I see it, we face a choice.

D'après moi, nous faisons face à un choix.

Première option, nous pouvons dire avec complaisance,

One option is to be complacent.

We can say, "Oh, let's just build machines that can do everything we can do

« Oh ! Fabriquons des machines qui font tout à notre place

and not worry about the consequences.

sans nous soucier des conséquences.

Come on, if we build technology that makes all humans obsolete,

Quoi ! Si nous créons une technologie qui rend l’humain obsolète,

what could possibly go wrong?"

que pourrait-il arriver ? »,

(Laughter)

(Rires)

But I think that would be embarrassingly lame.

mais, je pense que ce serait inadapté.

I think we should be more ambitious -- in the spirit of TED.

Je pense que nous devrions être plus ambitieux, dans l’esprit de TED.

Let's envision a truly inspiring high-tech future

Imaginons un avenir de haute technologie, qui nous inspire vraiment,

and try to steer towards it.

et essayons d'y parvenir.

This brings us to the second part of our rocket metaphor: the steering.

Ceci nous conduit à la deuxième partie de notre métaphore de fusée : le guidage.

We're making AI more powerful,

Nous rendons l’I.A. plus performante

but how can we steer towards a future

mais comment la guider vers un avenir

where AI helps humanity flourish rather than flounder?

où elle contribue à la prospérité, non à la ruine des hommes ?

To help with this,

Pour aider dans ce sens, j’ai cofondé l'Institut « Future of Life »,

I cofounded the Future of Life Institute.

une petite ONG encourageant l'utilisation bénéfique de la technologie.

It's a small nonprofit promoting beneficial technology use,

and our goal is simply for the future of life to exist

Notre but, c'est l'existence d'un avenir pour la vie

and to be as inspiring as possible.

qui soit aussi enrichissant que possible.

You know, I love technology.

Vous savez, j'aime la technologie.

Technology is why today is better than the Stone Age.

C'est elle qui fait qu'aujourd'hui est mieux que l’Âge de pierre.

And I'm optimistic that we can create a really inspiring high-tech future ...

Et je suis optimiste, nous pouvons créer

un futur de haute-technologie vraiment exaltant,

if -- and this is a big if --

si, et seulement si, nous gagnons la course à la sagesse,

if we win the wisdom race --

the race between the growing power of our technology

la course entre le pouvoir grandissant de notre technologie

and the growing wisdom with which we manage it.

et la sagesse grandissante avec laquelle nous la gérons.

But this is going to require a change of strategy

Mais pour cela, il va falloir un changement de stratégie,

because our old strategy has been learning from mistakes.

car notre stratégie a toujours été de tirer des leçons de nos erreurs.

We invented fire,

On a inventé le feu ; on s'est planté pas mal de fois ;

screwed up a bunch of times --

invented the fire extinguisher.

alors on a inventé l’extincteur.

(Laughter)

(Rires)

We invented the car, screwed up a bunch of times --

On a inventé la voiture ; on s'est planté ;

on a créé le feu rouge, la ceinture de sécurité et l’airbag.

invented the traffic light, the seat belt and the airbag,

but with more powerful technology like nuclear weapons and AGI,

Mais avec des technologies plus puissantes comme l’arme nucléaire ou l'I.A.G.,

learning from mistakes is a lousy strategy,

tirer parti des erreurs est une stratégie plutôt mauvaise, qu'en pensez-vous ?

don't you think?

(Rires)

(Laughter)

Mieux vaut être proactif plutôt que réactif,

It's much better to be proactive rather than reactive;

plan ahead and get things right the first time

et planifier et réussir la première fois

because that might be the only time we'll get.

car il se peut qu'il n'y ait pas de seconde fois.

But it is funny because sometimes people tell me,

C’est drôle, parfois les gens me disent

« Max, chuut ! Ne parle pas comme ça !

"Max, shhh, don't talk like that.

That's Luddite scaremongering."

C'est de l'alarmisme luddiste. »

But it's not scaremongering.

Mais ce n’est pas de l’alarmisme.

It's what we at MIT call safety engineering.

Au M.I.T., on appelle ça « l’ingénierie de la sécurité ».

Think about it:

Réfléchissez.

before NASA launched the Apollo 11 mission,

Avant de lancer sa mission Apollo 11,

they systematically thought through everything that could go wrong

la NASA a réfléchi à tout ce qui pourrait mal tourner

when you put people on top of explosive fuel tanks

si on plaçait des gens sur des réservoirs d'essence explosifs

and launch them somewhere where no one could help them.

et on les envoyait là où personne ne peut les aider.

And there was a lot that could go wrong.

Beaucoup de choses pouvaient mal tourner ! Était-ce de l’alarmisme ?

Was that scaremongering?

No.

Non, et c'est précisément cette ingénierie de la sécurité

That's was precisely the safety engineering

qui a assuré le succès de la mission.

that ensured the success of the mission,

Et c’est précisément, à mon avis, la stratégie à adopter avec l'I.A.G. :

and that is precisely the strategy I think we should take with AGI.

Think through what can go wrong to make sure it goes right.

réfléchir à tout ce qui peut mal tourner pour s’assurer que tout se passe bien.

So in this spirit, we've organized conferences,

Donc dans cet esprit, nous avons organisé des conférences,

bringing together leading AI researchers and other thinkers

réuni d'éminents chercheurs et penseurs pour réfléchir à des façons de développer

to discuss how to grow this wisdom we need to keep AI beneficial.

cette sagesse nécessaire au maintien d'une I.A. bénéfique.

Our last conference was in Asilomar, California last year

Notre dernière conférence, c'était l’an dernier, à Asilomar-Californie.

and produced this list of 23 principles

Elle a débouché sur une liste de 23 principes

which have since been signed by over 1,000 AI researchers

qui ont reçu plus de mille signatures de chercheurs et industriels de l’I.A.

and key industry leaders,

and I want to tell you about three of these principles.

Laissez-moi vous expliquer trois de ces principes.

One is that we should avoid an arms race and lethal autonomous weapons.

Le premier,

c'est éviter la course à l’armement et aux armes létales autonomes.

The idea here is that any science can be used for new ways of helping people

L'idée c'est que toute science peut être utilisée

soit pour aider les gens, soit pour leur nuire.

or new ways of harming people.

For example, biology and chemistry are much more likely to be used

Par exemple, la biologie et la chimie ont plus de chances de servir

for new medicines or new cures than for new ways of killing people,

à inventer de nouveaux médicaments et traitements

que de nouvelles façons de tuer,

because biologists and chemists pushed hard --

car les biologistes et les chimistes exercent une pression efficace

and successfully --

pour l'interdiction des armes biologiques et chimiques.

for bans on biological and chemical weapons.

And in the same spirit,

De même, la plupart des chercheurs en I.A.

most AI researchers want to stigmatize and ban lethal autonomous weapons.

veulent stigmatiser et proscrire les armes létales autonomes.

Another Asilomar AI principle

Le second principe issu d'Asilomar,

is that we should mitigate AI-fueled income inequality.

c'est atténuer les inégalités de revenus que l’I.A. entraîne.

I think that if we can grow the economic pie dramatically with AI

Je pense que si nous pouvons générer des revenus fabuleux avec l’I.A.,

and we still can't figure out how to divide this pie

sans trouver de solution pour les répartir

afin d'améliorer la vie de chacun,

so that everyone is better off,

then shame on us.

alors vraiment, c'est une honte pour nous !

(Applause)

(Applaudissements)

Alright, now raise your hand if your computer has ever crashed.

Bon, maintenant, levez la main ceux dont l’ordinateur est déjà tombé en panne.

(Laughter)

(Rires)

Wow, that's a lot of hands.

Houah ! C'est beaucoup de mains levées !

Well, then you'll appreciate this principle

Alors, le troisième principe va vous plaire.

that we should invest much more in AI safety research,

C'est d'investir davantage dans la recherche sur la sécurité,

because as we put AI in charge of even more decisions and infrastructure,

car si nous mettons l’I.A. à la tête de plus de décisions et d'infrastructures,

we need to figure out how to transform today's buggy and hackable computers

nous devons transformer les ordinateurs d'aujourd'hui, buggés et piratables,

into robust AI systems that we can really trust,

en systèmes d’I.A. robustes et vraiment fiables.

because otherwise,

Sinon, toute cette superbe technologie pourrait faillir et nous nuire,

all this awesome new technology can malfunction and harm us,

or get hacked and be turned against us.

ou être piratée et retournée contre nous.

And this AI safety work has to include work on AI value alignment,

Ce travail de sécurisation de l’I.A.

passe nécessairement par l’alignement de ses valeurs,

because the real threat from AGI isn't malice,

car la véritable menace de l'I.A.G. n’est pas la malveillance,

like in silly Hollywood movies,

décrite dans les films bébêtes hollywoodien, mais la compétence.

but competence --

AGI accomplishing goals that just aren't aligned with ours.

C'est une I.A.G. qui réalise des objectifs ne concordant pas avec les nôtres.

For example, when we humans drove the West African black rhino extinct,

Ainsi, quand nous avons provoqué l’extinction du rhino noir ouest-africain,

we didn't do it because we were a bunch of evil rhinoceros haters, did we?

ce n'est pas parce que nous sommes un groupe malfaisant anti-rhino, non ?

We did it because we were smarter than them

Mais parce nous sommes plus intelligents et avons des buts différents des leurs.

and our goals weren't aligned with theirs.

But AGI is by definition smarter than us,

Or l'I.A.G. est par définition plus intelligente que nous.

so to make sure that we don't put ourselves in the position of those rhinos

Donc, si nous ne voulons pas connaître le même sort que ces rhinos,

if we create AGI,

en créant l'I.A.G.,

we need to figure out how to make machines understand our goals,

nous devons découvrir le moyen d'obliger les machines à comprendre,

adopt our goals and retain our goals.

adopter et préserver nos objectifs.

And whose goals should these be, anyway?

Et au fait, les objectifs de qui ?

Which goals should they be?

Et quels objectifs ?

This brings us to the third part of our rocket metaphor: the destination.

Cela nous conduit à la troisième partie de notre métaphore :

la destination.

We're making AI more powerful,

Nous rendons l’I.A. plus puissante,

trying to figure out how to steer it,

en essayant de trouver un moyen de la guider,

but where do we want to go with it?

mais où voulons-nous qu'elle nous emmène ?

This is the elephant in the room that almost nobody talks about --

C’est l'épine dans le pied dont presque personne ne parle,

not even here at TED --

pas même ici à TED,

because we're so fixated on short-term AI challenges.

parce que nous sommes obnubilés par les défis à court terme de l’I.A.

Ecoutez, notre espèce essaie de construire l’I.A.G.,

Look, our species is trying to build AGI,

motivated by curiosity and economics,

motivée par la curiosité et l'intérêt financier,

but what sort of future society are we hoping for if we succeed?

mais quelle sorte de société espérons-nous avoir si nous y parvenons ?

We did an opinion poll on this recently,

Nous avons fait un sondage récemment, et j'ai été surpris de voir

and I was struck to see

that most people actually want us to build superintelligence:

que la plupart des gens veulent la création d'une super intelligence,

AI that's vastly smarter than us in all ways.

d'une I.A. largement supérieure à nous sur tous les plans.

What there was the greatest agreement on was that we should be ambitious

Et presque tous étaient d'accord que nous devrions être ambitieux

and help life spread into the cosmos,

et essayer de répandre la vie dans l'univers.

but there was much less agreement about who or what should be in charge.

Mais il y avait moins de consensus quant à qui ou quoi devrait être en charge,

And I was actually quite amused

et j'ai été plutôt amusé de constater

to see that there's some some people who want it to be just machines.

que quelques-uns voulaient que ce soit seulement les machines.

(Laughter)

(Rires)

And there was total disagreement about what the role of humans should be,

Il y avait aussi un désaccord total quant au rôle des hommes,

even at the most basic level,

même au niveau le plus élémentaire.

so let's take a closer look at possible futures

Donc voyons un peu les futurs possibles

that we might choose to steer toward, alright?

que nous pourrions choisir pour nous guider, d'accord ?

So don't get me wrong here.

Comprenez bien que je ne parle pas de voyage dans l’espace,

I'm not talking about space travel,

merely about humanity's metaphorical journey into the future.

mais simplement du voyage métaphorique de l’humanité vers le futur.

So one option that some of my AI colleagues like

Donc l'option appréciée de certains de mes collègues en I.A.,

is to build superintelligence and keep it under human control,

c'est de créer une super intelligence mais sous le contrôle des hommes,

like an enslaved god,

comme un dieu réduit en esclavage, déconnectée de l’Internet,

disconnected from the internet

and used to create unimaginable technology and wealth

et utilisée pour créer une technologie et une richesse inimaginables

for whoever controls it.

au profit de quiconque la contrôle.

But Lord Acton warned us

Mais Lord Acton nous a prévenus que le pouvoir corrompt,

that power corrupts, and absolute power corrupts absolutely,

et qu'un pouvoir absolu corrompt absolument.

so you might worry that maybe we humans just aren't smart enough,

Il est donc à craindre que les humains ne soient pas assez intelligents,

ou plutôt doués de sagesse suffisante pour gérer un tel pouvoir.

or wise enough rather,

to handle this much power.

Also, aside from any moral qualms you might have

A côté des scrupules moraux que nous pourrions avoir

about enslaving superior minds,

concernant l'asservissement d'esprits supérieurs,

you might worry that maybe the superintelligence could outsmart us,

il serait à craindre que cette superintelligence soit plus maline,

break out and take over.

se libère et prenne le pouvoir.

But I also have colleagues who are fine with AI taking over

J’ai aussi des collègues qui approuvent une prise de pouvoir de l'I.A.

même si cela mènerait à l’extinction des humains,

and even causing human extinction,

as long as we feel the the AIs are our worthy descendants,

tant que nous estimons que les I.A. sont nos dignes descendants,

like our children.

à l'instar de nos enfants.

But how would we know that the AIs have adopted our best values

Mais comment allons-nous savoir

que les I.A. ont adopté nos meilleures valeurs,

and aren't just unconscious zombies tricking us into anthropomorphizing them?

qu'elles ne sont pas des zombies sans conscience

nous attirant dans le piège de l'anthropomorphisme ?

Also, shouldn't those people who don't want human extinction

Et ceux qui ne veulent pas l'extinction de l'homme,

have a say in the matter, too?

n’ont-ils pas aussi leur mot à dire ?

Now, if you didn't like either of those two high-tech options,

Si vous n’avez aimé aucune de ces deux options haute-technologie,

it's important to remember that low-tech is suicide

rappelez-vous qu'opter pour une technologie bas de gamme

from a cosmic perspective,

est un suicide du point de vue cosmique,

because if we don't go far beyond today's technology,

car si nous ne dépassons pas la technologie d'aujourd'hui,

the question isn't whether humanity is going to go extinct,

la question n'est plus si l’humanité va être exterminée

merely whether we're going to get taken out

mais comment elle va l'être par le prochain astéroïde meurtrier,

by the next killer asteroid, supervolcano

un super volcan,

or some other problem that better technology could have solved.

ou tout autre problème qu’une technologie meilleure aurait pu résoudre.

So, how about having our cake and eating it ...

Donc, pourquoi ne pas avoir le beurre et l’argent du beurre,

with AGI that's not enslaved

avec une I.A.G. non asservie qui nous traite bien

but treats us well because its values are aligned with ours?

car ses valeurs épousent les nôtres ?

This is the gist of what Eliezer Yudkowsky has called "friendly AI,"

C'est en substance ce qu’Eliezer Yudkowsky a appelé « l’I.A. Amicale »,

and if we can do this, it could be awesome.

et si nous pouvons fabriquer ça, ça pourrait être formidable.

It could not only eliminate negative experiences like disease, poverty,

Elle pourrait non seulement éliminer les mauvaises expériences

comme la maladie, la pauvreté, le crime et autres souffrances,

crime and other suffering,

but it could also give us the freedom to choose

mais elle pourrait nous donner la liberté de choisir

parmi une variété nouvelle et fantastique d’expériences positives,

from a fantastic new diversity of positive experiences --

basically making us the masters of our own destiny.

nous rendant, au fond, maîtres de notre propre destin.

So in summary,

Donc en résumé,

our situation with technology is complicated,

notre situation en matière de technologie est compliquée,

but the big picture is rather simple.

mais la vue d’ensemble est assez simple.

Most AI researchers expect AGI within decades,

La majorité des chercheurs prévoit l'arrivée de l'I.A.G.

d'ici quelques décennies, et si nous plongeons la-dedans sans préparation,

and if we just bumble into this unprepared,

it will probably be the biggest mistake in human history --

ça pourrait être la pire des erreurs de toute l'Histoire de l’humanité.

let's face it.

Regardons les choses en face.

It could enable brutal, global dictatorship

Elle rend possible une dictature brutale à l'échelle mondiale,

with unprecedented inequality, surveillance and suffering,

des inégalités, une surveillance et une souffrance sans précédents,

and maybe even human extinction.

voire même l’extinction de l'espèce humaine.

But if we steer carefully,

Par contre, si nous manoeuvrons prudemment,

we could end up in a fantastic future where everybody's better off:

nous pourrions avoir un futur fantastique où tout le monde est mieux loti -

the poor are richer, the rich are richer,

les pauvres plus riches et les riches plus riches -

everybody is healthy and free to live out their dreams.

et où tout le monde est bonne santé et libre de poursuivre ses rêves.

Mais, attendez !

Now, hang on.

Do you folks want the future that's politically right or left?

Voulez-vous l'avenir politiquement de droite ou de gauche ?

Do you want the pious society with strict moral rules,

Voulez-vous la société pieuse avec des règles morales strictes,

or do you an hedonistic free-for-all,

ou la société libertaire hédoniste comme un festival continu de Burning Man ?

more like Burning Man 24/7?

Do you want beautiful beaches, forests and lakes,

Voulez-vous des belles plages, des forêts et des lacs ?

or would you prefer to rearrange some of those atoms with the computers,

Ou préférez-vous réagencer leurs atomes dans des ordinateurs

et générer des expériences virtuelles ?

enabling virtual experiences?

With friendly AI, we could simply build all of these societies

Avec l'I.A. Amicale, nous pourrions créer toutes ces sociétés

and give people the freedom to choose which one they want to live in

et offrir aux gens la liberté de choisir la leur,

car nous ne serions plus limités par notre intelligence

because we would no longer be limited by our intelligence,

merely by the laws of physics.

mais par les seules lois de la physique,

So the resources and space for this would be astronomical --

et donc, la quantité de ressources et d’espace serait astronomique.

literally.

Littéralement !

So here's our choice.

Donc, nous avons le choix :

We can either be complacent about our future,

nous pouvons être complaisant concernant notre futur

taking as an article of blind faith

en prenant aveuglément pour article de foi

that any new technology is guaranteed to be beneficial,

que toute nouvelle technologie est forcément bénéfique

and just repeat that to ourselves as a mantra over and over and over again

et en nous répétant ça, encore et encore, comme un mantra,

as we drift like a rudderless ship towards our own obsolescence.

tandis que nous glissons, comme un bateau à la dérive,

vers notre propre obsolescence ;

Or we can be ambitious --

ou bien nous choisissons d'être ambitieux,

thinking hard about how to steer our technology

en réfléchissant à la façon de guider notre technologie

and where we want to go with it

vers la destination désirée, pour créer l'âge de l'émerveillement.

to create the age of amazement.

Nous sommes tous ici pour célébrer l’âge de l’émerveillement,

We're all here to celebrate the age of amazement,

and I feel that its essence should lie in becoming not overpowered

et j’ai l'impression qu'au fond,

il consisterait à ne pas permettre à notre technologie de prendre le dessus

but empowered by our technology.

mais plutôt, à nous enrichir.

Thank you.

Merci.

(Applause)

(Applaudissements)