Don't fear superintelligent AI | Grady Booch

Traducteur: Morgane Quilfen Relecteur: Fatima Zahra El Hafa

When I was a kid, I was the quintessential nerd.

Quand j'étais enfant, j'étais l'exemple parfait de l'intello.

I think some of you were, too.

Certains d'entre vous devaient l'être aussi.

(Laughter)

(Rires)

And you, sir, who laughed the loudest, you probably still are.

Et vous, monsieur, qui avez ri le plus fort, devez encore l'être.

(Laughter)

(Rires)

I grew up in a small town in the dusty plains of north Texas,

J'ai grandi dans une petite ville des plaines poussiéreuses du Texas,

the son of a sheriff who was the son of a pastor.

fils d'un shérif qui était fils de pasteur.

Getting into trouble was not an option.

Hors de question de m'attirer des ennuis.

And so I started reading calculus books for fun.

J'ai donc commencé à lire des livres de calcul pour le plaisir.

(Laughter)

(Rires)

You did, too.

Vous aussi.

That led me to building a laser and a computer and model rockets,

Cela m'a mené à créer un laser, un ordinateur et des micro fusées

and that led me to making rocket fuel in my bedroom.

et à faire du carburant pour les fusées dans ma chambre.

Now, in scientific terms,

En termes scientifiques,

we call this a very bad idea.

cela s'appelle une très mauvaise idée.

(Laughter)

(Rires)

Around that same time,

A peu près au même moment,

Stanley Kubrick's "2001: A Space Odyssey" came to the theaters,

« 2001 : l'odyssée de l'espace » de Stanley Kubrick est sorti

and my life was forever changed.

et cela a changé ma vie.

I loved everything about that movie,

J'aimais tout dans ce film,

especially the HAL 9000.

en particulier HAL 9000.

Now, HAL was a sentient computer

HAL était un ordinateur sensible

designed to guide the Discovery spacecraft

conçu pour guider Discovery, le vaisseau spatial,

from the Earth to Jupiter.

de la Terre à Jupiter.

HAL was also a flawed character,

HAL était aussi un personnage imparfait

for in the end he chose to value the mission over human life.

puisqu'à la fin, il choisissait

la valeur de la mission plutôt que la vie humaine.

Now, HAL was a fictional character,

HAL était un personnage de fiction

but nonetheless he speaks to our fears,

mais il s'adresse malgré tout à nos peurs,

our fears of being subjugated

nos peurs d'être assujettis

by some unfeeling, artificial intelligence

par une intelligence artificielle sans émotions

who is indifferent to our humanity.

qui est indifférente à notre humanité.

I believe that such fears are unfounded.

Je crois que de telles peurs sont infondées.

Indeed, we stand at a remarkable time

En fait, nous vivons un moment remarquable

in human history,

dans l'histoire de l'humanité

where, driven by refusal to accept the limits of our bodies and our minds,

où, guidés par notre refus d'accepter les limites de nos corps et esprit,

we are building machines

nous construisons des machines

of exquisite, beautiful complexity and grace

d'une complexité et d'une grâce exquises et magnifiques

that will extend the human experience

qui étendront l'expérience humaine

in ways beyond our imagining.

bien au-delà de notre imagination.

After a career that led me from the Air Force Academy

Après une carrière qui m'a mené de l'Air Force Academy

to Space Command to now,

au Space Command aujourd'hui,

I became a systems engineer,

je suis devenu ingénieur de systèmes

and recently I was drawn into an engineering problem

et j'ai récemment participé à un problème d'ingénierie

associated with NASA's mission to Mars.

associé à la mission sur Mars de la NASA.

Now, in space flights to the Moon,

Pour les vols dans l'espace jusqu'à la Lune,

we can rely upon mission control in Houston

nous comptons sur le centre de contrôle de mission de Houston

to watch over all aspects of a flight.

pour surveiller tous les aspects du vol.

However, Mars is 200 times further away,

Cependant, Mars est à une distance 200 fois plus importante

and as a result it takes on average 13 minutes

et le résultat est qu'il faut en moyenne 13 minutes

for a signal to travel from the Earth to Mars.

pour qu'un signal voyage de la Terre jusqu'à Mars.

If there's trouble, there's not enough time.

S'il y a un problème, c'est beaucoup trop long.

And so a reasonable engineering solution

Une solution d'ingénierie raisonnable

calls for us to put mission control

nous a poussés à placer le centre de contrôle de mission

inside the walls of the Orion spacecraft.

entre les murs de l'engin spatial Orion.

Another fascinating idea in the mission profile

Une autre idée fascinante dans le profil de la mission

places humanoid robots on the surface of Mars

place les robots humanoïdes sur la surface de Mars

before the humans themselves arrive,

avant l'arrivée des humains,

first to build facilities

pour construire des infrastructures

and later to serve as collaborative members of the science team.

puis servir de membres collaboratifs à l'équipe scientifique.

Now, as I looked at this from an engineering perspective,

En observant cela d'un point de vue d'ingénieur,

it became very clear to me that what I needed to architect

il m'est clairement apparu que je devais concevoir

was a smart, collaborative,

une intelligence artificielle intelligente, collaborative

socially intelligent artificial intelligence.

et socialement intelligente.

In other words, I needed to build something very much like a HAL

En d'autres mots, je devais créer quelque chose ressemblant à HAL

but without the homicidal tendencies.

mais sans tendances meurtrières.

(Laughter)

(Rires)

Let's pause for a moment.

Marquons un instant de pause.

Is it really possible to build an artificial intelligence like that?

Est-il réellement possible de créer une telle intelligence artificielle ?

Actually, it is.

C'est possible.

In many ways,

De bien des façons,

this is a hard engineering problem

c'est un problème d'ingénierie complexe

with elements of AI,

avec un peu d'IA,

not some wet hair ball of an AI problem that needs to be engineered.

non pas un problème inextricable d'AI qui nécessite de l'ingénierie.

To paraphrase Alan Turing,

Pour paraphraser Alan Turing,

I'm not interested in building a sentient machine.

créer une machine sensible ne m'intéresse pas.

I'm not building a HAL.

Je ne crée pas HAL.

All I'm after is a simple brain,

Tout ce que je veux c'est un cerveau simple,

something that offers the illusion of intelligence.

quelque chose qui offre l'illusion de l'intelligence.

The art and the science of computing have come a long way

L'art et la science de l'informatique ont beaucoup progressé

since HAL was onscreen,

depuis que HAL était au cinéma.

and I'd imagine if his inventor Dr. Chandra were here today,

J'imagine que si son inventeur, Dr Chandra était présent aujourd'hui,

he'd have a whole lot of questions for us.

il aurait beaucoup de questions à nous poser.

Is it really possible for us

Est-il vraiment possible pour nous

to take a system of millions upon millions of devices,

de prendre un système de millions et millions d'appareils,

to read in their data streams,

lire leurs flux de données,

to predict their failures and act in advance?

prévoir leurs défaillances et agir avant ?

Yes.

Oui.

Can we build systems that converse with humans in natural language?

Et créer des systèmes parlant avec les humains dans leur langue ?

Yes.

Oui.

Can we build systems that recognize objects, identify emotions,

Et créer des systèmes reconnaissant les objets et les émotions,

emote themselves, play games and even read lips?

étant eux-mêmes émotifs, jouant à des jeux, lisant sur les lèvres ?

Yes.

Oui.

Can we build a system that sets goals,

Et créer des systèmes établissant des objectifs,

that carries out plans against those goals and learns along the way?

mettant des plans en œuvre et apprenant au passage ?

Yes.

Oui.

Can we build systems that have a theory of mind?

Et créer des systèmes qui ont une théorie de l'esprit ?

This we are learning to do.

Nous apprenons à le faire.

Can we build systems that have an ethical and moral foundation?

Et créer des systèmes ayant des principes éthiques et moraux ?

This we must learn how to do.

Nous devons apprendre à le faire.

So let's accept for a moment

Acceptons un instant

that it's possible to build such an artificial intelligence

qu'il soit possible de créer une telle intelligence artificielle

for this kind of mission and others.

pour ce genre de missions et d'autres.

The next question you must ask yourself is,

La question suivante qu'il faut se poser est :

should we fear it?

devrions-nous la craindre ?

Now, every new technology

Toute nouvelle technologie

brings with it some measure of trepidation.

entraîne de l'inquiétude.

When we first saw cars,

Au début des voitures,

people lamented that we would see the destruction of the family.

les gens se lamentaient que nous voyions la destruction de la famille.

When we first saw telephones come in,

A l'arrivée des téléphones,

people were worried it would destroy all civil conversation.

les gens craignaient la fin de toute conversation civile.

At a point in time we saw the written word become pervasive,

À un moment donné, les mots écrits sont devenus omniprésents,

people thought we would lose our ability to memorize.

les gens pensaient que nous perdrions notre mémoire.

These things are all true to a degree,

Toutes ces choses sont en partie vraies,

but it's also the case that these technologies

mais ces technologies

brought to us things that extended the human experience

ont aussi apporté des choses qui ont étendu l'expérience humaine

in some profound ways.

de façon profonde.

So let's take this a little further.

Allons un peu plus loin.

I do not fear the creation of an AI like this,

Je n'ai pas peur de la création d'une telle IA

because it will eventually embody some of our values.

car elle finira par incarner certaines de nos valeurs.

Consider this: building a cognitive system is fundamentally different

Considérez ceci :

créer un système cognitif est fondamentalement différent

than building a traditional software-intensive system of the past.

de créer un système traditionnel plein de logiciels comme auparavant.

We don't program them. We teach them.

Nous ne les programmons pas, nous leur apprenons.

In order to teach a system how to recognize flowers,

Afin d'apprendre à un système à reconnaître des fleurs,

I show it thousands of flowers of the kinds I like.

je lui montre des milliers de fleurs que j'aime.

In order to teach a system how to play a game --

Afin d'apprendre à un système à jouer à un jeu --

Well, I would. You would, too.

Je le ferais, vous aussi.

I like flowers. Come on.

J'aime les fleurs, allez.

To teach a system how to play a game like Go,

Pour apprendre à un système à jouer au jeu de Go,

I'd have it play thousands of games of Go,

je devrais jouer des milliers de parties de Go

but in the process I also teach it

mais au passage, je lui apprends

how to discern a good game from a bad game.

à discerner un bon mouvement d'un mauvais.

If I want to create an artificially intelligent legal assistant,

Si je veux créer une intelligence artificielle assistante juridique,

I will teach it some corpus of law

je lui apprendrais des corpus de loi

but at the same time I am fusing with it

mais en même temps, je lie cela

the sense of mercy and justice that is part of that law.

à la compassion et la justice qui font partie de la loi.

In scientific terms, this is what we call ground truth,

En termes scientifiques, cela s'appelle des vérités fondamentales

and here's the important point:

et voici ce qui est important :

in producing these machines,

en produisant ces machines,

we are therefore teaching them a sense of our values.

nous leur enseignons une partie de nos valeurs.

To that end, I trust an artificial intelligence

Pour cela, j'ai autant confiance, si ce n'est pas plus,

the same, if not more, as a human who is well-trained.

en une intelligence artificielle qu'en un être humain bien entraîné.

But, you may ask,

Vous allez demander :

what about rogue agents,

qu'en est-il des hors-la-loi,

some well-funded nongovernment organization?

des quelques organisations non gouvernementales bien financées ?

I do not fear an artificial intelligence in the hand of a lone wolf.

Je n'ai pas peur d'une intelligence artificielle

dans les mains d'un seul individu.

Clearly, we cannot protect ourselves against all random acts of violence,

Nous ne pouvons pas nous protéger des actes de violence aveugles,

but the reality is such a system

mais un tel système

requires substantial training and subtle training

requiert un entraînement substantiel et raffiné

far beyond the resources of an individual.

qui va bien au-delà des ressources d'un individu.

And furthermore,

En outre,

it's far more than just injecting an internet virus to the world,

il s'agit de bien plus que d'injecter un virus internet au monde

where you push a button, all of a sudden it's in a million places

où en appuyant sur une touche, il se retrouve à des millions d'endroits

and laptops start blowing up all over the place.

et des ordinateurs explosent un peu partout.

Now, these kinds of substances are much larger,

Ce genre de substances sont bien plus grandes

and we'll certainly see them coming.

et nous les verrons sûrement venir.

Do I fear that such an artificial intelligence

Ai-je peur qu'une telle intelligence artificielle

might threaten all of humanity?

menace l'humanité ?

If you look at movies such as "The Matrix," "Metropolis,"

Si vous regardez des films tels que « Matrix », « Metropolis »,

"The Terminator," shows such as "Westworld,"

« Terminator » ou des séries telles que « Westworld »,

they all speak of this kind of fear.

ils évoquent tous ce genre de peur.

Indeed, in the book "Superintelligence" by the philosopher Nick Bostrom,

Dans le livre « Superintelligence » du philosophe Nick Bostrom,

he picks up on this theme

il évoque ce thème

and observes that a superintelligence might not only be dangerous,

et note qu'une super-intelligence pourrait être non seulement dangereuse,

it could represent an existential threat to all of humanity.

mais représenter une menace existentielle envers l'humanité tout entière.

Dr. Bostrom's basic argument

L'argument fondamental du docteur Bostrom

is that such systems will eventually

est que de tels systèmes finiront

have such an insatiable thirst for information

par avoir une telle soif insatiable d'informations

that they will perhaps learn how to learn

qu'ils apprendront peut-être à apprendre

and eventually discover that they may have goals

et finiront par découvrir qu'ils ont des objectifs

that are contrary to human needs.

qui sont contraires aux besoins humains.

Dr. Bostrom has a number of followers.

Le docteur Bostrom a des partisans.

He is supported by people such as Elon Musk and Stephen Hawking.

Il est soutenu par des gens tels qu'Elon Musk et Stephen Hawking.

With all due respect

Avec tout le respect dû

to these brilliant minds,

à ces brillants esprits,

I believe that they are fundamentally wrong.

je crois qu'ils ont fondamentalement tort.

Now, there are a lot of pieces of Dr. Bostrom's argument to unpack,

L'argument du Dr Bostrom contient nombre d'éléments à décortiquer

and I don't have time to unpack them all,

et je n'ai pas le temps pour tous,

but very briefly, consider this:

mais, brièvement, considérez ceci :

super knowing is very different than super doing.

un super-savoir est très différent d'une super-action.

HAL was a threat to the Discovery crew

HAL était une menace pour l'équipage

only insofar as HAL commanded all aspects of the Discovery.

uniquement s'il commandait tous les aspects de Discovery.

So it would have to be with a superintelligence.

C'en est de même pour une super-intelligence.

It would have to have dominion over all of our world.

Il lui faudrait des réplications dans le monde entier.

This is the stuff of Skynet from the movie "The Terminator"

C'est le truc avec Skynet dans le fim « Terminator »

in which we had a superintelligence

où nous avons une super-intelligence

that commanded human will,

commandant la volonté humaine,

that directed every device that was in every corner of the world.

contrôlant tous les appareils à tous les coins du monde.

Practically speaking,

D'un point de vue pratique,

it ain't gonna happen.

cela n'arrivera pas.

We are not building AIs that control the weather,

Nous ne créons pas d'AI qui contrôle la météo,

that direct the tides,

qui dirige les vagues,

that command us capricious, chaotic humans.

qui nous commande, nous humains capricieux et chaotiques.

And furthermore, if such an artificial intelligence existed,

En outre, si une telle intelligence artificielle existait,

it would have to compete with human economies,

elle devrait rivaliser avec les économies humaines

and thereby compete for resources with us.

et se battre contre nous pour des ressources.

And in the end --

Au final --

don't tell Siri this --

ne le dites pas à Siri --

we can always unplug them.

on peut toujours les débrancher.

(Laughter)

(Rires)

We are on an incredible journey

Nous participons à un voyage incroyable

of coevolution with our machines.

de coévolution avec nos machines.

The humans we are today

Les humains que nous sommes aujourd'hui

are not the humans we will be then.

ne sont pas les humains de demain.

To worry now about the rise of a superintelligence

S'inquiéter maintenant de l'essor d'une super-intelligence

is in many ways a dangerous distraction

est, de bien des façons, une distraction dangereuse

because the rise of computing itself

car l'essor de l'informatique lui-même

brings to us a number of human and societal issues

nous amène nombre de problèmes humains et sociétaux

to which we must now attend.

dont nous devons nous occuper.

How shall I best organize society

Comment organiser au mieux la société

when the need for human labor diminishes?

quand le besoin de travail humain diminue ?

How can I bring understanding and education throughout the globe

Comment apporter compréhension et éducation à travers le monde

and still respect our differences?

tout en respectant les différences ?

How might I extend and enhance human life through cognitive healthcare?

Comment étendre et améliorer la vie humaine

grâce à la médecine cognitive ?

How might I use computing

Comment utiliser l'informatique

to help take us to the stars?

pour nous envoyer dans les étoiles ?

And that's the exciting thing.

C'est cela qui est excitant.

The opportunities to use computing

Les opportunités d'utiliser l'informatique pour faire progresser l'expérience humaine

to advance the human experience

are within our reach,

sont à notre portée,

here and now,

ici et maintenant,

and we are just beginning.

et nous ne faisons que commencer.

Thank you very much.

Merci beaucoup.

(Applause)

(Applaudissements)