How civilization could destroy itself -- and 4 ways we could prevent it | Nick Bostrom

Traducteur: Morgane Quilfen Relecteur: Claire Ghyselen

Chris Anderson: Nick Bostrom.

Chris Anderson : Nick Bostrom.

So, you have already given us so many crazy ideas out there.

Vous nous avez déjà offert tant d'idées folles.

I think a couple of decades ago,

Je pense à il y a environ 20 ans,

you made the case that we might all be living in a simulation,

vous avez avancé que nous pourrions tous vivre dans une simulation

or perhaps probably were.

ou que c'était probablement le cas.

More recently,

Plus récemment,

you've painted the most vivid examples of how artificial general intelligence

vous avez dépeint les exemples les plus saisissants

quant à comment une intelligence générale artificielle

could go horribly wrong.

pourrait terriblement mal tourner.

And now this year,

Cette année,

you're about to publish

vous êtes sur le point de publier

a paper that presents something called the vulnerable world hypothesis.

un article qui présente une chose appelée l'hypothèse du monde vulnérable.

And our job this evening is to give the illustrated guide to that.

Notre rôle ce soir est d'offrir un guide illustré à ce sujet.

So let's do that.

Allons-y.

What is that hypothesis?

Quelle est cette hypothèse ?

Nick Bostrom: It's trying to think about

Nick Bostrom : C'est une tentative de réflexion

a sort of structural feature of the current human condition.

sur une caractéristique structurelle de la condition humaine actuelle.

You like the urn metaphor,

Vous aimez la métaphore de l'urne

so I'm going to use that to explain it.

alors je vais l'utiliser pour expliquer.

So picture a big urn filled with balls

Imaginez une grande urne remplie de boules

representing ideas, methods, possible technologies.

représentant des idées, des méthodes, des technologies possibles.

You can think of the history of human creativity

Vous pouvez voir l'histoire de la créativité humaine

as the process of reaching into this urn and pulling out one ball after another,

comme le fait de plonger la main dans l'urne

et d'en sortir une boule après l'autre,

and the net effect so far has been hugely beneficial, right?

et le résultat jusqu'ici a été extrêmement bénéfique.

We've extracted a great many white balls,

Nous avons extrait de nombreuses boules blanches,

some various shades of gray, mixed blessings.

quelques grises dont les bienfaits sont mitigés.

We haven't so far pulled out the black ball --

Jusqu'ici, nous n'avons pas sorti la boule noire --

a technology that invariably destroys the civilization that discovers it.

une technologie qui détruit invariablement la civilisation qui la découvre.

So the paper tries to think about what could such a black ball be.

La publication essaye de réfléchir à ce qu'une balle noire pourrait être.

CA: So you define that ball

CA : Vous définissez cette boule

as one that would inevitably bring about civilizational destruction.

comme étant celle menant invariablement à la destruction de la civilisation.

NB: Unless we exit what I call the semi-anarchic default condition.

NB : A moins que nous ne sortions

de ce que j'appelle la condition semi-anarchique par défaut.

But sort of, by default.

Mais par défaut.

CA: So, you make the case compelling

CA : Vous présentez un argumentaire convaincant

by showing some sort of counterexamples

en montrant des contre-exemples

where you believe that so far we've actually got lucky,

où vous croyez que jusqu'ici, nous avons eu de la chance,

that we might have pulled out that death ball

que nous pourrions avoir sorti la boule de la mort

without even knowing it.

sans même le savoir.

So there's this quote, what's this quote?

Il y a cette citation, quelle est-elle ?

NB: Well, I guess it's just meant to illustrate

NB : Je suppose qu'elle est censée illustrer

the difficulty of foreseeing

la difficulté liée à la prédiction

what basic discoveries will lead to.

de ce à quoi mèneront des découvertes élémentaires.

We just don't have that capability.

Nous n'avons simplement pas cette capacité.

Because we have become quite good at pulling out balls,

Car nous sommes devenus bons dans l'extraction de boules

but we don't really have the ability to put the ball back into the urn, right.

mais nous n'avons pas la capacité de remettre la boule dans l'urne.

We can invent, but we can't un-invent.

Nous pouvons inventer mais nous ne pouvons pas désinventer.

So our strategy, such as it is,

Notre stratégie actuelle

is to hope that there is no black ball in the urn.

est d'espérer qu'il n'y pas de boule noire dans l'urne.

CA: So once it's out, it's out, and you can't put it back in,

CA : Une fois sortie, elle est sortie et vous ne pouvez pas la remettre,

and you think we've been lucky.

et vous nous pensez chanceux.

So talk through a couple of these examples.

Expliquez-nous quelques-uns de ces exemples.

You talk about different types of vulnerability.

Vous parlez de différents types de vulnérabilités.

NB: So the easiest type to understand

NB : Le type le plus simple à comprendre

is a technology that just makes it very easy

est une technologie qui rend la destruction massive très facile.

to cause massive amounts of destruction.

Synthetic biology might be a fecund source of that kind of black ball,

La biologie synthétique pourrait être une source féconde d'une telle boule,

but many other possible things we could --

mais nombre d'autres choses que nous pourrions --

think of geoengineering, really great, right?

pensez à la géo-ingénierie, c'est génial, non ?

We could combat global warming,

Nous pourrions contrer le réchauffement climatique

but you don't want it to get too easy either,

mais nous ne voulons pas que ce soit trop simple

you don't want any random person and his grandmother

et qu'un individu quelconque et sa grand-mère

to have the ability to radically alter the earth's climate.

aient la capacité d'altérer radicalement le climat terrestre.

Or maybe lethal autonomous drones,

Ou peut-être les drones autonomes mortels,

massed-produced, mosquito-sized killer bot swarms.

des essaims de robots tueurs

de la taille d'un moustique et produits en masse.

Nanotechnology, artificial general intelligence.

La nanotechnologie, l'intelligence générale artificielle.

CA: You argue in the paper

CA : Vous avancez

that it's a matter of luck that when we discovered

que c'est une question de chance que quand nous avons découvert

that nuclear power could create a bomb,

que la puissance nucléaire pouvait créer une bombe,

it might have been the case

il aurait pu arriver

that you could have created a bomb

que nous puissions créer une bombe

with much easier resources, accessible to anyone.

avec des ressources bien plus simples d'accès pour quiconque.

NB: Yeah, so think back to the 1930s

NB : Repensez aux années 30,

where for the first time we make some breakthroughs in nuclear physics,

où pour la première fois nous avons fait

des découvertes capitales en physique nucléaire,

some genius figures out that it's possible to create a nuclear chain reaction

un génie découvre qu'il est possible

d'entraîner une réaction nucléaire en chaîne

and then realizes that this could lead to the bomb.

puis réalise que cela pourrait mener à la bombe.

And we do some more work,

Nous continuons à y travailler

it turns out that what you require to make a nuclear bomb

et il s'avère qu'il vous faut, pour une bombe nucléaire,

is highly enriched uranium or plutonium,

de l'uranium ou du plutonium hautement enrichi,

which are very difficult materials to get.

qui sont très difficiles à obtenir.

You need ultracentrifuges,

Vous avez besoin d'ultracentrifugeuses,

you need reactors, like, massive amounts of energy.

de réacteurs et de quantités massives d'énergie.

But suppose it had turned out instead

Mais supposez qu'au lieu de cela,

there had been an easy way to unlock the energy of the atom.

il y ait eu une façon simple de libérer l'énergie de l'atome.

That maybe by baking sand in the microwave oven

Peut-être qu'en cuisant du sable dans un four micro-ondes

or something like that

ou quelque chose du genre,

vous auriez pu causer une détonation nucléaire.

you could have created a nuclear detonation.

So we know that that's physically impossible.

Nous savons que c'est physiquement impossible.

But before you did the relevant physics

Mais avant de faire les calculs adéquats,

how could you have known how it would turn out?

comment savoir comment cela allait tourner ?

CA: Although, couldn't you argue

CA : Ne pourriez-vous pas avancer que pour que la vie évolue sur Terre,

that for life to evolve on Earth

that implied sort of stable environment,

cela suppose un environnement stable,

that if it was possible to create massive nuclear reactions relatively easy,

que s'il était possible de causer des réactions nucléaires massives

relativement facilement,

the Earth would never have been stable,

la Terre n'aurait jamais été stable,

that we wouldn't be here at all.

nous ne serions pas là.

NB: Yeah, unless there were something that is easy to do on purpose

NB : Oui, à moins qu'il y ait une chose facile à faire volontairement

but that wouldn't happen by random chance.

mais qui n'arriverait pas par hasard.

So, like things we can easily do,

Des choses faciles à faire,

we can stack 10 blocks on top of one another,

comme empiler 10 cubes les uns sur les autres,

but in nature, you're not going to find, like, a stack of 10 blocks.

mais dans la nature, vous ne trouverez pas une pile de 10 cubes.

CA: OK, so this is probably the one

CA : C'est probablement la chose

that many of us worry about most,

qui inquiète le plus la majorité d'entre nous

and yes, synthetic biology is perhaps the quickest route

et oui, la biologie synthétique est peut-être le chemin le plus rapide

that we can foresee in our near future to get us here.

qui, nous pouvons envisager, nous y mènera dans un avenir proche.

NB: Yeah, and so think about what that would have meant

NB : Réfléchissez à ce que cela aurait signifié

if, say, anybody by working in their kitchen for an afternoon

si, disons, quiconque travaillant dans sa cuisine pendant un après-midi

could destroy a city.

pouvait détruire une ville.

It's hard to see how modern civilization as we know it

Il est difficile de voir comment la civilisation moderne actuelle

could have survived that.

aurait pu survivre à cela.

Because in any population of a million people,

Car dans toute population d'un million de personnes,

there will always be some who would, for whatever reason,

il y aura toujours quelqu'un qui, peu importe la raison,

choose to use that destructive power.

choisira d'utiliser ce pouvoir destructeur.

So if that apocalyptic residual

Si ce résidu apocalyptique

would choose to destroy a city, or worse,

décidait de détruire une ville, ou pire,

then cities would get destroyed.

des villes seraient détruites.

CA: So here's another type of vulnerability.

CA : Voici un autre type de vulnérabilité.

Talk about this.

Parlez-en.

NB: Yeah, so in addition to these kind of obvious types of black balls

NB : En plus de ces types de balles noires évidents

that would just make it possible to blow up a lot of things,

qui rendraient possible de faire exploser plein de choses,

other types would act by creating bad incentives

d'autres types agiraient en créant de mauvaises incitations

for humans to do things that are harmful.

pour que les humains fassent des choses nuisibles.

So, the Type-2a, we might call it that,

Le type 2a, nous pouvons l'appeler ainsi,

is to think about some technology that incentivizes great powers

c'est réfléchir à une technologie qui invite les grandes puissances

to use their massive amounts of force to create destruction.

à utiliser leurs forces massives pour causer de la destruction.

So, nuclear weapons were actually very close to this, right?

Les armes nucléaires en étaient très proches.

What we did, we spent over 10 trillion dollars

Nous avons dépensé plus de 10 billions de dollars

to build 70,000 nuclear warheads

pour fabriquer 70 000 ogives nucléaires

and put them on hair-trigger alert.

et les placer en état d'alerte instantanée.

And there were several times during the Cold War

A plusieurs reprises durant la Guerre froide,

we almost blew each other up.

on a failli se faire sauter.

It's not because a lot of people felt this would be a great idea,

Non pas que beaucoup de gens pensaient que ce serait une super idée

let's all spend 10 trillion dollars to blow ourselves up,

de dépenser 10 billions de dollars pour se faire sauter,

but the incentives were such that we were finding ourselves --

mais les incitations étaient telles que nous nous trouvions --

this could have been worse.

cela aurait pu être pire.

Imagine if there had been a safe first strike.

Imaginez s'il y a avait eu un premier coup assuré.

Then it might have been very tricky,

Cela aurait pu être très délicat,

in a crisis situation,

dans une situation de crise,

to refrain from launching all their nuclear missiles.

de s'abstenir de lancer tous les missiles nucléaires.

If nothing else, because you would fear that the other side might do it.

A défaut d'autre chose,

car vous craindriez que l'autre camp ne le fasse.

CA: Right, mutual assured destruction

CA : La destruction mutuelle assurée

kept the Cold War relatively stable,

a maintenu la Guerre froide relativement stable.

without that, we might not be here now.

Sans cela, nous pourrions ne pas être là.

NB: It could have been more unstable than it was.

NB : Cela aurait pu être plus instable que cela.

And there could be other properties of technology.

Il pourrait y avoir d'autres propriétés technologiques.

It could have been harder to have arms treaties,

Il aurait pu être plus dur d'avoir des traités

if instead of nuclear weapons

si au lieu des armes nucléaires,

there had been some smaller thing or something less distinctive.

cela avait été une chose plus petite ou moins distinctive.

CA: And as well as bad incentives for powerful actors,

CA : Avec les mauvaises incitations pour les acteurs puissants,

you also worry about bad incentives for all of us, in Type-2b here.

vous vous inquiétez de telles incitations pour nous tous, le type 2b.

NB: Yeah, so, here we might take the case of global warming.

NB : Nous pourrions prendre le cas du réchauffement climatique.

There are a lot of little conveniences

Il y a beaucoup de petits conforts

that cause each one of us to do things

qui mènent chacun d'entre nous à faire des choses

that individually have no significant effect, right?

qui, individuellement, n'ont pas d'effet significatif.

But if billions of people do it,

Mais si des milliards de gens le font,

cumulatively, it has a damaging effect.

cumulativement, cela a un effet préjudiciable.

Now, global warming could have been a lot worse than it is.

Le réchauffement climatique aurait pu être pire qu'il ne l'est.

So we have the climate sensitivity parameter, right.

Nous avons le paramètre de sensibilité climatique.

It's a parameter that says how much warmer does it get

C'est un paramètre qui indique le réchauffement

if you emit a certain amount of greenhouse gases.

si on émet une certaine quantité de gaz à effet de serre.

But, suppose that it had been the case

Mais supposez que la situation

that with the amount of greenhouse gases we emitted,

soit qu'avec les quantités de gaz à effet de serre émis,

instead of the temperature rising by, say,

au lieu d'une température augmentant d'entre 3 et 4,5 degrés d'ici 2100,

between three and 4.5 degrees by 2100,

suppose it had been 15 degrees or 20 degrees.

imaginez que c'eût été 15 ou 20 degrés.

Like, then we might have been in a very bad situation.

La situation aurait alors été très mauvaise.

Or suppose that renewable energy had just been a lot harder to do.

Imaginez que les énergies renouvelables aient été bien plus complexes.

Or that there had been more fossil fuels in the ground.

Ou qu'il y ait eu plus de carburants fossiles.

CA: Couldn't you argue that if in that case of --

CA : Ne pourriez-vous pas avancer que dans ce cas de --

if what we are doing today

si ce que nous faisons aujourd'hui

had resulted in 10 degrees difference in the time period that we could see,

avait entraîné une différence de 10 degrés sur une période que nous pourrions voir,

actually humanity would have got off its ass and done something about it.

l'humanité se serait bougé le cul et y aurait fait quelque chose.

We're stupid, but we're not maybe that stupid.

Nous sommes stupides, mais peut-être pas autant.

Or maybe we are.

Ou peut-être que si.

NB: I wouldn't bet on it.

NB : Je ne parierais pas.

(Laughter)

(Rires)

You could imagine other features.

Vous pourriez imaginer d'autres options.

So, right now, it's a little bit difficult to switch to renewables and stuff, right,

Actuellement, c'est un peu difficile de passer aux énergies renouvelables,

but it can be done.

mais c'est possible.

But it might just have been, with slightly different physics,

Cela aurait pu être que, avec une physique légèrement différente,

it could have been much more expensive to do these things.

il aurait été bien plus cher de faire ces choses-là.

CA: And what's your view, Nick?

CA : Quelle est votre opinion ?

Do you think, putting these possibilities together,

Pensez-vous, en réunissant ces possibilités,

that this earth, humanity that we are,

cette Terre, l'humanité que nous sommes,

we count as a vulnerable world?

nous sommes un monde vulnérable ?

That there is a death ball in our future?

Qu'il y a une boule de la mort dans notre futur ?

NB: It's hard to say.

NB : C'est difficile à dire.

I mean, I think there might well be various black balls in the urn,

Je pense qu'il pourrait y avoir diverses boules noires dans l'urne,

that's what it looks like.

c'est ce qu'il semble.

There might also be some golden balls

Il pourrait aussi y avoir des boules dorées

that would help us protect against black balls.

qui nous aideraient à nous protéger des boules noires.

And I don't know which order they will come out.

Je ne sais pas dans quel ordre elles vont sortir.

CA: I mean, one possible philosophical critique of this idea

CA : Une critique philosophique possible de cette idée,

is that it implies a view that the future is essentially settled.

c'est que cela implique une vision de l'avenir qui est globalement établie.

That there either is that ball there or it's not.

Soit cette boule est là, soit elle ne l'est pas.

And in a way,

D'une certaine façon, ce n'est pas une vision de l'avenir

that's not a view of the future that I want to believe.

en laquelle je veux croire.

I want to believe that the future is undetermined,

Je veux croire que l'avenir est indéterminé,

that our decisions today will determine

que nos décisions aujourd'hui détermineront

what kind of balls we pull out of that urn.

quel genre de boules nous sortons de l'urne.

NB: I mean, if we just keep inventing,

NB : Si nous continuons à inventer,

like, eventually we will pull out all the balls.

nous finirons par sortir toutes les boules.

I mean, I think there's a kind of weak form of technological determinism

Je pense qu'il y a une forme de déterminisme technologique

that is quite plausible,

qui est assez plausible.

like, you're unlikely to encounter a society

Vous avez peu de probabilités de rencontrer une société

that uses flint axes and jet planes.

qui utilise des haches en silex et des avions à réaction.

But you can almost think of a technology as a set of affordances.

Vous pouvez presque voir la technologie comme un ensemble de potentialités.

So technology is the thing that enables us to do various things

La technologie est la chose nous permettant de faire diverses choses

and achieve various effects in the world.

et d'obtenir divers effets sur le monde.

How we'd then use that, of course depends on human choice.

Comment nous allons l'utiliser dépend des choix humains.

But if we think about these three types of vulnerability,

Mais si vous pensez à ces trois types de vulnérabilités,

they make quite weak assumptions about how we would choose to use them.

elles ne supposent pas tant de comment nous choisirions de l'utiliser.

So a Type-1 vulnerability, again, this massive, destructive power,

Une vulnérabilité de type 1, cet énorme pouvoir destructeur,

it's a fairly weak assumption

ce n'est pas une hypothèse forte

to think that in a population of millions of people

de penser que dans une population de millions de gens

there would be some that would choose to use it destructively.

il y en aurait qui choisiraient de l'utiliser pour détruire.

CA: For me, the most single disturbing argument

CA : Pour moi, l'argument qui me perturbe le plus,

is that we actually might have some kind of view into the urn

c'est que nous pourrions avoir un aperçu de l'urne

that makes it actually very likely that we're doomed.

qui rendrait très probable que nous soyons condamnés.

Namely, if you believe in accelerating power,

Si vous croyez au pouvoir accélérateur,

that technology inherently accelerates,

qu'intrinsèquement, la technologie accélère,

that we build the tools that make us more powerful,

que nous créons les outils nous rendant plus puissants,

then at some point you get to a stage

vous finissez par en arriver à un point

where a single individual can take us all down,

où chaque individu peut tous nous éliminer

and then it looks like we're screwed.

et il semble alors que nous soyons foutus.

Isn't that argument quite alarming?

Cet argument n'est-il pas alarmant ?

NB: Ah, yeah.

NB : Oui.

(Laughter)

(Rires)

I think --

Je pense --

Yeah, we get more and more power,

Nous avons de plus en plus de pouvoir

and [it's] easier and easier to use those powers,

et il est de plus en plus simple d'utiliser ce pouvoir,

but we can also invent technologies that kind of help us control

mais nous pouvons aussi inventer des technologies

qui nous aident à contrôler l'utilisation que les gens font de ce pouvoir.

how people use those powers.

CA: So let's talk about that, let's talk about the response.

CA : Parlons de cela, parlons de la réponse.

Suppose that thinking about all the possibilities

Supposons que réfléchir à toutes les possibilités

that are out there now --

qu'il y a actuellement --

it's not just synbio, it's things like cyberwarfare,

ce n'est pas que la biologie synthétique, ce sont les cyberguerres,

artificial intelligence, etc., etc. --

l'intelligence artificielle et ainsi de suite --

that there might be serious doom in our future.

qu'il y a une condamnation sérieuse dans notre avenir.

What are the possible responses?

Quelles sont les réponses possibles ?

And you've talked about four possible responses as well.

Vous avez parlé de quatre réponses possibles.

NB: Restricting technological development doesn't seem promising,

NB : Restreindre le développement technologique

ne semble pas prometteur

if we are talking about a general halt to technological progress.

si nous parlons d'une interruption générale

des progrès technologiques.

I think neither feasible,

Ce n'est ni faisable ni désirable,

nor would it be desirable even if we could do it.

même si nous le pouvions.

I think there might be very limited areas

Je pense qu'il y a des domaines très limités

where maybe you would want slower technological progress.

où vous pourriez vouloir ralentir les progrès technologiques.

You don't, I think, want faster progress in bioweapons,

Vous ne voulez pas de progrès plus rapides pour les armes biologiques

or in, say, isotope separation,

ou la séparation d'isotope,

that would make it easier to create nukes.

ce qui faciliterait la création de bombes nucléaires.

CA: I mean, I used to be fully on board with that.

CA : Avant, j'étais complètement d'accord avec cela.

But I would like to actually push back on that for a minute.

Mais j'aimerais prendre un instant pour contre-argumenter.

Just because, first of all,

Tout d'abord,

if you look at the history of the last couple of decades,

si vous considérez l'histoire des dernières décennies,

you know, it's always been push forward at full speed,

il y a toujours eu une évolution vers l'avant à pleine vitesse,

it's OK, that's our only choice.

ça va, c'est notre seul choix.

But if you look at globalization and the rapid acceleration of that,

Mais si vous considérez la mondialisation et son accélération rapide,

if you look at the strategy of "move fast and break things"

si vous considérez la stratégie d' « avancer vite et casser des trucs »

and what happened with that,

et ce qui est arrivé,

and then you look at the potential for synthetic biology,

puis que vous considérez le potentiel de la biologie synthétique,

I don't know that we should move forward rapidly

je ne sais pas si nous devrions avancer rapidement

or without any kind of restriction

ou sans aucune restriction

to a world where you could have a DNA printer in every home

vers un monde où vous pourriez avoir une imprimante d'ADN à la maison

and high school lab.

et dans les lycées.

There are some restrictions, right?

Il y a des restrictions, non ?

NB: Possibly, there is the first part, the not feasible.

NB : Il y a la première partie : l'infaisabilité.

If you think it would be desirable to stop it,

Si vous pensez qu'il serait désirable d'arrêter,

there's the problem of feasibility.

il y a le problème de faisabilité.

So it doesn't really help if one nation kind of --

Cela n'aide pas vraiment si une nation --

CA: No, it doesn't help if one nation does,

CA : Cela n'aide pas si une nation arrête,

but we've had treaties before.

mais nous avons eu des traités auparavant.

That's really how we survived the nuclear threat,

C'est ainsi que nous avons survécu à la menace nucléaire,

was by going out there

c'est en en passant par le processus douloureux des négociations.

and going through the painful process of negotiating.

I just wonder whether the logic isn't that we, as a matter of global priority,

Je me demande si la logique n'est pas que nous, en termes de priorité mondiale,

we shouldn't go out there and try,

nous ne devrions pas essayer,

like, now start negotiating really strict rules

commencer à négocier maintenant des règles très strictes

on where synthetic bioresearch is done,

sur les lieux de conduite de recherches biologiques.

that it's not something that you want to democratize, no?

Ce n'est pas une chose que vous voulez démocratiser, si ?

NB: I totally agree with that --

NB : Je suis complètement d'accord --

that it would be desirable, for example,

il serait désirable, par exemple,

maybe to have DNA synthesis machines,

d'avoir des machines de synthèse d'ADN,

not as a product where each lab has their own device,

pas en tant que produit pour lequel chaque labo a son appareil,

but maybe as a service.

mais en tant que service.

Maybe there could be four or five places in the world

Il pourrait y avoir quatre ou cinq endroits au monde

where you send in your digital blueprint and the DNA comes back, right?

où vous pourriez envoyer un modèle numérique

et l'ADN arriverait à vous.

And then, you would have the ability,

Vous auriez la capacité,

if one day it really looked like it was necessary,

si un jour cela semblait vraiment nécessaire,

we would have like, a finite set of choke points.

il y aurait un ensemble fini de goulots d'étranglement.

So I think you want to look for kind of special opportunities,

Je pense que vous voulez considérer des opportunités particulières

where you could have tighter control.

où vous pourriez avoir un contrôle plus strict.

CA: Your belief is, fundamentally,

CA : Vous croyez, au fond,

we are not going to be successful in just holding back.

que nous ne réussirons pas à contenir les choses.

Someone, somewhere -- North Korea, you know --

Quelqu'un, quelque part -- en Corée du Nord --

someone is going to go there and discover this knowledge,

quelqu'un va y arriver et découvrir ce savoir,

if it's there to be found.

s'il est à découvrir.

NB: That looks plausible under current conditions.

NB : C'est plausible dans les conditions actuelles.

It's not just synthetic biology, either.

Ce n'est pas que la biologie synthétique.

I mean, any kind of profound, new change in the world

N'importe quel genre de changement profond et nouveau

could turn out to be a black ball.

pourrait être une boule noire.

CA: Let's look at another possible response.

CA : Considérons une autre réponse possible.

NB: This also, I think, has only limited potential.

NB : Ceci, à mon avis, a un potentiel limité.

So, with the Type-1 vulnerability again,

Avec la vulnérabilité de type 1,

I mean, if you could reduce the number of people who are incentivized

si vous pouvez réduire le nombre de personnes qui sont motivées

to destroy the world,

à détruire le monde,

if only they could get access and the means,

si elles seules avaient l'accès et les moyens,

that would be good.

ce serait bien.

CA: In this image that you asked us to do

CA : Dans cette image,

you're imagining these drones flying around the world

vous imaginez ces drones volant à travers le monde

with facial recognition.

avec une reconnaissance faciale.

When they spot someone showing signs of sociopathic behavior,

Quand ils repèrent quelqu'un présentant un comportement sociopathe,

they shower them with love, they fix them.

ils le couvrent d'amour, le rétablissent.

NB: I think it's like a hybrid picture.

NB : C'est une image hybride.

Eliminate can either mean, like, incarcerate or kill,

Éliminer peut signifier soit incarcérer ou tuer,

or it can mean persuade them to a better view of the world.

soit les persuader d'avoir une meilleure vision du monde.

But the point is that,

Le principe, c'est :

suppose you were extremely successful in this,

imaginez être extrêmement performant

and you reduced the number of such individuals by half.

et réduire le nombre de tels individus de moitié.

And if you want to do it by persuasion,

Si vous voulez le faire via la persuasion,

you are competing against all other powerful forces

vous rivalisez contre toutes les grandes forces

that are trying to persuade people,

qui essayent de persuader les gens,

parties, religion, education system.

les partis, la religion, le système éducatif.

But suppose you could reduce it by half,

Supposez pouvoir le réduire de moitié,

I don't think the risk would be reduced by half.

le risque ne serait pas réduit de moitié.

Maybe by five or 10 percent.

Peut-être de 5% ou 10%.

CA: You're not recommending that we gamble humanity's future on response two.

CA : Vous ne recommandez pas que l'on parie l'avenir de l'humanité

sur la seconde réponse.

NB: I think it's all good to try to deter and persuade people,

NB : C'est bien d'essayer de dissuader et persuader les gens,

but we shouldn't rely on that as our only safeguard.

mais pas miser dessus comme seul dispositif de sécurité.

CA: How about three?

CA : Et la troisième réponse ?

NB: I think there are two general methods

NB : Il y a deux méthodes générales

that we could use to achieve the ability to stabilize the world

que nous pourrions utiliser pour parvenir à la capacité de stabiliser le monde

against the whole spectrum of possible vulnerabilities.

face à l'éventail complet des vulnérabilités possibles.

And we probably would need both.

Nous aurions besoin des deux.

So, one is an extremely effective ability

Une est une capacité optimale

to do preventive policing.

de prévention policière.

Such that you could intercept.

Afin de pouvoir intercepter.

If anybody started to do this dangerous thing,

Si quiconque entamait cette chose dangereuse,

you could intercept them in real time, and stop them.

vous pourriez l'intercepter en temps réel et l'arrêter.

So this would require ubiquitous surveillance,

Cela nécessiterait une surveillance omniprésente,

everybody would be monitored all the time.

tout le monde serait constamment surveillé.

CA: This is "Minority Report," essentially, a form of.

CA : C'est en gros une forme de « Minority Report ».

NB: You would have maybe AI algorithms,

NB : Vous auriez des algorithmes d'IA,

big freedom centers that were reviewing this, etc., etc.

de gros centres de liberté qui examineraient cela, et ainsi de suite.

CA: You know that mass surveillance is not a very popular term right now?

CA : La surveillance de masse n'est pas très populaire en ce moment.

(Laughter)

(Rires)

NB: Yeah, so this little device there,

NB : Ce petit dispositif,

imagine that kind of necklace that you would have to wear at all times

imaginez ce genre de collier que vous devriez porter tout le temps,

with multidirectional cameras.

avec des caméras multidirectionnelles.

But, to make it go down better,

Mais pour que cela passe mieux,

just call it the "freedom tag" or something like that.

appelez-le la « balise de la liberté » ou autre.

(Laughter)

(Rires)

CA: OK.

CA : D'accord.

I mean, this is the conversation, friends,

C'est la conversation --

this is why this is such a mind-blowing conversation.

c'est pour cela que c'est une conversation si époustouflante.

NB: Actually, there's a whole big conversation on this

NB : Il y a toute une conversation à ce sujet-là en particulier.

on its own, obviously.

There are huge problems and risks with that, right?

Il y a de gros problèmes et risques avec cela.

We may come back to that.

Nous y reviendrons peut-être.

So the other, the final,

L'autre, la dernière,

the other general stabilization capability

l'autre capacité de stabilisation générale comble un autre vide dans la gouvernance.

is kind of plugging another governance gap.

So the surveillance would be kind of governance gap at the microlevel,

La surveillance comblerait pour un vide dans la gouvernance à un niveau micro :

like, preventing anybody from ever doing something highly illegal.

empêcher quiconque de faire quoi que ce soit de hautement illégal.

Then, there's a corresponding governance gap

Il y un vide équivalent dans la gouvernance

at the macro level, at the global level.

au niveau macro, au niveau mondial.

You would need the ability, reliably,

Il vous faudrait la capacité fiable

to prevent the worst kinds of global coordination failures,

d'empêcher les pires types d'échecs de coordination mondiale,

to avoid wars between great powers,

d'éviter les guerres entre les grandes puissances,

arms races,

les courses à l'armement,

cataclysmic commons problems,

les problèmes communs cataclysmiques,

in order to deal with the Type-2a vulnerabilities.

afin de faire face aux vulnérabilités de type 2a.

CA: Global governance is a term

CA : La gouvernance mondiale est un terme

that's definitely way out of fashion right now,

qui n'est plus du tout à la mode actuellement,

but could you make the case that throughout history,

mais vous pourriez avancer qu'au cours de l'histoire,

the history of humanity

de l'histoire de l'humanité,

is that at every stage of technological power increase,

à chaque moment de montée du pouvoir technologique,

people have reorganized and sort of centralized the power.

les gens se sont réorganisés et ont centralisé le pouvoir.

So, for example, when a roving band of criminals

Par exemple, quand un groupe de criminels itinérants

could take over a society,

pouvait prendre le contrôle d'une société,

the response was, well, you have a nation-state

la réponse a été d'avoir un État-nation

and you centralize force, a police force or an army,

et une force centralisée, policière ou militaire,

so, "No, you can't do that."

pour que ce ne soit pas possible.

The logic, perhaps, of having a single person or a single group

La logique d'avoir une seule personne ou un seul groupe

able to take out humanity

capable d'éradiquer l'humanité

means at some point we're going to have to go this route,

signifie qu'à un moment, nous devrons emprunter ce chemin,

at least in some form, no?

sous une certaine forme, non ?

NB: It's certainly true that the scale of political organization has increased

NB : Il est vrai que l'échelle de l'organisation politique a augmenté

over the course of human history.

au cours de l'histoire humaine.

It used to be hunter-gatherer band, right,

C'était un groupe de chasseurs-cueilleurs,

and then chiefdom, city-states, nations,

puis des chefferies, des cité-États, des nations,

now there are international organizations and so on and so forth.

maintenant il y a des organisations internationales et ainsi de suite.

Again, I just want to make sure

Je veux juste m'assurer

I get the chance to stress

d'avoir l'opportunité d'insister

that obviously there are huge downsides

qu'il y a évidemment d'énormes inconvénients

and indeed, massive risks,

et d'énormes risques

both to mass surveillance and to global governance.

dans la surveillance de masse et la gouvernance mondiale.

I'm just pointing out that if we are lucky,

Je vais faire remarquer que si nous sommes chanceux,

the world could be such that these would be the only ways

le monde pourrait être tel que ce seraient les seules façons

you could survive a black ball.

de survivre à une boule noire.

CA: The logic of this theory,

CA : La logique de cette théorie,

it seems to me,

me semble-t-il,

is that we've got to recognize we can't have it all.

c'est que nous devons reconnaître que nous ne pouvons pas tout avoir.

That the sort of,

C'est le genre

I would say, naive dream that many of us had

de rêve naïf, si je puis dire, que nombre d'entre nous avaient

that technology is always going to be a force for good,

que la technologie sera toujours une force du bien,

keep going, don't stop, go as fast as you can

qu'il ne faut ne pas s'arrêter, aller aussi vite que possible

and not pay attention to some of the consequences,

et ne pas prêter attention à certaines conséquences,

that's actually just not an option.

ce n'est même pas une option.

We can have that.

Nous pouvons le faire.

If we have that,

Si nous le faisons,

we're going to have to accept

il faudra accepter

some of these other very uncomfortable things with it,

certaines choses très désagréables

and kind of be in this arms race with ourselves

et faire la course à l'armement avec nous-mêmes :

of, you want the power, you better limit it,

si vous voulez le pouvoir, vous devriez le confiner,

you better figure out how to limit it.

vous devriez trouver comment le confiner.

NB: I think it is an option,

NB : Je pense que c'est une option,

a very tempting option, it's in a sense the easiest option

une option très tentante, dans un sens la plus simple

and it might work,

et cela pourrait fonctionner,

but it means we are fundamentally vulnerable to extracting a black ball.

mais nous sommes alors vulnérables à l'extraction d'une boule noire.

Now, I think with a bit of coordination,

Avec un peu de coordination --

like, if you did solve this macrogovernance problem,

en résolvant ce problème de macro gouvernance

and the microgovernance problem,

et celui de micro gouvernance --

then we could extract all the balls from the urn

nous pourrions extraire toutes les boules de l'urne

and we'd benefit greatly.

et nous en bénéficierons grandement.

CA: I mean, if we're living in a simulation, does it matter?

CA : Si nous vivons dans une simulation, cela importe-t-il ?

We just reboot.

Nous recommençons.

(Laughter)

(Rires)

NB: Then ... I ...

NB : Alors... je...

(Laughter)

(Rires)

I didn't see that one coming.

Je ne l'ai pas vu arriver.

CA: So what's your view?

CA : Quelle est votre opinion ?

Putting all the pieces together, how likely is it that we're doomed?

En rassemblant toutes les pièces,

quelle est notre probabilité d'être condamnés ?

(Laughter)

(Rires)

I love how people laugh when you ask that question.

J'adore comment les gens rient à cette question.

NB: On an individual level,

NB : A un niveau individuel,

we seem to kind of be doomed anyway, just with the time line,

nous semblons condamnés, juste d'un point de vue de l'échéance,

we're rotting and aging and all kinds of things, right?

nous nous décomposons et vieillissons.

(Laughter)

(Rires)

It's actually a little bit tricky.

C'est délicat.

If you want to set up so that you can attach a probability,

Si vous voulez y attacher une probabilité,

first, who are we?

tout d'abord, qui sommes-nous ?

If you're very old, probably you'll die of natural causes,

Si vous êtes vieux, vous mourrez de causes naturelles.

if you're very young, you might have a 100-year --

Si vous êtes jeune, vous avez 100 ans peut-être,

the probability might depend on who you ask.

selon à qui vous demandez.

Then the threshold, like, what counts as civilizational devastation?

Le seuil : qu'est-ce qui compte comme un dévaste civilisationnel ?

In the paper I don't require an existential catastrophe

Dans l'article, je n'ai pas besoin d'une catastrophe civilisationnelle

in order for it to count.

pour que cela compte.

This is just a definitional matter,

C'est une question de définition.

I say a billion dead,

Je dis un milliard de morts

or a reduction of world GDP by 50 percent,

ou une diminution du PIB mondial de 50%,

but depending on what you say the threshold is,

mais selon le seuil que vous donnez,

you get a different probability estimate.

vous aurez une probabilité différente.

But I guess you could put me down as a frightened optimist.

Vous pourriez dire que je suis un optimiste effrayé.

(Laughter)

(Rires)

CA: You're a frightened optimist,

CA : Vous êtes un optimiste effrayé

and I think you've just created a large number of other frightened ...

et vous venez de créer un grand nombre d'autres personnes effrayées.

people.

(Laughter)

(Rires)

NB: In the simulation.

NB : Dans la simulation.

CA: In a simulation.

CA : Dans une simulation.

Nick Bostrom, your mind amazes me,

Nick Bostrom, votre esprit m'épate.

thank you so much for scaring the living daylights out of us.

Merci beaucoup de nous avoir effrayés.

(Applause)

(Applaudissements)