How civilization could destroy itself -- and 4 ways we could prevent it | Nick Bostrom

Traduttore: chiara polesinanti Revisore: Beatrice Chiamenti

Chris Anderson: Nick Bostrom.

Chris Anderson: Nick Bostrom.

So, you have already given us so many crazy ideas out there.

Allora, ci hai già regalato tante idee pazzesche su questo tema.

I think a couple of decades ago,

Una ventina di anni fa,

you made the case that we might all be living in a simulation,

hai ipotizzato fosse possibile che stessimo vivendo in una simulazione,

or perhaps probably were.

o magari che fosse probabile.

More recently,

Recentemente,

you've painted the most vivid examples of how artificial general intelligence

ci hai illustrato vividi esempi di come con l'intelligenza artificiale

could go horribly wrong.

potrebbe finire davvero male.

And now this year,

E quest’anno,

you're about to publish

stai per pubblicare un articolo

a paper that presents something called the vulnerable world hypothesis.

che introduce qualcosa che tu definisci l'ipotesi del mondo vulnerabile.

And our job this evening is to give the illustrated guide to that.

Questa sera cercheremo di fornire una guida descrittiva a questa ipotesi.

So let's do that.

Quindi cominciamo.

What is that hypothesis?

Qual è l'ipotesi?

Nick Bostrom: It's trying to think about

Nick Bostrom: Si cerca di considerare

a sort of structural feature of the current human condition.

una sorta di caratteristica strutturale dell'attuale condizione umana.

You like the urn metaphor,

A te piace la metafora dell'urna,

so I'm going to use that to explain it.

quindi la userò per spiegarla.

So picture a big urn filled with balls

Immagina una grossa urna piena di sfere

representing ideas, methods, possible technologies.

che rappresentano le idee, i metodi, le possibili tecnologie.

You can think of the history of human creativity

Possiamo immaginare la storia della creatività umana

as the process of reaching into this urn and pulling out one ball after another,

come l’atto di pescare in quest'urna e tirare fuori le sfere una dopo l'altra,

and the net effect so far has been hugely beneficial, right?

e l'effetto fino ad ora è stato largamente positivo, giusto?

We've extracted a great many white balls,

Abbiamo estratto un gran numero di sfere bianche,

some various shades of gray, mixed blessings.

qualcuna con diverse sfumature di grigio, con un misto di vantaggi e svantaggi.

We haven't so far pulled out the black ball --

Finora non abbiamo estratto la sfera nera,

a technology that invariably destroys the civilization that discovers it.

una tecnologia che immancabilmente distruggerebbe la civiltà che la scopre.

So the paper tries to think about what could such a black ball be.

Nell'articolo cerco di pensare a quale può essere questa sfera nera.

CA: So you define that ball

CA: Quindi tu definisci questa sfera

as one that would inevitably bring about civilizational destruction.

quella che determinerebbe inevitabilmente la distruzione della civiltà.

NB: Unless we exit what I call the semi-anarchic default condition.

NB: Se non abbandoniamo quella che chiamo la condizione semianarchica prestabilita.

But sort of, by default.

Ma praticamente in automatico.

CA: So, you make the case compelling

CA: Quindi, sostieni la tua ipotesi

by showing some sort of counterexamples

mostrando una serie di controesempi

where you believe that so far we've actually got lucky,

in cui ritieni che finora siamo stati davvero fortunati,

that we might have pulled out that death ball

che avremmo potuto pescare la sfera della morte.

without even knowing it.

senza neanche saperlo.

Quindi perché questa citazione?

So there's this quote, what's this quote?

NB: Well, I guess it's just meant to illustrate

NB: Immagino sia per mostrare

the difficulty of foreseeing

la difficoltà di prevedere

what basic discoveries will lead to.

a cosa condurranno le scoperte fondamentali.

We just don't have that capability.

Semplicemente non ne siamo capaci.

Because we have become quite good at pulling out balls,

Perché siamo diventati piuttosto bravi a estrarre le sfere,

but we don't really have the ability to put the ball back into the urn, right.

ma non siamo proprio in grado di rimetterle nell'urna.

We can invent, but we can't un-invent.

Possiamo inventare, non disinventare.

So our strategy, such as it is,

Quindi la nostra strategia, se così la si può chiamare,

is to hope that there is no black ball in the urn.

è sperare che nell'urna non ci sia nessuna sfera nera.

CA: So once it's out, it's out, and you can't put it back in,

CA: Quindi una volta fuori, è fuori, e non la si può rimettere dentro,

and you think we've been lucky.

e tu pensi che siamo stati fortunati.

So talk through a couple of these examples.

Allora spieghiamo bene un paio di questi esempi.

You talk about different types of vulnerability.

Parli di diversi tipi di vulnerabilità.

NB: So the easiest type to understand

NB: Il tipo più semplice da comprendere

is a technology that just makes it very easy

deriva da una tecnologia che renda davvero molto facile

to cause massive amounts of destruction.

provocare grandi distruzioni.

Synthetic biology might be a fecund source of that kind of black ball,

La biologia sintetica potrebbe essere un'ottima base per quel tipo di sfera nera

but many other possible things we could --

ma potrebbero esserlo anche molte altre cose:

think of geoengineering, really great, right?

pensate alla geoingegneria, fantastica, vero?

We could combat global warming,

Potremmo combattere il riscaldamento globale,

but you don't want it to get too easy either,

ma non vorremmo diventasse troppo semplice,

you don't want any random person and his grandmother

non vorremmo che chiunque, o la nonna di chiunque

to have the ability to radically alter the earth's climate.

avesse la capacità di alterare radicalmente il clima della Terra.

Or maybe lethal autonomous drones,

O magari dei droni autonomi letali,

massed-produced, mosquito-sized killer bot swarms.

prodotti in massa, sciami di robot killer piccoli come zanzare.

Nanotechnology, artificial general intelligence.

La nanotecnologia, l'intelligenza artificiale generale.

CA: You argue in the paper

CA: Nel tuo articolo sostieni

that it's a matter of luck that when we discovered

che è stata solo questione di fortuna avere scoperto

that nuclear power could create a bomb,

che con l'energia nucleare si poteva creare una bomba,

it might have been the case

sarebbe potuto succedere invece

that you could have created a bomb

di poter creare una bomba

with much easier resources, accessible to anyone.

con risorse più semplici, accessibili a chiunque.

NB: Yeah, so think back to the 1930s

NB: Già, quindi ripensiamo agli anni '30

where for the first time we make some breakthroughs in nuclear physics,

quando per la prima volta abbiamo fatto passi da gigante nella fisica nucleare,

some genius figures out that it's possible to create a nuclear chain reaction

qualche genio ha capito che era possibile creare una reazione nucleare a catena

and then realizes that this could lead to the bomb.

e poi ha realizzato che questo avrebbe potuto portare alla bomba.

And we do some more work,

E lavorandoci su,

it turns out that what you require to make a nuclear bomb

venne fuori che quello che serve per fare una bomba nucleare

is highly enriched uranium or plutonium,

è l'uranio arricchito o il plutonio,

which are very difficult materials to get.

materiali molto difficili da ottenere.

You need ultracentrifuges,

Servono ultracentrifughe,

you need reactors, like, massive amounts of energy.

reattori, enormi quantità di energia.

But suppose it had turned out instead

Ma supponiamo invece che fosse saltato fuori

there had been an easy way to unlock the energy of the atom.

che esisteva un modo semplice per liberare l'energia dell'atomo.

Che magari arrostendo della sabbia nel microonde

That maybe by baking sand in the microwave oven

or something like that

o qualcosa del genere

si fosse potuto creare una detonazione nucleare.

you could have created a nuclear detonation.

So we know that that's physically impossible.

Oggi sappiamo dalla fisica che è impossibile.

But before you did the relevant physics

Ma prima di fare le ricerche

come avremmo potuto sapere come sarebbe andata a finire?

how could you have known how it would turn out?

CA: Although, couldn't you argue

CA: Però non si può discutere il fatto

that for life to evolve on Earth

che l'evoluzione della vita sulla Terra

that implied sort of stable environment,

ha avuto bisogno di una sorta di ambiente stabile,

that if it was possible to create massive nuclear reactions relatively easy,

e che se fosse stato possibile creare facilmente tali reazioni nucleari,

the Earth would never have been stable,

la Terra non sarebbe mai stata stabile,

that we wouldn't be here at all.

ei noi non saremmo qui adesso.

NB: Già, a meno che non ci fosse qualcosa di facile da fare volutamente

NB: Yeah, unless there were something that is easy to do on purpose

but that wouldn't happen by random chance.

ma non accadrebbe per caso.

So, like things we can easily do,

Tipo cose che possiamo fare facilmente,

we can stack 10 blocks on top of one another,

come impilare 10 blocchi uno sopra l'altro,

but in nature, you're not going to find, like, a stack of 10 blocks.

ma in natura, è improbabile trovare una pila di 10 blocchi.

CA: OK, so this is probably the one

CA: Ora, questa è probabilmente la cosa

that many of us worry about most,

per cui molti di noi si preoccupano di più,

and yes, synthetic biology is perhaps the quickest route

e sì, la biologia sintetica è forse la via più veloce

that we can foresee in our near future to get us here.

che possiamo prevedere ci condurrà a questo nel prossimo futuro.

NB: Yeah, and so think about what that would have meant

NB: Sì, e pensa cosa significherebbe

if, say, anybody by working in their kitchen for an afternoon

se, ad esempio, chiunque lavorando per un pomeriggio nella propria cucina

could destroy a city.

potesse distruggere una città.

It's hard to see how modern civilization as we know it

È difficile immaginare come la civiltà moderna come la conosciamo

could have survived that.

potrebbe sopravvivere a questo.

Because in any population of a million people,

Perché in una popolazione di un milione di persone,

there will always be some who would, for whatever reason,

ci sarà sempre qualcuno che, per una ragione qualsiasi,

choose to use that destructive power.

sceglierebbe di usare quel potere distruttivo.

So if that apocalyptic residual

Così, se quel residuo apocalittico

would choose to destroy a city, or worse,

decidesse di distruggere una città, o fare di peggio,

then cities would get destroyed.

le città verrebbero distrutte.

CA: So here's another type of vulnerability.

CA: Ma c'è un altro tipo di vulnerabilità.

Talk about this.

Parlaci di questo.

NB: Yeah, so in addition to these kind of obvious types of black balls

NB: Sì, oltre a questo tipo piuttosto ovvio di palle nere

that would just make it possible to blow up a lot of things,

che renderebbero possibile far saltare in aria un sacco di cose,

other types would act by creating bad incentives

altri tipi agirebbero creando cattivi incentivi

for humans to do things that are harmful.

per gli uomini portandoli a fare cose dannose.

So, the Type-2a, we might call it that,

Quindi, il Tipo-2a, potremmo chiamarlo così,

is to think about some technology that incentivizes great powers

potrebbe derivare da una tecnologia che incentivasse le grandi potenze

to use their massive amounts of force to create destruction.

a usare la loro enorme forza per creare distruzione.

So, nuclear weapons were actually very close to this, right?

Le armi nucleari si sono avvicinate molto a questo, giusto?

What we did, we spent over 10 trillion dollars

In quel caso abbiamo speso oltre 10 mila miliardi di dollari

to build 70,000 nuclear warheads

per costruire 70.000 testate nucleari

and put them on hair-trigger alert.

e metterle nello stato di allerta immediata.

E in diverse occasioni durante la Guerra Fredda

And there were several times during the Cold War

we almost blew each other up.

abbiamo rischiato di saltare tutti in aria.

It's not because a lot of people felt this would be a great idea,

E non perché tanta gente ritenesse una grande idea

spendere 10 mila miliardi di dollari per saltare tutti in aria,

let's all spend 10 trillion dollars to blow ourselves up,

but the incentives were such that we were finding ourselves --

ma gli incentivi erano tali che ci siamo ritrovati a farlo.

this could have been worse.

Sarebbe potuta andare peggio.

Immagina se ci fosse stato un primo colpo nucleare sicuro.

Imagine if there had been a safe first strike.

Then it might have been very tricky,

Dopo sarebbe potuto essere molto difficile,

in a crisis situation,

in una situazione di crisi,

trattenersi dal lanciare tutti i propri missili nucleari.

to refrain from launching all their nuclear missiles.

If nothing else, because you would fear that the other side might do it.

Se non altro, per la paura che potesse farlo la controparte.

CA: La certezza di una distruzione reciproca

CA: Right, mutual assured destruction

kept the Cold War relatively stable,

ha mantenuto una certa stabilità durante la Guerra Fredda.

without that, we might not be here now.

Senza quella, forse ora non saremmo qui.

NB: It could have been more unstable than it was.

NB: Sarebbe potuta essere meno stabile.

And there could be other properties of technology.

E potrebbero esserci altre proprietà della tecnologia.

Avere trattati sulle armi sarebbe potuto essere più difficile,

It could have been harder to have arms treaties,

if instead of nuclear weapons

se invece delle armi nucleari

there had been some smaller thing or something less distinctive.

ci fossero state cose più piccole, o meno distruttive.

CA: And as well as bad incentives for powerful actors,

CA: Oltre ai cattivi incentivi per i potenti,

you also worry about bad incentives for all of us, in Type-2b here.

ti preoccupano anche i cattivi incentivi per tutti noi, qui nel Tipo-2b.

NB: Yeah, so, here we might take the case of global warming.

NB: Sì, si potrebbe considerare il caso del riscaldamento globale.

There are a lot of little conveniences

Ci sono un sacco di piccole comodità

that cause each one of us to do things

che ci incentivano a fare cose

che singolarmente non hanno un effetto significativo, giusto?

that individually have no significant effect, right?

But if billions of people do it,

Ma se fatte da un miliardo di persone,

cumulatively, it has a damaging effect.

nell'insieme, hanno un effetto dannoso.

Il riscaldamento globale sarebbe potuto essere molto peggio di così.

Now, global warming could have been a lot worse than it is.

So we have the climate sensitivity parameter, right.

Abbiamo il parametro della "sensibilità climatica".

It's a parameter that says how much warmer does it get

È un parametro che ci dice quanto diventa più caldo

if you emit a certain amount of greenhouse gases.

con l'emissione di una certa quantità di gas serra.

But, suppose that it had been the case

Ma, mettiamo il caso

that with the amount of greenhouse gases we emitted,

che con l'emissione di una certa quantità di gas serra,

instead of the temperature rising by, say,

invece di un aumento della temperatura

between three and 4.5 degrees by 2100,

tra i 3 e i 4,5 gradi per il 2100,

suppose it had been 15 degrees or 20 degrees.

fosse previsto un aumento di 15 o 20 gradi.

Ci saremmo potuti trovare in una situazione davvero brutta.

Like, then we might have been in a very bad situation.

Or suppose that renewable energy had just been a lot harder to do.

Supponiamo che l'energia rinnovabile fosse stata più difficile da ottenere.

Or that there had been more fossil fuels in the ground.

Che il combustibile fossile fosse più disponibile.

CA: Couldn't you argue that if in that case of --

CA: Non si potrebbe supporre che se in quel caso,

if what we are doing today

se quello che stiamo facendo oggi

had resulted in 10 degrees difference in the time period that we could see,

avesse prodotto una differenza di 10 gradi nel periodo osservato,

actually humanity would have got off its ass and done something about it.

invece l'umanità si sarebbe data una mossa e avrebbe fatto qualcosa a proposito.

We're stupid, but we're not maybe that stupid.

Siamo stupidi, ma forse non così stupidi.

Or maybe we are.

O forse lo siamo.

NB: I wouldn't bet on it.

NB: Non ci scommetterei.

(Laughter)

(Risate)

Si potrebbero immaginare altri scenari.

You could imagine other features.

So, right now, it's a little bit difficult to switch to renewables and stuff, right,

Ora come ora, è difficile la conversione alle rinnovabili eccetera,

but it can be done.

ma si può fare.

But it might just have been, with slightly different physics,

Ma con una fisica leggermente diversa,

it could have been much more expensive to do these things.

sarebbe potuto essere molto più costoso fare queste cose.

CA: And what's your view, Nick?

CA: Qual è la tua idea, Nick?

Do you think, putting these possibilities together,

Pensi che, mettendo insieme tutte queste possibilità,

that this earth, humanity that we are,

questa Terra, il nostro genere umano,

we count as a vulnerable world?

dobbiamo considerarci un mondo vulnerabile?

That there is a death ball in our future?

Che c'è una palla della morte nel nostro futuro?

NB: It's hard to say.

NB: Difficile a dirsi.

I mean, I think there might well be various black balls in the urn,

Voglio dire, penso che chiaramente possano esserci più palle nere nell'urna,

that's what it looks like.

così sembrerebbe.

There might also be some golden balls

Potrebbero esserci anche alcune palle d'oro

that would help us protect against black balls.

in grado di aiutarci a proteggerci dalle palle nere.

And I don't know which order they will come out.

E non so in quale ordine usciranno.

CA: I mean, one possible philosophical critique of this idea

CA: Una possibile critica filosofica a questa teoria

is that it implies a view that the future is essentially settled.

è che essa implica una visione del futuro come essenzialmente stabilito,

That there either is that ball there or it's not.

che quella palla esista oppure no.

And in a way,

E in qualche modo,

that's not a view of the future that I want to believe.

questa non è una visione del mondo a cui voglio credere.

I want to believe that the future is undetermined,

Voglio credere che il futuro sia indeterminato,

that our decisions today will determine

che le nostre decisioni di oggi determineranno

what kind of balls we pull out of that urn.

che tipo di palle estrarremo da quell'urna.

NB: I mean, if we just keep inventing,

NB: Se continuiamo a inventare,

like, eventually we will pull out all the balls.

prima o poi estrarremo tutte le palle.

I mean, I think there's a kind of weak form of technological determinism

Penso che ci sia una specie di forma debole di determinismo tecnologico

that is quite plausible,

piuttosto plausibile,

like, you're unlikely to encounter a society

considerando che è improbabile trovare una società

that uses flint axes and jet planes.

che usi asce di selce e jet.

But you can almost think of a technology as a set of affordances.

Ma si può quasi pensare a una tecnologia come a una serie di possibili usi e scopi.

So technology is the thing that enables us to do various things

La tecnologia è qualcosa che ci rende possibile fare varie cose

and achieve various effects in the world.

e ottenere vari risultati nel mondo.

Il modo in cui poi la usiamo, ovviamente dipende dalla scelta dell'uomo.

How we'd then use that, of course depends on human choice.

But if we think about these three types of vulnerability,

Ma se pensiamo a questi tre tipi di vulnerabilità,

they make quite weak assumptions about how we would choose to use them.

formulano ipotesi davvero deboli su come potremmo decidere di usarle.

So a Type-1 vulnerability, again, this massive, destructive power,

Tornando alla vulnerabilità di Tipo-1, questo enorme potere distruttivo,

it's a fairly weak assumption

è un'ipotesi piuttosto debole

to think that in a population of millions of people

pensare che in una popolazione di un milione di persone

there would be some that would choose to use it destructively.

ci sia qualcuno che decida di usarla in modo distruttivo.

CA: For me, the most single disturbing argument

CA: Per me, la questione più inquietante

is that we actually might have some kind of view into the urn

è che potremmo effettivamente avere una sorta di vista all'interno dell'urna

that makes it actually very likely that we're doomed.

che renda davvero probabile che siamo spacciati.

Namely, if you believe in accelerating power,

Ovvero, se credi nella capacità sempre maggiore,

that technology inherently accelerates,

sostanzialmente accelerata dalla tecnologia,

that we build the tools that make us more powerful,

di costruire gli strumenti che ci rendono più potenti,

then at some point you get to a stage

allora a un certo punto si arriva a uno stadio

where a single individual can take us all down,

in cui un singolo individuo potrebbe demolirci tutti,

and then it looks like we're screwed.

e allora si direbbe che siamo spacciati.

Isn't that argument quite alarming?

Non è allarmante?

NB: Ah, yeah.

NB: Ah, sì.

(Laughter)

(Risate)

I think --

Penso che...

Yeah, we get more and more power,

sì, abbiamo competenze sempre più potenti,

and [it's] easier and easier to use those powers,

ed è sempre più facile usare queste competenze,

but we can also invent technologies that kind of help us control

ma possiamo anche inventare tecnologie che potrebbero aiutarci a controllare

how people use those powers.

come le persone usano queste competenze.

CA: So let's talk about that, let's talk about the response.

CA: Parliamo di questo, parliamo delle contromisure.

Suppose that thinking about all the possibilities

Supponiamo che pensando a tutte le possibilità

that are out there now --

oggi esistenti,

it's not just synbio, it's things like cyberwarfare,

non solo la biologia sintetica, ma cose come la guerra informatica,

artificial intelligence, etc., etc. --

l'intelligenza artificiale, ecc.,

that there might be serious doom in our future.

che il nostro futuro ci riservi un destino infausto.

What are the possible responses?

Quali sono le possibili contromisure?

And you've talked about four possible responses as well.

Tu hai anche parlato di quattro possibili interventi.

NB: Restricting technological development doesn't seem promising,

NB: Limitare lo sviluppo tecnologico non sembra promettente.

if we are talking about a general halt to technological progress.

Se parliamo di una sospensione generalizzata del progresso tecnologico,

I think neither feasible,

non penso che sia fattibile,

nor would it be desirable even if we could do it.

né che sia desiderabile anche potendolo fare.

I think there might be very limited areas

Penso che potrebbero esserci aree molto limitate

where maybe you would want slower technological progress.

in cui forse si vorrebbe rallentare il progresso tecnologico.

You don't, I think, want faster progress in bioweapons,

Penso che non si voglia accelerare il progresso nelle armi biologiche,

or in, say, isotope separation,

o nella separazione degli isotopi,

that would make it easier to create nukes.

che potrebbe rendere più semplice creare testate nucleari.

CA: I mean, I used to be fully on board with that.

CA: Sono sempre stato d'accordo con questo.

But I would like to actually push back on that for a minute.

Ma vorrei davvero riconsiderare la questione per un minuto.

Just because, first of all,

Solo perché, prima di tutto,

if you look at the history of the last couple of decades,

se si guarda alla storia dell'ultimo ventennio,

you know, it's always been push forward at full speed,

è stato un continuo avanzare a tutta velocità,

it's OK, that's our only choice.

va bene, è stata la nostra unica scelta.

But if you look at globalization and the rapid acceleration of that,

Ma guardiamo alla globalizzazione e alla sua rapida accelerazione,

if you look at the strategy of "move fast and break things"

e se guardiamo alla strategia del "move fast and break things"

and what happened with that,

e a cosa ha portato,

and then you look at the potential for synthetic biology,

e poi si considerano le potenzialità della biologia sintetica,

I don't know that we should move forward rapidly

non so se dovremmo avanzare rapidamente

or without any kind of restriction

o senza alcun tipo di restrizione

to a world where you could have a DNA printer in every home

verso un mondo in cui si potrà stampare il DNA nella propria casa

and high school lab.

e in ogni laboratorio scolastico.

There are some restrictions, right?

Ci sono delle restrizioni, giusto?

NB: Possibly, there is the first part, the not feasible.

NB: Forse, c'è la prima parte, quella non realistica.

If you think it would be desirable to stop it,

Se pensi che sarebbe auspicabile fermarla,

there's the problem of feasibility.

c'è il problema della fattibilità.

So it doesn't really help if one nation kind of --

Cioè, non aiuta molto se una nazione in un certo senso...

CA: No, it doesn't help if one nation does,

CA: No, non aiuta se solo una nazione lo fa,

but we've had treaties before.

ma abbiamo già siglato degli accordi in precedenza.

That's really how we survived the nuclear threat,

È proprio così che siamo riusciti a sopravvivere alla minaccia nucleare,

was by going out there

andando là fuori

e attraversando il doloroso processo della negoziazione.

and going through the painful process of negotiating.

I just wonder whether the logic isn't that we, as a matter of global priority,

Mi chiedo solo se non sarebbe logico, per una questione di priorità globale,

non andare là fuori

we shouldn't go out there and try,

like, now start negotiating really strict rules

e provare subito a iniziare a negoziare regole davvero severe

on where synthetic bioresearch is done,

su dove svolgere la ricerca sulla biologia di sintesi,

that it's not something that you want to democratize, no?

che non è un qualcosa che si vorrebbe democratizzare, no?

NB: I totally agree with that --

NB: Concordo pienamente su questo:

that it would be desirable, for example,

sarebbe desiderabile, per esempio,

maybe to have DNA synthesis machines,

forse avere macchine per la sintesi del DNA,

not as a product where each lab has their own device,

non come dispositivi disponibili in ogni laboratorio,

but maybe as a service.

ma come un servizio.

Maybe there could be four or five places in the world

Potrebbero esserci quattro o cinque posti al mondo

where you send in your digital blueprint and the DNA comes back, right?

dove inviare il proprio progetto digitale e avere indietro il DNA, giusto?

And then, you would have the ability,

E poi, si avrebbe la capacità,

if one day it really looked like it was necessary,

se un giorno si dimostrasse davvero necessario,

we would have like, a finite set of choke points.

di porre una serie finita di restrizioni.

So I think you want to look for kind of special opportunities,

Vorresti poter individuare quelle situazioni particolari,

dove puoi esercitare un controllo più stretto.

where you could have tighter control.

CA: Your belief is, fundamentally,

CA: La tua convinzione è che, fondamentalmente,

we are not going to be successful in just holding back.

non riusciremo semplicemente a tirarci indietro.

Someone, somewhere -- North Korea, you know --

Qualcuno, da qualche parte, nella Corea del Nord, ad esempio,

someone is going to go there and discover this knowledge,

qualcuno ci arriverà e scoprirà quella tecnologia,

if it's there to be found.

se deve essere scoperta.

NB: That looks plausible under current conditions.

NB: Sembra plausibile nella attuali condizioni.

It's not just synthetic biology, either.

E ciò non vale solo per la biologia sintetica.

I mean, any kind of profound, new change in the world

Qualsiasi cambiamento nuovo e profondo

può rivelarsi una palla nera.

could turn out to be a black ball.

CA: Let's look at another possible response.

CA: Consideriamo un'altra possibile misura.

NB: This also, I think, has only limited potential.

NB: Anche questa, penso, possiede solo un potenziale limitato.

So, with the Type-1 vulnerability again,

Considerando ancora la vulnerabilità di Tipo-1,

I mean, if you could reduce the number of people who are incentivized

se si potesse ridurre il numero di persone incentivate

a distruggere il mondo,

to destroy the world,

qualora ne avessero la possibilità e le risorse,

if only they could get access and the means,

sarebbe fantastico.

that would be good.

CA: In questa quadro che ci hai chiesto di realizzare

CA: In this image that you asked us to do

you're imagining these drones flying around the world

tu immagini questi droni volare per il mondo

equipaggiati per il riconoscimento facciale.

with facial recognition.

When they spot someone showing signs of sociopathic behavior,

Se individuano qualcuno che mostra i segni di un comportamento sociopatico,

they shower them with love, they fix them.

lo ricoprono di amore, lo curano.

NB: I think it's like a hybrid picture.

NB: Penso sia una specie di quadro ibrido.

Eliminate can either mean, like, incarcerate or kill,

Eliminare vuole dire incarcerare o uccidere,

or it can mean persuade them to a better view of the world.

ma può anche voler dire indurre a una migliore visione del mondo.

But the point is that,

Ma il punto è quello,

suppose you were extremely successful in this,

supponiamo di essere riusciti in questo,

and you reduced the number of such individuals by half.

e di aver ridotto della metà questo genere di individui.

And if you want to do it by persuasion,

E per riuscire con la persuasione,

you are competing against all other powerful forces

si deve competere contro tutte le altre potenti forze

that are trying to persuade people,

che cercano di persuadere la gente:

parties, religion, education system.

partiti, religione, sistema educativo.

But suppose you could reduce it by half,

Supponiamo di ridurli della metà,

I don't think the risk would be reduced by half.

il rischio non risulterebbe ridotto della metà.

Forse di un cinque o un 10 per cento.

Maybe by five or 10 percent.

CA: You're not recommending that we gamble humanity's future on response two.

CA: Non raccomandi di scommettere il futuro dell'umanità

sulla seconda misura.

NB: Penso che vada bene tentare di dissuadere e persuadere le persone,

NB: I think it's all good to try to deter and persuade people,

ma non dovremmo fare affidamento su questo come unica misura di difesa.

but we shouldn't rely on that as our only safeguard.

CA: How about three?

CA: Che dire della terza?

NB: I think there are two general methods

NB: Penso che ci siano due metodi generali

that we could use to achieve the ability to stabilize the world

che possiamo usare per raggiungere la capacità di stabilizzare il mondo

against the whole spectrum of possible vulnerabilities.

contro tutta una gamma di possibili vulnerabilità.

And we probably would need both.

E probabilmente ci serviranno entrambi.

So, one is an extremely effective ability

Uno è la capacità estremamente efficace

to do preventive policing.

di realizzare una politica preventiva,

Such that you could intercept.

con cui si possa intercettare.

If anybody started to do this dangerous thing,

Se qualcuno iniziasse a fare cose pericolose,

you could intercept them in real time, and stop them.

si potrebbe intercettarlo in tempo reale, e fermarlo.

So this would require ubiquitous surveillance,

Questo richiederebbe una sorveglianza ubiquitaria,

everybody would be monitored all the time.

tutti sarebbero controllati per tutto il tempo.

CA: This is "Minority Report," essentially, a form of.

CA: Essenzialmente una forma alla "Minority Report".

NB: You would have maybe AI algorithms,

NB: Potrebbero esserci algoritmi di IA,

big freedom centers that were reviewing this, etc., etc.

grandi centri di controllo della libertà che ispezionano, ecc., ecc.

CA: You know that mass surveillance is not a very popular term right now?

CA: Tu sai che il concetto di sorveglianza di massa non è molto popolare al momento?

(Laughter)

(Risate)

NB: Yeah, so this little device there,

NB: Sì. Quindi quel piccolo dispositivo lì,

imagine that kind of necklace that you would have to wear at all times

immagina questa specie di collana da indossare tutto il tempo

with multidirectional cameras.

con delle telecamere multidirezionali.

But, to make it go down better,

Ma, per farla accettare più facilmente,

just call it the "freedom tag" or something like that.

chiamala semplicemente "tag della libertà" o qualcosa del genere.

(Laughter)

(Risate)

CA: OK.

CA: Ok.

I mean, this is the conversation, friends,

Voglio dire, l'argomento è questo, amici,

this is why this is such a mind-blowing conversation.

questo è il motivo per cui si tratta di una conversazione così stupefacente.

NB: Actually, there's a whole big conversation on this

NB: Effettivamente, c'è tutto un discorso

on its own, obviously.

solo su questo tema, ovviamente.

There are huge problems and risks with that, right?

Ci sono problemi e rischi enormi con questo.

We may come back to that.

Potremmo ritornarci su.

So the other, the final,

L'altra, l'ultima,

the other general stabilization capability

l'atra possibilità di stabilizzazione generale

is kind of plugging another governance gap.

consiste un po' nel tappare un altro buco a livello governativo.

So the surveillance would be kind of governance gap at the microlevel,

La sorveglianza sarebbe una sorta di lacuna governativa al microlivello,

like, preventing anybody from ever doing something highly illegal.

come, impedire che qualcuno possa fare qualcosa di illegale.

Then, there's a corresponding governance gap

Poi, c'è una corrispondente lacuna governativa

at the macro level, at the global level.

al macrolivello, a livello globale.

You would need the ability, reliably,

Servirebbe la capacità, la sicurezza,

di prevenire i peggiori tipi di fallimenti nella coordinazione globale,

to prevent the worst kinds of global coordination failures,

to avoid wars between great powers,

di evitare guerre tra le superpotenze,

arms races,

corse agli armamenti,

cataclysmic commons problems,

comuni problemi catastrofici,

in order to deal with the Type-2a vulnerabilities.

per affrontare le vulnerabilità di Tipo-2a.

CA: Global governance is a term

CA: Governanza globale è un termine decisamente fuori moda al momento,

that's definitely way out of fashion right now,

ma si potrebbe notare che nel corso della storia,

but could you make the case that throughout history,

the history of humanity

la storia dell'umanità

is that at every stage of technological power increase,

ci ha dimostrato che a ogni stadio di crescita del potere tecnologico

people have reorganized and sort of centralized the power.

le persone hanno riorganizzato e più o meno centralizzato il potere.

So, for example, when a roving band of criminals

Ad esempio, ogni volta che un branco errante di criminali

è riuscito a prendere il controllo di una società,

could take over a society,

the response was, well, you have a nation-state

la risposta è stata avere uno stato-nazione

and you centralize force, a police force or an army,

centralizzare le forze armate, un corpo di polizia,

so, "No, you can't do that."

ovvero: "No, non potete fare così."

The logic, perhaps, of having a single person or a single group

La logica, forse, di avere una singola persona o un singolo gruppo

able to take out humanity

in grado di eliminare l'umanità

means at some point we're going to have to go this route,

implica che a un certo punto che dovremo prendere questa strada,

at least in some form, no?

almeno in qualche forma, no?

NB: It's certainly true that the scale of political organization has increased

NB: È sicuramente vero che la scala dell'organizzazione politica è aumentata

over the course of human history.

nel corso della storia dell'umanità.

It used to be hunter-gatherer band, right,

Era del tipo gruppo di cacciatori e raccoglitori,

and then chiefdom, city-states, nations,

poi territorio governato da capotribù, città-stato, nazione,

now there are international organizations and so on and so forth.

ora ci sono organizzazioni internazionali e via di dicendo.

Again, I just want to make sure

Quindi, voglio solo essere sicuro

I get the chance to stress

di avere la possibilità di sottolineare

that obviously there are huge downsides

che ci sono ovviamente grandi risvolti negativi

and indeed, massive risks,

nonché, rischi enormi,

both to mass surveillance and to global governance.

sia nella sorveglianza di massa che nella governance globale.

I'm just pointing out that if we are lucky,

Voglio solo far notare che se siamo fortunati,

il mondo potrebbe diventare tale che questi potrebbero essere i soli modi

the world could be such that these would be the only ways

you could survive a black ball.

per sopravvivere a una palla nera.

CA: The logic of this theory,

CA: La logica di questa teoria,

it seems to me,

mi pare di capire,

is that we've got to recognize we can't have it all.

è quella che dobbiamo riconoscere che non possiamo avere tutto.

That the sort of,

Che quel genere di sogno naif,

I would say, naive dream that many of us had

oserei dire, quel sogno ingenuo che molti di noi hanno

that technology is always going to be a force for good,

che la tecnologia sarà sempre al servizio del bene,

keep going, don't stop, go as fast as you can

che bisogna andare avanti, non fermarsi, più velocemente possibile

and not pay attention to some of the consequences,

senza prestare attenzione ad alcune delle conseguenze,

that's actually just not an option.

questa semplicemente non è un'opzione.

We can have that.

Possiamo averla.

If we have that,

Se l'abbiamo,

we're going to have to accept

dovremo accettare alcune delle altre cose spiacevoli con essa,

some of these other very uncomfortable things with it,

and kind of be in this arms race with ourselves

e di essere in questa sorta di gara con noi stessi

of, you want the power, you better limit it,

in cui se vogliamo questo potere, conviene limitarlo,

you better figure out how to limit it.

conviene trovare un modo per limitarlo.

NB: I think it is an option,

NB: Penso che questa sia un'opzione,

a very tempting option, it's in a sense the easiest option

un'opzione davvero allettante, in un certo senso l'opzione più facile

and it might work,

e potrebbe funzionare,

but it means we are fundamentally vulnerable to extracting a black ball.

ma vorrebbe dire essere totalmente vulnerabili

all'estrazione di una palla nera.

Now, I think with a bit of coordination,

Penso che con un po' di coordinazione,

like, if you did solve this macrogovernance problem,

se si risolvesse questo problema a livello di macrogovernance,

and the microgovernance problem,

e a livello di microgovernance,

then we could extract all the balls from the urn

allora potremmo estrarre tutte le palle dall'urna

and we'd benefit greatly.

e ne avremmo notevoli benefici.

CA: I mean, if we're living in a simulation, does it matter?

CA: Insomma, se viviamo in una simulazione, ha importanza?

We just reboot.

Basta solo riavviare.

(Laughter)

(Risate)

NB: Then ... I ...

NB: In tal caso... Io...

(Laughter)

(Risate)

I didn't see that one coming.

Questa non me l'aspettavo.

CA: Quindi qual è la tua visione?

CA: So what's your view?

Putting all the pieces together, how likely is it that we're doomed?

Mettendo insieme tutti i pezzi, quanto è probabile che siamo condannati?

(Risate)

(Laughter)

Mi piace come ride la gente quando faccio questa domanda.

I love how people laugh when you ask that question.

NB: On an individual level,

NB: Come individui,

we seem to kind of be doomed anyway, just with the time line,

sembra che siamo condannati in ogni caso, in base alla linea del tempo,

we're rotting and aging and all kinds of things, right?

ci decomponiamo e invecchiamo e tutto quel genere di cose.

(Laughter)

(Risate)

It's actually a little bit tricky.

In effetti è un po' complicato.

If you want to set up so that you can attach a probability,

Se si vuole stabilire un ordine per poter attribuire una probabilità,

first, who are we?

primo, chi siamo?

If you're very old, probably you'll die of natural causes,

Se sei molto vecchio, probabilmente morirai di cause naturali,

if you're very young, you might have a 100-year --

se sei molto giovane, potresti avere 100 anni...

the probability might depend on who you ask.

la probabilità dipenderebbe da a chi lo chiedi.

Then the threshold, like, what counts as civilizational devastation?

Poi il confine, cioè: cosa conta come distruzione della civiltà?

In the paper I don't require an existential catastrophe

Nell'articolo non occorre che si tratti di una catastrofe esistenziale

in order for it to count.

per contare.

This is just a definitional matter,

È solo una questione di definizione,

I say a billion dead,

io dico un miliardo di morti,

or a reduction of world GDP by 50 percent,

o la riduzione del PIL del 50%,

but depending on what you say the threshold is,

ma a seconda di quale soglia si stabilisce,

you get a different probability estimate.

si ottiene una stima diversa della probabilità.

But I guess you could put me down as a frightened optimist.

Direi che potresti considerarmi un ottimista spaventato.

(Laughter)

(Risate)

CA: You're a frightened optimist,

CA: Tu sei un ottimista spaventato,

and I think you've just created a large number of other frightened ...

e credo che tu abbia appena creato un gran numero di altre...

persone spaventate.

people.

(Laughter)

(Risate)

NB: In the simulation.

NB: Nella simulazione.

CA: In una simulazione.

CA: In a simulation.

Nick Bostrom, your mind amazes me,

Nick Bostrom, la tua mente è sbalorditiva.

thank you so much for scaring the living daylights out of us.

Davvero grazie per averci spaventati a morte.

(Applausi)

(Applause)