How civilization could destroy itself -- and 4 ways we could prevent it | Nick Bostrom

Fordító: Eva Danko Lektor: Ádám Kósa

Chris Anderson: Nick Bostrom.

Chris Anderson: Nick Bostrom.

So, you have already given us so many crazy ideas out there.

Annyi őrült ötlettel rukkoltál már elő.

I think a couple of decades ago,

Néhány évtizeddel ezelőtt azzal,

you made the case that we might all be living in a simulation,

hogy talán mind egy szimulációban élünk,

or perhaps probably were.

vagy talán valószínűleg éltünk.

More recently,

Nemrégiben

you've painted the most vivid examples of how artificial general intelligence

élénk képet festettél arról,

hogyan sülhet el balul az általános mesterséges intelligencia.

could go horribly wrong.

And now this year,

Idén pedig

you're about to publish

egy tanulmányt készülsz kiadni,

a paper that presents something called the vulnerable world hypothesis.

mely a sebezhető világ hipotézisét boncolgatja.

And our job this evening is to give the illustrated guide to that.

Ma este az a dolgunk, hogy ehhez képes útmutatót nyújtsunk.

So let's do that.

Tegyünk hát így.

What is that hypothesis?

Miről szól a hipotézis?

Nick Bostrom: It's trying to think about

Nick Bostrom: A jelen emberi lét

a sort of structural feature of the current human condition.

egyfajta strukturális jellemzőjét boncolgatja.

You like the urn metaphor,

Kedveled az urnametaforát,

so I'm going to use that to explain it.

így azt használom magyarázatképp.

So picture a big urn filled with balls

Képzelj el egy nagy, golyókkal teli urnát,

representing ideas, methods, possible technologies.

ahol a golyók ötletek, módszerek, lehetséges technológiák.

You can think of the history of human creativity

Az emberi kreativitás történelmét felfoghatjuk úgy is,

as the process of reaching into this urn and pulling out one ball after another,

mint annak folyamatát, ahogyan az urnából egyik golyót a másik után húzzuk ki,

and the net effect so far has been hugely beneficial, right?

és a végeredmény eddig elég hasznos volt, ugye?

We've extracted a great many white balls,

Nagy számban húztunk elő fehér golyókat,

some various shades of gray, mixed blessings.

néhány szürkés árnyalatút, vegyes eredménnyel.

We haven't so far pulled out the black ball --

A fekete golyót még nem húztuk ki –

a technology that invariably destroys the civilization that discovers it.

a technológiát, amely végérvényesen lerombolja az azt felfedező civilizációt.

So the paper tries to think about what could such a black ball be.

A tanulmány azt elemzi, milyen is lehet az a fekete golyó.

CA: So you define that ball

CA: Tehát a golyót úgy jellemzed,

as one that would inevitably bring about civilizational destruction.

mint amelyik elkerülhetetlenül lerombolja a civilizációt.

NB: Unless we exit what I call the semi-anarchic default condition.

NB: Kivéve, ha kilépünk abból, amit én félanarchikus alapállapotnak hívok.

But sort of, by default.

Egyfajta alapválasztásként.

CA: So, you make the case compelling

CA: Úgy teszed meggyőzővé ezt a modellt,

by showing some sort of counterexamples

hogy mutatsz néhány ellenpéldát,

where you believe that so far we've actually got lucky,

ahol valójában eddig szerencsések voltunk,

that we might have pulled out that death ball

hiszen akár ki is húzhattuk volna azt a halálgolyót,

without even knowing it.

még csak nem is sejtve.

So there's this quote, what's this quote?

Itt ez az idézet, miről szól?

NB: Well, I guess it's just meant to illustrate

NB: Gondolom, illusztrálni akarja,

the difficulty of foreseeing

milyen nehéz előre megjósolni,

what basic discoveries will lead to.

hová vezetnek alapfelfedezések.

We just don't have that capability.

Képtelenek vagyunk megjósolni.

Because we have become quite good at pulling out balls,

Abban elég jók vagyunk, hogy kihúzzuk a golyókat,

but we don't really have the ability to put the ball back into the urn, right.

de visszatenni nem igazán tudjuk őket.

We can invent, but we can't un-invent.

Felfedezni tudunk, visszacsinálni nem.

So our strategy, such as it is,

Ilyenképp a stratégiánk az,

hogy reméljük, az urnában nincs fekete golyó.

is to hope that there is no black ball in the urn.

CA: So once it's out, it's out, and you can't put it back in,

CA: Ha tehát egyszer kihúzzák, kint van, nem lehet visszatenni,

and you think we've been lucky.

és szerinted eddig csak szerencsénk volt.

So talk through a couple of these examples.

Mutass be nekünk párat ezen példák közül.

You talk about different types of vulnerability.

Különböző típusú sebezhetőségekről beszélsz.

NB: So the easiest type to understand

NB: A legegyszerűbb ezt

egy olyan technológia segítségével megérteni,

is a technology that just makes it very easy

amellyel könnyű nagy pusztítást véghezvinni.

to cause massive amounts of destruction.

Synthetic biology might be a fecund source of that kind of black ball,

A szintetikus biológia termékeny talaj lehet egy ilyen golyónak,

but many other possible things we could --

ám számtalan más dolog is szóba jöhet

think of geoengineering, really great, right?

– mondjuk a geomérnökség, igazán nagyszerű, nem?

We could combat global warming,

Legyőzhetnénk a globális felmelegedést,

but you don't want it to get too easy either,

viszont ne legyen túl könnyű,

you don't want any random person and his grandmother

nem akarjuk, hogy egy random valaki a nagymamájával

to have the ability to radically alter the earth's climate.

képes legyen megváltoztatni a Föld klímáját.

Or maybe lethal autonomous drones,

Vagy ott vannak a halált okozó önvezető drónok,

massed-produced, mosquito-sized killer bot swarms.

szériagyártású, szúnyogméretű, gyilkos robotrajok.

Nanotechnology, artificial general intelligence.

Nanotechnológia, mesterséges általános intelligencia.

CA: You argue in the paper

CA: A tanulmányban úgy érvelsz,

that it's a matter of luck that when we discovered

csak a szerencse kérdése volt,

that nuclear power could create a bomb,

hogy amikor felfedeztük az atomenergiában rejlő bombát,

it might have been the case

az erőforrások nem voltak

that you could have created a bomb

sokkal könnyebben elérhetőek,

with much easier resources, accessible to anyone.

mindenki számára hozzáférhetőek a bombakészítéshez.

NB: Yeah, so think back to the 1930s

NB: Igen, visszagondolva az 1930-as évekre,

where for the first time we make some breakthroughs in nuclear physics,

amikor először értünk el áttörést az atomfizikában,

some genius figures out that it's possible to create a nuclear chain reaction

egy zseni rájön, hogy nukleáris láncreakció hozható létre,

and then realizes that this could lead to the bomb.

amely elvezethet a bombához.

And we do some more work,

Kicsit tovább dolgozunk rajta,

it turns out that what you require to make a nuclear bomb

és kiderül, hogy az atombombához

is highly enriched uranium or plutonium,

magasan dúsított urán vagy plutónium szükséges,

which are very difficult materials to get.

mely anyagokhoz nehéz hozzájutni.

You need ultracentrifuges,

Ultracentrifugákra, reaktorokra,

you need reactors, like, massive amounts of energy.

meg nagy mennyiségű energiára van szükség.

But suppose it had turned out instead

Tegyük fel, ehelyett úgy alakul,

there had been an easy way to unlock the energy of the atom.

hogy van könnyebb mód az atomenergia felszabadítására.

That maybe by baking sand in the microwave oven

Például azzal, hogy homokot sütünk a mikrohullámúban

or something like that

vagy valami ilyesmi,

you could have created a nuclear detonation.

atomrobbanást idézhetünk elő.

So we know that that's physically impossible.

Tudjuk, hogy ez fizikai képtelenség.

But before you did the relevant physics

Ám a kellő fizika nélkül

honnan tudtuk volna, mi fog történni?

how could you have known how it would turn out?

CA: Although, couldn't you argue

CA: Bár nem tagadhatod,

that for life to evolve on Earth

hogy mivel a földi élet kialakulása

that implied sort of stable environment,

egyfajta stabil környezetet igényelt,

that if it was possible to create massive nuclear reactions relatively easy,

amennyiben könnyedén lehetne masszív magreakciót létrehozni,

the Earth would never have been stable,

akkor a Föld sosem lett volna stabil,

that we wouldn't be here at all.

sőt egyáltalán nem is létezne.

NB: Yeah, unless there were something that is easy to do on purpose

NB: Igen, kivéve, ha bizonyos dolgokat szándékosan könnyű megvalósítani,

but that wouldn't happen by random chance.

ám véletlenszerűen nem alakulnak ki.

So, like things we can easily do,

Például könnyen megtehetjük,

we can stack 10 blocks on top of one another,

hogy egymásra halmozunk 10 farönköt,

but in nature, you're not going to find, like, a stack of 10 blocks.

de a természetben nem fogunk egy 10 rönkből álló farakást találni.

CA: OK, so this is probably the one

CA: Oké, valószínűleg ez az,

that many of us worry about most,

ami sokunkat a legjobban aggaszt,

and yes, synthetic biology is perhaps the quickest route

és igen, a szintetikus biológia talán a leggyorsabb út,

that we can foresee in our near future to get us here.

amely a közeljövőben feltehetően odajuttat bennünket.

NB: Yeah, and so think about what that would have meant

NB: Igen, gondoljuk csak el, mivel járhatott volna,

if, say, anybody by working in their kitchen for an afternoon

ha bárki képes lenne lerombolni egy várost,

mondjuk miközben délután a konyhájában tevékenykedik.

could destroy a city.

It's hard to see how modern civilization as we know it

Nehéz felfogni, hogyan élhette volna túl ezt a modern civilizáció

abban a formájában, ahogy ismerjük.

could have survived that.

Because in any population of a million people,

Ugyanis egymillió emberből

there will always be some who would, for whatever reason,

mindig lesz néhány – bármi legyen is az oka –,

choose to use that destructive power.

aki használni akarja azt a pusztító erőt.

So if that apocalyptic residual

És ha ezek az apokaliptikus szereplők,

would choose to destroy a city, or worse,

egy várost akarnának lerombolni,

then cities would get destroyed.

tényleg városok pusztulnának el.

CA: So here's another type of vulnerability.

CA: Nézzük a sebezhetőség egy másik típusát.

Talk about this.

Beszéljünk erről.

NB: Yeah, so in addition to these kind of obvious types of black balls

NB: Az egyértelmű fekete golyók mellett,

that would just make it possible to blow up a lot of things,

melyek szimplán lehetővé teszik csomó minden felrobbantását,

other types would act by creating bad incentives

mások úgy fejtenék ki hatásukat, hogy negatív ösztönzőként

for humans to do things that are harmful.

az embereket rossz cselekedetekre sarkallnák.

So, the Type-2a, we might call it that,

A 2a típus alatt, nevezhetjük így,

is to think about some technology that incentivizes great powers

elképzelhetünk valami olyan technológiát, amely a nagyhatalmakat arra ösztönzi,

to use their massive amounts of force to create destruction.

hogy hatalmas erőiket mozgósítva vigyenek végbe pusztítást.

So, nuclear weapons were actually very close to this, right?

Az atomfegyverek eléggé a képbe illenek, ugye?

What we did, we spent over 10 trillion dollars

Több mint 10 billió dollárt költöttünk

to build 70,000 nuclear warheads

70 000 atomtöltet megépítésére,

and put them on hair-trigger alert.

és kilövésre kész állapotban tartjuk őket.

And there were several times during the Cold War

A Hidegháború alatt bizony párszor

we almost blew each other up.

majdnem felrobbantottuk egymást.

It's not because a lot of people felt this would be a great idea,

Nem azért, mert bárki is úgy érezte,

jó ötlet 10 billió dollárt költeni magunk felrobbantására,

let's all spend 10 trillion dollars to blow ourselves up,

but the incentives were such that we were finding ourselves --

hanem a körülmények erre ösztönöztek bennünket –

this could have been worse.

rosszabb is lehetett volna.

Imagine if there had been a safe first strike.

Képzeljünk el egy megelőző csapást.

Then it might have been very tricky,

Azt követően, krízishelyzetben,

in a crisis situation,

nehéz lett volna megállni

to refrain from launching all their nuclear missiles.

az összes atomrakéta kilövését.

If nothing else, because you would fear that the other side might do it.

Ha másért nem, legalább attól való félelmünkben, hogy a másik megteszi.

CA: A kölcsönösen biztosított megsemmisítés

CA: Right, mutual assured destruction

kept the Cold War relatively stable,

viszonylag stabilizálta a Hidegháborút,

without that, we might not be here now.

enélkül lehet nem lennénk itt.

NB: It could have been more unstable than it was.

NB: Instabilabb is lehetett volna a helyzet.

And there could be other properties of technology.

A technológia más jellemzői miatt is.

Nehezebben kötöttünk volna fegyverkezési egyezményeket,

It could have been harder to have arms treaties,

if instead of nuclear weapons

ha atomfegyverek helyett

kisebb vagy kevésbé feltűnő dolgokról lett volna szó.

there had been some smaller thing or something less distinctive.

CA: And as well as bad incentives for powerful actors,

CA: Nemcsak a nagyhatalmak negatív motivációja,

you also worry about bad incentives for all of us, in Type-2b here.

hanem mindannyiunké aggaszt, ahogy a 2b pont is mutatja.

NB: Yeah, so, here we might take the case of global warming.

NB: Igen, vegyük például a globális felmelegedést.

There are a lot of little conveniences

Elkényelmesedettségünk okán

that cause each one of us to do things

olyan dolgokat teszünk,

that individually have no significant effect, right?

amelyeknek külön-külön nincs ugyebár jelentős hatása.

But if billions of people do it,

Ám ha emberek milliárdja tesz így,

cumulatively, it has a damaging effect.

összesítve már romboló hatással bírnak.

Now, global warming could have been a lot worse than it is.

A globális felmelegedés most sokkal rosszabb is lehetne.

So we have the climate sensitivity parameter, right.

Vegyük a klímaérzékenységi paramétert.

It's a parameter that says how much warmer does it get

Ez mutatja meg, mennyivel lesz melegebb,

if you emit a certain amount of greenhouse gases.

ha bizonyos mennyiségű üvegházhatású gázt bocsájtunk ki.

But, suppose that it had been the case

Ám tegyük fel,

that with the amount of greenhouse gases we emitted,

hogy a kibocsájtott üvegházhatású gázzal

instead of the temperature rising by, say,

2100-ra mondjuk nem 3,5-4 fokkal,

between three and 4.5 degrees by 2100,

hanem 15 vagy 20 fokkal

suppose it had been 15 degrees or 20 degrees.

emeljük a hőmérsékletet.

Like, then we might have been in a very bad situation.

Akkor lennénk igazán rossz helyzetben.

Or suppose that renewable energy had just been a lot harder to do.

Vagy tegyük fel, nehezebb lenne megújuló energiát előállítani.

Or that there had been more fossil fuels in the ground.

Vagy több lenne a földben rejlő fosszilis üzemanyag.

CA: Couldn't you argue that if in that case of --

CA: Nem tagadhatod, hogy ebben az esetben –

if what we are doing today

hogy ha az, amit ma teszünk,

had resulted in 10 degrees difference in the time period that we could see,

tíz fok különbséget eredményezett volna egy általunk is belátható időszakon belül,

actually humanity would have got off its ass and done something about it.

az emberiség keményen dolgozott volna valamilyen megoldáson.

We're stupid, but we're not maybe that stupid.

Hülyék vagyunk, de talán mégsem annyira.

Or maybe we are.

Vagy talán mégis.

NB: I wouldn't bet on it.

NB: Nem fogadnék rá.

(Laughter)

(Nevetés)

You could imagine other features.

Más jellemzőket is elképzelhetnek.

So, right now, it's a little bit difficult to switch to renewables and stuff, right,

Jelenleg kicsit nehézkes a megújulókra és hasonlókra való átállás,

but it can be done.

de meg lehet csinálni.

But it might just have been, with slightly different physics,

Lehetséges lenne kissé másfajta fizikával,

it could have been much more expensive to do these things.

viszont sokkal többe került volna megtenni ezeket.

CA: And what's your view, Nick?

CA: Mit gondolsz, Nick?

Do you think, putting these possibilities together,

Ha ezeket a lehetőségeket összerakjuk:

that this earth, humanity that we are,

ez a Föld, ez az emberiség,

we count as a vulnerable world?

sebezhető világnak számít?

That there is a death ball in our future?

Tartogat a jövőnk egy halálgolyót?

NB: It's hard to say.

NB: Nehéz megmondani.

I mean, I think there might well be various black balls in the urn,

Szerintem szép számmal akadnak az urnában különböző fekete golyók,

that's what it looks like.

ez a helyzet.

There might also be some golden balls

Talán akadnak ott aranygolyók is,

that would help us protect against black balls.

amelyek segítenek a feketék elleni védekezésben.

And I don't know which order they will come out.

Fogalmam sincs, milyen sorrendben kerülnek elő.

CA: I mean, one possible philosophical critique of this idea

CA: Egy lehetséges elméleti kritikája ennek a gondolatnak,

is that it implies a view that the future is essentially settled.

hogy e nézet szerint a jövőnk alapvetően eldöntetett.

That there either is that ball there or it's not.

Vagy van golyó, vagy nincs.

And in a way,

Bizonyos tekintetben

that's not a view of the future that I want to believe.

ez nem az a jövő, amiben hinni szeretnék.

I want to believe that the future is undetermined,

Azt akarom hinni, hogy a jövőnk nincs elrendelve,

that our decisions today will determine

hogy a ma döntései határozzák meg,

what kind of balls we pull out of that urn.

milyen golyót húzunk ki az urnából.

NB: I mean, if we just keep inventing,

NB: Úgy vélem, ha a felfedezéseket tovább folytatjuk,

like, eventually we will pull out all the balls.

végül ki fogjuk húzni az összes golyót.

I mean, I think there's a kind of weak form of technological determinism

Szerintem van egyfajta enyhe technológiai elrendeltség,

that is quite plausible,

mert elég valószínű,

like, you're unlikely to encounter a society

hogy nem találunk olyan társadalmat,

that uses flint axes and jet planes.

amely pattintott kőbaltát és sugárhajtású repülőt használ.

But you can almost think of a technology as a set of affordances.

A technológiát szinte úgy is felfoghatjuk, mint egy adag "megengedést".

So technology is the thing that enables us to do various things

A technológia számtalan dolgot tesz számunkra lehetővé,

and achieve various effects in the world.

és különbözőképp hat a világra.

How we'd then use that, of course depends on human choice.

Hogy ezt hogyan használjuk, az emberi választáson múlik.

But if we think about these three types of vulnerability,

Ha a sebezhetőség e három típusára gondolunk,

they make quite weak assumptions about how we would choose to use them.

elég valószínű, hogyan döntenénk a használatukat illetően.

So a Type-1 vulnerability, again, this massive, destructive power,

Egy 1-es típusú sebezhetőség – ez a nagy pusztítóerő – kapcsán

it's a fairly weak assumption

eléggé valószínű feltételezés,

to think that in a population of millions of people

hogy egy millió emberből

there would be some that would choose to use it destructively.

néhány felhasználná rombolás céljából.

CA: For me, the most single disturbing argument

CA: Számomra az egyetlen zavaró érv,

is that we actually might have some kind of view into the urn

hogy tulajdonképp van egyfajta elképzelésünk az urna tartalmáról,

that makes it actually very likely that we're doomed.

ami valószínűsíti, hogy a sorsunk megpecsételődött.

Namely, if you believe in accelerating power,

Tudniillik, ha hisznek a gyorsító erőben,

that technology inherently accelerates,

hogy a technológia eredendően felgyorsul,

that we build the tools that make us more powerful,

hogy eszközöket építünk, melyek erősebbé tesznek,

then at some point you get to a stage

hogy egy ponton eljutnak arra a szintre,

where a single individual can take us all down,

ahol az egyén képes lesz mindannyiunkat elpusztítani,

and then it looks like we're screwed.

és az végzetesnek tűnik ránk nézve.

Isn't that argument quite alarming?

Nem aggasztó ez az érvelés?

NB: Ah, yeah.

NB: Dehogynem.

(Laughter)

(Nevetés)

I think --

Szerintem...

Yeah, we get more and more power,

Egyre erősebbek leszünk

and [it's] easier and easier to use those powers,

és egyre könnyebben használjuk az erőket,

but we can also invent technologies that kind of help us control

ám feltalálhatunk olyan technológiákat is, melyek kontrollálni képesek,

how people use those powers.

ahogy az emberek használják az erőket.

CA: So let's talk about that, let's talk about the response.

CA: Beszéljünk erről, a lehetséges reakcióról.

Suppose that thinking about all the possibilities

Feltételezve, hogy a jelenleg már létező

that are out there now --

lehetőségek kapcsán úgy gondolkodunk

it's not just synbio, it's things like cyberwarfare,

– nemcsak a szintetikus biológiáról, hanem pl. a kiberháborúról,

artificial intelligence, etc., etc. --

a mesterséges intelligenciáról stb. –,

that there might be serious doom in our future.

hogy a jövőben pusztulás várhat ránk.

What are the possible responses?

Mik a lehetséges reakciók?

And you've talked about four possible responses as well.

Négy lehetőséget említesz válaszként.

NB: Restricting technological development doesn't seem promising,

NB: A technológiai fejlődést korlátozni nem tűnik ígéretes megoldásnak,

if we are talking about a general halt to technological progress.

ha általában véve meg akarnánk állítani a technológiai fejlődést.

I think neither feasible,

Nem megvalósítható,

nor would it be desirable even if we could do it.

és nem is kívánatos út, még ha meg is tehetnénk.

I think there might be very limited areas

Úgy hiszem, igen kevés terület az,

where maybe you would want slower technological progress.

ahol le akarnánk lassítani a technológiai fejlődést.

You don't, I think, want faster progress in bioweapons,

Gondolom, nem akarnak gyorsabb fejlődést biológiai fegyverek esetében,

or in, say, isotope separation,

vagy mondjuk az izotópok szétválasztásában,

that would make it easier to create nukes.

mellyel könnyebb lenne atomfegyvereket gyártani.

CA: I mean, I used to be fully on board with that.

CA: Régebben egyetértettem ezzel.

But I would like to actually push back on that for a minute.

Ám szeretnék most ellenvetéssel élni,

Just because, first of all,

mindenekelőtt,

if you look at the history of the last couple of decades,

mert az elmúlt évtized történéseit nézve,

you know, it's always been push forward at full speed,

mindig is teljes gázzal mentünk előre,

it's OK, that's our only choice.

ez oké, ez az egyetlen lehetőségünk.

But if you look at globalization and the rapid acceleration of that,

Ám ha a globalizációt és annak gyorsulását,

ha a "Haladj gyorsan és zúzd a dolgokat" mottó stratégiáját nézzük,

if you look at the strategy of "move fast and break things"

and what happened with that,

és hogy mi lett annak a sorsa,

and then you look at the potential for synthetic biology,

majd megnézzük a szintetikus biológia kínálta lehetőségeket,

I don't know that we should move forward rapidly

nem tudom, tényleg gyorsabban kellene-e haladnunk,

or without any kind of restriction

vagy bármilyen korlátozás nélkül,

to a world where you could have a DNA printer in every home

egy olyan világ felé, ahol a DNS-nyomtató

minden háztartásban és gimnáziumi laborban elérhető.

and high school lab.

There are some restrictions, right?

Vannak korlátozások, ugye?

NB: Possibly, there is the first part, the not feasible.

NB: Ott van egyrészről, hogy nem megvalósítható.

If you think it would be desirable to stop it,

Ha úgy hisszük, kívánatos megállítani,

there's the problem of feasibility.

ott a megvalósíthatóság kérdése.

So it doesn't really help if one nation kind of --

Az nem igazán segít, ha egy nemzet valahogy...

CA: No, it doesn't help if one nation does,

CA: Nem, ha egy nemzet teszi, nem segít,

but we've had treaties before.

de megállapodásokat korábban is kötöttünk.

That's really how we survived the nuclear threat,

Úgy éltük túl a nukleáris fenyegetést,

was by going out there

hogy felléptünk

and going through the painful process of negotiating.

és átestünk az egyezkedés fájdalmas folyamatán.

I just wonder whether the logic isn't that we, as a matter of global priority,

Csak csodálkozom, hogy mivel ez globálisan elsődleges,

we shouldn't go out there and try,

nem lenne-e logikus megpróbálni,

like, now start negotiating really strict rules

mondjuk azzal, hogy szigorúan szabályozzuk,

on where synthetic bioresearch is done,

hol lehet szintetikusbiológiai kutatásokat végezni,

that it's not something that you want to democratize, no?

ez nem olyasvalami, ugye, amit demokratizálni akarnánk?

NB: I totally agree with that --

NB: Teljes mértékben egyetértek

that it would be desirable, for example,

– például nem rossz,

ha a DNS-szintetizáló elérhető,

maybe to have DNA synthesis machines,

not as a product where each lab has their own device,

ne olyan termék legyen, hogy minden labor rendelkezzen vele,

but maybe as a service.

hanem inkább szolgáltatás.

Maybe there could be four or five places in the world

Mondjuk négy-öt hely a világon,

where you send in your digital blueprint and the DNA comes back, right?

ahová digitális lenyomatot küldhetnek, és DNS-t kapnak vissza, nem?

And then, you would have the ability,

Aztán lenne rá lehetőség,

if one day it really looked like it was necessary,

ha egy nap tényleg szükség volna rá,

we would have like, a finite set of choke points.

hogy legyenek véges számú ellenőrzőpontok.

So I think you want to look for kind of special opportunities,

Úgy értem, ha egyfajta speciális lehetőségeket akarnánk,

where you could have tighter control.

ahol szigorúbban lehet ellenőrizni.

CA: Your belief is, fundamentally,

CA: Alapvetően abban hiszel,

we are not going to be successful in just holding back.

hogy a visszatartás nem vezet eredményhez.

Someone, somewhere -- North Korea, you know --

Valaki, valahol – mondjuk, Észak-Koreában –,

someone is going to go there and discover this knowledge,

valaki eljut oda és felfedezi ezt a tudást,

if it's there to be found.

ha van mit felfedezni.

NB: That looks plausible under current conditions.

NB: A jelen körülmények között ez valószínű.

It's not just synthetic biology, either.

És nem csak a szintetikus biológiában.

I mean, any kind of profound, new change in the world

Szerintem a világon bármely mélyreható, új változásból

could turn out to be a black ball.

lehet fekete golyó.

CA: Let's look at another possible response.

CA: Nézzünk egy másik lehetséges reakciót.

NB: This also, I think, has only limited potential.

NB: Ez itt szintén csak korlátozott hatással bír.

So, with the Type-1 vulnerability again,

Újra az 1-es típusú sebezhetőséget véve,

I mean, if you could reduce the number of people who are incentivized

ha csökkenthető lenne

a világ lerombolásában érdekeltek száma,

to destroy the world,

if only they could get access and the means,

ha csak nekik lenne hozzáférésük, eszközeik,

that would be good.

az jó lenne.

CA: In this image that you asked us to do

CA: Ezen a képen elképzeled,

you're imagining these drones flying around the world

amint drónok repkednek mindenfelé,

with facial recognition.

arcfelismerővel.

When they spot someone showing signs of sociopathic behavior,

Ha kiszúrnak valakit szociopata viselkedéssel,

they shower them with love, they fix them.

megöntözik szeretettel, megjavítják.

NB: I think it's like a hybrid picture.

NB: Ez olyan, mint egy hibrid kép.

Eliminate can either mean, like, incarcerate or kill,

Az eltávolítás egyszerre jelenthet bebörtönzést vagy kivégzést,

or it can mean persuade them to a better view of the world.

de azt is, hogy szebb színben lássák a világot.

But the point is that,

Ám a lényeg,

suppose you were extremely successful in this,

tegyük fel, jó eredményeket értünk el,

and you reduced the number of such individuals by half.

és felére csökkent az effajta egyének száma.

And if you want to do it by persuasion,

Ha meggyőzéssel élnénk,

nagy erőkkel kell szembeszállnunk,

you are competing against all other powerful forces

amelyek ugyanúgy igyekeznek hatni az emberekre:

that are trying to persuade people,

parties, religion, education system.

pártok, vallás, oktatás.

But suppose you could reduce it by half,

De tegyük fel, felére csökken a számuk,

I don't think the risk would be reduced by half.

viszont a kockázat nem csökkenne a felére.

Maybe by five or 10 percent.

Talán öt-tíz százalékkal.

CA: You're not recommending that we gamble humanity's future on response two.

CA: Tehát nem ajánlod, hogy ezzel tegyük kockára az emberiség jövőjét.

NB: I think it's all good to try to deter and persuade people,

NB: Szerintem jó dolog elrettenteni és meggyőzni az embereket,

but we shouldn't rely on that as our only safeguard.

de nem szabad erre, mint egyetlen biztosítékra támaszkodnunk.

CA: How about three?

CA: És a harmadik?

NB: I think there are two general methods

NB: Szerintem két általános módszer jöhet szóba,

that we could use to achieve the ability to stabilize the world

hogy megerősítsük a világot

against the whole spectrum of possible vulnerabilities.

egy egész seregnyi sebezhetőséggel szemben.

And we probably would need both.

Lehet, mindkettő szükséges lesz.

So, one is an extremely effective ability

Az egyik nagyon hatékony képesség

to do preventive policing.

a megelőző rendszabályozás.

Such that you could intercept.

Időben közbe tudnánk lépni.

If anybody started to do this dangerous thing,

Ha bárki veszélyes dologba fogna,

you could intercept them in real time, and stop them.

valós időben közbe tudnánk lépni, megakadályozni.

So this would require ubiquitous surveillance,

Ehhez totális megfigyelés szükségeltetik,

everybody would be monitored all the time.

mindenkit, mindenkor megfigyelnének.

CA: This is "Minority Report," essentially, a form of.

CA: Ez a "Különvélemény" egy formája.

NB: You would have maybe AI algorithms,

NB: Talán lennének MI algoritmusok,

big freedom centers that were reviewing this, etc., etc.

nagy központokkal, amelyek ezeket figyelik stb.

CA: You know that mass surveillance is not a very popular term right now?

CA: Tudod, hogy a tömeges megfigyelés manapság nem túl népszerű?

(Laughter)

(Nevetés)

NB: Yeah, so this little device there,

NB: Persze; ezért képzeljük el,

imagine that kind of necklace that you would have to wear at all times

hogy egy ilyen nyakláncot kellene állandóan viselnünk,

with multidirectional cameras.

benne 360 fokos kamerával.

But, to make it go down better,

De hogy emészthetőbb legyen,

just call it the "freedom tag" or something like that.

hívhatjuk "szabadságcédulának" vagy valami ilyesmi.

(Laughter)

(Nevetés)

CA: OK.

CA: Oké.

I mean, this is the conversation, friends,

Ez aztán a beszélgetés, barátaim,

this is why this is such a mind-blowing conversation.

és pont emiatt ilyen elképesztő a beszélgetés.

NB: Actually, there's a whole big conversation on this

NB: Valójában egész nagy beszélgetés folyik erről,

on its own, obviously.

csakis erről.

There are huge problems and risks with that, right?

Ez rengeteg problémát, kockázatot jelent, nem?

We may come back to that.

Erről később beszélhetünk.

So the other, the final,

A másik, a végső,

the other general stabilization capability

a másik általános megerősítési lehetőség

is kind of plugging another governance gap.

a kormányzási szakadék egyfajta betömése.

So the surveillance would be kind of governance gap at the microlevel,

A megfigyelés például mikroszintű kormányzási szakadék,

like, preventing anybody from ever doing something highly illegal.

megakadályozni bárkit, hogy valami nagyon törvénytelent csináljon.

Then, there's a corresponding governance gap

Ez a kormányzási szakadék pedig

at the macro level, at the global level.

makroszinten, világszinten is látható.

You would need the ability, reliably,

Megbízhatóan szükségünk van arra a képességre,

hogy útját álljuk a legsúlyosabb globális koordinációs hibáknak,

to prevent the worst kinds of global coordination failures,

to avoid wars between great powers,

így kerülve el a nagyhatalmak közti háborúkat,

arms races,

fegyverkezési versenyeket,

cataclysmic commons problems,

a közösségek katasztrófáit,

in order to deal with the Type-2a vulnerabilities.

hogy lehetőségük legyen a 2a típusú sebezhetőségekkel foglalkozni.

CA: Global governance is a term

CA: A globális kormányzás

that's definitely way out of fashion right now,

manapság idejétmúlt fogalom,

but could you make the case that throughout history,

de tagadhatod-e a tényt, hogy a történelem során,

the history of humanity

az emberiség történelmében,

is that at every stage of technological power increase,

a technológiai erő növekedésének minden szakaszában

people have reorganized and sort of centralized the power.

újraszervezték és egyfajtaképp központosították a hatalmat.

So, for example, when a roving band of criminals

Például ha egy huligánbanda

átvehetné a társadalom fölötti uralmat,

could take over a society,

the response was, well, you have a nation-state

a válasz az, hogy egy nemzetállamban,

and you centralize force, a police force or an army,

központosított erőkkel, rendőri vagy katonai erővel

so, "No, you can't do that."

ez nem lehetséges.

The logic, perhaps, of having a single person or a single group

A logikus az, hogy ha egyetlen személy, vagy egy csoport,

able to take out humanity

ki tudná irtani az emberiséget,

means at some point we're going to have to go this route,

azt jelenti, valamikor rá is kell lépjünk erre az útra,

at least in some form, no?

valamilyen formában, nem?

NB: It's certainly true that the scale of political organization has increased

NB: Tény, hogy a politikai szervezettség nagy mértékben nőtt

over the course of human history.

az emberi történelem során.

It used to be hunter-gatherer band, right,

Először vadászó-gyűjtögető horda,

and then chiefdom, city-states, nations,

majd fejedelemség, városállamok, nemzetek,

now there are international organizations and so on and so forth.

most nemzetközi szervezeteink vannak, és így tovább.

Again, I just want to make sure

Ismétlem,

I get the chance to stress

hangsúlyozom,

that obviously there are huge downsides

hogy a tömeges megfigyelésnek

and indeed, massive risks,

és a globális kormányzásnak

both to mass surveillance and to global governance.

nyilvánvalóan komoly hátulütői, jelentős kockázatai vannak.

I'm just pointing out that if we are lucky,

Csak rá szeretnék mutatni, hogy ha szerencsénk van,

the world could be such that these would be the only ways

lehet olyan világ is, ahol ezek lesznek a fekete golyó

you could survive a black ball.

túlélésének egyetlen esélyei.

CA: The logic of this theory,

CA: Ennek az elméletnek a logikája,

it seems to me,

nekem úgy tűnik,

is that we've got to recognize we can't have it all.

az, hogy nem lehet minden a miénk.

That the sort of,

Igen, valahogy úgy.

I would say, naive dream that many of us had

Hogy úgy mondjam, sokunk naiv álma az,

that technology is always going to be a force for good,

hogy a technológia mindig a jó erőket szolgálja majd,

keep going, don't stop, go as fast as you can

ne álljunk meg, folytassuk, amilyen gyorsan csak lehet,

and not pay attention to some of the consequences,

ne figyeljünk oda következményekre,

that's actually just not an option.

ez nem választási lehetőség.

We can have that.

Meg tudjuk csinálni.

If we have that,

Ha megvan,

we're going to have to accept

el kell fogadnunk

some of these other very uncomfortable things with it,

néhány kellemetlen velejáróját is,

és mintegy önmagunkkal kell fegyverkezési versenybe szállni:

and kind of be in this arms race with ourselves

of, you want the power, you better limit it,

ha akarjuk a hatalmat, korlátoznunk kell,

you better figure out how to limit it.

és jobb, ha kitaláljuk, hogyan korlátozhatjuk.

NB: I think it is an option,

NB: Szerintem ez is egy lehetőség,

a very tempting option, it's in a sense the easiest option

igen csábító lehetőség, bizonyos értelemben a legkönnyebb,

and it might work,

és talán működhet is.

but it means we are fundamentally vulnerable to extracting a black ball.

De azt jelenti, a fekete golyó kihúzását nézve alapvetően sebezhetőek vagyunk.

Now, I think with a bit of coordination,

Szerintem kis koordinációval,

like, if you did solve this macrogovernance problem,

ha mondjuk megoldottuk

a makro- és mikrokormányzási problémát,

and the microgovernance problem,

then we could extract all the balls from the urn

akkor minden golyót kihúzhatunk az urnából,

and we'd benefit greatly.

és élvezhetjük ezek előnyeit.

CA: I mean, if we're living in a simulation, does it matter?

CA: Ha viszont egy szimulációban élünk, számít ez egyáltalán?

We just reboot.

Csak újrabootolunk.

(Laughter)

(Nevetés)

NB: Then ... I ...

NB: Akkor... én...

(Laughter)

(Nevetés)

I didn't see that one coming.

Erre nem számítottam.

CA: So what's your view?

CA: Szóval, mit gondolsz?

Putting all the pieces together, how likely is it that we're doomed?

Ha összeillesztjük a részleteket, mennyire biztos, hogy halálra vagyunk ítélve?

(Laughter)

(Nevetés)

I love how people laugh when you ask that question.

Szeretem, ahogy nevetnek a kérdés hallatán.

NB: On an individual level,

NB: Mint egyének,

we seem to kind of be doomed anyway, just with the time line,

az idővel, amúgy is halálra vagyunk ítélve,

we're rotting and aging and all kinds of things, right?

romlunk és öregszünk és hasonlók, nem?

(Laughter)

(Nevetés)

It's actually a little bit tricky.

Valójában ez kissé trükkös.

If you want to set up so that you can attach a probability,

Ha a valószínűségre is kíváncsi, akkor először is:

first, who are we?

kik vagyunk?

If you're very old, probably you'll die of natural causes,

Ha nagyon öregek, a halál lehet természetes.

if you're very young, you might have a 100-year --

Ha nagyon fiatalok, lehet még száz évünk –

the probability might depend on who you ask.

a valószínűség azon is múlhat, kiről van szó.

Then the threshold, like, what counts as civilizational devastation?

Aztán a küszöbérték: mi számít a civilizáció pusztulásának?

In the paper I don't require an existential catastrophe

A tanulmányban nemcsak az egzisztenciális katasztrófákat

in order for it to count.

veszem figyelembe.

This is just a definitional matter,

Ez csak meghatározás kérdése.

I say a billion dead,

Mondjuk egymilliárd halott

or a reduction of world GDP by 50 percent,

vagy a GDP 50%-os csökkenése,

but depending on what you say the threshold is,

ám attól függően, mi a küszöbérték,

you get a different probability estimate.

eltérő valószínűségi becslések jönnek ki.

But I guess you could put me down as a frightened optimist.

Ám lehet, rémült optimistának tartanak.

(Laughter)

(Nevetés)

CA: You're a frightened optimist,

CA: Te egy rémült optimista vagy,

and I think you've just created a large number of other frightened ...

és szerintem épp most rémítettél meg egy csomó másik ...

people.

embert is.

(Laughter)

(Nevetés)

NB: In the simulation.

NB: A szimulációban.

CA: In a simulation.

CA: Egy szimulációban.

Nick Bostrom, your mind amazes me,

Nick Bostrom, az elméd lenyűgöz,

thank you so much for scaring the living daylights out of us.

köszönöm, hogy halálos rémületbe kergettél bennünket.

(Applause)

(Taps)