What happens when our computers get smarter than we are? | Nick Bostrom

Fordító: Gabriella Zsoter Lektor: Péter Pallós

I work with a bunch of mathematicians, philosophers and computer scientists,

Több matematikussal, filozófussal és számítógépes szakemberrel dolgozom,

and we sit around and think about the future of machine intelligence,

akikkel együtt gondolkodunk a gépi intelligencia, értelem jövőjéről

among other things.

Some people think that some of these things are sort of science fiction-y,

Néhányan azt gondolják, egyes kérdéseink

sci-fibe illő, elvont őrültségek.

far out there, crazy.

But I like to say,

Rendben, szoktam mondani, de nézzük meg,

okay, let's look at the modern human condition.

milyen ma az ember helyzete.

(Laughter)

(Nevetés)

This is the normal way for things to be.

Ez a szokásos állapot, ahogy annak lennie kell.

But if we think about it,

Ám ha utánagondolunk, mi, emberek

we are actually recently arrived guests on this planet,

csak nemrég érkezett vendégek vagyunk

ezen a bolygón.

the human species.

Think about if Earth was created one year ago,

Képzeljük el, hogy a Föld csak egy éve jött lére,

the human species, then, would be 10 minutes old.

így az emberi faj tíz perce létezne.

The industrial era started two seconds ago.

Az ipari korszak csak két másodperce kezdődött.

Another way to look at this is to think of world GDP over the last 10,000 years,

Máshonnan nézve a kérdést, gondoljunk a világ elmúlt 10 000 évi GDP-jére.

I've actually taken the trouble to plot this for you in a graph.

Vettem magamnak a fáradságot,

It looks like this.

és készítettem önöknek egy grafikont. Íme!

(Laughter)

(Nevetés)

It's a curious shape for a normal condition.

Egy normál állapothoz képest elég furcsa görbe.

I sure wouldn't want to sit on it.

Hát, én biztos nem szeretnék ráülni.

(Laughter)

(Nevetés)

Let's ask ourselves, what is the cause of this current anomaly?

Tegyük fel magunknak a kérdést, mi az oka ennek a szabálytalanságnak?

Some people would say it's technology.

Néhányan a technológiát neveznék meg.

Now it's true, technology has accumulated through human history,

Valóban, a technológiai megoldások egyre tökéletesedtek a történelem során,

and right now, technology advances extremely rapidly --

és éppen most a technológiai fejlődés

that is the proximate cause,

hihetetlenül felgyorsult, ami közvetlen oka

that's why we are currently so very productive.

jelenlegi magas termelékenységünknek.

But I like to think back further to the ultimate cause.

De szeretnék jobban visszamenni a tényleges okig.

Look at these two highly distinguished gentlemen:

Nézzük csak ezt a két kiváló urat!

We have Kanzi --

Itt van Kanzi,

he's mastered 200 lexical tokens, an incredible feat.

aki 200 nyelvi szimbólumot tanult meg, ami hihetetlen teljesítmény,

And Ed Witten unleashed the second superstring revolution.

és Ed Witten, aki elindította a második szuperhúr forradalmat.

If we look under the hood, this is what we find:

Ha benézünk a burkolat alá,

basically the same thing.

ott alapvetően ugyanazt találjuk.

One is a little larger,

Az egyikük kicsit nagyobb, s esetleg

it maybe also has a few tricks in the exact way it's wired.

a kapcsolatokban is van egy-két trükkös megoldás.

These invisible differences cannot be too complicated, however,

De ezek a láthatatlan különbségek nem lehetnek nagyon bonyolultak,

because there have only been 250,000 generations

mivel mi csupán 250 000 nemzedéknyire vagyunk

since our last common ancestor.

utolsó közös ősünktől.

We know that complicated mechanisms take a long time to evolve.

Tudjuk, hogy az összetett mechanizmusok kifejlődéséhez hosszú időre van szükség.

So a bunch of relatively minor changes

Tehát jó néhány viszonylag kisebb változás

take us from Kanzi to Witten,

elvezet Kanzitól Wittenig,

from broken-off tree branches to intercontinental ballistic missiles.

a letört faágaktól az interkontinentális ballisztikus rakétákig.

So this then seems pretty obvious that everything we've achieved,

Ezért eléggé nyilvánvaló, hogy minden,

amit elértünk, ami fontos számunkra,

and everything we care about,

depends crucially on some relatively minor changes that made the human mind.

alapvetően pár kisebb változás eredménye, melyek kialakították az emberi elmét.

And the corollary, of course, is that any further changes

Következésképpen, minden további változásnak,

that could significantly change the substrate of thinking

ami jelentősen módosíthatja

a gondolkodás alapjait, óriási kihatása lehet.

could have potentially enormous consequences.

Some of my colleagues think we're on the verge

Néhány kollégám szerint közel járunk valamihez,

of something that could cause a profound change in that substrate,

ami gyökeresen megváltoztathatja gondolkodásunk alapjait:

and that is machine superintelligence.

ez pedig a gépi szuperértelem.

Artificial intelligence used to be about putting commands in a box.

A mesterséges intelligencia eddig azt jelentette,

hogy parancsokat írunk egy dobozba. A programozók egyesével,

You would have human programmers

that would painstakingly handcraft knowledge items.

aprólékosan pötyögték be a tudnivalókat.

You build up these expert systems,

Felépítettük a szakértői rendszereket,

and they were kind of useful for some purposes,

amelyek megfeleltek néhány célra,

but they were very brittle, you couldn't scale them.

de nagyon merevek és skálázhatatlanok voltak.

Basically, you got out only what you put in.

Alapvetően csak az jött ki, amit beletettünk.

But since then,

De azóta

a paradigm shift has taken place in the field of artificial intelligence.

paradigmaváltás történt a mesterséges intelligencia területén.

Today, the action is really around machine learning.

Ma már a gépi tanulásról szól a történet.

So rather than handcrafting knowledge representations and features,

Ismeretek manuális bütykölése helyett

we create algorithms that learn, often from raw perceptual data.

tanuló algoritmusokat alkotunk, gyakorta közvetlenül az észlelt adatokból.

Basically the same thing that the human infant does.

Tulajdonképpen úgy, ahogy a kisgyerekek csinálják.

The result is A.I. that is not limited to one domain --

Az eredmény a mesterséges intelligencia (MI), mely nem korlátozódik egy területre:

the same system can learn to translate between any pairs of languages,

ugyanaz a rendszer megtanulhat bármely két nyelv között fordítani,

or learn to play any computer game on the Atari console.

vagy bármilyen számítógépes játékot játszani egy Atari konzolon.

Azért persze az MI-nek még távolról sincs meg

Now of course,

A.I. is still nowhere near having the same powerful, cross-domain

az a figyelemre méltó, több területet átfogó képessége,

ability to learn and plan as a human being has.

hogy ember módjára tanuljon és tervezzen.

The cortex still has some algorithmic tricks

Az agykéregnek van néhány algoritmikus trükkje,

that we don't yet know how to match in machines.

melyet még nem tudunk gépekkel utánozni.

So the question is,

Szóval az a kérdés,

how far are we from being able to match those tricks?

milyen messze vagyunk attól, hogy lemásoljuk ezeket a trükköket?

Néhány éve felmérést végeztünk

A couple of years ago,

we did a survey of some of the world's leading A.I. experts,

a világ néhány vezető MI szakértőjének bevonásával,

to see what they think, and one of the questions we asked was,

hogy lássuk, mit gondolnak a jövőről. Egyik kérdésünk így szólt:

"By which year do you think there is a 50 percent probability

''Mikorra gondolja, hogy 50%-os valószínűséggel meglesz

that we will have achieved human-level machine intelligence?"

az emberi szinvonalú gépi értelem?''

We defined human-level here as the ability to perform

Az emberi szintet úgy határoztuk meg, mint olyan képességet,

almost any job at least as well as an adult human,

amellyel egy felnőtt csaknem bármely tevékenységet

so real human-level, not just within some limited domain.

egyformán jól elvégezhet, nem csak egyszerű feladatokat.

And the median answer was 2040 or 2050,

A válaszok mediánja, azaz középértéke 2040 vagy 2050 volt,

depending on precisely which group of experts we asked.

attól függően, melyik szakértői csoportot kérdeztük meg.

Now, it could happen much, much later, or sooner,

Ez az esemény sokkal később vagy hamarabb is bekövetkezhet,

the truth is nobody really knows.

igazság szerint senki sem tudja.

What we do know is that the ultimate limit to information processing

Azt viszont tudjuk, hogy a gépi információfeldolgozás

in a machine substrate lies far outside the limits in biological tissue.

végső lehetőségei jóval meghaladják az élő agyszövet korlátait.

This comes down to physics.

Ez fizikai alapokra vezethető vissza.

A biological neuron fires, maybe, at 200 hertz, 200 times a second.

Egy élő neuron legfeljebb 200 hertzcel sül ki, azaz egy másodperc alatt 200-szor.

But even a present-day transistor operates at the Gigahertz.

Ezzel szemben ma már egy tranzisztor is gigahertzes tartományban üzemel.

Neurons propagate slowly in axons, 100 meters per second, tops.

A neuronok axonjai lassan, legföljebb 100 m/s sebességgel működnek.

But in computers, signals can travel at the speed of light.

De a számítógépekben a jelek fénysebességgel terjedhetnek.

There are also size limitations,

És ott vannak a méret adta korlátok:

like a human brain has to fit inside a cranium,

az emberi agynak bele kell férnie a koponyába,

but a computer can be the size of a warehouse or larger.

de egy számítógép raktárméretű vagy még nagyobb is lehet.

So the potential for superintelligence lies dormant in matter,

A szuperértelem lehetősége ott szunnyad az anyagban,

much like the power of the atom lay dormant throughout human history,

akár az atomerő, amely a történelem során

patiently waiting there until 1945.

türelmesen várt ébredésére 1945-ig.

In this century,

Ebben az évszázadban

scientists may learn to awaken the power of artificial intelligence.

a kutatók rájöhetnek, hogyan kell életre hívni az MI erejét.

And I think we might then see an intelligence explosion.

Úgy gondolom, intelligencia-robbanást láthatunk majd.

Now most people, when they think about what is smart and what is dumb,

A legtöbbünk, amikor arra gondol, mi az okosság és a butaság,

I think have in mind a picture roughly like this.

szerintem nagyjából egy ilyen képet fest maga elé.

So at one end we have the village idiot,

A skála egyik végén ott a falu bolondja

and then far over at the other side

és valahol, jó messze a másik végén

we have Ed Witten, or Albert Einstein, or whoever your favorite guru is.

ott van Ed Witten vagy Albert Einstein, vagy bárki a kedvenc guruink közül.

But I think that from the point of view of artificial intelligence,

Szerintem a mesterséges intelligenciát illetően

the true picture is actually probably more like this:

a valódi helyzet valószínűleg inkább így áll:

AI starts out at this point here, at zero intelligence,

Az MI itt kezdődik, a nulla intelligenciánál,

and then, after many, many years of really hard work,

aztán nagyon-nagyon sok év szorgalmas munkájával,

maybe eventually we get to mouse-level artificial intelligence,

talán eljutunk egy egér szintjének megfelelő mesterséges intelligenciához.

something that can navigate cluttered environments

Olyasmihez, ami eligazodik zsúfolt környezetben,

as well as a mouse can.

úgy, mint azt egy egér teszi.

And then, after many, many more years of really hard work, lots of investment,

Aztán még sokkal több év szívós munkája, rengeteg befektetés árán

maybe eventually we get to chimpanzee-level artificial intelligence.

talán elérjük egy csimpánz szintjének megfelelő MI-t.

And then, after even more years of really, really hard work,

Majd még több évnyi nagyon-nagyon kitartó munkával

we get to village idiot artificial intelligence.

elérjük a falu bolondjának MI szintjét.

And a few moments later, we are beyond Ed Witten.

Csak egy pillanattal később már lekörözzük Ed Wittent.

The train doesn't stop at Humanville Station.

A vonat nem áll meg az Emberfalva állomáson,

It's likely, rather, to swoosh right by.

hanem valószínűleg átrobog rajta.

Now this has profound implications,

Ennek pedig lényeges kihatásai vannak,

particularly when it comes to questions of power.

főleg, ha már erőviszonyokról lesz szó.

A csimpánzok például erősek.

For example, chimpanzees are strong --

pound for pound, a chimpanzee is about twice as strong as a fit human male.

Súlyához képest a csimpánz kétszer olyan erős, mint egy jó erőben lévő férfi.

And yet, the fate of Kanzi and his pals depends a lot more

Mégis, Kanzi és társai sorsa sokkal inkább attól függ,

on what we humans do than on what the chimpanzees do themselves.

hogy mi, emberek mit teszünk, mint attól, hogy ők mit tesznek.

Ha egyszer eljön a szuperértelem kora,

Once there is superintelligence,

the fate of humanity may depend on what the superintelligence does.

az emberiség sorsa attól függhet, amit ez a szuperértelem művel.

Gondoljunk csak bele! A gépi intelligencia lesz

Think about it:

Machine intelligence is the last invention that humanity will ever need to make.

az utolsó találmány, amit nekünk kell kigondolnunk.

Machines will then be better at inventing than we are,

A gépek jobb feltalálók lesznek, mint mi vagyunk,

and they'll be doing so on digital timescales.

ráadásul digitális időkeretben működnek.

What this means is basically a telescoping of the future.

Alapvetően ez a jövő felgyorsulását jelenti.

Think of all the crazy technologies that you could have imagined

Gondoljunk az összes elképzelhető, eszement technológiára,

maybe humans could have developed in the fullness of time:

amelyeket ha elég időnk lenne, talán kifejleszthetnénk:

cures for aging, space colonization,

self-replicating nanobots or uploading of minds into computers,

önmagukat reprodukáló nanobotok, az emberi elme gépre történő feltöltése

all kinds of science fiction-y stuff

that's nevertheless consistent with the laws of physics.

amelyek azért a fizikai törvényeknek nem mondanak ellent.

All of this superintelligence could develop, and possibly quite rapidly.

Egy szuperértelem mindezt talán elég gyorsan ki tudná fejleszteni.

Now, a superintelligence with such technological maturity

Egy ilyen kifinomult technológiájú szuperértelemnek

would be extremely powerful,

rendkívüli hatalma lenne, mellyel legalább

and at least in some scenarios, it would be able to get what it wants.

néhány esetben el tudná érni, amit akar.

We would then have a future that would be shaped by the preferences of this A.I.

A jövőnket ekkor ennek az MI-nek a szempontjai alakítanák.

Now a good question is, what are those preferences?

Jó kérdés, melyek is ezek a szempontok?

Here it gets trickier.

Itt kezd rázóssá válni a dolog.

To make any headway with this,

Hogy valahová is eljussunk,

we must first of all avoid anthropomorphizing.

először is el kell kerülnünk az antropomorfizálást.

And this is ironic because every newspaper article

Ez azért ironikus, mert az MI jövőjéről szóló

about the future of A.I. has a picture of this:

minden újságcikkben ilyen kép szerepel.

So I think what we need to do is to conceive of the issue more abstractly,

A kérdéshez egy kicsit elvonatkoztatva kellene közelítenünk,

not in terms of vivid Hollywood scenarios.

nem a látványos hollywoodi forgatókönyvek alapján.

We need to think of intelligence as an optimization process,

Az értelmet optimalizálási eljárásként kell felfognunk,

a process that steers the future into a particular set of configurations.

amely a jövőt bizonyos lehetséges kimenetek felé tereli.

A superintelligence is a really strong optimization process.

A szuperértelem tényleg nagyon jó optimalizációs eljárás,

It's extremely good at using available means to achieve a state

amely elképesztően ügyesen használja az elérhető eszközöket, hogy létrejöjjön

in which its goal is realized.

a céljának megfelelő állapot.

This means that there is no necessary connection between

Ez azt jelenti, hogy nem szükségképpen kötődik

being highly intelligent in this sense,

az ebben az értelemben vett magas intelligenciához

and having an objective that we humans would find worthwhile or meaningful.

egy számunkra értékes vagy értelmes cél követése.

Suppose we give an A.I. the goal to make humans smile.

Adjuk azt a feladatot egy MI-nek, hogy késztesse mosolyra az embereket!

When the A.I. is weak, it performs useful or amusing actions

Amíg az MI még gyenge, hasznos vagy mulatságos dolgokat tesz,

that cause its user to smile.

mosolyra fakasztva a felhasználót.

When the A.I. becomes superintelligent,

Mire az MI szuperértelmes lesz, rájön,

it realizes that there is a more effective way to achieve this goal:

hogy sokkal hatékonyabban is elérheti célját:

take control of the world

átveszi a világ fölötti uralmat,

and stick electrodes into the facial muscles of humans

és elektródákat ültet be az emberek arcizmaiba,

to cause constant, beaming grins.

amelyek állandó vigyorra kényszerítenek.

Another example,

Egy másik példa:

suppose we give A.I. the goal to solve a difficult mathematical problem.

tegyük fel, egy bonyolult matematikai problémát kell megoldania az MI-nek.

When the A.I. becomes superintelligent,

Amikor az MI szuperértelmes lesz,

it realizes that the most effective way to get the solution to this problem

rájön, hogy a probléma leghatékonyabb megoldása

is by transforming the planet into a giant computer,

a bolygó átalakítása egy hatalmas számítógéppé,

so as to increase its thinking capacity.

hogy kiterjeszthesse gondolkodási képességét.

And notice that this gives the A.I.s an instrumental reason

Vegyük észre, hogy ez további jó ok az MI-nek,

to do things to us that we might not approve of.

hogy olyat műveljen, amellyel mi nem értenénk egyet.

Human beings in this model are threats,

Mi fenyegetjük őt ebben a modellben,

we could prevent the mathematical problem from being solved.

mert akadályozhatjuk a matematikai probléma megoldását.

Az események persze nem pont így mehetnek rossz irányba,

Of course, perceivably things won't go wrong in these particular ways;

these are cartoon examples.

ezek csak képregényszintű példák.

But the general point here is important:

Fontos viszont az általános tanulság:

if you create a really powerful optimization process

ha egy valóban jó optimalizálási eljárást alkotunk,

to maximize for objective x,

amely x cél szerint maximalizál,

you better make sure that your definition of x

akkor gondoskodjunk róla, hogy az x célkitűzés

incorporates everything you care about.

tartalmazza mindazt, ami fontos számunkra.

This is a lesson that's also taught in many a myth.

Erről sokat mond Midász király mondája,

King Midas wishes that everything he touches be turned into gold.

aki azt kívánta, hogy amihez csak hozzáér, váljék arannyá.

He touches his daughter, she turns into gold.

Megérinti a lányát, aki arannyá változik.

He touches his food, it turns into gold.

Arannyá válik az étele is, amihez hozzányúl.

This could become practically relevant,

A rege nem csak

a mohóság metaforájaként értelmezhető,

not just as a metaphor for greed,

but as an illustration of what happens

de annak bemutatásaként is, mi történik,

if you create a powerful optimization process

ha túl jól sikerül optimalizálnunk egy folyamatot,

and give it misconceived or poorly specified goals.

amelyhez rosszul felfogott vagy homályos célokat rendeltünk.

Now you might say, if a computer starts sticking electrodes into people's faces,

Mondhatnák persze, hogy ha egy gép elektródákat akar a képünkbe dugdosni,

we'd just shut it off.

majd egyszerűen kikapcsoljuk.

A, this is not necessarily so easy to do if we've grown dependent on the system --

De ezt nem olyan könnyű megtenni, ha már függővé váltunk a rendszertől.

like, where is the off switch to the Internet?

Ugyan már, hol az internet kikapcsolója?

B, why haven't the chimpanzees flicked the off switch to humanity,

Miért nem kapcsolták ki a csimpánzok az emberiséget

or the Neanderthals?

vagy a neandervölgyieket?

They certainly had reasons.

Alapos okuk volt rá.

We have an off switch, for example, right here.

Van nekünk is egy kikapcsolónk, például itt.

(Choking)

(Fojtogatja magát)

The reason is that we are an intelligent adversary;

Az ok azonban az, hogy mi olyan okos ellenfél vagyunk,

we can anticipate threats and plan around them.

amelyik előre látja a veszélyeket, és felkészül rájuk.

But so could a superintelligent agent,

De egy szuperértelmes szereplő is ezt tenné,

and it would be much better at that than we are.

csak nálunk sokkal ügyesebben,

The point is, we should not be confident that we have this under control here.

Nem kellene abban bíznunk, hogy urai vagyunk helyzetnek.

And we could try to make our job a little bit easier by, say,

De azért megpróbálhatnánk megkönnyíteni a dolgunkat,

putting the A.I. in a box,

pl. hogy az MI-t bedobozoljuk

like a secure software environment,

egy biztos szoftveres környezetbe,

a virtual reality simulation from which it cannot escape.

olyan virtuális valóságba, amelyből nem szabadulhat ki.

But how confident can we be that the A.I. couldn't find a bug.

Mennyire bízhatunk azonban abban, hogy az MI nem találna-e programhibát?

Given that merely human hackers find bugs all the time,

Tekintve, hogy hackerek is mindig találnak hibákat,

I'd say, probably not very confident.

azt mondanám, hogy ebben nem nagyon bízhatunk.

So we disconnect the ethernet cable to create an air gap,

Akkor húzzuk ki az ethernet kábelt, egy légrést teremtve,

but again, like merely human hackers

de még az egyszerű hackerek is simán

routinely transgress air gaps using social engineering.

veszik ezt az akadályt, pszichológiai manipulációt használva.

Right now, as I speak,

Éppen most, amíg beszélek,

I'm sure there is some employee out there somewhere

valahol egy alkalmazottat biztosan

who has been talked into handing out her account details

éppen rádumáltak, hogy árulja el fiókja adatait valakinek,

by somebody claiming to be from the I.T. department.

aki állítása szerint a cég informatikusa.

More creative scenarios are also possible,

Sokkal kreatívabb cselek is lehetségesek:

like if you're the A.I.,

mondjuk,

you can imagine wiggling electrodes around in your internal circuitry

egy MI elektródákat köthet az áramköreinkre,

to create radio waves that you can use to communicate.

hogy az így kibocsátott rádióhullámok útján kommunikálhasson.

Or maybe you could pretend to malfunction,

Esetleg üzemzavart mímelhetne,

and then when the programmers open you up to see what went wrong with you,

és amikor a programozók kinyitják, hogy megkeressék, mi a baj,

they look at the source code -- Bam! --

megnézik a forráskódot is, és hoppá,

the manipulation can take place.

már sor is kerülhet a manipulációra.

Or it could output the blueprint to a really nifty technology,

Egy MI tervezhetne valami nagyon pöpec technológiát,

and when we implement it,

amelynek alkalmazásakor

it has some surreptitious side effect that the A.I. had planned.

az MI által tervezett néhány alattomos mellékhatás is előjön.

The point here is that we should not be confident in our ability

Kulcsfontosságú, hogy nem szabad bíznunk benne,

to keep a superintelligent genie locked up in its bottle forever.

hogy egy szuperértelmes szellemet örökre palackba zárva tarthatunk,

Sooner or later, it will out.

mert előbb-utóbb úgyis kiszabadul.

Azt hiszem, a megoldás inkább az, ha kitaláljuk, hogyan alkothatunk

I believe that the answer here is to figure out

how to create superintelligent A.I. such that even if -- when -- it escapes,

olyan szuperértelmet, mely ha netán elszabadul,

it is still safe because it is fundamentally on our side

még mindig megbízható, mert alapvetően a mi oldalunkon áll,

because it shares our values.

mivel értékeink közösek.

I see no way around this difficult problem.

Ez a fogas kérdés megkerülhetetlen.

Now, I'm actually fairly optimistic that this problem can be solved.

A kérdés megoldhatóságát illetően eléggé optimista vagyok.

We wouldn't have to write down a long list of everything we care about,

Írhatnánk egy hosszú listát mindarról, amit fontosnak tartunk,

or worse yet, spell it out in some computer language

vagy ami még rosszabb: valamilyen programnyelven írnánk meg,

like C++ or Python,

pl. C++-ban vagy Pythonban,

that would be a task beyond hopeless.

ami reménytelen feladat lenne.

Instead, we would create an A.I. that uses its intelligence

Ehelyett egy olyan MI-t csinálhatnánk, amely értelmét arra használja,

to learn what we value,

hogy megtanulja, mik az értékeink,

and its motivation system is constructed in such a way that it is motivated

s az MI ösztönzőrendszerét a mi értékeink követésére,

to pursue our values or to perform actions that it predicts we would approve of.

vagy az általunk vélhetően engedélyezett akciókra terveznénk.

We would thus leverage its intelligence as much as possible

Az MI értelmét tehát feljavítanánk, amennyire lehet,

to solve the problem of value-loading.

hogy megoldjuk az értékkövetés kérdését.

This can happen,

Ez a lehetséges kimenetel

and the outcome could be very good for humanity.

nagyon jó lenne az emberiségnek.

But it doesn't happen automatically.

De ez nem történik meg magától.

The initial conditions for the intelligence explosion

Az intelligencia-robbanás kezdeti feltételeit

might need to be set up in just the right way

már most jól elő kellene készíteni,

if we are to have a controlled detonation.

ha irányított robbanást akarunk.

The values that the A.I. has need to match ours,

Az MI értékeinek illeszkedniük kell a mieinkhez,

not just in the familiar context,

az olyan ismerős helyzeteken túl is,

like where we can easily check how the A.I. behaves,

amikor könnyen ellenőrizhető az MI viselkedése,

but also in all novel contexts that the A.I. might encounter

de olyan új helyzetekben is, amelyekkel az MI szembekerülhet,

in the indefinite future.

a bizonytalan jövőben.

And there are also some esoteric issues that would need to be solved, sorted out:

Van még néhány megoldandó ezoterikus kérdés,

the exact details of its decision theory,

mint a döntéselméleti kérdések részletei,

how to deal with logical uncertainty and so forth.

a logikai bizonytalanság és egyebek kezelése.

A megoldandó technikai nehézségek miatt a feladat

So the technical problems that need to be solved to make this work

eléggé bonyolultnak látszik.

look quite difficult --

not as difficult as making a superintelligent A.I.,

Nem annyira, mint egy szuperértelmes MI létrehozása,

but fairly difficult.

de még így is meglehetősen komplikált.

Here is the worry:

Azért aggódhatunk,

Making superintelligent A.I. is a really hard challenge.

hogy egy értelmes MI létrehozása tényleg kemény dió,

Making superintelligent A.I. that is safe

de a biztonságos, szuperértelmes MI megalkotása

involves some additional challenge on top of that.

ezt még néhány további feladattal tetézi.

The risk is that if somebody figures out how to crack the first challenge

Abban rejlik a kockázat, ha megoldjuk az első feladatot anélkül,

without also having cracked the additional challenge

hogy megoldottuk volna a másodikat is,

of ensuring perfect safety.

amely szavatolná a teljes biztonságot.

So I think that we should work out a solution

Ezért olyan megoldást kell kidolgoznunk,

to the control problem in advance,

amely előbb oldja meg az ellenőrizhetőség kérdését,

so that we have it available by the time it is needed.

hogy mire szükségünk lesz rá, már kéznél legyen.

Now it might be that we cannot solve the entire control problem in advance

Talán nem tudjuk az ellenőrzés kérdését előre és teljesen megoldani,

because maybe some elements can only be put in place

mert néhány elem csak akkor kerülhet a helyére,

once you know the details of the architecture where it will be implemented.

ha részleteiben ismerjük a fogadó architektúrát.

But the more of the control problem that we solve in advance,

De minél többet megoldunk előre az ellenőrzés kérdéséből,

the better the odds that the transition to the machine intelligence era

annál jobbak az esélyeink, hogy a gépi értelem korszakába

will go well.

zökkenőmentes lesz az átmenet.

This to me looks like a thing that is well worth doing

Szerintem ezt nagyon megéri rendesen megcsinálni,

and I can imagine that if things turn out okay,

és azt is el tudom képzelni, ha minden jól megy,

that people a million years from now look back at this century

amikor az emberek egymillió év múlva visszatekintenek erre az évszázadra,

and it might well be that they say that the one thing we did that really mattered

elmondhatják: az egyetlen lényeges dolgot

was to get this thing right.

elődeik akkor jól rendezték el.

Thank you.

Köszönöm.

(Taps)

(Applause)