Don't fear superintelligent AI | Grady Booch

Fordító: Péter Pallós Lektor: Melissa Csikszentmihályi

When I was a kid, I was the quintessential nerd.

Kiskoromban a végletekig kocka voltam.

I think some of you were, too.

Szerintem páran önök közül is.

(Laughter)

(Nevetés)

And you, sir, who laughed the loudest, you probably still are.

Maga, uram, aki a leghangosabban nevetett, talán még mindig az.

(Laughter)

(Nevetés)

I grew up in a small town in the dusty plains of north Texas,

Észak-Texas poros pusztai kisvárosában nőttem föl,

the son of a sheriff who was the son of a pastor.

egy sheriff fiaként, akinek lelkész volt az apja.

Getting into trouble was not an option.

Rosszalkodni nem volt lehetőségem.

And so I started reading calculus books for fun.

Szórakozásból differenciál- és integrálszámítás-könyvet kezdtem olvasni.

(Laughter)

(Nevetés)

You did, too.

Maguk is.

That led me to building a laser and a computer and model rockets,

Így kezdtem lézert, számítógépet és rakétamodellt építeni.

and that led me to making rocket fuel in my bedroom.

Aztán rákaptam arra, hogy a hálószobámban rakéta-hajtóanyagot kontyvasszak..

Now, in scientific terms,

Tudományos értelemben

we call this a very bad idea.

ez nagyon rossz ötlet.

(Laughter)

(Nevetés)

Around that same time,

Akkortájt kezdték játszani

Stanley Kubrick's "2001: A Space Odyssey" came to the theaters,

Stanley Kubrick 2001: Űrodüsszeia c. filmjét a mozikban,

and my life was forever changed.

s életem mindörökre megváltozott.

I loved everything about that movie,

Minden rettentően tetszett a filmben,

especially the HAL 9000.

különösen a HAL 9000.

Now, HAL was a sentient computer

A HAL tudományos számítógép volt,

designed to guide the Discovery spacecraft

amelyet a Discovery űrhajó Föld–Jupiter közötti útjának

from the Earth to Jupiter.

irányítására terveztek.

HAL was also a flawed character,

A HAL ráadásul romlott jellemű volt,

for in the end he chose to value the mission over human life.

mert végül az emberi életnél többre értékelte a küldetést.

Now, HAL was a fictional character,

A HAL kitalált szereplő volt,

but nonetheless he speaks to our fears,

de azért hangot ad félelmünknek,

our fears of being subjugated

azon félelmünknek, hogy alá vagyunk vetve

by some unfeeling, artificial intelligence

bizonyos érzéketlen mesterséges intelligenciának (MI),

who is indifferent to our humanity.

aki közömbös emberi mivoltunk iránt.

I believe that such fears are unfounded.

Ezek a félelmek alaptalanok.

Indeed, we stand at a remarkable time

Olyan nevezetes időket élünk

in human history,

most történelmünkben,

where, driven by refusal to accept the limits of our bodies and our minds,

amelyben testünk és lelkünk korlátait vagy tagadva vagy elfogadva

we are building machines

kiváló, gyönyörűen bonyolult

of exquisite, beautiful complexity and grace

és kecses gépeket építünk,

that will extend the human experience

amelyek képzeletünket túlszárnyalva

in ways beyond our imagining.

kibővítik emberi élményeinket.

After a career that led me from the Air Force Academy

Pályafutásom során, amely a Légierő Akadémiától

to Space Command to now,

az Űrparancsnokságig ívelt,

I became a systems engineer,

rendszermérnök lettem.

and recently I was drawn into an engineering problem

Nemrég a NASA Mars-expedíciójával kapcsolatos

associated with NASA's mission to Mars.

egyik mérnöki feladatba vontak be.

Now, in space flights to the Moon,

A holdutazáskor támaszkodhatunk

we can rely upon mission control in Houston

az expedíció Houstonból történő irányítására,

to watch over all aspects of a flight.

amellyel leshetjük az út minden mozzanatát.

However, Mars is 200 times further away,

De a Mars 200-szor messzebb van,

and as a result it takes on average 13 minutes

ezért a jelek átlag 13 perc alatt

for a signal to travel from the Earth to Mars.

jutnak el a Földről a Marsra.

If there's trouble, there's not enough time.

Ha baj történik, szűk az idő.

And so a reasonable engineering solution

Ezért az észszerű mérnöki megoldás

calls for us to put mission control

azt diktálja, hogy az utazás irányítását

inside the walls of the Orion spacecraft.

az Orion űrhajón belül oldjuk meg.

Another fascinating idea in the mission profile

Az utazáshoz kapcsolódik egy másik elragadó ötlet:

places humanoid robots on the surface of Mars

vigyünk a Mars felszínére humanoid robotokat,

before the humans themselves arrive,

még az ember odaérkezése előtt,

first to build facilities

előbb a berendezések megépítésére,

and later to serve as collaborative members of the science team.

majd hogy hasznos tagjai legyenek a tudóscsoportnak.

Now, as I looked at this from an engineering perspective,

Mérnöki szemszögből nézve

it became very clear to me that what I needed to architect

világossá vált számomra,

hogy okos, együttműködő,

was a smart, collaborative,

socially intelligent artificial intelligence.

szociálisan intelligens mesterséges értelmet kell alkotnom.

In other words, I needed to build something very much like a HAL

Azaz, a HAL-hoz valami nagyon hasonlót kell építenem,

but without the homicidal tendencies.

de olyant, ami gyilkos hajlamoktól mentes.

(Laughter)

(Nevetés)

Let's pause for a moment.

Egy pillanat.

Is it really possible to build an artificial intelligence like that?

Tényleg lehetséges ilyen mesterséges értelmet létrehozni?

Actually, it is.

A válasz: igen.

In many ways,

Ez több szempontból is

this is a hard engineering problem

nehéz mérnöki feladat,

with elements of AI,

de az MI elemeivel

not some wet hair ball of an AI problem that needs to be engineered.

nem olyan, amit ne lehetne megoldani.

To paraphrase Alan Turing,

Alan Turing után szabadon:

I'm not interested in building a sentient machine.

Nem érdekel érző gép megépítése.

I'm not building a HAL.

Nem építek HAL-t.

All I'm after is a simple brain,

Csupán egyszerű agyat akarok,

something that offers the illusion of intelligence.

ami az intelligencia illúzióját kelti.

The art and the science of computing have come a long way

A számítástechnika művészete és tudománya hosszú utat tett meg

since HAL was onscreen,

a HAL képernyőre kerüléséig,

and I'd imagine if his inventor Dr. Chandra were here today,

és elképzelem, ha feltalálója, dr. Chandra most itt lenne,

he'd have a whole lot of questions for us.

lenne hozzánk jó pár kérdése.

Is it really possible for us

Meg tudjuk-e valósítani,

to take a system of millions upon millions of devices,

hogy milliók rendszerét milliónyi gépre telepítve

to read in their data streams,

elolvassuk az adatfolyamukat,

to predict their failures and act in advance?

hogy előre megtippeljük hibáikat és tetteiket?

Yes.

Igen.

Can we build systems that converse with humans in natural language?

Képesek vagyunk-e emberi nyelven beszélő gépeket építeni?

Yes.

Igen.

Can we build systems that recognize objects, identify emotions,

Képesek vagyunk-e tárgyfölismerő, érzelmeket azonosító,

emote themselves, play games and even read lips?

érzelmüket kifejező, játékot játszó és szájról olvasó gépeket építeni?

Yes.

Igen.

Can we build a system that sets goals,

Képesek vagyunk-e célokat kitűző,

that carries out plans against those goals and learns along the way?

célokat megvalósító és menet közben tanuló gépeket építeni?

Yes.

Igen.

Can we build systems that have a theory of mind?

Képesek vagyunk-e tudatelmélettel bíró rendszereket építeni?

This we are learning to do.

Ezt most tanuljuk.

Can we build systems that have an ethical and moral foundation?

Képesek vagyunk-e etikai és erkölcsi alapokon álló gépeket építeni?

This we must learn how to do.

Ezt még meg kell tanulnunk.

So let's accept for a moment

Egyelőre fogadjuk el,

that it's possible to build such an artificial intelligence

hogy űrutazásokra képesek vagyunk megépíteni

for this kind of mission and others.

ilyen mesterséges értelmet.

The next question you must ask yourself is,

A következő kérdés:

should we fear it?

kell-e félnünk tőle?

Now, every new technology

Minden új technológia

brings with it some measure of trepidation.

bizonyos mértékű felbolydulást okoz.

When we first saw cars,

Az első kocsik megpillantásakor

people lamented that we would see the destruction of the family.

az emberek azon siránkoztak, hogy tönkremennek a családok.

When we first saw telephones come in,

Az első telefonok megjelenésekor

people were worried it would destroy all civil conversation.

az emberek attól tartottak, hogy kipusztul az emberi beszéd.

At a point in time we saw the written word become pervasive,

Amikor elterjedt a nyomtatott írás,

people thought we would lose our ability to memorize.

az emberek azt hitték, elvész az emlékezőtehetségünk.

These things are all true to a degree,

Bizonyos fokig ez mind igaz,

but it's also the case that these technologies

de az is tény, hogy az új technológiák

brought to us things that extended the human experience

alapvetően az emberi élmények

kibővítését eredményezték.

in some profound ways.

So let's take this a little further.

Gondolkodjunk el ezen egy kicsit.

I do not fear the creation of an AI like this,

Nem félek az MI létrehozásától,

because it will eventually embody some of our values.

mert meg fogja testesíteni némely értékünket.

Consider this: building a cognitive system is fundamentally different

Vegyük tekintetbe, hogy kognitív rendszert építeni teljesen más,

than building a traditional software-intensive system of the past.

mint hagyományos szoftveres rendszert.

We don't program them. We teach them.

Az MI-ket nem programozzuk, hanem tanítjuk.

In order to teach a system how to recognize flowers,

Hogy megtanítsam a virág fölismerését,

I show it thousands of flowers of the kinds I like.

a rendszernek ezernyi ilyesféle virágot mutatok.

In order to teach a system how to play a game --

Hogy megtanítsam játékot játszani...

Well, I would. You would, too.

Megtenném. Önök is.

I like flowers. Come on.

Szeretem a virágokat. Tényleg.

To teach a system how to play a game like Go,

Hogy megtanítsam a gépnek a go játékot játszani,

I'd have it play thousands of games of Go,

ezernyi játszmát kell vele játszanom,

but in the process I also teach it

de közben tanítom is,

how to discern a good game from a bad game.

hogyan különböztesse meg a jó játszmát a rossztól.

If I want to create an artificially intelligent legal assistant,

Ha mesterségesen intelligens jogi segéderőt akarnék csinálni,

I will teach it some corpus of law

betanítanék neki néhány törvénykönyvet,

but at the same time I am fusing with it

de egyben beleplántálnám

the sense of mercy and justice that is part of that law.

az irgalom s az igazságosság érzését, amelyek hozzátartoznak a joghoz.

In scientific terms, this is what we call ground truth,

Tudományosan ezt hívjuk alapigazságnak,

and here's the important point:

s ez a fontos, ez a lényeg:

in producing these machines,

a gépek készítésekor

we are therefore teaching them a sense of our values.

ezért tanítjuk nekik az értékeink iránti fogékonyságot.

To that end, I trust an artificial intelligence

Ezért ugyanúgy bízom, ha nem jobban,

the same, if not more, as a human who is well-trained.

a mesterséges értelemben, mint a jól képzett emberben.

But, you may ask,

De kérdezhetik, mi a helyzet

what about rogue agents,

a gazemberekkel,

some well-funded nongovernment organization?

a gazdag civil szervezetekkel?

I do not fear an artificial intelligence in the hand of a lone wolf.

Nem tartok attól, hogy a MI egy magányos farkas kezébe kerül.

Clearly, we cannot protect ourselves against all random acts of violence,

Tény, hogy nem tudjuk magunkat megvédeni a spontán erőszakos cselekedetektől,

but the reality is such a system

de az a helyzet, hogy egy ilyen rendszer

requires substantial training and subtle training

alapos, kifinomult kiképzést igényel,

far beyond the resources of an individual.

ami jócskán meghaladja egy egyén erőforrásait.

And furthermore,

Továbbá,

it's far more than just injecting an internet virus to the world,

ez sokkal több, mint egy internetvírust kibocsátani a világba;

where you push a button, all of a sudden it's in a million places

ott csak leütünk egy billentyűt, és hirtelen milliónyi helyen

and laptops start blowing up all over the place.

és laptopon működésbe lépnek.

Now, these kinds of substances are much larger,

Ezek az állományok sokkal nagyobbak,

and we'll certainly see them coming.

és biztos eljön az idejük.

Do I fear that such an artificial intelligence

Féljek-e, hogy ilyen mesterséges értelem

might threaten all of humanity?

az egész emberiséget veszélyeztetheti?

If you look at movies such as "The Matrix," "Metropolis,"

Ha megnézzük a Mátrix, a Metropolis,

"The Terminator," shows such as "Westworld,"

a Terminátor c. filmeket, a Westworld c. filmsorozatot,

they all speak of this kind of fear.

mind az efféle félelemről szólnak.

Indeed, in the book "Superintelligence" by the philosopher Nick Bostrom,

Nick Bostrom filozófus a Szuperintelligencia c. könyvében

he picks up on this theme

foglalkozik a témával:

and observes that a superintelligence might not only be dangerous,

figyelmeztet, hogy a szuper-intelligencia nemcsak veszélyes lehet,

it could represent an existential threat to all of humanity.

hanem az emberiség létét is fenyegetheti.

Dr. Bostrom's basic argument

Dr. Bostrom fő érve,

is that such systems will eventually

hogy az ilyen rendszereknek végül

have such an insatiable thirst for information

olyan telhetetlen információéhségük lehet,

that they will perhaps learn how to learn

hogy talán azt is megtanulják, hogyan kell tanulni,

and eventually discover that they may have goals

és végső fokon rájönnek, hogy olyan céljaik lehetnek,

that are contrary to human needs.

amelyek ellentétesek az emberi szükségletekkel.

Dr. Bostrom has a number of followers.

Dr. Bostromnak sok követője van.

He is supported by people such as Elon Musk and Stephen Hawking.

Elon Musk és Stephen Hawking is támogatja például.

With all due respect

E ragyogó elmék iránti

to these brilliant minds,

minden kötelező tiszteletem ellenére,

I believe that they are fundamentally wrong.

úgy vélem, hogy alapvetően tévednek.

Now, there are a lot of pieces of Dr. Bostrom's argument to unpack,

Dr. Bostromnak számos, megvizsgálásra érdemes érve van,

and I don't have time to unpack them all,

de most itt nincs időnk mindegyikre.

but very briefly, consider this:

Dióhéjban, gondoljuk át a következőket:

super knowing is very different than super doing.

a szuper tudás egészen más, mint a szuper cselekedet.

HAL was a threat to the Discovery crew

A HAL akkor jelentett fenyegetést a Discovery személyzetére,

only insofar as HAL commanded all aspects of the Discovery.

amikor a Discoveryt teljesen ő irányította.

So it would have to be with a superintelligence.

Ehhez szuper intelligensnek kell lennie.

It would have to have dominion over all of our world.

Ez világuralmat jelentene.

This is the stuff of Skynet from the movie "The Terminator"

Aztán itt van a Skynet a Terminátorból,

in which we had a superintelligence

amelyben szuper intelligencia van,

amely az emberi akaratot irányítja;

that commanded human will,

that directed every device that was in every corner of the world.

az egész világon minden készüléket a Skynet irányít.

Practically speaking,

Ilyen a gyakorlatban

it ain't gonna happen.

nem történhet meg.

We are not building AIs that control the weather,

Nem építünk olyan MI-t, amely az időjárást

that direct the tides,

vagy a dagályt irányítja,

that command us capricious, chaotic humans.

vagy nekünk, szeszélyes, zűrös embereknek parancsol.

And furthermore, if such an artificial intelligence existed,

Továbbá, ha létezne is ilyen mesterséges értelem,

it would have to compete with human economies,

meg kellene küzdenie az emberi takarékoskodással,

and thereby compete for resources with us.

és ezért harcolnia kellene velünk az erőforrásokért.

And in the end --

Végül...

don't tell Siri this --

– meg ne mondják Sirinek –,

we can always unplug them.

bármikor kikapcsolhatjuk őket.

(Laughter)

(Nevetés)

We are on an incredible journey

A gépeinkkel közös

of coevolution with our machines.

hihetetlen fejlődési úton járunk.

The humans we are today

Ma emberekként nem olyanok vagyunk,

are not the humans we will be then.

mint amilyenek egykor leszünk.

To worry now about the rise of a superintelligence

A szuper intelligencia megjelenése miatti mai aggodalmak

is in many ways a dangerous distraction

több szempontból veszélyes figyelemelterelés,

because the rise of computing itself

mert a számítástechnika fejlődése már önmagában is

brings to us a number of human and societal issues

egy csomó emberi és társadalmi kérdést vet föl,

to which we must now attend.

amelyekbe be kell kapcsolódnunk.

How shall I best organize society

Hogyan szervezzem a legjobban a társadalmat,

when the need for human labor diminishes?

ha a munkaerő-szükséglet csökken?

How can I bring understanding and education throughout the globe

Hogyan érhető el megértés és végezhető oktatás a Földön,

and still respect our differences?

a különbségek tiszteletben tartásával?

How might I extend and enhance human life through cognitive healthcare?

Hogyan hosszabbítható meg és javítható az élet kognitív egészségügy révén?

How might I use computing

Hogyan használhatom a számítástechnikát,

to help take us to the stars?

hogy eljussunk a csillagokba?

And that's the exciting thing.

Ez itt az izgató kérdés.

The opportunities to use computing

A számítástechnikában rejlő lehetőségek kihasználása

to advance the human experience

az emberi élmények javítására

are within our reach,

jelenleg csak

here and now,

karnyújtásnyira van,

and we are just beginning.

és ez csupán a kezdet.

Thank you very much.

Köszönöm szépen.

(Applause)

(Taps)