Don't fear superintelligent AI | Grady Booch

Prevoditelj: Stjepan Mateljan Recezent: Tilen Pigac - EFZG

When I was a kid, I was the quintessential nerd.

Kad sam bio klinac, bio sam onaj pravi štreber.

I think some of you were, too.

MIslim kako su i neki od vas bili, također.

(Laughter)

(Smijeh)

And you, sir, who laughed the loudest, you probably still are.

A vi, gospodine, koji ste se najglasnije nasmijali,vjerojatno to i dalje jeste.

(Laughter)

(Smijeh)

I grew up in a small town in the dusty plains of north Texas,

Odrastao sam u malenom gradu na prašnjavim ravnicama sjevernog Teksasa,

the son of a sheriff who was the son of a pastor.

sin šerifa koji je bio sin pastora.

Getting into trouble was not an option.

Upadanje u nevolje nije bila mogućnost.

And so I started reading calculus books for fun.

I tako sam počeo čitati knjige iz (*infinitezimalnog) računa za zabavu.

(Laughter)

(Smijeh)

You did, too.

I vi ste, također.

That led me to building a laser and a computer and model rockets,

To me dovelo do izgradnje lasera i računala i modelarskih raketa,

and that led me to making rocket fuel in my bedroom.

a to me dovelo do izrade raketnog goriva u mojoj spavaćoj sobi.

Now, in scientific terms,

Sad, u znanstvenim terminima,

we call this a very bad idea.

to nazivamo vrlo lošom idejom.

(Laughter)

(Smijeh)

Around that same time,

Nekako oko tog doba,

Stanley Kubrick's "2001: A Space Odyssey" came to the theaters,

Kubrick-ova "2001: Odiseja u Svemiru" je došla u kina,

and my life was forever changed.

i moj se život zauvijek promijenio.

I loved everything about that movie,

Volio sam sve oko tog filma,

especially the HAL 9000.

posebno HAL 9000.

Now, HAL was a sentient computer

Sad, HAL je bio svjesno računalo

designed to guide the Discovery spacecraft

osmišljeno da vodi svemirsku letjelicu Discovery

from the Earth to Jupiter.

od Zemlje do Jupitera.

HAL was also a flawed character,

HAL je također bio manjkav lik,

for in the end he chose to value the mission over human life.

jer je na kraju birao vrednovati misiju više od ljudskog života.

Now, HAL was a fictional character,

Sad, HAL je bio izmišljeni lik,

but nonetheless he speaks to our fears,

ali ipak se obraćao našim strahovima,

our fears of being subjugated

našim strahovima o bivanju podčinjenim

by some unfeeling, artificial intelligence

od strane neke bezosjećajne, umjetne inteligencije

who is indifferent to our humanity.

koja je ravnodušna spram naše ljudskosti.

I believe that such fears are unfounded.

Vjerujem kako su takvi strahovi neutemeljeni.

Indeed, we stand at a remarkable time

Zbilja, stojimo na upečatljivom mjestu

in human history,

u ljudskoj povijesti,

where, driven by refusal to accept the limits of our bodies and our minds,

gdje, potaknuti odbijanjem prihvaćanja granica naših tijela i naših umova,

we are building machines

gradimo strojeve,

of exquisite, beautiful complexity and grace

fine, prekrasne složenosti i ljepote

that will extend the human experience

koji će proširiti ljudsko iskustvo

in ways beyond our imagining.

na načine onkraj naše mašte.

After a career that led me from the Air Force Academy

Nakon karijere koja me vodila od Akademije zračnih snaga

to Space Command to now,

preko Svemirskog zapovjedništva do sada,

I became a systems engineer,

postao sam sistemski inženjer,

and recently I was drawn into an engineering problem

i nedavno sam uvučen u inženjerski problem

associated with NASA's mission to Mars.

vezan uz NASA-inu misiju na Mars.

Now, in space flights to the Moon,

Sad, u svemirskim letovima do Mjeseca,

we can rely upon mission control in Houston

možemo se osloniti na kontrolu misije u Houstonu

to watch over all aspects of a flight.

kako će paziti na sve aspekte leta.

However, Mars is 200 times further away,

Međutim, Mars je 200 puta udaljeniji,

and as a result it takes on average 13 minutes

te kao rezultat treba prosječno 13 minuta

for a signal to travel from the Earth to Mars.

signalu da otputuje od Zemlje do Marsa.

If there's trouble, there's not enough time.

Ako ima nevolje, nema dovoljno vremena.

And so a reasonable engineering solution

I tako razumno inženjersko rješenje

calls for us to put mission control

kaže nam neka stavimo kontrolu misije

inside the walls of the Orion spacecraft.

unutar zidova svemirske letjelice Orion.

Another fascinating idea in the mission profile

Druga očaravajuća ideja u profilu misije

places humanoid robots on the surface of Mars

stavlja humanoidne robote na površinu Marsa

before the humans themselves arrive,

prije nego sami ljudi doputuju,

first to build facilities

prvo kako bi sagradili postrojenja

and later to serve as collaborative members of the science team.

a kasnije kako bi služili kao pomoćni članovi znanstvenog tima.

Now, as I looked at this from an engineering perspective,

Sad, kad sam gledao na ovo iz inženjerskog kuta,

it became very clear to me that what I needed to architect

postalo mi je vrlo jasno kako je ono što trebam osmisliti

was a smart, collaborative,

bila pametna, uslužna,

socially intelligent artificial intelligence.

društveno inteligentna umjetna inteligencija.

In other words, I needed to build something very much like a HAL

Drugim riječima, trebao sam složiti nešto vrlo slično HAL-u

but without the homicidal tendencies.

ali bez ubilačkih sklonosti.

(Laughter)

(Smijeh)

Let's pause for a moment.

Zaustavimo se na trenutak.

Is it really possible to build an artificial intelligence like that?

Je li stvarno moguće sagraditi umjetnu inteligenciju poput ove?

Actually, it is.

Zapravo, jest.

In many ways,

Na puno načina,

this is a hard engineering problem

ovo je tvrdi inženjerski problem

with elements of AI,

s elementima UI,

not some wet hair ball of an AI problem that needs to be engineered.

ne neki UI problem mokre lopte kose kojeg treba osmisliti.

To paraphrase Alan Turing,

Da parafraziram Alana Turinga:

I'm not interested in building a sentient machine.

Ne zanima me izgradnja svjesnog stroja.

I'm not building a HAL.

Ne gradim HAL-a.

All I'm after is a simple brain,

Sve za čime idem je jednostavan mozak,

something that offers the illusion of intelligence.

nešto što nudi privid inteligencije.

The art and the science of computing have come a long way

Umjetnost i znanost računarstva je prošla dalek put

since HAL was onscreen,

otkad je HAL bio na ekranu,

and I'd imagine if his inventor Dr. Chandra were here today,

i mogu zamisliti kad bi njegov izumitelj dr. Chandra bio ovdje danas,

he'd have a whole lot of questions for us.

imao bi cijeli niz pitanja za nas.

Is it really possible for us

Je li nam zbilja moguće

to take a system of millions upon millions of devices,

uzeti sustav od milijuna i milijuna uređaja,

to read in their data streams,

čitati njihove tokove podataka,

to predict their failures and act in advance?

predviđati njihove kvarove te djelovati unaprijed?

Yes.

Da.

Can we build systems that converse with humans in natural language?

Možemo li graditi sustave koji razgovaraju s ljudima prirodnim jezikom?

Yes.

Da.

Can we build systems that recognize objects, identify emotions,

Možemo li graditi sustave koji prepoznaju objekte, identificiraju osjećaje,

emote themselves, play games and even read lips?

sami izražavaju emocije, igraju igre i čak čitaju s usana?

Yes.

Da.

Can we build a system that sets goals,

Možemo li sagraditi sustav koji postavlja ciljeve,

that carries out plans against those goals and learns along the way?

potom izvršava planove prema tim ciljevima te usput uči?

Yes.

Da.

Can we build systems that have a theory of mind?

Možemo li sagraditi sustave koji imaju teoriju uma?

This we are learning to do.

To upravo učimo.

Can we build systems that have an ethical and moral foundation?

Možemo li sagraditi sustave koji imaju etičke i moralne temelje?

This we must learn how to do.

Ovo moramo naučiti kako.

So let's accept for a moment

Pa prihvatimo na trenutak

that it's possible to build such an artificial intelligence

kako je moguće sagraditi takvu umjetnu inteligenciju

for this kind of mission and others.

za ovu vrstu misije i slično.

The next question you must ask yourself is,

Slijedeće pitanje koje biste se trebali pitati je,

should we fear it?

bismo li je se trebali bojati?

Now, every new technology

Sad, svaka nova tehnologija

brings with it some measure of trepidation.

sa sobom donosi neku mjeru strepnje.

When we first saw cars,

Kad smo prvo vidjeli aute,

people lamented that we would see the destruction of the family.

ljudi su se žalili kako ćemo vidjeti uništenje obitelji.

When we first saw telephones come in,

Kad smo prvo vidjeli telefone kako dolaze,

people were worried it would destroy all civil conversation.

ljudi su brinuli kako će uništiti sav uljudan razgovor.

At a point in time we saw the written word become pervasive,

U točci vremena kad smo vidjeli kako pisana riječ sve više prožima,

people thought we would lose our ability to memorize.

ljudi su mislili kako ćemo izgubiti našu sposobnost pamćenja.

These things are all true to a degree,

Sve su te stvari točne do nekog stupnja,

but it's also the case that these technologies

ali je također slučaj kako su nam te tehnologije

brought to us things that extended the human experience

dovele stvari koje su proširile ljudsko iskustvo

in some profound ways.

na neke duboke načine.

So let's take this a little further.

Pa hajdemo s ovim još malo dalje.

I do not fear the creation of an AI like this,

Ne bojim se stvaranje UI poput ove,

because it will eventually embody some of our values.

jer će s vremenom utjeloviti neke od naših vrijednosti.

Consider this: building a cognitive system is fundamentally different

Uzmite u obzir ovo: izgradnja spoznajnog sustava je iz temelja različita

than building a traditional software-intensive system of the past.

od izgradnje tradicionalnog softverski intenzivnog sustava u prošlosti.

We don't program them. We teach them.

Ne programiramo ih. Učimo ih.

In order to teach a system how to recognize flowers,

Kako bismo sustav naučili prepoznavati cvijeće,

I show it thousands of flowers of the kinds I like.

pokazujem mu tisuće vrsta cvjetova koje mi se sviđaju.

In order to teach a system how to play a game --

Kako bismo sustav naučili igrati igru --

Well, I would. You would, too.

Dobro, ja bih. I vi bi.

I like flowers. Come on.

Sviđa mi se cvijeće. Hajde.

To teach a system how to play a game like Go,

Naučiti sustav kako igrati igru kakva je Go,

I'd have it play thousands of games of Go,

pustit ću ga neka odigra tisuće partija Go-a,

but in the process I also teach it

ali ću ga u postupku također naučiti i

how to discern a good game from a bad game.

kako razaznati dobru partiju od loše partije.

If I want to create an artificially intelligent legal assistant,

Ako želim stvoriti umjetno inteligentnog pravnog savjetnika,

I will teach it some corpus of law

naučit ću ga neki korpus zakona

but at the same time I am fusing with it

ali ću u isto vrijeme spojiti s njim

the sense of mercy and justice that is part of that law.

osjećaj milosti i pravde koji je dio tog zakona.

In scientific terms, this is what we call ground truth,

Znanstvenim rječnikom, to je ono što zovemo neposredna informacija,

and here's the important point:

a evo važnog momenta:

in producing these machines,

u stvaranju svih tih strojeva,

we are therefore teaching them a sense of our values.

mi ih dakle učimo smislu naših vrijednosti.

To that end, I trust an artificial intelligence

Stoga, vjerujem umjetnoj inteligenciji

the same, if not more, as a human who is well-trained.

isto, ako ne i više, koliko i čovjeku koji je dobro obučen.

But, you may ask,

Ali, možete pitati,

what about rogue agents,

što sa nevaljalim igračima,

some well-funded nongovernment organization?

nekom dobro financiranom nevladinom organizacijom?

I do not fear an artificial intelligence in the hand of a lone wolf.

Ne bojim se umjetne inteligencije u rukama vuka samotnjaka.

Clearly, we cannot protect ourselves against all random acts of violence,

Jasno, ne možemo se zaštititi od svih nasumičnih činova nasilja,

but the reality is such a system

ali stvarnost je da takav sustav

requires substantial training and subtle training

traži znatnu obuku i finu obuku

far beyond the resources of an individual.

daleko onkraj resursa pojedinca.

And furthermore,

I nadalje,

it's far more than just injecting an internet virus to the world,

to je daleko više nego samo ubaciti internetski virus u svijet,

where you push a button, all of a sudden it's in a million places

gdje pritisnete tipku, odjednom je na milijun mjesta

and laptops start blowing up all over the place.

i laptopi posvuda krenu eksplodirati.

Now, these kinds of substances are much larger,

Sad, ove su vrste stvari puno veće,

and we'll certainly see them coming.

i sigurno ćemo ih vidjeti kako dolaze.

Do I fear that such an artificial intelligence

Bojim li se kako bi takva umjetna inteligencija

might threaten all of humanity?

mogla zaprijetiti cijelom čovječanstvu?

If you look at movies such as "The Matrix," "Metropolis,"

Ako pogledate filmove kao što su "Matrix" ili "Metropolis,"

"The Terminator," shows such as "Westworld,"

"Terminator," serije kao što je "Westworld,"

they all speak of this kind of fear.

svi oni pričaju o ovom tipu straha.

Indeed, in the book "Superintelligence" by the philosopher Nick Bostrom,

Zbilja, u knjizi "Superinteligencija" filozofa Nicka Bostroma,

he picks up on this theme

on polazi od ove teme

and observes that a superintelligence might not only be dangerous,

te uočava kako superinteligencija može biti ne samo opasna,

it could represent an existential threat to all of humanity.

mogla bi predstavljati egzistencijalnu opasnost svom čovječanstvu.

Dr. Bostrom's basic argument

Dr. Bostromov temeljni argument

is that such systems will eventually

je kako će takvi sustavi s vremenom

have such an insatiable thirst for information

imati tako neutaživu žeđ za informacijom

that they will perhaps learn how to learn

da će možda naučiti kako učiti

and eventually discover that they may have goals

te s vremenom otkriti kako mogu imati ciljeve

that are contrary to human needs.

koji su suprotni ljudskim potrebama.

Dr. Bostrom has a number of followers.

Dr. Bostrom ima neki broj sljedbenika.

He is supported by people such as Elon Musk and Stephen Hawking.

Podržavaju ga ljudi poput Elona Muska i Stephena Hawkinga.

With all due respect

Sa svim dužnim poštovanjem

to these brilliant minds,

prema tim briljantnim umovima,

I believe that they are fundamentally wrong.

vjerujem kako su oni iz temelja u krivu.

Now, there are a lot of pieces of Dr. Bostrom's argument to unpack,

Sad, ima puno dijelova dr. Bostromovog argumenta za maknuti,

and I don't have time to unpack them all,

a nemam vremena kako bih ih maknuo sve,

but very briefly, consider this:

ali vrlo kratko, razmislite o ovome:

super knowing is very different than super doing.

super znanje je vrlo različito od super djelovanja.

HAL was a threat to the Discovery crew

HAL je bio prijetnja posadi Discoveryja

only insofar as HAL commanded all aspects of the Discovery.

samo stoga što je HAL upravljao svime u Discoveryju.

So it would have to be with a superintelligence.

Tako bi trebalo biti i sa superinteligencijom.

It would have to have dominion over all of our world.

Morala bi imati vlast nad cijelim našim svijetom.

This is the stuff of Skynet from the movie "The Terminator"

Tako je sastavljen Skynet iz filma "Terminator"

in which we had a superintelligence

u kojem smo imali superinteligenciju

that commanded human will,

koja je upravljala ljudskom voljom,

that directed every device that was in every corner of the world.

koja je vodila svaki uređaj koji je bio u svakom kutku svijeta.

Practically speaking,

Praktično govoreći,

it ain't gonna happen.

to se neće dogoditi.

We are not building AIs that control the weather,

Ne gradimo UI-e koji kontroliraju vrijeme,

that direct the tides,

koji upravljaju plimom,

that command us capricious, chaotic humans.

koji upravljaju nama jogunastima, kaotičnim ljudima.

And furthermore, if such an artificial intelligence existed,

I nadalje, ako bi takva umjetna superinteligencija postojala,

it would have to compete with human economies,

morala bi se nadmetati sa ljudskim ekonomijama,

and thereby compete for resources with us.

i time se nadmetati za resurse sa nama.

And in the end --

I na kraju --

don't tell Siri this --

nemojte reći Siri ovo --

we can always unplug them.

uvijek ih možemo ištekati.

(Laughter)

(Smijeh)

We are on an incredible journey

Mi smo na nevjerojatnom putovanju

of coevolution with our machines.

koevolucije sa našim strojevima.

The humans we are today

Ljudi koji smo danas

are not the humans we will be then.

nisu ljudi koji ćemo biti tada.

To worry now about the rise of a superintelligence

Brinuti sada o usponu superinteligencije

is in many ways a dangerous distraction

je na puno načina opasno odvraćanje pažnje

because the rise of computing itself

stoga što nam već uspon računarstva sam

brings to us a number of human and societal issues

donosi brojna ljudska i društvena pitanja

to which we must now attend.

kojima se moramo pozabaviti sada.

How shall I best organize society

Kako ću najbolje organizirati društvo

when the need for human labor diminishes?

kad se potreba za radom smanji?

How can I bring understanding and education throughout the globe

Kako mogu donijeti razumijevanje i obrazovanje širom svijeta

and still respect our differences?

a i dalje uvažavati razlike?

How might I extend and enhance human life through cognitive healthcare?

Kako mogu produljiti i poboljšati ljudski život kroz kognitivnu zdravstvenu skrb?

How might I use computing

Kako mogu koristiti računarstvo

to help take us to the stars?

za pomoć kako bi došli do zvijezda?

And that's the exciting thing.

A to je uzbudljiva stvar.

The opportunities to use computing

Prilike za korištenje računarstva

to advance the human experience

kako bi unaprijedili ljudsko iskustvo

are within our reach,

su nam unutar dosega,

here and now,

sada i ovdje,

and we are just beginning.

a tek smo na početku.

Thank you very much.

Hvala vam puno.

(Applause)

(Pljesak)