Can we build AI without losing control over it? | Sam Harris

Prevoditelj: Stjepan Mateljan Recezent: Ivan Stamenković

Pričat ću vam o neuspjehu intuicije

I'm going to talk about a failure of intuition

that many of us suffer from.

koji pogađa brojne među nama.

It's really a failure to detect a certain kind of danger.

To je zapravo neuspjeh uočavanja određene vrste opasnosti.

I'm going to describe a scenario

Opisat ću scenarij

za koji smatram kako je jednako zastrašujuć

that I think is both terrifying

and likely to occur,

koliko i vjerojatan da se dogodi,

and that's not a good combination,

a to nije dobra kombinacija,

as it turns out.

kako se ispostavlja.

A ipak umjesto da budete prestrašeni, većina će vas osjećati

And yet rather than be scared, most of you will feel

that what I'm talking about is kind of cool.

kako je ono o čemu govorim nekako fora.

I'm going to describe how the gains we make

Opisat ću kako bi nas dobici koje stvaramo

in artificial intelligence

u umjetnoj inteligenciji (dalje: AI)

na kraju mogli uništiti.

could ultimately destroy us.

And in fact, I think it's very difficult to see how they won't destroy us

I zapravo, mislim ako je jako teško vidjeti kako nas oni neće uništiti

or inspire us to destroy ourselves.

ili nas nadahnuti da se sami uništimo.

And yet if you're anything like me,

Pa ipak ako ste imalo poput mene,

you'll find that it's fun to think about these things.

naći ćete kako je zabavno razmišljati o ovim stvarima.

And that response is part of the problem.

A taj je odgovor dio problema.

OK? That response should worry you.

Ok? Taj bi vas odgovor trebao brinuti.

And if I were to convince you in this talk

A ako bih vas uvjeravao ovim govorom

that we were likely to suffer a global famine,

kako ćemo vjerojatno doživjeti globalnu glad,

bilo zbog klimatskih promjena ili neke druge katastrofe,

either because of climate change or some other catastrophe,

te kako će vaši unuci, ili njihovi unuci,

and that your grandchildren, or their grandchildren,

are very likely to live like this,

vrlo vjerojatno živjeti ovako,

you wouldn't think,

ne biste mislili:

"Interesting.

"Zanimljivo.

I like this TED Talk."

Sviđa mi se ovaj TED govor."

Famine isn't fun.

Glad nije zabavna.

Death by science fiction, on the other hand, is fun,

Smrt znanstvenom fantastikom, s druge strane, jest zabavna,

and one of the things that worries me most about the development of AI at this point

a jedna od stvari koje me najviše brinu oko razvoja AI u ovom trenutku

is that we seem unable to marshal an appropriate emotional response

je kako se činimo nesposobnim stvoriti prikladan emotivni odgovor

to the dangers that lie ahead.

na opasnosti pred kojima se nalazimo.

Ja sam nesposoban stvorti taj odgovor, a držim ovaj govor.

I am unable to marshal this response, and I'm giving this talk.

Ovo je kao da stojimo pred dvama vratima.

It's as though we stand before two doors.

Behind door number one,

Iza vrata broj jedan,

prestanemo stvarati napredak u izgradnji inteligentnih strojeva.

we stop making progress in building intelligent machines.

Our computer hardware and software just stops getting better for some reason.

Hardver se i softver naših računala samo iz nekog razloga prestane poboljšavati.

Now take a moment to consider why this might happen.

Sad uzmite trenutak, razmislite zašto bi se to moglo dogoditi.

MIslim, uzevši kako su vrijedne inteligencija i automatizacija,

I mean, given how valuable intelligence and automation are,

we will continue to improve our technology if we are at all able to.

nastavit ćemo unaprijeđivati tehnologiju ako smo to ikako sposobni.

What could stop us from doing this?

Što bi nas moglo zaustaviti u tome?

A full-scale nuclear war?

Potpuni nuklearni rat?

Globalna pandemija?

A global pandemic?

An asteroid impact?

Udar asteroida?

Justin Bieber becoming president of the United States?

Da Justin Bieber postane predsjednik Sjedinjenih država?

(Laughter)

(Smijeh)

The point is, something would have to destroy civilization as we know it.

Poanta je, nešto bi moralo uništiti civilizaciju kakvu znamo.

You have to imagine how bad it would have to be

Morate zamisliti kako bi loše to moralo biti

to prevent us from making improvements in our technology

da nas spriječi od pravljenja poboljšanja u našoj tehnologiji

trajno,

permanently,

generation after generation.

generaciju za generacijom.

Almost by definition, this is the worst thing

Skoro po definiciji, to je najgora stvar

that's ever happened in human history.

koja se ikad dogodila u ljudskoj povijesti.

So the only alternative,

Dakle jedina alternativa,

and this is what lies behind door number two,

a to je ono što leži iza vrata broj dva,

is that we continue to improve our intelligent machines

je da nastavimo poboljšavati naše inteligentne strojeve

year after year after year.

godinu za godinom za godinom.

At a certain point, we will build machines that are smarter than we are,

U nekom trenutku, sagradit ćemo strojeve koji su pametniji od nas,

a jednom kad imamo strojeve koji su pametniji od nas,

and once we have machines that are smarter than we are,

they will begin to improve themselves.

oni će početi poboljšavati sami sebe.

And then we risk what the mathematician IJ Good called

A tada risikiramo što je matematičar I.J. Good nazvao

an "intelligence explosion,"

"eksplozijom inteligencije,"

that the process could get away from us.

da bi nam se proces mogao izmaknuti.

Sad, to je često karikirano, kako imam ovdje,

Now, this is often caricatured, as I have here,

as a fear that armies of malicious robots

kao strah da će vojske zloćudnih robota

will attack us.

udariti na nas.

But that isn't the most likely scenario.

Ali to nije najvjerojatniji scenarij.

It's not that our machines will become spontaneously malevolent.

Nije da će naši strojevi spontano postati zloćudnim.

Zapravo je briga kako ćemo izraditi strojeve

The concern is really that we will build machines

that are so much more competent than we are

koji su toliko sposobniji od nas

that the slightest divergence between their goals and our own

da bi nas najmanje razmimoilaženje između njihovih i naših ciljeva

could destroy us.

moglo uništiti.

Just think about how we relate to ants.

Samo pomislite kako se odnosimo prema mravima.

We don't hate them.

Ne mrzimo ih.

We don't go out of our way to harm them.

Ne silazimo sa svog puta kako bismo im naudili.

In fact, sometimes we take pains not to harm them.

Zapravo, ponekad se baš i trudimo kako im ne bismo naudili.

We step over them on the sidewalk.

Prekoračimo ih na pločniku.

But whenever their presence

Ali kad god sje njihova prisutnost

seriously conflicts with one of our goals,

ozbiljno sukobi s nekim od naših ciljeva,

let's say when constructing a building like this one,

recimo kad dižemo građevinu poput ove,

we annihilate them without a qualm.

uništavamo ih bez pol muke.

The concern is that we will one day build machines

Briga je kako ćemo jednog dana sagraditi strojeve

that, whether they're conscious or not,

koji, bili oni svjesni ili ne,

could treat us with similar disregard.

bi se mogli odnositi spram nas sa sličnim nehajem.

Now, I suspect this seems far-fetched to many of you.

Sad, pretpostavljam kako vam se ovo doima nategnutim.

I bet there are those of you who doubt that superintelligent AI is possible,

Kladim se kako vas ima koji sumnjate kako je superinteligentan AI moguć,

much less inevitable.

a još manje neizbježan.

But then you must find something wrong with one of the following assumptions.

Ali onda morate naći nešto krivo s nekom od slijedeći pretpostavki.

A samo ih je tri.

And there are only three of them.

Intelligence is a matter of information processing in physical systems.

Inteligencija je stvar obrade informacija u fizičkim sustavima.

Actually, this is a little bit more than an assumption.

Zapravo, ovo je malo više od pretpostavke.

We have already built narrow intelligence into our machines,

Već smo ugradili usku inteligenciju u naše strojeve,

and many of these machines perform

i puno tih strojeva imaju izvedbu

at a level of superhuman intelligence already.

na razini nadljudske inteligencije već sada.

And we know that mere matter

I znamo kako puka materija

can give rise to what is called "general intelligence,"

može omogućiti nastanak onog što nazivamo "opća inteligencija,"

sposobnost razmišljanja rastezljivog na višestruka područja,

an ability to think flexibly across multiple domains,

because our brains have managed it. Right?

jer to mogu naši mozgovi. U redu?

I mean, there's just atoms in here,

Mislim, ovdje su samo atomi,

and as long as we continue to build systems of atoms

i sve dok nastavimo graditi sustave atoma

that display more and more intelligent behavior,

koji pokazuju sve više inteligentnog ponašanja

s vremenom ćemo, osim ako ne budemo ometeni,

we will eventually, unless we are interrupted,

we will eventually build general intelligence

s vremenom ćemo ugraditi opću inteligenciju

u naše strojeve.

into our machines.

It's crucial to realize that the rate of progress doesn't matter,

Ključno je shvatiti kako stopa napretka nije bitna,

jer će nas bilo kakav napredak dovesti u krajnju zonu.

because any progress is enough to get us into the end zone.

We don't need Moore's law to continue. We don't need exponential progress.

Ne trebamo nastavak Mooreovog zakona. Ne trebamo eksponencijalni rast.

Samo trebamo nastaviti napredovati.

We just need to keep going.

The second assumption is that we will keep going.

Druga je pretpostavka kako ćemo nastaviti napredovati.

Nastavit ćemo unapređivati naše inteligentne strojeve.

We will continue to improve our intelligent machines.

A uzevši vrijednost inteligencije --

And given the value of intelligence --

I mean, intelligence is either the source of everything we value

Mislim, inteligencija je ili izvor svega što držimo vrijednim

or we need it to safeguard everything we value.

ili je trebamo kako bi zaštitili sve što smatramo vrijednim.

It is our most valuable resource.

Ona je naš najvredniji resurs.

Pa želimo to raditi.

So we want to do this.

We have problems that we desperately need to solve.

Imamo probleme koje očajnički trebamo riješiti.

We want to cure diseases like Alzheimer's and cancer.

Želimo liječiti bolesti poput Alzheimera ili raka.

We want to understand economic systems. We want to improve our climate science.

Želimo razumjeti ekonomske sustave. Želimo unaprijediti naše klimatske znanosti.

So we will do this, if we can.

Pa ćemo to učiniti, ako možemo.

The train is already out of the station, and there's no brake to pull.

Vlak je već napustio postaju a nema kočnice za povući.

Finally, we don't stand on a peak of intelligence,

Konačno, ne stojimo na vrhuncu inteligencije,

or anywhere near it, likely.

ili igdje blizu njega, vjerojatno.

And this really is the crucial insight.

A to je zbilja ključan uvid.

This is what makes our situation so precarious,

To je ono što čini našu situaciju tako neizvjesnom,

i to je ono što čini naše intuicije o riziku tako nepouzdanim.

and this is what makes our intuitions about risk so unreliable.

Sad, samo razmotrite najpametniju osobu koja je ikad živjela.

Now, just consider the smartest person who has ever lived.

On almost everyone's shortlist here is John von Neumann.

U gotovo svačijem užem izboru ovdje je John von Neumann.

Mislim, utisak koji je von Neumann ostavljao na ljude oko sebe,

I mean, the impression that von Neumann made on the people around him,

and this included the greatest mathematicians and physicists of his time,

a ti uključuju najveće matematičare i fizičare njegovog doba,

is fairly well-documented.

je dobro dokumentirana.

If only half the stories about him are half true,

Ako je samo pola priča o njemu na pola istinito,

there's no question

nema pitanja

he's one of the smartest people who has ever lived.

on je jedna od najpametnijih osoba koje su ikad živjele.

Pa razmotrite spektar inteligencije.

So consider the spectrum of intelligence.

Here we have John von Neumann.

Ovdje imamo John von Neumanna.

And then we have you and me.

A onda imamo vas i mene.

A onda imamo piceka.

And then we have a chicken.

(Laughter)

(Smijeh)

Sorry, a chicken.

Pardon, piceka.

(Laughter)

(Smijeh)

There's no reason for me to make this talk more depressing than it needs to be.

Nema razloga da učinim ovaj govor depresivnijem nego što mora biti.

(Laughter)

(Smijeh)

It seems overwhelmingly likely, however, that the spectrum of intelligence

Izgleda premoćno vjerojatno, međutim, kako se spektar inteligencije

extends much further than we currently conceive,

proteže puno dalje nego što trenutno poimamo,

and if we build machines that are more intelligent than we are,

i ako sagradimo strojeve koji su inteligentniji od nas,

oni će vrlo vjerojatno istražiti ovaj spektar

they will very likely explore this spectrum

in ways that we can't imagine,

na načine koje ne možemo zamisliti,

and exceed us in ways that we can't imagine.

te nas nadmašiti na načine koje ne možemo zamisliti.

A bitno je prepoznati kako je to istinito već po samom svojstvu brzine.

And it's important to recognize that this is true by virtue of speed alone.

Right? So imagine if we just built a superintelligent AI

U redu? Zamislite kako smo upravo sagradili superinteligentan AI

that was no smarter than your average team of researchers

koji nije pametniji od vašeg prosječnog tima istraživača

at Stanford or MIT.

na Stanfordu ili MIT-u.

Well, electronic circuits function about a million times faster

Dobro, elektronički krugovi rade oko milijun puta brže

than biochemical ones,

od onih biokemijskih,

so this machine should think about a million times faster

pa bi ovaj stroj trebao razmišljati oko milijun puta brže

than the minds that built it.

od umova koji su ga sagradili.

So you set it running for a week,

Pa ga pustite raditi tjedan dana,

and it will perform 20,000 years of human-level intellectual work,

a on će izvesti 20.000 godina intelektualnog rada ljudske razine,

week after week after week.

tjedan za tjednom za tjednom.

How could we even understand, much less constrain,

Kako bi uopće mogli razumjeti, puno manje ograničiti,

a mind making this sort of progress?

um koji stvara ovu vrst napretka?

The other thing that's worrying, frankly,

Druga stvar koja je zabrinjavajuća, iskreno,

je kako, zamislite najbolji scenarij.

is that, imagine the best case scenario.

dakle zamislite kako pogodimo dizajn superinteligentne AI

So imagine we hit upon a design of superintelligent AI

that has no safety concerns.

koji nema sigurnosnih problema.

We have the perfect design the first time around.

Imamo savršen dizajn iz prve.

It's as though we've been handed an oracle

Kao da nam je dano proročanstvo

koje se ponaša posve kako bi i trebalo.

that behaves exactly as intended.

Dobro, taj bi stroj bio savršena naprava za uštedu rada.

Well, this machine would be the perfect labor-saving device.

It can design the machine that can build the machine

Može dizajnirati stroj koji može izraditi stroj

koji može obavljati svaki fizički rad,

that can do any physical work,

powered by sunlight,

pogonjen sunčanom svjetlošću,

more or less for the cost of raw materials.

manje ili više po cijeni sirovog materijala.

Dakle pričamo o kraju ljudske tlake.

So we're talking about the end of human drudgery.

We're also talking about the end of most intellectual work.

Također pričamo o kraju većine intelektualnog rada.

So what would apes like ourselves do in this circumstance?

Pa što bi majmuni poput nas činili u takvim okolnostima?

Well, we'd be free to play Frisbee and give each other massages.

Ok, bili bi slobodni igrati frizbi i masirati se međusobno.

Add some LSD and some questionable wardrobe choices,

Dodajte nešto LSD i nešto upitnih odluka oko odjeće,

and the whole world could be like Burning Man.

i cijeli bi svijet mogao biti poput Burning Mana.

(Laughter)

(Smijeh)

Now, that might sound pretty good,

Sad, to može zvučati prilično dobro,

but ask yourself what would happen

ali pitajte se što bi se dogodilo

under our current economic and political order?

pod našim trenutnim ekonomskim i političkim poretkom?

It seems likely that we would witness

Čini se vjerojatnim kako bismo svjedočili

a level of wealth inequality and unemployment

razini nejednakosti u bogatstvu te nezaposlenosti

kakvu nismo vidjeli nikad prije.

that we have never seen before.

Absent a willingness to immediately put this new wealth

Bez volje za trenutnim stavljanjem tog novog bogatstva

to the service of all humanity,

u službu svog čovječanstva,

a few trillionaires could grace the covers of our business magazines

nekoliko bi trilijunaša moglo resiti naslovnice naših poslovni časopisa

while the rest of the world would be free to starve.

dok bi ostatak svijeta bio slobodan gladovati.

And what would the Russians or the Chinese do

A što bi Rusi ili Kinezi učinili

if they heard that some company in Silicon Valley

ako bi čuli kako se neka kompanija u Silicijskoj dolini

was about to deploy a superintelligent AI?

upravo sprema izbaciti superinteligentnu AI?

Taj bi stroj bio sposoban voditi rat,

This machine would be capable of waging war,

whether terrestrial or cyber,

bilo zemaljski ili cyber,

sa neviđenom moći.

with unprecedented power.

Ovo je scenarij gdje pobjednik dobija sve.

This is a winner-take-all scenario.

Biti šest mjeseci ispred konkurencije ovdje

To be six months ahead of the competition here

je biti 500.000 godina ispred,

is to be 500,000 years ahead,

at a minimum.

minimalno.

So it seems that even mere rumors of this kind of breakthrough

Pa se čini kako bi čak i puke glasine o ovakvoj vrsti probitka

could cause our species to go berserk.

mogle prouzročiti našu vrstu da poludi.

Now, one of the most frightening things,

Sad, jedna od najviše zastrašujućih stvari,

in my view, at this moment,

kako ja to vidim, u ovom trenutku,

are the kinds of things that AI researchers say

su stvari koje istraživači AI govore

when they want to be reassuring.

kada žele biti ohrabrujući.

A najčešći razlog za bezbrižnost koji navode je vrijeme.

And the most common reason we're told not to worry is time.

This is all a long way off, don't you know.

To je sve daleko, ne znaš li?

This is probably 50 or 100 years away.

To je vjerojatno 50 ili 100 godina od nas.

One researcher has said,

Jedan je istraživač rekao:

"Brinuti se oko sigurnosti AI

"Worrying about AI safety

is like worrying about overpopulation on Mars."

je poput brige o prekomjernoj populaciji na Marsu."

To je verzija iz Silicijske doline

This is the Silicon Valley version

of "don't worry your pretty little head about it."

one: "nemoj brinuti svoju lijepu malu glavu sa time."

(Smijeh)

(Laughter)

No one seems to notice

Izgleda kako nitko ne primjećuje

that referencing the time horizon

kako je oslanjanje na vremenski horizont

potpuni non sequitur.

is a total non sequitur.

If intelligence is just a matter of information processing,

Ako je inteligencija samo pitanje procesiranja informacija,

and we continue to improve our machines,

te ako nastavimo unapređivati naše strojeve,

we will produce some form of superintelligence.

stvorit ćemo neki oblik superinteligencije.

And we have no idea how long it will take us

A nemamo pojma koliko će nam dugo trebati

stvoriti uvjete kako bismo to učinili sigurno.

to create the conditions to do that safely.

Let me say that again.

Dajte da to kažem ponovo.

We have no idea how long it will take us

Nemamo pojma koliko će nam dugo trebati

to create the conditions to do that safely.

stvoriti uvjete kako bismo to učinili sigurno.

And if you haven't noticed, 50 years is not what it used to be.

A ako niste primijetili, 50 godina nije što je nekad bilo.

This is 50 years in months.

Ovo je 50 godina u mjesecima.

This is how long we've had the iPhone.

Ovo je koliko dugo imamo iPhone.

This is how long "The Simpsons" has been on television.

Ovo je koliko dugo su "Simpsoni" na televiziji.

Fifty years is not that much time

Pedeset godina nije tako puno vremena

za sučeliti se sa jednim od najvećih izazova koje će naša vrsta ikad imati.

to meet one of the greatest challenges our species will ever face.

Once again, we seem to be failing to have an appropriate emotional response

Još jednom, izgleda da ne uspijevamo imati prikladan emotivni odgovor

to what we have every reason to believe is coming.

za što imamo svaki razlog vjerovati kako dolazi.

The computer scientist Stuart Russell has a nice analogy here.

Računalni znanstvenik Stuart Russell ovdje pravi zgodnu analogiju.

He said, imagine that we received a message from an alien civilization,

On kaže, zamislite kako smo primili poruku od vanzemaljske civilizacije,

which read:

koja piše:

"Ljudi Zemlje,

"People of Earth,

we will arrive on your planet in 50 years.

stići ćemo na vaš planet za 50 godina.

Get ready."

Pripremite se."

And now we're just counting down the months until the mothership lands?

I sad mi samo brojimo mjesece dok matični brod ne sleti?

We would feel a little more urgency than we do.

Osjećali bismo malo veću hitnost nego što osjećamo.

Another reason we're told not to worry

Još jedan razlog što nam govore da ne brinemo

is that these machines can't help but share our values

je kako si ti strojevi ne mogu pomoći da ne dijele naše vrijednosti

because they will be literally extensions of ourselves.

jer će doslovno biti produžeci nas samih.

They'll be grafted onto our brains,

Bit će usađeni u naše mozgove,

a mi ćemo u biti postati njihov limbički sustav.

and we'll essentially become their limbic systems.

sad uzmite trenutak pa razmislite

Now take a moment to consider

that the safest and only prudent path forward,

kako je najsigurniji i jedini razborit put naprijed,

recommended,

preporučeno,

ugraditi tu tehnologiju izravno u naše mozgove.

is to implant this technology directly into our brains.

Now, this may in fact be the safest and only prudent path forward,

Sad, to može zapravo biti najsigurniji i jedini razborit put nparijed,

ali obično sigurnosni problemi oko tehnologije

but usually one's safety concerns about a technology

moraju biti manje više izglađeni prije nego ju zabijete u vlastitu glavu.

have to be pretty much worked out before you stick it inside your head.

(Laughter)

(Smijeh)

The deeper problem is that building superintelligent AI on its own

Dublji je problem što se izgradnja superinteligentne AI

čini vjerojatno lakšim

seems likely to be easier

than building superintelligent AI

nego izgradnja superinteligentne AI

and having the completed neuroscience

i imanje zaokružene neuroznanosti

that allows us to seamlessly integrate our minds with it.

koja nam omogućuje da ju glatko integriramo s našim umovima.

And given that the companies and governments doing this work

A uzevši kako će kompanije i vlade koje se bave ovim poslom

vjerojatno percipirati kako su u utrci protiv svih ostalih,

are likely to perceive themselves as being in a race against all others,

given that to win this race is to win the world,

uzevši kako je osvojiti ovu utrku isto što i osvojiti svijet,

provided you don't destroy it in the next moment,

pod pretpostavkom kako ga nećete uništiti u slijedećem trenutku,

then it seems likely that whatever is easier to do

onda se čini vjerojatnim kako će što god je lakše učiniti

biti učinjeno prvo.

will get done first.

Now, unfortunately, I don't have a solution to this problem,

Sad, na nesreću, nemam rješenje za ovaj problem,

apart from recommending that more of us think about it.

osim preporučiti kako bi više nas trebalo razmišljati o njemu.

Mislim kako trebamo nešto poput Manhattan Projecta

I think we need something like a Manhattan Project

on the topic of artificial intelligence.

po pitanju umjetne inteligencije.

Not to build it, because I think we'll inevitably do that,

Ne kako bismo je stvorili, jer ćemo to neizbježno napraviti,

but to understand how to avoid an arms race

već kako bismo razumjeli kako izbjeći utrku u naoružanju

and to build it in a way that is aligned with our interests.

te kako ju sagraditi na način koji se podudara s našim interesima.

Kad pričate o superinteligentnoj AI

When you're talking about superintelligent AI

that can make changes to itself,

koja može raditi preinake sebi samoj,

it seems that we only have one chance to get the initial conditions right,

čini se kako imamo samo jednu priliku za posložiti ispravne početne uvjete,

and even then we will need to absorb

a čak i tada ćemo trebati upiti

the economic and political consequences of getting them right.

ekonomske i političke posljedice slaganja takvih uvjeta.

But the moment we admit

Ali trenutak u kojem priznamo

that information processing is the source of intelligence,

kako je obrada informacija izvor inteligencije,

that some appropriate computational system is what the basis of intelligence is,

kako je neki prikladan račualni sustav ono na čemu se inteligencija temelji,

and we admit that we will improve these systems continuously,

te priznamo kako ćemo trajno unaprijeđivati te sustave,

and we admit that the horizon of cognition very likely far exceeds

te priznamo kako horizont spoznaje vrlo vjerojatno daleko premašuje

what we currently know,

što trenutno znamo,

onda moramo priznati

then we have to admit

that we are in the process of building some sort of god.

kako smo u postupku izgradnje neke vrste boga.

Now would be a good time

Sad bi bilo dobro vrijeme

osigurati da to bude bog s kakvim možemo živjeti.

to make sure it's a god we can live with.

Hvala Vam puno.

Thank you very much.

(Applause)

(Pljesak)