3 principles for creating safer AI | Stuart Russell

Fordító: Krisztian Rassay Lektor: Tímea Hegyessy

This is Lee Sedol.

Ő Lee Sedol,

Lee Sedol is one of the world's greatest Go players,

a világ egyik legjobb Go-játékosa,

aki itt épp arra gondol, amit Szilícium-völgyi barátaim csak úgy hívnak:

and he's having what my friends in Silicon Valley call

a "Holy Cow" moment --

"azt a leborult szivarvégit!".

(Laughter)

(Nevetés)

a moment where we realize

A pillanat, amikor rádöbbenünk,

that AI is actually progressing a lot faster than we expected.

hogy a MI sokkal gyorsabban fejlődik, mint amire számítottunk.

So humans have lost on the Go board. What about the real world?

A Go táblán az ember alul maradt. De mi lesz a való életben?

Well, the real world is much bigger,

A való világ sokkal nagyobb,

much more complicated than the Go board.

sokszorta összetettebb, mint a Go.

It's a lot less visible,

Nem annyira látható,

but it's still a decision problem.

de az is döntési probléma.

And if we think about some of the technologies

Ha néhány új technológiára gondolunk,

that are coming down the pike ...

melyek szárnyaikat bontogatják...

Noriko [Arai] mentioned that reading is not yet happening in machines,

Noriko [Arai] megemlítette, hogy a gépek még nem olvasnak,

at least with understanding.

legalábbis még nem értik.

But that will happen,

De ez is el fog jönni,

and when that happens,

és amikor bekövetkezik,

very soon afterwards,

onnan már nem kell sok,

machines will have read everything that the human race has ever written.

hogy elolvassanak mindent, amit az emberi faj valaha leírt.

And that will enable machines,

Ez képessé fogja tenni őket,

along with the ability to look further ahead than humans can,

hogy távolabbra lássanak, mint amire az ember képes,

as we've already seen in Go,

ahogy a Go-ban már láttuk.

if they also have access to more information,

Ha még több információhoz is hozzáférnek,

they'll be able to make better decisions in the real world than we can.

képesek lesznek a való világban is jobb döntéseket hozni nálunk.

So is that a good thing?

Vajon ez jó hír?

Well, I hope so.

Remélem.

Our entire civilization, everything that we value,

A teljes civilizációnk, minden, amit számunkra értéket képvisel,

is based on our intelligence.

az intelligenciánkon alapul.

And if we had access to a lot more intelligence,

Ha sokkal több intelligenciához férnénk hozzá,

then there's really no limit to what the human race can do.

határtalan lehetőségek nyílnának meg az emberi faj előtt.

And I think this could be, as some people have described it,

Azt hiszem, ez lehet - ahogy néhányan megfogalmazták -

the biggest event in human history.

az emberi történelem legnagyobb eseménye.

So why are people saying things like this,

Mégis miért hangzanak el akkor olyanok,

that AI might spell the end of the human race?

hogy a MI az emberi faj végét jelentheti?

Is this a new thing?

Ez valami új dolog?

Is it just Elon Musk and Bill Gates and Stephen Hawking?

Csak Elon Musk, Bill Gates és Stephen Hawking gondolja így?

Actually, no. This idea has been around for a while.

Valójában nem. Ez már régebb óta kísértő elgondolás.

Here's a quotation:

Nézzük ezt az idézetet:

"Even if we could keep the machines in a subservient position,

"Még ha képesek is lennénk a gépeket alárendelt szolgai szerepben tartani,

for instance, by turning off the power at strategic moments" --

például úgy, hogy kritikus helyzetekben kikapcsolnánk őket," -

and I'll come back to that "turning off the power" idea later on --

később még visszatérek erre a kikapcsolás-ötletre -

"we should, as a species, feel greatly humbled."

"mi, mint élőlények, nagyon megalázva éreznénk magunkat."

So who said this? This is Alan Turing in 1951.

Ki mondta ezt? Alan Turing 1951-ben.

Alan Turing, as you know, is the father of computer science

Alarn Turingról tudjuk, hogy a számítástudomány atyja,

and in many ways, the father of AI as well.

és sok tekintetben a MI atyja is.

So if we think about this problem,

Ezt a problémakört,

the problem of creating something more intelligent than your own species,

amikor saját fajunknál intelligensebb teremtményeket hozunk létre,

we might call this "the gorilla problem,"

hívhatjuk a "gorilla-problémának",

because gorillas' ancestors did this a few million years ago,

mivel gorilla őseink épp ezt csinálták, néhány millió évvel ezelőtt,

and now we can ask the gorillas:

így most megkérdezhetjük a gorillákat:

Was this a good idea?

Jó ötlet volt?

So here they are having a meeting to discuss whether it was a good idea,

Itt éppen arról értekeznek, hogy jó ötlet volt-e,

and after a little while, they conclude, no,

és kisvártatva arra jutnak, hogy nem,

this was a terrible idea.

ez szörnyű ötlet volt.

Our species is in dire straits.

Fajunk a kihalás szélén áll.

In fact, you can see the existential sadness in their eyes.

Valójában a lét szomorúsága tükröződik a szemükben.

(Laughter)

(Nevetés)

So this queasy feeling that making something smarter than your own species

A saját fajunknál valami okosabbat létrehozni,

is maybe not a good idea --

talán nem is jó ötlet, ami felkavaró érzés -

what can we do about that?

mégis hogyan kerülhetjük el?

Well, really nothing, except stop doing AI,

Tulajdonképpen sehogy, kivéve, ha leállítjuk a MI kutatást,

and because of all the benefits that I mentioned

de a sok előny, amit említettem,

and because I'm an AI researcher,

és mert én MI-kutató vagyok,

I'm not having that.

nem állítanám le.

I actually want to be able to keep doing AI.

Igazából folytatni szeretném a MI fejlesztést.

So we actually need to nail down the problem a bit more.

Egy kissé pontosítanunk kell a problémát.

What exactly is the problem?

Mi is igazából a probléma?

Why is better AI possibly a catastrophe?

Miért jelenthet katasztrófát egy jobb MI?

So here's another quotation:

Vegyünk egy másik idézetet:

"We had better be quite sure that the purpose put into the machine

"Jó lesz nagyon odafigyelnünk rá, hogy a gépbe táplált cél

is the purpose which we really desire."

valóban az a cél, amit tényleg akarunk."

This was said by Norbert Wiener in 1960,

Ezt Norbert Wiener mondta 1960-ban,

shortly after he watched one of the very early learning systems

közvetlen azután, hogy látott egy nagyon korai tanuló rendszert,

learn to play checkers better than its creator.

amelyik az alkotójánál jobb volt a dámajátékban.

But this could equally have been said

De ugyanezt elmondhatta volna

by King Midas.

Midász király is.

King Midas said, "I want everything I touch to turn to gold,"

Így szólt: "Azt akarom, változzon minden arannyá, amit megérintek",

and he got exactly what he asked for.

és pontosan azt kapta, amit kért.

That was the purpose that he put into the machine,

Ez volt a cél, amit betáplált a gépbe,

so to speak,

mondhatjuk így is,

and then his food and his drink and his relatives turned to gold

így aztán az étele, az itala, és a rokonai is arannyá változtak,

and he died in misery and starvation.

ő pedig nyomorúságos éhhalált halt.

So we'll call this "the King Midas problem"

Szóval ezt hívjuk "Midász király problémának",

of stating an objective which is not, in fact,

amikor olyan célt nevezünk meg, ami valójában

truly aligned with what we want.

nem igazodik jól szándékainkhoz.

In modern terms, we call this "the value alignment problem."

Mai kifejezéssel ezt "érték-illesztési problémának" nevezzük.

Putting in the wrong objective is not the only part of the problem.

A probléma nem csak a rossz cél betáplálását jelenti.

There's another part.

Van egy másik oldala is.

If you put an objective into a machine,

Ha egy célt előírunk egy gépnek,

even something as simple as, "Fetch the coffee,"

akár olyan egyszerűt is, mint: "Hozd ide a kávét",

the machine says to itself,

a gép azt mondja magának:

"Well, how might I fail to fetch the coffee?

"Miképp vallhatok kudarcot, a kávé oda vitelében?"

Someone might switch me off.

Például valaki közben kikapcsol.

OK, I have to take steps to prevent that.

Rendben, akkor ezt meg kell akadályoznom.

I will disable my 'off' switch.

Le fogom tiltani a kikapcsológombomat.

I will do anything to defend myself against interference

Mindent megteszek az akadályok elhárításáért

with this objective that I have been given."

a cél érdekében, amit feladatul kaptam."

So this single-minded pursuit

Szóval ez az együgyű törekvés

in a very defensive mode of an objective that is, in fact,

ilyen önvédelmező módon olyan cél felé viszi,

not aligned with the true objectives of the human race --

ami igazából nem illeszkedik jól az emberi faj valós céljaihoz -

that's the problem that we face.

ez a probléma, amivel szembesülünk.

And in fact, that's the high-value takeaway from this talk.

Valójában ez a nagyon értékes útravaló üzenete ennek az előadásnak.

If you want to remember one thing,

Ha csak egy dologra szeretnének emlékezni,

it's that you can't fetch the coffee if you're dead.

ez legyen: nem tudod felszolgálni a kávét, ha meghaltál.

(Laughter)

(Nevetés)

It's very simple. Just remember that. Repeat it to yourself three times a day.

Roppant egyszerű. Csak erre emlékezzenek! Ismételjék el naponta háromszor!

(Laughter)

(Nevetés)

And in fact, this is exactly the plot

Tulajdonképpen erről szól

of "2001: [A Space Odyssey]"

a "2001: Űrodüsszeia".

HAL has an objective, a mission,

HAL-nak van egy célja, egy küldetése,

which is not aligned with the objectives of the humans,

mely nincs az emberi igényekhez igazítva,

and that leads to this conflict.

és ez nézeteltérésekhez vezet.

Now fortunately, HAL is not superintelligent.

De szerencsére HAL nem szuperintelligens.

He's pretty smart, but eventually Dave outwits him

Meglehetősen okos, de végül Dave túljár az eszén,

and manages to switch him off.

és sikerül kikapcsolnia.

But we might not be so lucky.

De lehet, hogy mi nem leszünk ilyen szerencsések.

So what are we going to do?

Akkor mit tegyünk majd?

I'm trying to redefine AI

Megpróbálom újraértelmezni az MI-t,

to get away from this classical notion

hogy eltávolodjunk ettől a klasszikus szemlélettől,

of machines that intelligently pursue objectives.

mely szerint az intelligens gépek célokért küzdenek.

There are three principles involved.

Három alapelvről van szó.

The first one is a principle of altruism, if you like,

Az első az altruizmus alapelve, ha úgy tetszik:

that the robot's only objective

a robot egyetlen célja,

is to maximize the realization of human objectives,

hogy végsőkig segítse az emberi értékekhez igazodó

of human values.

emberi célok megvalósulását.

And by values here I don't mean touchy-feely, goody-goody values.

Értékek alatt nem mézes-mázas, szuper jó értékekre gondolok.

I just mean whatever it is that the human would prefer

Hanem arra, amilyennek az emberek

their life to be like.

az életüket szeretnék.

And so this actually violates Asimov's law

Ez valójában megsérti Asimov törvényét,

that the robot has to protect its own existence.

hogy a robotnak meg kell védenie saját magát.

It has no interest in preserving its existence whatsoever.

Semmiféle önmegóvási célja nincs.

The second law is a law of humility, if you like.

A második törvény, ha úgy tetszik, az alázatosság törvénye.

And this turns out to be really important to make robots safe.

Úgy tűnik, ez rendkívül fontos, hogy a robotokat biztonságossá tegyük.

It says that the robot does not know

Azt mondja ki, hogy a robot nem ismeri

what those human values are,

az emberi értékeket,

so it has to maximize them, but it doesn't know what they are.

maximalizálni igyekszik, ám mégsem tudja, mik azok.

And that avoids this problem of single-minded pursuit

Ez elkerüli az együgyű célratörő

of an objective.

magatartást.

This uncertainty turns out to be crucial.

Ez a bizonytalanság kulcsfontosságú.

Now, in order to be useful to us,

Hogy ennek hasznát vegyük,

it has to have some idea of what we want.

némi elképzelésének kell lennie, hogy mit is akarunk.

It obtains that information primarily by observation of human choices,

Ehhez az információt az emberi döntések megfigyeléséből szerzi,

so our own choices reveal information

mert a döntéseink árulkodnak arról,

about what it is that we prefer our lives to be like.

hogy milyenné szeretnénk tenni az életünket.

So those are the three principles.

Ez a három alapelv.

Let's see how that applies to this question of:

Nézzük, hogyan alkalmazhatóak a következő kérdésre:

"Can you switch the machine off?" as Turing suggested.

"Ki tudod kapcsolni a gépet?" - ahogy Turing javasolta.

So here's a PR2 robot.

Tehát itt egy PR2-es robot.

This is one that we have in our lab,

Ez van nálunk a laborban,

and it has a big red "off" switch right on the back.

és van egy nagy, piros "off" kapcsoló a hátán.

The question is: Is it going to let you switch it off?

A kérdés: engedni fogja, hogy kikapcsoljuk?

If we do it the classical way,

Ha hagyományosan csináljuk,

we give it the objective of, "Fetch the coffee, I must fetch the coffee,

azt a parancsot adjuk neki, hogy: "Hozd ide a kávét!",

I can't fetch the coffee if I'm dead,"

"Hoznom kell a kávét, nem tudom hozni, ha halott vagyok" -

so obviously the PR2 has been listening to my talk,

tehát a PR2 nyilván hallgat rám,

and so it says, therefore, "I must disable my 'off' switch,

ezért azt mondja: "Le kell tiltanom az 'off' gombom,

and probably taser all the other people in Starbucks

és jobb lenne ártalmatlanítani mindenkit a Starbuksnál is,

who might interfere with me."

aki utamat állhatja."

(Laughter)

(Nevetés)

So this seems to be inevitable, right?

Ez tehát elkerülhetetlennek tűnik, igaz?

This kind of failure mode seems to be inevitable,

Ez a zátonyra futás elkerülhetetlennek látszik,

and it follows from having a concrete, definite objective.

és ez egyszerűen a konkrét, meghatározott célból következik.

So what happens if the machine is uncertain about the objective?

Mi történik, ha a gép nem biztos a céljában?

Well, it reasons in a different way.

Akkor másképp okoskodik.

It says, "OK, the human might switch me off,

Azt mondja magában: "Talán kikapcsol az ember,

but only if I'm doing something wrong.

de csak akkor, ha valami rosszat teszek.

Well, I don't really know what wrong is,

Nem igazán tudom, mi rossz,

but I know that I don't want to do it."

de azt tudom, hogy olyat nem akarok tenni."

So that's the first and second principles right there.

Ez volt eddig az első és a második alapelv.

"So I should let the human switch me off."

"Engednem kell tehát, hogy az ember kikapcsoljon."

And in fact you can calculate the incentive that the robot has

Tényleg ki lehet számolni a robotnak szükséges ösztönzést,

to allow the human to switch it off,

hogy megengedje a kikapcsolását,

és ez közvetlenül azzal van összefüggésben,

and it's directly tied to the degree

of uncertainty about the underlying objective.

hogy az elérni kívánt cél mennyire bizonytalan.

And then when the machine is switched off,

Itt jön képbe a harmadik alapelv,

that third principle comes into play.

amikor a gép ki van kapcsolva.

It learns something about the objectives it should be pursuing,

Megtanul valami újat a célokról, amikért küzd,

because it learns that what it did wasn't right.

mivel rájön, hogy amit tett, nem volt helyes.

In fact, we can, with suitable use of Greek symbols,

Ténylegesen képesek vagyunk ezt levezetni egy halom görög betűvel.

as mathematicians usually do,

Ahogy a matematikusoknál ez szokás:

we can actually prove a theorem

be tudjuk bizonyítani a tételt,

that says that such a robot is provably beneficial to the human.

mely szerint egy ilyen robot garantáltan hasznos az ember számára.

You are provably better off with a machine that's designed in this way

Jobban járunk egy olyan géppel, amit így terveztek,

than without it.

mint nélküle.

So this is a very simple example, but this is the first step

Szóval ez egy egyszerű példa volt, de ez az első lépés abban,

in what we're trying to do with human-compatible AI.

amin dolgozunk, hogy ember-kompatibilis MI-t alkossunk.

Now, this third principle,

Ez a harmadik alapelv...

I think is the one that you're probably scratching your head over.

Talán már többen merengenek rajta

You're probably thinking, "Well, you know, I behave badly.

ezen gondolatmenettel: "Néha én nem viselkedek túl jól,

I don't want my robot to behave like me.

nem akarom, hogy a robot úgy viselkedjen, mint én.

I sneak down in the middle of the night and take stuff from the fridge.

Éjjel lesettenkedek és kifosztom a hűtőt.

I do this and that."

Csinálok még ezt azt."

There's all kinds of things you don't want the robot doing.

Sok mindent nem szeretnénk, hogy a robot csináljon.

But in fact, it doesn't quite work that way.

Szerencsére azért ez nem így működik.

Just because you behave badly

Csak mert rosszul viselkedünk,

doesn't mean the robot is going to copy your behavior.

a robot nem fog leutánozni.

It's going to understand your motivations and maybe help you resist them,

Meg fogja érteni a motivációnk, és talán segít ellenállni a kísértésnek,

if appropriate.

alkalomadtán.

But it's still difficult.

Azért ez még így is nehéz.

What we're trying to do, in fact,

Azon dolgozunk,

is to allow machines to predict for any person and for any possible life

hogy a gépek képessé váljanak arra, hogy bárkinek

bárrmilyen életkörülményei is vannak,

that they could live,

and the lives of everybody else:

és egyáltalán mindenki esetén

Which would they prefer?

meg tudják jósolni, hogy ő mit szeretne.

And there are many, many difficulties involved in doing this;

Ebben azonban nagyon sok a nehézség.

I don't expect that this is going to get solved very quickly.

Nem számítok rá, hogy ez egyhamar megoldódik.

The real difficulties, in fact, are us.

A fő nehézség éppen mi magunk vagyunk.

As I have already mentioned, we behave badly.

Ahogy már említettem, csúnyán viselkedünk,

In fact, some of us are downright nasty.

néhányunk egyenesen gazemberként.

Now the robot, as I said, doesn't have to copy the behavior.

A robotnak pedig, ahogy mondtam, nem kell másolnia minket.

The robot does not have any objective of its own.

Nincs is önálló célja.

It's purely altruistic.

Csak tisztán altruista.

And it's not designed just to satisfy the desires of one person, the user,

Nem is úgy van tervezve, hogy csak egy ember kívánságait tartsa szem előtt,

but in fact it has to respect the preferences of everybody.

hanem mindenki igényeire tekintettel kell lennie.

So it can deal with a certain amount of nastiness,

El kell tehát boldoguljon bizonyos mértékű galádsággal,

and it can even understand that your nastiness, for example,

sőt, meg kell értenie, miért viselkedünk renitens módon:

you may take bribes as a passport official

például, hogy vámkezelőként csúszópénzt fogadunk el,

because you need to feed your family and send your kids to school.

mert el kell látnunk a családunkat és fizetnünk a gyerekeink iskoláztatását.

It can understand that; it doesn't mean it's going to steal.

Megérteni a cselekedetet, de ez nem jelenti, hogy ő is lopni fog.

In fact, it'll just help you send your kids to school.

Azon lesz, hogy segítsen a gyerekek beiskolázásában.

We are also computationally limited.

Továbbá az agyunk számítási teljesítménye is korlátozott.

Lee Sedol is a brilliant Go player,

Lee Sedol briliáns Go játékos,

but he still lost.

mégis veszített.

So if we look at his actions, he took an action that lost the game.

Ha konkrétan elemezzük a lépéseit, volt egy lépése, ami miatt veszített.

That doesn't mean he wanted to lose.

Holott nem akart veszíteni.

So to understand his behavior,

Hogy megértsük a viselkedését,

we actually have to invert through a model of human cognition

igazából meg kell fordítanunk az emberi értelem modelljét,

that includes our computational limitations -- a very complicated model.

melyben helyet kap a véges számítási kapacitás - ez egy bonyolult modell.

But it's still something that we can work on understanding.

De ez is olyasmi, aminek megértésén van még mit dolgozni.

Probably the most difficult part, from my point of view as an AI researcher,

Szerintem egy MI-kutatónak valószínűleg az a legnehezebb,

is the fact that there are lots of us,

hogy sokan vagyunk,

and so the machine has to somehow trade off, weigh up the preferences

és a gépnek valamiképp súlyoznia kell és egyszerre optimalizálni

of many different people,

megannyi különböző emberre tekintettel,

and there are different ways to do that.

és erre különböző megoldások vannak.

Economists, sociologists, moral philosophers have understood that,

Közgazdászok, szociológusok, filozófusok rájöttek már erre,

and we are actively looking for collaboration.

s mi élénken keressük az együttműködést.

Let's have a look and see what happens when you get that wrong.

Nézzük meg, mi történik, ha nem jól alkalmazzuk az eddigieket.

So you can have a conversation, for example,

Megbeszéljük a dolgokat,

with your intelligent personal assistant

például az intelligens személyi asszisztensünkkel

that might be available in a few years' time.

ami akár néhány éven belül elérhető lehet.

Think of a Siri on steroids.

Olyan, mint egy felturbózott Siri.

So Siri says, "Your wife called to remind you about dinner tonight."

Siri megszólal: "Hívott a feleséged, hogy figyelmeztessen a mai vacsorára."

And of course, you've forgotten. "What? What dinner?

Mi persze elfeledkeztünk róla: "Mi? Miféle vacsora?

What are you talking about?"

Miről beszélsz?"

"Uh, your 20th anniversary at 7pm."

"Hát, a 20-adik évfordulótok, este 7-kor."

"I can't do that. I'm meeting with the secretary-general at 7:30.

"Ez nem fog menni. 7:30-kor a főtitkárral van találkozóm.

How could this have happened?"

Hogyan fordulhatott ez elő?"

"Well, I did warn you, but you overrode my recommendation."

"Nos, én figyelmeztettelek, de te máshogy döntöttél."

"Well, what am I going to do? I can't just tell him I'm too busy."

"Most mitévő legyek? Nem mondhatom neki, hogy sok a dolgom."

"Don't worry. I arranged for his plane to be delayed."

"Aggodalomra semmi ok. Elintéztem, hogy késsen a gépe."

(Laughter)

(Nevetés)

"Some kind of computer malfunction."

"Lesz valami számítástechnikai gubanc."

(Laughter)

(Nevetés)

"Really? You can do that?"

"Komolyan? Te erre is képes vagy?"

"He sends his profound apologies

"Üzent, hogy mélységesen sajnálja,

and looks forward to meeting you for lunch tomorrow."

és már nagyon várja a holnapi közös ebédet."

(Laughter)

(Nevetés)

So the values here -- there's a slight mistake going on.

Itt az értékek tekintetében van egy kis megbicsaklás...

This is clearly following my wife's values

Ez a feleségem értékrendjéről szól,

which is "Happy wife, happy life."

ami úgy szól: "Boldog feleség, boldog élet."

(Laughter)

(Nevetés)

It could go the other way.

De ez elsülhet ellenkezőleg is.

You could come home after a hard day's work,

Hazaérünk a munkából egy nehéz nap után.

and the computer says, "Long day?"

és a számítógép így szól: "Hosszú nap?"

"Yes, I didn't even have time for lunch."

"Igen, még ebédelni sem volt időm."

"You must be very hungry."

"Akkor nagyon éhes lehetsz."

"Starving, yeah. Could you make some dinner?"

"Igen, éhen halok. Készítenél valami vacsorát?"

"There's something I need to tell you."

"Valamit el kell mondanom..."

(Laughter)

(Nevetés)

"There are humans in South Sudan who are in more urgent need than you."

"Dél-Szudánban emberi lényeknek sokkal nagyobb szükségük van az ételre."

(Laughter)

(Nevetés)

"Szóval én távoztam. Csinálj magadnak vacsorát!"

"So I'm leaving. Make your own dinner."

(Laughter)

(Nevetés)

So we have to solve these problems,

Ezeket a problémákat még meg kell oldanunk,

and I'm looking forward to working on them.

de alig várom, hogy dolgozhassak rajtuk.

There are reasons for optimism.

Több okunk is van optimizmusra.

One reason is,

Az első,

there is a massive amount of data.

hogy rengeteg adat áll rendelkezésre.

Because remember -- I said they're going to read everything

Mert mindent el fognak olvasni,

the human race has ever written.

amit az emberi faj valaha is írt.

Most of what we write about is human beings doing things

Az írásaink zöme arról szól, hogy emberek tesznek valamit,

and other people getting upset about it.

és ettől más emberi lények dühösek.

So there's a massive amount of data to learn from.

Rengeteg ismeretanyag van, amiből tanulni lehet.

There's also a very strong economic incentive

Továbbá van egy nagyon erős gazdasági nyomás,

hogy ezt jól valósítsuk meg.

to get this right.

So imagine your domestic robot's at home.

Képzeljük el az otthoni háztartási robotunkat.

You're late from work again and the robot has to feed the kids,

Megint későn érünk haza, a robotnak kell megetetnie a gyerekeket.

and the kids are hungry and there's nothing in the fridge.

A gyerekek éhesek, de üres a hűtőszekrény.

And the robot sees the cat.

Ekkor a robot meglátja a macskát.

(Laughter)

(Nevetés)

And the robot hasn't quite learned the human value function properly,

Mivel a robot nem sajátította el elég jól az emberi értékrendet,

so it doesn't understand

nem érti,

the sentimental value of the cat outweighs the nutritional value of the cat.

hogy a macska szentimentális értéke túlmutat a tápértékén.

(Laughter)

(Nevetés)

So then what happens?

Vajon mi történik?

Well, it happens like this:

Valami ilyesmi:

"Deranged robot cooks kitty for family dinner."

"A zsarnok robot feltálalta vacsorára a család cicáját."

That one incident would be the end of the domestic robot industry.

Egyetlen ilyen fiaskó a háztartási robotipar végét jelentené.

So there's a huge incentive to get this right

Szóval nagy nyomás van rajtunk, hogy ügyesen kezeljük ezt,

long before we reach superintelligent machines.

még jóval azelőtt, hogy elérnénk a szuperintelligens gépekig.

So to summarize:

Összefoglalva tehát:

I'm actually trying to change the definition of AI

megpróbálom megváltoztatni a MI definícióját úgy,

so that we have provably beneficial machines.

hogy bizonyíthatóan hasznunkra levő gépeket jelentsenek.

And the principles are:

Az alapelvek pedig:

machines that are altruistic,

a gépek altruisták,

that want to achieve only our objectives,

azaz csak a mi céljaink elérésével foglalkoznak,

but that are uncertain about what those objectives are,

miközben bizonytalanok a mi céljainkban,

and will watch all of us

de figyelnek minket,

to learn more about what it is that we really want.

hogy megértsék, mit is akarunk valójában.

And hopefully in the process, we will learn to be better people.

És remélhetően ebben a folyamatban mi is jobb emberekké válunk.

Thank you very much.

Nagyon köszönöm.

(Applause)

(Taps)

Chris Anderson: So interesting, Stuart.

Chris Anderson: Nagyon érdekes, Stuart.

We're going to stand here a bit because I think they're setting up

Álljunk arrébb kicsit, mert rendezkednek

for our next speaker.

a következő előadó miatt.

A couple of questions.

Pár kérdés.

So the idea of programming in ignorance seems intuitively really powerful.

Ez a tudatlanság alapú programozás elég hatékony dolognak tűnik.

Ha elérjük a szuperintelligenciát,

As you get to superintelligence,

what's going to stop a robot

mi akadályozza meg a robotot abban,

reading literature and discovering this idea that knowledge

hogy az irodalmat olvasgatva arra a felismerésre jusson,

is actually better than ignorance

hogy a tudás jobb, mint a tudatlanság,

and still just shifting its own goals and rewriting that programming?

és ezért átírja a saját programját, hogy legyenek saját céljai?

Stuart Russell: Yes, so we want it to learn more, as I said,

Stuart Russell: Igen, ahogy mondtam is, jobban meg kell ismerjük

about our objectives.

a saját céljainkat is.

It'll only become more certain as it becomes more correct,

Csak annyival válik magabiztosabbá, amennyivel jobban átlátja a dolgokat,

so the evidence is there

ez rá a garancia,

and it's going to be designed to interpret it correctly.

és úgy lesz tervezve, hogy ezt jól értelmezze.

It will understand, for example, that books are very biased

Például rá fog jönni, hogy a könyvek nagyon elfogultak

in the evidence they contain.

a megismert bizonyítékaik alapján.

They only talk about kings and princes

Kizárólag királyokról és hercegekről szólnak,

and elite white male people doing stuff.

csak fehér férfiak csinálnak mindent.

So it's a complicated problem,

Szóval komplikált a probléma,

but as it learns more about our objectives

de ahogy egyre jobban megismeri a céljainkat,

it will become more and more useful to us.

annál inkább lesz hasznunkra.

CA: And you couldn't just boil it down to one law,

CA: Nem lehetne csak egy szabályra egyszerűsíteni,

you know, hardwired in:

simán betáplálva, hogy:

"if any human ever tries to switch me off,

"Ha egy ember megpróbál kikapcsolni,

I comply. I comply."

elfogadom, elfogadom."

SR: Absolutely not.

SR: Egyáltalán nem.

That would be a terrible idea.

Ez egy szörnyű elképzelés.

So imagine that you have a self-driving car

Képzeld csak el, hogy van egy önvezető autód,

and you want to send your five-year-old

és el akarod vele küldeni az ötéves gyereked

off to preschool.

az óvodába.

Do you want your five-year-old to be able to switch off the car

Azt akarod, hogy az ötéves képes legyen

kikapcsolni az autót útközben?

while it's driving along?

Probably not.

Valószínűleg nem.

So it needs to understand how rational and sensible the person is.

Tehát szükséges, hogy értse, mennyire racionális és józan az adott ember.

The more rational the person,

Minél racionálisabb az ember,

the more willing you are to be switched off.

annál inkább hajlandó engedni, hogy kikapcsolják.

If the person is completely random or even malicious,

Ha a személy teljesen zavart, vagy akár ártó szándékú,

then you're less willing to be switched off.

akkor kevésbé lesz hajlandó rá, hogy kikapcsolják.

CA: All right. Stuart, can I just say,

CA: Rendben, Stuart, csak annyit mondok,

I really, really hope you figure this out for us.

nagyon-nagyon remélem, hogy megoldod ezt nekünk.

Thank you so much for that talk. That was amazing.

Igazán köszönöm az előadást. Lenyűgöző volt.

SR: Thank you.

SR: Köszönöm.

(Applause)

(Taps)