What happens when our computers get smarter than we are? | Nick Bostrom

Vertaald door: Rik Delaet Nagekeken door: Els De Keyser

I work with a bunch of mathematicians, philosophers and computer scientists,

Ik werk met een hoop wiskundigen, filosofen en informatici,

and we sit around and think about the future of machine intelligence,

en we zitten onder andere na te denken

among other things.

over de toekomst van machine-intelligentie.

Some people think that some of these things are sort of science fiction-y,

Sommige mensen vinden dit nogal science-fictionachtig,

far out there, crazy.

over de schreef, te gek.

But I like to say,

Maar laat ons eens kijken

okay, let's look at the modern human condition.

naar de moderne menselijke conditie.

(Laughter)

(Gelach)

This is the normal way for things to be.

Dit is de normale manier van zijn.

But if we think about it,

Maar als we erover nadenken,

we are actually recently arrived guests on this planet,

zijn we eigenlijk op deze planeet recent aangekomen gasten,

the human species.

de menselijke soort.

Think about if Earth was created one year ago,

Als de ouderdom van de Aarde één jaar zou zijn,

the human species, then, would be 10 minutes old.

dan is de menselijke soort 10 minuten oud.

The industrial era started two seconds ago.

Het industriële tijdperk begon twee seconden geleden.

Another way to look at this is to think of world GDP over the last 10,000 years,

Of kijk eens hoe het mondiale bbp in de afgelopen 10.000 jaar veranderde,

I've actually taken the trouble to plot this for you in a graph.

Ik heb er een grafiek van gemaakt.

It looks like this.

Zo ziet ze er uit.

(Laughter)

(Gelach)

It's a curious shape for a normal condition.

Een merkwaardige vorm voor een normale toestand.

I sure wouldn't want to sit on it.

Daar wil je niet op gaan zitten.

(Laughter)

(Gelach)

Let's ask ourselves, what is the cause of this current anomaly?

Vanwaar komt die huidige anomalie?

Some people would say it's technology.

Sommige mensen zouden zeggen dat het komt door de technologie.

Now it's true, technology has accumulated through human history,

Inderdaad stapelde de technologie zich op doorheen de menselijke geschiedenis,

and right now, technology advances extremely rapidly --

en nu gaat het wel heel snel -

that is the proximate cause,

dat is de directe oorzaak,

that's why we are currently so very productive.

daarom zijn we zo productief.

But I like to think back further to the ultimate cause.

Maar ik denk ook graag aan de uiteindelijke oorzaak.

Look at these two highly distinguished gentlemen:

Kijk eens naar deze twee zeer voorname heren:

We have Kanzi --

Dat is Kanzi --

he's mastered 200 lexical tokens, an incredible feat.

hij beheerst 200 lexicale tokens, een ongelooflijke prestatie.

And Ed Witten unleashed the second superstring revolution.

En Ed Witten ontketende de tweede superstringrevolutie.

If we look under the hood, this is what we find:

Als we onder de motorkap kijken, vinden we dit:

basically the same thing.

in principe hetzelfde.

One is a little larger,

Een is iets groter,

en heeft misschien ook wel een paar trucjes

it maybe also has a few tricks in the exact way it's wired.

in de exacte manier waarop het is bedraad.

These invisible differences cannot be too complicated, however,

Deze onzichtbare verschillen kunnen niet te ingewikkeld zijn,

because there have only been 250,000 generations

want er zijn slechts 250.000 generaties

sinds onze laatste gemeenschappelijke voorouder.

since our last common ancestor.

We know that complicated mechanisms take a long time to evolve.

Ingewikkelde mechanismen hebben een lange tijd nodig om te evolueren.

So a bunch of relatively minor changes

Een hoop relatief kleine wijzigingen

take us from Kanzi to Witten,

brengt ons van Kanzi tot Witten,

from broken-off tree branches to intercontinental ballistic missiles.

van afgebroken boomtakken tot intercontinentale ballistische raketten.

So this then seems pretty obvious that everything we've achieved,

Het lijkt vrij duidelijk dat alles wat we hebben bereikt,

and everything we care about,

en alles waar we om geven,

depends crucially on some relatively minor changes that made the human mind.

sterk afhangt van een aantal relatief kleine wijzigingen

die de menselijke geest uitmaken.

And the corollary, of course, is that any further changes

Daaruit volgt natuurlijk dat verdere wijzigingen

that could significantly change the substrate of thinking

die het substraat van het denken aanzienlijk zouden kunnen veranderen

could have potentially enormous consequences.

potentieel enorme gevolgen kunnen hebben.

Some of my colleagues think we're on the verge

Sommige collega's denken dat we aan het begin staan

of something that could cause a profound change in that substrate,

van iets dat een diepgaande verandering in dat substraat kan veroorzaken,

and that is machine superintelligence.

en dat is de machinale superintelligentie.

Artificial intelligence used to be about putting commands in a box.

Kunstmatige intelligentie ging vroeger over opdrachten in een doos steken.

You would have human programmers

Je had de menselijke programmeurs

that would painstakingly handcraft knowledge items.

die nauwgezet kennisitems in elkaar knutselden.

You build up these expert systems,

Je bouwt expertsystemen.

and they were kind of useful for some purposes,

Ze zijn bruikbaar voor bepaalde doeleinden,

but they were very brittle, you couldn't scale them.

maar erg broos en niet schaalbaar.

Basically, you got out only what you put in.

Kortom, je krijgt alleen wat je erin steekt.

But since then,

Maar sindsdien was er paradigmaverschuiving

a paradigm shift has taken place in the field of artificial intelligence.

op het gebied van kunstmatige intelligentie.

Today, the action is really around machine learning.

Vandaag ligt de focus op ‘machinaal leren’.

So rather than handcrafting knowledge representations and features,

In plaats van kennisrepresentaties en functies in elkaar te knutselen,

we create algorithms that learn, often from raw perceptual data.

creëren we algoritmen die zelf leren, vaak vanuit ruwe perceptuele data.

Basically the same thing that the human infant does.

In principe hetzelfde als wat een kind doet.

The result is A.I. that is not limited to one domain --

Het resultaat is dat AI niet beperkt is tot één domein -

the same system can learn to translate between any pairs of languages,

hetzelfde systeem kan leren vertalen tussen alle paren van talen,

or learn to play any computer game on the Atari console.

of elk computerspel leren spelen op een Atari console.

Now of course,

AI komt het nog niet in de buurt van het domeinoverschrijdende vermogen

A.I. is still nowhere near having the same powerful, cross-domain

ability to learn and plan as a human being has.

om te leren en te plannen dat een mens heeft.

The cortex still has some algorithmic tricks

De cortex heeft nog een aantal algoritmische trucs

that we don't yet know how to match in machines.

die we nog niet kunnen implementeren in machines.

So the question is,

De vraag is:

how far are we from being able to match those tricks?

hoe ver staan we af van het vermogen om die trucs toe te passen?

Een paar jaar geleden deden we een enquête

A couple of years ago,

we did a survey of some of the world's leading A.I. experts,

bij 's werelds toonaangevende AI-experts,

to see what they think, and one of the questions we asked was,

om te zien wat ze denken.

Een van de vragen was:

"By which year do you think there is a 50 percent probability

"Voor welk jaar denkt u dat er 50 procent kans is

that we will have achieved human-level machine intelligence?"

dat we menselijke machine-intelligentie gaan hebben?”

We defined human-level here as the ability to perform

We definieerden menselijk hier als het vermogen om bijna elke taak

almost any job at least as well as an adult human,

tenminste als een volwassen mens te kunnen uitvoeren.

so real human-level, not just within some limited domain.

Dus echt als een mens, niet alleen binnen een beperkt domein.

And the median answer was 2040 or 2050,

Het mediane antwoord was 2040 of 2050,

depending on precisely which group of experts we asked.

afhankelijk van de groep deskundigen.

Now, it could happen much, much later, or sooner,

Het zou veel later of eerder kunnen gebeuren.

the truth is nobody really knows.

De waarheid is dat niemand het echt weet.

What we do know is that the ultimate limit to information processing

Wat we wel weten, is dat de ultieme limiet aan informatieverwerking

in a machine substrate lies far outside the limits in biological tissue.

de grenzen van biologisch weefsel ver overstijgt.

This comes down to physics.

Dit komt door de natuurkunde.

A biological neuron fires, maybe, at 200 hertz, 200 times a second.

Een biologisch neuron vuurt op 200 hertz, 200 keer per seconde.

But even a present-day transistor operates at the Gigahertz.

Maar zelfs een hedendaagse transistor werkt op Gigahertz [1 miljard hertz].

Neurons propagate slowly in axons, 100 meters per second, tops.

Neuronen gaan in axonen aan 100 meter per seconde, maximum.

But in computers, signals can travel at the speed of light.

Maar in computers reizen signalen met de snelheid van het licht.

There are also size limitations,

Er zijn ook beperkingen in grootte:

like a human brain has to fit inside a cranium,

een menselijk brein moet passen in een schedel,

but a computer can be the size of a warehouse or larger.

maar een computer kan zo groot zijn als een magazijn of groter.

So the potential for superintelligence lies dormant in matter,

Het potentieel voor superintelligentie sluimert in de materie,

much like the power of the atom lay dormant throughout human history,

net als de kracht van het atoom in de menselijke geschiedenis sluimerde,

patiently waiting there until 1945.

geduldig wachtend tot 1945.

In deze eeuw kunnen wetenschappers leren hoe

In this century,

scientists may learn to awaken the power of artificial intelligence.

de kracht te ontketenen van kunstmatige intelligentie.

And I think we might then see an intelligence explosion.

Dan zien we misschien een intelligentie-explosie.

Now most people, when they think about what is smart and what is dumb,

Wanneer de meeste mensen nadenken over wat slim is en wat dom is,

I think have in mind a picture roughly like this.

maken ze zich misschien deze voorstelling.

So at one end we have the village idiot,

Helemaal links hebben we de dorpsgek,

and then far over at the other side

en ver aan de andere zijde

we have Ed Witten, or Albert Einstein, or whoever your favorite guru is.

hebben we Ed Witten, of Albert Einstein, of wie je favoriete goeroe ook is.

But I think that from the point of view of artificial intelligence,

Maar vanuit het oogpunt van kunstmatige intelligentie,

the true picture is actually probably more like this:

ziet het er waarschijnlijk meer zo uit:

AI starts out at this point here, at zero intelligence,

AI begint op dit punt hier, op nul intelligentie,

and then, after many, many years of really hard work,

en dan, na vele, vele jaren van hard werken,

maybe eventually we get to mouse-level artificial intelligence,

krijgen we misschien uiteindelijk kunstmatige intelligentie van muisniveau,

something that can navigate cluttered environments

iets dat kan navigeren in rommelige omgevingen

as well as a mouse can.

zoals een muis.

And then, after many, many more years of really hard work, lots of investment,

Na nog eens vele jaren van hard werk, veel investeringen,

maybe eventually we get to chimpanzee-level artificial intelligence.

halen we misschien uiteindelijk AI van chimpanseeniveau.

And then, after even more years of really, really hard work,

Na nog meer jaren van echt, echt hard werken,

we get to village idiot artificial intelligence.

krijgen we kunstmatige intelligentie op dorpsgekniveau.

And a few moments later, we are beyond Ed Witten.

En wat later zijn we verder dan Ed Witten.

The train doesn't stop at Humanville Station.

Maar de trein stopt niet bij station Mens.

It's likely, rather, to swoosh right by.

Hij suist er waarschijnlijk eerder snel voorbij.

Now this has profound implications,

Nu heeft dit ingrijpende gevolgen,

particularly when it comes to questions of power.

in het bijzonder als het gaat om vragen van macht.

For example, chimpanzees are strong --

Zo zijn chimpansees sterk -

pound for pound, a chimpanzee is about twice as strong as a fit human male.

voor hetzelfde gewicht ongeveer twee keer zo sterk als een fitte menselijke man.

And yet, the fate of Kanzi and his pals depends a lot more

En toch hangt het lot van Kanzi en zijn vriendjes

on what we humans do than on what the chimpanzees do themselves.

veel meer af van wat wij mensen doen dan van wat de chimpansees zelf doen.

Once there is superintelligence,

Zodra er superintelligentie is,

the fate of humanity may depend on what the superintelligence does.

kan het lot van de mensheid afhangen van wat de superintelligentie doet.

Think about it:

Denk er over na:

Machine intelligence is the last invention that humanity will ever need to make.

machine-intelligentie zal de laatste uitvinding van de mensheid zijn.

Machines will then be better at inventing than we are,

Machines zullen dan beter zijn in uitvinden dan wij,

and they'll be doing so on digital timescales.

en ze zullen het doen op digitale tijdschalen.

What this means is basically a telescoping of the future.

Dit betekent de toekomst 'telescoperen'.

Think of all the crazy technologies that you could have imagined

Denk aan alle gekke technologieën die je je zou kunnen inbeelden,

maybe humans could have developed in the fullness of time:

die mensen misschien zullen ontwikkelen in de loop van de tijd:

cures for aging, space colonization,

behandelingen voor veroudering, kolonisatie van de ruimte,

self-replicating nanobots or uploading of minds into computers,

zelfreplicerende nanobots of geesten uploaden in computers,

all kinds of science fiction-y stuff

allerlei science-fictionachtige dingen

that's nevertheless consistent with the laws of physics.

maar toch in overeenstemming met de wetten van de fysica.

All of this superintelligence could develop, and possibly quite rapidly.

Dit alles zou superintelligentie kunnen ontwikkelen,

en eventueel vrij snel.

Now, a superintelligence with such technological maturity

Een superintelligentie met een dergelijke technologische maturiteit

would be extremely powerful,

zou zeer krachtig zijn,

and at least in some scenarios, it would be able to get what it wants.

en zou, ten minste in een aantal scenario's,

in staat zijn om te krijgen wat ze wil.

We would then have a future that would be shaped by the preferences of this A.I.

Onze toekomst zou dan afhangen van de voorkeuren van deze AI.

Now a good question is, what are those preferences?

De vraag is wat die voorkeuren zijn.

Hier wordt het lastiger.

Here it gets trickier.

Om hierin vooruitgang te boeken,

To make any headway with this,

we must first of all avoid anthropomorphizing.

moeten we in de eerste plaats antropomorfiseren vermijden.

And this is ironic because every newspaper article

Ironisch genoeg vind je bij elk krantenartikel

about the future of A.I. has a picture of this:

over de toekomst van AI iets dergelijks: [dia]

So I think what we need to do is to conceive of the issue more abstractly,

We moeten het probleem meer abstract benaderen,

not in terms of vivid Hollywood scenarios.

niet in termen van Hollywoodscenario's.

We need to think of intelligence as an optimization process,

We moeten intelligentie zien als een optimalisatieproces,

a process that steers the future into a particular set of configurations.

een proces dat de toekomst stuurt naar een bepaalde set van configuraties.

A superintelligence is a really strong optimization process.

Een superintelligentie is echt een sterk optimalisatieproces.

It's extremely good at using available means to achieve a state

Ze is zeer goed in het gebruik van de beschikbare middelen

om een ​​toestand te bereiken

in which its goal is realized.

waar haar doel wordt gerealiseerd.

This means that there is no necessary connection between

Dit betekent dat er geen noodzakelijk verband is tussen

being highly intelligent in this sense,

in deze zin zeer intelligent zijn

and having an objective that we humans would find worthwhile or meaningful.

en een doelstelling hebben

die wij mensen de moeite waard of zinvol zouden vinden.

Suppose we give an A.I. the goal to make humans smile.

Stel dat we een AI de opdracht geven om mensen te laten glimlachen.

When the A.I. is weak, it performs useful or amusing actions

Als de AI zwak is, voert ze nuttige of amusante acties uit

that cause its user to smile.

om de gebruiker te laten glimlachen.

When the A.I. becomes superintelligent,

Maar een superintelligente AI realiseert zich

it realizes that there is a more effective way to achieve this goal:

dat er een effectievere manier is om dit doel te bereiken:

take control of the world

neem de controle van de wereld over,

and stick electrodes into the facial muscles of humans

plak elektroden op de gezichtsspieren

to cause constant, beaming grins.

en veroorzaak een constante, stralende grijns.

Another example,

Een ander voorbeeld, we willen de AI

suppose we give A.I. the goal to solve a difficult mathematical problem.

een ​​moeilijk wiskundig probleem laten oplossen.

When the A.I. becomes superintelligent,

Wanneer de AI superintelligent wordt,

it realizes that the most effective way to get the solution to this problem

vindt ze de meest effectieve manier om dit probleem op te lossen:

is by transforming the planet into a giant computer,

door de planeet om te vormen in een gigantische computer,

so as to increase its thinking capacity.

voor meer denkvermogen.

And notice that this gives the A.I.s an instrumental reason

Merk op dat dit de AI een instrumentele rede geeft

to do things to us that we might not approve of.

om ons dingen aan te doen die we niet zouden willen.

Human beings in this model are threats,

Hier zijn menselijke wezens bedreigingen,

we could prevent the mathematical problem from being solved.

die in de weg staan van de oplossing van het probleem.

Of course, perceivably things won't go wrong in these particular ways;

Natuurlijk zal het zo niet gaan.

these are cartoon examples.

Dit zijn cartoon-voorbeelden.

But the general point here is important:

Maar het algemene punt blijft belangrijk:

if you create a really powerful optimization process

als je een echt krachtig optimalisatieproces creëert

to maximize for objective x,

om objectief x te maximaliseren,

you better make sure that your definition of x

kun je er beter voor zorgen dat je definitie van x

incorporates everything you care about.

alles omvat waar je om geeft.

This is a lesson that's also taught in many a myth.

Deze les vind je terug in een aantal mythes.

King Midas wishes that everything he touches be turned into gold.

Koning Midas wenst dat alles wat hij aanraakt, verandert in goud.

He touches his daughter, she turns into gold.

Hij raakt zijn dochter aan, ze verandert in goud.

He touches his food, it turns into gold.

Hij raakt zijn eten aan, het verandert in goud.

This could become practically relevant,

Dit kan praktisch relevant worden,

not just as a metaphor for greed,

niet alleen als metafoor voor hebzucht,

but as an illustration of what happens

maar als voorbeeld van wat er gebeurt

if you create a powerful optimization process

als je een krachtig optimalisatieproces creëert

and give it misconceived or poorly specified goals.

en het onjuiste of slecht omschreven doelen geef.

Nu zou je kunnen zeggen dat als een computer elektroden

Now you might say, if a computer starts sticking electrodes into people's faces,

in de gezichten van mensen begint te steken,

we'd just shut it off.

we hem gewoon uitschakelen.

A, this is not necessarily so easy to do if we've grown dependent on the system --

A: misschien niet zo gemakkelijk om doen

als we te afhankelijk van het systeem zijn geworden -

like, where is the off switch to the Internet?

zoals, waar is de uitschakelaar van het internet?

B, why haven't the chimpanzees flicked the off switch to humanity,

B: waarom hebben de chimpansees of de neanderthalers

or the Neanderthals?

de schakelaar voor de mensheid niet uitgezet?

They certainly had reasons.

Ze hadden zeker redenen.

We have an off switch, for example, right here.

We hebben een uitschakelaar, deze bijvoorbeeld.

(Choking)

(Knijpt keel toe)

The reason is that we are an intelligent adversary;

Wij zijn intelligente tegenstanders.

we can anticipate threats and plan around them.

Wij kunnen anticiperen op bedreigingen en ze zo vermijden.

But so could a superintelligent agent,

Maar een superintelligentie kan dat ook,

and it would be much better at that than we are.

en veel beter dan wij.

The point is, we should not be confident that we have this under control here.

We moeten er niet te zeker van zijn dat we dit onder controle houden.

And we could try to make our job a little bit easier by, say,

We kunnen proberen ons werk te vergemakkelijken door bijvoorbeeld

putting the A.I. in a box,

de AI in een doos te stoppen,

like a secure software environment,

een veilige softwareomgeving,

a virtual reality simulation from which it cannot escape.

een virtual reality simulatie van waaruit ze niet kan ontsnappen.

But how confident can we be that the A.I. couldn't find a bug.

Maar hoe zeker kunnen we zijn dat de AI daar geen bug in zou vinden?

Given that merely human hackers find bugs all the time,

Zelfs louter menselijke hackers vinden de hele tijd bugs.

I'd say, probably not very confident.

Daar moeten we maar niet te zelfverzekerd in zijn.

So we disconnect the ethernet cable to create an air gap,

De ethernet-kabel loskoppelen en een luchtspleet maken?

but again, like merely human hackers

Nogmaals, louter menselijke hackers

omzeilen de hele tijd luchtspleten door ‘social engineering’.

routinely transgress air gaps using social engineering.

Right now, as I speak,

Ik ben er zeker van dat op dit eigenste moment

I'm sure there is some employee out there somewhere

een werknemer ergens haar accountgegevens meedeelt

who has been talked into handing out her account details

by somebody claiming to be from the I.T. department.

aan iemand die beweert van de IT-afdeling te zijn.

More creative scenarios are also possible,

Nog creatievere scenario's zijn mogelijk,

like if you're the A.I.,

Als AI zou je kunnen bedenken hoe je,

you can imagine wiggling electrodes around in your internal circuitry

door wat met je elektroden in je interne circuit te wiebelen,

to create radio waves that you can use to communicate.

radiogolven kunt maken om te communiceren.

Or maybe you could pretend to malfunction,

Of misschien kan je een storing simuleren,

and then when the programmers open you up to see what went wrong with you,

en wanneer de programmeurs je openen om te zien wat er mis ging

they look at the source code -- Bam! --

en kijken naar de broncode, kan - Bam! -

the manipulation can take place.

de manipulatie plaatsvinden.

Or it could output the blueprint to a really nifty technology,

Of ze kan de blauwdruk ontwerpen voor een echt handige technologie,

and when we implement it,

en zodra we ze implementeren,

it has some surreptitious side effect that the A.I. had planned.

heeft ze een aantal heimelijke neveneffecten die de AI had gepland.

The point here is that we should not be confident in our ability

Het komt erop neer dat we er niet op mogen vertrouwen

to keep a superintelligent genie locked up in its bottle forever.

dat we een superintelligente geest

voor altijd in zijn fles opgesloten kunnen houden.

Sooner or later, it will out.

Vroeg of laat ontsnapt hij.

I believe that the answer here is to figure out

Het antwoord hierop is, achterhalen hoe

how to create superintelligent A.I. such that even if -- when -- it escapes,

je een superintelligente AI zo ontwerpt dat zelfs als - wanneer - ze ontsnapt,

it is still safe because it is fundamentally on our side

ze nog veilig is doordat ze fundamenteel aan onze kant staat,

because it shares our values.

ze onze waarden deelt.

I see no way around this difficult problem.

Ik zie geen manier om dit moeilijke probleem uit de weg te gaan.

Now, I'm actually fairly optimistic that this problem can be solved.

Maar ik ben eigenlijk vrij optimistisch dat dit probleem kan worden opgelost.

We wouldn't have to write down a long list of everything we care about,

Het zal niet nodig zijn een lange lijst van alles waar we om geven op te stellen,

or worse yet, spell it out in some computer language

of erger nog, ze in een computertaal

like C++ or Python,

zoals C++ of Python op te schrijven,

that would be a task beyond hopeless.

dat zou een hopeloze taak zijn.

Instead, we would create an A.I. that uses its intelligence

We moeten een AI creëren die haar intelligentie gebruikt

to learn what we value,

om te leren wat wij waarderen,

and its motivation system is constructed in such a way that it is motivated

en haar motivatiesysteem zo construeren dat ze gemotiveerd is

to pursue our values or to perform actions that it predicts we would approve of.

om onze waarden na te streven of om te doen wat wij zouden goedkeuren.

We would thus leverage its intelligence as much as possible

We zouden haar intelligentie als hefboom gebruiken om zo veel mogelijk

to solve the problem of value-loading.

het probleem van 'waardenopslag' op te lossen.

This can happen,

Dit kan,

and the outcome could be very good for humanity.

en de uitkomst zou zeer goed voor de mensheid kunnen zijn.

But it doesn't happen automatically.

Maar het gebeurt niet automatisch.

The initial conditions for the intelligence explosion

De initiële voorwaarden voor de intelligentie-explosie

might need to be set up in just the right way

moeten op de juiste manier worden opgezet

if we are to have a controlled detonation.

als we een gecontroleerde ontploffing willen.

De waarden van die AI moeten passen bij de onze,

The values that the A.I. has need to match ours,

niet alleen in de vertrouwde context,

not just in the familiar context,

like where we can easily check how the A.I. behaves,

waar we het gedag van de AI gemakkelijk kunnen controleren,

but also in all novel contexts that the A.I. might encounter

maar ook in alle nieuwe contexten die de AI zou kunnen tegenkomen

in the indefinite future.

in de onbepaalde toekomst.

And there are also some esoteric issues that would need to be solved, sorted out:

Een aantal esoterische kwesties moeten worden opgelost:

de exacte details van haar beslissingstheorie,

the exact details of its decision theory,

how to deal with logical uncertainty and so forth.

hoe omgaan met logische onzekerheid, enzovoort, enzovoort.

So the technical problems that need to be solved to make this work

De technische problemen om dit te laten werken

look quite difficult --

lijken heel moeilijk -

not as difficult as making a superintelligent A.I.,

niet zo moeilijk als het maken van een superintelligente AI,

but fairly difficult.

maar behoorlijk moeilijk.

Here is the worry:

Hier is de zorg:

Making superintelligent A.I. is a really hard challenge.

Het maken van superintelligente AI is echt een lastige uitdaging.

Making superintelligent A.I. that is safe

Een veilige superintelligente AI maken,

involves some additional challenge on top of that.

houdt daarenboven een extra uitdaging in.

The risk is that if somebody figures out how to crack the first challenge

Het risico bestaat dat iemand de eerste uitdaging oplost

without also having cracked the additional challenge

zonder de extra uitdaging van perfecte veiligheid

of ensuring perfect safety.

te hebben opgelost.

So I think that we should work out a solution

Ik denk dat we dat controleprobleem

to the control problem in advance,

vooraf moeten oplossen,

so that we have it available by the time it is needed.

zodat we erover beschikken tegen de tijd dat het nodig is.

Now it might be that we cannot solve the entire control problem in advance

Misschien kan het hele controleprobleem niet op voorhand worden opgelost

because maybe some elements can only be put in place

omdat sommige elementen misschien pas kunnen worden aangebracht

once you know the details of the architecture where it will be implemented.

als we de details kennen van de architectuur,

waarin het zal worden uitgevoerd.

But the more of the control problem that we solve in advance,

Maar hoe beter we het controleprobleem vooraf oplossen,

the better the odds that the transition to the machine intelligence era

hoe groter de kans dat de overgang naar machine-intelligentie

will go well.

goed zal verlopen.

This to me looks like a thing that is well worth doing

Dit lijkt me iets dat zeker de moeite waard is

and I can imagine that if things turn out okay,

en ik kan me voorstellen dat als alles goed afloopt,

that people a million years from now look back at this century

mensen een miljoen jaar na nu naar deze eeuw terugkijken

and it might well be that they say that the one thing we did that really mattered

en zeggen dat het enige wat we deden dat er echt toe deed,

was to get this thing right.

was dit ding in orde krijgen.

Thank you.

Dankjewel.

(Applause)

(Applaus)