How to get empowered, not overpowered, by AI | Max Tegmark

Vertaald door: Rik Delaet Nagekeken door: Axel Saffran

After 13.8 billion years of cosmic history,

Na 13,8 miljard jaar kosmische geschiedenis

is ons universum wakker geworden

our universe has woken up

and become aware of itself.

en zich bewust geworden van zichzelf.

From a small blue planet,

Vanuit een kleine blauwe planeet

tiny, conscious parts of our universe have begun gazing out into the cosmos

begonnen kleine, bewuste delen van ons universum naar de kosmos te staren

with telescopes,

en ontdekten met telescopen iets dat nederig maakt.

discovering something humbling.

We've discovered that our universe is vastly grander

We ontdekten dat ons universum veel, veel groter was

than our ancestors imagined

dan onze voorouders dachten

and that life seems to be an almost imperceptibly small perturbation

en dat het leven een bijna onmerkbaar kleine verstoring lijkt te zijn

on an otherwise dead universe.

in een verder doods universum.

But we've also discovered something inspiring,

Maar we ontdekten ook iets inspirerends,

which is that the technology we're developing has the potential

namelijk dat onze technologie het leven

to help life flourish like never before,

kon laten floreren als nooit tevoren,

not just for centuries but for billions of years,

niet alleen voor eeuwen, maar voor miljarden jaren

and not just on earth but throughout much of this amazing cosmos.

en niet alleen op aarde, maar in een groot deel van deze geweldige kosmos.

I think of the earliest life as "Life 1.0"

Ik denk aan dat eerste leven als ‘Leven 1.0’

because it was really dumb,

want het was echt dom,

like bacteria, unable to learn anything during its lifetime.

zoals bacteriën, niet in staat om tijdens de levensduur iets te leren.

I think of us humans as "Life 2.0" because we can learn,

Ik zie ons mensen als ‘Leven 2.0’ omdat we kunnen leren,

which we in nerdy, geek speak,

wat wij in computerjargon

might think of as installing new software into our brains,

zouden zien als het installeren van nieuwe software in onze hersenen,

like languages and job skills.

zaken als talen en beroepsvaardigheden.

"Life 3.0," which can design not only its software but also its hardware

‘Het leven 3.0’ kan dan zijn software, maar ook zijn hardware ontwerpen.

of course doesn't exist yet.

Natuurlijk bestaat dat nog niet.

But perhaps our technology has already made us "Life 2.1,"

Maar misschien heeft onze technologie ons toch al ‘Leven 2.1’ bezorgd

with our artificial knees, pacemakers and cochlear implants.

met onze kunstknieën, pacemakers en cochleaire implantaten.

So let's take a closer look at our relationship with technology, OK?

Laten we eens een kijkje nemen op onze relatie met technologie, oké?

As an example,

Bijvoorbeeld:

the Apollo 11 moon mission was both successful and inspiring,

de Apollo 11-maanmissie was zowel succesvol als inspirerend,

waaruit blijkt dat wanneer wij mensen verstandig gebruik maken van technologie,

showing that when we humans use technology wisely,

we can accomplish things that our ancestors could only dream of.

we dingen kunnen verwezenlijken waarvan onze voorouders slechts konden dromen.

But there's an even more inspiring journey

Maar er is een nog inspirerender reis

propelled by something more powerful than rocket engines,

aangedreven door iets dat machtiger is dan raketmotoren,

where the passengers aren't just three astronauts

waar de passagiers niet slechts drie astronauten

but all of humanity.

maar de hele mensheid is.

Let's talk about our collective journey into the future

Laten we praten over onze gezamenlijke reis naar een toekomst

with artificial intelligence.

met kunstmatige intelligentie.

My friend Jaan Tallinn likes to point out that just as with rocketry,

Mijn vriend Jaan Tallinn wijst er graag op dat net als bij raketten

it's not enough to make our technology powerful.

het niet genoeg is om onze technologie krachtiger te maken.

We also have to figure out, if we're going to be really ambitious,

We moeten ook uitvinden, als we ze echt willen,

how to steer it

hoe ze te sturen

and where we want to go with it.

en waar we ermee naartoe willen.

So let's talk about all three for artificial intelligence:

Laten we daar eens over praten in verband met kunstmatige intelligentie:

the power, the steering and the destination.

de kracht, de besturing en de bestemming.

Let's start with the power.

Laten we beginnen met de kracht.

I define intelligence very inclusively --

Ik definieer intelligentie zeer inclusief --

simply as our ability to accomplish complex goals,

gewoon als ons vermogen om complexe doelen te bereiken,

because I want to include both biological and artificial intelligence.

want ik wil zowel biologische als kunstmatige intelligentie erin opnemen.

And I want to avoid the silly carbon-chauvinism idea

En ik wil af van het domme koolstof-chauvinisme

that you can only be smart if you're made of meat.

dat je alleen slim kunt zijn als je gemaakt bent van vlees.

It's really amazing how the power of AI has grown recently.

Het is echt verbazingwekkend hoe de kracht van KI onlangs is gegroeid.

Just think about it.

Denk er gewoon over na.

Not long ago, robots couldn't walk.

Nog niet zo lang geleden konden robots niet lopen.

Now, they can do backflips.

Nu maken ze achterwaartse salto’s.

Not long ago,

Niet lang geleden

we didn't have self-driving cars.

hadden we geen zelfrijdende auto's.

Now, we have self-flying rockets.

Nu hebben we zelfvliegende raketten.

Not long ago,

Niet lang geleden

AI couldn't do face recognition.

kon KI geen gezichten herkennen.

Now, AI can generate fake faces

Nu kan KI nepgezichten genereren

and simulate your face saying stuff that you never said.

en je gezicht dingen laten zeggen die je nooit hebt gezegd.

Not long ago,

Niet lang geleden

AI couldn't beat us at the game of Go.

kon KI niet van ons winnen bij het Go-spel.

Then, Google DeepMind's AlphaZero AI took 3,000 years of human Go games

Dan absorbeerde Googles DeepMind AlphaZero KI

3.000 jaar van menselijke Go-games

and Go wisdom,

en Go-wijsheid,

ignored it all and became the world's best player by just playing against itself.

negeerde het allemaal

en werd de beste speler ter wereld door simpelweg tegen zichzelf te spelen.

And the most impressive feat here wasn't that it crushed human gamers,

De indrukwekkendste prestatie was hier niet dat het menselijke gamers versloeg,

but that it crushed human AI researchers

maar dat het menselijke Kl-onderzoekers versloeg

who had spent decades handcrafting game-playing software.

die tientallen jaren hadden besteed aan het ontwerpen van spelsoftware.

And AlphaZero crushed human AI researchers not just in Go but even at chess,

En AlphaZero verpletterde menselijke KI-onderzoekers

niet alleen in Go, maar zelfs bij schaken,

which we have been working on since 1950.

waar we al sinds 1950 aan hadden gewerkt.

So all this amazing recent progress in AI really begs the question:

Al die geweldige recente vooruitgang in KI roept echter de vraag op:

How far will it go?

hoe ver zal het gaan?

I like to think about this question

Ik denk graag na over deze vraag

in terms of this abstract landscape of tasks,

in termen van dit abstracte landschap van taken,

where the elevation represents how hard it is for AI to do each task

waar de hoogte aangeeft in hoeverre KI elke taak kan uitvoeren

at human level,

op menselijk niveau,

and the sea level represents what AI can do today.

en de zeespiegel vertegenwoordigt wat KI vandaag kan doen.

De zeespiegel stijgt naarmate KI beter wordt,

The sea level is rising as AI improves,

so there's a kind of global warming going on here in the task landscape.

wat dit taaklandschap doet lijken op een opwarmende aarde.

Kies dus geen job aan de kust uit --

And the obvious takeaway is to avoid careers at the waterfront --

(Laughter)

(Gelach)

which will soon be automated and disrupted.

waar je binnenkort automatisatie en jobverlies kan verwachten.

But there's a much bigger question as well.

Maar er is een nog veel grotere vraag.

How high will the water end up rising?

Hoe hoog zal het water uiteindelijk stijgen?

Will it eventually rise to flood everything,

Zal uiteindelijk alles onderlopen

matching human intelligence at all tasks.

en menselijke intelligentie voor alle taken evenaren?

This is the definition of artificial general intelligence --

Dit is de definitie van kunstmatige algemene intelligentie:

AGI,

KAI.

which has been the holy grail of AI research since its inception.

Dat is vanaf het begin de heilige graal van het KI-onderzoek.

Sommige mensen zeggen:

By this definition, people who say,

"Ah, there will always be jobs that humans can do better than machines,"

"Ach, sommige banen zullen mensen altijd beter kunnen dan machines."

are simply saying that we'll never get AGI.

Die zeggen in feite dat we nooit KAI zullen krijgen.

Sure, we might still choose to have some human jobs

Natuurlijk kunnen we nog steeds zorgen voor een aantal menselijke banen

or to give humans income and purpose with our jobs,

of voor mensen zingeving en inkomen regelen zonder baan,

but AGI will in any case transform life as we know it

maar KAI zal in ieder geval het leven zoals wij dat kennen transformeren

with humans no longer being the most intelligent.

met de mens niet langer als de meest intelligente.

Now, if the water level does reach AGI,

Als het waterpeil KAI zal bereiken,

then further AI progress will be driven mainly not by humans but by AI,

dan zal verdere vooruitgang van KI

meestal niet door mensen, maar door KI zelf gebeuren.

which means that there's a possibility

Dat houdt de mogelijkheid in

that further AI progress could be way faster

dat verdere KI-vooruitgang veel sneller kan gaan

than the typical human research and development timescale of years,

dan door typisch menselijk onderzoek en ontwikkelingsduren van jaren,

raising the controversial possibility of an intelligence explosion

met de omstreden mogelijkheid van een intelligentie-explosie

where recursively self-improving AI

waarbij de recursieve zelfverbetering van KI

rapidly leaves human intelligence far behind,

snel de menselijke intelligentie ver achter zich laat

creating what's known as superintelligence.

en superintelligentie creëert.

Alright, reality check:

Oké, even toetsen aan de werkelijkheid:

Are we going to get AGI any time soon?

staat KAI er snel aan te komen?

Some famous AI researchers, like Rodney Brooks,

Enkele beroemde KI-onderzoekers, zoals Rodney Brooks,

think it won't happen for hundreds of years.

denken dat het niet voor de eerste honderden jaren is.

But others, like Google DeepMind founder Demis Hassabis,

Maar anderen, zoals de oprichter van Google DeepMind, Demis Hassabis,

are more optimistic

zijn optimistischer

and are working to try to make it happen much sooner.

en werken eraan om het veel sneller te laten gebeuren.

And recent surveys have shown that most AI researchers

Recente onderzoeken hebben aangetoond dat de meeste KI-onderzoekers

actually share Demis's optimism,

eigenlijk Demis's optimisme delen.

expecting that we will get AGI within decades,

Ze verwachten KAI binnen enkele tientallen jaren,

so within the lifetime of many of us,

dus nog tijdens het leven van velen van ons.

which begs the question -- and then what?

Wat de vraag oproept: en dan?

What do we want the role of humans to be

Welke rol krijgt de mens toebedeeld

if machines can do everything better and cheaper than us?

als machines alles beter en goedkoper dan wij gaan kunnen doen?

The way I see it, we face a choice.

Zoals ik het zie, staan ​​we voor een keuze.

Een optie is achteroverleunen:

One option is to be complacent.

We can say, "Oh, let's just build machines that can do everything we can do

"Ach, we bouwen alleen machines die alles beter kunnen dan wij

and not worry about the consequences.

en maken ons verder geen zorgen.

Come on, if we build technology that makes all humans obsolete,

Kom nu, als we technologie bouwen die alle mensen overbodig maakt,

what could possibly go wrong?"

wat zou er dan mis kunnen gaan?"

(Laughter)

(Gelach)

But I think that would be embarrassingly lame.

Maar ik denk dat dat beschamend stom zou zijn.

I think we should be more ambitious -- in the spirit of TED.

Ik denk dat we ambitieuzer moeten zijn -- in de geest van TED.

Let's envision a truly inspiring high-tech future

Laten we een echt inspirerende hightech toekomst voor ogen houden

en proberen daar naartoe te sturen.

and try to steer towards it.

This brings us to the second part of our rocket metaphor: the steering.

Dit brengt ons bij het tweede deel van onze raketmetafoor: de besturing.

We're making AI more powerful,

We maken KI krachtiger,

but how can we steer towards a future

maar hoe sturen we naar een toekomst

waar KI de mensheid helpt bloeien in plaats van in problemen te geraken?

where AI helps humanity flourish rather than flounder?

To help with this,

Daarvoor richtte ik mede het 'Toekomst van het Leven Instituut' op.

I cofounded the Future of Life Institute.

It's a small nonprofit promoting beneficial technology use,

Een kleine non-profit voor heilzame technologie.

and our goal is simply for the future of life to exist

Ons doel is gewoon om het leven in stand te houden

and to be as inspiring as possible.

en het zo inspirerend mogelijk te laten zijn.

You know, I love technology.

Want ik hou van technologie.

Technology is why today is better than the Stone Age.

Technologie is de reden waarom het nu beter is dan in de steentijd.

And I'm optimistic that we can create a really inspiring high-tech future ...

Ik ben optimistisch voor een inspirerende hightechtoekomst ...

if -- and this is a big if --

als -- een grote als --

if we win the wisdom race --

als we de wijsheidsrace winnen,

the race between the growing power of our technology

de race tussen de groeiende macht van onze technologie

and the growing wisdom with which we manage it.

en de groeiende wijsheid waarmee wij ermee omgaan.

Maar dit vraagt om een ​​verandering van strategie

But this is going to require a change of strategy

because our old strategy has been learning from mistakes.

want onze oude strategie bestond uit het leren van fouten.

We invented fire,

We vonden het vuur uit,

screwed up a bunch of times --

-- en verbrandden ons wel eens --

invented the fire extinguisher.

maar we vonden de brandblusser uit.

(Laughter)

(Gelach)

We invented the car, screwed up a bunch of times --

De auto was ook niet al te veilig --

invented the traffic light, the seat belt and the airbag,

maar dan kwamen verkeerslichten, gordel en airbag.

but with more powerful technology like nuclear weapons and AGI,

Met krachtiger technologie zoals nucleaire wapens en KAI

learning from mistakes is a lousy strategy,

is leren van fouten een slechte strategie,

vind je niet?

don't you think?

(Gelach)

(Laughter)

Veel beter is het om proactief te zijn in plaats van reactief:

It's much better to be proactive rather than reactive;

plan ahead and get things right the first time

vooruit plannen en alles gelijk goed doen.

because that might be the only time we'll get.

Het is misschien de enige kans die we krijgen.

But it is funny because sometimes people tell me,

Dat is grappig, soms zeggen mensen tegen mij:

"Max, shhh, don't talk like that.

"Max, psst, praat niet zo.

That's Luddite scaremongering."

Dat is bangmakerij voor techniek."

But it's not scaremongering.

Maar het is geen bangmakerij.

It's what we at MIT call safety engineering.

Aan het MIT heten we dat veiligheidstechniek.

Think about it:

Denk eens:

before NASA launched the Apollo 11 mission,

voordat NASA begon met de Apollo 11-missie

they systematically thought through everything that could go wrong

gingen ze systematisch na wat er mis kon gaan

when you put people on top of explosive fuel tanks

als ze mensen bovenop explosieve brandstoftanks zetten

and launch them somewhere where no one could help them.

en ze stuurden naar waar niemand ze nog kon helpen.

And there was a lot that could go wrong.

En er kon veel misgaan.

Was that scaremongering?

Was dat bangmakerij?

No.

Nee.

Het was precies de veiligheidstechniek

That's was precisely the safety engineering

that ensured the success of the mission,

die instond voor het succes van de missie,

and that is precisely the strategy I think we should take with AGI.

en dat is precies de strategie die we volgens mij nodig hebben met KAI.

Think through what can go wrong to make sure it goes right.

Denk na over wat er mis kan gaan om ervoor te zorgen dat het goed gaat.

So in this spirit, we've organized conferences,

In deze geest organiseerden we conferenties en brachten we

bringing together leading AI researchers and other thinkers

toonaangevende KI-onderzoekers en andere denkers samen

to discuss how to grow this wisdom we need to keep AI beneficial.

om te bespreken hoe de wijsheid te ontwikkelen om KI heilzaam te houden.

Our last conference was in Asilomar, California last year

Onze laatste conferentie was vorig jaar in Asilomar in Californië

and produced this list of 23 principles

en gaf ons deze lijst van 23 principes

die sindsdien is ondertekend door meer dan 1000 KI-onderzoekers

which have since been signed by over 1,000 AI researchers

en de belangrijkste industriële leiders.

and key industry leaders,

and I want to tell you about three of these principles.

Ik wil jullie wat vertellen over drie van deze principes.

One is that we should avoid an arms race and lethal autonomous weapons.

Eén is dat we geen wapenwedloop en dodelijke autonome wapens willen.

The idea here is that any science can be used for new ways of helping people

Alle wetenschap kan mensen ofwel op nieuwe manieren helpen

of op nieuwe manieren schaden.

or new ways of harming people.

For example, biology and chemistry are much more likely to be used

Zo worden bijvoorbeeld biologie en scheikunde liever gebruikt

for new medicines or new cures than for new ways of killing people,

voor nieuwe geneesmiddelen of nieuwe geneeswijzen

dan voor nieuwe manieren om mensen te doden,

because biologists and chemists pushed hard --

omdat biologen en chemici hard aandrongen

and successfully --

-- en met succes --

op een verbod op biologische en chemische wapens.

for bans on biological and chemical weapons.

And in the same spirit,

In dezelfde geest willen de meeste

most AI researchers want to stigmatize and ban lethal autonomous weapons.

KI-onderzoekers dodelijke autonome wapens brandmerken en verbieden.

Another Asilomar AI principle

Een ander Asilomar KI-principe

is that we should mitigate AI-fueled income inequality.

is dat we door KI veroorzaakte inkomensongelijkheid moeten inperken.

I think that if we can grow the economic pie dramatically with AI

Als we met KI de economische koek dramatisch kunnen laten groeien,

and we still can't figure out how to divide this pie

maar niet kunnen achterhalen hoe de taart zo te verdelen

so that everyone is better off,

dat iedereen beter af is,

then shame on us.

moeten we beschaamd zijn.

(Applause)

(Applaus)

Alright, now raise your hand if your computer has ever crashed.

Oké, steek je hand op als je computer ooit is gecrasht.

(Laughter)

(Gelach)

Wow, that's a lot of hands.

Wauw, dat zijn veel handen.

Well, then you'll appreciate this principle

Nou, dan zul je wel het principe waarderen

that we should invest much more in AI safety research,

dat we veel meer moeten investeren in veiligheidsonderzoek voor KI.

because as we put AI in charge of even more decisions and infrastructure,

Als we KI verantwoordelijk maken voor meer beslissingen en infrastructuur,

we need to figure out how to transform today's buggy and hackable computers

moeten we uitvissen hoe we de huidige foutgevoelige en hackbare computers

into robust AI systems that we can really trust,

kunnen omvormen tot robuuste, betrouwbare KI-systemen.

because otherwise,

Anders hapert die geweldige technologie en brengt ze ons schade toe

all this awesome new technology can malfunction and harm us,

or get hacked and be turned against us.

of wordt ze gehackt en tegen ons gekeerd.

And this AI safety work has to include work on AI value alignment,

Dit werk voor veilige KI moet ook zorgen dat KI overeenstemt met onze waarden,

because the real threat from AGI isn't malice,

omdat de echte dreiging van KAI niet kwaadaardigheid is,

like in silly Hollywood movies,

zoals in domme Hollywood-films,

but competence --

maar competentie,

AGI accomplishing goals that just aren't aligned with ours.

waarbij KAI eigen doelstellingen gaat nastreven die niet de onze zijn.

For example, when we humans drove the West African black rhino extinct,

Toen wij mensen de West-Afrikaanse zwarte neushoorn tot uitsterven dreven,

we didn't do it because we were a bunch of evil rhinoceros haters, did we?

deden we dat toch niet omdat we allemaal boze neushoornhaters waren, hè?

We did it because we were smarter than them

We deden het omdat wij slimmer waren dan zij

and our goals weren't aligned with theirs.

en onze doelen zijn niet overeenkwamen met de hunne.

But AGI is by definition smarter than us,

Maar KAI is per definitie slimmer dan ons.

so to make sure that we don't put ourselves in the position of those rhinos

Om te vermijden dat ons hetzelfde overkomt als die neushoorns

if we create AGI,

bij het creëren van KAI,

we need to figure out how to make machines understand our goals,

moeten we erachter zien te komen hoe machines onze doelen kunnen begrijpen

adopt our goals and retain our goals.

en onze doelen overnemen en aanhouden.

And whose goals should these be, anyway?

En wiens doelstellingen moeten dat dan worden?

Which goals should they be?

Welke doelen moeten dat zijn?

This brings us to the third part of our rocket metaphor: the destination.

Dat brengt ons bij het derde deel van onze raketmetafoor: de bestemming.

We're making AI more powerful,

We maken KI krachtiger,

proberen te achterhalen hoe het te sturen,

trying to figure out how to steer it,

but where do we want to go with it?

maar waar willen we naartoe?

This is the elephant in the room that almost nobody talks about --

Dat is de hete brij waar iedereen omheen draait

not even here at TED --

-- zelfs hier bij TED --

because we're so fixated on short-term AI challenges.

omdat we zo gefixeerd zijn op de KI-uitdagingen op korte termijn.

Look, our species is trying to build AGI,

Kijk, onze soort probeert KAI te bouwen

motivated by curiosity and economics,

uit nieuwsgierigheid en economie,

but what sort of future society are we hoping for if we succeed?

maar op wat voor toekomstige maatschappij hopen we als het lukt?

We did an opinion poll on this recently,

We hielden onlangs een opiniepeiling hierover

and I was struck to see

en het verbaasde me

that most people actually want us to build superintelligence:

dat de meeste mensen een superintelligentie willen,

AI that's vastly smarter than us in all ways.

die op alle vlakken enorm veel slimmer is dan wijzelf.

Ze vonden bijna allemaal dat we ambitieus moeten zijn

What there was the greatest agreement on was that we should be ambitious

en het leven moesten helpen verspreiden in de kosmos,

and help life spread into the cosmos,

but there was much less agreement about who or what should be in charge.

maar er was veel minder overeenstemming over wie of wat de baas moest zijn.

And I was actually quite amused

Ik vond het erg grappig

to see that there's some some people who want it to be just machines.

dat een aantal mensen koos voor 'alleen de machines'.

(Laughter)

(Gelach)

And there was total disagreement about what the role of humans should be,

Er was volstrekt geen overeenstemming over de rol van de mens hierin,

even at the most basic level,

zelfs op het meest basale niveau,

so let's take a closer look at possible futures

dus laten we eens kijken naar mogelijke toekomsten

that we might choose to steer toward, alright?

om naartoe te willen, oké?

So don't get me wrong here.

Begrijp me niet verkeerd.

I'm not talking about space travel,

Ik heb het niet over ruimtereizen,

merely about humanity's metaphorical journey into the future.

slechts over de metaforische reis van de mensheid naar de toekomst.

So one option that some of my AI colleagues like

Een mogelijkheid waar sommige van mijn KI-collega’s van houden,

is to build superintelligence and keep it under human control,

is om superintelligentie te bouwen en onder menselijke controle te houden,

like an enslaved god,

als een tot slaaf gemaakte god,

disconnected from the internet

losgekoppeld van het internet

and used to create unimaginable technology and wealth

en gebruikt om onvoorstelbare technologie en welvaart te creëren

for whoever controls it.

voor wie het controleert.

But Lord Acton warned us

Maar Lord Acton waarschuwde ons

that power corrupts, and absolute power corrupts absolutely,

dat macht corrumpeert en absolute macht absoluut corrumpeert.

so you might worry that maybe we humans just aren't smart enough,

Wellicht zijn wij mensen dus misschien gewoon niet slim genoeg,

of wijs genoeg, beter gezegd,

or wise enough rather,

to handle this much power.

om zoveel macht te beheren.

Also, aside from any moral qualms you might have

Afgezien van wat morele scrupules

about enslaving superior minds,

over het tot slaaf maken van superieure geesten,

you might worry that maybe the superintelligence could outsmart us,

zou de superintelligentie ons misschien te slim af kunnen zijn,

break out and take over.

gaan rebelleren en de boel overnemen.

But I also have colleagues who are fine with AI taking over

Maar sommige collega's zouden het prima vinden dat KI het zou overnemen

and even causing human extinction,

en zelfs menselijk uitsterven veroorzaken,

as long as we feel the the AIs are our worthy descendants,

zolang we voelen dat de KI's onze waardige nakomelingen zijn,

like our children.

net als onze kinderen.

But how would we know that the AIs have adopted our best values

Hoe zouden we weten dat KI's zich zouden vereenzelvigen met onze beste waarden

and aren't just unconscious zombies tricking us into anthropomorphizing them?

en geen onbewuste zombies zijn die ons erin tuinden om ze te antropomorfiseren?

Also, shouldn't those people who don't want human extinction

En hebben de mensen die géén menselijk uitsterven willen

have a say in the matter, too?

hier niets over te zeggen?

Now, if you didn't like either of those two high-tech options,

Als je niet van een van deze twee hightech-opties houdt,

it's important to remember that low-tech is suicide

is het belangrijk om te onthouden dat lowtech zelfmoord is

from a cosmic perspective,

vanuit kosmisch perspectief,

because if we don't go far beyond today's technology,

want als we technisch gaan stilstaan,

the question isn't whether humanity is going to go extinct,

is het niet de vraag of de mensheid zal uitsterven,

maar of dat zal gebeuren

merely whether we're going to get taken out

door de volgende dodelijke asteroïde, supervulkaan,

by the next killer asteroid, supervolcano

or some other problem that better technology could have solved.

of een ander probleem dat betere technologie had opgelost.

So, how about having our cake and eating it ...

Hoe zit met het onderste uit de kan willen ...

with AGI that's not enslaved

met KAI die geen slaaf is,

maar ons goed behandelt, omdat haar waarden ook de onze zijn?

but treats us well because its values are aligned with ours?

This is the gist of what Eliezer Yudkowsky has called "friendly AI,"

Daar komt Eliezer Yudkowsky’s ‘vriendelijke KI’ op neer

and if we can do this, it could be awesome.

en als dit ons lukt, zou het geweldig kunnen zijn.

It could not only eliminate negative experiences like disease, poverty,

Het kon niet alleen een einde maken aan negatieve ervaringen zoals ziekte,

armoede, criminaliteit en ander lijden,

crime and other suffering,

but it could also give us the freedom to choose

maar ze kan ons ook de vrijheid geven om te kiezen

from a fantastic new diversity of positive experiences --

uit een fantastische nieuwe diversiteit aan positieve ervaringen,

basically making us the masters of our own destiny.

waardoor wij in principe de meesters van ons eigen lot zouden worden.

So in summary,

Samengevat:

our situation with technology is complicated,

onze verhouding met technologie is ingewikkeld,

but the big picture is rather simple.

maar het grote plaatje is vrij simpel.

Most AI researchers expect AGI within decades,

De meeste KI-onderzoekers verwachten KAI binnen decennia,

and if we just bumble into this unprepared,

en als we er gewoon onvoorbereid in duikelen,

it will probably be the biggest mistake in human history --

zal het waarschijnlijk de grootste fout in de menselijke geschiedenis zijn.

let's face it.

Laten we eerlijk zijn.

It could enable brutal, global dictatorship

Het zou kunnen leiden tot een wrede, wereldwijde dictatuur

with unprecedented inequality, surveillance and suffering,

met ongekende ongelijkheid, controle en lijden.

and maybe even human extinction.

Misschien zelfs tot menselijk uitsterven.

But if we steer carefully,

Maar als we goed sturen,

we could end up in a fantastic future where everybody's better off:

zou het kunnen uitmonden

in een fantastische toekomst waar iedereen beter af is:

the poor are richer, the rich are richer,

de armen rijker, de rijken rijker,

everybody is healthy and free to live out their dreams.

iedereen gezond en vrij om zijn dromen uit te leven.

Now, hang on.

Nog even volhouden.

Do you folks want the future that's politically right or left?

Wil je een toekomst die politiek rechts of links is?

Do you want the pious society with strict moral rules,

Wil je een vrome samenleving met strikte morele regels

or do you an hedonistic free-for-all,

of wil je hedonistische vrijheid voor iedereen,

more like Burning Man 24/7?

de hele dag feest?

Do you want beautiful beaches, forests and lakes,

Wil je prachtige stranden, bossen en meren

or would you prefer to rearrange some of those atoms with the computers,

of wil je wat atomen met computers herschikken

om virtuele ervaringen mogelijk te maken?

enabling virtual experiences?

With friendly AI, we could simply build all of these societies

Met vriendelijke KI zouden we al deze samenlevingen kunnen bouwen

and give people the freedom to choose which one they want to live in

en mensen de vrijheid geven om te kiezen in welke ze willen wonen.

because we would no longer be limited by our intelligence,

We werden niet langer beperkt door onze intelligentie,

merely by the laws of physics.

enkel de wetten van de fysica.

So the resources and space for this would be astronomical --

De middelen en ruimte hiervoor zouden daarom astronomisch zijn --

literally.

letterlijk.

So here's our choice.

Dus is hier onze keuze.

We can either be complacent about our future,

We kunnen zelfgenoegzaam zijn over onze toekomst,

taking as an article of blind faith

in blind vertrouwen

that any new technology is guaranteed to be beneficial,

dat elke nieuwe technologie gegarandeerd heilzaam is

and just repeat that to ourselves as a mantra over and over and over again

en dat steeds weer als een mantra blijven herhalen

as we drift like a rudderless ship towards our own obsolescence.

terwijl we als een stuurloos schip naar onze eigen aftakeling drijven.

Or we can be ambitious --

Of we kunnen ambitieus zijn:

thinking hard about how to steer our technology

hard nadenken hoe onze technologie te sturen

and where we want to go with it

en waar we ermee naartoe willen

to create the age of amazement.

om een wonderbaarlijk tijdperk te creëren.

We're all here to celebrate the age of amazement,

We zijn hier allemaal ter ere van dat wonderbaarlijke tijdperk

and I feel that its essence should lie in becoming not overpowered

en de essentie daarvan moet niet liggen in 'overweldigd worden',

but empowered by our technology.

maar in 'geweldig worden' door onze technologie.

Thank you.

Dank je.

(Applause)

(Applaus)