Can we build AI without losing control over it? | Sam Harris

Översättare: Anette Smedberg Granskare: Lisbeth Pekkari

I'm going to talk about a failure of intuition

Jag ska prata om en intuitionsbrist

that many of us suffer from.

som många av oss lider av.

It's really a failure to detect a certain kind of danger.

Det är ett misslyckande att upptäcka en viss typ av fara.

I'm going to describe a scenario

Jag ska beskriva ett scenario

that I think is both terrifying

som jag tycker är både skrämmande

and likely to occur,

och förmodligen kommer att ske,

and that's not a good combination,

och det är en dålig kombination,

as it turns out.

som det visar sig.

And yet rather than be scared, most of you will feel

Istället för att bli rädda, kommer många tycka

that what I'm talking about is kind of cool.

att det jag pratar om är ganska häftigt.

I'm going to describe how the gains we make

Jag ska beskriva hur de framsteg vi gör

in artificial intelligence

inom artificiell intelligens

could ultimately destroy us.

till slut kan förgöra oss.

And in fact, I think it's very difficult to see how they won't destroy us

Faktum är, jag tror det är svårt att se att de inte gör det

or inspire us to destroy ourselves.

eller får oss att förgöra oss själva.

And yet if you're anything like me,

Och om du tänker det minsta likt mig,

you'll find that it's fun to think about these things.

tycker du att det här är spännande att tänka på.

And that response is part of the problem.

Den inställningen är en del av problemet.

OK? That response should worry you.

OK? Den inställningen borde oroa dig.

And if I were to convince you in this talk

Om jag i det här föredraget skulle övertyga dig om

that we were likely to suffer a global famine,

att vi kan drabbas av en global svältkatastrof,

either because of climate change or some other catastrophe,

på grund av klimatförändringar eller någon annan katastrof,

and that your grandchildren, or their grandchildren,

och att dina barnbarn, eller deras barnbarn,

are very likely to live like this,

sannolikt skulle leva så här,

you wouldn't think,

då skulle du inte tänka,

"Interesting.

"Intressant.

I like this TED Talk."

Jag gillar föredraget."

Famine isn't fun.

Svält är inte roligt.

Death by science fiction, on the other hand, is fun,

Död i science fiction, å andra sidan, är roligt,

and one of the things that worries me most about the development of AI at this point

och en av de saker som för närvarande oroar mig mest i utvecklingen av AI

is that we seem unable to marshal an appropriate emotional response

är att vi tycks oförmögna att förespråka ett passande emotionellt gensvar

to the dangers that lie ahead.

inför de risker som ligger framför oss.

I am unable to marshal this response, and I'm giving this talk.

Jag kan inte förespråka ett gensvar, och jag håller det här talet.

It's as though we stand before two doors.

Det är som att vi står framför två dörrar.

Behind door number one,

Väljer vi dörr ett,

we stop making progress in building intelligent machines.

slutar vi göra framsteg i utvecklandet av intelligenta maskiner.

Our computer hardware and software just stops getting better for some reason.

Av någon anledning blir vår hård- och mjukvara inte bättre.

Now take a moment to consider why this might happen.

Fundera lite på varför det skulle kunna hända.

I mean, given how valuable intelligence and automation are,

Jag menar, givet värdet av intelligens och automation,

we will continue to improve our technology if we are at all able to.

kommer vi fortsätta utveckla tekniken, om vi kan.

What could stop us from doing this?

Vad skulle kunna stoppa oss?

A full-scale nuclear war?

Ett fullskaligt kärnvapenkrig?

A global pandemic?

En global pandemi?

An asteroid impact?

Ett asteroidnedslag?

Justin Bieber becoming president of the United States?

Justin Bieber blir USAs president?

(Laughter)

(Skratt)

The point is, something would have to destroy civilization as we know it.

Poängen är att, något måste förgöra civilisationen så som vi känner den.

You have to imagine how bad it would have to be

Ni måste föreställa er hur illa det måste vara

to prevent us from making improvements in our technology

för att hindra oss att göra framsteg inom tekniken

permanently,

permanent,

generation after generation.

generation efter generation.

Almost by definition, this is the worst thing

Nästan per definition, är detta det värsta

that's ever happened in human history.

som någonsin inträffat genom historien.

So the only alternative,

Så det enda alternativet,

and this is what lies behind door number two,

är det som finns bakom den andra dörren,

is that we continue to improve our intelligent machines

att vi fortsätter att utveckla våra intelligenta maskiner

year after year after year.

år efter år efter år.

At a certain point, we will build machines that are smarter than we are,

Vid en viss punkt, kommer vi att bygga maskiner som är smartare än vi,

and once we have machines that are smarter than we are,

och när vi väl har dessa smarta maskiner,

they will begin to improve themselves.

kommer de att förbättra sig själva.

And then we risk what the mathematician IJ Good called

Då riskerar vi det matematikern IJ Good kallade,

an "intelligence explosion,"

en "intelligensexplosion",

that the process could get away from us.

dvs att processen går oss ur händerna.

Now, this is often caricatured, as I have here,

Detta skojas ofta bort, som här,

as a fear that armies of malicious robots

som en rädsla för att en armé av ondsinta robotar

will attack us.

kommer att attackera oss.

But that isn't the most likely scenario.

Men det är inte det troligaste scenariot.

It's not that our machines will become spontaneously malevolent.

Våra maskiner kommer inte att bli spontant illvilliga.

The concern is really that we will build machines

Bekymret är att vi kommer att bygga maskiner

that are so much more competent than we are

som är så mycket mer kompetenta än vi

that the slightest divergence between their goals and our own

att den minsta lilla skillnad mellan deras mål och våra

could destroy us.

skulle kunna förgöra oss.

Just think about how we relate to ants.

Tänk bara på vår inställning till myror.

We don't hate them.

Vi hatar inte dem.

We don't go out of our way to harm them.

Vi skadar inte dem medvetet.

In fact, sometimes we take pains not to harm them.

Ibland anstränger vi oss för att inte skada dem.

We step over them on the sidewalk.

Vi kliver över dem på trottoaren.

But whenever their presence

Men så fort deras närvaro

seriously conflicts with one of our goals,

kommer i allvarlig konflikt med våra mål,

let's say when constructing a building like this one,

som till exempel vid husbyggnationer,

we annihilate them without a qualm.

förintar vi dem utan pardon.

The concern is that we will one day build machines

Bekymret är att vi en dag kommer att bygga maskiner

that, whether they're conscious or not,

som, oavsett om de är medvetna eller ej,

could treat us with similar disregard.

skulle kunna behandla oss med samma förakt.

Now, I suspect this seems far-fetched to many of you.

Jag misstänker att det verkar långsökt för många av er.

I bet there are those of you who doubt that superintelligent AI is possible,

Jag slår vad om att en del av er tvivlar på att superintelligent AI är möjlig,

much less inevitable.

än mindre nödvändig.

But then you must find something wrong with one of the following assumptions.

Men då måste ni finna felen med några av följande antaganden.

And there are only three of them.

Det finns bara tre.

Intelligence is a matter of information processing in physical systems.

Intelligens handlar om processandet av information i fysiska system.

Actually, this is a little bit more than an assumption.

Det är egentligen mer än bara ett antagande.

We have already built narrow intelligence into our machines,

Vi använder redan maskininlärning i många maskiner,

and many of these machines perform

och många av dessa maskiner presterar

at a level of superhuman intelligence already.

redan på nivåer långt över mänsklig intelligens.

And we know that mere matter

Och vi vet att materia

can give rise to what is called "general intelligence,"

kan skapa det som kallas "generell intelligens"

an ability to think flexibly across multiple domains,

en förmåga att tänka flexibelt över flera dimensioner,

because our brains have managed it. Right?

eftersom våra hjärnor har klarat det. Eller hur?

I mean, there's just atoms in here,

Jag menar, det är ju bara atomer här inne,

and as long as we continue to build systems of atoms

och så länge vi fortsätter att bygga system av atomer

that display more and more intelligent behavior,

som uppvisar mer och mer intelligens,

we will eventually, unless we are interrupted,

kommer vi till slut, om vi inte blir avbrutna,

we will eventually build general intelligence

ha byggt in generell intelligens

into our machines.

i våra maskiner.

It's crucial to realize that the rate of progress doesn't matter,

Det är viktigt att inse att utvecklingstakten inte spelar någon roll,

because any progress is enough to get us into the end zone.

eftersom minsta framsteg räcker för att nå slutstationen.

We don't need Moore's law to continue. We don't need exponential progress.

Vi behöver inte Moores lag. Utvecklingen behöver inte vara exponentiell.

We just need to keep going.

Vi behöver bara fortsätta framåt.

The second assumption is that we will keep going.

Det andra antagandet är att vi kommer fortsätta.

We will continue to improve our intelligent machines.

Vi fortsätter utvecklingen av de intelligenta maskinerna.

And given the value of intelligence --

Och givet värdet på intelligens -

I mean, intelligence is either the source of everything we value

jag menar, intelligens är antingen summan av allt vi sätter värde på

or we need it to safeguard everything we value.

eller som vi behöver för att skydda det vi värdesätter.

It is our most valuable resource.

Det är vår värdefullaste resurs.

So we want to do this.

Så vi vill göra det här.

We have problems that we desperately need to solve.

Vi har problem som vi desperat måste lösa.

We want to cure diseases like Alzheimer's and cancer.

Vi vill bota sjukdomar som Alzheimers och cancer.

We want to understand economic systems. We want to improve our climate science.

Vi vill förstå de ekonomiska systemen. Vi vill utveckla klimatforskningen.

So we will do this, if we can.

Så vi kommer att göra det, om vi kan.

The train is already out of the station, and there's no brake to pull.

Tåget har redan lämnat stationen, och det finns ingen broms.

Finally, we don't stand on a peak of intelligence,

Slutligen, vi har inte nått intelligensens topp,

or anywhere near it, likely.

vi är troligen inte ens i närheten.

And this really is the crucial insight.

Det är den riktigt kritiska insikten.

This is what makes our situation so precarious,

Det är det här som gör vår situation så vansklig,

and this is what makes our intuitions about risk so unreliable.

och det gör också våra riskantaganden så opålitliga.

Now, just consider the smartest person who has ever lived.

Fundera på den smartaste person som någonsin levt.

On almost everyone's shortlist here is John von Neumann.

En som finns på nästan allas lista är John von Neumann.

I mean, the impression that von Neumann made on the people around him,

Jag menar, de intryck som Neumann gjorde på folk runt honom,

and this included the greatest mathematicians and physicists of his time,

inkluderat de främsta matematikerna och fysikerna under hans levnad,

is fairly well-documented.

är ganska väldokumenterade.

If only half the stories about him are half true,

Om bara hälften av berättelserna om honom är halvsanna,

there's no question

råder det ingen tvekan om

he's one of the smartest people who has ever lived.

att han är en av de smartaste någonsin.

So consider the spectrum of intelligence.

Så fundera på vidden av intelligens.

Here we have John von Neumann.

Här har vi John von Neumann.

And then we have you and me.

Så har vi dig och mig.

And then we have a chicken.

Så har vi kycklingar.

(Laughter)

(Skratt)

Sorry, a chicken.

Ursäkta, en kyckling.

(Laughter)

(Skratt)

There's no reason for me to make this talk more depressing than it needs to be.

Det finns inga skäl att göra föredraget mer deprimerande än det redan är.

(Laughter)

(Skratt)

It seems overwhelmingly likely, however, that the spectrum of intelligence

Det verkar dock mycket troligt, att spektrat av intelligens,

extends much further than we currently conceive,

sträcker sig mycket längre än vi kan föreställa oss idag,

and if we build machines that are more intelligent than we are,

och om vi bygger maskiner som är intelligentare än vi,

they will very likely explore this spectrum

kommer de troligtvis utforska detta spektrum

in ways that we can't imagine,

på sätt som vi inte kan föreställa oss,

and exceed us in ways that we can't imagine.

och överträffa oss på sätt som vi inte kan förstå.

And it's important to recognize that this is true by virtue of speed alone.

Det är viktigt att se att det här är sant genom hastigheten det sker med.

Right? So imagine if we just built a superintelligent AI

Ok? Föreställ er att vi byggt en superintelligent AI

that was no smarter than your average team of researchers

som inte är smartare än din genomsnittliga forskargrupp

at Stanford or MIT.

på Stanford eller MIT.

Well, electronic circuits function about a million times faster

Elektroniska kretsar är ungefär en miljon gånger snabbare

than biochemical ones,

än biokemiska,

so this machine should think about a million times faster

så maskinen skulle tänka ungefär en miljon gånger snabbare

than the minds that built it.

än hjärnorna som byggt den.

So you set it running for a week,

Ni låter den köra i en vecka,

and it will perform 20,000 years of human-level intellectual work,

och den kommer att processa 20 000 år av mänskligt tänkande,

week after week after week.

vecka ut och vecka in.

How could we even understand, much less constrain,

Hur kan vi ens förstå, än mindre begränsa

a mind making this sort of progress?

en kraft som gör sådana framsteg?

The other thing that's worrying, frankly,

Det andra som är uppriktigt oroande,

is that, imagine the best case scenario.

är, föreställ dig ett bästa scenario.

So imagine we hit upon a design of superintelligent AI

Föreställ dig att vi designar en superintelligent AI

that has no safety concerns.

utan säkerhetsproblem.

We have the perfect design the first time around.

Vi har den perfekta designen från början.

It's as though we've been handed an oracle

Det är som att vi skulle få ett orakel

that behaves exactly as intended.

som beter sig exakt som vi avsett.

Well, this machine would be the perfect labor-saving device.

Den här maskinen skulle vara den perfekta "jobbspararen".

It can design the machine that can build the machine

Den kan designa maskinen som kan bygga maskinen

that can do any physical work,

som kan utföra allt fysiskt arbete,

powered by sunlight,

och drivs av solenergi,

more or less for the cost of raw materials.

mer eller mindre till kostnaden för råmaterialet.

So we're talking about the end of human drudgery.

Då pratar vi om slutet av mänsklighetens slit.

We're also talking about the end of most intellectual work.

Och även om slutet för mycket av intellektuellt arbete.

So what would apes like ourselves do in this circumstance?

Så vad ska apor som vi göra under sådana omständigheter?

Well, we'd be free to play Frisbee and give each other massages.

Ja, vi får tid över att kasta frisbee och ge varandra massage.

Add some LSD and some questionable wardrobe choices,

Lägg till lite LSD och några underliga klädesplagg,

and the whole world could be like Burning Man.

och hela världen kan bli som Burning Man.

(Laughter)

(Skratt)

Now, that might sound pretty good,

Ok, det kan låta ganska trevligt,

but ask yourself what would happen

men ställ dig frågan vad som skulle ske

under our current economic and political order?

under våra nuvarande ekonomiska och politiska system?

It seems likely that we would witness

Det verkar troligt att vi skulle bevittna

a level of wealth inequality and unemployment

enorma skillnader i välfärd och tillgång till arbete

that we have never seen before.

som vi aldrig tidigare upplevt.

Absent a willingness to immediately put this new wealth

Saknas en vilja att låta detta nya välstånd

to the service of all humanity,

tjäna hela mänskligheten,

a few trillionaires could grace the covers of our business magazines

kommer några triljonärer att pryda omslagen på våra affärstidningar

while the rest of the world would be free to starve.

medan resten av världen kan få svälta.

And what would the Russians or the Chinese do

Vad skulle ryssarna eller kineserna göra

if they heard that some company in Silicon Valley

om de hörde att ett företag i Silicon Valley

was about to deploy a superintelligent AI?

höll på att sjösätta en superintelligent AI?

This machine would be capable of waging war,

Den maskinen skulle vara kapabel att föra krig,

whether terrestrial or cyber,

antingen på land eller i cyberrymden,

with unprecedented power.

med aldrig tidigare skådad kraft.

This is a winner-take-all scenario.

Det är ett vinnaren-tar-allt scenario.

To be six months ahead of the competition here

Att ligga sex månader före i den tävlingen

is to be 500,000 years ahead,

är att vara 500 000 år före,

at a minimum.

minst.

So it seems that even mere rumors of this kind of breakthrough

Det ser ut som att blott rykten kring denna typ av genombrott

could cause our species to go berserk.

kan leda till att vår art går bärsärk.

Now, one of the most frightening things,

En av de mest skrämmande sakerna,

in my view, at this moment,

enligt min mening, i dag,

are the kinds of things that AI researchers say

är det som forskare inom AI säger

when they want to be reassuring.

när de vill lugna oss.

And the most common reason we're told not to worry is time.

Det vanligaste argumentet för att vi inte ska oroa oss handlar om tid.

This is all a long way off, don't you know.

Det här ligger långt fram, vet du väl.

This is probably 50 or 100 years away.

Det här är säkert 50 eller 100 år bort.

One researcher has said,

En forskare har sagt,

"Worrying about AI safety

"Att oroa sig för AI-säkerhet är

is like worrying about overpopulation on Mars."

som att oroa sig för ett överbefolkat Mars."

This is the Silicon Valley version

Det är Silicon Valley-versionen av

of "don't worry your pretty little head about it."

"oroa inte ditt söta lilla huvud."

(Laughter)

(Skratt)

No one seems to notice

Ingen verkar uppmärksamma att,

that referencing the time horizon

att referera till tidsaspekten

is a total non sequitur.

är ett "Goddag yxskaft"-svar.

If intelligence is just a matter of information processing,

Om intelligens bara handlar om att processa information,

and we continue to improve our machines,

och vi fortsätter att utveckla våra maskiner,

we will produce some form of superintelligence.

kommer vi till slut skapa någon form av superintelligens.

And we have no idea how long it will take us

Vi har ingen aning om hur lång tid det kommer att ta

to create the conditions to do that safely.

att skapa villkoren för att göra det riskfritt.

Let me say that again.

Jag tar det en gång till.

We have no idea how long it will take us

Vi vet inte hur lång tid det kommer att ta

to create the conditions to do that safely.

för att skapa de säkra villkoren.

And if you haven't noticed, 50 years is not what it used to be.

Du har kanske inte noterat det, men 50 år är inte vad det brukade vara.

This is 50 years in months.

Det här är 50 år i månader.

This is how long we've had the iPhone.

Så här länge har vi haft iPhone.

This is how long "The Simpsons" has been on television.

Så här länge har "Simpsons" visats på TV.

Fifty years is not that much time

50 år är inte så lång tid

to meet one of the greatest challenges our species will ever face.

att möta den största utmaningen mänskligheten någonsin skådat.

Once again, we seem to be failing to have an appropriate emotional response

Än en gång, vi verkar inte kunna uppbåda ett passande emetionellt gensvar

to what we have every reason to believe is coming.

för den framtid vi har all anledning att tro kommer.

The computer scientist Stuart Russell has a nice analogy here.

Datorforskaren Stuart Russell drar en intressant parallell.

He said, imagine that we received a message from an alien civilization,

Han sade, föreställ er att vi fick ett meddelande från en främmande civilisation,

which read:

som sade:

"People of Earth,

"Människor på Jorden,

we will arrive on your planet in 50 years.

vi kommer att landa på er planet om 50 år.

Get ready."

Gör er redo."

And now we're just counting down the months until the mothership lands?

Och nu räknar vi bara ner månaderna tills moderskeppet landar?

We would feel a little more urgency than we do.

Vi borde förstå att det brådskar mer än vad vi gör.

Another reason we're told not to worry

Vi hör att vi inte behöver oroa oss

is that these machines can't help but share our values

för maskinerna kommer att dela våra värderingar

because they will be literally extensions of ourselves.

eftersom de kommer att vara en förlängning av oss.

They'll be grafted onto our brains,

De kommer att ympas in i våra hjärnor,

and we'll essentially become their limbic systems.

och vi kommer att vara deras limbiska system.

Now take a moment to consider

Reflektera nu över

that the safest and only prudent path forward,

att den tryggaste och förståndigaste vägen framåt,

recommended,

som förespråkas,

is to implant this technology directly into our brains.

är att operera in tekniken direkt i våra hjärnor.

Now, this may in fact be the safest and only prudent path forward,

Det kanske är den tryggaste och smartaste vägen att ta,

but usually one's safety concerns about a technology

men vanligtvis måste säkerhetsriskerna med en teknik

have to be pretty much worked out before you stick it inside your head.

vara ordentligt utredda innan man stoppar in den i hjärnan.

(Laughter)

(Skratt)

The deeper problem is that building superintelligent AI on its own

Det djupare problemet är att utveckla en fristående superintelligent AI

seems likely to be easier

förmodligen är enklare

than building superintelligent AI

än att utveckla superintelligent AI

and having the completed neuroscience

och ha koll på neurovetenskapen

that allows us to seamlessly integrate our minds with it.

som låter oss sömlöst integrera våra sinnen med den.

And given that the companies and governments doing this work

Givet att företag och stater som står för vetenskapen

are likely to perceive themselves as being in a race against all others,

sannolikt kommer att uppfatta sig vara i kamp med alla andra,

given that to win this race is to win the world,

givet att genom att vinna kapplöpningen vinner man världen,

provided you don't destroy it in the next moment,

förutsatt att de inte förstör den i nästa steg,

then it seems likely that whatever is easier to do

då verkar det troligt att allt som är enklare att göra

will get done first.

kommer att göras först.

Now, unfortunately, I don't have a solution to this problem,

Tyvärr har jag ingen lösning på det här problemet,

apart from recommending that more of us think about it.

mer än att fler av oss måste fundera på det.

Jag tror vi behöver ett Manhattan-projekt

I think we need something like a Manhattan Project

on the topic of artificial intelligence.

på temat artificiell intelligens.

Not to build it, because I think we'll inevitably do that,

Inte för att bygga den, det tror jag oundvikligen vi gör,

but to understand how to avoid an arms race

men för att förstå hur vi ska undvika en kapprustning

and to build it in a way that is aligned with our interests.

och för att utveckla den i linje med våra egna intressen.

When you're talking about superintelligent AI

När man pratar om superintelligent AI

that can make changes to itself,

som kan förändra sig själv,

it seems that we only have one chance to get the initial conditions right,

verkar det som att vi bara har en chans att få det rätt från början,

and even then we will need to absorb

och även då måste vi sätta oss in i

the economic and political consequences of getting them right.

och lösa de ekonomiska och politiska konsekvenserna.

But the moment we admit

Men i den stund vi tillstår

that information processing is the source of intelligence,

att informationsbearbetning är källan till intelligens,

that some appropriate computational system is what the basis of intelligence is,

att något datorstyrt beräkningsprogram är basen för intelligens,

and we admit that we will improve these systems continuously,

och att vi kommer att förbättra dessa system kontinuerligt,

and we admit that the horizon of cognition very likely far exceeds

och vi erkänner att kognitionshorisonten vida överstiger

what we currently know,

vad vi vet idag,

then we have to admit

då måste vi också erkänna

that we are in the process of building some sort of god.

att vi är i färd med att skapa någon form av gud.

Now would be a good time

Nu borde vara ett bra tillfälle att

to make sure it's a god we can live with.

se till att det är en gud vi vill ha.

Thank you very much.

Tack så mycket.

(Applause)

(Applåder)