Can we build AI without losing control over it? | Sam Harris

Translator: Marcos Morales Pallares Reviewer: Elena Pérez Gómez

Tot seguit parlaré sobre una manca d'intuïció

I'm going to talk about a failure of intuition

that many of us suffer from.

que molts de nosaltres patim.

It's really a failure to detect a certain kind of danger.

És una dificultat per detectar un tipus de perill específic.

I'm going to describe a scenario

Imagineu-vos el següent escenari,

que jo crec que és esgarrifós

that I think is both terrifying

and likely to occur,

i alhora ben probable.

and that's not a good combination,

Això no és pas una bona combinació

as it turns out.

pel que sembla.

I enlloc d'espantar-vos, molts creureu

And yet rather than be scared, most of you will feel

that what I'm talking about is kind of cool.

que allò del que parlo és divertit.

I'm going to describe how the gains we make

M'agradaria explicar que els avenços que fem

in artificial intelligence

en intel·ligència artificial

poden acabar destruint-nos.

could ultimately destroy us.

And in fact, I think it's very difficult to see how they won't destroy us

I de fet, crec que és ben difícil no veure com no ens poden destruir

or inspire us to destroy ourselves.

o fer que ens autodestruïm.

And yet if you're anything like me,

Tot i així, si penseu com jo,

you'll find that it's fun to think about these things.

veureu que és distret pensar en aquestes coses.

And that response is part of the problem.

I aquesta és la resposta que és part del problema.

OK? That response should worry you.

És la que hauria d'amoïnar-vos.

And if I were to convince you in this talk

I si us hagués de convèncer amb aquesta xerrada

that we were likely to suffer a global famine,

de que és ben possible que arribem a patir una fam mundial,

ja sigui pel canvi climàtic o per qualsevol altra catàstrofe,

either because of climate change or some other catastrophe,

i que els vostres néts, o els seus néts,

and that your grandchildren, or their grandchildren,

are very likely to live like this,

probablement viuran així,

you wouldn't think,

no pensaríeu:

"Interesting.

"Interessant.

I like this TED Talk."

M'agrada aquesta xerrada TED."

Famine isn't fun.

La fam no és divertida.

Death by science fiction, on the other hand, is fun,

La mort en la ciència ficció, en canvi, sí que ho és,

and one of the things that worries me most about the development of AI at this point

i el que més em preocupa sobre el progrés de la IA ara mateix

is that we seem unable to marshal an appropriate emotional response

és que no sembla que siguem capaços de respondre com cal a nivell emocional

to the dangers that lie ahead.

als perills que ens esperen.

No sóc capaç de respondre-hi i ara em trobo donant aquesta xerrada.

I am unable to marshal this response, and I'm giving this talk.

És com si ens trobéssim davant dues portes.

It's as though we stand before two doors.

Behind door number one,

Rera la porta número u,

deixem de progressar i de construir màquines intel·ligents.

we stop making progress in building intelligent machines.

Our computer hardware and software just stops getting better for some reason.

El nostre maquinari i programari deixa de millorar per alguna raó.

Now take a moment to consider why this might happen.

Penseu durant uns instants per què podria passar això.

Vull dir, ja que la intel·ligència i la automatització són tan valuoses,

I mean, given how valuable intelligence and automation are,

we will continue to improve our technology if we are at all able to.

seguirem millorant la tecnologia sempre que siguem sent capaços.

What could stop us from doing this?

Què podria impedir-nos-ho?

A full-scale nuclear war?

Potser una guerra nuclear mundial?

O una gran epidèmia?

A global pandemic?

An asteroid impact?

L'impacte d'un asteroide?

Justin Bieber becoming president of the United States?

Justin Bieber com president dels Estats Units?

(Laughter)

(Riures)

The point is, something would have to destroy civilization as we know it.

Alguna cosa hauria de destruir la civilització tal i com la coneixem.

You have to imagine how bad it would have to be

Imagineu-vos com de greu hauria de ser

to prevent us from making improvements in our technology

per impedir-nos seguir millorant la tecnologia

de forma permanent,

permanently,

generation after generation.

generació rera generació.

Almost by definition, this is the worst thing

Quasi per definició, es tracta del pitjor

that's ever happened in human history.

que podria arribar a patir la humanitat.

So the only alternative,

Però l'única alternativa,

and this is what lies behind door number two,

que es troba darrera la porta número dos,

is that we continue to improve our intelligent machines

és seguir millorant la intel·ligència de les màquines

year after year after year.

any rere any.

At a certain point, we will build machines that are smarter than we are,

En algun moment, construirem màquines més intel·ligents que nosaltres,

i un cop les màquines ens superin,

and once we have machines that are smarter than we are,

they will begin to improve themselves.

es milloraran a elles mateixes.

And then we risk what the mathematician IJ Good called

I el que el matemàtic IJ Good anomenava com

an "intelligence explosion,"

"l'explosió de la intel·ligència",

that the process could get away from us.

pot succeir fent que les màquines ens superin amb escreix.

Aquest fet sovint es representa com jo ho he fet aquí,

Now, this is often caricatured, as I have here,

as a fear that armies of malicious robots

imaginant que exèrcits de robots malèvols

will attack us.

ens ataquen.

But that isn't the most likely scenario.

Però aquest no és l'escenari més probable.

It's not that our machines will become spontaneously malevolent.

No crec que les màquines de cop i volta es tornin malèfiques.

Em preocupa més que arribem a construir màquines

The concern is really that we will build machines

that are so much more competent than we are

que són molt més competents que nosaltres

that the slightest divergence between their goals and our own

i que la més subtil de les divergències entre els seus objectius i els nostres

could destroy us.

puguin arribar a destruir-nos.

Just think about how we relate to ants.

Penseu només en com tractem a les formigues.

We don't hate them.

No les odiem pas.

We don't go out of our way to harm them.

No sortim del camí per fer-les-hi mal.

In fact, sometimes we take pains not to harm them.

Fins i tot patim mals de cap per no esclafar-les

We step over them on the sidewalk.

i les saltem quan caminem per la vorera.

But whenever their presence

Però quan la seva presència

seriously conflicts with one of our goals,

entra en conflicte amb els nostres objectius,

let's say when constructing a building like this one,

per exemple si volem construir un edifici,

we annihilate them without a qualm.

les exterminem sense cap prejudici.

The concern is that we will one day build machines

El que em preocupa és que un dia construirem màquines

that, whether they're conscious or not,

que tant si són conscients com si no ho són,

could treat us with similar disregard.

podrien arribar a menysprear-nos així.

Now, I suspect this seems far-fetched to many of you.

Crec que això queda molt lluny per molts de vosaltres.

I bet there are those of you who doubt that superintelligent AI is possible,

Inclús crec que molts de vosaltres dubteu que la superintel·ligència sigui possible,

much less inevitable.

i menys encara inevitable.

But then you must find something wrong with one of the following assumptions.

Però en aquest cas heu de trobar quelcom erroni en una d'aquestes suposicions:

And there are only three of them.

I només n'hi ha tres:

Intelligence is a matter of information processing in physical systems.

La intel·ligència consisteix en processar informació en sistemes físics.

Actually, this is a little bit more than an assumption.

De fet, això és quelcom més que una suposició.

We have already built narrow intelligence into our machines,

Ja hem incorporat petites intel·ligències en les nostres màquines,

and many of these machines perform

i moltes d'elles tenen un rendiment superior

at a level of superhuman intelligence already.

a un nivell d'intel·ligència suprahumana.

And we know that mere matter

I ja sabem que la mera matèria

can give rise to what is called "general intelligence,"

pot donar lloc a la "intel·ligència general",

és a dir l'habilitat de pensar amb flexibilitat en diversos camps.

an ability to think flexibly across multiple domains,

because our brains have managed it. Right?

Al cap i a la fi els nostres cervells ho han aconseguit, cert?

I mean, there's just atoms in here,

És a dir, només hi ha àtoms aquí,

and as long as we continue to build systems of atoms

i sempre i quan seguim construint sistemes a base d'àtoms

that display more and more intelligent behavior,

que es comporten de forma cada cop més intel·ligent,

en algun moment, si res no ho impedeix,

we will eventually, unless we are interrupted,

we will eventually build general intelligence

en algun moment construirem intel·ligència artificial

en les nostres màquines.

into our machines.

It's crucial to realize that the rate of progress doesn't matter,

És de vital importància adonar-se'n que el ritme de progrés no importa,

perquè qualsevol progrés ens acabarà portant a l'altre extrem.

because any progress is enough to get us into the end zone.

We don't need Moore's law to continue. We don't need exponential progress.

No ens cal la llei de Moore per continuar. No ens cal un progrés exponencial.

Només ens cal seguir avançant.

We just need to keep going.

The second assumption is that we will keep going.

La segona suposició és que seguirem avançant.

Seguirem millorant les màquines intel·ligents.

We will continue to improve our intelligent machines.

I donat el valor que té la intel·ligència,

And given the value of intelligence --

I mean, intelligence is either the source of everything we value

és a dir, ja que la intel·ligència és la font de tot el que valorem

or we need it to safeguard everything we value.

i la necessitem per salvaguardar tot el que ens importa.

It is our most valuable resource.

És el recurs més valuós de que disposem.

Així doncs, volem que avanci.

So we want to do this.

We have problems that we desperately need to solve.

Tenim problemes que hem de solucionar desesperadament.

We want to cure diseases like Alzheimer's and cancer.

Volem guarir malalties com l'Alzheimer i el càncer.

We want to understand economic systems. We want to improve our climate science.

Volem entendre sistemes econòmics. Volem millorar la ciència del clima.

So we will do this, if we can.

Així doncs ho farem si podem.

The train is already out of the station, and there's no brake to pull.

El tren ja ha sortit de l'estació i no hi ha manera de que pari.

Finally, we don't stand on a peak of intelligence,

I per últim, no ens trobem al cim de la nostra intel·ligència,

or anywhere near it, likely.

o en qualsevol punt que s'hi acosti.

And this really is the crucial insight.

I això és la clau de la qüestió.

This is what makes our situation so precarious,

És el que fa que la nostra situació sigui tan precària,

and this is what makes our intuitions about risk so unreliable.

i és el que fa que les nostres intuïcions sobre aquest risc siguin tan poc fiables.

Penseu en la persona més intel·ligent que mai ha viscut.

Now, just consider the smartest person who has ever lived.

On almost everyone's shortlist here is John von Neumann.

Molts de vosaltres haureu considerat a en John von Neumann.

La impressió que va causar en von Neumann al seu voltant,

I mean, the impression that von Neumann made on the people around him,

and this included the greatest mathematicians and physicists of his time,

i això inclou als més grans matemàtics i físics de la seva època,

is fairly well-documented.

està ben documentada.

If only half the stories about him are half true,

Si només la meitat de les històries sobre ell són certes,

there's no question

no hi ha cap dubte

he's one of the smartest people who has ever lived.

que és una de les persones més brillants.

Considerem l'espectre d'intel·ligència.

So consider the spectrum of intelligence.

Here we have John von Neumann.

Tenim en John von Neumann.

And then we have you and me.

I aquí estem nosaltres.

I aquí un pollastre.

And then we have a chicken.

(Laughter)

(Riures)

Sorry, a chicken.

Perdó, un pollastre.

(Laughter)

(Riures)

There's no reason for me to make this talk more depressing than it needs to be.

No hi ha cap necessitat de fer aquesta xerrada més depriment del que pot ser.

(Laughter)

(Riures)

It seems overwhelmingly likely, however, that the spectrum of intelligence

Sembla que està ben clar que l'espectre de la intel·ligència

extends much further than we currently conceive,

s'estén molt més enllà del que considerem actualment,

and if we build machines that are more intelligent than we are,

i si construïm màquines que són més intel·ligents que nosaltres,

molt probablement exploraran aquest espectre

they will very likely explore this spectrum

in ways that we can't imagine,

de maneres que no podem imaginar,

and exceed us in ways that we can't imagine.

i ens superaran de maneres que tampoc podem imaginar.

I hem de reconèixer que això és així només en base a la velocitat.

And it's important to recognize that this is true by virtue of speed alone.

Right? So imagine if we just built a superintelligent AI

D'acord? Doncs imagineu que hem construit una IA superintel·ligent

that was no smarter than your average team of researchers

que no és més brillant que la majoria d'equips de recerca

at Stanford or MIT.

de Stanford o del MIT.

Well, electronic circuits function about a million times faster

Els circuits electrònics són un milió de vegades més ràpids

than biochemical ones,

que les ones bioquímiques,

so this machine should think about a million times faster

així, aquesta màquina pensaria un milió de cops més depressa

than the minds that built it.

que les ments que l'han dissenyat.

So you set it running for a week,

Si la deixem encesa una setmana

and it will perform 20,000 years of human-level intellectual work,

haurà complert 20.000 anys de feina intel·lectual a nivell humà,

week after week after week.

setmana rere setmana rere setmana.

How could we even understand, much less constrain,

Com podem arribar a comprendre, i menys encara limitar,

a mind making this sort of progress?

una ment que progressa així?

The other thing that's worrying, frankly,

L'altra cosa que em preocupa, sent honestos,

es que... imagineu-vos el millor escenari possible.

is that, imagine the best case scenario.

Imagineu que tombem amb un disseny de IA superintel·ligent

So imagine we hit upon a design of superintelligent AI

that has no safety concerns.

sense problemes de seguretat.

We have the perfect design the first time around.

És el primer cop que aconseguim el disseny perfecte.

It's as though we've been handed an oracle

És com si ens hagués arribat un oracle

que es comporta tal i com preteníem.

that behaves exactly as intended.

Doncs bé, aquesta màquina seria l'eina perfecta per reduir-nos feina.

Well, this machine would be the perfect labor-saving device.

It can design the machine that can build the machine

Podria dissenyar màquines que podrien construir màquines

that can do any physical work,

per fer qualsevol feina física,

powered by sunlight,

alimentades per energia solar,

more or less for the cost of raw materials.

i més o menys pel que costa la matèria prima.

Estem parlant de la fi de les feines feixugues.

So we're talking about the end of human drudgery.

We're also talking about the end of most intellectual work.

També seria la fi de la majoria de feines intel·lectuals.

So what would apes like ourselves do in this circumstance?

Què farien uns simis com nosaltres en aquestes circumstàncies?

Well, we'd be free to play Frisbee and give each other massages.

Tindríem temps per jugar al disc volador i de fer-nos massatges els uns als altres.

Add some LSD and some questionable wardrobe choices,

Afegiu una mica de LSD i un vestuari de gust qüestionable

and the whole world could be like Burning Man.

i el món sencer podria ser com el Burning Man.

(Laughter)

(Riures)

Now, that might sound pretty good,

Tot això pot sonar força atractiu,

but ask yourself what would happen

però penseu que passaria

under our current economic and political order?

si succeís sota l'ordre econòmic i polític actual?

It seems likely that we would witness

És ben probable que experimentéssim

a level of wealth inequality and unemployment

una desigualtat econòmica i un nivell d'atur

que mai havíem experimentat.

that we have never seen before.

Absent a willingness to immediately put this new wealth

I si no hi ha la voluntat de posar tota aquesta riquesa

to the service of all humanity,

al servei de la humanitat,

a few trillionaires could grace the covers of our business magazines

uns quants bilionaris arribarien a les portades de les revistes

while the rest of the world would be free to starve.

mentre la resta ens moriríem de gana.

And what would the Russians or the Chinese do

I què farien els russos o els xinesos

if they heard that some company in Silicon Valley

si sapiguessin que una empresa de Silicon Valley

was about to deploy a superintelligent AI?

estigués a punt d'aconseguir una IA superintel·ligent?

Aquesta màquina estaria preparada per entrar en guerra,

This machine would be capable of waging war,

whether terrestrial or cyber,

ja sigui per terra o cibernètica,

amb un poder sense precedents.

with unprecedented power.

I aquí el guanyador s'ho emporta tot.

This is a winner-take-all scenario.

Aquí, trobar-se sis mesos al capdavant de la competició

To be six months ahead of the competition here

vol dir trobar-se 500.000 anys al davant

is to be 500,000 years ahead,

at a minimum.

com a mínim.

So it seems that even mere rumors of this kind of breakthrough

Només que hi hagi un rumor sobre algun descobriment d'aquest tipus

could cause our species to go berserk.

pot fer que la nostra espècie embogeixi.

Now, one of the most frightening things,

Ara bé, una de les coses més paoroses,

in my view, at this moment,

segons el meu punt de vista, ara per ara,

are the kinds of things that AI researchers say

són el tipus de coses que els investigadors en IA diuen

when they want to be reassuring.

quan volen tranquil·litzar-nos.

I la principal raó que ens donen per no preocupar-no és el temps.

And the most common reason we're told not to worry is time.

This is all a long way off, don't you know.

"Això encara està lluny, no ho sabíeu?"

This is probably 50 or 100 years away.

"Probablement encara queden uns 50 o 100 anys."

One researcher has said,

Un investigador va dir:

"Preocuparse per una IA insegura

"Worrying about AI safety

is like worrying about overpopulation on Mars."

és com preocupar-se per la sobre-població a Mart."

Això és la versió de Silicon Valley

This is the Silicon Valley version

of "don't worry your pretty little head about it."

de "no et preocupis, nena!"

(Riures)

(Laughter)

No one seems to notice

Ningú sembla adonar-se'n

that referencing the time horizon

que basar-se en un horitzó cronològic

és un 'non sequitur' absolut.

is a total non sequitur.

If intelligence is just a matter of information processing,

Si la intel·ligència consisteix simplement en processar informació,

and we continue to improve our machines,

i seguim perfeccionant les màquines,

we will produce some form of superintelligence.

acabarem per generar alguna forma de superintel·ligència.

And we have no idea how long it will take us

I no tenim ni idea de quant de temps ens portarà

crear les condicions per fer-ho de forma segura.

to create the conditions to do that safely.

Let me say that again.

Deixeu-me que ho repeteixi.

We have no idea how long it will take us

No tenim ni idea de quant de temps ens portarà

to create the conditions to do that safely.

crear les condicions per fer-ho de forma segura.

And if you haven't noticed, 50 years is not what it used to be.

I per si no us n'heu adonat, 50 anys no són el que eren abans.

This is 50 years in months.

Això són 50 anys en mesos.

This is how long we've had the iPhone.

Això són els mesos que hem tingut l'iPhone.

This is how long "The Simpsons" has been on television.

Això són els mesos que "Els Simpsons" han estat en pantalla.

Fifty years is not that much time

Cinquanta anys no és gaire temps

per assolir un dels grans reptes de la nostra espècie.

to meet one of the greatest challenges our species will ever face.

Once again, we seem to be failing to have an appropriate emotional response

Torno a dir, sembla que no estem reaccionant com cal a nivell emocional

to what we have every reason to believe is coming.

envers allò que cada cop n'estem més segurs que arribarà.

The computer scientist Stuart Russell has a nice analogy here.

El científic informàtic Stuart Russell fa una bonica analogia.

He said, imagine that we received a message from an alien civilization,

Va dir que imaginéssim que havíem rebut un missatge d'una civilització alienígena,

which read:

que deia:

"Gent de la Terra,

"People of Earth,

we will arrive on your planet in 50 years.

arribarem al vostre planeta d'aquí 50 anys.

Get ready."

Prepareu-vos."

And now we're just counting down the months until the mothership lands?

I llavors comencem a comptar els mesos que queden abans que arribin.

We would feel a little more urgency than we do.

Segurament sentiríem una mica més de pressió que ara.

Another reason we're told not to worry

Una altra raó que donen per no preocupar-nos

is that these machines can't help but share our values

és que les màquines només podran compartir els nostres valors

because they will be literally extensions of ourselves.

perquè seran literalment extensions de nosaltres.

They'll be grafted onto our brains,

Seran uns empelts en els nostres cervells,

and we'll essentially become their limbic systems.

i esdevindrem els seus sistemes límbics.

Considereu per un moment

Now take a moment to consider

that the safest and only prudent path forward,

que la forma més segura i més prudent de seguir avançant,

recommended,

la forma més recomanada,

és implantar-los en els nostres cervells directament.

is to implant this technology directly into our brains.

Now, this may in fact be the safest and only prudent path forward,

És possible que sigui l'única manera segura i prudent de continuar,

tot i que normalment si una tecnologia ens preocupa una micona

but usually one's safety concerns about a technology

primer cal que estigui lliure d'errors si després ens la volem enganxar al cap.

have to be pretty much worked out before you stick it inside your head.

(Laughter)

(Riures)

The deeper problem is that building superintelligent AI on its own

El problema de fons és que desenvolupar una IA superintel·ligent per si mateixa

sembla ser més fàcil

seems likely to be easier

than building superintelligent AI

que construir una IA superintel·ligent

and having the completed neuroscience

i tenir alhora la neurociència llesta

that allows us to seamlessly integrate our minds with it.

per permetre'ns connectar-hi la ment sense interrupcions.

And given that the companies and governments doing this work

I donat que les empreses i els governs que estan fent aquesta feina

és probable que es considerin en una cursa contra la resta,

are likely to perceive themselves as being in a race against all others,

given that to win this race is to win the world,

i donat que guanyar la cursa és guanyar el món,

provided you don't destroy it in the next moment,

sempre i quan no se'l destrueixi tot seguit,

then it seems likely that whatever is easier to do

aleshores és probable que allò que sembli més fàcil de fer

will get done first.

sigui el que primer es faci.

Now, unfortunately, I don't have a solution to this problem,

Malauradament, no tinc cap solució a aquest problema,

apart from recommending that more of us think about it.

apart de recomanar que tots hauríem de pensar-hi més.

Crec que necessitem una mena de projecte Manhattan

I think we need something like a Manhattan Project

on the topic of artificial intelligence.

però per la intel·ligència artificial.

Not to build it, because I think we'll inevitably do that,

No per desenvolupar-la, ja que és inevitable,

but to understand how to avoid an arms race

sinó per comprendre com podem evitar una cursa armementística

and to build it in a way that is aligned with our interests.

i per desenvolupar-la de manera que vagi de la mà dels nostres interessos.

Quan parlem d'una IA superintel·ligent

When you're talking about superintelligent AI

that can make changes to itself,

que es pot canviar a si mateixa,

it seems that we only have one chance to get the initial conditions right,

sembla que només tenim una oportunitat per crear les bones condicions inicials,

and even then we will need to absorb

però inclús així haurem d'absorbir

the economic and political consequences of getting them right.

les conseqüències econòmiques i polítiques d'haver-les establert correctament.

But the moment we admit

Però en el moment que admetem

that information processing is the source of intelligence,

que el processat d'informació és l'origen de la intel·ligència,

that some appropriate computational system is what the basis of intelligence is,

que un sistema de computació apropiat és la base de tota intel·ligència,

and we admit that we will improve these systems continuously,

i que seguirem millorant aquests sistemes indefinidament,

and we admit that the horizon of cognition very likely far exceeds

i admetem que l'horitzó de la cognició molt probablement excedeix

what we currently know,

el que sabem fins ara,

aleshores podrem admetre

then we have to admit

that we are in the process of building some sort of god.

que estem en un procés de crear una mena de déu.

Now would be a good time

Ara és el moment

d'assegurar-nos que és un déu amb qui podem viure.

to make sure it's a god we can live with.

Moltes gràcies.

Thank you very much.

(Applause)

(Aplaudiments)

Traduït per Marcos Morales Pallarés