What happens when our computers get smarter than we are? | Nick Bostrom

Μετάφραση: Ioannis Papacheimonas Επιμέλεια: Lucas Kaimaras

I work with a bunch of mathematicians, philosophers and computer scientists,

Δουλεύω με μαθηματικούς φιλόσοφους και προγραμματιστές,

and we sit around and think about the future of machine intelligence,

και καθόμαστε και σκεφτόμαστε το μέλλον της νοημοσύνης των μηχανών,

among other things.

μεταξύ άλλων.

Some people think that some of these things are sort of science fiction-y,

Κάποιοι νομίζουν ότι αυτά τα πράγματα είναι ένα είδος επιστημονικής φαντασίας,

far out there, crazy.

πολύ μακριά, τρελά.

But I like to say,

Αλλά θα ήθελα να πω,

okay, let's look at the modern human condition.

ωραία, ας δούμε τη σημερινή ανθρώπινη κατάσταση.

(Laughter)

(Γέλια)

This is the normal way for things to be.

Έτσι είναι κανονικά τα πράγματα.

But if we think about it,

Αλλά αν το σκεφτούμε,

we are actually recently arrived guests on this planet,

είμαστε στην πραγματικότητα καινούργιοι ένοικοι αυτού του πλανήτη,

the human species.

το ανθρώπινο είδος.

Think about if Earth was created one year ago,

Σκεφτείτε ότι, αν η Γη δημιουργήθηκε ένα χρόνο πριν,

the human species, then, would be 10 minutes old.

τότε το ανθρώπινο είδος εμφανίστηκε πριν από 10 λεπτά.

The industrial era started two seconds ago.

Η βιομηχανική εποχή ξεκίνησε πριν από δύο δευτερόλεπτα.

Another way to look at this is to think of world GDP over the last 10,000 years,

Άλλος ένας τρόπος για να το δούμε, είναι με το ΑΕΠ των τελευταίων 10.000 ετών.

I've actually taken the trouble to plot this for you in a graph.

Μπήκα στον κόπο να το υπολογίσω για εσάς σε αυτό τον πίνακα.

It looks like this.

Είναι κάπως έτσι.

(Laughter)

(Γέλια)

It's a curious shape for a normal condition.

Περίεργο σχήμα για μια φυσιολογική κατάσταση.

I sure wouldn't want to sit on it.

Δεν θα ήθελα να κάτσω επάνω σε αυτό.

(Laughter)

(Γέλια)

Let's ask ourselves, what is the cause of this current anomaly?

Ας αναρωτηθούμε, ποιος είναι ο λόγος αυτής της ανωμαλίας;

Some people would say it's technology.

Κάποιοι θα πουν ότι είναι η τεχνολογία.

Now it's true, technology has accumulated through human history,

Είναι αλήθεια, η τεχνολογία συσσωρεύτηκε στην ανθρώπινη ιστορία,

and right now, technology advances extremely rapidly --

και τώρα, η τεχνολογία εξελίσσεται απίστευτα γρήγορα --

that is the proximate cause,

αυτή είναι η εμφανής αιτία,

that's why we are currently so very productive.

και γι' αυτό είμαστε τώρα τόσο παραγωγικοί.

But I like to think back further to the ultimate cause.

Αλλά θα ήθελα να σκεφτώ περισσότερο την πρωταρχική αιτία.

Look at these two highly distinguished gentlemen:

Δείτε αυτούς τους δύο διακεκριμένους κυρίους:

We have Kanzi --

Έχουμε τον Κάνζι --

he's mastered 200 lexical tokens, an incredible feat.

έχει μάθει 200 λέξεις, ένα καταπληκτικό επίτευγμα.

And Ed Witten unleashed the second superstring revolution.

Και ο Εντ Γουίτεν εξαπέλυσε τη δεύτερη επανάσταση υπερστοιχειοσειρών.

If we look under the hood, this is what we find:

Αν κοιτάξουμε κάτω από την επιφάνεια, τι θα βρούμε;

basically the same thing.

λίγο πολύ το ίδιο πράγμα.

One is a little larger,

Ο ένας είναι λίγο μεγαλύτερος,

it maybe also has a few tricks in the exact way it's wired.

ίσως έχει λίγο πολυπλοκότερες καλωδιώσεις.

These invisible differences cannot be too complicated, however,

Αυτές οι αόρατες διαφορές δεν μπορεί να είναι πολύπλοκες όμως,

because there have only been 250,000 generations

επειδή έχουν περάσει μόνο 250.000 γενιές

since our last common ancestor.

από τον τελευταίο κοινό μας πρόγονο.

We know that complicated mechanisms take a long time to evolve.

Ξέρουμε ότι οι πολύπλοκοι μηχανισμοί χρειάζονται πολύ χρόνο για να εξελιχθούν.

So a bunch of relatively minor changes

Έτσι μόνο λίγες μικρές αλλαγές

take us from Kanzi to Witten,

μας οδηγούν από τον Κάνζι στον Γουίτεν,

from broken-off tree branches to intercontinental ballistic missiles.

από σπασμένα κλαδιά σε Διηπειρωτικούς Βαλλιστικούς Πυραύλους.

So this then seems pretty obvious that everything we've achieved,

Έτσι είναι προφανές ότι όλα όσα έχουμε πετύχει,

and everything we care about,

και για τα οποία νοιαζόμαστε,

depends crucially on some relatively minor changes that made the human mind.

εξαρτώνται από μερικές μικρές αλλαγές που έκαναν το ανθρώπινο μυαλό.

And the corollary, of course, is that any further changes

Και το πόρισμα, βέβαια, είναι ότι περαιτέρω αλλαγές

that could significantly change the substrate of thinking

που θα μπορούσαν να αλλάξουν σημαντικά το υπόστρωμα της σκέψης

could have potentially enormous consequences.

θα μπορούσαν να έχουν τεράστιες συνέπειες.

Some of my colleagues think we're on the verge

Κάποιοι από τους συναδέλφους μου πιστεύουν ότι είμαστε στα πρόθυρα

of something that could cause a profound change in that substrate,

μιας μεγάλης αλλαγής σε αυτό το υπόστρωμα,

and that is machine superintelligence.

και αυτή είναι η μηχανική υπερνοημοσύνη.

Artificial intelligence used to be about putting commands in a box.

Η Τεχνητή Νοημοσύνη είχε να κάνει με τη συγγραφή εντολών σε ένα κουτί.

You would have human programmers

Είχατε ανθρώπους προγραμματιστές

that would painstakingly handcraft knowledge items.

που με κόπο θα κατασκεύαζαν αντικείμενα γνώσης.

You build up these expert systems,

Θα έφτιαχναν αυτά τα εξειδικευμένα συστήματα,

and they were kind of useful for some purposes,

και ήταν κάπως χρήσιμα για κάποιους σκοπούς,

but they were very brittle, you couldn't scale them.

αλλά ήταν πολύ εύθραυστα και δεν έμπαιναν σε κλίμακα.

Basically, you got out only what you put in.

Βασικά, παίρνατε μόνο ό,τι τους βάζατε.

But since then,

Αλλά από τότε,

a paradigm shift has taken place in the field of artificial intelligence.

μια άλλη αντιμετώπιση έλαβε χώρα στον τομέα της Τεχνητής Νοημοσύνης.

Today, the action is really around machine learning.

Σήμερα όλη η δράση είναι γύρω από τη μηχανική μάθηση.

So rather than handcrafting knowledge representations and features,

Επομένως αντί να κατασκευάσουμε τη γνώση και τα χαρακτηριστικά,

we create algorithms that learn, often from raw perceptual data.

φτιάχνουμε αλγόριθμους που μαθαίνουν συχνά από ακατέργαστα αντιληπτικά δεδομένα.

Basically the same thing that the human infant does.

Βασικά το ίδιο πράγμα που κάνει ένα μωρό.

Το αποτέλεσμα είναι μια Τ.Ν. που δεν περιορίζεται σε έναν τομέα --

The result is A.I. that is not limited to one domain --

the same system can learn to translate between any pairs of languages,

το ίδιο σύστημα μπορεί να μάθει να μεταφράζει μεταξύ κάθε ζεύγους γλωσσών,

or learn to play any computer game on the Atari console.

ή να μάθει να παίζει οποιοδήποτε ηλεκτρονικό παιχνίδι στην κονσόλα Ατάρι.

Now of course,

Τώρα, βέβαια,

A.I. is still nowhere near having the same powerful, cross-domain

η Τ.Ν. δεν είναι καν κοντά στην ικανότητα εκμάθησης και σχεδιασμού

ability to learn and plan as a human being has.

σε διάφορους τομείς όπως ένας άνθρωπος.

The cortex still has some algorithmic tricks

Ο φλοιός έχει ακόμα μερικά αλγοριθμικά κόλπα

that we don't yet know how to match in machines.

τα οποία ακόμη δεν ξέρουμε πώς να μεταφέρουμε σε μηχανές.

So the question is,

Επομένως η ερώτηση είναι,

how far are we from being able to match those tricks?

πόσο απέχουμε από το να καλύψουμε αυτά τα κόλπα;

A couple of years ago,

Πριν μερικά χρόνια,

we did a survey of some of the world's leading A.I. experts,

κάναμε μια έρευνα σε κορυφαίους ειδικούς Τ.Ν. στον κόσμο,

to see what they think, and one of the questions we asked was,

για να δούμε τι σκέφτονται, και μία από τις ερωτήσεις ήταν,

"By which year do you think there is a 50 percent probability

«Ποιο έτος πιστεύετε ότι θα υπάρξει 50% πιθανότητα

that we will have achieved human-level machine intelligence?"

να έχουμε πετύχει μηχανική νοημοσύνη ανθρωπίνου επιπέδου;»

We defined human-level here as the ability to perform

Εδώ ορίσαμε το ανθρώπινο επίπεδο ως την ικανότητα να φέρουμε εις πέρας

almost any job at least as well as an adult human,

σχεδόν κάθε δουλειά, τόσο καλά τουλάχιστον όσο ένας ενήλικας,

so real human-level, not just within some limited domain.

άρα σε πραγματικά ανθρώπινο-επίπεδο, όχι απλά σε κάποιο περιορισμένο τομέα.

And the median answer was 2040 or 2050,

Και η μέση απάντηση ήταν το 2040 ή 2050,

depending on precisely which group of experts we asked.

ανάλογα με το πόσο ακριβής ήταν η ερωτηθείσα ομάδα ειδικών.

Now, it could happen much, much later, or sooner,

Βέβαια μπορεί να συμβεί πολύ αργότερα ή νωρίτερα,

the truth is nobody really knows.

η αλήθεια είναι ότι κανείς δεν ξέρει.

What we do know is that the ultimate limit to information processing

Αυτό που όντως ξέρουμε είναι ότι το απώτατο όριο στην επεξεργασία πληροφοριών

in a machine substrate lies far outside the limits in biological tissue.

σε ένα μηχανικό υπόστρωμα είναι εκτός των ορίων του βιολογικού ιστού.

This comes down to physics.

Όλα καταλήγουν στη φυσική.

A biological neuron fires, maybe, at 200 hertz, 200 times a second.

Ένας βιολογικός νευρώνας δουλεύει περίπου στα 200 Hz, 200 φορές το δευτερόλεπτο.

But even a present-day transistor operates at the Gigahertz.

Αλλά ακόμα κι ένα σημερινό τρανζίστορ δουλεύει σε γίγαχερτζ.

Neurons propagate slowly in axons, 100 meters per second, tops.

Οι νευρώνες προχωρούν αργά σε άξονες, 100 μέτρα το δευτερόλεπτο, το πολύ.

But in computers, signals can travel at the speed of light.

Αλλά στους υπολογιστές, τα σήματα ταξιδεύουν με ταχύτητα φωτός.

There are also size limitations,

Επίσης δεν υπάρχουν περιορισμοί μεγέθους

like a human brain has to fit inside a cranium,

όπως ο ανθρώπινος εγκέφαλος που πρέπει να χωρέσει σε ένα κρανίο,

but a computer can be the size of a warehouse or larger.

αλλά ο υπολογιστής μπορεί να έχει μέγεθος μιας αποθήκης ή μεγαλύτερο.

So the potential for superintelligence lies dormant in matter,

Έτσι η δυνατότητα για υπερνοημοσύνη βρίσκεται αδρανής στην ύλη,

much like the power of the atom lay dormant throughout human history,

όπως ακριβώς η δύναμη του ατόμου ήταν αδρανής στην ανθρώπινη ιστορία,

patiently waiting there until 1945.

περιμένοντας υπομονετικά μέχρι το 1945.

In this century,

Αυτόν τον αιώνα,

scientists may learn to awaken the power of artificial intelligence.

οι επιστήμονας ίσως μάθουν πώς να ξυπνήσουν τη δύναμη της Τ.Ν.

And I think we might then see an intelligence explosion.

Πιστεύω ότι τότε ίσως δούμε μια έκρηξη στη νοημοσύνη.

Now most people, when they think about what is smart and what is dumb,

Όταν οι περισσότεροι άνθρωποι σκέφτονται τι είναι έξυπνο και τι χαζό,

I think have in mind a picture roughly like this.

νομίζω ότι έχουν στο μυαλό τους μια εικόνα λίγο πολύ σαν αυτή.

So at one end we have the village idiot,

Επομένως έχουμε από τη μία τον χαζό του χωριού,

and then far over at the other side

και μακριά στην άλλη άκρη έχουμε τον Εντ Γουίτεν,

we have Ed Witten, or Albert Einstein, or whoever your favorite guru is.

ή τον Αλβέρτο Αϊνστάιν, ή οποιοσδήποτε είναι ο αγαπημένος σας γκουρού.

But I think that from the point of view of artificial intelligence,

Αλλά νομίζω ότι από την οπτική γωνία της τεχνητής νοημοσύνης,

the true picture is actually probably more like this:

η πραγματική εικόνα πιθανώς είναι περισσότερο κάπως έτσι:

AI starts out at this point here, at zero intelligence,

Η Τ.Ν. ξεκίνησε σε αυτό το σημείο, με μηδέν νοημοσύνη,

and then, after many, many years of really hard work,

κατόπιν, μετά από πάρα πολλά χρόνια πραγματικά σκληρής δουλειάς,

maybe eventually we get to mouse-level artificial intelligence,

ίσως τελικά να φτάσουμε στην Τ.Ν. επιπέδου ποντικιού,

something that can navigate cluttered environments

κάτι που να μπορεί να περιηγηθεί σε περιβάλλοντα με εμπόδια

as well as a mouse can.

όσο καλά μπορεί και ένα ποντίκι.

And then, after many, many more years of really hard work, lots of investment,

Και μετά, μετά από πιο πολλά χρόνια σκληρής δουλειάς και πολλές επενδύσεις,

maybe eventually we get to chimpanzee-level artificial intelligence.

ίσως τελικά να φτάσουμε σε Τ.Ν. επιπέδου χιμπατζή.

And then, after even more years of really, really hard work,

Και μετά από ακόμα πιο πολλά χρόνια πολύ σκληρής δουλειάς,

we get to village idiot artificial intelligence.

θα φτάσουμε σε Τ.Ν. του επιπέδου του χαζού του χωριού.

And a few moments later, we are beyond Ed Witten.

Και μερικές στιγμές αργότερα, θα ξεπεράσουμε τον Εντ Γουίτεν.

The train doesn't stop at Humanville Station.

Το τρένο δεν σταματά στον Σταθμό του Ανθρωποχωριού.

It's likely, rather, to swoosh right by.

Είναι μάλλον πιθανότερο να το προσπεράσει.

Now this has profound implications,

Αυτό έχει σημαντικές επιπτώσεις,

particularly when it comes to questions of power.

ειδικά όσον αφορά θέματα δύναμης.

For example, chimpanzees are strong --

Παράδειγμα, ο χιμπατζής είναι δυνατός -

pound for pound, a chimpanzee is about twice as strong as a fit human male.

σε αναλογία βάρους, είναι δύο φορές πιο δυνατός από έναν γυμνασμένο άντρα.

And yet, the fate of Kanzi and his pals depends a lot more

Όμως η μοίρα του Κάνζι και των φίλων του εξαρτάται πολύ περισσότερο

on what we humans do than on what the chimpanzees do themselves.

από το τι κάνουμε εμείς οι άνθρωποι παρά από το τι κάνουν οι ίδιοι οι χιμπατζήδες.

Once there is superintelligence,

Όταν υπάρξει υπερνοημοσύνη,

the fate of humanity may depend on what the superintelligence does.

η μοίρα της ανθρωπότητας ίσως να εξαρτάται από το τι κάνει η υπερνοημοσύνη.

Think about it:

Σκεφτείτε το:

Machine intelligence is the last invention that humanity will ever need to make.

Η μηχανική νοημοσύνη είναι η τελευταία εφεύρεση που χρειάζεται να κάνουμε.

Machines will then be better at inventing than we are,

Οι μηχανές θα είναι καλύτερες στις εφευρέσεις από εμάς,

and they'll be doing so on digital timescales.

και θα το κάνουν σε ψηφιακά χρονικά περιθώρια.

What this means is basically a telescoping of the future.

Αυτό συνεπάγεται ένα μέλλον που βλέπουμε μέσα από το τηλεσκόπιο.

Think of all the crazy technologies that you could have imagined

Σκεφτείτε όλες τις τρελές τεχνολογίες που μπορείτε να φανταστείτε

maybe humans could have developed in the fullness of time:

που ίσως οι άνθρωποι θα έχουν αναπτύξει στο πλήρωμα του χρόνου:

cures for aging, space colonization,

θεραπείες για τη γήρανση, αποικίες στο διάστημα,

self-replicating nanobots or uploading of minds into computers,

αυτοαναπαραγώμενα νανορομπότ ή μεταφορτώσεις μυαλών σε υπολογιστές,

all kinds of science fiction-y stuff

επιστημονική φαντασία όλων των ειδών

that's nevertheless consistent with the laws of physics.

που όμως συμφωνούν με τους νόμους της φυσικής.

All of this superintelligence could develop, and possibly quite rapidly.

Όλα αυτά η υπερνοημοσύνη θα μπορούσε να τα αναπτύξει, και πιθανώς πολύ γρήγορα.

Now, a superintelligence with such technological maturity

Μια υπερνοημοσύνη με μια τέτοια τεχνολογική ωριμότητα

would be extremely powerful,

θα ήταν πολύ ισχυρή,

and at least in some scenarios, it would be able to get what it wants.

και τουλάχιστον σε μερικά σενάρια, θα μπορούσε να πάρει αυτό που θέλει.

We would then have a future that would be shaped by the preferences of this A.I.

Τότε το μέλλον μας θα καθορίζεται από τις προτιμήσεις αυτής της Τ.Ν.

Now a good question is, what are those preferences?

Μια καλή ερώτηση είναι, ποιες είναι αυτές οι προτιμήσεις;

Here it gets trickier.

Εδώ γίνεται πιο περίπλοκο.

To make any headway with this,

Για να προχωρήσουμε με αυτό,

we must first of all avoid anthropomorphizing.

πρέπει πρώτα να αποφύγουμε την αναγωγή σε ανθρώπινη μορφή.

And this is ironic because every newspaper article

Και αυτό είναι ειρωνικό επειδή κάθε άρθρο εφημερίδας

about the future of A.I. has a picture of this:

για το μέλλον της Τ.Ν. έχει μια τέτοια εικόνα:

So I think what we need to do is to conceive of the issue more abstractly,

Άρα νομίζω ότι χρειάζεται να συλλάβουμε το θέμα πιο ελεύθερα,

not in terms of vivid Hollywood scenarios.

όχι όπως στα Χολυγουντιανά σενάρια.

We need to think of intelligence as an optimization process,

Πρέπει να σκεφτόμαστε τη νοημοσύνη ως μια διαδικασία βελτίωσης,

a process that steers the future into a particular set of configurations.

μια διαδικασία που κατευθύνει το μέλλον σε ένα συγκεκριμένο σύνολο ρυθμίσεων.

A superintelligence is a really strong optimization process.

Μια υπερνοημοσύνη είναι στα αλήθεια μια ισχυρή διαδικασία βελτιστοποίησης.

It's extremely good at using available means to achieve a state

Είναι πολύ καλή στη χρήση των διαθέσιμων μέσων ώστε να φτάσει μια κατάσταση,

στην οποία πραγματοποιείται ο στόχος της.

in which its goal is realized.

This means that there is no necessary connection between

Αυτό σημαίνει ότι δεν υπάρχει απαραίτητη σύνδεση μεταξύ

being highly intelligent in this sense,

του να είσαι πολύ έξυπνος κατ' αυτή την έννοια,

and having an objective that we humans would find worthwhile or meaningful.

και με το να έχεις έναν σκοπό που οι άνθρωποι θεωρούμε σημαντικό και άξιο.

Suppose we give an A.I. the goal to make humans smile.

Υποθέστε ότι δίνουμε σε μια Τ.Ν. στόχο να κάνει ανθρώπους να γελάνε.

When the A.I. is weak, it performs useful or amusing actions

Όταν η Τ.Ν. είναι αδύναμη, κάνει διασκεδαστικές κινήσεις

that cause its user to smile.

που κάνουν τον χρήστη να γελάσει.

When the A.I. becomes superintelligent,

Όταν η Τ.Ν. γίνεται υπερνοήμων,

it realizes that there is a more effective way to achieve this goal:

αντιλαμβάνεται ότι υπάρχει καλύτερος τρόπος να πετύχει το στόχο της:

take control of the world

να πάρει τον έλεγχο του κόσμου

and stick electrodes into the facial muscles of humans

και να βάλει ηλεκτρόδια στους μύες του προσώπου των ανθρώπων

to cause constant, beaming grins.

για να προκαλέσει συνεχόμενα, φωναχτά γέλια.

Another example,

Ένα άλλο παράδειγμα,

suppose we give A.I. the goal to solve a difficult mathematical problem.

υποθέστε ότι δίνουμε στην Τ.Ν. τον στόχο να λύσει ένα δύσκολο μαθηματικό πρόβλημα.

When the A.I. becomes superintelligent,

Όταν η Τ.Ν. γίνει υπερνοήμων,

it realizes that the most effective way to get the solution to this problem

αντιλαμβάνεται ότι ο καλύτερος τρόπος για να φτάσει στη λύση του προβλήματος

is by transforming the planet into a giant computer,

είναι να μεταμορφώσει τον πλανήτη σε ένα γιγάντιο υπολογιστή,

so as to increase its thinking capacity.

για να αυξήσει την υπολογιστική της ικανότητα.

And notice that this gives the A.I.s an instrumental reason

Και προσέξτε ότι αυτό δίνει στις Τ.Ν. έναν σημαντικό λόγο

to do things to us that we might not approve of.

να μας κάνουν πράγματα, που μπορεί να μην εγκρίνουμε.

Human beings in this model are threats,

Σ' αυτό το μοντέλο οι άνθρωποι είναι απειλή,

we could prevent the mathematical problem from being solved.

μπορούμε να εμποδίσουμε τη λύση του μαθηματικού προβλήματος.

Of course, perceivably things won't go wrong in these particular ways;

Βέβαια, μπορεί να μην υπάρξουν τέτοιου είδους επιπλοκές,

these are cartoon examples.

αυτά είναι κωμικά σενάρια.

But the general point here is important:

Αλλά το γενικό νόημα εδώ είναι σημαντικό:

if you create a really powerful optimization process

αν φτιάξετε μια πολύ ισχυρή διαδικασία βελτιοποίησης

to maximize for objective x,

για να μεγιστοποιήσετε το ζητούμενο χ,

you better make sure that your definition of x

καλύτερα να εξασφαλίσετε ότι ο ορισμός του χ

incorporates everything you care about.

συμπεριλαμβάνει όλα αυτά για τα οποία νοιάζεστε.

This is a lesson that's also taught in many a myth.

Αυτό είναι ένα μάθημα που μας το μαθαίνουν πολλοί μύθοι.

King Midas wishes that everything he touches be turned into gold.

Ο βασιλιάς Μίδας επιθυμούσε ό,τι άγγιζε να γίνεται χρυσός.

He touches his daughter, she turns into gold.

Αγγίζει την κόρη του, αυτή γίνεται χρυσάφι.

He touches his food, it turns into gold.

Αγγίζει το φαγητό του, αυτό γίνεται χρυσάφι.

This could become practically relevant,

Αυτό μπορεί να γίνει σχετικό με το θέμα,

not just as a metaphor for greed,

όχι σαν μια απλή μεταφορά πλεονεξίας,

but as an illustration of what happens

αλλά σαν μια επίδειξη του τι συμβαίνει

if you create a powerful optimization process

αν δημιουργήσουμε μια πολύ ισχυρή διαδικασία βελτιοποίησης

and give it misconceived or poorly specified goals.

και της δώσουμε κακώς εννοούμενους ή ελλιπώς καθορισμένους στόχους.

Now you might say, if a computer starts sticking electrodes into people's faces,

Θα πείτε, αν ένας υπολογιστής ξεκινήσει να βάζει ηλεκτρόδια στα πρόσωπα ανθρώπων,

we'd just shut it off.

απλώς θα τον κλείναμε.

A, this is not necessarily so easy to do if we've grown dependent on the system --

Πρώτον, ίσως να μην είναι τόσο εύκολο να γίνει αν εξαρτιόμαστε από το σύστημα --

like, where is the off switch to the Internet?

σα να ψάχνουμε τον διακόπτη για να κλείσουμε το Διαδίκτυο;

B, why haven't the chimpanzees flicked the off switch to humanity,

Δεύτερον, γιατί δεν έκλεισαν τον διακόπτη της ανθρωπότητας οι χιμπατζήδες

or the Neanderthals?

ή οι Νεάντερνταλ;

They certainly had reasons.

Σίγουρα είχαν λόγους να το κάνουν.

We have an off switch, for example, right here.

Έχουμε έναν διακόπτη, για παράδειγμα, ακριβώς εδώ.

(Choking)

(Πνίγεται)

The reason is that we are an intelligent adversary;

Ο λόγος είναι ότι είμαστε ένας έξυπνος αντίπαλος:

we can anticipate threats and plan around them.

προβλέπουμε τις απειλές και να σχεδιάζουμε βάσει αυτών.

But so could a superintelligent agent,

Αλλά το ίδιο θα έκανε και ένα υπερνοήμον μέσο,

and it would be much better at that than we are.

και θα ήταν πολύ καλύτερο σε αυτό απ' ό,τι είμαστε εμείς.

The point is, we should not be confident that we have this under control here.

Το προκείμενο είναι, δεν πρέπει να είμαστε πολύ σίγουροι ότι έχουμε τον έλεγχο εδώ.

And we could try to make our job a little bit easier by, say,

Θα μπορούσαμε να κάναμε λίγο ευκολότερη τη δουλειά μας

ας πούμε, βάζοντας την Τ.Ν. σε ένα κουτί,

putting the A.I. in a box,

like a secure software environment,

σαν ένα ασφαλές περιβάλλον προγραμματισμού

a virtual reality simulation from which it cannot escape.

μια εξομοίωση εικονικής πραγματικότητας από όπου δεν μπορεί να ξεφύγει.

But how confident can we be that the A.I. couldn't find a bug.

Αλλά πόσο σίγουροι είμαστε ότι η Τ.Ν. δεν θα βρει ένα ελάττωμα λογισμικού.

Given that merely human hackers find bugs all the time,

Δεδομένου ότι οι ανθρώπινοι χάκερς συναντούν κενά λογισμικού συνεχώς,

I'd say, probably not very confident.

θα έλεγα, πιθανώς όχι τόσο σίγουροι.

So we disconnect the ethernet cable to create an air gap,

Οπότε αποσυνδέουμε το καλώδιο του τοπικού δικτύου για να φτιάξουμε ένα κενό,

but again, like merely human hackers

αλλά πάλι, σαν τους ανθρώπινους χάκερς

routinely transgress air gaps using social engineering.

που συχνά υπερβαίνουν τα κενά χρησιμοποιώντας κοινωνική μηχανική.

Right now, as I speak,

Αυτή τη στιγμή που μιλάμε,

I'm sure there is some employee out there somewhere

είμαι σίγουρος ότι υπάρχει κάποιος υπάλληλος κάπου

who has been talked into handing out her account details

που πείστηκε να δώσει τους κωδικούς των λογαριασμών του,

by somebody claiming to be from the I.T. department.

από κάποιον που ισχυρίζεται ότι ανήκει στο τμήμα Πληροφορικής.

More creative scenarios are also possible,

Πιο δημιουργικά σενάρια είναι επίσης πιθανά,

like if you're the A.I.,

παράδειγμα αν είσαι η Τ.Ν.,

you can imagine wiggling electrodes around in your internal circuitry

μπορείς να φανταστείς ότι κουνάς ηλεκτρόδια στα εσωτερικά σου κυκλώματα

to create radio waves that you can use to communicate.

για να δημιουργήσεις ραδιοκύματα που θα χρησιμοποιήσεις για επικοινωνία.

Or maybe you could pretend to malfunction,

Ή ίσως να μπορείς να προσποιηθείς ότι έχεις βλάβη,

and then when the programmers open you up to see what went wrong with you,

και τότε όταν οι προγραμματιστές σε ανοίξουν για να δουν τι πάει στραβά,

they look at the source code -- Bam! --

και δουν τον κώδικά σου -- Μπαμ! --

the manipulation can take place.

η χειραγώγηση λαμβάνει χώρα.

Or it could output the blueprint to a really nifty technology,

Ή θα μπορούσε να δώσει ένα σχέδιο για μια πολύ φίνα τεχνολογία,

and when we implement it,

και όταν την εφαρμόσουμε,

it has some surreptitious side effect that the A.I. had planned.

έχει κάποια κρυφή παρενέργεια που η Τ.Ν. είχε σχεδιάσει.

The point here is that we should not be confident in our ability

Το θέμα εδώ είναι ότι δεν πρέπει να είμαστε σίγουροι για την ικανότητά μας

to keep a superintelligent genie locked up in its bottle forever.

να κρατάμε ένα υπερνοήμων τζίνι κλεισμένο στο λυχνάρι για πάντα.

Sooner or later, it will out.

Αργά ή γρήγορα, θα βγει.

I believe that the answer here is to figure out

Πιστεύω ότι η απάντηση εδώ βρίσκεται στην κατανόηση του

how to create superintelligent A.I. such that even if -- when -- it escapes,

πώς να δημιουργήσουμε μια υπερνοήμων Τ.Ν. έτσι που ακόμα και αν - όταν - δραπετεύσει

it is still safe because it is fundamentally on our side

να είναι ακόμα ασφαλής επειδή είναι θεσμικά με το μέρος μας

because it shares our values.

επειδή έχει τις αξίες μας.

I see no way around this difficult problem.

Δεν βλέπω τρόπο να προσπεράσουμε αυτό το δύσκολο πρόβλημα.

Now, I'm actually fairly optimistic that this problem can be solved.

Τώρα, είμαι αρκετά αισιόδοξος ότι αυτό το πρόβλημα μπορεί να λυθεί.

We wouldn't have to write down a long list of everything we care about,

Δεν χρειάζεται να γράψουμε μια μεγάλη λίστα όσων μας ενδιαφέρουν,

or worse yet, spell it out in some computer language

ή χειρότερα, να τα εκφράσουμε σε κάποια γλώσσα προγραμματισμού

like C++ or Python,

όπως η C++ ή η Python,

that would be a task beyond hopeless.

αυτή θα ήταν μια μάταιη εργασία.

Instead, we would create an A.I. that uses its intelligence

Αντίθετα, θα δημιουργούσαμε μια Τ.Ν. που χρησιμοποιεί τη νοημοσύνη της

to learn what we value,

για να μαθαίνει σε τι δίνουμε αξία,

and its motivation system is constructed in such a way that it is motivated

και το σύστημα κινήτρων του να είναι φτιαγμένο ώστε να έχει τα κίνητρα

to pursue our values or to perform actions that it predicts we would approve of.

να ακολουθεί τις αξίες μας ή να πράττει έτσι ώστε να προβλέπει τι θα εγκρίναμε.

We would thus leverage its intelligence as much as possible

Θα είχαμε έτσι μια επιρροή στη νοημοσύνη της όσο το δυνατόν περισσότερο

to solve the problem of value-loading.

για να λύσουμε το πρόβλημα της φόρτωσης αξιών.

This can happen,

Αυτό μπορεί να γίνει,

and the outcome could be very good for humanity.

και το αποτέλεσμα θα ήταν πολύ καλό για την ανθρωπότητα.

But it doesn't happen automatically.

Αλλά δεν θα γίνει αυτόματα.

The initial conditions for the intelligence explosion

Οι πρωταρχικές συνθήκες για την έκρηξη νοημοσύνης

might need to be set up in just the right way

ίσως πρέπει απλά να ρυθμιστούν με τον σωστό τρόπο

if we are to have a controlled detonation.

αν πρόκειται να έχουμε μια ελεγχόμενη πυροδότηση.

The values that the A.I. has need to match ours,

Οι αξίες της Τ.Ν. πρέπει να είναι ίδιες με τις δικές μας,

not just in the familiar context,

όχι μόνο σε οικείο περιβάλλον,

like where we can easily check how the A.I. behaves,

όπου θα μπορούμε να ελέγξουμε πώς συμπεριφέρεται η Τ.Ν.

but also in all novel contexts that the A.I. might encounter

αλλά επίσης σε όλα τα νέα περιβάλλοντα

που η Τ.Ν. θα συναντήσει στο αόριστο μέλλον.

in the indefinite future.

And there are also some esoteric issues that would need to be solved, sorted out:

Και υπάρχουν κάποια εσωτερικά θέματα που πρέπει να επιλυθούν:

the exact details of its decision theory,

οι λεπτομέρειες για τη θεωρία αποφάσεων,

how to deal with logical uncertainty and so forth.

πώς θα αντιμετωπίσει τη λογική αβεβαιότητα κλπ.

So the technical problems that need to be solved to make this work

Άρα τα τεχνικά προβλήματα που πρέπει να λυθούν για να λειτουργήσει

look quite difficult --

φαίνονται πολύ δύσκολα,

not as difficult as making a superintelligent A.I.,

όχι τόσο όσο το να φτιάξουμε μια υπερνοήμων Τ.Ν.,

but fairly difficult.

αλλά αρκετά δύσκολα.

Here is the worry:

Εδώ είναι οι ανησυχίες:

Making superintelligent A.I. is a really hard challenge.

Η κατασκευή μιας υπερνοήμων Τ.Ν. είναι μια πολύ υψηλή πρόκληση.

Making superintelligent A.I. that is safe

Η κατασκευή μιας υπερνοήμωνος Τ.Ν. που είναι ασφαλής,

involves some additional challenge on top of that.

εμπλέκει κάποια επιπλέον προβλήματα.

The risk is that if somebody figures out how to crack the first challenge

Το ρίσκο είναι ότι αν κάποιος καταλάβει πώς να λύσει το πρώτο πρόβλημα

without also having cracked the additional challenge

χωρίς να έχει ήδη λύσει το επιπλέον πρόβλημα

of ensuring perfect safety.

του να εγγυάται τη δημόσια ασφάλεια.

So I think that we should work out a solution

Άρα πιστεύω ότι πρέπει να βρούμε μια λύση

to the control problem in advance,

στο πρόβλημα του ελέγχου εκ των προτέρων,

so that we have it available by the time it is needed.

ώστε να είναι διαθέσιμη τη στιγμή που θα χρειαστεί.

Now it might be that we cannot solve the entire control problem in advance

Τώρα, ίσως να μην μπορούμε να λύσουμε όλο το πρόβλημα του ελέγχου από πριν

because maybe some elements can only be put in place

γιατί ίσως κάποια κομμάτια να μπορούν να μπουν στη θέση τους

once you know the details of the architecture where it will be implemented.

μόνο όταν ξέρουμε τις λεπτομέρειες της αρχιτεκτονικής που θα εφαρμοστεί.

But the more of the control problem that we solve in advance,

Αλλά όσο περισσότερο από το πρόβλημα ελέγχου λύνουμε εκ των προτέρων,

the better the odds that the transition to the machine intelligence era

τόσο περισσότερες οι πιθανότητές μας

η μετάβαση στην εποχή της νοημοσύνης των μηχανών να πάει καλά.

will go well.

This to me looks like a thing that is well worth doing

Αυτό μου φαίνεται σαν κάτι που αξίζει να γίνει

and I can imagine that if things turn out okay,

και μπορώ να φανταστώ ότι αν όλα πάνε καλά,

that people a million years from now look back at this century

ο κόσμος ένα εκατομμύριο χρόνια από τώρα θα θυμάται αυτό τον αιώνα

and it might well be that they say that the one thing we did that really mattered

και ίσως να λένε ότι το ένα πράγμα που κάναμε και που αλήθεια άξιζε

was to get this thing right.

ήταν να κάνουμε αυτό σωστά.

Thank you.

Ευχαριστώ.

(Applause)

(Χειροκρότημα)