3 principles for creating safer AI | Stuart Russell

Μετάφραση: Dimitris Tsampallas Επιμέλεια: Lucas Kaimaras

This is Lee Sedol.

Αυτός είναι ο Λι Σεντόλ.

Ο Λι Σεντόλ είναι από τους καλύτερους παίκτες Γκο στον κόσμο,

Lee Sedol is one of the world's greatest Go players,

and he's having what my friends in Silicon Valley call

και έχει κάτι που οι φίλοι μου στη Σίλικον Βάλλεϋ αποκαλούν

a "Holy Cow" moment --

μια στιγμή ξαφνιάσματος...

(Laughter)

(Γέλια)

a moment where we realize

μια στιγμή όπου συνειδητοποιούμε

that AI is actually progressing a lot faster than we expected.

ότι η ΤΝ προοδεύει αρκετά γρηγορότερα από ό,τι περιμέναμε.

So humans have lost on the Go board. What about the real world?

Άρα χάσαμε στο Γκο. Τι γίνεται όμως στον πραγματικό κόσμο;

Ο πραγματικός κόσμος είναι πολύ μεγαλύτερος

Well, the real world is much bigger,

much more complicated than the Go board.

και πολύ πιο πολύπλοκος από το ταμπλό του Γκο.

It's a lot less visible,

Δεν είναι τόσο ευδιάκριτο,

but it's still a decision problem.

αλλά παραμένει ένα πρόβλημα αποφάσεων.

And if we think about some of the technologies

Και αν αναλογιστούμε μερικές από τις τεχνολογίες

that are coming down the pike ...

που εμφανίζονται...

Noriko [Arai] mentioned that reading is not yet happening in machines,

Η Νορίκο [Αράι] ανέφερε πως οι μηχανές δεν έχουν ακόμα την ικανότητα ανάγνωσης,

at least with understanding.

τουλάχιστον με κατανόηση.

But that will happen,

Αλλά αυτό θα συμβεί,

and when that happens,

και όταν συμβεί,

very soon afterwards,

πολύ σύντομα

οι μηχανές θα έχουν διαβάσει οτιδήποτε έχει γραφτεί ποτέ από την ανθρωπότητα.

machines will have read everything that the human race has ever written.

And that will enable machines,

Και αυτό θα επιτρέψει στις μηχανές,

along with the ability to look further ahead than humans can,

μαζί με την ικανότητα να βλέπουν πιο μπροστά από τους ανθρώπους,

as we've already seen in Go,

όπως είδαμε ήδη στο Γκο,

if they also have access to more information,

κι αν έχουν πρόσβαση σε περισσότερες πληροφορίες,

they'll be able to make better decisions in the real world than we can.

να μπορούν να πάρουν πιο σωστές αποφάσεις στον πραγματικό κόσμο από εμάς.

So is that a good thing?

Είναι καλό, όμως, αυτό;

Well, I hope so.

Το ελπίζω.

Our entire civilization, everything that we value,

Ολόκληρος ο πολιτισμός μας, οτιδήποτε έχουμε σε εκτίμηση,

is based on our intelligence.

είναι βασισμένο στην ευφυία μας.

And if we had access to a lot more intelligence,

Και αν είχαμε πρόσβαση σε πολύ περισσότερη ευφυΐα,

then there's really no limit to what the human race can do.

τότε δεν υπάρχει κανένα όριο στο τι μπορεί να κάνει η ανθρωπότητα.

And I think this could be, as some people have described it,

Και αυτό θα ήταν, όπως μερικοί το έχουν περιγράψει,

the biggest event in human history.

το σημαντικότερο γεγονός της ιστορίας μας.

So why are people saying things like this,

Άρα, γιατί λέμε μερικά πράγματα όπως,

that AI might spell the end of the human race?

ότι η ΤΝ θα σημάνει το τέλος της ανθρωπότητας;

Is this a new thing?

Πρόκειται για κάτι καινούργιο;

Is it just Elon Musk and Bill Gates and Stephen Hawking?

Τα λένε αυτά μόνο οι Έλον Μασκ, Μπιλ Γκέιτς και Στίβεν Χόκινγκ;

Actually, no. This idea has been around for a while.

Στην πραγματικότητα, όχι. Η ιδέα αυτή κυκλοφορεί εδώ και καιρό.

Here's a quotation:

Δείτε μια παράθεση,

«Ακόμα και αν μπορούσαμε να κρατήσουμε τις μηχανές σε θέση υποταγής,

"Even if we could keep the machines in a subservient position,

for instance, by turning off the power at strategic moments" --

για παράδειγμα, απενεργοποιώντας τες σε στρατηγικές στιγμές»

and I'll come back to that "turning off the power" idea later on --

-θα επανέλθω στο ζήτημα της «απενεργοποίησης» αργότερα-

"we should, as a species, feel greatly humbled."

«θα έπρεπε ως είδος να νιώθουμε ιδιαίτερα ταπεινωμένοι».

So who said this? This is Alan Turing in 1951.

Ποιος το είπε αυτό; Ο Άλαν Τούρινγκ το 1951.

Alan Turing, as you know, is the father of computer science

Όπως γνωρίζετε, είναι ο πατέρας της επιστήμης υπολογιστών

and in many ways, the father of AI as well.

και κατά πολλούς τρόπους, ο πατέρας της ΤΝ επίσης.

Οπότε, αν σκεφτούμε το πρόβλημα,

So if we think about this problem,

the problem of creating something more intelligent than your own species,

να δημιουργήσουμε κάτι πιο ευφυές από το είδος μας,

we might call this "the gorilla problem,"

ας το αποκαλέσουμε «πρόβλημα του γορίλα»,

because gorillas' ancestors did this a few million years ago,

επειδή οι πρόγονοι του γορίλα το έκαναν αυτό πριν εκατομμύρια χρόνια,

and now we can ask the gorillas:

και ας τους ρωτήσουμε τώρα:

Was this a good idea?

Ήταν καλή ιδέα;

So here they are having a meeting to discuss whether it was a good idea,

Οπότε, τώρα έχουν συνάντηση για να κουβεντιάσουν εάν ήταν καλή ιδέα,

and after a little while, they conclude, no,

και μετά από λίγο καταλήγουν πως,

this was a terrible idea.

όχι, ήταν μια φρικτή ιδέα.

Our species is in dire straits.

Το είδος τους είναι σε δεινή θέση.

In fact, you can see the existential sadness in their eyes.

Πραγματικά, μπορείς να δεις την υπαρξιακή κρίση στα μάτια τους.

(Laughter)

(Γέλια)

So this queasy feeling that making something smarter than your own species

Αυτό το ανησυχητικό προαίσθημα ότι μάλλον δεν είναι καλή ιδέα

η δημιουργία κάτι πιο έξυπνου από το είδος μας,

is maybe not a good idea --

what can we do about that?

τι μπορούμε να κάνουμε γι' αυτό;

Well, really nothing, except stop doing AI,

Βασικά τίποτα, εκτός από το να σταματήσουμε να φτιάχνουμε ΤΝ,

and because of all the benefits that I mentioned

που λόγω όλων των πλεονεκτημάτων που προανέφερα,

and because I'm an AI researcher,

και επειδή είμαι ερευνητής της,

I'm not having that.

δεν το ανέχομαι.

I actually want to be able to keep doing AI.

Πραγματικά, θέλω να συνεχίσω την έρευνα της ΤΝ.

So we actually need to nail down the problem a bit more.

Οπότε, χρειάζεται να προσδιορίσουμε καλύτερα το πρόβλημα.

What exactly is the problem?

Ποιο είναι ακριβώς το θέμα;

Why is better AI possibly a catastrophe?

Γιατί μια καλύτερη ΤΝ είναι πιθανώς μια καταστροφή;

So here's another quotation:

Ορίστε άλλη μια παράθεση,

"We had better be quite sure that the purpose put into the machine

«Πρέπει να σιγουρευτούμε ότι ο σκοπός που θα αναθέσουμε σε μια μηχανή,

is the purpose which we really desire."

είναι ο σκοπός που πραγματικά επιθυμούμε».

This was said by Norbert Wiener in 1960,

Αυτό ειπώθηκε από τον Νόρμπερτ Βίνερ το 1960,

shortly after he watched one of the very early learning systems

λίγο αφότου παρακολούθησε ένα από τα πρώτα συστήματα που μαθαίνουν μόνα τους

learn to play checkers better than its creator.

να παίζει ντάμα καλύτερα από τον δημιουργό του.

But this could equally have been said

Αλλά το ίδιο θα μπορούσε να έχει ειπωθεί

by King Midas.

από τον Βασιλιά Μίδα.

King Midas said, "I want everything I touch to turn to gold,"

Ο Βασιλιάς Μίδας είπε, «Θέλω ό,τι ακουμπώ να γίνεται χρυσάφι,»

and he got exactly what he asked for.

και πήρε ακριβώς ό,τι του άξιζε.

That was the purpose that he put into the machine,

Αυτός ήταν ο σκοπός που ανέθεσε στη μηχανή,

so to speak,

κατ' αναλογίαν,

and then his food and his drink and his relatives turned to gold

και έπειτα το φαγητό, το ποτό και οι συγγενείς του έγιναν χρυσάφι

and he died in misery and starvation.

και πέθανε μίζερος, λιμοκτονώντας.

So we'll call this "the King Midas problem"

Αποκαλούμε λοιπόν «πρόβλημα του Μίδα»

of stating an objective which is not, in fact,

τη δήλωση ενός σκοπού που στην πραγματικότητα

truly aligned with what we want.

δεν είναι απόλυτα σύμφωνος με αυτό που θέλουμε.

In modern terms, we call this "the value alignment problem."

Αυτό με σύγχρονους όρους το αποκαλούμε «πρόβλημα εναρμόνισης αξιών».

Putting in the wrong objective is not the only part of the problem.

Η εισαγωγή λάθους σκοπού δεν είναι το μόνο μέρος του προβλήματος.

There's another part.

Υπάρχει και άλλο μέρος.

If you put an objective into a machine,

Εάν βάλουμε ένα σκοπό σε μια μηχανή,

even something as simple as, "Fetch the coffee,"

ακόμα και κάτι τόσο απλό όπως, «Φέρε τον καφέ»,

the machine says to itself,

η μηχανή λέει στον εαυτό της,

"Well, how might I fail to fetch the coffee?

«Πώς μπορώ να αποτύχω να φέρω τον καφέ;

Someone might switch me off.

Κάποιος ίσως να με απενεργοποιήσει.

OK, I have to take steps to prevent that.

Οπότε, πρέπει να πάρω μέτρα να μην συμβεί αυτό.

I will disable my 'off' switch.

Θα απομονώσω τον διακόπτη απενεργοποίησης.

I will do anything to defend myself against interference

Θα κάνω τα πάντα ώστε να προστατευτώ εναντίον παρεμβάσεων

with this objective that I have been given."

στον σκοπό που μου ανατέθηκε».

So this single-minded pursuit

Αυτή η επίμονη επιδίωξη,

in a very defensive mode of an objective that is, in fact,

μέσω μιας υπεραμυντικής λειτουργίας, ενός σκοπού που πραγματικά

not aligned with the true objectives of the human race --

δεν είναι εναρμονισμένος με τον αληθινό σκοπό των ανθρώπων,

that's the problem that we face.

είναι το πρόβλημα που αντιμετωπίζουμε.

And in fact, that's the high-value takeaway from this talk.

Και αυτό είναι, στην πραγματικότητα, το σημαντικότερο μήνυμα της ομιλίας μου.

If you want to remember one thing,

Εάν θέλετε να θυμάστε κάτι,

it's that you can't fetch the coffee if you're dead.

είναι πως δεν μπορείτε να φέρετε τον καφέ, εάν είστε νεκροί.

(Laughter)

(Γέλια)

It's very simple. Just remember that. Repeat it to yourself three times a day.

Είναι πολύ απλό. Απλά να θυμάστε να το επαναλαμβάνετε τρεις φορές τη μέρα.

(Laughter)

(Γέλια)

And in fact, this is exactly the plot

Αυτή είναι πραγματικά η πλοκή

of "2001: [A Space Odyssey]"

της ταινίας «2001: Η Οδύσσεια του Διαστήματος»,

HAL has an objective, a mission,

όπου ο HAL έχει ένα σκοπό, μια αποστολή,

which is not aligned with the objectives of the humans,

που δεν είναι εναρμονισμένη με τους σκοπούς των ανθρώπων,

and that leads to this conflict.

και αυτό οδηγεί σε σύγκρουση.

Now fortunately, HAL is not superintelligent.

Ευτυχώς, ο HAL δεν είναι υπερ-ευφυής.

He's pretty smart, but eventually Dave outwits him

Είναι αρκέτα έξυπνος, αλλά εν τέλει ο Ντέιβ τον υπερνικά

and manages to switch him off.

και καταφέρνει να τον απενεργοποιήσει.

But we might not be so lucky.

Όμως εμείς μπορεί να μην είμαστε τόσο τυχεροί.

So what are we going to do?

Οπότε τι θα κάνουμε;

I'm trying to redefine AI

Προσπαθώ να επαναπροσδιορίσω την Τεχνητή Νοημοσύνη,

to get away from this classical notion

ώστε να ξεφύγω από την κλασσική αντίληψη

of machines that intelligently pursue objectives.

των μηχανών που ευφυώς ακολουθούν σκοπούς.

There are three principles involved.

Υπάρχουν τρεις εμπλεκόμενες αρχές.

The first one is a principle of altruism, if you like,

Η πρώτη είναι η αρχή του αλτρουισμού, εάν μου επιτρέπετε,

that the robot's only objective

όπου ο μόνος σκοπός του ρομπότ

is to maximize the realization of human objectives,

είναι η απόλυτη συνειδητοποίηση των ανθρώπινων σκοπών,

of human values.

των ανθρώπινων αξιών.

And by values here I don't mean touchy-feely, goody-goody values.

Και δεν αναφέρομαι σε αγνές, αθώες και συναισθηματικές αξίες.

I just mean whatever it is that the human would prefer

Μιλάω για τον οποιοδήποτε τρόπο που οι άνθρωποι προτιμούν

their life to be like.

να είναι η ζωή τους.

And so this actually violates Asimov's law

Πράγματι, έτσι παραβιάζεται ο νόμος του Ασίμωφ,

that the robot has to protect its own existence.

ότι το ρομπότ πρέπει να αυτοπροστατευτεί.

It has no interest in preserving its existence whatsoever.

Πλέον, δεν έχει κανένα απολύτως ενδιαφέρον στην διατήρηση της ύπαρξής του.

The second law is a law of humility, if you like.

Η δεύτερη αρχή είναι ο νόμος της ταπεινοφροσύνης, εάν μου επιτρέπετε.

And this turns out to be really important to make robots safe.

Αποδεικνύεται ιδιαίτερα σημαντικός για την δημιουργία ασφαλών ρομπότ.

It says that the robot does not know

Αναφέρει ότι το ρομπότ δεν γνωρίζει

what those human values are,

ποιες είναι οι ανθρώπινες αξίες,

so it has to maximize them, but it doesn't know what they are.

οπότε πρέπει να τις μεγιστοποιήσει χωρίς να γνωρίζει ποιες είναι.

And that avoids this problem of single-minded pursuit

Έτσι αποφεύγεται το πρόβλημα

της επίμονης επιδίωξης ενός σκοπού.

of an objective.

This uncertainty turns out to be crucial.

Αυτή η αβεβαιότητα αποδεικνύεται κρίσιμη.

Now, in order to be useful to us,

Για να είναι όμως χρήσιμο σε εμάς

it has to have some idea of what we want.

πρέπει να έχει κάποια ιδέα του τι θέλουμε.

It obtains that information primarily by observation of human choices,

Αποκτά αυτή τη πληροφορία κυρίως μέσω της παρατήρησης των ανθρώπινων επιλογών,

so our own choices reveal information

άρα οι ίδιες οι επιλογές μας δίνουν πληροφορίες

about what it is that we prefer our lives to be like.

για το πως προτιμούμε να ζούμε τις ζωές μας.

So those are the three principles.

Αυτές είναι λοιπόν, οι τρεις αρχές.

Let's see how that applies to this question of:

Ας δούμε πώς εφαρμόζονται στο ερώτημα «Μπορούμε να απενεργοποιήσουμε τη μηχανή;»

"Can you switch the machine off?" as Turing suggested.

όπως τέθηκε από τον Τούρινγκ.

So here's a PR2 robot.

Έχουμε, λοιπόν, ένα ρομπότ PR2.

This is one that we have in our lab,

Αυτό είναι εκείνο του εργαστηρίου μας

and it has a big red "off" switch right on the back.

και έχει ένα μεγάλο, κόκκινο κουμπί απενεργοποίησης στην πλάτη.

The question is: Is it going to let you switch it off?

Το ερώτημα είναι αν θα σε αφήσει να το απενεργοποιήσεις.

Αν κινηθούμε κλασσικά,

If we do it the classical way,

we give it the objective of, "Fetch the coffee, I must fetch the coffee,

δίνουμε την εντολή, «Φέρε τον καφέ, πρέπει να φέρω τον καφέ,

I can't fetch the coffee if I'm dead,"

δεν μπορώ να φέρω τον καφέ άμα είμαι κατεστραμμένος»,

so obviously the PR2 has been listening to my talk,

άρα προφανώς το PR2 παρακολουθεί την ομιλία μου,

and so it says, therefore, "I must disable my 'off' switch,

οπότε λέει, «Πρέπει να χαλάσω το διακόπτη απενεργοποίησης

and probably taser all the other people in Starbucks

και να ρίξω αναίσθητο οποιονδήποτε στα Starbucks

who might interfere with me."

που ίσως με σταματήσει».

(Laughter)

(Γέλια)

So this seems to be inevitable, right?

Αυτό, λοιπόν, φαίνεται αναπόφευκτο, σωστά;

This kind of failure mode seems to be inevitable,

Αυτή η λειτουργία αποτυχίας φαίνεται αναπόφευκτη

and it follows from having a concrete, definite objective.

και προέρχεται από την ύπαρξη ενός σαφούς και ξεκάθαρου σκοπού.

So what happens if the machine is uncertain about the objective?

Τι συμβαίνει όμως, αν η μηχανή είναι αβέβαιη για το σκοπό;

Well, it reasons in a different way.

Θα επιχειρηματολογήσει διαφορετικά.

It says, "OK, the human might switch me off,

Λέει, «Εντάξει, ο άνθρωπος ίσως με απενεργοποιήσει,

but only if I'm doing something wrong.

αλλά μόνο εάν κάνω κάτι λάθος.

Well, I don't really know what wrong is,

Δεν γνωρίζω, όμως, τι είναι λάθος,

but I know that I don't want to do it."

αλλά γνωρίζω ότι δεν θέλω να το κάνω».

So that's the first and second principles right there.

Εδώ βρίσκουμε λοιπόν, την πρώτη και τη δεύτερη αρχή.

"So I should let the human switch me off."

«Άρα θα έπρεπε να αφήσω τον άνθρωπο να με απενεργοποιήσει».

And in fact you can calculate the incentive that the robot has

Στην πραγματικότητα, μπορούμε να εκτιμήσουμε ότι το κίνητρο του ρομπότ

to allow the human to switch it off,

να αφήσει τον άνθρωπο να το απενεργοποιήσει,

and it's directly tied to the degree

είναι απευθείας συνδεδεμένο με τον βαθμό

of uncertainty about the underlying objective.

αβεβαιότητας για τον υποβόσκοντα σκοπό.

And then when the machine is switched off,

Και όταν η μηχανή είναι απενεργοποιημένη,

that third principle comes into play.

η τρίτη αρχή αποκτά σημασία.

It learns something about the objectives it should be pursuing,

Η μηχανή μαθαίνει για τους σκοπούς που πρέπει να ακολουθεί,

because it learns that what it did wasn't right.

διότι μαθαίνει ότι αυτό που έκανε δεν ήταν σωστό.

In fact, we can, with suitable use of Greek symbols,

Στην πραγματικότητα, με κατάλληλη χρήση Ελληνικών συμβόλων,

as mathematicians usually do,

όπως συχνά κάνουν οι μαθηματικοί,

we can actually prove a theorem

μπορούμε να αποδείξουμε ένα θεώρημα

that says that such a robot is provably beneficial to the human.

που δηλώνει ότι ένα τέτοιο ρομπότ είναι πιθανά χρήσιμο στον άνθρωπο.

You are provably better off with a machine that's designed in this way

Είμαστε καλύτερα με μία μηχανή σχεδιασμένη με αυτό τον τρόπο,

than without it.

παρά χωρίς αυτή.

So this is a very simple example, but this is the first step

Να, λοιπόν, ένα απλό παράδειγμα, που όμως είναι το πρώτο βήμα

in what we're trying to do with human-compatible AI.

προς αυτό που προσπαθούμε να κάνουμε με την ανθρωπίνως συμβατή ΤΝ.

Now, this third principle,

Αυτή η τρίτη αρχή,

I think is the one that you're probably scratching your head over.

θεωρώ πως είναι εκείνη που σας κινεί το ενδιαφέρον.

You're probably thinking, "Well, you know, I behave badly.

Πιθανώς σκέφτεστε, «Μάλλον, συμπεριφέρομαι άσχημα.

I don't want my robot to behave like me.

Δεν θέλω το ρομπότ μου να συμπεριφέρεται σαν εμένα.

I sneak down in the middle of the night and take stuff from the fridge.

Κατεβαίνω στα κρυφά μέσα στη νύχτα και παίρνω φαγητό από το ψυγείο.

I do this and that."

Κάνω διάφορα πράγματα».

There's all kinds of things you don't want the robot doing.

Υπάρχουν διάφορα πράγματα που δεν θέλω να κάνει το ρομπότ.

But in fact, it doesn't quite work that way.

Αλλά ουσιαστικά, δεν γίνεται έτσι.

Just because you behave badly

Μόνο και μόνο επειδή συμπεριφέρεστε άσχημα,

doesn't mean the robot is going to copy your behavior.

δεν σημαίνει ότι το ρομπότ θα σας αντιγράψει.

It's going to understand your motivations and maybe help you resist them,

Θα καταλάβει τα κίνητρα σας και ίσως βοηθήσει να αντισταθείτε,

if appropriate.

εάν σας αρμόζει.

But it's still difficult.

Αλλά και πάλι είναι δύσκολο.

What we're trying to do, in fact,

Ουσιαστικά, αυτό που προσπαθούμε να κάνουμε είναι

is to allow machines to predict for any person and for any possible life

να επιτρέψουμε στις μηχανές να προβλέπουν

για κάθε άνθρωπο και για κάθε πιθανό τρόπο ζωής τους,

that they could live,

and the lives of everybody else:

όπως και για τις ζωές κάθε άλλου:

Which would they prefer?

Τι θα προτιμούσαν;

And there are many, many difficulties involved in doing this;

Υπάρχουν πάρα πολλές δυσκολίες που εμπλέκονται σε αυτό,

I don't expect that this is going to get solved very quickly.

και δεν περιμένω να λυθούν πολύ γρήγορα.

The real difficulties, in fact, are us.

Οι πραγματικές δυσκολίες, στην ουσία, είμαστε εμείς.

As I have already mentioned, we behave badly.

Όπως προανέφερα, συμπεριφερόμαστε άσχημα.

In fact, some of us are downright nasty.

Πράγματι, κάποιοι από εμάς είμαστε ελεεινοί.

Now the robot, as I said, doesn't have to copy the behavior.

Το ρομπότ όμως, όπως προανέφερα, δεν χρειάζεται να μας αντιγράψει.

The robot does not have any objective of its own.

Το ρομπότ δεν έχει κανένα σκοπό από μόνο του.

It's purely altruistic.

Είναι καθαρά ανιδιοτελές.

And it's not designed just to satisfy the desires of one person, the user,

Και δεν είναι σχεδιασμένο να ικανοποιεί μόνο τις επιθυμίες του χρήστη του,

but in fact it has to respect the preferences of everybody.

αλλά στην ουσία πρέπει να σέβεται τις επιλογές όλων.

So it can deal with a certain amount of nastiness,

Οπότε, μπορεί να ανεχτεί κάποια ποσότητα αθλιότητας,

and it can even understand that your nastiness, for example,

ακόμα και να την καταλάβει. Για παράδειγμα,

you may take bribes as a passport official

μπορεί να δωροδοκείστε ως ελεγκτής διαβατηρίων

because you need to feed your family and send your kids to school.

διότι πρέπει να ταΐσετε την οικογένεια σας και να πάνε τα παιδιά σας σχολείο.

It can understand that; it doesn't mean it's going to steal.

Το καταλαβαίνει αυτό, οπότε δεν πρόκειται να κλέψει.

In fact, it'll just help you send your kids to school.

Απλώς θα σας βοηθήσει να τα στείλετε σχολείο.

We are also computationally limited.

Επίσης είμαστε περιορισμένοι υπολογιστικά.

Lee Sedol is a brilliant Go player,

Ο Λι Σεντόλ είναι καταπληκτικός παίκτης Γκο,

but he still lost.

παρ' όλ' αυτά έχασε.

So if we look at his actions, he took an action that lost the game.

Αν κοιτάξουμε τις κινήσεις του, έκανε μία που του στοίχισε το παιχνίδι.

That doesn't mean he wanted to lose.

Αυτό δεν σημαίνει ότι ήθελε να χάσει.

So to understand his behavior,

Άρα, για να καταλάβουμε τη συμπεριφορά του,

we actually have to invert through a model of human cognition

πρέπει βασικά να το επεξεργαστούμε με ένα μοντέλο κατανόησης της ανθρώπινης γνώσης

that includes our computational limitations -- a very complicated model.

που να περιλαμβάνει τους υπολογιστικούς περιορισμούς μας - ένα πολύπλοκο μοντέλο.

But it's still something that we can work on understanding.

Αλλά είναι ακόμα κάτι που θα δουλέψουμε για να καταλάβουμε.

Probably the most difficult part, from my point of view as an AI researcher,

Πιθανά το πιο δύσκολο μέρος, κατά τη γνώμη μου ως ερευνητής ΤΝ

is the fact that there are lots of us,

είναι το γεγονός ότι υπάρχουν πολλοί ερευνητές,

and so the machine has to somehow trade off, weigh up the preferences

οπότε η μηχανή πρέπει κάπως να συμβιβάσει τις προτιμήσεις

of many different people,

τόσων πολλών διαφορετικών ανθρώπων

and there are different ways to do that.

και υπάρχουν πολλοί τρόποι να γίνει αυτό.

Economists, sociologists, moral philosophers have understood that,

Οικονομολόγοι, κοινωνιολόγοι και ηθικοί φιλόσοφοι το έχουν καταλάβει

and we are actively looking for collaboration.

και ενεργά ψάχνουν για συνεργασίες.

Let's have a look and see what happens when you get that wrong.

Ας δούμε τώρα τι συμβαίνει όταν κάνεις λάθος σε αυτό.

So you can have a conversation, for example,

Μπορεί, για παράδειγμα, να συνομιλείς

with your intelligent personal assistant

με τον ευφυή προσωπικό σου βοηθό

that might be available in a few years' time.

που ίσως να είναι διαθέσιμος σε μερικά χρόνια.

Think of a Siri on steroids.

Σκεφτείτε κάτι σαν την Σίρι σε αναβολικά.

So Siri says, "Your wife called to remind you about dinner tonight."

Λέει, λοιπόν η Σίρι, «Η σύζυγος σου κάλεσε για να σου υπενθυμίσει το αποψινό δείπνο».

And of course, you've forgotten. "What? What dinner?

Και προφανώς το έχεις ξεχάσει.

«Δείπνο; Ποιο δείπνο; Για ποιο πράγμα μιλάς;»

What are you talking about?"

"Uh, your 20th anniversary at 7pm."

«Το δείπνο για την 20η επέτειό σας στις 7μμ».

"I can't do that. I'm meeting with the secretary-general at 7:30.

«Δεν προλαβαίνω. Θα συναντήσω τον γενικό γραμματέα στις 7:30.

How could this have happened?"

Πώς συνέβει αυτό;»

"Well, I did warn you, but you overrode my recommendation."

«Σε ειδοποίησα, αλλά παρέκαμψες την πρότασή μου».

"Well, what am I going to do? I can't just tell him I'm too busy."

«Τι θα κάνω τώρα; Δεν μπορώ απλώς να του πω ότι είμαι απασχολημένος».

"Don't worry. I arranged for his plane to be delayed."

«Μην ανησυχείς. Κανόνισα να καθυστερήσει η πτήση του».

(Laughter)

(Γέλια)

"Some kind of computer malfunction."

«Κάποιου είδους βλάβη στον υπολογιστή».

(Laughter)

(Γέλια)

"Really? You can do that?"

«Αλήθεια; Μπορείς να το κάνεις αυτό;»

"He sends his profound apologies

«Σου ζητά ειλικρινά συγγνώμη

and looks forward to meeting you for lunch tomorrow."

και αναμένει να σε συναντήσει για μεσημεριανό αύριο».

(Laughter)

(Γέλια)

So the values here -- there's a slight mistake going on.

Το θέμα εδώ είναι πως υπάρχει ένα μικρό λάθος.

This is clearly following my wife's values

Αυτό είναι ότι σαφώς ακολουθούνται οι σκοποί της γυναίκας μου,

which is "Happy wife, happy life."

που είναι, «Χαρούμενη σύζυγος, Χαρούμενη ζωή».

(Laughter)

(Γέλια)

It could go the other way.

Θα μπορούσε να γίνει αλλιώς.

You could come home after a hard day's work,

Γυρνάς σπίτι μετά από μια μέρα σκληρής δουλειάς

and the computer says, "Long day?"

και ο υπολογιστής λέει, «Δύσκολη μέρα;»

"Yes, I didn't even have time for lunch."

«Ναι, δεν είχα χρόνο ούτε για μεσημεριανό».

"You must be very hungry."

«Θα πεινάς πολύ τότε».

"Starving, yeah. Could you make some dinner?"

«Σαν λύκος. Μπορείς να μαγειρέψεις;»

"There's something I need to tell you."

«Υπάρχει κάτι που πρέπει να σου πω».

(Laughter)

(Γέλια)

"There are humans in South Sudan who are in more urgent need than you."

«Υπάρχουν άνθρωποι στο Νότιο Σουδάν που έχουν περισσότερη ανάγκη από εσένα».

(Laughter)

(Γέλια)

"So I'm leaving. Make your own dinner."

«Οπότε, φεύγω. Μαγείρεψε μόνος σου».

(Laughter)

(Γέλια)

So we have to solve these problems,

Πρέπει να λύσουμε αυτά τα προβλήματα

and I'm looking forward to working on them.

και ανυπομονώ να δουλέψω πάνω σε αυτά.

There are reasons for optimism.

Υπάρχουν λόγοι να αισιοδοξούμε.

One reason is,

Ένας λόγος είναι,

there is a massive amount of data.

πως υπάρχουν τεράστιες ποσότητες δεδομένων.

Because remember -- I said they're going to read everything

Θυμηθείτε πως είπα ότι πρόκειται να διαβάσουν

the human race has ever written.

οτιδήποτε έχει γραφτεί ποτέ.

Τα περισσότερα που έχουν γραφτεί είναι για ανθρώπους να δρουν

Most of what we write about is human beings doing things

και άλλους να εκνευρίζονται με αυτό.

and other people getting upset about it.

So there's a massive amount of data to learn from.

Οπότε υπάρχουν τεράστιες ποσότητες δεδομένων από όπου θα μάθουν.

There's also a very strong economic incentive

Υπάρχει επίσης ένα ισχυρό, οικονομικό κίνητρο

to get this right.

ώστε να πετύχει αυτό.

So imagine your domestic robot's at home.

Φανταστείτε το οικιακό σας ρομπότ.

You're late from work again and the robot has to feed the kids,

Έχετε καθυστερήσει πάλι στη δουλειά, αυτό πρέπει να ταΐσει τα παιδιά

and the kids are hungry and there's nothing in the fridge.

τα οποία είναι πεινασμένα και δεν υπάρχει τίποτα στο ψυγείο.

And the robot sees the cat.

Και το ρομπότ βλέπει τη γάτα.

(Laughter)

(Γέλια)

And the robot hasn't quite learned the human value function properly,

Το ρομπότ, όμως, δεν έχει μάθει σωστά τη λειτουργία των ανθρώπινων αξιών

so it doesn't understand

και δεν καταλαβαίνει

the sentimental value of the cat outweighs the nutritional value of the cat.

ότι η συναισθηματική αξία της γάτας υπερισχύει της θρεπτικής της αξίας.

(Laughter)

(Γέλια)

So then what happens?

Τι συμβαίνει τότε, λοιπόν;

Well, it happens like this:

Συμβαίνει κάτι τέτοιο,

"Deranged robot cooks kitty for family dinner."

«Ανεξέλεγκτο ρομπότ μαγειρεύει γατάκι για οικογενειακό δείπνο».

That one incident would be the end of the domestic robot industry.

Αυτό το συμβάν είναι αρκετό για το τέλος της βιομηχανίας οικιακών ρομπότ.

So there's a huge incentive to get this right

Άρα υπάρχει ένα ισχυρό κίνητρο για να επιτευχθεί σωστά η έρευνα

long before we reach superintelligent machines.

πολύ πριν φτάσουμε στις υπερ-ευφυείς μηχανές.

So to summarize:

Για να συνοψίσω,

I'm actually trying to change the definition of AI

Προσπαθώ να αλλάξω τον ορισμό της ΤΝ

so that we have provably beneficial machines.

ώστε να έχουμε πιθανά ωφέλιμες μηχανές.

And the principles are:

Και οι αρχές είναι,

machines that are altruistic,

ανιδιοτελείς μηχανές

that want to achieve only our objectives,

που θέλουν να πετύχουν μόνο το δικό μας σκοπό

but that are uncertain about what those objectives are,

και που είναι αβέβαιες για το ποιος είναι αυτός ο σκοπός

and will watch all of us

και που θα μας παρακολουθούν όλους

to learn more about what it is that we really want.

για να μάθουν περισσότερα για το τι πραγματικά θέλουμε.

And hopefully in the process, we will learn to be better people.

Αν όλα πάνε καλά, στη πορεία θα μάθουμε πώς να γίνουμε καλύτεροι άνθρωποι.

Thank you very much.

Σας ευχαριστώ πολύ.

(Applause)

(Χειροκρότημα)

Chris Anderson: So interesting, Stuart.

Κρις Άντερσον: Πολύ ενδιαφέρον, Στιούαρτ.

We're going to stand here a bit because I think they're setting up

Θα περιμένουμε λιγάκι εδώ

διότι νομίζω πως ετοιμάζονται για τον επόμενο ομιλητή.

for our next speaker.

A couple of questions.

Μερικές ερωτήσεις.

So the idea of programming in ignorance seems intuitively really powerful.

Η ιδέα του προγραμματισμού εν αγνοία φαίνεται ενστικτωδώς πολύ ισχυρή.

Όσο προχωράς προς την υπερνοημοσύνη,

As you get to superintelligence,

what's going to stop a robot

τι πρόκειται να σταματήσει ένα ρομπότ

reading literature and discovering this idea that knowledge

που διαβάζει λογοτεχνία και ανακαλύπτει την ιδέα

is actually better than ignorance

ότι η γνώση είναι καλύτερη από την άγνοια,

and still just shifting its own goals and rewriting that programming?

να μην αλλάξει τους σκοπούς του και ξαναγράψει τον κώδικά του;

Stuart Russell: Yes, so we want it to learn more, as I said,

Στιούαρτ Ράσελ: Ναι, εμείς θέλουμε να μάθει περισσότερα, όπως είπα,

about our objectives.

για τους σκοπούς μας.

It'll only become more certain as it becomes more correct,

Θα γίνει πιο βέβαιο όσο γίνεται πιο σωστό,

so the evidence is there

άρα τα στοιχεία υπάρχουν

and it's going to be designed to interpret it correctly.

και θα σχεδιαστεί για να τα ερμηνεύει σωστά.

It will understand, for example, that books are very biased

Θα καταλαβαίνει, για παράδειγμα, ότι τα βιβλία είναι πολύ προκατειλημμένα

in the evidence they contain.

στο περιεχόμενό τους.

They only talk about kings and princes

Μιλούν μόνο για βασιλιάδες και πρίγκιπες

and elite white male people doing stuff.

και προνομιούχους λευκούς άνδρες να κάνουν διάφορα.

So it's a complicated problem,

Είναι, λοιπόν, ένα σύνθετο πρόβλημα,

but as it learns more about our objectives

αλλά όσο η μηχανή μαθαίνει περισσότερα για τους σκοπούς μας,

it will become more and more useful to us.

θα μας γίνεται όλο και πιο χρήσιμη.

CA: And you couldn't just boil it down to one law,

ΚΑ: Δεν μπορείς να το συμπτύξεις όλο σε ένα νόμο,

you know, hardwired in:

προγραμματισμένο μέσα τους,

"if any human ever tries to switch me off,

«Αν κάποιος άνθρωπος προσπαθήσει να με απενεργοποιήσει

I comply. I comply."

θα υπακούσω».

SR: Absolutely not.

ΣΡ: Όχι, βέβαια.

That would be a terrible idea.

Αυτή είναι μια φρικτή ιδέα.

So imagine that you have a self-driving car

Φαντάσου ότι έχεις ένα αυτο-οδηγούμενο αυτοκίνητο

and you want to send your five-year-old

και θέλεις να στείλεις τον πεντάχρονο γιο σου

off to preschool.

στον παιδικό σταθμό.

Do you want your five-year-old to be able to switch off the car

Θα ήθελες το πεντάχρονο παιδί σου να μπορεί να το απενεργοποιήσει

while it's driving along?

όσο είναι εν κινήσει;

Probably not.

Μάλλον όχι.

So it needs to understand how rational and sensible the person is.

Άρα το ρομπότ πρέπει να καταλαβαίνει πόσο λογικό είναι ένα άτομο.

The more rational the person,

Όσο λογικότερο το άτομο,

the more willing you are to be switched off.

τόσο πιθανότερο να θες να το απενεργοποιήσεις.

If the person is completely random or even malicious,

Αν το άτομο είναι τελείως ασυνάρτητο ή κακόβουλο,

then you're less willing to be switched off.

τότε είναι πιο απίθανο να το απενεργοποιήσεις.

CA: All right. Stuart, can I just say,

ΚΑ: Εντάξει. Στιούαρτ, απλώς να πω,

I really, really hope you figure this out for us.

πραγματικά ελπίζω να καταφέρεις να βρεις τη λύση.

Thank you so much for that talk. That was amazing.

Ευχαριστώ πολύ για την απίθανη ομιλία σου.

SR: Thank you.

ΣΡ: Ευχαριστώ. (Χειροκρότημα)

(Applause)