3 principles for creating safer AI | Stuart Russell

Tradutor: Maurício Kakuei Tanaka Revisor: Maricene Crus

This is Lee Sedol.

Este é Lee Sedol.

Lee Sedol is one of the world's greatest Go players,

Lee Sedol é um dos maiores jogadores de Go do mundo,

and he's having what my friends in Silicon Valley call

e está tendo o que meus amigos do Vale do Silício

chamam de momento "Caramba!",

a "Holy Cow" moment --

(Laughter)

(Risos)

a moment where we realize

um momento em que percebemos

that AI is actually progressing a lot faster than we expected.

que a IA está progredindo realmente muito mais rápido do que esperávamos.

So humans have lost on the Go board. What about the real world?

O homem perde no tabuleiro de Go.

E no mundo real?

Well, the real world is much bigger,

Bem, o mundo real é muito maior,

much more complicated than the Go board.

muito mais complicado do que o tabuleiro de Go.

It's a lot less visible,

É muito menos visível, mas ainda é um problema de decisão.

but it's still a decision problem.

And if we think about some of the technologies

Se pensarmos sobre algumas das tecnologias que estão surgindo...

that are coming down the pike ...

Noriko [Arai] mentioned that reading is not yet happening in machines,

Noriko [Arai] mencionou que a leitura ainda não acontece nos computadores,

at least with understanding.

pelo menos, com compreensão,

But that will happen,

mas isso irá acontecer.

and when that happens,

E quando acontecer,

very soon afterwards,

muito em breve, os computadores terão lido tudo que o homem tiver escrito.

machines will have read everything that the human race has ever written.

And that will enable machines,

Isso permitirá aos computadores,

along with the ability to look further ahead than humans can,

junto com a capacidade de olhar mais adiante do que o homem,

as we've already seen in Go,

como já vimos no Go,

if they also have access to more information,

se também tiverem acesso a mais informação,

they'll be able to make better decisions in the real world than we can.

serem capazes de tomar decisões melhores no mundo real do que nós.

So is that a good thing?

Isso é bom?

Well, I hope so.

Bem, espero que sim.

Our entire civilization, everything that we value,

Toda a nossa civilização, tudo o que valorizamos,

is based on our intelligence.

está baseada em nossa inteligência.

And if we had access to a lot more intelligence,

Se tivéssemos acesso a muito mais informações,

then there's really no limit to what the human race can do.

não haveria limites para o homem.

And I think this could be, as some people have described it,

Creio que seria, como alguns descreveram,

the biggest event in human history.

o maior evento na história da humanidade.

[Bem-vindo à Utopia. Aproveite sua viagem.]

So why are people saying things like this,

Então, por que as pessoas dizem coisas como esta,

that AI might spell the end of the human race?

que a IA pode ser o sinal do fim da raça humana?

Is this a new thing?

Isso é novidade?

Is it just Elon Musk and Bill Gates and Stephen Hawking?

Trata-se apenas de Elon Musk, Bill Gates e Stephen Hawking?

Actually, no. This idea has been around for a while.

Na verdade, não. Esta ideia está por aí há algum tempo.

Here's a quotation:

Aqui está uma citação:

"Even if we could keep the machines in a subservient position,

"Mesmo que pudéssemos manter os computadores em posição submissa,

for instance, by turning off the power at strategic moments" --

desligando, por exemplo, a energia em momentos estratégicos",

and I'll come back to that "turning off the power" idea later on --

voltarei mais tarde com essa ideia de "desligar a energia",

"we should, as a species, feel greatly humbled."

"deveríamos, como espécie, nos sentir muito humilhados".

So who said this? This is Alan Turing in 1951.

Quem disse isso?

Foi Alan Turing, em 1951.

Alan Turing, as you know, is the father of computer science

Alan Turing, como sabem, é o pai da informática

and in many ways, the father of AI as well.

e, de muitas formas, o pai da IA também.

So if we think about this problem,

Se pensarmos sobre o problema

the problem of creating something more intelligent than your own species,

de criar algo mais inteligente do que a própria espécie,

we might call this "the gorilla problem,"

podemos chamar isso de "problema do gorila",

because gorillas' ancestors did this a few million years ago,

porque os ancestrais dos gorilas fizeram isso há milhões de anos,

and now we can ask the gorillas:

e podemos agora perguntar a eles:

Was this a good idea?

"Foi uma boa ideia?"

So here they are having a meeting to discuss whether it was a good idea,

Aqui estão eles tendo uma reunião para discutir se foi uma boa ideia,

and after a little while, they conclude, no,

e, depois de um tempo, concluem que não,

this was a terrible idea.

foi uma péssima ideia.

Our species is in dire straits.

Nossa espécie está em apuros.

In fact, you can see the existential sadness in their eyes.

Sim, você pode ver a tristeza existencial nos olhos deles.

(Laughter)

(Risos)

So this queasy feeling that making something smarter than your own species

Esta sensação desconfortável de algo mais inteligente do que a própria espécie

is maybe not a good idea --

talvez não seja uma boa ideia.

what can we do about that?

O que podemos fazer a respeito?

Well, really nothing, except stop doing AI,

Bem, realmente nada, a não ser parar de fazer IA,

and because of all the benefits that I mentioned

e, por causa de todos os benefícios que mencionei

and because I'm an AI researcher,

e, por ser pesquisador de IA, não permitirei isso.

I'm not having that.

I actually want to be able to keep doing AI.

Quero mesmo poder continuar a fazer IA.

So we actually need to nail down the problem a bit more.

Temos, na realidade, que decidir sobre o problema.

What exactly is the problem?

Qual é o problema exatamente?

Why is better AI possibly a catastrophe?

Por que a IA pode ser uma catástrofe?

So here's another quotation:

Aqui está uma outra citação:

"We had better be quite sure that the purpose put into the machine

"É melhor termos certeza de que a missão passada ao computador

is the purpose which we really desire."

é o que realmente desejamos".

This was said by Norbert Wiener in 1960,

Isso foi dito por Norbert Wiener, em 1960,

shortly after he watched one of the very early learning systems

pouco depois de ter visto um dos sistemas de aprendizagem

learn to play checkers better than its creator.

aprender a jogar damas melhor do que seu criador.

But this could equally have been said

Mas isso também poderia ter sido dito

by King Midas.

pelo Rei Midas.

King Midas said, "I want everything I touch to turn to gold,"

O Rei Midas disse: "Quero que tudo o que eu tocar vire ouro",

and he got exactly what he asked for.

e ele conseguiu exatamente o que pediu.

That was the purpose that he put into the machine,

Essa foi a missão passada ao computador,

so to speak,

por assim dizer,

and then his food and his drink and his relatives turned to gold

e então, sua comida, bebida e seus parentes se transformaram em ouro,

and he died in misery and starvation.

e ele morreu de tristeza e fome.

So we'll call this "the King Midas problem"

Chamaremos isso de "problema do Rei Midas"

of stating an objective which is not, in fact,

de dar uma missão que não está, de fato,

truly aligned with what we want.

verdadeiramente alinhada com aquilo que queremos.

In modern terms, we call this "the value alignment problem."

Em termos modernos, chamamos de "problema de alinhamento de valor".

Putting in the wrong objective is not the only part of the problem.

Atribuir a missão errada não é a única parte do problema.

There's another part.

Há outro elemento.

If you put an objective into a machine,

Se você passar uma missão ao computador,

even something as simple as, "Fetch the coffee,"

mesmo algo tão simples como "Traga o café",

the machine says to itself,

o computador dirá a si mesmo:

"Well, how might I fail to fetch the coffee?

"Bem, como posso falhar ao trazer o café?

Someone might switch me off.

Alguém pode me desligar.

OK, I have to take steps to prevent that.

Certo, tenho que fazer algo para evitar isso.

I will disable my 'off' switch.

Desabilitarei meu botão liga e desliga.

I will do anything to defend myself against interference

Farei de tudo para me defender contra interferências

with this objective that I have been given."

a esta missão que recebi".

So this single-minded pursuit

Esta busca determinada,

in a very defensive mode of an objective that is, in fact,

de modo muito defensivo, de uma missão que não está,

not aligned with the true objectives of the human race --

de fato, alinhada com os reais objetivos do homem,

that's the problem that we face.

é o problema que enfrentamos.

And in fact, that's the high-value takeaway from this talk.

Essa é, na verdade, a conclusão valiosa desta palestra.

If you want to remember one thing,

Se quiserem se lembrar de uma coisa,

it's that you can't fetch the coffee if you're dead.

é que não podem trazer o café se estiverem mortos.

(Laughter)

(Risos)

It's very simple. Just remember that. Repeat it to yourself three times a day.

É muito simples. Lembrem-se apenas disso. Repitam a si mesmos três vezes ao dia.

(Laughter)

(Risos)

And in fact, this is exactly the plot

Este é exatamente o enredo de "2001: Uma Odisseia no Espaço".

of "2001: [A Space Odyssey]"

HAL has an objective, a mission,

HAL tem um objetivo, uma missão,

which is not aligned with the objectives of the humans,

que não está alinhada aos objetivos do homem,

and that leads to this conflict.

e que leva a este conflito.

Now fortunately, HAL is not superintelligent.

Felizmente, HAL não é superinteligente.

He's pretty smart, but eventually Dave outwits him

É bem inteligente, mas Dave é mais esperto do que ele no final

and manages to switch him off.

e consegue desligá-lo.

But we might not be so lucky.

Mas podemos não ter tanta sorte.

[Desculpe, Dave, mas não posso fazer isso.]

So what are we going to do?

Então, o que faremos?

I'm trying to redefine AI

Estou tentando redefinir a Inteligência Artificial

to get away from this classical notion

para escapar dessa ideia tradicional

of machines that intelligently pursue objectives.

de computadores que se dedicam aos objetivos de forma inteligente.

There are three principles involved.

Há três princípios envolvidos.

The first one is a principle of altruism, if you like,

O primeiro é o princípio do altruísmo

that the robot's only objective

segundo o qual o único objetivo do robô

is to maximize the realization of human objectives,

é maximizar a realização de objetivos do homem,

of human values.

de valores humanos.

And by values here I don't mean touchy-feely, goody-goody values.

Por valores aqui, não me refiro a valores morais, sentimentais.

I just mean whatever it is that the human would prefer

Refiro-me apenas ao que o homem prefere que seja sua vida.

their life to be like.

And so this actually violates Asimov's law

Isso realmente viola a lei de Asimov

that the robot has to protect its own existence.

pela qual o robô deve proteger sua existência.

It has no interest in preserving its existence whatsoever.

Ele não tem interesse em preservar sua existência de forma alguma.

The second law is a law of humility, if you like.

A segunda lei é a lei da humildade.

And this turns out to be really important to make robots safe.

Isso vem a ser realmente importante para fazer com que os robôs sejam seguros.

It says that the robot does not know

Segundo ela, o robô não sabe quais são esses valores humanos.

what those human values are,

so it has to maximize them, but it doesn't know what they are.

Então, ele tem que maximizá-los, mas não sabe quais são eles.

And that avoids this problem of single-minded pursuit

Isso evita este problema de busca determinada por um objetivo.

of an objective.

This uncertainty turns out to be crucial.

Esta incerteza revela-se crucial.

Now, in order to be useful to us,

Para ser útil a nós, ele precisa ter uma ideia do que queremos.

it has to have some idea of what we want.

It obtains that information primarily by observation of human choices,

Ele obtém essa informação principalmente pela observação das escolhas humanas.

so our own choices reveal information

Assim nossas próprias escolhas revelam informação

about what it is that we prefer our lives to be like.

sobre como preferimos que sejam nossas vidas.

So those are the three principles.

São três princípios.

Vejamos como isso se aplica a esta questão:

Let's see how that applies to this question of:

"Can you switch the machine off?" as Turing suggested.

"Você pode desligar o computador?" como sugeriu Turing.

So here's a PR2 robot.

Aqui está o robô PR2, que temos em nosso laboratório,

This is one that we have in our lab,

and it has a big red "off" switch right on the back.

com um grande botão liga e desliga vermelho nas costas.

The question is: Is it going to let you switch it off?

A questão é: ele deixará você desligá-lo?

If we do it the classical way,

Pelo modo tradicional, damos a ele a missão

we give it the objective of, "Fetch the coffee, I must fetch the coffee,

"Traga o café, devo trazer o café,

I can't fetch the coffee if I'm dead,"

não posso trazer o café se eu estiver morto".

so obviously the PR2 has been listening to my talk,

É claro que o PR2 estava ouvindo minha conversa,

and so it says, therefore, "I must disable my 'off' switch,

e diz então: "Devo desabilitar meu botão liga e desliga,

and probably taser all the other people in Starbucks

e talvez dar um choque nas pessoas do Starbucks que mexerem comigo".

who might interfere with me."

(Laughter)

(Risos)

So this seems to be inevitable, right?

Isso parece inevitável, não?

This kind of failure mode seems to be inevitable,

Este tipo de modo de falha parece inevitável,

and it follows from having a concrete, definite objective.

e resulta de um objetivo concreto, definido.

So what happens if the machine is uncertain about the objective?

O que acontece se o computador não tem certeza do objetivo?

Well, it reasons in a different way.

Bem, ele raciocina de modo diferente.

It says, "OK, the human might switch me off,

Diz: "Tudo bem, o homem pode me desligar,

but only if I'm doing something wrong.

mas só se estiver fazendo algo errado.

Well, I don't really know what wrong is,

Bem, não sei o que é errado, mas sei que não quero fazer isso".

but I know that I don't want to do it."

Ali estão o primeiro e o segundo princípios.

So that's the first and second principles right there.

"So I should let the human switch me off."

"Então, deveria deixar o homem me desligar".

And in fact you can calculate the incentive that the robot has

De fato, você pode calcular o estímulo

que o robô tem para deixar o homem desligá-lo,

to allow the human to switch it off,

and it's directly tied to the degree

e está diretamente ligado ao grau de incerteza sobre o objetivo fundamental.

of uncertainty about the underlying objective.

And then when the machine is switched off,

Então, quando o computador é desligado, o terceiro princípio entra em campo.

that third principle comes into play.

It learns something about the objectives it should be pursuing,

Ele aprende algo sobre os objetivos aos quais deveria se dedicar

because it learns that what it did wasn't right.

porque aprende que não fez o certo.

In fact, we can, with suitable use of Greek symbols,

De fato, com uso adequado de símbolos gregos,

as mathematicians usually do,

como costumavam fazer os matemáticos,

we can actually prove a theorem

podemos até provar um teorema

that says that such a robot is provably beneficial to the human.

segundo o qual tal robô é provavelmente benéfico ao homem.

You are provably better off with a machine that's designed in this way

Talvez você esteja melhor com um computador projetado desta forma

than without it.

do que sem ele.

So this is a very simple example, but this is the first step

Este é um exemplo muito simples, mas é o primeiro passo

in what we're trying to do with human-compatible AI.

para o que estamos tentando fazer com IA compatível com o homem.

Now, this third principle,

Há este terceiro princípio,

I think is the one that you're probably scratching your head over.

pelo qual você deve estar coçando a cabeça.

You're probably thinking, "Well, you know, I behave badly.

Você deve estar pensando: "Bem, sabe, eu me comportei mal.

I don't want my robot to behave like me.

Não quero que meu robô se comporte como eu.

I sneak down in the middle of the night and take stuff from the fridge.

Ando às escondidas, no meio da noite, e pego coisas da geladeira.

I do this and that."

Faço isso e aquilo".

There's all kinds of things you don't want the robot doing.

Há muitas coisas que você não quer que o robô faça.

But in fact, it doesn't quite work that way.

Mas, na verdade, não funciona bem assim.

Just because you behave badly

Só porque você se comporta mal

doesn't mean the robot is going to copy your behavior.

não quer dizer que o robô irá copiar seu comportamento.

It's going to understand your motivations and maybe help you resist them,

Ele irá entender suas motivações e talvez ajudá-lo a resistir a elas,

if appropriate.

se for adequado.

But it's still difficult.

Mas ainda é difícil.

What we're trying to do, in fact,

O que estamos tentando fazer,

is to allow machines to predict for any person and for any possible life

é permitir que computadores prevejam para qualquer pessoa

e para qualquer vida que ela poderia ter, e a vida de todos os demais:

that they could live,

and the lives of everybody else:

Which would they prefer?

qual vida eles iriam preferir?

And there are many, many difficulties involved in doing this;

Há muitas dificuldades envolvidas para fazer isso.

I don't expect that this is going to get solved very quickly.

Não espero que isso seja resolvido muito rapidamente.

The real difficulties, in fact, are us.

As dificuldades reais, na verdade, somos nós.

As I have already mentioned, we behave badly.

Como já havia mencionado, nós nos comportamos mal.

In fact, some of us are downright nasty.

Alguns de nós somos muito maus.

Now the robot, as I said, doesn't have to copy the behavior.

Já o robô, como eu disse, não tem que copiar o comportamento.

The robot does not have any objective of its own.

O robô não tem nenhum objetivo próprio.

It's purely altruistic.

Ele é meramente altruísta.

And it's not designed just to satisfy the desires of one person, the user,

Não é projetado apenas para satisfazer os desejos de uma pessoa, o consumidor,

but in fact it has to respect the preferences of everybody.

mas ele tem que respeitar as preferências de todos.

So it can deal with a certain amount of nastiness,

Ele pode lidar com um pouco de maldade,

and it can even understand that your nastiness, for example,

e pode até entender essa sua maldade.

Por exemplo, você pode aceitar suborno como funcionário público

you may take bribes as a passport official

because you need to feed your family and send your kids to school.

porque precisa alimentar sua família e pagar a escola dos seus filhos.

It can understand that; it doesn't mean it's going to steal.

O robô pode entender isso. Não significa que ele irá roubar.

In fact, it'll just help you send your kids to school.

Ele só o ajudará a pagar a escola de seus filhos.

We are also computationally limited.

Também somos computacionalmente limitados.

Lee Sedol is a brilliant Go player,

Lee Sedol é um jogador de Go genial, mas ele ainda perde.

but he still lost.

So if we look at his actions, he took an action that lost the game.

Se examinarmos suas ações, vemos que uma delas o fez perder o jogo.

That doesn't mean he wanted to lose.

Isso não significa que ele queria perder.

So to understand his behavior,

Para entender o comportamento dele,

we actually have to invert through a model of human cognition

temos realmente que inverter pelo modelo de conhecimento humano

that includes our computational limitations -- a very complicated model.

que inclui limitações computacionais, um modelo muito complexo.

But it's still something that we can work on understanding.

Mas ainda é algo que podemos trabalhar para compreender.

Probably the most difficult part, from my point of view as an AI researcher,

Talvez, o mais difícil, do meu ponto de vista como pesquisador de IA,

is the fact that there are lots of us,

seja o fato de que há muitos de nós,

and so the machine has to somehow trade off, weigh up the preferences

e o computador precisa, de algum modo, trocar, considerar as preferências

of many different people,

de muitas pessoas diferentes,

and there are different ways to do that.

e há modos diferentes para fazer isso.

Economists, sociologists, moral philosophers have understood that,

Economistas, sociólogos, filósofos morais entenderam isso,

and we are actively looking for collaboration.

e estamos procurando ativamente por colaboração.

Let's have a look and see what happens when you get that wrong.

Vamos ver o que acontece quando você interpreta isso mal.

So you can have a conversation, for example,

Você pode ter uma conversa, por exemplo, com seu assistente pessoal inteligente

with your intelligent personal assistant

that might be available in a few years' time.

que pode estar disponível daqui a alguns anos.

Think of a Siri on steroids.

Pense em um assistente virtual.

So Siri says, "Your wife called to remind you about dinner tonight."

O assistente lhe diz: "Sua esposa ligou para lembrá-lo do jantar de hoje à noite",

And of course, you've forgotten. "What? What dinner?

mas você havia esquecido: "O quê? Que jantar? Do que você está falando?"

What are you talking about?"

"Uh, your 20th anniversary at 7pm."

"Seu aniversário de 20 anos, às 19h."

"I can't do that. I'm meeting with the secretary-general at 7:30.

"Não vai dar. Tenho um encontro com o secretário geral às 19h30.

How could this have happened?"

Como foi que isso aconteceu?"

"Well, I did warn you, but you overrode my recommendation."

"Bem, eu o avisei, mas você ignorou minha recomendação."

"Well, what am I going to do? I can't just tell him I'm too busy."

"O que vou fazer? Não posso falar que estou muito ocupado."

"Don't worry. I arranged for his plane to be delayed."

"Não se preocupe. Dei um jeito para o avião dele atrasar."

(Laughter)

(Risos)

"Some kind of computer malfunction."

"Algum tipo de defeito no computador".

(Laughter)

(Risos)

"Really? You can do that?"

"Sério? Consegue fazer isso?"

"He sends his profound apologies

"Ele manda suas profundas desculpas

and looks forward to meeting you for lunch tomorrow."

e não vê a hora de encontrá-lo amanhã para o almoço".

(Laughter)

(Risos)

So the values here -- there's a slight mistake going on.

Está acontecendo um pequeno erro,

This is clearly following my wife's values

que é, obviamente, seguir os valores de minha esposa:

which is "Happy wife, happy life."

"Esposa feliz, vida feliz".

(Laughter)

(Risos)

It could go the other way.

Poderia seguir outro rumo.

You could come home after a hard day's work,

Você chega depois de um dia de trabalho, e o computador diz: "Foi um longo dia?"

and the computer says, "Long day?"

"Yes, I didn't even have time for lunch."

"Sim, nem consegui almoçar."

"You must be very hungry."

"Você deve estar faminto."

"Starving, yeah. Could you make some dinner?"

"Sim, faminto. Pode fazer o jantar?"

"There's something I need to tell you."

"Precisamos conversar."

(Laughter)

(Risos)

"There are humans in South Sudan who are in more urgent need than you."

"Tem gente no Sudão com necessidades mais urgentes do que as suas."

(Laughter)

(Risos)

"So I'm leaving. Make your own dinner."

"Vou sair. Faça você mesmo o seu jantar."

(Laughter)

(Risos)

So we have to solve these problems,

Temos que resolver esses problemas,

and I'm looking forward to working on them.

e estou esperando ansiosamente para trabalhar neles.

There are reasons for optimism.

Há razões para o otimismo.

One reason is,

Uma delas é que há uma enorme quantidade de dados.

there is a massive amount of data.

Because remember -- I said they're going to read everything

Lembrem-se: eu disse que eles irão ler tudo que o homem tiver escrito.

the human race has ever written.

A maioria do que escrevemos é sobre pessoas fazendo coisas

Most of what we write about is human beings doing things

and other people getting upset about it.

e outras ficando aborrecidas com isso.

So there's a massive amount of data to learn from.

Temos uma enorme quantidade de dados para aprender.

There's also a very strong economic incentive

Há também um incentivo econômico muito forte

to get this right.

para resolver isso.

So imagine your domestic robot's at home.

Imagine então seu robô doméstico em casa.

You're late from work again and the robot has to feed the kids,

Você chega tarde em casa e o robô precisa alimentar as crianças,

and the kids are hungry and there's nothing in the fridge.

elas estão com fome e não tem nada na geladeira.

And the robot sees the cat.

E o robô vê o gato.

(Laughter)

(Risos)

And the robot hasn't quite learned the human value function properly,

O robô não aprendeu bem a função do valor humano.

so it doesn't understand

Então, ele não compreende

the sentimental value of the cat outweighs the nutritional value of the cat.

que o valor sentimental pelo gato pesa mais do que seu valor nutritivo.

(Laughter)

(Risos)

So then what happens?

O que acontece então?

Well, it happens like this:

Bem, acontece o seguinte:

"Deranged robot cooks kitty for family dinner."

"Robô louco cozinha gatinho para o jantar".

That one incident would be the end of the domestic robot industry.

Esse único incidente seria o fim da indústria de robôs domésticos.

So there's a huge incentive to get this right

Há um enorme incentivo para resolver isso

long before we reach superintelligent machines.

antes de chegarmos aos computadores superinteligentes.

So to summarize:

Em resumo:

I'm actually trying to change the definition of AI

estou tentando realmente mudar a definição de IA

so that we have provably beneficial machines.

para que tenhamos computadores úteis.

And the principles are:

Os princípios são:

machines that are altruistic,

computadores altruístas,

that want to achieve only our objectives,

que querem alcançar apenas nossos objetivos,

but that are uncertain about what those objectives are,

mas estão incertos sobre quais são eles,

and will watch all of us

e irão observar todos nós

to learn more about what it is that we really want.

para aprender mais sobre o que realmente queremos.

And hopefully in the process, we will learn to be better people.

E tomara que no processo, aprendamos a ser pessoas melhores.

Thank you very much.

Muito obrigado.

(Applause)

(Aplausos)

Chris Anderson: So interesting, Stuart.

Chris Anderson: Interessante, Stuart.

We're going to stand here a bit because I think they're setting up

Ficaremos aqui um pouco porque acho que estão preparando

for our next speaker.

para o próximo palestrante.

A couple of questions.

Algumas questões.

So the idea of programming in ignorance seems intuitively really powerful.

A ideia de programar na ignorância parece realmente convincente.

As you get to superintelligence,

Ao chegar à superinteligência,

what's going to stop a robot

o que irá impedir um robô de ler literatura

reading literature and discovering this idea that knowledge

e descobrir que o conhecimento é melhor que a ignorância

is actually better than ignorance

and still just shifting its own goals and rewriting that programming?

e ainda mudar seus próprios objetivos e reescrever essa programação?

Stuart Russell: Yes, so we want it to learn more, as I said,

Stuart Russell: Sim, queremos...

Queremos que ele aprenda mais, como eu disse, sobre nossos objetivos.

about our objectives.

It'll only become more certain as it becomes more correct,

Ele só se tornará mais seguro quando se tornar mais correto.

so the evidence is there

A evidência está lá, e ele será projetado para interpretá-la corretamente.

and it's going to be designed to interpret it correctly.

It will understand, for example, that books are very biased

Ele entenderá, por exemplo, que os livros são muito tendenciosos

in the evidence they contain.

na evidência que contêm.

They only talk about kings and princes

Eles só falam sobre reis e príncipes e a elite do homem branco fazendo coisas.

and elite white male people doing stuff.

So it's a complicated problem,

É um problema complicado,

but as it learns more about our objectives

mas, à medida que aprende mais sobre nossos objetivos,

it will become more and more useful to us.

ele será cada vez mais útil para nós.

CA: And you couldn't just boil it down to one law,

CA: E você não poderia apenas reduzir a uma regra, integrada em:

you know, hardwired in:

"if any human ever tries to switch me off,

"Se qualquer pessoa tentar me desligar, eu concordo. Eu concordo"?

I comply. I comply."

SR: Absolutely not.

SR: De jeito nenhum. Seria uma ideia terrível.

That would be a terrible idea.

So imagine that you have a self-driving car

Imagine que você tem um carro que dirige sozinho

and you want to send your five-year-old

e você quer mandar seu filho de cinco anos para a escola.

off to preschool.

Do you want your five-year-old to be able to switch off the car

Quer que seu filho de cinco anos consiga desligar o carro em movimento?

while it's driving along?

Provavelmente não.

Probably not.

So it needs to understand how rational and sensible the person is.

Ele tem que compreender a racionalidade e a sensibilidade da pessoa.

The more rational the person,

Quanto mais racional for a pessoa, mais disposto estará para ser desligado.

the more willing you are to be switched off.

If the person is completely random or even malicious,

Se a pessoa for sem noção ou mal-intencionada,

then you're less willing to be switched off.

menos disposto você estará para ser desligado.

CA: All right. Stuart, can I just say,

CA: Tudo bem. Stuart, espero realmente que você resolva isso para nós.

I really, really hope you figure this out for us.

Muito obrigado por esta palestra. Foi incrível. Obrigado.

Thank you so much for that talk. That was amazing.

SR: Thank you.

(Aplausos)

(Applause)