Machine intelligence makes human morals more important | Zeynep Tufekci

Traductor: Lidia Cámara de la Fuente Revisor: Sebastian Betti

So, I started my first job as a computer programmer

Empecé mi primer trabajo como programadora informática

in my very first year of college --

en mi primer año de universidad,

basically, as a teenager.

básicamente, siendo aún adolescente.

Soon after I started working,

Poco después de empezar a trabajar,

writing software in a company,

programando software en una empresa,

a manager who worked at the company came down to where I was,

un gerente que trabajaba en la compañía vino allí donde estaba yo,

and he whispered to me,

y me dijo al oído:

"Can he tell if I'm lying?"

"¿Puede decir ella si estoy mintiendo?"

There was nobody else in the room.

No había nadie más en la habitación.

"Can who tell if you're lying? And why are we whispering?"

"¿Puede "quién" decir si está mintiendo? ¿Y por qué estamos susurrando?"

The manager pointed at the computer in the room.

El gerente señaló la computadora de la habitación.

"Can he tell if I'm lying?"

"¿Puede ella decir si estoy mintiendo?"

Well, that manager was having an affair with the receptionist.

Bueno, el gerente tenía una aventura con la recepcionista.

(Laughter)

(Risas)

And I was still a teenager.

Y yo todavía era adolescente.

So I whisper-shouted back to him,

Por lo tanto, le susurro yo a él:

"Yes, the computer can tell if you're lying."

"Sí, la computadora puede determinar si Ud. está mintiendo".

(Laughter)

(Risas)

Well, I laughed, but actually, the laugh's on me.

Bueno, me reí, pero, en realidad, me reía de mí.

Nowadays, there are computational systems

Hoy en día, existen sistemas informáticos

that can suss out emotional states and even lying

que pueden detectar estados emocionales e incluso mentir

from processing human faces.

a partir del procesamiento de rostros humanos.

Advertisers and even governments are very interested.

Los anunciantes, e incluso hay gobiernos muy interesados.

Me había convertido en programadora informática

I had become a computer programmer

because I was one of those kids crazy about math and science.

porque yo era una de esas chicas locas por las matemáticas y la ciencia.

But somewhere along the line I'd learned about nuclear weapons,

Pero también me había interesado por las armas nucleares,

and I'd gotten really concerned with the ethics of science.

y había empezado a realmente a preocuparme por la ética de la ciencia.

I was troubled.

Yo estaba preocupada.

However, because of family circumstances,

Sin embargo, por circunstancias familiares,

I also needed to start working as soon as possible.

también debía empezar a trabajar lo antes posible.

So I thought to myself, hey, let me pick a technical field

Así que me dije, bueno, vamos a elegir un campo técnico

where I can get a job easily

donde poder conseguir un trabajo fácil

and where I don't have to deal with any troublesome questions of ethics.

y donde no tenga que lidiar con preguntas molestas sobre ética.

So I picked computers.

Así que elegí las computadoras.

(Laughter)

(Risas)

Well, ha, ha, ha! All the laughs are on me.

Bueno, ¡ja, ja, ja! Todas las risas a mi costa.

Nowadays, computer scientists are building platforms

Hoy en día, los informáticos construyen plataformas

that control what a billion people see every day.

que controlan lo que millones de personas ven todos los días.

They're developing cars that could decide who to run over.

Están desarrollando automóviles que podrían decidir a quién atropellar.

They're even building machines, weapons,

Es más, están construyendo máquinas, armas,

that might kill human beings in war.

que podrían matar a seres humanos en la guerra.

It's ethics all the way down.

Esto es ética a fondo.

Machine intelligence is here.

La inteligencia artificial está aquí.

We're now using computation to make all sort of decisions,

Estamos usando la computación para tomar todo tipo de decisiones,

además de nuevos tipos de decisiones.

but also new kinds of decisions.

We're asking questions to computation that have no single right answers,

Planteamos preguntas a las computadoras que no tienen respuestas

correctas individuales, por ser subjetivas

that are subjective

and open-ended and value-laden.

e indefinidas y cargadas de valores.

We're asking questions like,

Planteamos preguntas como:

"Who should the company hire?"

"¿A quién debe contratar la empresa?"

"Which update from which friend should you be shown?"

"¿Qué actualización de qué amigo debe mostrarse?"

"Which convict is more likely to reoffend?"

"¿Qué convicto tiene más probabilidades de reincidir?"

"Which news item or movie should be recommended to people?"

"¿Qué artículo de noticias o película se deben recomendar a la gente?"

Look, yes, we've been using computers for a while,

Miren, sí, hemos venido usando computadoras hace tiempo,

but this is different.

pero esto es diferente.

This is a historical twist,

Se trata de un giro histórico,

because we cannot anchor computation for such subjective decisions

porque no podemos anclar el cálculo para este tipo de decisiones subjetivas

the way we can anchor computation for flying airplanes, building bridges,

como anclamos el cálculo para pilotar aviones, construir puentes

going to the moon.

o ir a la luna.

Are airplanes safer? Did the bridge sway and fall?

¿Son los aviones más seguros? ¿Se balanceó el puente y cayó?

There, we have agreed-upon, fairly clear benchmarks,

Ahí, hemos acordado puntos de referencia bastante claros,

and we have laws of nature to guide us.

y tenemos leyes de la naturaleza que nos guían.

We have no such anchors and benchmarks

Nosotros no tenemos tales anclas y puntos de referencia

for decisions in messy human affairs.

para las decisiones sobre cuestiones humanas desordenadas.

To make things more complicated, our software is getting more powerful,

Para complicar más las cosas, nuestro software es cada vez más potente,

but it's also getting less transparent and more complex.

pero también es cada vez menos transparente y más complejo.

Recently, in the past decade,

Recientemente, en la última década,

complex algorithms have made great strides.

algunos algoritmos complejos han hecho grandes progresos.

They can recognize human faces.

Pueden reconocer rostros humanos.

They can decipher handwriting.

Pueden descifrar la letra.

They can detect credit card fraud

Pueden detectar el fraude de tarjetas de crédito

and block spam

y bloquear el spam

and they can translate between languages.

y pueden traducir a otros idiomas.

They can detect tumors in medical imaging.

Pueden detectar tumores en imágenes médicas.

They can beat humans in chess and Go.

Puede vencer a los humanos en el ajedrez y en el Go.

Much of this progress comes from a method called "machine learning."

Gran parte de este progreso viene de un método llamado "aprendizaje automático".

El aprendizaje automático es diferente a la programación tradicional,

Machine learning is different than traditional programming,

where you give the computer detailed, exact, painstaking instructions.

donde se da al equipo instrucciones exactas, detalladas y meticulosas.

It's more like you take the system and you feed it lots of data,

Es como si uno alimentara el sistema con una gran cantidad de datos,

including unstructured data,

incluyendo los datos no estructurados,

like the kind we generate in our digital lives.

como los que generamos en nuestras vidas digitales.

And the system learns by churning through this data.

Y el sistema aprende de esos datos.

And also, crucially,

Y también, de manera crucial,

these systems don't operate under a single-answer logic.

estos sistemas no funcionan bajo una lógica de una sola respuesta.

They don't produce a simple answer; it's more probabilistic:

No producen una respuesta sencilla; es más probabilístico:

"This one is probably more like what you're looking for."

"Esto es probablemente parecido a lo que estás buscando".

La ventaja es que este método es muy potente.

Now, the upside is: this method is really powerful.

El jefe de sistemas de inteligencia artificial de Google lo llama:

The head of Google's AI systems called it,

"the unreasonable effectiveness of data."

"la eficacia irrazonable de los datos".

The downside is,

La desventaja es que

we don't really understand what the system learned.

realmente no entendemos lo que aprendió el sistema.

In fact, that's its power.

De hecho, ese es su poder.

This is less like giving instructions to a computer;

Esto no se parece a dar instrucciones a una computadora;

it's more like training a puppy-machine-creature

se parece más a la formación de una criatura cachorro máquina

we don't really understand or control.

que realmente no entendemos o controlamos.

So this is our problem.

Así que este es nuestro problema; un problema cuando el sistema

It's a problem when this artificial intelligence system gets things wrong.

de inteligencia artificial hace cosas erróneas.

It's also a problem when it gets things right,

Es también un problema cuando hace bien las cosas,

because we don't even know which is which when it's a subjective problem.

porque ni siquiera sabemos qué es qué cuando se trata de un problema subjetivo.

We don't know what this thing is thinking.

No sabemos qué está pensando esta cosa.

So, consider a hiring algorithm --

Por lo tanto, piensen en un algoritmo de contratación,

a system used to hire people, using machine-learning systems.

un sistema usado para contratar, usa sistemas de aprendizaje automático.

Such a system would have been trained on previous employees' data

un sistema así habría sido entrenado con anteriores datos de empleados

and instructed to find and hire

y tiene la instrucción de encontrar y contratar

people like the existing high performers in the company.

personas como las de alto rendimiento existentes en la empresa.

Sounds good.

Suena bien.

I once attended a conference

Una vez asistí a una conferencia

que reunió a los responsables de recursos humanos y ejecutivos,

that brought together human resources managers and executives,

las personas de alto nivel,

high-level people,

using such systems in hiring.

que usaban estos sistemas en la contratación.

They were super excited.

Estaban muy emocionados.

They thought that this would make hiring more objective, less biased,

Pensaban que esto haría la contratación más objetiva, menos tendenciosa,

and give women and minorities a better shot

para dar a las mujeres y a las minorías mejores oportunidades

against biased human managers.

contra los administradores humanos tendenciosos.

And look -- human hiring is biased.

La contratación humana es tendenciosa.

I know.

Lo sé.

I mean, in one of my early jobs as a programmer,

Es decir, en uno de mis primeros trabajos como programadora,

my immediate manager would sometimes come down to where I was

mi jefa a veces venía allí donde yo estaba

really early in the morning or really late in the afternoon,

muy temprano en la mañana o muy tarde por la tarde,

and she'd say, "Zeynep, let's go to lunch!"

y decía: "Zeynep, ¡vayamos a comer!"

I'd be puzzled by the weird timing.

Me dejaba perpleja por el momento extraño de preguntar.

It's 4pm. Lunch?

Son las 16. ¿Almuerzo?

I was broke, so free lunch. I always went.

Estaba en la ruina, así que, ante un almuerzo gratis, siempre fui.

I later realized what was happening.

Más tarde me di cuenta de lo que estaba ocurriendo.

My immediate managers had not confessed to their higher-ups

Mis jefes inmediatos no habían confesado a sus altos mandos

que el programador contratado para un trabajo serio era una adolescente

that the programmer they hired for a serious job was a teen girl

who wore jeans and sneakers to work.

que llevaba pantalones vaqueros y zapatillas de deporte en el trabajo.

Yo hacía un buen trabajo, solo que no encajaba

I was doing a good job, I just looked wrong

and was the wrong age and gender.

por la edad y por el sexo equivocado.

So hiring in a gender- and race-blind way

Así que contratar a ciegas independiente del género y de la raza

certainly sounds good to me.

ciertamente me parece bien.

But with these systems, it is more complicated, and here's why:

Sin embargo, con estos sistemas, es más complicado, y he aquí por qué:

Currently, computational systems can infer all sorts of things about you

Hoy los sistemas informáticos pueden deducir todo tipo de cosas sobre Uds.

from your digital crumbs,

a partir de sus pistas digitales,

even if you have not disclosed those things.

incluso si no las han dado a conocer.

They can infer your sexual orientation,

Pueden inferir su orientación sexual,

your personality traits,

sus rasgos de personalidad,

your political leanings.

sus inclinaciones políticas.

They have predictive power with high levels of accuracy.

Tienen poder predictivo con altos niveles de precisión.

Remember -- for things you haven't even disclosed.

Recuerden, por cosas que ni siquiera han dado a conocer.

This is inference.

Esta es la inferencia.

I have a friend who developed such computational systems

Tengo una amiga que desarrolló este tipo de sistemas informáticos

to predict the likelihood of clinical or postpartum depression

para predecir la probabilidad de depresión clínica o posparto

from social media data.

a partir de datos de medios sociales.

The results are impressive.

Los resultados son impresionantes.

Her system can predict the likelihood of depression

Su sistema puede predecir la probabilidad de depresión

months before the onset of any symptoms --

meses antes de la aparición de cualquier síntoma,

months before.

meses antes.

No symptoms, there's prediction.

No hay síntomas, sí hay predicción.

She hopes it will be used for early intervention. Great!

Ella espera que se use para la intervención temprana. ¡Estupendo!

But now put this in the context of hiring.

Pero ahora pongan esto en el contexto de la contratación.

So at this human resources managers conference,

Así que en esa conferencia de recursos humanos,

I approached a high-level manager in a very large company,

me acerqué a una gerenta de alto nivel de una empresa muy grande,

and I said to her, "Look, what if, unbeknownst to you,

y le dije: "Mira, ¿qué pasaría si, sin su conocimiento,

your system is weeding out people with high future likelihood of depression?

el sistema elimina a las personas con alta probabilidad futura de la depresión?

They're not depressed now, just maybe in the future, more likely.

No están deprimidos ahora, solo quizá en el futuro, sea probable.

What if it's weeding out women more likely to be pregnant

¿Y si elimina a las mujeres con más probabilidades de estar embarazadas

in the next year or two but aren't pregnant now?

en el próximo año o dos, pero no está embarazada ahora?

What if it's hiring aggressive people because that's your workplace culture?"

¿Y si contratamos a personas agresivas, porque esa es su cultura de trabajo?"

You can't tell this by looking at gender breakdowns.

No se puede saber esto mirando un desglose por sexos.

Those may be balanced.

Estos pueden ser equilibrados.

And since this is machine learning, not traditional coding,

Y como esto es aprendizaje automático, no la programación tradicional,

there is no variable there labeled "higher risk of depression,"

no hay una variable etiquetada como "mayor riesgo de depresión",

"higher risk of pregnancy,"

"mayor riesgo de embarazo",

"aggressive guy scale."

"escala de chico agresivo".

Not only do you not know what your system is selecting on,

Ud. no solo no sabe lo que su sistema selecciona,

you don't even know where to begin to look.

sino que ni siquiera sabe por dónde empezar a buscar.

It's a black box.

Es una caja negra.

It has predictive power, but you don't understand it.

Tiene capacidad de predicción, pero uno no lo entiende.

"What safeguards," I asked, "do you have

"¿Qué salvaguardia", pregunté,

to make sure that your black box isn't doing something shady?"

"puede asegurar que la caja negra no hace algo perjudicial?"

She looked at me as if I had just stepped on 10 puppy tails.

Ella me miró como si acabara de romper algo valioso.

(Laughter)

(Risas)

She stared at me and she said,

Me miró y dijo:

"I don't want to hear another word about this."

"No quiero oír ni una palabra de esto".

And she turned around and walked away.

Dio la vuelta y se alejó.

Mind you -- she wasn't rude.

Eso sí, ella no fue grosera.

It was clearly: what I don't know isn't my problem, go away, death stare.

Era claramente: lo que no sé, no es mi problema, vete, encara la muerte.

(Laughter)

(Risas)

Look, such a system may even be less biased

Un sistema de este tipo puede ser incluso menos sesgado

than human managers in some ways.

que los administradores humanos en algunos aspectos.

And it could make monetary sense.

Y podría tener sentido monetario.

But it could also lead

Pero también podría llevar

to a steady but stealthy shutting out of the job market

a un cierre constante pero sigiloso del mercado de trabajo

of people with higher risk of depression.

a las personas con mayor riesgo de depresión.

Is this the kind of society we want to build,

¿Es este el tipo de sociedad la que queremos construir,

without even knowing we've done this,

sin siquiera saber que lo hemos hecho,

because we turned decision-making to machines we don't totally understand?

porque nos movemos en torno a decisiones de máquinas que no entendemos totalmente?

Another problem is this:

Otro problema es el siguiente:

these systems are often trained on data generated by our actions,

estos sistemas son a menudo entrenados con datos generados

human imprints.

por nuestras acciones, por huellas humanas.

Well, they could just be reflecting our biases,

Podrían pues estar reflejando nuestros prejuicios,

and these systems could be picking up on our biases

y estos sistemas podrían dar cuenta de nuestros prejuicios

and amplifying them

y la amplificación de ellos

and showing them back to us,

volviendo a nosotros,

while we're telling ourselves,

mientras que decimos:

"We're just doing objective, neutral computation."

"Somos objetivos, es el cómputo neutral".

Researchers found that on Google,

Los investigadores encontraron que en Google las mujeres tienen

women are less likely than men to be shown job ads for high-paying jobs.

menos probabilidades que los hombres

de que les aparezcan anuncios de trabajo bien remunerados.

And searching for African-American names

Y buscando nombres afroestadounidenses

is more likely to bring up ads suggesting criminal history,

es más probable que aparezcan anuncios que sugieren antecedentes penales,

even when there is none.

incluso cuando no existan.

Such hidden biases and black-box algorithms

Estos sesgos ocultos y algoritmos de la caja negra

that researchers uncover sometimes but sometimes we don't know,

que descubren los investigadores a veces, pero a veces no,

can have life-altering consequences.

pueden tener consecuencias que cambian la vida.

In Wisconsin, a defendant was sentenced to six years in prison

En Wisconsin, un acusado fue condenado a seis años de prisión

for evading the police.

por escaparse de la policía.

Quizá no lo sepan, pero los algoritmos se usan cada vez más

You may not know this,

but algorithms are increasingly used in parole and sentencing decisions.

en las decisiones de libertad condicional y de sentencia.

He wanted to know: How is this score calculated?

El acusado quiso saber: ¿Cómo se calcula la puntuación?

It's a commercial black box.

Es una caja negra comercial.

The company refused to have its algorithm be challenged in open court.

La empresa se negó a que se cuestionara su algoritmo en audiencia pública.

But ProPublica, an investigative nonprofit, audited that very algorithm

Pero ProPublica, organización no lucrativa de investigación,

auditó precisamente ese algoritmo con los datos públicos que encontró,

with what public data they could find,

and found that its outcomes were biased

y descubrió que sus resultados estaban sesgados

and its predictive power was dismal, barely better than chance,

y su capacidad de predicción era pésima, apenas mejor que el azar,

and it was wrongly labeling black defendants as future criminals

y se etiquetaban erróneamente acusados ​​negros como futuros criminales

at twice the rate of white defendants.

con una tasa del doble que a los acusados ​​blancos.

So, consider this case:

Piensen en este caso:

This woman was late picking up her godsister

Esta mujer llegó tarde a recoger a la hija de su madrina

from a school in Broward County, Florida,

de una escuela en el condado de Broward, Florida,

running down the street with a friend of hers.

iba corriendo por la calle con una amiga.

They spotted an unlocked kid's bike and a scooter on a porch

Vieron la bicicleta de un niño sin candado y una moto en un porche

and foolishly jumped on it.

y tontamente saltó sobre ella.

As they were speeding off, a woman came out and said,

A medida que aceleraban, una mujer salió y dijo,

"Hey! That's my kid's bike!"

"¡Eh, esa es la bicicleta de mi hijo!"

They dropped it, they walked away, but they were arrested.

Se bajaron, se alejaron, pero fueron detenidas.

She was wrong, she was foolish, but she was also just 18.

Estaba equivocada, fue una tontería, pero también tenía solo 18 años.

She had a couple of juvenile misdemeanors.

Tenía un par de faltas menores.

Meanwhile, that man had been arrested for shoplifting in Home Depot --

Mientras tanto, detenían al hombre por hurto en Home Depot,

85 dollars' worth of stuff, a similar petty crime.

por un valor de USD 85, un delito menor similar.

But he had two prior armed robbery convictions.

Pero él tenía dos condenas anteriores por robo a mano armada.

But the algorithm scored her as high risk, and not him.

Sin embargo, el algoritmo la anotó a ella como de alto riesgo, y no a él.

Two years later, ProPublica found that she had not reoffended.

Dos años más tarde, ProPublica descubrió que ella no había vuelto a delinquir.

Pero le era difícil conseguir un trabajo con sus antecedentes registrados.

It was just hard to get a job for her with her record.

He, on the other hand, did reoffend

Él, por el contrario, era reincidente

and is now serving an eight-year prison term for a later crime.

y ahora cumple una pena de ocho años de prisión por un delito posterior.

Clearly, we need to audit our black boxes

Es evidente que necesitamos auditar nuestras cajas negras

and not have them have this kind of unchecked power.

para no tener este tipo de poder sin control.

(Applause)

(Aplausos)

Audits are great and important, but they don't solve all our problems.

Las auditorías son grandes e importantes, pero no resuelven todos los problemas.

Take Facebook's powerful news feed algorithm --

Tomemos el potente algoritmo de noticias de Facebook,

you know, the one that ranks everything and decides what to show you

ese que sabe todo y decide qué mostrarles

from all the friends and pages you follow.

de las páginas de los amigos que siguen.

Should you be shown another baby picture?

¿Debería mostrarles otra imagen de bebé?

(Laughter)

(Risas)

A sullen note from an acquaintance?

¿Una nota deprimente de un conocido?

An important but difficult news item?

¿Una noticia importante pero difícil?

There's no right answer.

No hay una respuesta correcta.

Facebook optimizes for engagement on the site:

Facebook optimiza para que se participe en el sitio:

likes, shares, comments.

con Me gusta, Compartir y con Comentarios.

In August of 2014,

En agosto de 2014,

protests broke out in Ferguson, Missouri,

estallaron protestas en Ferguson, Missouri,

after the killing of an African-American teenager by a white police officer,

tras la muerte de un adolescente afroestadounidense por un policía blanco,

under murky circumstances.

en circunstancias turbias.

The news of the protests was all over

La noticia de las protestas llegaron

my algorithmically unfiltered Twitter feed,

en mi cuenta de Twitter algorítmicamente sin filtrar

but nowhere on my Facebook.

pero en ninguna parte en mi Facebook.

¿Y qué pasaba con mis amigos de Facebook?

Was it my Facebook friends?

I disabled Facebook's algorithm,

Desactivé el algoritmo de Facebook,

which is hard because Facebook keeps wanting to make you

lo cual es difícil ya que Facebook quiere seguir manteniéndonos

come under the algorithm's control,

bajo el control del algoritmo,

and saw that my friends were talking about it.

y vi que mis amigos estaban hablando de ello.

It's just that the algorithm wasn't showing it to me.

Pero el algoritmo no me lo mostraba.

I researched this and found this was a widespread problem.

He investigado esto y encontré que era un problema generalizado.

The story of Ferguson wasn't algorithm-friendly.

La historia de Ferguson no era compatible con el algoritmo.

It's not "likable."

No es "gustable".

Who's going to click on "like?"

¿Quién va a hacer clic en "Me gusta"?

It's not even easy to comment on.

Ni siquiera es fácil de comentar.

Without likes and comments,

Sin Me gusta y sin comentarios,

the algorithm was likely showing it to even fewer people,

el algoritmo era probable de mostrarse a aún menos personas,

so we didn't get to see this.

así que no tuvimos oportunidad de ver esto.

Instead, that week,

En cambio, esa semana,

Facebook's algorithm highlighted this,

el algoritmo de Facebook destacó esto,

which is the ALS Ice Bucket Challenge.

el ALS que era el desafío del cubo de hielo.

Worthy cause; dump ice water, donate to charity, fine.

Noble causa; verter agua con hielo, donar a la caridad, bien.

But it was super algorithm-friendly.

Esa causa era súper compatible con el algoritmo.

The machine made this decision for us.

La máquina tomó esta decisión por nosotros.

A very important but difficult conversation

Una conversación muy importante pero difícil

might have been smothered,

podría haber sido silenciada

had Facebook been the only channel.

si Facebook hubiese sido el único canal.

Now, finally, these systems can also be wrong

Ahora, por fin, estos sistemas pueden también equivocarse

in ways that don't resemble human systems.

de formas que no se parecen a los humanos.

Do you guys remember Watson, IBM's machine-intelligence system

¿Se acuerdan de Watson, el sistema de inteligencia artificial de IBM

that wiped the floor with human contestants on Jeopardy?

que arrasó con los concursantes humanos en Jeopardy?

It was a great player.

Fue un gran jugador.

But then, for Final Jeopardy, Watson was asked this question:

Pero entonces, para la final de Jeopardy, a Watson se le hizo esta pregunta:

"Its largest airport is named for a World War II hero,

"Su mayor aeropuerto lleva el nombre de un héroe de la 2ª Guerra Mundial,

its second-largest for a World War II battle."

la 2ª batalla más grande de la 2ª Guerra Mundial".

(Hums Final Jeopardy music)

(Música final de Jeopardy)

Chicago.

Chicago.

The two humans got it right.

Los dos humanos lo hicieron bien.

Watson, on the other hand, answered "Toronto" --

Watson, por otra parte, respondió "Toronto"

for a US city category!

para una categoría de ciudad de EE.UU.

The impressive system also made an error

El impresionante sistema también cometió un error

that a human would never make, a second-grader wouldn't make.

que un humano nunca cometería, que un estudiante de segundo grado tampoco.

Our machine intelligence can fail

La inteligencia artificial puede fallar

in ways that don't fit error patterns of humans,

en formas que no se ajustan a los patrones de error de los humanos,

in ways we won't expect and be prepared for.

de maneras que no esperamos y para las que no estamos preparados.

It'd be lousy not to get a job one is qualified for,

Sería pésimo no conseguir trabajo, una vez que uno se cualifica para ello,

but it would triple suck if it was because of stack overflow

pero sería el triple de pésimo si fue por un desbordamiento de pila

in some subroutine.

en algunas subrutinas.

(Laughter)

(Risas)

In May of 2010,

En mayo del 2010

a flash crash on Wall Street fueled by a feedback loop

un flash crash de Wall Street alimentado por un circuito de retroalimentación

in Wall Street's "sell" algorithm

por el algoritmo de "venta" de Wall Street

wiped a trillion dollars of value in 36 minutes.

borró un billón de dólares en 36 minutos.

I don't even want to think what "error" means

Yo no quiero ni pensar lo que significa "error"

in the context of lethal autonomous weapons.

en el contexto de las armas autónomas letales.

So yes, humans have always made biases.

Los humanos siempre hemos tenido prejuicios.

Decision makers and gatekeepers,

Los que toman decisiones y los guardias,

in courts, in news, in war ...

en los tribunales, en la actualidad, en la guerra...

they make mistakes; but that's exactly my point.

cometen errores; pero ese es exactamente mi tema.

We cannot escape these difficult questions.

No podemos escapar a estas preguntas difíciles.

We cannot outsource our responsibilities to machines.

No podemos delegar nuestra responsabilidad a las máquinas.

(Applause)

(Aplausos)

Artificial intelligence does not give us a "Get out of ethics free" card.

La inteligencia artificial no nos da una tarjeta libre de ética.

Data scientist Fred Benenson calls this math-washing.

El experto en datos Fred Benenson lo llama "mathwashing" o lavado matemático.

We need the opposite.

Necesitamos lo contrario.

We need to cultivate algorithm suspicion, scrutiny and investigation.

Necesitamos fomentar un algoritmo de sospecha, escrutinio e investigación.

We need to make sure we have algorithmic accountability,

Tenemos que asegurarnos de tener responsabilidad algorítmica,

auditing and meaningful transparency.

auditoría y transparencia significativa.

We need to accept that bringing math and computation

Tenemos que aceptar que llevar las matemáticas y la computación

to messy, value-laden human affairs

a los asuntos humanos, desordenados y cargados de valores

does not bring objectivity;

no conlleva a la objetividad;

rather, the complexity of human affairs invades the algorithms.

más bien, la complejidad de los asuntos humanos invaden los algoritmos.

Yes, we can and we should use computation

Sí, podemos y debemos usar la computación

to help us make better decisions.

para ayudar a tomar mejores decisiones.

But we have to own up to our moral responsibility to judgment,

Pero tenemos que apropiarnos de nuestra responsabilidad moral de juicio,

and use algorithms within that framework,

y usar algoritmos dentro de ese marco,

not as a means to abdicate and outsource our responsibilities

no como un medio para abdicar y delegar nuestras responsabilidades

to one another as human to human.

el uno al otro, como de humano a humano.

Machine intelligence is here.

La inteligencia artificial está aquí.

That means we must hold on ever tighter

Eso significa que hay que ajustarla cada vez más

to human values and human ethics.

a los valores humanos y a la ética humana.

Thank you.

Gracias.

(Applause)

(Aplausos)