The era of blind faith in big data must end | Cathy O'Neil

Traductor: Silvina Katz Revisor: Lidia Cámara de la Fuente

Algorithms are everywhere.

Hay algoritmos por todos lados.

They sort and separate the winners from the losers.

Ordenan y separan a los ganadores de los perdedores.

The winners get the job

Los ganadores consiguen el trabajo

or a good credit card offer.

o buenas condiciones de crédito.

The losers don't even get an interview

A los perdedores ni siquiera se les invita a una entrevista

or they pay more for insurance.

o tienen que pagar más por el seguro.

We're being scored with secret formulas that we don't understand

Se nos califica mediante fórmulas secretas que no entendemos

that often don't have systems of appeal.

y a las que no se puede apelar.

That begs the question:

Eso plantea una pregunta:

What if the algorithms are wrong?

¿Qué pasa si los algoritmos se equivocan?

To build an algorithm you need two things:

Un algoritmo necesita dos cosas:

you need data, what happened in the past,

datos ocurridos en el pasado

and a definition of success,

y una definición del éxito;

the thing you're looking for and often hoping for.

esto es, lo que uno quiere y lo que desea.

You train an algorithm by looking, figuring out.

Los algoritmos se entrenan mirando, descubriendo.

The algorithm figures out what is associated with success.

El algoritmo calcula a qué se asocia el éxito,

What situation leads to success?

qué situaciones llevan al éxito.

Actually, everyone uses algorithms.

En general todos usamos algoritmos

They just don't formalize them in written code.

pero no los formalizamos mediante un código escrito.

Let me give you an example.

Les doy un ejemplo.

I use an algorithm every day to make a meal for my family.

Yo uso un algoritmo todos los días para preparar la comida en casa.

The data I use

Los datos que uso

is the ingredients in my kitchen,

son los ingredientes de la cocina,

the time I have,

el tiempo que tengo

the ambition I have,

y lo ambiciosa que estoy.

and I curate that data.

Y así organizo los datos.

I don't count those little packages of ramen noodles as food.

No incluyo esos paquetitos de fideos como comida.

(Laughter)

(Risas)

My definition of success is:

Mi definición del éxito es:

a meal is successful if my kids eat vegetables.

la comida tiene éxito, si mis hijos comen verdura.

It's very different from if my youngest son were in charge.

Lo que sería muy distinto, si mi hijito tuviera el control.

He'd say success is if he gets to eat lots of Nutella.

Para él el éxito es comer mucha Nutella.

But I get to choose success.

Pero yo soy quien elige el éxito.

I am in charge. My opinion matters.

Estoy al mando. Mi opinión cuenta.

That's the first rule of algorithms.

Esa es la primera regla de los algoritmos.

Algorithms are opinions embedded in code.

Los algoritmos son opiniones que se embeben en código.

It's really different from what you think most people think of algorithms.

Es muy diferente a cómo la gente se imagina los algoritmos.

They think algorithms are objective and true and scientific.

Se creen que los algoritmos son objetivos, verdaderos y científicos.

That's a marketing trick.

Ese en un truco del marketing.

It's also a marketing trick

Tambien es un truco del marketing

to intimidate you with algorithms,

la intimidación con algoritmos,

to make you trust and fear algorithms

que nos hacer confiar y temer los algoritmos

because you trust and fear mathematics.

porque confiamos y tememos las matemáticas.

A lot can go wrong when we put blind faith in big data.

Muchas cosas pueden salir mal si confiamos a ciegas en datos masivos.

This is Kiri Soares. She's a high school principal in Brooklyn.

Esta es Kiri Soares. Es la directora de una escuela de Brooklyn.

In 2011, she told me her teachers were being scored

En 2011 me contó que sus maestros se clasificaban

with a complex, secret algorithm

mediante un algoritmo complejo y secreto

called the "value-added model."

llamado "modelo del valor añadido".

I told her, "Well, figure out what the formula is, show it to me.

Le dije, "Intente saber cuál es la fórmula, muéstremela.

I'm going to explain it to you."

Se la voy a explicar".

She said, "Well, I tried to get the formula,

Me respondió, "Trate de conseguir la fórmula,

but my Department of Education contact told me it was math

pero un conocido del Departamento de Educación me dijo

and I wouldn't understand it."

que era matemática y que no la entendería".

It gets worse.

Esto se pone peor.

The New York Post filed a Freedom of Information Act request,

El New York Post la solicitó bajo la Ley de Libertad a la Información.

got all the teachers' names and all their scores

Obtuvo los nombres de los maestros y su puntuación

and they published them as an act of teacher-shaming.

y los publicó como un acto para avergonzar a los maestros.

When I tried to get the formulas, the source code, through the same means,

Cuando intenté conseguir las fórmulas en código base, usando el mismo mecanismo,

I was told I couldn't.

me dijeron que no se podía.

I was denied.

Me lo negaron.

I later found out

Más tarde descubrí

that nobody in New York City had access to that formula.

que nadie tenía derecho a la fórmula en Nueva York.

No one understood it.

Nadie lo podía entender.

Then someone really smart got involved, Gary Rubinstein.

Entonces apareció un tipo muy inteligente, Gary Rubenstein.

He found 665 teachers from that New York Post data

Localizó a 665 maestros por los datos del New York Post

that actually had two scores.

que tenían dos puntuaciones.

That could happen if they were teaching

Eso podía ocurrir si enseñaban

seventh grade math and eighth grade math.

matemática en 7º y 8º grado.

He decided to plot them.

Decidió hacer un gráfico.

Each dot represents a teacher.

Donde cada punto representa a un maestro.

(Laughter)

(Risas)

What is that?

Y eso ¿qué es?

(Laughter)

(Risas)

That should never have been used for individual assessment.

Eso no debiera haberse usado nunca para evaluar a una persona.

It's almost a random number generator.

Es casi un generador de números al azar.

(Applause)

(Aplausos)

But it was.

Pero lo fue.

This is Sarah Wysocki.

Esta es Sarah Wysocki.

She got fired, along with 205 other teachers,

La echaron junto a otros 205 maestros

from the Washington, DC school district,

de una escuela en Washington DC,

even though she had great recommendations from her principal

a pesar de tener muy buena recomendación de la directora

and the parents of her kids.

y de los padres de sus alumnos.

I know what a lot of you guys are thinking,

Me imagino lo que estarán pensando,

especially the data scientists, the AI experts here.

especialmente los cientificos de datos, los expertos en IA

You're thinking, "Well, I would never make an algorithm that inconsistent."

Pensarán "Nosotros nunca produciríamos un algoritmo tan inconsistente."

But algorithms can go wrong,

Pero los algoritmos a veces fallan,

even have deeply destructive effects with good intentions.

y tambien provocar mucha destrucción sin querer.

And whereas an airplane that's designed badly

Y mientras un avión mal diseñado

crashes to the earth and everyone sees it,

se estrella y todos lo ven,

an algorithm designed badly

un algoritmo mal diseñado

can go on for a long time, silently wreaking havoc.

puede funcionar mucho tiempo provocando un desastre silenciosamente.

This is Roger Ailes.

Este es Roger Ailes.

(Laughter)

(Risas)

He founded Fox News in 1996.

Fundador de Fox News en el 1996.

More than 20 women complained about sexual harassment.

Mas de 20 mujeres se quejaron de acoso sexual.

They said they weren't allowed to succeed at Fox News.

Dijeron que no pudieron tener éxito en Fox News.

He was ousted last year, but we've seen recently

Lo echaron el año pasado, pero hemos visto que hace poco

that the problems have persisted.

los problemas han continuado.

That begs the question:

Esto plantea una pregunta:

What should Fox News do to turn over another leaf?

¿Qué debe hacer Fox News para cambiar?

Well, what if they replaced their hiring process

Y si substituyeran su mecanismo de contratación

con un algoritmo de auto- aprendizaje automatizado?

with a machine-learning algorithm?

That sounds good, right?

¿Suena bien?

Think about it.

Piénsenlo,

The data, what would the data be?

Los datos, ¿qué datos serían?

A reasonable choice would be the last 21 years of applications to Fox News.

Una eleccion razonable serian las últimas 21 solicitudes recibidas por Fox News

Reasonable.

Razonable.

What about the definition of success?

Y ¿cuál sería la definición del éxito?

Reasonable choice would be,

Algo razonable sería

well, who is successful at Fox News?

preguntar, quién es exitoso en Fox News.

I guess someone who, say, stayed there for four years

Me imagino que alguien que hubiera estado alli unos 4 años

and was promoted at least once.

y subido de puesto por lo menosuna vez.

Sounds reasonable.

¿Suena razonable?

And then the algorithm would be trained.

Y así se adiestraría el algoritmo.

It would be trained to look for people to learn what led to success,

Se adiestraría para buscar a gente que logra el éxito.

what kind of applications historically led to success

Y qué solicitudes antiguas llegaron al éxito

by that definition.

según esa definición.

Now think about what would happen

Ahora piensen que ocurriría

if we applied that to a current pool of applicants.

si lo usáramos con los candidatos de hoy.

It would filter out women

Filtraría a las mujeres

because they do not look like people who were successful in the past.

ya que no parecen ser personas que hayan tenido éxito en el pasado.

Algorithms don't make things fair

Los algoritmos no son justos

if you just blithely, blindly apply algorithms.

si uno usa algoritmos a ciegas.

They don't make things fair.

No son justos.

They repeat our past practices,

Repiten prácticas anteriores,

our patterns.

nuestros patrones.

They automate the status quo.

Automatizan al status quo.

That would be great if we had a perfect world,

Sería genial en un mundo perfecto,

but we don't.

pero no lo tenemos.

And I'll add that most companies don't have embarrassing lawsuits,

Y aclaro que la mayoria de las empresas no estan involucradas en litigios,

but the data scientists in those companies

pero los cientificos de datos de esas empresas

are told to follow the data,

emplean esos datos

to focus on accuracy.

para lograr la precisión.

Think about what that means.

Piensen qué significa esto.

Because we all have bias, it means they could be codifying sexism

Porque todos tenemos prejuicios, y así podríamos codificar sexismo

or any other kind of bigotry.

u otro tipo de fanatismo.

Thought experiment,

Un experimento de pensamiento,

because I like them:

porque me gusta,

an entirely segregated society --

una sociedad totalmente segregada.

racially segregated, all towns, all neighborhoods

segregada racialmente, todas las ciudades y los barrios

and where we send the police only to the minority neighborhoods

y donde enviamos a la policia solo a barrios minoritarios

to look for crime.

para detectar delitos.

The arrest data would be very biased.

Los arrestos serían sesgados.

What if, on top of that, we found the data scientists

Y, además, elegimos a los cientificos de datos

and paid the data scientists to predict where the next crime would occur?

y pagamos por los datos para predecir dónde ocurrirán los próximos delitos.

Minority neighborhood.

El barrio de una minoría.

Or to predict who the next criminal would be?

O a predecir quien será el próximo criminal.

A minority.

Una minoría.

The data scientists would brag about how great and how accurate

Los cientificos de datos se jactarían de su grandeza y de la precisión

their model would be,

de su modelo,

and they'd be right.

y tendrían razón.

Now, reality isn't that drastic, but we do have severe segregations

La realidad no es tan drástica, pero tenemos grandes segregaciones

in many cities and towns,

en muchas ciudades

and we have plenty of evidence

y tenemos muchas pruebas

of biased policing and justice system data.

de datos políticos y legislativos sesgados.

And we actually do predict hotspots,

Y podemos predecir puntos calientes,

places where crimes will occur.

lugares donde podrá ocurrir un delito

And we do predict, in fact, the individual criminality,

Y así predecir un crimen individual

the criminality of individuals.

y la criminalidad de los individuos.

The news organization ProPublica recently looked into

El organismo de noticias ProPublica lo estudió hace poco.

one of those "recidivism risk" algorithms,

un algoritmo de "riesgo recidivista"

as they're called,

según los llaman

being used in Florida during sentencing by judges.

usado en Florida al hacer sentencias judiciales.

Bernard, on the left, the black man, was scored a 10 out of 10.

Bernardo, a la izquierda, un hombre negro sacó una puntuación de 10 de 10.

Dylan, on the right, 3 out of 10.

Dylan, a la derecha, 3 de 10.

10 out of 10, high risk. 3 out of 10, low risk.

10 de 10, alto riesgo 3 de 10, bajo riesgo.

They were both brought in for drug possession.

Los sentenciaron por tener drogas.

They both had records,

Ambos con antecedentes penales

but Dylan had a felony

pero Dylan habia cometido un delito

but Bernard didn't.

Bernard, no.

This matters, because the higher score you are,

Esto importa porque a mayor puntuación

the more likely you're being given a longer sentence.

mayor probabilidad de una sentencia más larga.

What's going on?

¿Que sucede?

Data laundering.

Lavado de datos.

It's a process by which technologists hide ugly truths

El proceso que se usa para ocultar verdades feas

inside black box algorithms

dentro de una caja negra de algoritmos

and call them objective;

y llamarlos objetivos;

call them meritocratic.

llamándolos meritocráticos

When they're secret, important and destructive,

cuando son secretos, importantes y destructivos

I've coined a term for these algorithms:

Les puse un nombre a estos algoritmos:

"weapons of math destruction."

"armas matemáticas de destrucción"

(Laughter)

(Risas)

(Applause)

(Aplausos)

They're everywhere, and it's not a mistake.

Estan en todos sitios

These are private companies building private algorithms

Son empresas privadas que construyen algoritmos privados

for private ends.

para fines privados.

Even the ones I talked about for teachers and the public police,

Incluso los mencionados de los maestros y la policía pública

those were built by private companies

fueron diseñados por empresas privadas

and sold to the government institutions.

y vendidos a instituciones gubernamentales.

They call it their "secret sauce" --

Lo llaman su "salsa secreta"

that's why they can't tell us about it.

por eso no nos pueden hablar de ello.

It's also private power.

Es un poder privado

They are profiting for wielding the authority of the inscrutable.

que saca provecho por su autoridad inescrutable.

Now you might think, since all this stuff is private

Entonces uno ha de pensar, ya que todo esto es privado

and there's competition,

y hay competición,

maybe the free market will solve this problem.

tal vez un mercado libre podrá solucionarlo

It won't.

Pero no.

There's a lot of money to be made in unfairness.

Se puede ganar mucho dinero con la injusticia.

Also, we're not economic rational agents.

Tampoco somos agentes económicos racionales.

We all are biased.

Todos tenemos prejuicios

We're all racist and bigoted in ways that we wish we weren't,

Somos racistas y fanáticos de una forma que no quisiéramos,

in ways that we don't even know.

de maneras que desconocemos.

We know this, though, in aggregate,

Lo sabemos al sumarlo

because sociologists have consistently demonstrated this

porque los sociólogos lo han demostrado consistentemente

with these experiments they build,

con experimentos que construyeron

where they send a bunch of applications to jobs out,

donde mandan una cantidad de solicitudes de empleo

equally qualified but some have white-sounding names

de personas de calificaciones iguales pero algunas con apellidos blancos

and some have black-sounding names,

y otras con apellidos negros,

and it's always disappointing, the results -- always.

y los resultados siempre los decepcionan, siempre.

So we are the ones that are biased,

Nosotros somos los prejuiciosos

and we are injecting those biases into the algorithms

que inyectamos prejuicios a nuestros algoritmos

by choosing what data to collect,

al elegir qué datos recoger,

like I chose not to think about ramen noodles --

así como yo elegí no pensar en los fideos--

I decided it was irrelevant.

Y decidi que no era importante.

But by trusting the data that's actually picking up on past practices

Pero tenerle confianza a los datos basados en prácticas pasadas

and by choosing the definition of success,

y eligiendo la definición del éxito,

how can we expect the algorithms to emerge unscathed?

¿cómo pretendemos que los algoritmos emerjan intactos?

We can't. We have to check them.

No podemos. Tenemos que verificarlos.

We have to check them for fairness.

Hay que revisarlos por equidad.

The good news is, we can check them for fairness.

Y las buenas noticias son

Algorithms can be interrogated,

que los algoritmos pueden ser interrogados,

and they will tell us the truth every time.

y nos dirán la verdad todas las veces.

And we can fix them. We can make them better.

Y los podemos arreglar. Y mejorarlos.

I call this an algorithmic audit,

Lo explico. Esto se llama revisión del algoritmo,

and I'll walk you through it.

lo explico.

First, data integrity check.

Primero, verificación de integridad de datos.

For the recidivism risk algorithm I talked about,

por el riesgo recidivista.

a data integrity check would mean we'd have to come to terms with the fact

La verificación de la integridad de datos implicaría una conciliación

that in the US, whites and blacks smoke pot at the same rate

que en EE. UU. los blancos y los negros fuman marihuana

but blacks are far more likely to be arrested --

pero a los negros es mas fácil que los arresten

four or five times more likely, depending on the area.

más probablemente cuatro o cinco veces más dependiendo de la zona.

What is that bias looking like in other crime categories,

Y ¿cómo son los prejuicios en otras categorías criminales,

and how do we account for it?

y cómo lo justificamos?

Second, we should think about the definition of success,

Segundo, debemos pensar en la definición del éxito,

audit that.

revisarla.

Remember -- with the hiring algorithm? We talked about it.

¿Recuerdan el algoritmo de la contratación?

Someone who stays for four years and is promoted once?

alguien que se queda cuatro años y asciende de cargo una vez?

Well, that is a successful employee,

Ese es el empleado exitoso,

but it's also an employee that is supported by their culture.

pero tambien es el empleado apoyado por la cultura.

That said, also it can be quite biased.

Esto puede ser bastante injusto.

We need to separate those two things.

Tenemos que separar dos cosas.

We should look to the blind orchestra audition

Mirar a la audicion de una orquesta de ciegos

as an example.

por ejemplo.

That's where the people auditioning are behind a sheet.

Los que dan la audición están detrás de la partitura.

What I want to think about there

Lo que quiero que piensen

is the people who are listening have decided what's important

es que la gente que escucha decide lo que es importante

and they've decided what's not important,

y lo que no lo es,

and they're not getting distracted by that.

sin que eso nos distraiga.

When the blind orchestra auditions started,

Cuando empezaron las audiciones de orquesta de ciegos

the number of women in orchestras went up by a factor of five.

la cantidad de mujeres aumentó un factor de cinco veces.

Next, we have to consider accuracy.

Tambien hay que pensar en la precisión

This is where the value-added model for teachers would fail immediately.

y así el modelo del valor añadido fallaría.

No algorithm is perfect, of course,

Por supuesto ningún algoritmo es perfecto,

so we have to consider the errors of every algorithm.

asi que hay que considerar los errores de cada algoritmo.

How often are there errors, and for whom does this model fail?

¿Qué frecuencia tienen los errores y con quiénes falla?

What is the cost of that failure?

Y ¿cuál es el costo de dicha falla?

And finally, we have to consider

Y por último, tenemos que considerar

the long-term effects of algorithms,

los efectos a largo plazo de los algoritmos,

the feedback loops that are engendering.

los bucles de retroalimentación que engendran.

That sounds abstract,

Eso suena a abstracto.

but imagine if Facebook engineers had considered that

Pero imagínese si los ingenieros de Facebook lo hubieran considerado

before they decided to show us only things that our friends had posted.

antes de mostrarnos cosas publicadas por nuestros amigos.

I have two more messages, one for the data scientists out there.

Tengo dos mensajes, uno para los científicos de datos.

Data scientists: we should not be the arbiters of truth.

Cientificos de datos: no debemos ser los árbitros de la verdad.

We should be translators of ethical discussions that happen

Debemos ser tradutores de las discusiones éticas que ocurren

in larger society.

en toda la sociedad.

(Applause)

(Aplausos)

And the rest of you,

Y para el resto de Uds.

the non-data scientists:

los que no son científicos de datos:

this is not a math test.

esta no es un examen de matemáticas.

This is a political fight.

Es una lucha politica.

We need to demand accountability for our algorithmic overlords.

Tenemos que exigir responsabilidad a los lores de los algoritmos.

(Applause)

(Aplausos)

The era of blind faith in big data must end.

La era de la fe ciega en los datos masivos debe terminar.

Thank you very much.

Muchas gracias.

(Applause)

(Aplauso)