How I'm fighting bias in algorithms | Joy Buolamwini

Traductor: Lidia Cámara de la Fuente Revisor: Sebastian Betti

Hello, I'm Joy, a poet of code,

Hola, soy Joy, una poetisa del código,

on a mission to stop an unseen force that's rising,

en una misión para frenar una fuerza invisible que crece,

a force that I called "the coded gaze,"

una fuerza que llamo "mirada codificada",

my term for algorithmic bias.

mi término para el sesgo algorítmico.

Algorithmic bias, like human bias, results in unfairness.

El sesgo algorítmico, como el humano, se traduce en injusticia.

However, algorithms, like viruses, can spread bias on a massive scale

Pero, los algoritmos, como los virus, pueden propagar sesgos a gran escala

at a rapid pace.

a un ritmo acelerado.

Algorithmic bias can also lead to exclusionary experiences

El sesgo algorítmico puede también generar experiencias de exclusión

and discriminatory practices.

y prácticas discriminatorias.

Let me show you what I mean.

Les mostraré lo que quiero decir.

(Video) Joy Buolamwini: Hi, camera. I've got a face.

(Video) Joy Buolamwini: Hola, cámara. Tengo una cara.

Can you see my face?

¿Puedes ver mi cara?

No-glasses face?

¿Sin lentes?

You can see her face.

Puedes ver su cara.

What about my face?

¿Qué tal mi cara?

I've got a mask. Can you see my mask?

Tengo una máscara. ¿Puedes verla?

Joy Buolamwini: So how did this happen?

Joy Buolamwini: ¿Cómo ocurrió esto?

Why am I sitting in front of a computer

¿Por qué estoy ante una computadora

in a white mask,

con una máscara blanca,

trying to be detected by a cheap webcam?

intentando que una cámara barata me detecte?

Well, when I'm not fighting the coded gaze

Cuando no lucho contra la mirada codificada

as a poet of code,

como poetisa del código,

I'm a graduate student at the MIT Media Lab,

soy estudiante de posgrado en el Laboratorio de Medios del MIT,

and there I have the opportunity to work on all sorts of whimsical projects,

y allí puedo trabajar en todo tipo de proyectos caprichosos,

including the Aspire Mirror,

incluso el Aspire Mirror,

a project I did so I could project digital masks onto my reflection.

un proyecto que realicé para proyectar máscaras digitales en mi propio reflejo.

So in the morning, if I wanted to feel powerful,

Entonces, de mañana, si quería sentirme poderosa,

I could put on a lion.

podía convertirme en león.

If I wanted to be uplifted, I might have a quote.

Si quería inspiración, podía usar una cita.

So I used generic facial recognition software

Entonces, usé el software de reconocimiento facial

to build the system,

para crear el sistema,

but found it was really hard to test it unless I wore a white mask.

pero me resultó muy difícil probarlo sin colocarme una máscara blanca.

Unfortunately, I've run into this issue before.

Desafortunadamente, ya tuve este problema antes.

When I was an undergraduate at Georgia Tech studying computer science,

Cuando era estudiante de informática en Georgia Tech,

I used to work on social robots,

solía trabajar con robots sociales,

and one of my tasks was to get a robot to play peek-a-boo,

y una de mis tareas fue lograr que un robot jugara a esconderse,

a simple turn-taking game

un juego de turnos simple

where partners cover their face and then uncover it saying, "Peek-a-boo!"

donde las personas cubren sus rostros y luego las descubren diciendo: "Aquí está".

The problem is, peek-a-boo doesn't really work if I can't see you,

El problema es que el juego no funciona, si no te pueden ver

and my robot couldn't see me.

y el robot no me veía.

But I borrowed my roommate's face to get the project done,

Pero usé el rostro de mi compañera para terminar el proyecto,

submitted the assignment,

entregué la tarea,

and figured, you know what, somebody else will solve this problem.

y pensé que otra persona resolvería este problema.

Not too long after,

Al poco tiempo,

I was in Hong Kong for an entrepreneurship competition.

me encontraba en Hong Kong en una competencia de emprendedores.

The organizers decided to take participants

Los organizadores decidieron llevar a los participantes

on a tour of local start-ups.

a un recorrido por empresas locales emergentes.

One of the start-ups had a social robot,

Una de ellas tenía un robot social,

and they decided to do a demo.

y decidieron hacer una demostración.

The demo worked on everybody until it got to me,

La demostración funcionó bien hasta que llegó mi turno,

and you can probably guess it.

y probablemente pueden adivinar.

It couldn't detect my face.

No pudo detectar mi rostro.

I asked the developers what was going on,

Pregunté a los desarrolladores qué pasaba,

and it turned out we had used the same generic facial recognition software.

y resultó que habíamos usado el mismo software genérico de reconocimiento.

Halfway around the world,

Al otro lado del mundo,

I learned that algorithmic bias can travel as quickly

aprendí que el sesgo algorítmico puede viajar tan rápido

as it takes to download some files off of the internet.

como el tiempo que lleva descargar archivos de Internet.

So what's going on? Why isn't my face being detected?

Entonces, ¿qué sucede? ¿Por qué no se detecta mi rostro?

Well, we have to look at how we give machines sight.

Bueno, debemos pensar cómo hacemos que las máquinas vean.

Computer vision uses machine learning techniques

La visión por computadora usa técnicas de aprendizaje de máquina

to do facial recognition.

para el reconocimiento facial.

So how this works is, you create a training set with examples of faces.

Se trabaja así, creando una serie de prueba con ejemplos de rostros.

This is a face. This is a face. This is not a face.

Esto es un rostro. Esto es un rostro. Esto no lo es.

And over time, you can teach a computer how to recognize other faces.

Con el tiempo, puedes enseñar a una computadora a reconocer rostros.

However, if the training sets aren't really that diverse,

Sin embargo, si las series de prueba no son realmente diversas,

any face that deviates too much from the established norm

todo rostro que se desvíe mucho de la norma establecida

will be harder to detect,

será más difícil de detectar,

which is what was happening to me.

que es lo que me sucedía a mí.

But don't worry -- there's some good news.

Pero no se preocupen, tengo buenas noticias.

Training sets don't just materialize out of nowhere.

Las series de prueba no se materializan de la nada.

We actually can create them.

En verdad las podemos crear.

So there's an opportunity to create full-spectrum training sets

Por ende, se pueden crear series de prueba con espectros completos

that reflect a richer portrait of humanity.

que reflejen de manera más exhaustiva un retrato de la humanidad.

Now you've seen in my examples

Ya han visto en mis ejemplos

how social robots

cómo con los robots sociales

was how I found out about exclusion with algorithmic bias.

me enteré de la exclusión por el sesgo algorítmico.

But algorithmic bias can also lead to discriminatory practices.

Además, el sesgo algorítmico puede generar prácticas discriminatorias.

Across the US,

En EE.UU.

police departments are starting to use facial recognition software

los departamentos de policía incorporan software de reconocimiento facial

in their crime-fighting arsenal.

en su arsenal para la lucha contra el crimen.

Georgetown Law published a report

Georgetown publicó un informe

showing that one in two adults in the US -- that's 117 million people --

que muestra que uno de cada dos adultos en EE.UU., 117 millones de personas,

have their faces in facial recognition networks.

tiene sus rostros en redes de reconocimiento facial.

Police departments can currently look at these networks unregulated,

Los departamentos de policía hoy tienen acceso a esas redes no reguladas,

using algorithms that have not been audited for accuracy.

mediante algoritmos cuya exactitud no ha sido testeada.

Yet we know facial recognition is not fail proof,

Sabemos que el reconocimiento facial no es a prueba de fallas

and labeling faces consistently remains a challenge.

y etiquetar rostros de forma consistente aún es un desafío.

You might have seen this on Facebook.

Tal vez lo han visto en Facebook.

My friends and I laugh all the time when we see other people

Mis amigos y yo nos reímos, cuando vemos a otros

mislabeled in our photos.

mal etiquetados en nuestras fotos.

But misidentifying a suspected criminal is no laughing matter,

Pero identificar mal a un sospechoso no es un tema para reírse,

nor is breaching civil liberties.

tampoco lo es violar la libertad civil.

Machine learning is being used for facial recognition,

El aprendizaje automático se usa para el reconocimiento facial,

but it's also extending beyond the realm of computer vision.

pero también se está extendiendo al campo de la visión por computadora.

In her book, "Weapons of Math Destruction,"

En su libro, "Armas de destrucción matemática",

data scientist Cathy O'Neil talks about the rising new WMDs --

la científica de datos Cathy O'Neil habla sobre los nuevos WMDs,

widespread, mysterious and destructive algorithms

algoritmos amplios, misteriosos y destructivos

that are increasingly being used to make decisions

que se usan cada vez más para tomar decisiones

that impact more aspects of our lives.

que influyen sobre muchos aspectos de nuestras vidas.

So who gets hired or fired?

¿A quién se contrata o se despide?

Do you get that loan? Do you get insurance?

¿Recibes el préstamo? ¿Y la cobertura de seguros?

Are you admitted into the college you wanted to get into?

¿Eres aceptado en la universidad a la que deseas entrar?

Do you and I pay the same price for the same product

¿Tú y yo pagamos el mismo precio por el mismo producto

purchased on the same platform?

comprado en la misma plataforma?

Law enforcement is also starting to use machine learning

La aplicación de la ley también empieza a usar el aprendizaje de máquina

for predictive policing.

para la predicción de la policía.

Some judges use machine-generated risk scores to determine

Algunos jueces usan puntajes de riesgo generados por máquinas para determinar

how long an individual is going to spend in prison.

cuánto tiempo un individuo permanecerá en prisión.

So we really have to think about these decisions.

Así que hay que pensar sobre estas decisiones.

Are they fair?

¿Son justas?

And we've seen that algorithmic bias

Y hemos visto que el sesgo algorítmico

doesn't necessarily always lead to fair outcomes.

no necesariamente lleva siempre a resultados justos.

So what can we do about it?

Entonces, ¿qué podemos hacer al respecto?

Well, we can start thinking about how we create more inclusive code

Bueno, podemos empezar a pensar en cómo creamos un código más inclusivo

and employ inclusive coding practices.

y emplear prácticas de codificación inclusivas.

It really starts with people.

Realmente empieza con la gente.

So who codes matters.

Con los que codifican cosas.

Are we creating full-spectrum teams with diverse individuals

¿Estamos creando equipos de amplio espectro con diversidad de personas

who can check each other's blind spots?

que pueden comprobar los puntos ciegos de los demás?

On the technical side, how we code matters.

Desde el punto de vista técnico, importa cómo codificamos.

Are we factoring in fairness as we're developing systems?

¿Lo gestionamos con equidad al desarrollar los sistemas?

And finally, why we code matters.

Y finalmente, importa por qué codificamos.

We've used tools of computational creation to unlock immense wealth.

Hemos usado herramientas informáticas

para generar una riqueza inmensa.

We now have the opportunity to unlock even greater equality

Ahora tenemos la oportunidad de generar una igualdad aún más grande

if we make social change a priority

si hacemos del cambio social una prioridad

and not an afterthought.

y no solo un pensamiento.

And so these are the three tenets that will make up the "incoding" movement.

Estos son los tres principios que constituirán el movimiento "codificador".

Who codes matters,

Quién codifica importa,

how we code matters

cómo codificamos importa,

and why we code matters.

y por qué codificamos importa.

So to go towards incoding, we can start thinking about

Así que, para abordar la codificación, podemos empezar a pensar

building platforms that can identify bias

en construir plataformas que puedan identificar sesgos

by collecting people's experiences like the ones I shared,

reuniendo experiencias de la gente como las que compartí,

but also auditing existing software.

pero también auditando el software existente.

We can also start to create more inclusive training sets.

También podemos crear grupos de formación más inclusivos.

Imagine a "Selfies for Inclusion" campaign

Imaginen una campaña de "Selfies por la inclusión"

where you and I can help developers test and create

donde Uds. y yo podamos ayudar a los desarrolladores a crear

more inclusive training sets.

grupos de formación más inclusivos.

And we can also start thinking more conscientiously

Y también podemos empezar a pensar más concienzudamente

about the social impact of the technology that we're developing.

sobre el impacto social de la tecnología que estamos desarrollando.

To get the incoding movement started,

Para iniciar el movimiento de codificación,

I've launched the Algorithmic Justice League,

creé la Liga de la Justicia algorítmica,

where anyone who cares about fairness can help fight the coded gaze.

donde todo el que se preocupa por la equidad

puede ayudar a combatir la mirada codificada.

On codedgaze.com, you can report bias,

En codedgaze.com pueden informar sesgos,

request audits, become a tester

solicitar auditorías, convertirse en un betatesters

and join the ongoing conversation,

y unirse a la conversación en curso,

#codedgaze.

#codedgaze.

So I invite you to join me

Así que los invito a que se unan a mí

in creating a world where technology works for all of us,

para crear un mundo donde la tecnología trabaje para todos nosotros,

not just some of us,

no solo para algunos de nosotros,

a world where we value inclusion and center social change.

un mundo donde se valore la inclusión y así centrar el cambio social.

Thank you.

Gracias.

(Applause)

(Aplausos)

But I have one question:

Pero tengo una pregunta:

Will you join me in the fight?

¿Se unirán a mí en mi lucha?

(Laughter)

(Risas)

(Applause)

(Aplausos)