We're building a dystopia just to make people click on ads | Zeynep Tufekci

Traductor: Claudia Viveros Revisor: Analia Padin

So when people voice fears of artificial intelligence,

Cuando la gente manifiesta temor por la inteligencia artificial,

very often, they invoke images of humanoid robots run amok.

muchas veces recurre a imágenes de robots humanoides enloquecidos.

You know? Terminator?

Ya saben: Terminator.

You know, that might be something to consider,

Quizá debamos considerarlo,

but that's a distant threat.

pero es una amenaza lejana.

Or, we fret about digital surveillance

O si no, nos inquietamos por la vigilancia electrónica

with metaphors from the past.

con metáforas del pasado.

"1984," George Orwell's "1984,"

"1984", el "1984" de George Orwell,

it's hitting the bestseller lists again.

es un libro superventas otra vez.

It's a great book,

Es un gran libro,

but it's not the correct dystopia for the 21st century.

pero no es la distopía correcta para el siglo XXI.

What we need to fear most

Lo que debemos temer más

is not what artificial intelligence will do to us on its own,

no es lo que la inteligencia artificial nos hará por sí misma,

but how the people in power will use artificial intelligence

sino cómo la gente en el poder usará la inteligencia artificial

to control us and to manipulate us

para controlarnos y manipularnos

in novel, sometimes hidden,

de maneras nuevas, a veces escondidas,

subtle and unexpected ways.

sutiles e inesperadas.

Much of the technology

Mucha de la tecnología

that threatens our freedom and our dignity in the near-term future

que amenaza nuestra libertad y dignidad en un futuro cercano

is being developed by companies

la están desarrollando compañías

in the business of capturing and selling our data and our attention

que se dedican a capturar y vender nuestra información y nuestra atención

to advertisers and others:

a anunciantes y demás:

Facebook, Google, Amazon,

Facebook, Google, Amazon,

Alibaba, Tencent.

Alibaba, Tencent.

Now, artificial intelligence has started bolstering their business as well.

La inteligencia artificial ha comenzado a respaldar esos negocios también.

And it may seem like artificial intelligence

Y parece que la inteligencia artificial

is just the next thing after online ads.

es lo que le sigue a los anuncios en línea.

It's not.

Pero no lo es.

It's a jump in category.

Es un salto de categoría.

It's a whole different world,

Es un mundo totalmente distinto,

and it has great potential.

y tiene un gran potencial.

It could accelerate our understanding of many areas of study and research.

Podría acelerar nuestro entendimiento

de muchas áreas de estudio e investigación.

But to paraphrase a famous Hollywood philosopher,

Pero, parafraseando a un famoso filósofo hollywoodense,

"With prodigious potential comes prodigious risk."

"Un enorme potencial viene con un enorme riesgo".

Now let's look at a basic fact of our digital lives, online ads.

Ahora hablemos de un hecho básico de nuestra vida digital: los anuncios.

Right? We kind of dismiss them.

Como que los ignoramos, ¿no?

They seem crude, ineffective.

Parecen ordinarios, inefectivos.

We've all had the experience of being followed on the web

Todos hemos tenido esa experiencia de ser perseguidos en la web

by an ad based on something we searched or read.

por un anuncio basado en algo que buscamos o leímos.

You know, you look up a pair of boots

Ya saben, buscas un par de botas

and for a week, those boots are following you around everywhere you go.

y durante una semana, esas botas te siguen a todos lados donde vayas.

Even after you succumb and buy them, they're still following you around.

Incluso después de haber sucumbido a comprarlas, te continúan siguiendo.

We're kind of inured to that kind of basic, cheap manipulation.

Estamos habituados a ese tipo de manipulación simple y barata.

We roll our eyes and we think, "You know what? These things don't work."

Ponemos los ojos en blanco y pensamos, "¿Sabes qué? Esto no funciona".

Except, online,

Excepto que, en línea,

the digital technologies are not just ads.

las tecnologías digitales no son solo anuncios.

Now, to understand that, let's think of a physical world example.

Para entender eso, pensemos en un ejemplo del mundo físico.

You know how, at the checkout counters at supermarkets, near the cashier,

¿Han visto que en la caja de cobro del supermercado, cerca del cajero,

there's candy and gum at the eye level of kids?

hay dulces y goma de mascar a la altura de los ojos de los niños?

That's designed to make them whine at their parents

Eso está diseñado para hacerlos rogar a sus padres

just as the parents are about to sort of check out.

justo cuando los padres están por pagar.

Now, that's a persuasion architecture.

Eso es arquitectura de la persuasión.

It's not nice, but it kind of works.

No es agradable, pero funciona.

That's why you see it in every supermarket.

Por eso se ve en todos los supermercados.

Now, in the physical world,

Ahora, en el mundo físico,

such persuasion architectures are kind of limited,

la arquitectura de la persuasión es un poco limitada,

because you can only put so many things by the cashier. Right?

porque solo puedes poner unas cuantas cosas cerca de la caja, ¿no?

And the candy and gum, it's the same for everyone,

Y los dulces y goma de mascar son iguales para todos,

even though it mostly works

aunque en general funciona

only for people who have whiny little humans beside them.

solo con la gente que va acompañada de personitas caprichosas.

In the physical world, we live with those limitations.

En el mundo físico, vivimos con esas limitantes.

In the digital world, though,

No obstante, en el mundo digital,

persuasion architectures can be built at the scale of billions

las arquitecturas de la persuasión pueden tener miles de millones de opciones

and they can target, infer, understand

y pueden apuntar, inferir, entender

and be deployed at individuals

y ser aplicadas a cada individuo

one by one

uno por uno

by figuring out your weaknesses,

descubriendo nuestras debilidades,

and they can be sent to everyone's phone private screen,

y pueden ser enviadas directamente a la pantalla personal de cada teléfono,

so it's not visible to us.

así que son invisibles para nosotros.

And that's different.

Y eso es diferente.

And that's just one of the basic things that artificial intelligence can do.

Es solo una de las cosas que puede hacer la inteligencia artificial.

Now, let's take an example.

Pongamos un ejemplo.

Digamos que quieren vender boletos de avión a Las Vegas.

Let's say you want to sell plane tickets to Vegas. Right?

So in the old world, you could think of some demographics to target

En el viejo mundo, se dirigirían a ciertos sectores demográficos

based on experience and what you can guess.

basándose en la experiencia y lo que podían suponer.

You might try to advertise to, oh,

Podrían tratar de anunciar para

men between the ages of 25 and 35,

hombres entre los 25 y 35 años,

or people who have a high limit on their credit card,

o gente con un límite alto en la tarjeta de crédito,

or retired couples. Right?

o parejas retiradas, ¿no?

That's what you would do in the past.

Eso es lo que harían en el pasado.

With big data and machine learning,

Con big data y aprendizaje automático,

that's not how it works anymore.

ya no funciona más así.

So to imagine that,

Así que, para imaginar eso,

think of all the data that Facebook has on you:

piensen en todos los datos que Facebook tiene sobre Uds.:

every status update you ever typed,

cada actualización de estado que jamás hayan escrito,

every Messenger conversation,

cada conversación en el Messenger,

every place you logged in from,

cada lugar desde donde accedieron,

all your photographs that you uploaded there.

todas las fotografías que hayan subido.

If you start typing something and change your mind and delete it,

Lo que comenzaron a escribir y borraron porque cambiaron de opinión;

Facebook keeps those and analyzes them, too.

Facebook guarda y analiza eso también.

Increasingly, it tries to match you with your offline data.

Cada vez trata de aproximarse más a los datos de tu vida fuera de línea.

It also purchases a lot of data from data brokers.

También adquiere muchos datos de los corredores de datos.

It could be everything from your financial records

Podría ser cualquier cosa, desde registros financieros

to a good chunk of your browsing history.

hasta una buena parte de tu historial de búsqueda.

Right? In the US, such data is routinely collected,

En EE. UU. esos datos son habitualmente recolectados,

collated and sold.

cotejados y vendidos.

In Europe, they have tougher rules.

En Europa tienen reglas más estrictas.

So what happens then is,

Entonces, lo que ocurre es lo siguiente:

by churning through all that data, these machine-learning algorithms --

al procesar todos esos datos, esos algoritmos de aprendizaje automático,

that's why they're called learning algorithms --

y por esto se llaman algoritmos de aprendizaje,

they learn to understand the characteristics of people

aprenden a entender las características de la gente

who purchased tickets to Vegas before.

que compró boletos a Las Vegas anteriormente.

When they learn this from existing data,

Una vez que aprenden esto de los datos existentes,

they also learn how to apply this to new people.

también aprenden cómo aplicarlo a un nuevo grupo de gente.

So if they're presented with a new person,

Entonces, si se encuentran con una persona nueva,

they can classify whether that person is likely to buy a ticket to Vegas or not.

pueden clasificar si esa persona compraría un boleto a Las Vegas o no.

Fine. You're thinking, an offer to buy tickets to Vegas.

Ahora bien, Uds. están pensando:

"Una oferta para comprar boletos a Las Vegas... Puedo ignorarlo".

I can ignore that.

But the problem isn't that.

Pero el problema no es ese.

The problem is,

El problema es

we no longer really understand how these complex algorithms work.

que ya no comprendemos realmente cómo funcionan estos algoritmos complejos.

We don't understand how they're doing this categorization.

No entendemos cómo categorizan.

It's giant matrices, thousands of rows and columns,

Son matrices gigantes, miles de filas y columnas,

maybe millions of rows and columns,

quizá millones de filas y columnas,

and not the programmers

y ya ni los programadores

and not anybody who looks at it,

ni nadie que los analice,

even if you have all the data,

aun teniendo todos los datos,

understands anymore how exactly it's operating

comprende cómo operan exactamente;

any more than you'd know what I was thinking right now

no más de lo que Uds. sabrían lo que estoy pensado en este momento

if you were shown a cross section of my brain.

si les enseñaran una disección de mi cerebro.

It's like we're not programming anymore,

Es como que ya no estamos programando;

we're growing intelligence that we don't truly understand.

estamos creando inteligencia que no comprendemos totalmente.

And these things only work if there's an enormous amount of data,

Y estas cosas solo funcionan con una enorme cantidad de datos,

so they also encourage deep surveillance on all of us

así que también fomentan una vigilancia profunda de todos nosotros

so that the machine learning algorithms can work.

para que los algoritmos de aprendizaje funcionen.

Por eso Facebook quiere acumular todos los datos que pueda sobre Uds.

That's why Facebook wants to collect all the data it can about you.

The algorithms work better.

Los algoritmos funcionan mejor.

So let's push that Vegas example a bit.

Así que continuemos con el ejemplo de Las Vegas.

What if the system that we do not understand

¿Qué pasaría si ese sistema que no entendemos

was picking up that it's easier to sell Vegas tickets

aprendiera que es más fácil venderle boletos a Las Vegas

to people who are bipolar and about to enter the manic phase.

a gente bipolar a punto de entrar en un episodio maníaco?

Such people tend to become overspenders, compulsive gamblers.

Esa gente tiende a gastar de más y a apostar compulsivamente.

They could do this, and you'd have no clue that's what they were picking up on.

Podrían hacerlo y no tendríamos ni idea de que se fijaron en eso.

I gave this example to a bunch of computer scientists once

Di este ejemplo una vez a un grupo de científicos de la computación

and afterwards, one of them came up to me.

y después, uno se me acercó.

He was troubled and he said, "That's why I couldn't publish it."

Estaba afligido y dijo: "Por eso no pude publicarlo".

I was like, "Couldn't publish what?"

Yo le pregunté: "¿Publicar qué?".

He had tried to see whether you can indeed figure out the onset of mania

Él había tratado de ver si realmente se podría predecir el arranque maníaco

from social media posts before clinical symptoms,

en publicaciones de redes sociales antes de los síntomas clínicos,

and it had worked,

y había funcionado,

and it had worked very well,

había funcionado muy bien,

and he had no idea how it worked or what it was picking up on.

y no tenía idea de cómo funcionaba o qué había descubierto.

Now, the problem isn't solved if he doesn't publish it,

El problema no se resuelve si él no lo publica,

because there are already companies

porque ya hay compañías

that are developing this kind of technology,

que están desarrollando este tipo de tecnología,

and a lot of the stuff is just off the shelf.

y muchas de estas cosas ya están a la venta.

This is not very difficult anymore.

Esto ya no es tan difícil.

Do you ever go on YouTube meaning to watch one video

¿Les ha pasado entrar a YouTube para ver un video en específico

and an hour later you've watched 27?

y una hora más tarde vieron 27?

You know how YouTube has this column on the right

¿Vieron que YouTube tiene una columna a la derecha

that says, "Up next"

que dice: "A continuación"

and it autoplays something?

y que reproduce algo automáticamente?

It's an algorithm

Es un algoritmo

picking what it thinks that you might be interested in

que elige lo que cree que les interesaría y que quizá no encuentren por sí mismos.

and maybe not find on your own.

It's not a human editor.

No es un editor humano.

It's what algorithms do.

Eso hacen los algoritmos.

It picks up on what you have watched and what people like you have watched,

Se fijan en lo que han mirado y lo que la gente como Uds. ha mirado,

and infers that that must be what you're interested in,

e infiere que eso debe ser lo que les interesa,

what you want more of,

y de lo que quieren más,

and just shows you more.

y entonces les muestra más.

It sounds like a benign and useful feature,

Parece una herramienta benigna y útil,

except when it isn't.

excepto cuando no lo es.

So in 2016, I attended rallies of then-candidate Donald Trump

En 2016 asistí a actos electorales del entonces candidato Donald Trump

to study as a scholar the movement supporting him.

para estudiar, como académica, el movimiento que lo apoyaba.

I study social movements, so I was studying it, too.

Estudio los movimientos sociales, así que por eso lo estudiaba también.

And then I wanted to write something about one of his rallies,

Quise escribir algo sobre uno de sus actos,

so I watched it a few times on YouTube.

así que lo miré varias veces en YouTube.

YouTube started recommending to me

YouTube comenzó a recomendarme

and autoplaying to me white supremacist videos

una lista de reproducción de videos de supremacistas blancos

in increasing order of extremism.

en orden de extremismo creciente.

If I watched one,

Si miraba uno,

it served up one even more extreme

me llevaba a otro incluso más extremo

and autoplayed that one, too.

y se reproducía automáticamente.

If you watch Hillary Clinton or Bernie Sanders content,

Si miran contenido sobre Hillary Clinton o Bernie Sanders,

YouTube recommends and autoplays conspiracy left,

YouTube les recomienda y reproduce conspiraciones de izquierda,

and it goes downhill from there.

de ahí hacia abajo.

Well, you might be thinking, this is politics, but it's not.

Quizá estén pensando que se trata de política, pero no.

This isn't about politics.

No se trata de política.

This is just the algorithm figuring out human behavior.

Es solo el algoritmo entendiendo la conducta humana.

I once watched a video about vegetarianism on YouTube

Una vez miré un video sobre el vegetarianismo en YouTube

and YouTube recommended and autoplayed a video about being vegan.

y YouTube me recomendó y reprodujo un video sobre veganismo.

It's like you're never hardcore enough for YouTube.

Uno nunca es lo suficientemente extremo para YouTube.

(Laughter)

(Risas)

So what's going on?

¿Qué está ocurriendo?

Now, YouTube's algorithm is proprietary,

El algoritmo de YouTube está patentado,

but here's what I think is going on.

pero esto es lo que creo que está pasando.

The algorithm has figured out

El algoritmo ha descubierto

that if you can entice people

que si puedes persuadir a la gente

into thinking that you can show them something more hardcore,

haciéndoles pensar que puedes mostrarles algo más extremo,

they're more likely to stay on the site

son más propensos a quedarse en el sitio

watching video after video going down that rabbit hole

viendo video tras video adentrándose en el agujero de conejo

while Google serves them ads.

mientras Google les sirve anuncios.

Now, with nobody minding the ethics of the store,

Sin alguien a quien le importe la ética de la tienda,

these sites can profile people

estos sitios pueden retratar gente

who are Jew haters,

que odia a los judíos,

who think that Jews are parasites

que cree que los judíos son parásitos

and who have such explicit anti-Semitic content,

y que tiene contenido antisemita explícito,

and let you target them with ads.

y permitirte que les envíes anuncios.

They can also mobilize algorithms

También pueden movilizar algoritmos

to find for you look-alike audiences,

para encontrar audiencias parecidas,

people who do not have such explicit anti-Semitic content on their profile

gente que no tiene ese contenido antisemita explícito en su perfil,

but who the algorithm detects may be susceptible to such messages,

pero a quien el algoritmo detecta como susceptible a esos mensajes,

and lets you target them with ads, too.

y te permite enviarles anuncios también.

Now, this may sound like an implausible example,

Esto puede sonar como un ejemplo inverosímil,

but this is real.

pero es real.

ProPublica investigated this

ProPublica lo investigó

and found that you can indeed do this on Facebook,

y encontró que de hecho se puede hacer esto en Facebook,

and Facebook helpfully offered up suggestions

y Facebook amablemente nos ofreció sugerencias

on how to broaden that audience.

de cómo ampliar la audiencia.

BuzzFeed tried it for Google, and very quickly they found,

BuzzFeed lo intentó con Google,

y en seguida vieron que sí, que se puede hacer en Google también.

yep, you can do it on Google, too.

And it wasn't even expensive.

Y no fue ni siquiera costoso.

The ProPublica reporter spent about 30 dollars

El reportero de ProPublica gastó alrededor de 30 dólares

to target this category.

para anunciarle a esa categoría.

So last year, Donald Trump's social media manager disclosed

El año pasado, el asesor de medios de Donald Trump reveló

that they were using Facebook dark posts to demobilize people,

que usaban publicaciones de página oculta en Facebook para desmovilizar gente.

not to persuade them,

No para persuadirlos,

but to convince them not to vote at all.

sino para convencerlos de no votar.

And to do that, they targeted specifically,

Y para lograr eso, se dirigieron a grupos específicos,

for example, African-American men in key cities like Philadelphia,

por ejemplo, hombres afroamericanos en ciudades clave como Filadelfia,

and I'm going to read exactly what he said.

y voy a leer exactamente lo que dijo.

I'm quoting.

Cito.

They were using "nonpublic posts

Estaban usando "publicaciones no públicas

whose viewership the campaign controls

cuya audiencia controla la campaña

so that only the people we want to see it see it.

para que solo la gente que queremos pueda verlas".

We modeled this.

"Modelamos esto".

It will dramatically affect her ability to turn these people out."

"Esto afectará dramáticamente la habilidad de ella para llevar votantes a las urnas".

What's in those dark posts?

¿Qué hay en esas publicaciones de página oculta?

We have no idea.

No tenemos idea.

Facebook won't tell us.

Facebook no nos lo dirá.

So Facebook also algorithmically arranges the posts

Facebook también organiza con un algoritmo las publicaciones

that your friends put on Facebook, or the pages you follow.

que nuestros amigos ponen en Facebook, o las páginas que seguimos.

It doesn't show you everything chronologically.

No nos muestra todo cronológicamente.

It puts the order in the way that the algorithm thinks will entice you

Ordena según la manera en que el algoritmo piensa que nos va a persuadir

to stay on the site longer.

para quedarnos más tiempo en el sitio.

Now, so this has a lot of consequences.

Esto tiene muchas consecuencias.

You may be thinking somebody is snubbing you on Facebook.

Quizá estén pensando que alguien los está desairando en Facebook.

The algorithm may never be showing your post to them.

Pero quizá el algoritmo nunca les muestra su publicación a ellos.

The algorithm is prioritizing some of them and burying the others.

El algoritmo prioriza algunas publicaciones e ignora otras.

Experiments show

Los experimentos muestran

that what the algorithm picks to show you can affect your emotions.

que lo que el algoritmo escoge para mostrar, puede afectar las emociones.

But that's not all.

Pero eso no es todo.

It also affects political behavior.

También afecta la conducta política.

So in 2010, in the midterm elections,

Así que en 2010, en la votación a mitad de legislatura,

Facebook did an experiment on 61 million people in the US

Facebook hizo un experimento con 61 millones de personas en EE. UU.

that was disclosed after the fact.

y lo dio a conocer después.

So some people were shown, "Today is election day,"

A algunas personas les mostraron la publicación "Hoy es día de votación",

the simpler one,

la más sencilla,

and some people were shown the one with that tiny tweak

y a otras personas les mostraron la que tiene esa pequeña modificación,

with those little thumbnails

con esas miniaturas

of your friends who clicked on "I voted."

de tus amigos que cliquearon "Voté".

This simple tweak.

Solo esa pequeña modificación.

OK? So the pictures were the only change,

Así que las fotos fueron el único cambio,

and that post shown just once

y esa publicación que fue mostrada solo una vez

turned out an additional 340,000 voters

añadió 340 000 votantes

in that election,

en esa elección,

according to this research

según este estudio

as confirmed by the voter rolls.

confirmado por los padrones electorales.

A fluke? No.

¿Suerte? No.

Because in 2012, they repeated the same experiment.

Porque en 2012, repitieron el experimento.

And that time,

Y esa vez,

that civic message shown just once

ese mensaje cívico mostrado una sola vez

turned out an additional 270,000 voters.

añadió 270 000 votantes.

For reference, the 2016 US presidential election

Como referencia, la elección presidencial de 2016 en EE. UU.

was decided by about 100,000 votes.

se decidió por unos 100 000 votos.

Now, Facebook can also very easily infer what your politics are,

Facebook también puede inferir muy fácilmente sus opiniones políticas,

even if you've never disclosed them on the site.

aun si nunca las han revelado en el sitio.

Right? These algorithms can do that quite easily.

Estos algoritmos pueden lograrlo de manera sencilla.

What if a platform with that kind of power

¿Qué pasaría si una plataforma con ese tipo de poder

decides to turn out supporters of one candidate over the other?

decide ganar seguidores para un candidato y no para el otro?

How would we even know about it?

¿Cómo lo sabríamos?

Now, we started from someplace seemingly innocuous --

Comenzamos en un lugar aparentemente inocuo,

online adds following us around --

anuncios en línea siguiéndonos a todas partes,

and we've landed someplace else.

y hemos terminado en otro lugar.

As a public and as citizens,

Como público y como ciudadanos,

we no longer know if we're seeing the same information

no sabemos ya si estamos viendo la misma información

or what anybody else is seeing,

o qué es lo que los demás ven,

and without a common basis of information,

y sin una base común de información,

little by little,

poco a poco,

public debate is becoming impossible,

el debate público se está volviendo imposible,

and we're just at the beginning stages of this.

y eso que solo estamos en las etapas iniciales de esto.

These algorithms can quite easily infer

Estos algoritmos pueden inferir fácilmente

things like your people's ethnicity,

cosas como el origen étnico de la gente, las ideas religiosas y políticas,

religious and political views, personality traits,

la personalidad,

intelligence, happiness, use of addictive substances,

la inteligencia, la felicidad, el uso de sustancias adictivas,

parental separation, age and genders,

la separación de los padres, la edad y género,

just from Facebook likes.

solo con los "me gusta" de Facebook.

These algorithms can identify protesters

Estos algoritmos pueden identificar manifestantes

even if their faces are partially concealed.

incluso si sus caras están parcialmente cubiertas.

These algorithms may be able to detect people's sexual orientation

Estos algoritmos podrían detectar la orientación sexual de la gente

just from their dating profile pictures.

solo con sus fotos de perfil.

Now, these are probabilistic guesses,

Estas son especulaciones probables

so they're not going to be 100 percent right,

así que no serán 100 % atinadas,

but I don't see the powerful resisting the temptation to use these technologies

pero yo no me imagino a los poderosos

resistiendo la tentación de usar estas tecnologías

just because there are some false positives,

solo porque haya algunos falsos positivos,

which will of course create a whole other layer of problems.

lo cual creará, por supuesto, otra oleada de problemas.

Imagine what a state can do

Imaginen lo que puede hacer un estado

with the immense amount of data it has on its citizens.

con la enorme cantidad de datos que tiene de sus ciudadanos.

China is already using face detection technology

China ya está usando tecnología de detección de rostros

to identify and arrest people.

para identificar y arrestar gente.

And here's the tragedy:

Y esta es la tragedia:

we're building this infrastructure of surveillance authoritarianism

Estamos construyendo esta infraestructura de vigilancia y autoritarismo

merely to get people to click on ads.

solo para obtener más clics en los anuncios.

And this won't be Orwell's authoritarianism.

Este no será el autoritarismo de Orwell.

This isn't "1984."

Esto no es "1984".

Now, if authoritarianism is using overt fear to terrorize us,

Si el autoritarismo usa el miedo para aterrorizarnos,

we'll all be scared, but we'll know it,

todos estaremos asustados, pero lo sabremos,

we'll hate it and we'll resist it.

lo odiaremos y lo resistiremos.

But if the people in power are using these algorithms

Pero si la gente en el poder está usando estos algoritmos

to quietly watch us,

para vigilarnos calladamente,

to judge us and to nudge us,

para juzgarnos y empujarnos,

to predict and identify the troublemakers and the rebels,

para predecir e identificar a los agitadores y a los rebeldes,

to deploy persuasion architectures at scale

para desplegar arquitecturas de persuasión a escala

and to manipulate individuals one by one

y para manipularnos uno por uno

using their personal, individual weaknesses and vulnerabilities,

usando las debilidades y vulnerabilidades personales e individuales de cada uno,

and if they're doing it at scale

y si lo están haciendo a escala

con nuestras pantallas personales

through our private screens

so that we don't even know

para que ni siquiera sepamos

what our fellow citizens and neighbors are seeing,

lo que ven nuestros compañeros ciudadanos y vecinos,

that authoritarianism will envelop us like a spider's web

ese autoritarismo nos atrapará como una telaraña

and we may not even know we're in it.

y quizá ni siquiera sepamos que estamos en ella.

So Facebook's market capitalization

Así que la capitalización de mercado de Facebook

is approaching half a trillion dollars.

se acerca a medio billón de dólares.

It's because it works great as a persuasion architecture.

Es porque funciona muy bien como arquitectura de persuasión.

But the structure of that architecture

Pero la estructura de esa arquitectura

is the same whether you're selling shoes

es la misma, sea que vendan zapatos

or whether you're selling politics.

o sea que vendan política.

The algorithms do not know the difference.

Los algoritmos no ven la diferencia.

The same algorithms set loose upon us

Los mismos algoritmos utilizados en nosotros

to make us more pliable for ads

para hacernos más receptivos a los anuncios,

are also organizing our political, personal and social information flows,

también organizan nuestros flujos de información política, social y personal

and that's what's got to change.

y eso debe cambiar.

Now, don't get me wrong,

No me malinterpreten,

we use digital platforms because they provide us with great value.

usamos plataformas digitales porque nos ofrecen muchísimo.

I use Facebook to keep in touch with friends and family around the world.

Yo uso Facebook para estar en contacto con amigos y familia alrededor del mundo.

I've written about how crucial social media is for social movements.

He escrito acerca lo cruciales que son las redes para los movimientos sociales.

I have studied how these technologies can be used

He estudiado cómo pueden usarse estas tecnologías

to circumvent censorship around the world.

para eludir la censura en todo el mundo.

But it's not that the people who run, you know, Facebook or Google

Pero no es que la gente que administra Facebook o Google

are maliciously and deliberately trying

esté tratando maliciosa y deliberadamente

to make the country or the world more polarized

de polarizar un país o el mundo

and encourage extremism.

y promover el extremismo.

I read the many well-intentioned statements

He leído las muchas y bien intencionadas afirmaciones

that these people put out.

que esa gente publica.

But it's not the intent or the statements people in technology make that matter,

Pero no son sus intenciones ni las afirmaciones lo que importa,

it's the structures and business models they're building.

son las estructuras y modelos de negocio que están construyendo.

And that's the core of the problem.

Y ese es el meollo del problema.

Either Facebook is a giant con of half a trillion dollars

O Facebook es una estafa gigante de medio billón de dólares,

and ads don't work on the site,

los avisos en el sitio no funcionan

it doesn't work as a persuasion architecture,

y no sirve como arquitectura de persuasión,

or its power of influence is of great concern.

o su poder de influencia es altamente preocupante.

It's either one or the other.

Debe ser una o la otra.

It's similar for Google, too.

Es similar también para Google.

So what can we do?

Así que, ¿qué podemos hacer?

This needs to change.

Esto necesita cambiar.

Now, I can't offer a simple recipe,

No puedo ofrecerles una receta simple,

because we need to restructure

porque necesitamos reestructurar

the whole way our digital technology operates.

completamente cómo opera nuestra tecnología digital.

Everything from the way technology is developed

Todo, desde la manera en que se desarrolla la tecnología

to the way the incentives, economic and otherwise,

hasta la manera en que los incentivos, económicos y demás,

are built into the system.

están incorporados al sistema.

We have to face and try to deal with

Tenemos que encarar y tratar de lidiar con la falta de transparencia

the lack of transparency created by the proprietary algorithms,

creada por los algoritmos patentados,

the structural challenge of machine learning's opacity,

el desafío estructural en la opacidad del aprendizaje automático,

all this indiscriminate data that's being collected about us.

todos estos datos sobre nosotros recolectados indiscriminadamente.

We have a big task in front of us.

Tenemos una gran tarea por delante.

We have to mobilize our technology,

Tenemos que movilizar nuestra tecnología,

our creativity

nuestra creatividad

and yes, our politics

y sí, nuestra política,

so that we can build artificial intelligence

para que podamos construir inteligencia artificial

that supports us in our human goals

que apoye nuestros objetivos humanos,

but that is also constrained by our human values.

pero que también esté limitada por nuestros valores humanos.

And I understand this won't be easy.

Entiendo que esto no será sencillo.

We might not even easily agree on what those terms mean.

Quizá ni siquiera acordemos fácilmente qué significan esos términos.

But if we take seriously

Pero si nos tomamos en serio

how these systems that we depend on for so much operate,

cómo operan estos sistemas de los que dependemos para tantas cosas,

I don't see how we can postpone this conversation anymore.

no veo cómo podemos seguir posponiendo esta conversación.

These structures

Estas estructuras

are organizing how we function

están organizando cómo funcionamos

and they're controlling

y están controlando

what we can and we cannot do.

lo que podemos y no podemos hacer.

And many of these ad-financed platforms,

Muchas de estas plataformas financiadas por anuncios

they boast that they're free.

presumen de ser gratuitas.

In this context, it means that we are the product that's being sold.

En este contexto, eso significa que nosotros somos el producto de venta.

We need a digital economy

Necesitamos una economía digital

where our data and our attention

donde nuestros datos y nuestra atención

is not for sale to the highest-bidding authoritarian or demagogue.

no estén a la venta para el autoritario o demagogo que pague más.

(Applause)

(Aplausos)

So to go back to that Hollywood paraphrase,

Así que, volviendo a la paráfrasis de Hollywood:

we do want the prodigious potential

Sí, queremos que el enorme potencial

of artificial intelligence and digital technology to blossom,

de la inteligencia artificial y la tecnología digital florezca,

but for that, we must face this prodigious menace,

pero para eso debemos enfrentar esta enorme amenaza,

open-eyed and now.

con los ojos abiertos y ahora.

Thank you.

Gracias.

(Applause)

(Aplausos)