Kalika Bali: The giant leaps in language technology -- and who's left behind | TED

Transcriber:

Traductor: Iván Galas Martínez Revisor: Sebastian Betti

I'm Kalika Bali, I'm a linguist by training

Soy Kalika Bali, soy lingüista por formación

and a technologist by profession,

y tecnóloga de profesión.

I have worked in academia,

Durante 20 años he trabajado en educación,

in startups, in small companies and multinationals for over two decades,

en startups, en empresas pequeñas y en multinacionales,

doing research in and building language technology systems.

haciendo investigaciones y creando sistemas de tecnología del lenguaje.

My dream is to see technology work across the language barrier.

Mi sueño es que la tecnología funcione a través de la barrera del lenguaje.

As a researcher at Microsoft Research Labs India

Como investigadora en el Microsoft Research Labs en India,

I work in the field of language technology and speech technology.

trabajo en el campo de la tecnología del lenguaje y la tecnología del habla.

And I worry about how can we make technology accessible

Y me preocupo por cómo podemos hacer la tecnología más accesible

to people across the board,

a las personas en todo el mundo,

you know, irrespective of the language that they speak.

ya saben, sin importar el idioma que hablen.

So natural language processing,

Procesamiento del lenguaje, inteligencia artificial, tecnología del habla...

artificial intelligence, speech technology,

these are very big words, they are buzzwords right now.

Son palabras fuertes, y están de moda ahora mismo.

Everybody is talking about what exactly is NLP or natural language processing.

Todo el mundo habla sobre qué es el PLN o el procesamiento del lenguaje natural.

So in very simple terms,

Así que, en palabras sencillas,

this is the part of computer science engineering

esta es la parte de la ingeniería informática

that makes machines process,

que hace que las máquinas procesen,

understand and generate natural language,

entiendan y generen un lenguaje natural,

which is the language that humans speak.

es decir, el lenguaje que los humanos hablamos.

When you are interacting with a bot trying to book your train tickets

Cuando interactúas con un bot para reservar tus billetes de tren

or flight tickets,

o billetes de avión,

when you are speaking to a voice-based digital assistant in your phone,

cuando estás hablando con un asistente virtual de voz en tu teléfono,

it's natural language processing

es el PLN

that underpins the entire technology that makes that work.

el que sustenta toda la tecnología que hace que eso funcione.

But how does this work?

Pero, ¿cómo funciona?

How does NLP work?

¿Cómo funciona el PLN?

In a very, very basic way,

De manera muy, muy resumida,

it's about data.

se trata de datos.

So a huge amount of data of how actually humans use language

Una gran cantidad de datos sobre cómo los humanos usamos el lenguaje

is then processed by certain algorithms and techniques

se procesa por ciertos algoritmos y técnicas

that make the machines learn the patterns

que hacen que las máquinas aprendan patrones

of natural language of humans, right?

del lenguaje natural de los seres humanos, ¿verdad?

These days, another buzzword that you hear a lot about is deep neural networks.

Actualmente, otra palabra que escuchamos mucho es el aprendizaje profundo.

And these are the advanced techniques

Son las técnicas avanzadas

that underpin a lot of the NLP stuff that happens right now.

que forman la base de muchos de los elementos del PLN que ocurren hoy.

And I will not go into the details of how that works,

No voy a entrar en detalles sobre cómo funciona esto,

but the thing that you really have to understand and keep in mind

pero lo que tienen que entender y tener en mente

is that all of this requires a humungous amount of data,

es que todo esto requiere una cantidad enorme de datos,

natural language data.

datos sobre el lenguaje natural.

If you want a speech system to converse with you in Gujarati,

Si quieren que un sistema de voz hable con Uds. en guyaratí,

the first thing you require

lo primero que necesitará

is a lot of data of Gujarati people speaking to each other

es mucha información sobre la gente guyaratí hablando entre ellos

in their own language.

en su propio idioma.

So 2017, Microsoft came up with a speech recognition system

En 2017, Microsoft desarrolló un sistema de reconocimiento de voz

which was able to transcribe speech into text

que logró transcribir el diálogo a texto

better than a human did.

mejor que los humanos.

And this system was trained

Y se formó a este sistema

on 200 million transcribed words.

con 200 millones de palabras transcritas.

In 2018, an English-Chinese machine translation system

En 2018, un sistema de traducción automática anglo-chino

was able to translate from English to Chinese

logró traducir del inglés al chino

as well as any human bilingual could.

tan bien como cualquier persona bilingüe.

And this was trained on 18 million bilingual sentence pairs.

Y a este se le formó con más de 18 millones de frases bilingües.

This is a very, very exciting time in natural language processing

Es un gran momento para el procesamiento del lenguaje natural

and in technology as such.

y para la tecnología como tal.

You know, we are seeing science fiction, which we had read about and watched,

Estamos viendo la ciencia ficción sobre la que hemos leído y visto

kind of come true in front of our own eyes.

hacerse realidad delante de nuestros propios ojos.

We are making giant leaps in technical advancement.

Estamos dando pasos agigantados en el progreso técnico.

But these giant leaps are limited to very few languages.

Pero estos grandes pasos se limitan a unos pocos idiomas.

So Monojit Choudhury,

Monojit Choudhury,

who's like a very good friend of mine

un gran amigo mío

and a colleague,

además de compañero,

he has studied this in some detail

ha estudiado esto en detalle

and he has looked at resource distribution across languages in the world.

y ha investigado la distribución de recursos en las lenguas del mundo.

And he says that these follow what is called a power-law distribution,

Y afirma que siguen lo que se conoce como distribución de ley potencial,

which essentially means that there are four languages,

lo que básicamente significa que hay cuatro idiomas,

Arabic, Chinese, English and Spanish,

el árabe, el chino, el inglés y el español,

which have the maximum amount of resources available.

que tienen la la máxima cantidad de recursos disponibles.

There are another handful of languages which can also benefit from, you know,

Hay otras muchas lenguas que también pueden beneficiarse de, ya saben,

the resources and the technology that's available right now.

los recursos y la tecnología que están disponibles actualmente.

But there are 90 percent of the world's languages

Pero un 90 % de los idiomas del mundo

which have no resources

no tienen ningún recurso

or very little resources available.

o son recursos escasos.

This revolution that we are talking about

La revolución de la que estamos hablando

has essentially bypassed 5,000 languages of the world.

se ha olvidado de 5000 idiomas de todo el mundo.

Now, what this means is that resource-rich languages

Bien, esto significa que los idiomas con recursos

have technologies built for them,

cuentan con tecnologías a medida,

so researchers and technologists get attracted towards them.

para que investigadores y tecnólogos se sientan atraídos.

They build more technologies for them. They create more resources.

Construyen más tecnologías para ellos. Crean más recursos.

So it's like a rich getting richer kind of a cycle.

Es como un ciclo en el que un rico se hace más rico.

And the resource-poor languages stay poor,

Y los idiomas con pocos recursos, se quedan igual.

there's no technology for them, nobody works for them.

No hay tecnología para ellos, nadie trabaja para ellos.

And this divide, digital divide between languages

Y esta separación digital entre los idiomas

is ever-expanding

continúa creciendo

and by implication also the divide between the communities

y, por consiguiente, también la separación en las comunidades

that speak these languages is expanding.

que hablan estos idiomas crece.

So in Microsoft, in Project Ellora, we aim to bridge this gap.

En Microsoft, con el Proyecto Ellora, queremos frenar esta separación.

We are trying to see how can we create more data by innovative methods,

Estamos investigando cómo podemos crear más datos mediante métodos innovadores,

have more techniques to build technology without having a lot of resources,

tener más técnicas para construir tecnología sin tener muchos recursos

and what are the applications that can truly benefit these communities.

y cuáles son las aplicaciones que realmente pueden beneficiarles.

So at the moment, this might seem very theoretical,

Por ahora esto puede parecer muy teórico,

like what is he talking about, data and techniques and technology.

como ¿de qué está hablando?, información y técnicas y tecnología.

So let me give you a very concrete example here.

Así que les voy a dar un ejemplo muy concreto.

I'm a linguist at heart, I love languages, and that's what I love talking about.

Soy lingüista por naturaleza, amo los idiomas y amo hablar de ello.

So let me tell you about a language that many of you might not know about.

Así que les voy a hablar sobre un idioma que muchos de Uds. quizá no conozcan.

Gondi.

Gondi.

Gondi is a South-Central Dravidian language.

El gondi es una lengua meridional central dravídica.

It is spoken by three million people in five states of India.

La hablan tres millones de personas en cinco estados de la India.

And to put this in some kind of perspective,

Y, para ponerlo un poco en perspectiva,

Norwegian is spoken by five million people

el noruego lo hablan cinco millones de personas

and Welsh by a little under a million.

y el galés menos de un millón.

So Gondi is actually a pretty robust and pretty large community

Por tanto, el gondi forma una comunidad muy sólida y extensa

of the Gond tribals in India.

de las tribus gond en India.

But by UNESCO's Atlas of Languages in Danger,

Pero para el atlas UNESCO de las lenguas en peligro del mundo,

Gondi is designated vulnerable status.

al gondi se le da el estado de vulnerable.

CGNet Swara is an NGO that provides a citizen journalism portal

CGNet Swara es una ONG que cuenta con un portal de periodismo

for the Gond community

para la comunidad gond

by making local stories accessible through mobile phones.

y hace accesibles los sucesos locales a través de los móviles.

There's absolutely no tech support for Gondi.

No hay ningún tipo de ayuda tecnología para el gondi.

There is no data available for Gondi, no resources available for Gondi.

No hay datos disponible sobre el gondi ni recursos disponibles para el gondi.

So all content that is created, moderated and edited is done manually.

Así que todo el contenido que se crea, se regula y se edita, se hace manualmente.

Now, under Project Ellora,

Bien, bajo el Proyecto Ellora,

what we did was that we brought together all the stakeholders,

conseguimos unir a todos los interlocutores,

an NGOs like CGNet Swara,

una ONG como CGNet Swara,

and academic institutions, like IIIT Naya Raipur,

e instituciones académicas, como el I.I.I.T Naya Raipur,

a not-for-profit children's book publisher,

una editorial infantil sin ánimo de lucro,

like Pratham Books,

como Pratham Books,

and most importantly, the speakers of the community.

y, más importante, a los hablantes de la comunidad.

The Gond tribals themselves participated in this activity

Las tribus gond participaron en esta actividad

and for the first time edited and translated children’s books in Gondi.

y, por primera vez, se editaron y tradujeron libros infantiles al gondi.

We were able to put out 200 books for the very first time in Gondi,

Conseguimos publicar 200 libros, por primera vez, en gondi.

so that the children had access to stories and books in their own language.

Para que los niños tuviesen acceso a historias y libros en su propia lengua.

Another extension of this was Adivasi Radio,

Otra extensión de esto fue Adivasi Radio,

which was like an app that we built and developed in Microsoft Research,

que era una aplicación que construimos y desarrollamos en Microsoft Research

and then put out there, along with our stakeholders,

y después la liberamos junto a las partes interesadas,

which takes a Hindi text-to-speech system

que cuenta con un sistema de texto a voz en hindi

and allows it to read out news and articles provided by CGNet Swara

que le permite leer las noticias y artículos de CGNet Swara

in Gondi language.

en la lengua gondi.

Users can now use this app to read,

Los usuarios pueden utilizarla para leer,

watch news and access any information

ver las noticias y acceder a la información

through text and voice in their own language.

mediante texto y audio en su propia lengua.

A very interesting thing is that this app is now being used to translate --

Algo interesante es que esta aplicación se emplea ahora para traducir...

by the community to translate text from Hindi to Gondi.

por la comunidad, para traducir textos de hindi a gondi.

Now, what that will result in is a lot of parallel data,

Bien, todo ello resultará en muchos datos paralelos,

that we call parallel data,

los llamamos datos paralelos,

that will allow us to build machine translation systems for Gondi,

que nos permitirán construir sistemas de traducción para el gondi,

which will truly open up a window for the Gond community to the world.

que podrán abrir muchas puertas para la comunidad gond por el mundo.

And what is even more important is now we know how to do this.

Y lo que es aún más importante es que ahora sabemos cómo hacerlo.

We have the entire pipeline and we can replicate this for any language

Tenemos toda la estructura y podemos replicarla para otras lenguas

and any language community

y cualquier comunidad lingüística

which is in a similar situation as the Gond tribals.

que esté en una situación similar a las tribus gond.

Also education -- yes, you know, information access -- yes,

También la educación, ya saben, el acceso a la información, sí,

but what about earning a living?

pero, ¿qué hay de ganarse la vida?

Right? What about -- how can we make these people earn a living

¿Verdad? ¿Cómo...? ¿Cómo puede la gente ganarse la vida

through the digital tools that all of us just take for granted these days?

a través de las herramientas digitales que ya damos por sentadas?

Vivek Seshadri, who's another researcher at MSR,

Vivek Seshdari, otro investigador en el MSR,

and his collaborator, Manu Chopra,

y su compañero, Manu Chopra

they've designed a platform called Karya

han diseñado una plataforma llamada Karya

for providing digital microtasks to the underserved communities.

para facilitar tareas digitales a comunidades con pocos recursos.

His aim was basically to find a way to provide a means of dignified labor

Su objetivo era, básicamente, encontrar un medio de trabajo digno

to the populations, the rural populations

para las poblaciones, las zonas rurales

and the urban poor populations of this country.

y las zonas urbanas pobres del país.

They don't have access to all the knowledge

No tienen acceso a todo el conocimiento

to use the digital platforms

para usar plataformas digitales

that all of us use every day without even thinking, right?

que todos nosotros usamos sin apenas pensarlo, ¿no?

But ...

Pero...

Here is a large

Hay una gran población culta que quiere trabajar, bien,

literate population that wants to work, right,

and how can we make this possible for them?

¿cómo podemos hacer esto posible?

So Karya is one such way

Karya es una forma

through which this population can get on to the digital world

a través de la cual esta gente puede conectarse al mundo digital

and, you know,

y, ya saben,

through that find work and do tasks that can then earn them money.

encontrar trabajo y realizar tareas que puedan darles dinero.

So we saw this and we thought, oh, this is wonderful.

Vimos esto y pensamos que era maravilloso.

We could probably use this for data collection as well.

También podíamos usarlo para recoger más información.

So we went to Amale,

Así que fuimos a Amale,

which is a small village of 200 people

una pequeña aldea de 200 personas

in the Wada district of Maharashtra

en el distrito Wada de Maharashtra,

and decided to use Karya to collect Marathi data.

y decidimos usar Karya para recolectar datos del maratí.

Now, I know what you are thinking --

Bien, sé lo que estarán pensando,

I'm sure a lot of Marathi speakers also in the audience --

seguro que hay muchos hablantes de maratí entre el público,

that Marathi is not a low-resource language.

que el maratí no es un idioma con bajos recursos.

Marathi is definitely a mainstream language of the country.

El maratí es sin duda una lengua muy común del país.

But as far as language technology is concerned,

Pero, en cuanto a tecnología del idioma,

Marathi is a low-resource language.

el maratí es una lengua con pocos recursos.

So we went to this village

Fuimos a esta aldea

and we had a very successful data-collection trip.

y logramos recoger muchos datos durante el viaje.

And, you know, this village is very remote.

Y, bueno, esta aldea está muy aislada.

They have no TV, they have no electricity,

No tienen televisión, electricidad,

they have no mobile signal.

tampoco hay señal de móvil.

You have to climb a hill and wave your phone around

Hay que subir a una montaña y mover el móvil en el aire

if you want to, you know, use your mobile to call anyone.

si quieren usar el teléfono para llamar a alguien.

So they gave us all this data.

Bien, nos dieron mucha información.

But more than that, they gave us very valuable lessons in life.

Pero, sobre todo, nos dieron lecciones muy valiosas para la vida.

One is this pride in one's own language.

Una es el orgullo por la lengua propia.

The people of Amale were thrilled to be doing this

A la gente de Amale les encantó participar en esto

because they were advancing their own language by doing this.

porque estaban promoviendo su lengua haciendo esto.

The second was the value of community.

Otra fue el valor de la comunidad.

Very quickly, this became a village community effort.

Rápidamente, se convirtió en un esfuerzo conjunto de todo el pueblo.

People would gather together in tasks and do this together as a group.

La gente se reunía para hacer tareas y llevarlas a cabo como un grupo.

And the third is the importance of storytelling.

Y la última es la importancia de contar historias.

People of Amale were so starved of content that in the morning, during the daytime,

La gente de Amale necesitaba tanto el contenido, que, por la mañana,

they would do recordings of stories in Karya

hacían grabaciones de historias en Karya

and then in the evening they would gather the entire village

y, por la tarde, reunían a todo el pueblo

and retell and recount these stories to the village.

y contaban una y otra vez estas historias a todos.

So as scientists, we get so caught up

Como científicos, nos enfrascamos tanto

in the science and technology part of what we are doing, you know --

en la parte científica y tecnológica de lo que hacemos, ya saben,

which is the next best model to have,

cuál será el próximo mejor modelo,

how can we increase the accuracy of my system,

cómo mejorar la precisión de mi sistema,

how can I build the next best system there is --

cómo puedo construir el mejor sistema...

that we forget the reason why we are doing this: the people.

que nos olvidamos de la razón por la que lo estamos haciendo: la gente.

And any successful technology is the one that keeps the people and the users

Y cualquier tecnología óptima es la que pone a la gente y a los usuarios

up front and center.

por delante y en el centro.

And when they start doing that,

Y, cuando empiezan a hacer eso,

we also realize that technology is probably a very small part of this

nos damos cuenta de que la tecnología es una pequeña parte de esto

and there are other things in the story.

y que hay muchas más cosas.

Maybe there are social, cultural and policy interventions

Las intervenciones sociales, culturales y políticas

that are required, as much as technology.

son tan necesarias como la tecnología.

So some time back, I worked on a project called VideoKheti

Hace ya un tiempo trabajé en un proyecto llamado VideoKheti

that allowed Hindi-speaking farmers in Central India

que permitía a los granjeros hablantes de hindi del centro de India

to search for agricultural videos by speaking into a phone-based app.

buscar videos sobre agricultura hablándole a una aplicación del móvil.

So we went to Madhya Pradesh to collect data for this,

Fuimos a Madhya Pradesh a recolectar datos para ello

and we came back and we were training our models

y regresamos, probamos los modelos

and we discovered we're getting very bad results.

y nos dimos cuenta que los resultados eran malos.

This is not working.

No estaba funcionando.

So we were very confused. Why is this happening?

Estábamos muy confusos. ¿Por qué pasaba eso?

So we looked deeper and deeper into the data

Investigamos en profundidad los datos

and discovered that, yes, we had collected data

y nos dimos cuenta de que, sí, teníamos los datos

from what we thought was a very silent, quiet village in the evening.

de lo que creíamos que era una aldea silenciosa y tranquila por las tardes.

But what we hadn't heard while we were doing this

Pero lo que no habíamos oído mientras hacíamos esto

was that there was this constant buzz of night insects, you know?

es que había un zumbido constante de insectos nocturnos.

So throughout the recordings, we had this "bzz" of the insects,

Así que en todos los audios teníamos este zumbido de insectos,

which was actually distorting our speech.

que estaba distorsionando la voz.

The second thing was that when we went there

Lo segundo es que cuando fuimos allí

to kind of test our app in the village,

para poder probar la aplicación en la aldea,

I and my colleague Indrani Medhi,

mi compañera Indrani Medhi,

who is a very well-regarded design researcher,

una prestigiosa investigadora de diseño, y yo,

we found that the women couldn't pronounce the sanskritized words

nos dimos cuenta de que las mujeres no podían pronunciar palabras en sánscrito

that we had for some of the search terms.

que empleamos para algunas búsquedas.

So, like ...

Como...

(speaks Hindi)

(Habla en hindi)

Which is like the term for chemical pesticides, right?

Que es el término para pesticidas químicos.

Because we got these terms from the agricultural extension center

Porque recibimos estos términos del centro de expansión agrícola

and the women, even though they are farming,

y las mujeres, aunque también son granjeras,

do not interact with that center at all.

no interactúan con el centro para nada.

The men do, the women probably use something much simpler, like ...

Los hombres sí. Las mujeres probablemente usen algo más simple, como...

(speaks Hindi)

(Habla en Hindi)

Which basically means killing pests with medicine.

Que básicamente significa matar las plagas con medicina.

So what I have learned through my journey

Lo que he aprendido de mi experiencia

and what I would like to put across to you --

y lo que me gustaría transmitirles,

by now, I hope you've understood me,

espero que me hayan entendido,

is that there is the majority of the world's languages

es que la mayoría de los idiomas mundiales

that require intensive investment for resource creation

necesitan inversiones intensivas para la creación de recursos

if they are to benefit from language technology.

si quieren beneficiarse de la tecnología del lenguaje.

And this is unlikely to happen in a very fast and efficient manner.

Y esto no es probable que ocurra de manera rápida y eficiente.

So it is extremely important for us to ensure

Por ello, es muy importante para nosotros asegurarnos

that the community derives maximum benefit

de que la comunidad tenga el máximo beneficio

from whatever that we are doing in the language tech area.

de cualquier cosa que hagamos en el área de tecnología del lenguaje.

And to do this and deliver a positive social impact

Para lograrlo y tener un impacto social positivo

on these communities,

en estas comunidades,

we follow what we call the modified 4-D design thinking methodology.

seguimos lo que llamamos la metodología de pensar en el diseño modificado 4D.

So the 4-D means: discover, design, develop and deploy.

Las 4 “D” son: descubrir, diseñar, desarrollar y desplegar.

So discover the problem that language technology can solve

Descubrir el problema que la tecnología pueda solucionar

for a particular language community.

en una comunidad lingüística concreta.

This observation-led approach can help allocate resources

Este enfoque basado en la observación nos ayuda a asignar recursos

where they are most needed,

donde más los necesitan,

designed for the users and their language,

diseñados para los usuarios y su idioma,

understand the diversity in the linguistic properties

entender la diversidad en las propiedades lingüísticas

and the languages of the world.

y las lenguas del mundo.

And don't think, oh, this is made for English.

Y no pensar que esto está hecho para el inglés.

Now, how can we just adapt it for Marathi or for Gondi, right?

¿Cómo podemos adaptarlo para el maratí o el gondi?

Develop rapidly and deploy frequently.

Desarrollarlo rápidamente y desplegarlo a menudo.

It's an iterative process that will help you fail fast

Es un proceso interactivo que te permite tener errores enseguida

and early failures will eventually lead to success.

y los errores tempranos acaban en un gran éxito.

The important thing is to persevere.

Lo importante es perseverar.

Do not give up.

No rendirse.

And I remember the story of these two Aborigine Australian women,

Recuerdo la historia de dos mujeres australianas aborígenes.

Patricia O'Connor and Ysola Best.

Patricia O’Connor e Ysola Best.

In the mid-90s, they went to the University of Queensland

A mediados de los 90 fueron a la Universidad de Queensland

and they wanted to learn their own language, called Yugambeh,

y querían aprender su idioma, el yugambeh,

and they were told very bluntly, "Your language is dead.

Y les dijeron sin rodeos: “Vuestra lengua está muerta.

It's been dead for three decades.

Leva muerta tres décadas.

You cannot work on this. Find something else to work on."

No podéis trabajar con esto. Encontrad otra cosa para trabajar”.

They did not give up.

No se rindieron.

They went to the community,

Se dirigieron a la comunidad,

they dug up oral memories, oral traditions, oral literature,

recuperaron recuerdos orales, tradiciones y literatura orales

and founded the Yugambeh Museum,

y fundaron el Museo Yugambeh,

which became the most important cultural and linguistic center for the language

que se convirtió en el centro cultural y lingüístico más importante de la lengua

and its community.

y de su comunidad.

They did not have technology. They only had their willpower.

No tenían tecnología. Solo tenían su fuerza de voluntad.

Now, with the power of technology,

Ahora, con el poder de la tecnología,

we can ensure that the next page is written in Salmi from Finland,

podemos asegurarnos de que la siguiente página se escribe en saami de Finlandia,

Lillooet from Canada or Mundari from India.

en lillooet de Canadá o en mundari de India.

Thank you.

Muchas gracias.