Kalika Bali: The giant leaps in language technology -- and who's left behind | TED

Transcriber:

Traducteur: Eloïse Delarue Relecteur: Elisabeth Buffard

Je m’appelle Kalika Bali, je suis linguiste de formation

et technologue de métier.

J’ai travaillé dans l’éducation,

dans des start-up, dans des petite entreprises

I'm Kalika Bali, I'm a linguist by training

et des multinationales pendant 20 ans,

and a technologist by profession,

faisant de la recherche et créant des systèmes de technologie linguistiques.

I have worked in academia,

in startups, in small companies and multinationals for over two decades,

Mon rêve est de voir la technologie dépasser la barrière de la langue.

doing research in and building language technology systems.

En tant que chercheuse pour Microsoft Research Labs en Inde,

je travaille dans le domaine de la technologie linguistique

My dream is to see technology work across the language barrier.

et de la technologie du langage.

As a researcher at Microsoft Research Labs India

Je cherche à savoir comment nous pouvons rendre la technologie accessible

I work in the field of language technology and speech technology.

à l’ensemble des gens,

quelle que soit la langue de la langue qu’ils parlent.

And I worry about how can we make technology accessible

Donc, traitement du langage naturel,

intelligence artificielle, technologie de la parole,

to people across the board,

you know, irrespective of the language that they speak.

voilà des mots compliqués, à la mode en ce moment.

Tout le monde parle de ce qu’est le TAL, ou traitement automatique des langues.

So natural language processing,

artificial intelligence, speech technology,

these are very big words, they are buzzwords right now.

En termes très simples,

c’est la partie du génie informatique

Everybody is talking about what exactly is NLP or natural language processing.

qui fait que les machine traitent,

comprennent et génèrent un language naturel,

So in very simple terms,

this is the part of computer science engineering

qui est le language parlé par les humains.

that makes machines process,

Lorsque vous interagissez

avec un bot pour essayer de réserver vos billets de train,

understand and generate natural language,

ou vos billets d’avion,

which is the language that humans speak.

lorsque vous parlez à un assistant vocal lors d’un appel téléphonique,

When you are interacting with a bot trying to book your train tickets

c’est le traitement automatique des langues

qui est à la base de toute la technologie qui fait que ça fonctionne.

or flight tickets,

when you are speaking to a voice-based digital assistant in your phone,

Mais comment ça marche ?

Comment le TAL fonctionne-t-il ?

it's natural language processing

Pour simplifier,

that underpins the entire technology that makes that work.

tout est une histoire de données.

But how does this work?

Une grande quantité de données

How does NLP work?

In a very, very basic way,

sur la façon dont les humains utilisent le langage

it's about data.

est ensuite traitée par certains algorithmes et techniques

So a huge amount of data of how actually humans use language

qui font apprendre aux machines

is then processed by certain algorithms and techniques

les modèles du langage naturel des hommes.

Aujourd’hui, un autre mot à la mode : les réseaux neuronaux profonds.

that make the machines learn the patterns

of natural language of humans, right?

Ce sont les techniques avancées

qui sont à la base d’une grande partie

These days, another buzzword that you hear a lot about is deep neural networks.

de ce qui se passe en ce moment avec le TAL

Je ne rentrerai pas dans les détails de leur fonctionnement,

And these are the advanced techniques

mais ce que vous devez savoir et garder en tête,

that underpin a lot of the NLP stuff that happens right now.

c’est que tout cela nécessite des quantités de données gigantesques,

And I will not go into the details of how that works,

but the thing that you really have to understand and keep in mind

des données sur le langage naturel.

Si vous voulez qu’un système vocal converse avec vous en gujarati,

is that all of this requires a humungous amount of data,

vous avez d’abord besoin

natural language data.

d’une grande quantité de données sur le gujarati parlé par les gens

If you want a speech system to converse with you in Gujarati,

dans leur langue maternelle.

the first thing you require

is a lot of data of Gujarati people speaking to each other

Ainsi en 2017, Microsoft a élaboré un système de reconnaissance vocale

capable de transcrire un discours en texte

in their own language.

So 2017, Microsoft came up with a speech recognition system

mieux qu’un humain ne l’aurait fait.

Ce système a été entrainé

which was able to transcribe speech into text

avec 200 millions de mots transcrits.

En 2018, un système de traduction automatique anglais-chinois

better than a human did.

And this system was trained

a été capable de traduire de l’anglais vers le chinois

on 200 million transcribed words.

aussi bien qu’un humain bilingue.

In 2018, an English-Chinese machine translation system

Et ce système a été entrainé

was able to translate from English to Chinese

sur 18 millions de paires de phrases bilingues.

as well as any human bilingual could.

C’est une époque formidable pour le traitement automatique des langues

And this was trained on 18 million bilingual sentence pairs.

et pour la technologie elle-même.

Vous savez, c’est la science-fiction, que nous avons lue et regardée,

This is a very, very exciting time in natural language processing

qui devient réalité devant nos propres yeux.

and in technology as such.

Nous faisons des pas de géants dans le progrès technique.

You know, we are seeing science fiction, which we had read about and watched,

Mais ces avancées sont limitées à très peu de langues.

kind of come true in front of our own eyes.

We are making giant leaps in technical advancement.

Alors Monojit Choudhury,

qui est un très bon ami à moi,

But these giant leaps are limited to very few languages.

et un collègue,

a étudié ça en détail

et a observé la distribution de ressources à travers les langues du monde.

So Monojit Choudhury,

who's like a very good friend of mine

and a colleague,

Et il dit qu’elles suivent ce que l’on appelle la loi de puissance,

he has studied this in some detail

and he has looked at resource distribution across languages in the world.

ce qui veut essentiellement dire qu’il y a quatre langues,

arabe, chinois, anglais et espagnol,

And he says that these follow what is called a power-law distribution,

qui ont le maximum de ressources disponibles.

which essentially means that there are four languages,

Il y a quelques autres langues qui peuvent bénéficier

Arabic, Chinese, English and Spanish,

which have the maximum amount of resources available.

des ressources et de la technologie disponibles à présent.

There are another handful of languages which can also benefit from, you know,

Mais il y a 90% des langues du monde

the resources and the technology that's available right now.

qui n’ont aucune ressource

ou très peu de ressources disponibles.

But there are 90 percent of the world's languages

Cette révolution dont nous parlons

a quasiment ignoré 5000 langues dans le monde.

which have no resources

or very little resources available.

Ça signifie que les langues riches en ressources

This revolution that we are talking about

ont des technologies construites pour elles,

has essentially bypassed 5,000 languages of the world.

donc les chercheurs et technologues sont attirés vers elles.

Ils développent plus de technologies pour elles, créent plus de ressources.

Now, what this means is that resource-rich languages

have technologies built for them,

C’est un cycle : les riches continuent de s’enrichir.

so researchers and technologists get attracted towards them.

Et les langues pauvres en ressources restent pauvres,

They build more technologies for them. They create more resources.

il n’y a pas de technologies, personne ne travaille pour elles.

So it's like a rich getting richer kind of a cycle.

Et cette fracture numérique entre les langues

And the resource-poor languages stay poor,

ne cesse de progresser

et du même coup, le fossé entre les communautés

there's no technology for them, nobody works for them.

And this divide, digital divide between languages

qui parlent ces langues s’élargit aussi.

is ever-expanding

and by implication also the divide between the communities

Donc chez Microsoft, avec le Projet Ellora nous voulons combler ce fossé.

that speak these languages is expanding.

Nous essayons de créer plus de données avec des méthodes innovantes,

So in Microsoft, in Project Ellora, we aim to bridge this gap.

d’avoir plus de techniques pour développer des technologies avec peu de ressources

We are trying to see how can we create more data by innovative methods,

et de voir les applications qui peuvent vraiment aider ces communautés.

have more techniques to build technology without having a lot of resources,

Pour le moment, ça semble très théorique,

and what are the applications that can truly benefit these communities.

comme ce dont il parle, données et techniques et technologie.

Alors laissez-moi vous donner un exemple très concret ici.

So at the moment, this might seem very theoretical,

Je suis une linguiste dans l’âme, j’adore les langues, et j’aime en parler.

like what is he talking about, data and techniques and technology.

So let me give you a very concrete example here.

Alors laissez-moi vous parler d’une langue que peu d’entre vous doivent connaître.

I'm a linguist at heart, I love languages, and that's what I love talking about.

Le gondi.

Le Gondi est une langue dravidienne du centre-sud.

So let me tell you about a language that many of you might not know about.

Il est parlé par trois millions de gens dans cinq états de l’Inde.

Gondi.

Et pour mettre cela en perspective,

Gondi is a South-Central Dravidian language.

le norvégien est parlé par cinq millions de gens

It is spoken by three million people in five states of India.

et le gallois par un peu moins d’un million.

And to put this in some kind of perspective,

Alors le gondi est donc en fait une communauté assez large

Norwegian is spoken by five million people

and Welsh by a little under a million.

des tribus Gond en Inde.

So Gondi is actually a pretty robust and pretty large community

Mais selon l’Atlas des Langues en Danger de l’UNESCO,

le gondi est classé comme vulnérable.

of the Gond tribals in India.

But by UNESCO's Atlas of Languages in Danger,

CGNet Swara est une ONG qui offre un portail de journalisme citoyen

Gondi is designated vulnerable status.

à la communauté des Gonds

en rendant des histoires locales accessibles par téléphones portables.

CGNet Swara is an NGO that provides a citizen journalism portal

Il n’y a aucun support technique pour le gondi.

for the Gond community

Il n’y a pas de données ni de ressources disponibles pour le gondi.

by making local stories accessible through mobile phones.

There's absolutely no tech support for Gondi.

Donc tout le contenu est créé, modéré et édité manuellement.

There is no data available for Gondi, no resources available for Gondi.

Dans le cadre du Projet Ellora,

nous avons réuni toutes les parties intéressées,

So all content that is created, moderated and edited is done manually.

un ONG comme CGNet Swara,

des institutions universitaires, comme IIIT Naya Raipur,

Now, under Project Ellora,

un éditeur de livres pour enfant à but non lucratif,

what we did was that we brought together all the stakeholders,

comme les livres Pratham,

an NGOs like CGNet Swara,

et surtout, les gens de la communauté qui parlent la langue.

and academic institutions, like IIIT Naya Raipur,

Les tribus Gonds elles-mêmes ont participé à cette activité

a not-for-profit children's book publisher,

like Pratham Books,

et pour la première fois ont édité et traduit un livre pour enfant en gondi.

and most importantly, the speakers of the community.

The Gond tribals themselves participated in this activity

Nous avons pu sortir 200 livres pour la première fois en gondi,

and for the first time edited and translated children’s books in Gondi.

pour que les enfants aient accès à des histoires

We were able to put out 200 books for the very first time in Gondi,

et des livres dans leur langue.

Une autre extension du projet était Adivasi Radio,

qui était une app, construite et développée à Microsoft Research,

so that the children had access to stories and books in their own language.

et qui a été sortie, avec nos parties intéressées,

Another extension of this was Adivasi Radio,

which was like an app that we built and developed in Microsoft Research,

elle prend une synthèse vocale en Hindi

and then put out there, along with our stakeholders,

et lui permet de lire les informations et articles fournies par CGNet Swara

which takes a Hindi text-to-speech system

en langue gondi.

and allows it to read out news and articles provided by CGNet Swara

Les utilisateurs peuvent maintenant utiliser cette app pour lire,

regarder et accéder aux informations

in Gondi language.

à travers le texte et la voix dans leur propre langue.

Users can now use this app to read,

Ce qui est intéressant avec cette app, c’est qu’elle est utilisée

watch news and access any information

par la communauté pour traduire du texte de l’hindi au gondi.

through text and voice in their own language.

A very interesting thing is that this app is now being used to translate --

Maintenant, cela va produire beaucoup de données parallèles,

by the community to translate text from Hindi to Gondi.

ce qui va nous permettre de construire un système de traduction automatique gondi

Now, what that will result in is a lot of parallel data,

qui va réellement ouvrir une fenêtre pour la communauté Gond vers le monde.

that we call parallel data,

that will allow us to build machine translation systems for Gondi,

Et le plus important est que maintenant, nous savons comment faire.

which will truly open up a window for the Gond community to the world.

Nous avons l’accès total et nous pouvons le répliquer pour n’importe quelle langue

et n’importe quelle langue communautaire

And what is even more important is now we know how to do this.

dans la même situation que les tribus Gond.

We have the entire pipeline and we can replicate this for any language

L’éducation, l’accès à l’information, oui,

and any language community

which is in a similar situation as the Gond tribals.

mais comment gagner sa vie ?

Also education -- yes, you know, information access -- yes,

Comment pouvons-nous aider ces gens à gagner leur vie

à travers les outils numériques que nous tenons tous pour acquis ?

but what about earning a living?

Right? What about -- how can we make these people earn a living

Vivek Seshadri, un autre chercheur au MSR,

et son collaborateur, Manu Chopra,

through the digital tools that all of us just take for granted these days?

ont conçu la plateforme Karya

afin de donner des micro-tâches numériques aux communautés vulnérables.

Vivek Seshadri, who's another researcher at MSR,

and his collaborator, Manu Chopra,

Son objectif était de trouver le moyen de fournir du travail décent

they've designed a platform called Karya

for providing digital microtasks to the underserved communities.

aux populations rurales

et aux populations urbaines pauvres de son pays.

His aim was basically to find a way to provide a means of dignified labor

Elles n’ont pas accès à toute cette connaissance

to the populations, the rural populations

sur l’utilisation des plateformes numériques

and the urban poor populations of this country.

que nous utilisons tous facilement au quotidien.

They don't have access to all the knowledge

Mais...

to use the digital platforms

Voila une grande population alphabète qui veut travailler

that all of us use every day without even thinking, right?

But ...

et comment rendre cela possible pour elles ?

Here is a large

Alors, Karya est une façon unique

literate population that wants to work, right,

grâce à laquelle ces populations ont accès au numérique

and how can we make this possible for them?

pour ensuite,

So Karya is one such way

trouver du travail et accomplir des tâches génératrices de revenus.

through which this population can get on to the digital world

Quand on a vu ça, on s’est dit que c’était génial,

and, you know,

et que ça pourrait nous servir à collecter des données.

through that find work and do tasks that can then earn them money.

Nous sommes allés à Amale,

un petit village de 200 personnes

So we saw this and we thought, oh, this is wonderful.

dans le district de Maharashtra

We could probably use this for data collection as well.

afin de collecter des données sur le marathi à l’aide de Karya.

So we went to Amale,

which is a small village of 200 people

Je sais, vous vous dites :

il y a sûrement des gens qui parlent le marathi dans le public.

in the Wada district of Maharashtra

Ce n’est pas une langue à faible ressource.

and decided to use Karya to collect Marathi data.

Le marathi est vraiment une langue très répandue dans le pays.

Now, I know what you are thinking --

I'm sure a lot of Marathi speakers also in the audience --

Mais en ce qui concerne la technologie de la langue,

that Marathi is not a low-resource language.

le marathi est une langue à faible ressource.

Marathi is definitely a mainstream language of the country.

Donc, on est allé dans ce village,

et on a fait une bonne collecte de données.

But as far as language technology is concerned,

Le village était très isolé.

Marathi is a low-resource language.

So we went to this village

Ils n’ont ni accès à la télé, ni à l’électricité,

and we had a very successful data-collection trip.

ils n’ont pas de réseau.

And, you know, this village is very remote.

Il faut franchir une colline et agiter son téléphone

They have no TV, they have no electricity,

pour espérer appeler qui que ce soit.

they have no mobile signal.

Ils nous ont fourni ces données.

You have to climb a hill and wave your phone around

Mais plus encore, ils nous ont donné de solides leçons de vie.

if you want to, you know, use your mobile to call anyone.

Une de ces leçons, c’est être fier de sa langue.

So they gave us all this data.

Les gens de l’Amale étaient heureux de faire cela

But more than that, they gave us very valuable lessons in life.

car, ils savaient qu’ils faisaient progresser leur propre langue.

One is this pride in one's own language.

une autre leçon, c’était la valeur d’une communauté.

The people of Amale were thrilled to be doing this

because they were advancing their own language by doing this.

Très rapidement, c’est devenu un effort communautaire généralisé.

Les gens se retrouvaient pour exécuter des tâches en groupe.

The second was the value of community.

Very quickly, this became a village community effort.

et enfin, l’importance du storytelling.

People would gather together in tasks and do this together as a group.

Les gens de l’Amale avaient tellement soif de contenus que le matin,

And the third is the importance of storytelling.

ils enregistraient des histoires dans Karya

People of Amale were so starved of content that in the morning, during the daytime,

et dans la soirée, ils rassemblaient tout le village

et les racontaient de nouveau à tous les villageois.

they would do recordings of stories in Karya

and then in the evening they would gather the entire village

Nous, scientifiques, nous sommes si attachés

à la partie science et technologie de ce que nous faisons -

and retell and recount these stories to the village.

c’est le meilleur modèle d’ailleurs,

So as scientists, we get so caught up

comment rendre le système plus fiable,

in the science and technology part of what we are doing, you know --

comment construire le prochain meilleur système qui soit -

which is the next best model to have,

que nous oublions pourquoi nous le faisons : pour les gens.

how can we increase the accuracy of my system,

how can I build the next best system there is --

Et une technologie réussie est celle qui met les utilisateurs

that we forget the reason why we are doing this: the people.

au devant, au centre.

And any successful technology is the one that keeps the people and the users

Et quand c’est comme cela,

on voit que la technologie n’est qu’une toute petite partie,

et qu’il y a d’autres aspects de l’histoire.

up front and center.

Il y a peut-être des interventions sociales, culturelles et politiques

And when they start doing that,

we also realize that technology is probably a very small part of this

tout autant nécessaires que la technologie.

and there are other things in the story.

Par le passé, j’ai travaillé sur un projet appelé VidéoKheti

Maybe there are social, cultural and policy interventions

qui a permis aux agriculteurs de langue hindi du entre de l’Inde

that are required, as much as technology.

de rechercher des vidéos agricoles en parlant à une appli mobile.

So some time back, I worked on a project called VideoKheti

that allowed Hindi-speaking farmers in Central India

On est donc allés au Madhya Pradesh pour collecter les données,

to search for agricultural videos by speaking into a phone-based app.

puis revenus entrainer nos modèles

et on a découvert qu’on obtenait de mauvais résultats.

So we went to Madhya Pradesh to collect data for this,

Ça ne marchait pas.

On ne comprenait pas. Qu’est ce qui se passait?

and we came back and we were training our models

On a examiné de près les données

et découvert qu’on avait collecté des données

and we discovered we're getting very bad results.

This is not working.

de ce qu’on pensait être un village calme en soirée.

So we were very confused. Why is this happening?

So we looked deeper and deeper into the data

Mais ce qui nous avait échappé lors de notre collecte,

and discovered that, yes, we had collected data

from what we thought was a very silent, quiet village in the evening.

est le bourdonnement incessant des insectes de nuit.

On entendait les insectes sur les enregistrements,

But what we hadn't heard while we were doing this

ce qui déformait en fait notre discours.

was that there was this constant buzz of night insects, you know?

Deuxième chose : quand on y est allé,

So throughout the recordings, we had this "bzz" of the insects,

pour tester notre appli au village,

which was actually distorting our speech.

avec mon collègue Indrani Medhi

The second thing was that when we went there

un chercheur designer réputé, nous avions remarqué

to kind of test our app in the village,

que les femmes n’arrivaient pas à prononcer les mots en Sanskrit

I and my colleague Indrani Medhi,

who is a very well-regarded design researcher,

qu’il fallait pour nos recherches.

Donc

we found that the women couldn't pronounce the sanskritized words

(en Hindi)

that we had for some of the search terms.

le terme pour désigner les pesticides.

So, like ...

Car ces termes nous avaient été communiqués

(speaks Hindi)

par le centre de développement agricole

Which is like the term for chemical pesticides, right?

et les femmes, même si elles pratiquent l’agriculture,

Because we got these terms from the agricultural extension center

n’interagissaient pas avec le centre.

Les hommes oui, les femmes utilisent sans doute des mots bien plus simples,

and the women, even though they are farming,

comme (en Hindou)

ce qui veut dire : tuer les parasites avec des médicaments.

do not interact with that center at all.

The men do, the women probably use something much simpler, like ...

Ce que j’ai appris durant mon aventure

(speaks Hindi)

et que j’aimerais vous transmettre -

Which basically means killing pests with medicine.

j’espère que vous m’aviez comprise -

So what I have learned through my journey

c’est qu’il y a une majorité de langues à travers le monde

and what I would like to put across to you --

qui demandent beaucoup d’investissement pour créer des ressources

by now, I hope you've understood me,

pour bénéficier de la technologie de la langue.

is that there is the majority of the world's languages

Et il est peu probable que ça se produise de manière rapide et efficace.

that require intensive investment for resource creation

if they are to benefit from language technology.

Il est donc très important de nous assurer

And this is unlikely to happen in a very fast and efficient manner.

que la communauté tire le meilleur profit

de tout ce que nous faisons dans la technologie linguistique.

So it is extremely important for us to ensure

that the community derives maximum benefit

Et pour ce faire et apporter un impact social positif

sur ces communautés,

from whatever that we are doing in the language tech area.

nous suivons ce que nous appelons la méthodologie 4-D modifiée.

And to do this and deliver a positive social impact

Découvrir, Designer, Développer et Déployer.

on these communities,

we follow what we call the modified 4-D design thinking methodology.

Découvrir le problème que la technologie linguistique peut résoudre

So the 4-D means: discover, design, develop and deploy.

pour une communauté spécifique.

Cette méthode fondée sur l’observation permet d’allouer des ressources

So discover the problem that language technology can solve

où elles sont nécessaires,

conçue pour les utilisateurs et leur langue,

for a particular language community.

This observation-led approach can help allocate resources

comprendre la diversité dans les propriétés linguistiques

et les langues du monde.

where they are most needed,

designed for the users and their language,

Ne pensez pas que c’est fait pour l’anglais

Comment adapter cela au marathi ou au gondi ?

understand the diversity in the linguistic properties

and the languages of the world.

Développer rapidement et déployer fréquemment.

And don't think, oh, this is made for English.

C’est un processus itératif qui vous fera vite échouer

Now, how can we just adapt it for Marathi or for Gondi, right?

et les échecs vous mèneront finalement au succès.

Develop rapidly and deploy frequently.

It's an iterative process that will help you fail fast

Le plus important est de persévérer.

Ne jamais abandonner.

and early failures will eventually lead to success.

Je me souviens de l’histoire de deux femmes aborigènes australiennes,

The important thing is to persevere.

Patricia O’Connor et Ysola Best.

Do not give up.

And I remember the story of these two Aborigine Australian women,

Au milieu des années 90, elles étaient à l’Université de Queensland

Patricia O'Connor and Ysola Best.

pour apprendre leur propre langue, le yugambeh,

et on leur a dit clairement : « votre langue est morte,

In the mid-90s, they went to the University of Queensland

depuis des décennies.

and they wanted to learn their own language, called Yugambeh,

Vous ne pouvez pas l’étudier, trouvez autre chose. »

Elles n’ont pas abandonné.

and they were told very bluntly, "Your language is dead.

Grâce à leurs communautés,

It's been dead for three decades.

elles ont déterré des mémoires, des traditions, de la littérature orales,

You cannot work on this. Find something else to work on."

pour enfin fonder le musée Yugambeh,

They did not give up.

They went to the community,

they dug up oral memories, oral traditions, oral literature,

qui est ensuite devenu le centre culturel linguistique le plus important

and founded the Yugambeh Museum,

pour la langue et sa communauté.

Elles n’avaient pas la technologie, juste de la volonté.

which became the most important cultural and linguistic center for the language

Avec la force de la technologie,

on peut s’assurer que la page suivante soit écrite en salmi de Finlande,

and its community.

They did not have technology. They only had their willpower.

Now, with the power of technology,

Salmi de la Finlande, Lillooet du Canada ou Mundari de l’Inde.

we can ensure that the next page is written in Salmi from Finland,

Merci.

Lillooet from Canada or Mundari from India.

Thank you.