Kalika Bali: The giant leaps in language technology -- and who's left behind | TED

Transcriber:

Traduttore: Wardy 48 Revisore: Samridh Aggarwal

I'm Kalika Bali, I'm a linguist by training

Sono Kalika Bali, sono una linguista di formazione

and a technologist by profession,

e una tecnologa di professione,

I have worked in academia,

ho lavorato nel mondo accademico,

in startups, in small companies and multinationals for over two decades,

in startup, in piccole imprese e multinazionali per più di vent’anni,

doing research in and building language technology systems.

ho fatto ricerche e sviluppato sistemi di tecnologia linguistica.

My dream is to see technology work across the language barrier.

Il mio sogno è di vedere la tecnologia che supera le barriere linguistiche.

As a researcher at Microsoft Research Labs India

Come ricercatrice al Microsoft Research Labs India

I work in the field of language technology and speech technology.

mi occupo di tecnologia linguistica e di tecnologia del linguaggio.

And I worry about how can we make technology accessible

E mi preoccupo di come possiamo rendere la tecnologia accessibile

to people across the board,

alle persone in tutto il mondo,

you know, irrespective of the language that they speak.

insomma, indipendentemente dalla lingua che parlano.

Elaborazione del linguaggio naturale,

So natural language processing,

intelligenza artificiale,

artificial intelligence, speech technology,

tecnologia del linguaggio.

these are very big words, they are buzzwords right now.

Parole molto difficili, ora sono parole chiave.

Everybody is talking about what exactly is NLP or natural language processing.

Tutti parlano di cos’è esattamente la PNL o l’elaborazione del linguaggio naturale.

So in very simple terms,

Dunque, in parole povere,

this is the part of computer science engineering

questa è la parte di ingegneria informatica

that makes machines process,

che permette alle macchine di elaborare,

understand and generate natural language,

capire e generare il linguaggio naturale,

which is the language that humans speak.

che è la lingua parlata dagli esseri umani.

When you are interacting with a bot trying to book your train tickets

Quando interagite con un bot per prenotare i biglietti del treno

or flight tickets,

o i biglietti aerei,

when you are speaking to a voice-based digital assistant in your phone,

quando parlate con un assistente digitale sul vostro telefono

it's natural language processing

l’elaborazione del linguaggio naturale

that underpins the entire technology that makes that work.

è alla base di tutta la tecnologia che lo fa funzionare.

But how does this work?

Ma come funziona?

How does NLP work?

Come funziona la PNL?

In a very, very basic way,

In un modo molto, molto semplice,

it's about data.

Si tratta di dati.

So a huge amount of data of how actually humans use language

Allora, una quantità enorme di dati di come gli esseri umani usano la lingua

is then processed by certain algorithms and techniques

viene processata da alcuni algoritmi e tecnologie

that make the machines learn the patterns

che insegnano alle macchine le strutture

of natural language of humans, right?

della linguaggio naturale umano, ok?

These days, another buzzword that you hear a lot about is deep neural networks.

Di questi tempi, un’altra espressione che si sente spesso è reti neurali profonde.

And these are the advanced techniques

E queste sono le tecniche avanzate

that underpin a lot of the NLP stuff that happens right now.

che sono alla base di molto materiale di PNL ultimamente.

And I will not go into the details of how that works,

E non entro nel dettaglio di come funziona,

but the thing that you really have to understand and keep in mind

ma quello che dovete capire e tenere a mente

is that all of this requires a humungous amount of data,

è che tutto questo richiede un’enorme quantità di dati,

natural language data.

dati sul linguaggio naturale.

If you want a speech system to converse with you in Gujarati,

Se volete un sistema vocale che parli con voi in gujarati,

the first thing you require

la prima cosa che vi serve

is a lot of data of Gujarati people speaking to each other

sono molti dati di gujarati che parlano tra di loro

in their own language.

nella loro lingua madre.

So 2017, Microsoft came up with a speech recognition system

Nel 2017, Microsoft ha inventato un sistema di riconoscimento vocale

which was able to transcribe speech into text

che riusciva a trascrivere un discorso in un testo

better than a human did.

meglio di un essere umano.

And this system was trained

E questo sistema è stato formato

on 200 million transcribed words.

con 200 milioni di parole trascritte.

In 2018, an English-Chinese machine translation system

Nel 2018, un sistema di traduzione automatica

was able to translate from English to Chinese

riusciva a tradurre dall’inglese al cinese

as well as any human bilingual could.

come una qualunque persona bilingue.

And this was trained on 18 million bilingual sentence pairs.

E questo è stato creato con 18 milioni di coppie di frasi bilingue.

This is a very, very exciting time in natural language processing

È un momento molto, molto emozionante nell’elaborazione del linguaggio naturale

and in technology as such.

come anche nella tecnologia.

You know, we are seeing science fiction, which we had read about and watched,

Insomma, vediamo la fantascienza che prima leggevamo e guardavamo,

kind of come true in front of our own eyes.

che sta diventando realtà davanti ai nostri occhi.

We are making giant leaps in technical advancement.

Stiamo facendo passi da gigante nelle nuove tecnologie.

But these giant leaps are limited to very few languages.

Ma questi passi da gigante sono limitati a molte poche lingue.

So Monojit Choudhury,

Monojit Choudhury,

who's like a very good friend of mine

che è un mio grande amico

and a colleague,

e collega,

he has studied this in some detail

l’ha studiato nel dettaglio

and he has looked at resource distribution across languages in the world.

e ha esaminato la distribuzione delle risorse nelle lingue del mondo.

And he says that these follow what is called a power-law distribution,

E dice che queste seguono la cosiddetta distribuzione esponenziale,

which essentially means that there are four languages,

che essenzialmente significa che ci sono quattro lingue,

Arabic, Chinese, English and Spanish,

arabo, cinese, inglese e spagnolo,

which have the maximum amount of resources available.

che hanno il massimo livello di risorse disponibili.

There are another handful of languages which can also benefit from, you know,

C’è un altro gruppo di lingue che può trarre beneficio

the resources and the technology that's available right now.

dalle risorse e dalla tecnologia disponibili al momento.

But there are 90 percent of the world's languages

Ma c’è un altro 90 percento delle lingue del mondo

which have no resources

che non ha risorse

or very little resources available.

o ha pochissime risorse a disposizione.

This revolution that we are talking about

Questa rivoluzione di cui stiamo parlando

has essentially bypassed 5,000 languages of the world.

in pratica ha bypassato 5.000 lingue del mondo.

Now, what this means is that resource-rich languages

Ora, ciò significa che le lingue ricche di risorse

have technologies built for them,

dispongono di tecnologie adeguate,

so researchers and technologists get attracted towards them.

quindi i ricercatori e i tecnici sono attratti da loro.

They build more technologies for them. They create more resources.

Costruiscono più tecnologie. Creano più risorse.

So it's like a rich getting richer kind of a cycle.

Quindi è come un ciclo in cui i ricchi si arricchiscono.

And the resource-poor languages stay poor,

E le lingue povere di risorse rimangono povere,

there's no technology for them, nobody works for them.

non ci sono tecnologie, nessuno lavora per loro.

And this divide, digital divide between languages

E questo divario, il divario digitale tra le lingue

is ever-expanding

è in continua espansione

and by implication also the divide between the communities

e implicitamente anche il divario tra le comunità

that speak these languages is expanding.

che parlano queste lingue si sta espandendo.

So in Microsoft, in Project Ellora, we aim to bridge this gap.

Quindi in Microsoft, nel progetto Ellora, puntiamo a colmare questa lacuna.

We are trying to see how can we create more data by innovative methods,

Stiamo cercando di capire come creare più dati con metodi innovativi,

have more techniques to build technology without having a lot of resources,

avere più tecniche per sviluppare tecnologia senza molte risorse,

and what are the applications that can truly benefit these communities.

e quali applicazioni possono veramente dare benefici a queste comunità.

So at the moment, this might seem very theoretical,

Quindi al momento, questo potrebbe sembrare molto teorico,

like what is he talking about, data and techniques and technology.

stiamo parlando di dati, tecniche e tecnologia.

So let me give you a very concrete example here.

Lasciate che vi faccia un esempio molto concreto.

I'm a linguist at heart, I love languages, and that's what I love talking about.

Sono una linguista nel cuore, amo le lingue, e amo parlarne.

So let me tell you about a language that many of you might not know about.

Lasciate che vi parli di una lingua che molti di voi potrebbero non conoscere.

Gondi.

Il gondi.

Gondi is a South-Central Dravidian language.

Il gondi è una lingua dravidica centro-meridionale.

It is spoken by three million people in five states of India.

È parlata da tre milioni di persone in cinque stati dell’India.

And to put this in some kind of perspective,

E, per darvi un’idea,

Norwegian is spoken by five million people

il norvegese è parlato da cinque milioni di persone

and Welsh by a little under a million.

e il gallese da poco meno di un milione.

So Gondi is actually a pretty robust and pretty large community

Quindi il gondi è in realtà una comunità abbastanza robusta e abbastanza grande

of the Gond tribals in India.

delle tribù Gond in India.

But by UNESCO's Atlas of Languages in Danger,

Ma nell’Atlante UNESCO delle Lingue a Rischio di Estinzione,

Gondi is designated vulnerable status.

il gondi è considerato stato vulnerabile.

CGNet Swara is an NGO that provides a citizen journalism portal

Cgnet Swara è una ONG che fornisce un portale di giornalismo cittadino

for the Gond community

per la comunità Gond

by making local stories accessible through mobile phones.

rendendo accessibili le storie locali attraverso i telefoni cellulari.

There's absolutely no tech support for Gondi.

Non c’è nessun supporto tecnico per il gondi.

There is no data available for Gondi, no resources available for Gondi.

Non ci sono né dati né risorse disponibili per il gondi.

So all content that is created, moderated and edited is done manually.

Quindi tutti i contenuti creati, moderati e modificati sono fatti manualmente.

Now, under Project Ellora,

Ora, nell’ambito del Progetto Ellora,

what we did was that we brought together all the stakeholders,

abbiamo riunito tutte le parti interessate,

an NGOs like CGNet Swara,

ONG come Cgnet Swara,

and academic institutions, like IIIT Naya Raipur,

e istituzioni accademiche, come IIIT Naya Raipur,

a not-for-profit children's book publisher,

un editore di libri per bambini no-profit,

like Pratham Books,

come Pratham Books,

and most importantly, the speakers of the community.

e, cosa più importante, gli oratori della comunità.

The Gond tribals themselves participated in this activity

and for the first time edited and translated children’s books in Gondi.

Per la prima volta hanno pubblicato e tradotto libri per bambini in Gondi.

We were able to put out 200 books for the very first time in Gondi,

Per la prima volta abbiamo pubblicato 200 libri in gondi,

so that the children had access to stories and books in their own language.

in modo che i bambini avessero accesso a storie e libri nella loro lingua.

Another extension of this was Adivasi Radio,

Un’altro progetto è stato Adivasi Radio,

which was like an app that we built and developed in Microsoft Research,

un’applicazione che abbiamo creato e sviluppato a Microsoft Research,

and then put out there, along with our stakeholders,

e poi rilasciato insieme ai nostri stakeholder,

which takes a Hindi text-to-speech system

che integra un sistema di text-to-speech in hindi

and allows it to read out news and articles provided by CGNet Swara

e gli permette di leggere le notizie e gli articoli forniti da Cgnet Swara

in Gondi language.

in lingua gondi.

Users can now use this app to read,

Ora gli usano questa applicazione per leggere,

watch news and access any information

guardare le news e accedere a qualsiasi informazione

through text and voice in their own language.

attraverso il testo e la voce nella propria lingua.

A very interesting thing is that this app is now being used to translate --

Una cosa molto interessante è che questa app viene ora usata per tradurre

by the community to translate text from Hindi to Gondi.

la comunità traduce testi da hindi a gondi.

Now, what that will result in is a lot of parallel data,

Ora, il risultato saranno un sacco di dati paralleli,

that we call parallel data,

che chiamiamo dati paralleli,

that will allow us to build machine translation systems for Gondi,

che permetteranno di costruire sistemi di traduzione automatica in gondi,

which will truly open up a window for the Gond community to the world.

che apriranno una finestra sul mondo per la comunità Gond.

And what is even more important is now we know how to do this.

E la cosa ancora più importante è che ora sappiamo come fare.

We have the entire pipeline and we can replicate this for any language

Abbiamo l’intera pipeline e possiamo replicarla per qualsiasi lingua

and any language community

e qualsiasi comunità linguistica

which is in a similar situation as the Gond tribals.

che si trova in una situazione come quella delle tribù Gond.

Also education -- yes, you know, information access -- yes,

Anche l’istruzione, insomma l’accesso alle informazioni, sì,

but what about earning a living?

ma come ci si guadagna da vivere?

Right? What about -- how can we make these people earn a living

Giusto? Come possiamo permettere a queste persone di guadagnare

through the digital tools that all of us just take for granted these days?

attraverso gli strumenti digitali che tutti noi diamo per scontati oggi?

Vivek Seshadri, who's another researcher at MSR,

Vivek Seshadri, un altro ricercatore della MSR,

and his collaborator, Manu Chopra,

e il suo collaboratore, Manu Chopra,

they've designed a platform called Karya

hanno progettato una piattaforma chiamata Karya

for providing digital microtasks to the underserved communities.

per fornire microattività digitali alle comunità scarsamente servite.

His aim was basically to find a way to provide a means of dignified labor

Lo scopo era quello di trovare un modo per fornire un mezzo di lavoro dignitoso

to the populations, the rural populations

alle popolazioni, le popolazioni rurali,

and the urban poor populations of this country.

e le popolazioni povere urbane di questo paese.

They don't have access to all the knowledge

Non hanno accesso alle conoscenze

to use the digital platforms

per utilizzare le piattaforme digitali

that all of us use every day without even thinking, right?

che tutti noi usiamo ogni giorno senza neanche pensarci, giusto?

But ...

Ma...

Here is a large

Qui c’è una grande

literate population that wants to work, right,

popolazione alfabetizzata che vuole lavorare, giusto,

and how can we make this possible for them?

e come possiamo renderlo possibile?

So Karya is one such way

Quindi Karya è uno dei modi

through which this population can get on to the digital world

con cui questa popolazione può raggiungere il mondo digitale

and, you know,

e, insomma,

through that find work and do tasks that can then earn them money.

con cui trovare lavoro e mansioni che facciano guadagnare dei soldi.

So we saw this and we thought, oh, this is wonderful.

Quindi nel vederlo abbiamo pensato, è meraviglioso.

We could probably use this for data collection as well.

Potremmo usarlo anche per la raccolta dati.

So we went to Amale,

Così siamo andati ad Amale,

which is a small village of 200 people

che è un piccolo villaggio di 200 persone

in the Wada district of Maharashtra

nel distretto di Wada di Maharashtra

and decided to use Karya to collect Marathi data.

e abbiamo usato Karya per raccogliere dati marathi.

Now, I know what you are thinking --

Ora, so cosa state pensando,

I'm sure a lot of Marathi speakers also in the audience --

Sono sicura che ci sono parlanti Marathi nel pubblico,

that Marathi is not a low-resource language.

che il marathi non è una lingua con poche risorse.

Marathi is definitely a mainstream language of the country.

Il marathi è una lingua tradizionale del paese.

But as far as language technology is concerned,

Ma per quanto riguarda la tecnologia linguistica,

Marathi is a low-resource language.

Il marathi è una lingua con poche risorse.

So we went to this village

Quindi siamo andati nel villaggio

and we had a very successful data-collection trip.

e abbiamo fatto un giro di raccolta dati di grande successo.

And, you know, this village is very remote.

E, insomma, questo villaggio è molto remoto.

They have no TV, they have no electricity,

Non hanno la TV, non hanno l’elettricità,

they have no mobile signal.

non hanno segnale mobile.

You have to climb a hill and wave your phone around

Devi scalare una collina e agitare il telefono

if you want to, you know, use your mobile to call anyone.

Se vuoi usare il cellulare e chiamare qualcuno.

So they gave us all this data.

Ci hanno dato tutti questi dati.

But more than that, they gave us very valuable lessons in life.

Ma soprattutto ci hanno dato preziose lezioni di vita.

One is this pride in one's own language.

Uno è l’orgoglio della propria lingua.

The people of Amale were thrilled to be doing this

La gente di Amale era entusiasta di partecipare

because they were advancing their own language by doing this.

perché stavano facendo avanzare la loro lingua.

The second was the value of community.

Il secondo è il valore della comunità.

Very quickly, this became a village community effort.

Molto rapidamente, questo divenne un impegno per la comunità del villaggio.

People would gather together in tasks and do this together as a group.

Le persone si riunivano per lavorare e lo facevano insieme come un gruppo.

And the third is the importance of storytelling.

E il terzo è l’importanza della narrazione.

People of Amale were so starved of content that in the morning, during the daytime,

La persone di Amale avevano così bisogno di contenuti che la mattina e in giornata

they would do recordings of stories in Karya

facevano registrazioni di storie a Karya

and then in the evening they would gather the entire village

e poi la sera radunano tutto il villaggio

and retell and recount these stories to the village.

e raccontare di nuovo queste storie a tutti.

So as scientists, we get so caught up

Quindi da scienziati, ci siamo fatti prendere

in the science and technology part of what we are doing, you know --

dalla scienza e della tecnologia di ciò che stiamo facendo,

which is the next best model to have,

qual è modello migliore da seguire,

how can we increase the accuracy of my system,

come possiamo aumentare la precisione del sistema,

how can I build the next best system there is --

come possiamo sviluppare il prossimo miglior sistema esistente

that we forget the reason why we are doing this: the people.

che dimentichiamo il motivo per cui lo stiamo facendo: le persone.

And any successful technology is the one that keeps the people and the users

E la tecnologia di successo è quella che mantiene le persone e gli utenti

up front and center.

in primo piano e al centro.

And when they start doing that,

E quando hanno iniziato a farlo,

we also realize that technology is probably a very small part of this

abbiamo anche capito che la tecnologia forse è una piccola parte

and there are other things in the story.

e ci sono altre cose nella storia.

Maybe there are social, cultural and policy interventions

Forse ci sono interventi sociali, culturali e politici

that are required, as much as technology.

che sono necessari, tanto quanto la tecnologia,

So some time back, I worked on a project called VideoKheti

Qualche tempo fa, ho lavorato ad un progetto chiamato Videokheti

that allowed Hindi-speaking farmers in Central India

che ha permesso agli agricoltori di lingua hindi nell’India centrale

to search for agricultural videos by speaking into a phone-based app.

di cercare video agricoli parlando ad un app sul telefono.

So we went to Madhya Pradesh to collect data for this,

Così siamo andati in Madhya Pradesh per raccogliere dati,

and we came back and we were training our models

siamo tornati e mentre controllavamo gli appunti

and we discovered we're getting very bad results.

e abbiamo scoperto che i risultati molto negativi.

This is not working.

Non aveva funzionato.

So we were very confused. Why is this happening?

Quindi eravamo confusi. Perché è successo?

So we looked deeper and deeper into the data

Abbiamo guardato meglio i dati

and discovered that, yes, we had collected data

e abbiamo scoperto che avevamo raccolto i dati

from what we thought was a very silent, quiet village in the evening.

in quello che pensavamo un villaggio molto silenzioso e tranquillo la sera.

But what we hadn't heard while we were doing this

Ma quello che non avevamo sentito mentre lo facevamo

was that there was this constant buzz of night insects, you know?

Era un ronzio costante di insetti notturni.

So throughout the recordings, we had this "bzz" of the insects,

Quindi nelle registrazioni, si sentiva questo “bzz” degli insetti,

which was actually distorting our speech.

che in realtà distorceva i discorsi.

The second thing was that when we went there

La seconda cosa è che quando siamo andati

to kind of test our app in the village,

per provare la nostra app nel villaggio,

I and my colleague Indrani Medhi,

Io e la mia collega Indrani Medhi,

who is a very well-regarded design researcher,

che è un ricercatore di design molto stimato,

we found that the women couldn't pronounce the sanskritized words

abbiamo scoperto che le donne non sanno pronunciare le parole sanscrite

that we had for some of the search terms.

che avevamo portato per alcuni dei termini di ricerca.

So, like ...

Quindi, tipo...

(speaks Hindi)

(parla in Hindi)

Which is like the term for chemical pesticides, right?

Che è l’espressione per pesticidi chimici, ok?

Because we got these terms from the agricultural extension center

Perché abbiamo sentito queste parole al centro di estensione agricola

and the women, even though they are farming,

e le donne, anche se si lavorano la terra,

do not interact with that center at all.

non interagisca affatto con quel centro.

The men do, the women probably use something much simpler, like ...

Gli uomini sì, le donne probabilmente usano qualcosa di più semplice, come...

(speaks Hindi)

(parla in Hindi)

Which basically means killing pests with medicine.

Il che significa uccidere i parassiti con la medicina.

So what I have learned through my journey

Quindi quello che ho imparato con il mio viaggio

and what I would like to put across to you --

e quello che vorrei trasmettervi,

by now, I hope you've understood me,

ma spero che lo abbiate già capito,

is that there is the majority of the world's languages

è che la maggior parte delle lingue del mondo

that require intensive investment for resource creation

richiede investimenti intensivi per la creazione di risorse

if they are to benefit from language technology.

se deve beneficiare della tecnologia linguistica.

And this is unlikely to happen in a very fast and efficient manner.

E questo è difficile che accada in modo molto veloce ed efficiente.

So it is extremely important for us to ensure

Dunque è estremamente importante per noi garantire

that the community derives maximum benefit

che la comunità tragga il beneficio

from whatever that we are doing in the language tech area.

da qualsiasi cosa stiamo facendo nel campo della tecnologia linguistica.

And to do this and deliver a positive social impact

E per fare questo e produrre un impatto sociale positivo

on these communities,

per queste comunità,

we follow what we call the modified 4-D design thinking methodology.

Seguiamo quella che chiamiamo una variante della metodologia di design thinking 4D.

So the 4-D means: discover, design, develop and deploy.

Quindi, le 4 D sono: scoprire, progettare, sviluppare e distribuire.

So discover the problem that language technology can solve

Scoprire il problema che la tecnologia linguistica può risolvere

for a particular language community.

per una specifica comunità linguistica.

This observation-led approach can help allocate resources

L’approccio basato sull’osservazione aiuta ad allocare le risorse

where they are most needed,

dove ce n’è più bisogno,

designed for the users and their language,

progettato per gli utenti e la loro lingua,

understand the diversity in the linguistic properties

comprendere la diversità delle proprietà linguistiche

and the languages of the world.

e delle lingue del mondo.

And don't think, oh, this is made for English.

E non pensate: oh, questo è fatto per l’inglese.

Now, how can we just adapt it for Marathi or for Gondi, right?

Ma: come possiamo adattarlo per Marathi o per Gondi, va bene?

Develop rapidly and deploy frequently.

Sviluppare rapidamente e distribuire frequentemente.

It's an iterative process that will help you fail fast

È un processo iterativo che ti farà fallire velocemente

and early failures will eventually lead to success.

e i primi fallimenti alla fine porteranno al successo.

The important thing is to persevere.

La cosa importante è perseverare.

Do not give up.

Non arrendersi.

And I remember the story of these two Aborigine Australian women,

E ricordo la storia di due donne australiane,

Patricia O'Connor and Ysola Best.

Patricia O’Connor e Ysola Best.

In the mid-90s, they went to the University of Queensland

A metà degli anni ’90, sono andate all’Università del Queensland

and they wanted to learn their own language, called Yugambeh,

e volevano imparare la loro lingua, chiamata Yugambeh,

and they were told very bluntly, "Your language is dead.

E fu detto loro bruscamente: “La vostra lingua è morta.

It's been dead for three decades.

È morta da trent’anni.

You cannot work on this. Find something else to work on."

Non puoi lavorarci. Trovate qualcos’altro su cui lavorare.”

They did not give up.

Non si sono arrese.

They went to the community,

Sono andate dalla comunità,

they dug up oral memories, oral traditions, oral literature,

hanno dissotterrato ricordi orali, tradizioni orali, letteratura orale,

and founded the Yugambeh Museum,

e hanno fondato il Museo Yugambeh,

which became the most important cultural and linguistic center for the language

che è diventato il più importante centro culturale e linguistico per la lingua

and its community.

e la sua comunità.

They did not have technology. They only had their willpower.

Non avevano la tecnologia. Avevano solo la loro forza di volontà.

Now, with the power of technology,

Ora, con il potere della tecnologia,

we can ensure that the next page is written in Salmi from Finland,

possiamo far sì che la prossima pagina sia scritta in Salmi dalla Finlandia,

Lillooet from Canada or Mundari from India.

in Lillooet dal Canada o in Mundari dall’India.

Thank you.

Grazie.