Kalika Bali: The giant leaps in language technology -- and who's left behind | TED

Transcriber:

Översättare: Daniel Lindoff Granskare: Lisbeth Pekkari

Jag heter Kalika Bali och jag är utbildad lingvist

och teknolog till yrket.

Jag har arbetat inom den akademiska världen, i startups,

I'm Kalika Bali, I'm a linguist by training

i små företag och multinationella företag i över två decennier.

and a technologist by profession,

Med forskning och med att bygga språkteknologiska system.

I have worked in academia,

in startups, in small companies and multinationals for over two decades,

Min dröm är att se tekniken fungera över språkbarriärer.

doing research in and building language technology systems.

Som forskare på “Microsoft Research Labs India”

arbetar jag med språkteknologi

My dream is to see technology work across the language barrier.

och talteknologi.

As a researcher at Microsoft Research Labs India

Och jag oroar mig för hur vi ska kunna göra tekniken tillgänglig

I work in the field of language technology and speech technology.

för människor över språkbarriärer.

Oavsett vilket språk de talar.

And I worry about how can we make technology accessible

Så, den naturliga processen av språk,

artificiell intelligens, språkteknologi.

to people across the board,

Det är stora begrepp och de är modeord just nu.

you know, irrespective of the language that they speak.

Alla pratar om NLP ”natural language processing”. Vad är det egentligen?

So natural language processing,

artificial intelligence, speech technology,

these are very big words, they are buzzwords right now.

Väldigt enkelt uttryckt

så är detta en gren inom datavetenskapen där man

Everybody is talking about what exactly is NLP or natural language processing.

utvecklar maskiner som bearbetar,

förstår och genererar språk.

So in very simple terms,

this is the part of computer science engineering

Språket som människor talar.

that makes machines process,

När du interagerar med en bot som försöker boka dina tågbiljetter

understand and generate natural language,

eller flygbiljetter.

which is the language that humans speak.

När du pratar med en röstbaserad digital assistent över telefon.

When you are interacting with a bot trying to book your train tickets

Då är det datorlingvistik som

ligger till grund för hela teknologin som gör det möjligt.

or flight tickets,

when you are speaking to a voice-based digital assistant in your phone,

Men hur fungerar det? Hur fungerar NLP?

it's natural language processing

På en grundläggande nivå rör det sig om information.

that underpins the entire technology that makes that work.

But how does this work?

Så...

How does NLP work?

enorma mängder av information om hur människor faktiskt använder språk.

In a very, very basic way,

it's about data.

Som sedan bearbetas av särskilda algoritmer och teknik

So a huge amount of data of how actually humans use language

som gör att maskiner lär sig mönstren

is then processed by certain algorithms and techniques

i människors naturliga språk.

Nuförtiden är ett annat hett ämne som

that make the machines learn the patterns

man hör mycket om, djupa neurala nätverk.

of natural language of humans, right?

Och det är den avancerade vetenskapen

som datorlingvistik byggs på och som är aktuell just nu.

These days, another buzzword that you hear a lot about is deep neural networks.

Och jag låter bli att gå in i detalj hur det fungerar.

And these are the advanced techniques

Men något som du verkligen måste förstå och ha i åtanke är

that underpin a lot of the NLP stuff that happens right now.

att allt detta kräver oerhörda mängder av information

And I will not go into the details of how that works,

but the thing that you really have to understand and keep in mind

om det naturligt talade språket.

Om du vill ha ett språkteknologiskt system

is that all of this requires a humungous amount of data,

som kan konversera på gujarati,

så är det första du behöver

natural language data.

en massa information om gujaratier som pratar med varandra

If you want a speech system to converse with you in Gujarati,

på sitt eget språk.

the first thing you require

is a lot of data of Gujarati people speaking to each other

Så 2017 kom Microsoft med ett tal- igenkänningssystem som kunde

transkribera tal till text, bättre än en människa kunde.

in their own language.

So 2017, Microsoft came up with a speech recognition system

Och detta system baserades på

which was able to transcribe speech into text

200 miljoner transkriberade ord.

Och 2018 kunde ett engelskt- kinesiskt program för översättning,

better than a human did.

And this system was trained

översätta från engelska till kinesiska

on 200 million transcribed words.

lika bra som en tvåspråkig kunde.

In 2018, an English-Chinese machine translation system

Och detta grundades på 18 miljoner tvåspråkiga meningspar.

was able to translate from English to Chinese

as well as any human bilingual could.

Detta är en väldigt, väldigt spännande tid inom datorlingvistiken och i

And this was trained on 18 million bilingual sentence pairs.

teknologin som sådan.

Ni förstår, idag ser vi science fiction som vi tidigare bara läst om eller sett

This is a very, very exciting time in natural language processing

liksom bli verklighet framför våra egna ögon.

and in technology as such.

Vi tar nu gigantiska kliv i teknologisk utveckling.

You know, we are seeing science fiction, which we had read about and watched,

Men dessa gigantiska kliv är begränsade till väldigt få språk.

kind of come true in front of our own eyes.

We are making giant leaps in technical advancement.

Monojit Choudhury, som är en mycket god vän till mig

But these giant leaps are limited to very few languages.

och kollega,

han har studerat detta i detalj.

Och han har tittat på fördelningen av resurser sett till alla språk i världen.

So Monojit Choudhury,

who's like a very good friend of mine

and a colleague,

Och han säger att dessa följer vad som kallas lagen om maktfördelning.

he has studied this in some detail

and he has looked at resource distribution across languages in the world.

Vilket i huvudsak betyder att det finns fyra språk;

arabiska, kinesiska, engelska och spanska.

And he says that these follow what is called a power-law distribution,

De har den största mängden tillgängliga resurser.

which essentially means that there are four languages,

Det finns ytterligare en handfull språk som också får en fördel av de

Arabic, Chinese, English and Spanish,

which have the maximum amount of resources available.

resurser och den teknologin som finns tillgänglig just nu.

There are another handful of languages which can also benefit from, you know,

Men...

90 procent av världens språk har inga resurser

the resources and the technology that's available right now.

eller väldigt små resurser tillgängliga.

But there are 90 percent of the world's languages

Denna revolution som vi talar om

har i princip kringgått 5 000 språk i världen.

which have no resources

or very little resources available.

Det betyder att språk som har gott om resurser

This revolution that we are talking about

får den teknologiska utvecklingen

has essentially bypassed 5,000 languages of the world.

och attraherar forskare och ingenjörer.

De utvecklar mer teknik åt dem. Det skapar i sin tur mer resurser.

Now, what this means is that resource-rich languages

have technologies built for them,

Så det skapar en sorts spiral där rik blir rikare.

so researchers and technologists get attracted towards them.

Och de resursfattiga språken förblir fattiga.

They build more technologies for them. They create more resources.

De utvecklas inte. Ingen arbetar för dem.

Och denna digitala klyfta mellan språken

So it's like a rich getting richer kind of a cycle.

And the resource-poor languages stay poor,

expanderar ständigt samtidigt som klyftan mellan samhällena

there's no technology for them, nobody works for them.

And this divide, digital divide between languages

som talar dessa språk, expanderar.

is ever-expanding

and by implication also the divide between the communities

Så hos Microsoft, i projektet Ellora, strävar vi efter att överbrygga klyftan.

that speak these languages is expanding.

Vi försöker se hur vi kan skapa mer information med innovativa metoder.

So in Microsoft, in Project Ellora, we aim to bridge this gap.

Använda annan teknologi eller

skapa ny teknologi utan att ha tillgång till så mycket resurser.

We are trying to see how can we create more data by innovative methods,

Och se var dessa applikationer verkligen kan gynna dessa samhällen.

have more techniques to build technology without having a lot of resources,

Så just nu kan detta upplevas vara väldigt teoretiskt.

and what are the applications that can truly benefit these communities.

Vad betyder det egentligen? Data, teknologisk utveckling.

Så låt mig ge dig några väldigt konkreta exempel här.

So at the moment, this might seem very theoretical,

I mitt hjärta är jag lingvist och

like what is he talking about, data and techniques and technology.

jag älskar språk och det är det jag älskar att prata om.

So let me give you a very concrete example here.

Så låt mig berätta om ett språk som många av er kanske inte känner till.

I'm a linguist at heart, I love languages, and that's what I love talking about.

Gondi.

Gondi är ett dravidiskt språk talat i den centrala södern.

So let me tell you about a language that many of you might not know about.

Det talas av tre miljoner människor fördelat på fem delstater i Indien.

Gondi.

Och för att sätta detta i något slags perspektiv så

Gondi is a South-Central Dravidian language.

talas norska av fem miljoner människor.

It is spoken by three million people in five states of India.

Och walesiska av knappt en miljon.

And to put this in some kind of perspective,

Så gondi är faktiskt ett ganska robust språk i ett ganska stort samhälle,

Norwegian is spoken by five million people

and Welsh by a little under a million.

hos Gond-stammen i Indien.

So Gondi is actually a pretty robust and pretty large community

Men i UNESCO:s “Atlas of Languages in Danger”,

så har gondi statusen “sårbar”.

of the Gond tribals in India.

But by UNESCO's Atlas of Languages in Danger,

Den oberoende organisationen CGNet Swara bidrar med en portal för

Gondi is designated vulnerable status.

medborgarjournalism i Gond-samhället

genom att sprida lokala nyheter som blir tillgängliga i deras mobiltelefoner.

CGNet Swara is an NGO that provides a citizen journalism portal

Det finns absolut ingen teknisk support på gondi.

for the Gond community

Det finns ingen tillgänglig information om gondi.

by making local stories accessible through mobile phones.

Det finns inga resurser tillgängliga för gondi.

There's absolutely no tech support for Gondi.

Så allt innehåll som skapas, modereras eller redigeras, görs manuellt.

There is no data available for Gondi, no resources available for Gondi.

I Ellora-projektet förde vi samman alla intressenter.

So all content that is created, moderated and edited is done manually.

Så som CGNet Swara och

akademiska instutioner så som IIIT Naya Raipur,

Now, under Project Ellora,

what we did was that we brought together all the stakeholders,

icke vinstdrivande barnboksförlag som Pratham Books.

an NGOs like CGNet Swara,

Och viktigast av allt, samhällets språkrör.

and academic institutions, like IIIT Naya Raipur,

Gond-stammen själva deltog i denna aktivitet

a not-for-profit children's book publisher,

like Pratham Books,

och för första gången redigerade och översatte de barnböcker till gondi.

and most importantly, the speakers of the community.

The Gond tribals themselves participated in this activity

Vi kunde för första gången publicera 200 böcker i språket gondi.

and for the first time edited and translated children’s books in Gondi.

Så att barnen hade tillgång till berättelser och böcker på deras språk.

We were able to put out 200 books for the very first time in Gondi,

En annan utveckling av detta var Adivasi Radio.

Det var en app som vi byggde och utvecklade hos Microsoft Research.

so that the children had access to stories and books in their own language.

Som vi sedan erbjöd tillsammans med våra intressenter.

Another extension of this was Adivasi Radio,

which was like an app that we built and developed in Microsoft Research,

Appen tar ett text till talsystem på hindi

and then put out there, along with our stakeholders,

och låter appen läsa upp nyheter och artiklar från CGNet Swara

which takes a Hindi text-to-speech system

på gondi.

and allows it to read out news and articles provided by CGNet Swara

Nu kan användaren använda appen för att läsa,

se nyheter och få tillgång till all information

in Gondi language.

genom text och röst på sitt eget språk.

Users can now use this app to read,

Något väldigt intressant är att appen nu används till att översätta.

watch news and access any information

Den används av samhället för att översätta text från hindi till gondi.

through text and voice in their own language.

A very interesting thing is that this app is now being used to translate --

Det kommer att resultera i en stor mängd av parallell information.

Vi menar parallell information som

by the community to translate text from Hindi to Gondi.

kommer låta oss utveckla system för maskinöversättning på gondi.

Vilket verkligen öppnar upp ett fönster för Gond-samhället mot resten av världen.

Now, what that will result in is a lot of parallel data,

that we call parallel data,

that will allow us to build machine translation systems for Gondi,

Och vad som är ännu viktigare, är att nu vet vi hur vi ska göra det.

which will truly open up a window for the Gond community to the world.

Vi har tillvägagångssättet och kan upprepa det för vilket språk som helst

And what is even more important is now we know how to do this.

och vilka folkgrupper som helst

som är i en liknande situation som Gond-stammen.

We have the entire pipeline and we can replicate this for any language

Så utbildning, och tillgång till information, ja visst.

and any language community

which is in a similar situation as the Gond tribals.

Men...

vad med att tjäna till sitt uppehälle?

Also education -- yes, you know, information access -- yes,

Hur kan vi låta dessa människor tjäna sitt uppehälle

genom de digitala verktyg som vi alla idag tar för givet?

but what about earning a living?

Right? What about -- how can we make these people earn a living

Vivek Seshadri som är en annan forskare vid MSR

och hans medarbetare Manu Chopra

through the digital tools that all of us just take for granted these days?

har skapat en plattform som heter Karya.

För att erbjuda digitala mikro- uppgifter till missgynnade samhällen.

Vivek Seshadri, who's another researcher at MSR,

and his collaborator, Manu Chopra,

Hans mål var att hitta ett sätt att erbjuda ett en väg till värdigt arbete

they've designed a platform called Karya

for providing digital microtasks to the underserved communities.

för folk på landsbygden och fattig befolkning i städerna.

His aim was basically to find a way to provide a means of dignified labor

De har varken tillgång till eller

kunskap för att använda sig av de digitala plattformarna som

to the populations, the rural populations

and the urban poor populations of this country.

vi alla använder varje dag, utan att vi tänker på hur vi gör.

They don't have access to all the knowledge

Men...

to use the digital platforms

här är en stor...

that all of us use every day without even thinking, right?

läskunnig befolkning som vill arbeta.

But ...

Hur ska vi då göra det möjligt för dem?

Here is a large

Så, Karya är ett sådant sätt

literate population that wants to work, right,

för den här gruppen att komma in i den digitala världen.

and how can we make this possible for them?

Och på så sätt

So Karya is one such way

hitta arbete och göra uppgifter som de sedan kan tjäna pengar på.

through which this population can get on to the digital world

Så vi såg detta och tänkte: Det här är underbart,

and, you know,

vi kan förmodligen samla information samtidigt.

through that find work and do tasks that can then earn them money.

Så vi åkte till Amale.

Det är en liten by med 200 boende i Wada-distriktet i Maharashtra.

So we saw this and we thought, oh, this is wonderful.

We could probably use this for data collection as well.

Där använde vi Karya för att samla information om marathi.

So we went to Amale,

which is a small village of 200 people

Nu vet jag vad ni tänker och där är säkert en del av er i publiken som

talar marahati.

in the Wada district of Maharashtra

Att marathi inte är ett resursfattigt språk

and decided to use Karya to collect Marathi data.

Marathi är definitivt ett vanligt språk i landet.

Now, I know what you are thinking --

I'm sure a lot of Marathi speakers also in the audience --

Men sett till språkteknologi så är

that Marathi is not a low-resource language.

marathi ett resursfattigt språk.

Marathi is definitely a mainstream language of the country.

Så vi åkte till den här byn och vi var väldigt framgångsrika

But as far as language technology is concerned,

i att samla information.

Marathi is a low-resource language.

Och den här byn är...

So we went to this village

väldigt avlägsen.

De har ingen TV. De har ingen elektricitet.

and we had a very successful data-collection trip.

De har ingen...

And, you know, this village is very remote.

mobilsignal. Du måste klättra upp för en kulle och vifta med din telefon

They have no TV, they have no electricity,

om du vill använda den för att ringa någon.

they have no mobile signal.

Så vi fick all denna information.

You have to climb a hill and wave your phone around

Men de gav oss också väldigt värdefulla insikter om livet.

if you want to, you know, use your mobile to call anyone.

En insikt är värdet man lägger i ens egna språk.

So they gave us all this data.

Folket i Amale var glada över att få vara med om detta

But more than that, they gave us very valuable lessons in life.

därför att de lyfte deras egna språk.

One is this pride in one's own language.

Genom att själv bidra.

Det andra var värdet i gemenskapen.

The people of Amale were thrilled to be doing this

because they were advancing their own language by doing this.

Väldigt snabbt blev detta en gemensam insats i byn.

Människor drogs till varandra i uppgifter och utförde dem tillsammans.

The second was the value of community.

Very quickly, this became a village community effort.

Och den tredje insikten är vikten av berättande.

People would gather together in tasks and do this together as a group.

Människor i Amale var så svultna på innehåll att man under morgonen

And the third is the importance of storytelling.

gjorde inspelningar av ett antal berättelser med Karya.

People of Amale were so starved of content that in the morning, during the daytime,

Sedan på kvällen samlades hela byn

för att återberätta och uppleva dessa berättelser.

they would do recordings of stories in Karya

Tillsammans i byn.

and then in the evening they would gather the entire village

Som forskare så fastnar vi så lätt i

vetenskapen och tekniken i det vi gör.

and retell and recount these stories to the village.

Vilken är nästa bästa modell?

So as scientists, we get so caught up

Hur kan vi öka noggrannheten i mitt system? Hur kan jag...

in the science and technology part of what we are doing, you know --

skapa det absolut bästa systemet som finns?

which is the next best model to have,

Vi glömmer bort varför vi gör detta.

how can we increase the accuracy of my system,

För folket.

how can I build the next best system there is --

Och all framgångsrik teknik är den som håller folket och användaren

that we forget the reason why we are doing this: the people.

i centrum.

And any successful technology is the one that keeps the people and the users

Och när de använder tekniken

inser vi också att tekniken bara är en väldigt liten del av detta.

Att det finns andra aspekter i denna historia.

up front and center.

Kanske där finns sociala, kulturella och politiska åtgärder

And when they start doing that,

we also realize that technology is probably a very small part of this

som är lika nödvändiga som själva teknologin.

and there are other things in the story.

Så för en tid sedan när jag arbetade med projektet VideoKheti

Maybe there are social, cultural and policy interventions

som skulle låta hinditalande bönder i centrala Indien att

that are required, as much as technology.

leta efter videor om jordbruk genom att tala till en mobilapp.

So some time back, I worked on a project called VideoKheti

that allowed Hindi-speaking farmers in Central India

Då åkte vi till Madhya Pradesh för att samla information.

to search for agricultural videos by speaking into a phone-based app.

Väl tillbaka för att arbeta med våra modeller upptäckte vi

att vi fått väldigt dåliga resultat. Det fungerade inte.

So we went to Madhya Pradesh to collect data for this,

Vi var väldigt förbryllade. Varför blev det så här? Så vi tittade djupare i

and we came back and we were training our models

vår information och upptäckte att vi hade samlat information från

and we discovered we're getting very bad results.

This is not working.

vad vi trodde var en väldigt tyst och lugn by, på kvällen.

So we were very confused. Why is this happening?

So we looked deeper and deeper into the data

Men vad vi inte hört när vi gjort detta var

and discovered that, yes, we had collected data

from what we thought was a very silent, quiet village in the evening.

att det fanns ett konstant surrande från nattinsekter!

Så genomgående i inspelningarna hade vi det surrande ljudet av insekter

But what we hadn't heard while we were doing this

was that there was this constant buzz of night insects, you know?

som faktiskt förvrängde vårt språk.

Den andra saken vi upptäckte var när vi åkte till byn för att..

So throughout the recordings, we had this "bzz" of the insects,

testa vår app i byn, jag och min kollega Indrani Medhi

which was actually distorting our speech.

The second thing was that when we went there

som är en väldigt ansedd forskare.

to kind of test our app in the village,

Vi såg att kvinnorna inte kunde uttala de termer som vi angett på sanskrit

I and my colleague Indrani Medhi,

who is a very well-regarded design researcher,

som några av söktermerna.

Så som...

we found that the women couldn't pronounce the sanskritized words

( talar hindi )

that we had for some of the search terms.

Vilket är termen för kemiska bekämpningsmedel.

So, like ...

Vi fick dessa termer från jordbrukscentret,

(speaks Hindi)

Which is like the term for chemical pesticides, right?

och även om kvinnorna är jordbrukare så

interagerar de inte alls med centret.

Because we got these terms from the agricultural extension center

Männen använder termerna och kvinnorna använder förmodligen något enklare, som:

and the women, even though they are farming,

(talar hindi)

Vilket i princip betyder “dödar skadedjur med medicin”.

do not interact with that center at all.

The men do, the women probably use something much simpler, like ...

Så vad jag lärt mig på denna resa

(speaks Hindi)

och som jag vill förmedla till er,

Which basically means killing pests with medicine.

vilket jag hoppas att ni har förstått, är att...

So what I have learned through my journey

majoriteten av världens språk kräver intensiva investeringar

and what I would like to put across to you --

för att skapa resurser om de ska dra nytta av språkteknologi.

by now, I hope you've understood me,

is that there is the majority of the world's languages

Och det är osannolikt att det ska ske på ett snabbt och effektivt sätt.

that require intensive investment for resource creation

if they are to benefit from language technology.

Så det är oerhört viktigt för oss att säkerställa

And this is unlikely to happen in a very fast and efficient manner.

att samhällen får maximal nytta

av det vi gör inom språkvetenskap.

So it is extremely important for us to ensure

that the community derives maximum benefit

Och för att göra det och leverera en positiv social påverkan

på dessa samhällen,

from whatever that we are doing in the language tech area.

följer vi det vi kallar för modifierad “4-D design thinking methodology”.

And to do this and deliver a positive social impact

Vad 4-D betyder är att upptäcka, skapa, utveckla och tillämpa.

on these communities,

we follow what we call the modified 4-D design thinking methodology.

Alltså att upptäcka problemet som språkvetenskapen kan lösa

So the 4-D means: discover, design, develop and deploy.

för ett visst språk och de som talar det.

Denna observationsbaserade strategi kan hjälpa att fördela resurser

So discover the problem that language technology can solve

dit de behövs mest,

till nytta för användarna och deras språk.

for a particular language community.

För att förstå mångfalden i språkens egenskaper

This observation-led approach can help allocate resources

bland världens språk.

where they are most needed,

designed for the users and their language,

Och tro inte att det här bara är gjort för engelska.

Hur kan vi nu anpassa detta för marathi eller gondi?

understand the diversity in the linguistic properties

and the languages of the world.

Med en snabb utveckling och frekvent tillämpning.

And don't think, oh, this is made for English.

Det är en iterativ process som hjälper dig att misslyckas snabbt

Now, how can we just adapt it for Marathi or for Gondi, right?

och tidiga misslyckande leder så småningom till framgång.

Develop rapidly and deploy frequently.

Det är viktigt att hålla ut och att inte ge upp.

It's an iterative process that will help you fail fast

Jag minns historien om två aboriginkvinnor i Australien,

and early failures will eventually lead to success.

The important thing is to persevere.

Patricia O’Conner och Ysola Best.

Do not give up.

And I remember the story of these two Aborigine Australian women,

I mitten av 90- talet gick de till University of Queensland och

Patricia O'Connor and Ysola Best.

ville studera sitt eget språk, yugambeh.

De fick ett bryskt besked:

In the mid-90s, they went to the University of Queensland

“Ert språk är utdött, det har det varit i tre decennier.

Ni kan inte arbeta med detta. Hitta något annat att arbeta med.”

and they wanted to learn their own language, called Yugambeh,

De gav inte upp.

and they were told very bluntly, "Your language is dead.

De gick till samhället.

It's been dead for three decades.

De grävde upp muntliga minnen, muntliga traditioner, muntlig litteratur,

You cannot work on this. Find something else to work on."

och grundade Yugambeh Museum

They did not give up.

They went to the community,

they dug up oral memories, oral traditions, oral literature,

som blev det viktigaste kulturella och språkvetenskapliga centret

för språket och dess samhälle.

and founded the Yugambeh Museum,

De hade ingen teknik.

which became the most important cultural and linguistic center for the language

De hade bara sin viljestyrka.

Nu, med teknikens kraft

kan vi försäkra oss att nästa sida är skriven på samiska från Finland,

and its community.

They did not have technology. They only had their willpower.

Now, with the power of technology,

lillooet från Kanada eller mundari från Indien.

we can ensure that the next page is written in Salmi from Finland,

Tack ska ni ha.

Lillooet from Canada or Mundari from India.

Thank you.