Kalika Bali: The giant leaps in language technology -- and who's left behind | TED

Transcriber:

Translator: Ragnhild Skarland Reviewer: Thomas Bedin

Jeg heter Kalika Bali. Jeg er utdannet lingvist

og jobber som tekniker.

Jeg har jobbet i akademia,

i oppstart av små og multinasjonale bedrifter i over to tiår,

I'm Kalika Bali, I'm a linguist by training

and a technologist by profession,

forsket på, og bygget system innen språkteknologi.

I have worked in academia,

in startups, in small companies and multinationals for over two decades,

Min drøm er å se teknologi som fungerer på tvers av språkbarrierer.

doing research in and building language technology systems.

Som en forsker ved Microsoft Research Labs i India

jobber jeg med språkteknologi og taleteknologi,

My dream is to see technology work across the language barrier.

As a researcher at Microsoft Research Labs India

og jeg bekymrer meg for hvordan vi kan gjøre teknologi tilgjengelig

I work in the field of language technology and speech technology.

til alle mennesker

uansett hvilket språk de snakker.

And I worry about how can we make technology accessible

Naturlig språk- tilpasning,

kunstig intelligens, taleteknologi,

to people across the board,

er store ord, de er moteord akkurat nå.

you know, irrespective of the language that they speak.

Alle snakker om hva naturlig språkprosessering, NLP, faktisk er.

So natural language processing,

artificial intelligence, speech technology,

these are very big words, they are buzzwords right now.

Forklart veldig enkelt,

det er den delen av informatikkteknikk

Everybody is talking about what exactly is NLP or natural language processing.

som får maskinen til å prosessere,

forstå og generere naturlig språk,

So in very simple terms,

this is the part of computer science engineering

som er det språket som mennesker snakker.

that makes machines process,

Når du samhandler med en bot mens du bestiller togbilletter

understand and generate natural language,

eller flybilletter,

which is the language that humans speak.

når du snakker til en stemmestyrt digital assistent i telefonen,

When you are interacting with a bot trying to book your train tickets

er det naturlig språkprosessering

som understøtter teknologien som gjør at det virker.

or flight tickets,

when you are speaking to a voice-based digital assistant in your phone,

Men hvordan virker det?

Hvordan virker NLP?

it's natural language processing

Sagt på en veldig enkel måte,

that underpins the entire technology that makes that work.

det handler om data.

But how does this work?

En stor mengde data om hvordan mennesker faktisk bruker språket

How does NLP work?

In a very, very basic way,

it's about data.

blir prosessert av spesielle algoritmer og teknikker

So a huge amount of data of how actually humans use language

som gjør at maskinen lærer mønstre

is then processed by certain algorithms and techniques

for naturlig menneskelig språk, ikke sant?

I dag er nevrale nettverk et annet moteord du hører mye om.

that make the machines learn the patterns

of natural language of humans, right?

Dette er avanserte teknikker

som understøtter mye av NLP-tingene som skjer nå.

These days, another buzzword that you hear a lot about is deep neural networks.

Jeg skal ikke gå i detalj på hvordan det fungerer,

And these are the advanced techniques

men det du virkelig må forstå og huske på

that underpin a lot of the NLP stuff that happens right now.

er at alt dette krever enorme mengder data,

And I will not go into the details of how that works,

but the thing that you really have to understand and keep in mind

naturlig språkdata.

Hvis du vil ha et talesystem til å snakke med deg på gujarati

is that all of this requires a humungous amount of data,

er det første du trenger

natural language data.

en stor mengde data fra gujarati- mennesker som snakker med hverandre

If you want a speech system to converse with you in Gujarati,

på sitt eget språk.

the first thing you require

is a lot of data of Gujarati people speaking to each other

I 2017 kom Microsoft med et talegjenkjennings-system

som kunne transkribere tale til tekst

in their own language.

So 2017, Microsoft came up with a speech recognition system

bedre enn et menneske.

Dette systemet ble trenet

which was able to transcribe speech into text

på 200 millioner transkriberte ord.

I 2018, ble et engelsk-kinesisk maskinoversettelses-system

better than a human did.

And this system was trained

i stand til å oversette fra engelsk til kinesisk

on 200 million transcribed words.

like godt som et hvert tospråklig menneske

In 2018, an English-Chinese machine translation system

Dette ble innøvd med 18 millioner tospråklige setningspar.

was able to translate from English to Chinese

as well as any human bilingual could.

Vi er i en veldig spennende tid for naturlig språkprosessering

And this was trained on 18 million bilingual sentence pairs.

og for slik teknologi.

Du vet, vi ser science fiction, som vi har lest om og sett

This is a very, very exciting time in natural language processing

blir sannhet rett foran øynene våre.

and in technology as such.

Vi gjør store hopp i teknologisk framgang,

You know, we are seeing science fiction, which we had read about and watched,

men disse store hoppene er begrenset til svært få språk.

kind of come true in front of our own eyes.

We are making giant leaps in technical advancement.

Monojit Chouhury,

som er en svært god venn av meg

But these giant leaps are limited to very few languages.

og en kollega,

har studert dette i detalj,

og han har sett på fordelingen av ressurser mellom språk i verden.

So Monojit Choudhury,

who's like a very good friend of mine

and a colleague,

Han sier at ressursene følger det som kalles en maktfordeling,

he has studied this in some detail

and he has looked at resource distribution across languages in the world.

som egentlig betyr at det er fire språk,

arabisk, kinesisk, engelsk og spansk

And he says that these follow what is called a power-law distribution,

som har en maksimum andel av ressurser tilgjengelig.

which essentially means that there are four languages,

Det finnes en håndfull flere språk som kan nyttiggjøre seg

Arabic, Chinese, English and Spanish,

which have the maximum amount of resources available.

ressursene og teknologien som er tilgjengelig nå.

There are another handful of languages which can also benefit from, you know,

Men, det er 90 prosent av verdens språk

the resources and the technology that's available right now.

som ikke har noen ressurser,

eller svært lite ressurser, tilgjengelig.

But there are 90 percent of the world's languages

Denne revolusjonen som vi snakker om

har i bunn og grunn passert forbi 5000 språk i verden.

which have no resources

or very little resources available.

Det dette betyr er at ressursrike språk

This revolution that we are talking about

har teknologi bygd for dem,

has essentially bypassed 5,000 languages of the world.

så forskere og teknikere trekkes mot disse.

De bygger mer teknologi for dem. De skaper mer ressurser.

Now, what this means is that resource-rich languages

have technologies built for them,

Det er som “en riking som blir rikere- sirkel” på en måte,

so researchers and technologists get attracted towards them.

og de ressurs-fattige språkene forblir fattige.

They build more technologies for them. They create more resources.

Det er ikke teknologi og jobber for dem.

So it's like a rich getting richer kind of a cycle.

Dette skillet, det digitale skillet mellom språk,

And the resource-poor languages stay poor,

fortsetter og utvides

og impliserer også at skillet mellom samfunn

there's no technology for them, nobody works for them.

And this divide, digital divide between languages

som snakker disse språkene øker.

is ever-expanding

and by implication also the divide between the communities

I Microsoft, i prosjekt Ellora, er målet å tette gapet.

that speak these languages is expanding.

Vi prøver å se på hvordan vi kan skape mer data gjennom innovative metoder,

So in Microsoft, in Project Ellora, we aim to bridge this gap.

ha flere teknikker for å bygge teknologi uten mye ressurser,

We are trying to see how can we create more data by innovative methods,

og se på hvilke applikasjoner som virkelig kan vær nyttige.

have more techniques to build technology without having a lot of resources,

For øyeblikket kan dette virke teoretisk

and what are the applications that can truly benefit these communities.

som hva snakker han om, data og teknikk og teknologi.

la meg gi deg et konkret eksempel her.

So at the moment, this might seem very theoretical,

Jeg er lingvist i hjertet, jeg elsker språk, og elsker å snakke om det.

like what is he talking about, data and techniques and technology.

So let me give you a very concrete example here.

La meg fortelle deg om et språk du kanskje kjenner til.

I'm a linguist at heart, I love languages, and that's what I love talking about.

Gondi.

Gondi er et sør-asiatisk dravidian språk.

So let me tell you about a language that many of you might not know about.

Det snakkes av tre millioner i fem stater i India.

Gondi.

For å sette dette i et slags perspektiv,

Gondi is a South-Central Dravidian language.

norsk snakkes av fem millioner

It is spoken by three million people in five states of India.

og walisisk av litt under en million.

And to put this in some kind of perspective,

Gondi er et ganske robust og ganske stort samfunn

Norwegian is spoken by five million people

and Welsh by a little under a million.

av gondistammer i India.

So Gondi is actually a pretty robust and pretty large community

Men, UNESCOs Atlas over truede språk,

viser gondis sårbare status.

of the Gond tribals in India.

But by UNESCO's Atlas of Languages in Danger,

CGNet Swara er en NGO, en ikke-statlig organisasjon, som står bak en nyhetsportal

Gondi is designated vulnerable status.

for gondsamfunnet

ved å gjøre lokalt stoff tilgjengelig gjennom mobiltelefoner.

CGNet Swara is an NGO that provides a citizen journalism portal

Det finnes absolutt ingen teknologisk support for gondi.

for the Gond community

Det finnes ikke tilgjengelige data, og ikke tilgjengelige ressurser for gondi.

by making local stories accessible through mobile phones.

There's absolutely no tech support for Gondi.

Alt innhold som skapes, er produsert manuelt.

There is no data available for Gondi, no resources available for Gondi.

Nå, under prosjekt Ellora,

har vi samlet alle interessenter

So all content that is created, moderated and edited is done manually.

en NGO som CGNet Swara,

og akademiske institusjoner som IIIT Naya Raipur,

Now, under Project Ellora,

what we did was that we brought together all the stakeholders,

en ideell utgiver av barnebøker,

som Pratham Books

an NGOs like CGNet Swara,

og viktigst, de som snakker for samfunnet.

and academic institutions, like IIIT Naya Raipur,

Gond-stammene deltar selv i aktiviteten,

a not-for-profit children's book publisher,

like Pratham Books,

og for første gang er det oversatt barnebøker til gondi.

and most importantly, the speakers of the community.

The Gond tribals themselves participated in this activity

Vi oversatte for første gang 200 barnebøker til gondi,

and for the first time edited and translated children’s books in Gondi.

slik at barn fikk tilgang til historier og bøker på sitt eget språk.

We were able to put out 200 books for the very first time in Gondi,

En utvidelse av dette var Adivasi Radio,

som var som en app som vi bygde og utviklet i Microsoft Research,

so that the children had access to stories and books in their own language.

og la ut, sammen med våre støttespillere

Another extension of this was Adivasi Radio,

which was like an app that we built and developed in Microsoft Research,

som tar et hindi tekst-til-tale system

and then put out there, along with our stakeholders,

og lar det lese nyheter og artikler utgitt av CGNet Swara

which takes a Hindi text-to-speech system

på gondi.

and allows it to read out news and articles provided by CGNet Swara

Brukere kan nå bruke appen til å lese,

se nyheter og få tilgang til informasjon

in Gondi language.

gjennom tekst og tale på sitt eget språk.

Users can now use this app to read,

En interessant ting med appen er at den blir brukt av samfunnet

watch news and access any information

til å oversette tekst fra hindi til gondi.

through text and voice in their own language.

A very interesting thing is that this app is now being used to translate --

Det vil resulterer i mange parallelle data,

som vi kaller parallell data,

by the community to translate text from Hindi to Gondi.

som vil la oss bygge et maskinoversettings-system for gondi,

som vil åpne et vindu for gondisamfunnet mot verden.

Now, what that will result in is a lot of parallel data,

that we call parallel data,

that will allow us to build machine translation systems for Gondi,

Det som er enda viktigere er at vi nå vet hvordan vi gjør dette.

which will truly open up a window for the Gond community to the world.

Vi har hele datasekvensen og vi kan kopiere den for alle språk,

And what is even more important is now we know how to do this.

og for alle språksamfunn

som er i lignende situasjon som gondstammene.

We have the entire pipeline and we can replicate this for any language

I tillegg utdanning, ja du vet tilgang på informasjon,

and any language community

which is in a similar situation as the Gond tribals.

men hva med å tjene til livets opphold?

Also education -- yes, you know, information access -- yes,

Hvordan kan vi hjelpe disse menneskene med å tjene penger

gjennom digitale verktøy som vi alle tar for gitt i dag?

but what about earning a living?

Right? What about -- how can we make these people earn a living

Vivek Seshadri, som er en annen forsker på MSR,

og hans partner, Manu Chopra,

through the digital tools that all of us just take for granted these days?

har designet en plattform kalt Karya

for å tilby digitale mikrooppgaver til samfunn med udekkede behov.

Vivek Seshadri, who's another researcher at MSR,

and his collaborator, Manu Chopra,

Hans mål var å finne en måte for å tilby verdig arbeid

they've designed a platform called Karya

for providing digital microtasks to the underserved communities.

til innbyggere, de rurale

og de urbane fattige folk i dette landet.

His aim was basically to find a way to provide a means of dignified labor

De har ikke tilgang til all kunnskapen

to the populations, the rural populations

som man må ha for å bruke de digitale plattformene

and the urban poor populations of this country.

som alle av oss bruker hver dag til og med uten å tenke.

They don't have access to all the knowledge

Men ...

to use the digital platforms

Her er en stor

that all of us use every day without even thinking, right?

lesekyndig befolkning som vil jobbe,

But ...

og hvordan kan vi gjøre det mulig for dem?

Here is a large

Karya er en slik måte

literate population that wants to work, right,

som befolkningen kan ta del i den digitale verden

and how can we make this possible for them?

og, som du forstår,

So Karya is one such way

gjennom det finne arbeid og oppgaver som de kan tjene penger på.

through which this population can get on to the digital world

Vi så dette, og vi tenkte at dette er fantastisk.

and, you know,

Vi kunne bruke dette til datainnsamling også.

through that find work and do tasks that can then earn them money.

Vi dro til Amale,

som er en liten landsby med 200 mennesker

So we saw this and we thought, oh, this is wonderful.

i Wada-distriktet i Maharashtra,

We could probably use this for data collection as well.

og vi ville bruke Karya til å samle marathi-data.

So we went to Amale,

which is a small village of 200 people

Jeg vet hva du tenker...

mange marathi-talere, også blant publikum,

in the Wada district of Maharashtra

tenker at marathi ikke er et lav-ressurs språk.

and decided to use Karya to collect Marathi data.

Marathi er definitivt et utbredt språk i landet.

Now, I know what you are thinking --

I'm sure a lot of Marathi speakers also in the audience --

Men, når det gjelder språkteknologi,

that Marathi is not a low-resource language.

er marathi et lav-ressurs språk.

Marathi is definitely a mainstream language of the country.

Så vi dro til denne landsbyen

og vi hadde suksess med data-innsamlingen.

But as far as language technology is concerned,

Dette er en avsides landsby.

Marathi is a low-resource language.

So we went to this village

De har ikke TV, de har ikke elektrisitet,

and we had a very successful data-collection trip.

de har ikke mobilsignal.

And, you know, this village is very remote.

Du må klatre opp på en topp og vifte med telefonen

They have no TV, they have no electricity,

hvis du vil bruke mobilen til å ringe noen.

they have no mobile signal.

Så de ga oss alle disse dataene.

You have to climb a hill and wave your phone around

Men mer enn det, de ga oss verdifull livskunnskap.

if you want to, you know, use your mobile to call anyone.

En er stoltheten for sitt eget språk.

So they gave us all this data.

Menneskene i Amale var kjempeglade for å gjøre dette,

But more than that, they gave us very valuable lessons in life.

fordi de utviklet sitt eget språk ved å gjøre dette.

One is this pride in one's own language.

The people of Amale were thrilled to be doing this

Det andre var verdien for samfunnet.

because they were advancing their own language by doing this.

svært raskt ble dette en felles innsats for landsbyen.

Folk samlet seg om oppgaver og gjorde dem sammen i grupper.

The second was the value of community.

Very quickly, this became a village community effort.

Det tredje er viktigheten av historiefortelling.

People would gather together in tasks and do this together as a group.

Folk i Amale var så sultne på innhold at de på morgenene og i løpet av dagen

And the third is the importance of storytelling.

gjorde opptak av historier i Karya,

People of Amale were so starved of content that in the morning, during the daytime,

og om kvelden samlet de alle i landsbyen

og gjenfortalte disse historiene til landsbyen.

they would do recordings of stories in Karya

and then in the evening they would gather the entire village

Som forskere, blir vi så fanget

i vitenskapen og teknologien av det vi driver med:

and retell and recount these stories to the village.

hva er den neste beste modellen,

So as scientists, we get so caught up

hvordan kan vi forbedre nøyaktigheten av systemet,

in the science and technology part of what we are doing, you know --

hvordan kan jeg bygge det neste og beste systemet,

which is the next best model to have,

slik at vi glemmer årsaken til hvorfor vi gjør dette, nemlig folket.

how can we increase the accuracy of my system,

how can I build the next best system there is --

Enhver teknologisk suksess er det som holder folket og brukerne

that we forget the reason why we are doing this: the people.

oppdatert og fokusert.

And any successful technology is the one that keeps the people and the users

Når de starter med dette,

forstår vi også at teknologi bare er en liten del av dette,

og at det er andre sider ved historien.

up front and center.

Kanskje det er sosiale, kulturelle og politiske sammenhenger

And when they start doing that,

we also realize that technology is probably a very small part of this

som behøves, like mye som teknologi.

and there are other things in the story.

For en tid siden jobbet jeg med et prosjekt kalt VideoKheti

Maybe there are social, cultural and policy interventions

som lot Hindi-talende bønder i Sentral-India

that are required, as much as technology.

søke etter landbruksvideoer ved å snakke til en telefon-app.

So some time back, I worked on a project called VideoKheti

that allowed Hindi-speaking farmers in Central India

Vi dro til Madhya Pradesh for å samle data til dette,

to search for agricultural videos by speaking into a phone-based app.

og vi kom tilbake og vi trente våre modeller

og oppdaget at vi fikk veldig dårlige resultater.

So we went to Madhya Pradesh to collect data for this,

Det fungerte ikke.

Vi ble forvirret. Hvorfor skjer det?

and we came back and we were training our models

Så vi gikk dypere og dypere inn i dataene

og oppdaget at, ja, vi hadde samlet data

and we discovered we're getting very bad results.

This is not working.

fra hva vi trodde var en veldig stille landsby om kvelden.

So we were very confused. Why is this happening?

So we looked deeper and deeper into the data

men det vi ikke hadde hørt mens vi gjorde dette

and discovered that, yes, we had collected data

from what we thought was a very silent, quiet village in the evening.

var at det var en konstant summing av insekter, ikke sant?

Gjennom opptakene hadde vi denne summingen fra insektene

But what we hadn't heard while we were doing this

som faktisk forvrengte talen.

was that there was this constant buzz of night insects, you know?

Det andre var at når vi kom dit

So throughout the recordings, we had this "bzz" of the insects,

for å teste appen i landsbyen,

which was actually distorting our speech.

jeg og min kollega Indrani Medhi,

The second thing was that when we went there

som er en vel anerkjent forskningsdesigner,

to kind of test our app in the village,

vi fant ut at kvinnene ikke kunne uttale ordene på sanskrit

I and my colleague Indrani Medhi,

who is a very well-regarded design researcher,

som vi hadde som søkeord.

Så, som...

we found that the women couldn't pronounce the sanskritized words

(snakker hindi)

that we had for some of the search terms.

som er som begrepet for kjemisk plantevernmidler, sant?

So, like ...

Fordi vi fikk begrepene fra senteret for landbruksrådgivning

(speaks Hindi)

Which is like the term for chemical pesticides, right?

og kvinnene, selv om de drev jordbruk

ikke hadde noe samarbeid med senteret.

Because we got these terms from the agricultural extension center

Mennene hadde det, men kvinnene bruker noe enklere, som...

and the women, even though they are farming,

(snakker hindi)

Som betyr å drepe pest med medisin.

do not interact with that center at all.

The men do, the women probably use something much simpler, like ...

Så det vi har lært på reisen

(speaks Hindi)

og hva jeg ønsker å formidle til dere nå,

Which basically means killing pests with medicine.

jeg håper at dere har forstått,

So what I have learned through my journey

er at flertallet av verdens språk

and what I would like to put across to you --

trenger intensiv investering for å lage ressurser

by now, I hope you've understood me,

dersom de skal ha nytte av språk-teknologi.

is that there is the majority of the world's languages

Og at dette neppe skjer på en rask og effektiv måte.

that require intensive investment for resource creation

if they are to benefit from language technology.

Det er derfor viktig å sikre

And this is unlikely to happen in a very fast and efficient manner.

at samfunnet henter maks nytte

fra det som gjøres innenfor språk-teknologi.

So it is extremely important for us to ensure

that the community derives maximum benefit

For å gjøre det og levere en positiv sosial innvirkning

på disse samfunnene,

from whatever that we are doing in the language tech area.

følger vi det vi kaller modifisert metode for 4-D design-tenking.

And to do this and deliver a positive social impact

4-D betyr: oppdage, designe, utvikle og implementere.

on these communities,

we follow what we call the modified 4-D design thinking methodology.

Altså, å oppdage problemet som språk-teknologi kan løse

So the 4-D means: discover, design, develop and deploy.

i et spesielt språksamfunn.

Denne observasjonsstyringen kan bidra med å allokere ressurser

So discover the problem that language technology can solve

der de trengs mest,

for a particular language community.

This observation-led approach can help allocate resources

forstå mangfoldet, i det lingvistiske landskapet

og i verdens språk.

where they are most needed,

designed for the users and their language,

Og tro ikke at dette er laget for engelsk.

Nå, hvordan kan vi tilpasse til marathi eller for gondi, sant?

understand the diversity in the linguistic properties

and the languages of the world.

Utvikle raskt, og implementer jevnlig.

And don't think, oh, this is made for English.

Det er en repeterende prosess som vil feile raskt

Now, how can we just adapt it for Marathi or for Gondi, right?

og raske feil vil til slutt lede til suksess.

Develop rapidly and deploy frequently.

It's an iterative process that will help you fail fast

Det viktige er å stå i det.

Ikke gi opp.

and early failures will eventually lead to success.

husk historien om de to aboriginske australske kvinnene,

The important thing is to persevere.

Patricia O’Connor og Ysola Best.

Do not give up.

And I remember the story of these two Aborigine Australian women,

På midten av 90-tallet, dro de til Universitetet i Queensland

Patricia O'Connor and Ysola Best.

for å lære sitt eget språk, Yugambeh.

De ble fortalt likefram “Språket deres er dødt.

In the mid-90s, they went to the University of Queensland

Det har vært dødt i tre tiår.

and they wanted to learn their own language, called Yugambeh,

Dere kan ikke lære det. Finn noe annet å jobbe med.”

De ga ikke opp.

and they were told very bluntly, "Your language is dead.

De dro til Yugambeh-samfunnet,

It's been dead for three decades.

gravde fram muntlige minner, muntlige tradisjoner, muntlig litteratur

You cannot work on this. Find something else to work on."

og grunnla Yugambeh Museum,

They did not give up.

They went to the community,

they dug up oral memories, oral traditions, oral literature,

som ble det viktigste kulturelle og lingvistiske senteret for språket

and founded the Yugambeh Museum,

og for samfunnet.

De hadde ikke teknologi. De hadde bare stå-på-viljen.

which became the most important cultural and linguistic center for the language

Nå , med styrken fra teknologien,

kan vi sikre at den neste siden er skrevet i salmi fra Finland,

and its community.

They did not have technology. They only had their willpower.

Now, with the power of technology,

lillooet fra Canada, eller mundari fra India.

we can ensure that the next page is written in Salmi from Finland,

Takk for meg.

Lillooet from Canada or Mundari from India.

Thank you.