Kalika Bali: The giant leaps in language technology -- and who's left behind | TED

Transcriber:

Переводчик: Anna Livermore Редактор: Alena Chernykh

Я Калика Бали, лингвист по образованию

и технический специалист по профессии.

Я проработала в университете,

в стартапах, в небольших компаниях и международных компаниях более 20 лет,

I'm Kalika Bali, I'm a linguist by training

and a technologist by profession,

исследуя и создавая системы, использующие языковые технологии.

I have worked in academia,

in startups, in small companies and multinationals for over two decades,

Моя мечта — увидеть, как технологии преодолевают языковые барьеры.

doing research in and building language technology systems.

В исследовательской лаборатории Майкрософт в Индии

я занимаюсь языковыми и речевыми технологиями.

My dream is to see technology work across the language barrier.

As a researcher at Microsoft Research Labs India

И меня заботит то, как создать технологии, доступные для людей повсеместно,

I work in the field of language technology and speech technology.

независимо от того, на каком языке они говорят.

And I worry about how can we make technology accessible

Обработка естественного языка,

искусственный интеллект, речевые технологии —

to people across the board,

you know, irrespective of the language that they speak.

это новомодные сейчас слова.

Все говорят о том, что же такое обработка естественного языка.

So natural language processing,

artificial intelligence, speech technology,

these are very big words, they are buzzwords right now.

Очень упрощённо,

это часть компьютерной инженерии,

Everybody is talking about what exactly is NLP or natural language processing.

с помощью которой компьютеры могут обрабатывать,

понимать и генерировать естественный язык,

So in very simple terms,

this is the part of computer science engineering

язык, на котором говорят люди.

that makes machines process,

Когда вы общаетесь с ботом, пытаясь купить билеты на поезд

understand and generate natural language,

или на самолёт,

which is the language that humans speak.

когда вы разговариваете с голосовым помощником в телефоне —

When you are interacting with a bot trying to book your train tickets

всё это функционирует за счёт обработки естественного языка,

or flight tickets,

которая и лежит в основе этих технологий.

when you are speaking to a voice-based digital assistant in your phone,

Но как же она работает?

Как функционирует NLP? [Обработка текста на естественном языке]

it's natural language processing

that underpins the entire technology that makes that work.

Если сильно упростить,

речь идёт о данных.

But how does this work?

Огромное количество данных о том, как люди используют язык,

How does NLP work?

In a very, very basic way,

it's about data.

обрабатывается с помощью определённых алгоритмов и методов,

So a huge amount of data of how actually humans use language

благодаря чему компьютеры учатся запоминать закономерности,

is then processed by certain algorithms and techniques

присущие естественному языку.

Сейчас у всех на слуху ещё одно слово — глубокие нейросети.

that make the machines learn the patterns

of natural language of humans, right?

Так называют передовые методы обучения,

которые лежат в основе многих актуальных процессов, связанных с NLP.

These days, another buzzword that you hear a lot about is deep neural networks.

Я не буду вдаваться в подробности о том, как это функционирует,

And these are the advanced techniques

но стоит понять и запомнить следующее:

that underpin a lot of the NLP stuff that happens right now.

для всех этих процессов необходимо огромное количество данных,

And I will not go into the details of how that works,

but the thing that you really have to understand and keep in mind

образцов естественного языка.

Если вы хотите, чтобы голосовая система разговаривала с вами на гуджарати,

is that all of this requires a humungous amount of data,

вам будет необходимо

natural language data.

первым делом много образцов разговоров, ведущихся носителями на гуджарати,

If you want a speech system to converse with you in Gujarati,

их родном языке.

the first thing you require

is a lot of data of Gujarati people speaking to each other

И вот в 2017 году Microsoft создала систему распознавания речи,

которая была способна перевести речь в текст

in their own language.

So 2017, Microsoft came up with a speech recognition system

лучше, чем человек.

Система эта была обучена

which was able to transcribe speech into text

с использованием 200 миллионов транскрибированных слов.

В 2018 году англо-китайская система машинного перевода

better than a human did.

And this system was trained

была в состоянии переводить с английского на китайский

on 200 million transcribed words.

так же хорошо, как и любой, знающий два языка человек.

In 2018, an English-Chinese machine translation system

И для её обучения использовали 18 миллионов предложений на обоих языках.

was able to translate from English to Chinese

as well as any human bilingual could.

Наступило очень интересное время для сферы обработки естественного языка

And this was trained on 18 million bilingual sentence pairs.

и для технологий вообще.

Мы видим, как научная фантастика, которую мы встречали в книгах и фильмах,

This is a very, very exciting time in natural language processing

становится реальностью прямо у нас на глазах.

and in technology as such.

Наш технический прогресс движется семимильными шагами.

You know, we are seeing science fiction, which we had read about and watched,

Но количество языков, затронутых прогрессом, очень ограничено.

kind of come true in front of our own eyes.

We are making giant leaps in technical advancement.

Поэтому Моноджит Чоудхури,

мой близкий друг

But these giant leaps are limited to very few languages.

и коллега,

подробно изучил этот вопрос

и отследил распределение ресурсов между разными языками мира.

So Monojit Choudhury,

who's like a very good friend of mine

and a colleague,

Он говорит, что происходит это по закону степенной зависимости:

he has studied this in some detail

and he has looked at resource distribution across languages in the world.

в сущности, это значит, что четырём языкам —

арабскому, китайскому, английскому и испанскому —

And he says that these follow what is called a power-law distribution,

уделяется максимальный объём имеющихся ресурсов.

which essentially means that there are four languages,

Есть несколько других языков, которым тоже повезло с использованием

Arabic, Chinese, English and Spanish,

which have the maximum amount of resources available.

ресурсов и технологий, существующих на данный момент.

There are another handful of languages which can also benefit from, you know,

Но на долю оставшихся 90% языков мира

the resources and the technology that's available right now.

либо не хватает ресурсов вообще,

либо их перепадает очень мало.

But there are 90 percent of the world's languages

Таким образом, революция, о которой мы здесь говорим,

практически обошла стороной 5000 языков мира.

which have no resources

or very little resources available.

В результате чего для языков, которым уделяется больше ресурсов,

This revolution that we are talking about

создаются технологии,

has essentially bypassed 5,000 languages of the world.

которые в свою очередь привлекают исследователей и специалистов.

И они создают ещё больше технологий и ресурсов для этих языков.

Now, what this means is that resource-rich languages

have technologies built for them,

Получается замкнутый круг: богатые становятся богаче,

so researchers and technologists get attracted towards them.

а языки с недостатком ресурсов остаются бедными,

They build more technologies for them. They create more resources.

так как для них нет технологий и никто над ними не работает.

So it's like a rich getting richer kind of a cycle.

И это цифровое неравенство между языками

And the resource-poor languages stay poor,

постоянно увеличивается,

как увеличивается и неравенство между сообществами,

there's no technology for them, nobody works for them.

And this divide, digital divide between languages

которые говорят на этих языках.

is ever-expanding

and by implication also the divide between the communities

Цель проекта «Ellora» компании Microsoft — сократить этот раззрыв.

that speak these languages is expanding.

Мы пытаемся придумать новаторские методы, которые дадут больше данных,

So in Microsoft, in Project Ellora, we aim to bridge this gap.

найти новые способы создания технологий в условиях ограниченных ресурсов

We are trying to see how can we create more data by innovative methods,

и установить, какие приложения действительно принесут пользу сообществам.

have more techniques to build technology without having a lot of resources,

Пока всё это может показаться очень абстрактным.

and what are the applications that can truly benefit these communities.

О чём это она: данные, методы и технологии?

Я приведу конкретный пример.

So at the moment, this might seem very theoretical,

По призванию я лингвист, я люблю языки и люблю их обсуждать.

like what is he talking about, data and techniques and technology.

So let me give you a very concrete example here.

А теперь я расскажу вам о языке, о котором многие из вас могут и не знать.

I'm a linguist at heart, I love languages, and that's what I love talking about.

Гонди.

Гонди — это южноазиатский дравидийский язык.

So let me tell you about a language that many of you might not know about.

На нём говорят три миллиона людей в пяти штатах Индии.

Gondi.

Для сравнения:

Gondi is a South-Central Dravidian language.

на норвежском говорят пять миллионов человек,

It is spoken by three million people in five states of India.

а на валлийском — чуть меньше миллиона.

And to put this in some kind of perspective,

В действительности у гонди достаточно стабильная и большая

Norwegian is spoken by five million people

and Welsh by a little under a million.

группа носителей, состоящая из гондийских племён Индии.

So Gondi is actually a pretty robust and pretty large community

Но согласно Атласу языков, находящихся под угрозой исчезновения,

ЮНЕСКО присвоила гонди статус исчезающего языка.

of the Gond tribals in India.

But by UNESCO's Atlas of Languages in Danger,

CGNet Swara — это НПО, предоставляющая журналистскую платформу

Gondi is designated vulnerable status.

для членов сообщества гонди,

обеспечивая им доступ к местным новостям через мобильные телефоны.

CGNet Swara is an NGO that provides a citizen journalism portal

Для гонди не существует никакой технической поддержки.

for the Gond community

Для гонди нет никаких данных и нет доступных ресурсов.

by making local stories accessible through mobile phones.

There's absolutely no tech support for Gondi.

Поэтому весь контент создаётся, модерируется и редактируется вручную.

There is no data available for Gondi, no resources available for Gondi.

В рамках проекта «Ellora»

мы объединили все заинтересованные стороны,

So all content that is created, moderated and edited is done manually.

НПО, например CGNet Swara,

академические учреждения, например Институт ИТ в Найя Райпур,

Now, under Project Ellora,

what we did was that we brought together all the stakeholders,

некоммерческое издательство детской литературы

Pratham Books

an NGOs like CGNet Swara,

и, что особенно важно, носителей языка.

and academic institutions, like IIIT Naya Raipur,

Сами представители племён Гонди участвовали в этой инициативе

a not-for-profit children's book publisher,

like Pratham Books,

и впервые редактировали и переводили детские книги на гонди.

and most importantly, the speakers of the community.

The Gond tribals themselves participated in this activity

Впервые за всю историю мы смогли выпустить 200 книг на гонди,

and for the first time edited and translated children’s books in Gondi.

чтобы у детей появился доступ к сказкам и книгам на их родном языке.

We were able to put out 200 books for the very first time in Gondi,

Кроме того, в рамках инициативы появилось Adivasi Radio,

so that the children had access to stories and books in their own language.

приложение, разработанное в Microsoft Research

и затем опубликованное с помощью участников проекта.

Another extension of this was Adivasi Radio,

which was like an app that we built and developed in Microsoft Research,

Используя систему речевого воспроизведения текстов на хинди,

and then put out there, along with our stakeholders,

оно читает новости и статьи, предоставленные CGNet Swara,

which takes a Hindi text-to-speech system

вслух на языке гонди.

and allows it to read out news and articles provided by CGNet Swara

Теперь пользователи могут читать,

смотреть новости и получать любую информацию

in Gondi language.

в текстовой и голосовой форме на своём родном языке.

Users can now use this app to read,

Очень интересно то, что теперь приложение используется

watch news and access any information

местными жителями для перевода текстов с хинди на гонди.

through text and voice in their own language.

A very interesting thing is that this app is now being used to translate --

В результате этого появится много параллельных данных,

как мы их называем,

by the community to translate text from Hindi to Gondi.

с помощью которых мы сможем создать систему машинного перевода для гонди

и, таким образом, действительно установить связь народностей гонди с миром.

Now, what that will result in is a lot of parallel data,

that we call parallel data,

that will allow us to build machine translation systems for Gondi,

И, что ещё важнее, теперь мы знаем, как этого добиться.

which will truly open up a window for the Gond community to the world.

Мы разработали целый процесс и можем перенести его на любой язык,

And what is even more important is now we know how to do this.

на любое языковое сообщество,

находящееся в той же ситуации, что и представители племён гонди.

We have the entire pipeline and we can replicate this for any language

Кроме того, есть сфера образования, доступ к информации.

and any language community

which is in a similar situation as the Gond tribals.

А как же зарабатывание на жизнь?

Also education -- yes, you know, information access -- yes,

Как можем мы помочь этим людям зарабатывать на жизнь,

используя цифровые инструменты, которые для всех нас уже в порядке вещей?

but what about earning a living?

Right? What about -- how can we make these people earn a living

Вивек Сешадри, ещё один научный сотрудник из MSR,

совместно с коллегой, Ману Чопрой,

through the digital tools that all of us just take for granted these days?

разработал платформу под названием «Karya»,

давая цифровые задачи на выполнение в обездоленные сообщества.

Vivek Seshadri, who's another researcher at MSR,

and his collaborator, Manu Chopra,

По сути, он стремился предоставить возможность достойной работы

they've designed a platform called Karya

for providing digital microtasks to the underserved communities.

сельскому населению

и бедному городскому населению Индии.

His aim was basically to find a way to provide a means of dignified labor

У них нет доступа к знаниям,

to the populations, the rural populations

необходимым для использования цифровых платформ,

and the urban poor populations of this country.

которыми мы пользуемся каждый день, даже не задумываясь об этом.

They don't have access to all the knowledge

Но…

to use the digital platforms

Имеется большая группа

that all of us use every day without even thinking, right?

грамотного населения, которая хочет работать.

But ...

Что же мы можем сделать, чтобы это стало для них возможным?

Here is a large

«Karya» представляет собой

literate population that wants to work, right,

способ вовлечения таких групп людей в цифровой мир,

and how can we make this possible for them?

чтобы они могли

So Karya is one such way

найти работу и выполнять задания, за которые им заплатят.

through which this population can get on to the digital world

Мы это увидели и подумали: «Это просто замечательно».

and, you know,

Мы, наверное, могли бы применить это для сбора данных.

through that find work and do tasks that can then earn them money.

И вот мы поехали в Амале,

деревушку с населением в 200 человек

So we saw this and we thought, oh, this is wonderful.

в округе Вардха штата Махараштра,

We could probably use this for data collection as well.

чтобы применить «Karya» для сбора данных языка маратхи.

So we went to Amale,

which is a small village of 200 people

Я знаю, вы сейчас думаете, —

и в зале наверняка находится много носителей маратхи, —

in the Wada district of Maharashtra

что он не относится к языкам с нехваткой ресурсов.

and decided to use Karya to collect Marathi data.

Маратхи — это действительно один из основных языков страны.

Now, I know what you are thinking --

I'm sure a lot of Marathi speakers also in the audience --

Но когда дело доходит до языковых технологий,

that Marathi is not a low-resource language.

маратхи является языком с недостатком ресурсов.

Marathi is definitely a mainstream language of the country.

Итак, мы поехали в эту деревню,

и наша экспедиция по сбору данных удалась на славу.

But as far as language technology is concerned,

Эта деревня находится в очень удалённом месте.

Marathi is a low-resource language.

So we went to this village

Там нет телевидения, нет электричества,

and we had a very successful data-collection trip.

нет сигнала мобильной связи.

And, you know, this village is very remote.

Приходится подниматься на вершину холма

They have no TV, they have no electricity,

и махать там телефоном, чтобы кому-нибудь позвонить.

they have no mobile signal.

И вот они дали нам все эти данные.

You have to climb a hill and wave your phone around

Более того, они преподали нам несколько ценных жизненных уроков.

if you want to, you know, use your mobile to call anyone.

Во-первых, гордость за родной язык.

So they gave us all this data.

Люди, живущие в Амале, были рады нам помочь,

But more than that, they gave us very valuable lessons in life.

потому что таким образом они продвигали собственный язык.

One is this pride in one's own language.

The people of Amale were thrilled to be doing this

Во-вторых, важная роль сообщества.

because they were advancing their own language by doing this.

Очень быстро в этот процесс включилась вся деревня.

Люди собирались в группы, чтобы выполнять разные задания.

The second was the value of community.

Very quickly, this became a village community effort.

В-третьих, значимость рассказывания историй.

People would gather together in tasks and do this together as a group.

Люди в деревне Амале настолько изголодались по контенту,

And the third is the importance of storytelling.

что утром и днём они записывали истории в «Karya»,

People of Amale were so starved of content that in the morning, during the daytime,

а вечером они собирали всех жителей деревни

и пересказывали им все эти истории.

they would do recordings of stories in Karya

and then in the evening they would gather the entire village

Как учёные мы настолько поглощены

научной и технологической стороной наших проектов —

and retell and recount these stories to the village.

какая модель лучше подойдёт,

So as scientists, we get so caught up

как улучшить точность моей системы,

in the science and technology part of what we are doing, you know --

как создать систему, которая будет ещё лучше, —

which is the next best model to have,

что мы забываем о причине, по которой мы этим занимаемся: о людях.

how can we increase the accuracy of my system,

how can I build the next best system there is --

А в центре любой удавшейся технологии

that we forget the reason why we are doing this: the people.

находятся люди и пользователи.

And any successful technology is the one that keeps the people and the users

И когда они начали это делать,

мы также поняли, что, похоже, технологии играют очень незначительную роль,

что у этой истории есть и другие элементы.

up front and center.

Возможно, что наряду с технологиями необходимы социальные,

And when they start doing that,

we also realize that technology is probably a very small part of this

культурные и политические меры.

and there are other things in the story.

Некоторое время назад я работала над проектом «VideoKheti»,

Maybe there are social, cultural and policy interventions

с помощью которого фермеры центральных районов Индии

that are required, as much as technology.

использовали голосовой поиск на хинди, чтобы найти видео о сельском хозяйстве.

So some time back, I worked on a project called VideoKheti

that allowed Hindi-speaking farmers in Central India

Мы отправились в штат Мадхья-Прадеш для сбора данных для проекта

to search for agricultural videos by speaking into a phone-based app.

и по возвращении начали обучать наши модели.

Оказалось, что результаты были из рук вон плохи.

So we went to Madhya Pradesh to collect data for this,

Ничего не получалось.

Мы были в полной растерянности. Почему так?

and we came back and we were training our models

Мы более внимательно проверили данные

и обнаружили, что хотя мы и собирали данные

and we discovered we're getting very bad results.

This is not working.

в очень тихой, как мы считали, деревне вечером,

So we were very confused. Why is this happening?

So we looked deeper and deeper into the data

мы совсем не услышали

and discovered that, yes, we had collected data

from what we thought was a very silent, quiet village in the evening.

непрерывное жужжание ночных насекомых.

Поэтому на каждой записи у нас звучало «ззззз» насекомых

But what we hadn't heard while we were doing this

и фактически искажало записанную речь.

was that there was this constant buzz of night insects, you know?

Кроме того, когда мы прибыли туда,

So throughout the recordings, we had this "bzz" of the insects,

чтобы протестировать наше приложение в этой деревне,

which was actually distorting our speech.

я и моя коллега Индрани Меди,

The second thing was that when we went there

дизайнер методов исследования, пользующаяся отличной репутацией,

to kind of test our app in the village,

обнаружили, что женщины в деревне не могли произнести слова на санскрите,

I and my colleague Indrani Medhi,

who is a very well-regarded design researcher,

которые мы использовали как поисковые.

Например,

we found that the women couldn't pronounce the sanskritized words

(говорит на хинди)

that we had for some of the search terms.

что означает химические пестициды.

So, like ...

Дело в том, что мы получили эти термины в центре распространения

(speaks Hindi)

Which is like the term for chemical pesticides, right?

знаний о сельском хозяйстве, и эти женщины,

хоть и были фермерами, не сталкивались с этим центром.

Because we got these terms from the agricultural extension center

В отличие от мужчин, они, вероятно, использовали что-нибудь попроще, например

and the women, even though they are farming,

(говорит на хинди),

что, по сути, означает «убивать паразитов лекарством».

do not interact with that center at all.

The men do, the women probably use something much simpler, like ...

В ходе этой поездки я осознала

(speaks Hindi)

и пытаюсь донести это до вас

Which basically means killing pests with medicine.

(я надеюсь, вы меня уже поняли),

So what I have learned through my journey

что большинство языков мира

and what I would like to put across to you --

нуждаются в больших вложениях для создания ресурсов,

by now, I hope you've understood me,

чтобы извлечь пользу из языковых технологий.

is that there is the majority of the world's languages

И маловероятно, что произойдёт это быстро и эффективно.

that require intensive investment for resource creation

if they are to benefit from language technology.

Поэтому для нас крайне важно позаботиться о том,

And this is unlikely to happen in a very fast and efficient manner.

чтобы такие сообщества получали максимальную пользу

от того, что мы делаем в области языковых технологий.

So it is extremely important for us to ensure

that the community derives maximum benefit

Чтобы достичь этого и оказать положительное социальное воздействие

на такие сообщества,

from whatever that we are doing in the language tech area.

мы следуем методологии, которую мы назвали модифицированное дизайн-мышление.

And to do this and deliver a positive social impact

Состоит она из четырёх этапов: выявление, проектирование, разработка и внедрение.

on these communities,

we follow what we call the modified 4-D design thinking methodology.

То есть выявление проблемы в определённом языковом сообществе,

So the 4-D means: discover, design, develop and deploy.

разрешаемой с помощью языковых технологий.

Этот подход, основанный на наблюдениях, поможет распределить ресурсы

So discover the problem that language technology can solve

с наибольшей эффективностью.

Нацелено это на пользователей и их язык

for a particular language community.

This observation-led approach can help allocate resources

с пониманием разнообразия лингвистических особенностей

и языков мира.

where they are most needed,

designed for the users and their language,

И не думайте, что создано это для английского.

Вы спросите, как можно просто приспособить это под маратхи или гонди?

understand the diversity in the linguistic properties

and the languages of the world.

Быстро разрабатывая и часто внедряя.

And don't think, oh, this is made for English.

Это циклический процесс, который помогает быстро потерпеть неудачу,

Now, how can we just adapt it for Marathi or for Gondi, right?

а ранние неудачи в конечном итоге приведут к успеху.

Develop rapidly and deploy frequently.

It's an iterative process that will help you fail fast

Важно настойчиво продолжать.

Не сдаваться.

and early failures will eventually lead to success.

И я вспоминаю историю двух женщин-аборигенов из Австралии.

The important thing is to persevere.

Их звали Патрисия О’Коннор и Исола Бест.

Do not give up.

And I remember the story of these two Aborigine Australian women,

В середине 90-х годов они пошли в Квинслендский университет

Patricia O'Connor and Ysola Best.

и хотели выучить свой родной язык, югамбе.

Им напрямую заявили: «Ваш язык мёртв.

In the mid-90s, they went to the University of Queensland

Он умер три десятилетия назад.

and they wanted to learn their own language, called Yugambeh,

Над этим вы работать не можете. Найдите что-нибудь другое».

Они не сдались.

and they were told very bluntly, "Your language is dead.

Они пошли в своё сообщество,

It's been dead for three decades.

разыскали воспоминания, литературу, традиции, существующие в устной форме,

You cannot work on this. Find something else to work on."

и основали Музей югамбе,

They did not give up.

They went to the community,

they dug up oral memories, oral traditions, oral literature,

который стал самым важным культурным и лингвистическим центром как для языка,

and founded the Yugambeh Museum,

так и для сообщества.

У них не было никаких технологий, только сила воли.

which became the most important cultural and linguistic center for the language

Теперь же, опираясь на возможности технологий,

мы можем позаботиться о том, чтобы следующая страница была написана

and its community.

They did not have technology. They only had their willpower.

Now, with the power of technology,

на саамском в Финляндии, на лиллуэт в Канаде или на мундари в Индии.

we can ensure that the next page is written in Salmi from Finland,

Спасибо.

Lillooet from Canada or Mundari from India.

Thank you.