How we teach computers to understand pictures | Fei Fei Li

Фей-Фей Ли: Как мы учим компьютеры понимать изображения

Переводчик: Olga Babeeva Редактор: Katya Roberts

Let me show you something.

Позвольте вам кое-что показать.

(Video) Girl: Okay, that's a cat sitting in a bed.

(Видео) Девочка: Кот сидит на кровати.

The boy is petting the elephant.

Мальчик гладит слона.

Those are people that are going on an airplane.

Люди садятся в самолёт.

That's a big airplane.

Это большой самолёт.

Fei-Fei Li: This is a three-year-old child

Фей-Фей Ли: Трёхлетняя девочка

describing what she sees in a series of photos.

описывает то, что она видит на фотографиях.

She might still have a lot to learn about this world,

Ей предстоит ещё много узнать об этом мире,

but she's already an expert at one very important task:

но она уже довольно искусно справляется с очень важной задачей:

to make sense of what she sees.

она осознаёт то, что видит.

Our society is more technologically advanced than ever.

Наше общество технологически развито больше, чем когда-либо.

We send people to the moon, we make phones that talk to us

Мы отправляем людей на Луну, создаём телефоны, которые говорят с нами,

or customize radio stations that can play only music we like.

и настраиваем радиостанции, чтобы слушать только такую музыку, которая нам нравится.

Yet, our most advanced machines and computers

Но эта задача всё ещё не под силу нашим самым продвинутым

still struggle at this task.

механизмам и компьютерам.

So I'm here today to give you a progress report

Сегодня я выступлю перед вами с докладом

on the latest advances in our research in computer vision,

о наших последних достижениях в области машинного зрения,

one of the most frontier and potentially revolutionary

одной из самых передовых и потенциально революционных

technologies in computer science.

технологий в области компьютерных наук.

Yes, we have prototyped cars that can drive by themselves,

Да, мы создали прототипы беспилотных автомобилей,

but without smart vision, they cannot really tell the difference

но без компьютерного зрения они не смогут отличить

between a crumpled paper bag on the road, which can be run over,

на дороге бумажный пакет, по которому можно проехать,

and a rock that size, which should be avoided.

от камня похожего размера, который стоит объехать.

We have made fabulous megapixel cameras,

Мы создали замечательные мегапиксельные камеры,

but we have not delivered sight to the blind.

но не смогли вернуть зрение слепым.

Drones can fly over massive land,

Беспилотные аппараты могут преодолевать огромные расстояния,

but don't have enough vision technology

но не обладают достаточной технологией зрения,

to help us to track the changes of the rainforests.

чтобы помочь нам отслеживать динамику вырубки тропических лесов.

Security cameras are everywhere,

Повсюду находятся камеры видеонаблюдения,

but they do not alert us when a child is drowning in a swimming pool.

но они не могут предупредить нас о тонущем в бассейне ребёнке.

Photos and videos are becoming an integral part of global life.

Фотографии и видеоролики становятся неотъемлемой частью нашей жизни.

They're being generated at a pace that's far beyond what any human,

Они накапливаются с такой скоростью, что их все невозможно просмотреть

or teams of humans, could hope to view,

ни одному человеку, ни группе людей.

and you and I are contributing to that at this TED.

Мы, участники TED, тоже этому поспособствовали.

Yet our most advanced software is still struggling at understanding

Нашему самому продвинутому программному обеспечению не под силу воспринимать

and managing this enormous content.

этот огромный массив данных и управлять им.

So in other words, collectively as a society,

Иначе говоря, коллективно

we're very much blind,

наше общество слепо,

because our smartest machines are still blind.

потому что наши самые умные машины всё ещё не умеют видеть.

"Why is this so hard?" you may ask.

«Почему же это так сложно?» — спросите вы.

Cameras can take pictures like this one

Фотокамеры могут делать вот такие фотографии,

by converting lights into a two-dimensional array of numbers

преобразовывая свет в двухмерную числовую последовательность,

known as pixels,

известную как «пиксели».

but these are just lifeless numbers.

Но это просто числа.

They do not carry meaning in themselves.

Они не несут в себе никакого смысла.

Just like to hear is not the same as to listen,

Так же, как «слышать» — не то же самое, что «слушать»,

to take pictures is not the same as to see,

«делать» фотографии — не то же самое, что «видеть» их,

and by seeing, we really mean understanding.

а под «видеть», конечно же, имеется в виду «понимать».

In fact, it took Mother Nature 540 million years of hard work

Природе пришлось усердно трудиться в течение 540 миллионов лет,

to do this task,

чтобы решить эту задачу,

and much of that effort

и многие из этих усилий были направлены

went into developing the visual processing apparatus of our brains,

на создание аппарата обработки визуальных данных в нашем мозге,

not the eyes themselves.

а не глаз как таковых.

So vision begins with the eyes,

Зрение начинается с глаз,

but it truly takes place in the brain.

но фактически происходит в мозге.

So for 15 years now, starting from my Ph.D. at Caltech

В течение вот уже 15 лет, начиная с аспирантуры в Калтехе,

and then leading Stanford's Vision Lab,

а затем возглавляя стэнфордскую лабораторию зрения,

I've been working with my mentors, collaborators and students

я работаю вместе с наставниками, коллегами и студентами,

to teach computers to see.

обучая компьютеры видеть.

Our research field is called computer vision and machine learning.

Сфера наших исследований — машинное зрение и обучение машин.

It's part of the general field of artificial intelligence.

Это часть области под названием искусственный интеллект.

So ultimately, we want to teach the machines to see just like we do:

Наша главная задача — научить машины видеть, так как это можем мы:

naming objects, identifying people, inferring 3D geometry of things,

называть объекты, узнавать людей, использовать трёхмерную геометрию вещей,

understanding relations, emotions, actions and intentions.

понимать отношения, эмоции, действия и намерения.

You and I weave together entire stories of people, places and things

Мы можем создавать целые истории о людях, местах, вещах —

the moment we lay our gaze on them.

стоит нам только на них взглянуть.

The first step towards this goal is to teach a computer to see objects,

Первый шаг к этой цели — научить машины видеть объекты,

the building block of the visual world.

стандартные элементы визуального мира.

In its simplest terms, imagine this teaching process

Простыми словами, процесс обучения —

as showing the computers some training images

это демонстрация компьютеру некоторых обучающих изображений

of a particular object, let's say cats,

определённых объектов, например, кошек,

and designing a model that learns from these training images.

и разработка модели, которая обучается на основе данных изображений.

How hard can this be?

Насколько это может быть сложным?

After all, a cat is just a collection of shapes and colors,

Кошка — это просто набор очертаний и цветов,

and this is what we did in the early days of object modeling.

и именно этим мы занимались на заре моделирования объектов.

We'd tell the computer algorithm in a mathematical language

Посредством математического алгоритма мы сообщали компьютеру,

that a cat has a round face, a chubby body,

что у кошки круглая морда, пухленькое тело,

two pointy ears, and a long tail,

два острых уха и длинный хвост,

and that looked all fine.

и этого было достаточно.

But what about this cat?

А как насчёт этого кота?

(Laughter)

(Смех)

It's all curled up.

Он изогнут непонятно как.

Now you have to add another shape and viewpoint to the object model.

Нужно добавить ещё одну форму и точку обзора в модель.

But what if cats are hidden?

А если кот прячется?

What about these silly cats?

Как насчёт этих смешных котов?

Now you get my point.

Теперь вы меня понимаете.

Even something as simple as a household pet

Даже простой домашний питомец

can present an infinite number of variations to the object model,

может представлять бесконечное число вариаций в модели объекта,

and that's just one object.

а это всего лишь один объект.

So about eight years ago,

Где-то восемь лет назад

a very simple and profound observation changed my thinking.

простое, но значительное наблюдение изменило ход моих мыслей.

No one tells a child how to see,

Никто не говорит ребёнку, как надо видеть,

especially in the early years.

особенно в ранние годы жизни.

They learn this through real-world experiences and examples.

Он учится этому на реальных примерах.

If you consider a child's eyes

Если предположить, что глаза ребёнка —

as a pair of biological cameras,

это пара биологических камер,

they take one picture about every 200 milliseconds,

то они делают один снимок каждые 200 миллисекунд, —

the average time an eye movement is made.

среднее время движения глазного яблока.

So by age three, a child would have seen hundreds of millions of pictures

К трём годам ребёнок уже увидит сотни миллионов изображений

of the real world.

окружающего мира.

That's a lot of training examples.

Это очень много обучающих примеров.

So instead of focusing solely on better and better algorithms,

И вместо того, чтобы улучшать алгоритмы,

my insight was to give the algorithms the kind of training data

я предложила предоставить этим алгоритмам такую же обучающую информацию,

that a child was given through experiences

которую через опыт получает ребёнок,

in both quantity and quality.

в таком же количестве и качестве.

Once we know this,

Как только мы это осознали,

we knew we needed to collect a data set

мы поняли, что нам нужно было собрать базу данных,

that has far more images than we have ever had before,

содержащую намного больше изображений, чем когда-либо ранее,

perhaps thousands of times more,

возможно, в тысячи раз больше.

and together with Professor Kai Li at Princeton University,

В 2007 году я и профессор Кай Ли из Принстонского университета

we launched the ImageNet project in 2007.

запустили проект ImageNet.

Luckily, we didn't have to mount a camera on our head

К счастью, нам не пришлось устанавливать камеру себе на голову

and wait for many years.

и ждать много лет.

We went to the Internet,

Мы использовали интернет —

the biggest treasure trove of pictures that humans have ever created.

кладезь изображений, самую большую из созданных человечеством.

We downloaded nearly a billion images

Мы скачали почти миллиард изображений

and used crowdsourcing technology like the Amazon Mechanical Turk platform

и для их описания применили краудсорсинг-платформу

to help us to label these images.

Amazon Mechanical Turk.

At its peak, ImageNet was one of the biggest employers

На пике активности ImageNet была одним из самых популярных работодателей

of the Amazon Mechanical Turk workers:

для сотрудников Amazon Mechanical Turk:

together, almost 50,000 workers

порядка 50 000 работников

from 167 countries around the world

из 167 стран мира

helped us to clean, sort and label

помогли нам привести в порядок, отсортировать и описать

nearly a billion candidate images.

почти миллиард изображений-кандидатов.

That was how much effort it took

Вот сколько потребовалось усилий,

to capture even a fraction of the imagery

чтобы охватить лишь малую часть той базы изображений,

a child's mind takes in in the early developmental years.

которую создаёт мозг ребёнка в ранние годы развития.

In hindsight, this idea of using big data

Оглядываясь назад, идея использования большого архива данных

to train computer algorithms may seem obvious now,

для обучения компьютеров сейчас может показаться очевидной,

but back in 2007, it was not so obvious.

но в 2007 году это было далеко не так.

We were fairly alone on this journey for quite a while.

Долгое время у нас совсем не было единомышленников.

Some very friendly colleagues advised me to do something more useful for my tenure,

Некоторые дружелюбные коллеги советовали мне заняться более полезным делом,

and we were constantly struggling for research funding.

и нам никогда не хватало денег на исследования.

Once, I even joked to my graduate students

Однажды я даже пошутила со своими студентами,

that I would just reopen my dry cleaner's shop to fund ImageNet.

что я снова открою свою химчистку, чтобы профинансировать ImageNet.

After all, that's how I funded my college years.

В конце концов, именно с её помощью я оплатила обучение в университете.

So we carried on.

И мы продолжили работать.

In 2009, the ImageNet project delivered

В 2009 году проект ImageNet собрал

a database of 15 million images

базу из 15 миллионов изображений,

across 22,000 classes of objects and things

22 тысяч классов объектов и предметов,

organized by everyday English words.

упорядоченных при помощи повседневных английских слов.

In both quantity and quality,

Как количественно, так и качественно

this was an unprecedented scale.

это был беспрецедентный по размеру проект.

As an example, in the case of cats,

Например, в случае с котами

we have more than 62,000 cats

в базе содержится более 62 000 котов

of all kinds of looks and poses

разных пород, в разных позах,

and across all species of domestic and wild cats.

всех видов, как домашних, так и диких.

We were thrilled to have put together ImageNet,

Мы были на седьмом небе от счастья, когда база ImageNet была готова.

and we wanted the whole research world to benefit from it,

Мы хотели, чтобы она принесла пользу всему научному сообществу.

so in the TED fashion, we opened up the entire data set

И мы, как и TED, открыли бесплатный неограниченный доступ к базе данных

to the worldwide research community for free.

для всего мирового научного сообщества.

(Applause)

(Аплодисменты)

Now that we have the data to nourish our computer brain,

Сейчас, когда у нас есть база данных, чтобы питать наш компьютерный мозг,

we're ready to come back to the algorithms themselves.

мы готовы вернуться к алгоритмам.

As it turned out, the wealth of information provided by ImageNet

Как оказалось, база данных, предоставленная ImageNet,

was a perfect match to a particular class of machine learning algorithms

точно подходила для определённого класса алгоритмов обучения машин,

called convolutional neural network,

который называется свёрточная нейронная сеть,

pioneered by Kunihiko Fukushima, Geoff Hinton, and Yann LeCun

начало которому положили Кунихико Фукушима, Джефф Хинтон

back in the 1970s and '80s.

и Ян ЛеКун ещё в 1970-е и 80-е годы.

Just like the brain consists of billions of highly connected neurons,

Так же как и в мозге, состоящем из миллиардов взаимосвязанных нейронов,

a basic operating unit in a neural network

простейшей операционной единицей нейронной сети

is a neuron-like node.

является нейроподобный узел.

It takes input from other nodes

Он принимает входные данные от одних узлов

and sends output to others.

и отправляет выходные данные другим.

Moreover, these hundreds of thousands or even millions of nodes

Более того, сотни тысяч или даже миллионы таких узлов

are organized in hierarchical layers,

упорядочены по иерархическим уровням,

also similar to the brain.

также по аналогии с человеческим мозгом.

In a typical neural network we use to train our object recognition model,

В обычной нейронной сети, которую мы используем для обучения

it has 24 million nodes,

нашей модели распознавания, содержится 24 миллиона узлов,

140 million parameters,

140 миллионов параметров

and 15 billion connections.

и 15 миллиардов связей.

That's an enormous model.

Эта модель огромна.

Powered by the massive data from ImageNet

Функционирующая на основе базы ImageNet

and the modern CPUs and GPUs to train such a humongous model,

при помощи современных микропроцессоров для обучения этой огромной модели,

the convolutional neural network

свёрточная нейронная сеть

blossomed in a way that no one expected.

превзошла все ожидания.

It became the winning architecture

Она позволила создать эффективную систему

to generate exciting new results in object recognition.

для получения новых многообещающих результатов в распознавании объектов.

This is a computer telling us

Вот компьютер, который говорит нам,

this picture contains a cat

что на картинке есть кот

and where the cat is.

и где этот кот находится.

Of course there are more things than cats,

Конечно, на картинках не только коты.

so here's a computer algorithm telling us

Вот компьютер, который сообщает нам,

the picture contains a boy and a teddy bear;

что на фото мальчик и плюшевый мишка,

a dog, a person, and a small kite in the background;

собака, человек, и маленький воздушный змей на заднем фоне.

or a picture of very busy things

Или фотография с большим количеством объектов:

like a man, a skateboard, railings, a lampost, and so on.

мужчина, скейтборд, перила, фонарь и т.д.

Sometimes, when the computer is not so confident about what it sees,

Когда компьютер не уверен в том, что он видит,

we have taught it to be smart enough

он обучен действовать по-умному

to give us a safe answer instead of committing too much,

и давать нам наиболее безопасный ответ, без неоправданных рисков,

just like we would do,

что именно и сделал бы человек.

but other times our computer algorithm is remarkable at telling us

Но бывает и так, что наш алгоритм совершенно безошибочно сообщает нам,

what exactly the objects are,

какие объекты он видит.

like the make, model, year of the cars.

Например, марку, модель и год выпуска автомобиля.

We applied this algorithm to millions of Google Street View images

Мы применили этот алгоритм к миллионам фотографий на Google Street View

across hundreds of American cities,

из сотен американских городов

and we have learned something really interesting:

и получили очень интересные результаты.

first, it confirmed our common wisdom

Во-первых, они подтвердили известный факт,

that car prices correlate very well

что стоимость автомобиля зависит

with household incomes.

от дохода семьи.

But surprisingly, car prices also correlate well

Но, к удивлению, цены на автомобили также зависят

with crime rates in cities,

от уровня преступности в городах

or voting patterns by zip codes.

или даже модели голосования в разных штатах.

So wait a minute. Is that it?

Минутку. Это свершилось?

Has the computer already matched or even surpassed human capabilities?

Компьютеры догнали или даже превзошли человеческие возможности?

Not so fast.

Не тут-то было.

So far, we have just taught the computer to see objects.

Пока мы научили компьютеры только видеть объекты.

This is like a small child learning to utter a few nouns.

Это сродни тому, как маленький ребёнок учится произносить несколько слов.

It's an incredible accomplishment,

Это невероятное достижение,

but it's only the first step.

но это всего лишь первый шаг.

Soon, another developmental milestone will be hit,

Вскоре будет пройден новый этап развития,

and children begin to communicate in sentences.

и ребёнок сможет составлять из слов предложения.

So instead of saying this is a cat in the picture,

И вместо того чтобы сказать, что на картинке кошка,

you already heard the little girl telling us this is a cat lying on a bed.

маленькая девочка скажет, что кошка лежит на кровати.

So to teach a computer to see a picture and generate sentences,

Для того чтобы научить компьютер видеть картинку и составлять предложения,

the marriage between big data and machine learning algorithm

связь между большой базой данных и алгоритмом обучения машин

has to take another step.

должна выйти на новый уровень.

Now, the computer has to learn from both pictures

Теперь компьютер должен учиться не только по фотографиям,

as well as natural language sentences

но и на основе предложений естественного языка,

generated by humans.

составляемых человеком.

Just like the brain integrates vision and language,

Отталкиваясь от факта, что мозг объединяет зрение и язык,

we developed a model that connects parts of visual things

мы разработали модель, соединяющую части визуальной картины,

like visual snippets

как маленькие фрагменты,

with words and phrases in sentences.

со словами и фразами в предложениях.

About four months ago,

Около четырёх месяцев назад

we finally tied all this together

мы привели всё это к общему знаменателю

and produced one of the first computer vision models

и создали одну из первых моделей компьютерного зрения,

that is capable of generating a human-like sentence

способную, подобно человеку, создавать предложения

when it sees a picture for the first time.

после просмотра фотографии в первый раз.

Now, I'm ready to show you what the computer says

Сейчас я покажу вам, что говорит компьютер,

when it sees the picture

когда видит фотографию,

that the little girl saw at the beginning of this talk.

которую описывала девочка в начале этого доклада.

(Video) Computer: A man is standing next to an elephant.

(Видео) Компьютер: Рядом со слоном стоит мужчина.

A large airplane sitting on top of an airport runway.

Большой самолёт находится на взлётно-посадочной полосе аэропорта.

FFL: Of course, we're still working hard to improve our algorithms,

ФФЛ: Конечно, мы продолжаем усердно работать над улучшением нашего алгоритма,

and it still has a lot to learn.

и ему предстоит ещё многому научиться.

(Applause)

(Аплодисменты)

And the computer still makes mistakes.

Компьютер всё ещё допускает ошибки.

(Video) Computer: A cat lying on a bed in a blanket.

(Видео) Компьютер: Кот лежит на кровати в одеяле.

FFL: So of course, when it sees too many cats,

ФФЛ: Конечно, когда он видит слишком много котов,

it thinks everything might look like a cat.

он считает, что всё остальное тоже выглядит как кот.

(Video) Computer: A young boy is holding a baseball bat.

(Видео) Компьютер: Мальчик держит бейсбольную биту.

(Laughter)

(Смех)

FFL: Or, if it hasn't seen a toothbrush, it confuses it with a baseball bat.

ФФЛ: Если он не видел зубной щётки, он принимает её за бейсбольную биту.

(Video) Computer: A man riding a horse down a street next to a building.

(Видео) Компьютер: Мужчина едет верхом по улице рядом со зданием.

(Laughter)

(Смех)

FFL: We haven't taught Art 101 to the computers.

ФФЛ: Мы не обучили компьютер основам искусства.

(Video) Computer: A zebra standing in a field of grass.

(Видео) Компьютер: Зебра стоит на поле с травой.

FFL: And it hasn't learned to appreciate the stunning beauty of nature

ФФЛ: Он также ещё не может оценить красоту природы так,

like you and I do.

как это можем мы с вами.

So it has been a long journey.

Это длительный процесс.

To get from age zero to three was hard.

Дорасти до трёх лет было трудно.

The real challenge is to go from three to 13 and far beyond.

Ещё сложнее — от трёх до тринадцати и так далее.

Let me remind you with this picture of the boy and the cake again.

Позвольте вам снова показать фотографию мальчика с тортом.

So far, we have taught the computer to see objects

Компьютер уже умеет видеть предметы

or even tell us a simple story when seeing a picture.

и даже вкратце рассказывать историю о том, что изображено на фотографии.

(Video) Computer: A person sitting at a table with a cake.

(Видео) Компьютер: Человек сидит за столом с тортом.

FFL: But there's so much more to this picture

ФФЛ: На этой фотографии изображено гораздо больше,

than just a person and a cake.

чем просто человек и торт.

What the computer doesn't see is that this is a special Italian cake

Компьютер не видит, что это особый итальянский торт,

that's only served during Easter time.

который пекут только во время Пасхи.

The boy is wearing his favorite t-shirt

На мальчике надета его любимая футболка,

given to him as a gift by his father after a trip to Sydney,

которую ему подарил отец после поездки в Сидней.

and you and I can all tell how happy he is

И невооружённым глазом видно, как счастлив мальчик

and what's exactly on his mind at that moment.

и о чём именно он думает в этот момент.

This is my son Leo.

Это мой сын Лео.

On my quest for visual intelligence,

В моих поисках визуального интеллекта

I think of Leo constantly

я постоянно думаю о Лео

and the future world he will live in.

и о том мире, в котором он будет жить.

When machines can see,

Когда машины будут способны видеть,

doctors and nurses will have extra pairs of tireless eyes

доктора и медсёстры обзаведутся дополнительной парой неустающих глаз

to help them to diagnose and take care of patients.

для диагностики заболеваний и ухода за пациентами.

Cars will run smarter and safer on the road.

Машины на дорогах станут умнее и безопаснее.

Robots, not just humans,

Не только люди, но и роботы

will help us to brave the disaster zones to save the trapped and wounded.

смогут оказывать помощь в зонах бедствий и спасать людей из-под завалов.

We will discover new species, better materials,

С помощью машин мы откроем новые виды животных и растений,

and explore unseen frontiers with the help of the machines.

усовершенствуем материалы и расширим границы своей деятельности.

Little by little, we're giving sight to the machines.

Постепенно машины обретут зрение.

First, we teach them to see.

Сначала мы научим их видеть.

Then, they help us to see better.

Затем они помогут видеть лучше нам самим.

For the first time, human eyes won't be the only ones

Впервые человек будет осваивать и осознавать мир

pondering and exploring our world.

посредством не только своих, но и компьютерных глаз.

We will not only use the machines for their intelligence,

Мы будем не только использовать машины благодаря их интеллекту,

we will also collaborate with them in ways that we cannot even imagine.

но и работать совместно с ними так, как никто и не мог вообразить.

This is my quest:

Это моя задача:

to give computers visual intelligence

дать машинам визуальный интеллект

and to create a better future for Leo and for the world.

и создать лучшее будущее для Лео и всего мира.

Thank you.

Спасибо.

(Applause)

(Аплодисменты)