How we teach computers to understand pictures | Fei Fei Li

Перекладач: Tetiana Katsimon Утверджено: Khrystyna Romashko

Let me show you something.

Дозвольте вам дещо показати.

(Video) Girl: Okay, that's a cat sitting in a bed.

(Відео) Дівчинка: Так, це кіт, який сидить на ліжку.

The boy is petting the elephant.

Хлопчик гладить слона.

Those are people that are going on an airplane.

Ті люди сідають в літак.

That's a big airplane.

Літак дуже великий.

Fei-Fei Li: This is a three-year-old child

Фей-Фей Лі: Це трирічна дитина,

describing what she sees in a series of photos.

яка описує те, що бачить на фотографіях.

She might still have a lot to learn about this world,

Ще багато чого їй треба вивчити про цей світ,

but she's already an expert at one very important task:

проте вже зараз їй під силу одне дуже важливе завдання:

to make sense of what she sees.

вона розуміє, що вона бачить.

Our society is more technologically advanced than ever.

Наше суспільство найбільш технологічно розвинене, ніж будь-коли.

We send people to the moon, we make phones that talk to us

Ми відправляємо людей на місяць, ми створюємо телефони, які говорять,

or customize radio stations that can play only music we like.

ми налаштовуємо радіостанції так, щоб вони грали лише нашу улюблену музику.

Yet, our most advanced machines and computers

Проте наші найбільш передові механізми і комп'ютери

still struggle at this task.

все ще не можуть впоратися з цим завданням.

So I'm here today to give you a progress report

Сьогодні я тут, щоб розповісти вам про найостанніші досягнення

on the latest advances in our research in computer vision,

у наших дослідженнях комп'ютерного розпізнавання об'єктів,

one of the most frontier and potentially revolutionary

однієї з найбільш передових і потенційно революційних

technologies in computer science.

технологій в комп'ютерній науці.

Yes, we have prototyped cars that can drive by themselves,

Так, ми розробили прототипи машин, які можуть самостійно рухатися,

but without smart vision, they cannot really tell the difference

але без розумного розпізнавання, для них не буде різниці

between a crumpled paper bag on the road, which can be run over,

між зім'ятим пакетом на дорозі, по якому можна проїхати,

and a rock that size, which should be avoided.

і камінням такого розміру, що його краще об'їхати.

We have made fabulous megapixel cameras,

Ми створили неймовірні мегапіксельні фотокамери,

but we have not delivered sight to the blind.

але ми не навчили сліпих бачити.

Drones can fly over massive land,

Безпілотні літаки можуть літати на величезні відстані, але не мають

but don't have enough vision technology

достатніх розпізнавальних технологій,

to help us to track the changes of the rainforests.

щоб допомогти нам прослідкувати за змінами в тропічних лісах.

Security cameras are everywhere,

Ми скрізь маємо камери відеоспостереження,

but they do not alert us when a child is drowning in a swimming pool.

але вони не попереджають нас, коли дитина тоне в басейні.

Photos and videos are becoming an integral part of global life.

Фото та відео стали невід'ємними частинами глобального життя.

They're being generated at a pace that's far beyond what any human,

Вони накопичуються з такою швидкістю, що людина або група людей

or teams of humans, could hope to view,

не можуть навіть сподіватися на те, щоб переглянути їх усі,

and you and I are contributing to that at this TED.

і ми з вами робимо свій внесок у це на TED сьогодні.

Yet our most advanced software is still struggling at understanding

Проте наші найпередовіші програми все ще намагаються навчитися

and managing this enormous content.

керувати цією численною базою даних.

So in other words, collectively as a society,

Іншими словами, ми всі як суспільство

we're very much blind,

залишаємося достатньо сліпими,

because our smartest machines are still blind.

оскільки наші найрозумніші машини все ще сліпі.

"Why is this so hard?" you may ask.

Ви можете запитати: "Чому це так важко?"

Cameras can take pictures like this one

Камери роблять знімки, такі як ось цей,

by converting lights into a two-dimensional array of numbers

шляхом перетворення світла на двовимірну сукупність цифр,

known as pixels,

відомих як пікселі,

but these are just lifeless numbers.

але це лише мертві цифри.

They do not carry meaning in themselves.

Вони самі по собі не несуть значення.

Just like to hear is not the same as to listen,

Так само, як слухати не одне й те саме, що чути,

to take pictures is not the same as to see,

робити фото не одне й те саме, що бачити,

and by seeing, we really mean understanding.

а під баченням ми маємо на увазі розуміння.

In fact, it took Mother Nature 540 million years of hard work

Насправді, матері природі знадобилося 540 млн. років важкої роботи,

to do this task,

щоб впоратися з цим завданням,

and much of that effort

і більшість з її зусиль

went into developing the visual processing apparatus of our brains,

було спрямовано на розвиток в нашому мозку органу з обробки візуальної інформації,

not the eyes themselves.

і це не лише очі.

So vision begins with the eyes,

Бачення розпочинається з очей,

but it truly takes place in the brain.

але насправді відбувається в мозку.

So for 15 years now, starting from my Ph.D. at Caltech

Вже 15 років, починаючи з отримання докторського ступеня в Калтех

and then leading Stanford's Vision Lab,

і потім, очоливши Стенфордську лабораторію Vision Lab,

I've been working with my mentors, collaborators and students

я працюю з моїми наставниками, співробітниками і студентами,

to teach computers to see.

щоб навчити комп'ютери бачити.

Our research field is called computer vision and machine learning.

Наша сфера дослідження називається комп'ютерне бачення

It's part of the general field of artificial intelligence.

та машинне навчання, що є складовою частиною сфери штучного інтелекту.

So ultimately, we want to teach the machines to see just like we do:

Тож, в кінцевому рахунку, ми хочемо навчити машини бачити так само, як ми:

naming objects, identifying people, inferring 3D geometry of things,

називати об'єкти, розпізнавати людей, виводити 3D геометрію речей,

understanding relations, emotions, actions and intentions.

розуміти стосунки, емоції, дії та наміри.

You and I weave together entire stories of people, places and things

Ми з вами складаємо цілі історії про людей, місця та речі,

the moment we lay our gaze on them.

лише глянувши на них.

The first step towards this goal is to teach a computer to see objects,

Перший крок до досягнення цієї мети - навчити комп'ютер бачити об'єкти,

the building block of the visual world.

будівельні блоки нашого візуального світу.

In its simplest terms, imagine this teaching process

Простими словами, уявіть цей процес навчання,

as showing the computers some training images

як демонстрацію комп'ютерам певних тренувальних зображень

of a particular object, let's say cats,

конкретних об'єктів, скажімо, котів,

and designing a model that learns from these training images.

і розробку моделей, які б навчалися, споглядаючи ці зображення.

How hard can this be?

Наскільки це може бути складно?

After all, a cat is just a collection of shapes and colors,

Адже кіт - це всього лише сукупність форм і кольорів,

and this is what we did in the early days of object modeling.

і раніше саме так ми і підходили до моделювання об'єкту.

We'd tell the computer algorithm in a mathematical language

Ми задавали комп'ютеру алгоритм математичною мовою,

that a cat has a round face, a chubby body,

що кіт має круглу морду, пухке тіло,

two pointy ears, and a long tail,

два загострених вуха і довгого хвоста,

and that looked all fine.

і цього було достатньо.

But what about this cat?

Але як щодо цього кота?

(Laughter)

(Сміх)

It's all curled up.

Він увесь вигнутий.

Now you have to add another shape and viewpoint to the object model.

Тож потрібно додати іншу форму та іншу перспективу до моделі об'єкта.

But what if cats are hidden?

Але що як кіт сховався?

What about these silly cats?

Як щодо цих грайливих котів?

Now you get my point.

Ви мене зрозуміли.

Even something as simple as a household pet

Навіть така проста річ, як домашня тварина

can present an infinite number of variations to the object model,

може привнести до моделі об'єкту численну кількість варіацій,

and that's just one object.

а це ж лише один об'єкт.

So about eight years ago,

Майже вісім років тому,

a very simple and profound observation changed my thinking.

дуже просте і глибоке спостереження змінило напрям моїх думок.

No one tells a child how to see,

Ніхто не говорить дитині, як треба бачити,

especially in the early years.

особливо у перші роки.

They learn this through real-world experiences and examples.

Вони навчаються цьому через досвід та на прикладах з реального світу.

If you consider a child's eyes

Якщо розглядати очі дитини

as a pair of biological cameras,

як пару біологічних камер,

they take one picture about every 200 milliseconds,

вони сприймають одне зображення приблизно кожних 200 мілісекунд,

the average time an eye movement is made.

середній час для руху ока.

So by age three, a child would have seen hundreds of millions of pictures

Тож до трирічного віку дитина побачить сотні мільйонів зображень

of the real world.

реального світу.

That's a lot of training examples.

Це дуже багато учбових прикладів.

So instead of focusing solely on better and better algorithms,

Тож, замість того, щоб зосереджуватися виключно на покращенні алгоритмів,

my insight was to give the algorithms the kind of training data

мій здогад полягає в тому, щоб дати алгоритмам певний вид тренувальних даних,

that a child was given through experiences

кількісно і якісно схожих на ті,

in both quantity and quality.

які дитина отримує через досвід.

Once we know this,

Як тільки ми це зрозуміли,

we knew we needed to collect a data set

нам необхідно було зібрати сукупність даних,

that has far more images than we have ever had before,

яка включатиме в себе значно більше зображень, ніж ми мали до цього,

perhaps thousands of times more,

можливо, в тисячі разів більше.

and together with Professor Kai Li at Princeton University,

Разом з професором з Прінстонського університету Кай Лі

we launched the ImageNet project in 2007.

ми заснували проект ImageNet у 2007 році.

Luckily, we didn't have to mount a camera on our head

На щастя, нам не довелося встановлювати камери на голови

and wait for many years.

і чекати протягом багатьох років.

We went to the Internet,

Ми звернулися до Інтернету,

the biggest treasure trove of pictures that humans have ever created.

найбільшої колекції зображень за всю історію людства.

We downloaded nearly a billion images

Ми завантажили близько мільярда зображень

and used crowdsourcing technology like the Amazon Mechanical Turk platform

і за допомогою такої платформи краудсорсингу, як Amazon Mechanical Turk,

to help us to label these images.

ми дали назву кожному зображенню.

At its peak, ImageNet was one of the biggest employers

На своєму піку ImageNet була одним з найбільших роботодавців

of the Amazon Mechanical Turk workers:

для працівників на Amazon Mechanical Turk:

together, almost 50,000 workers

разом майже 50 000 працівників

from 167 countries around the world

з 167 країн світу

helped us to clean, sort and label

допомагали нам чистити, сортувати та називати

nearly a billion candidate images.

майже мільярд зображень-кандидатів.

That was how much effort it took

От скільки знадобилося зусиль,

to capture even a fraction of the imagery

щоб охопити хоча б частину зображень,

a child's mind takes in in the early developmental years.

які дитячий мозок сприймає у перші роки життя.

In hindsight, this idea of using big data

Зараз ця ідея щодо використання великої кількості даних

to train computer algorithms may seem obvious now,

для навчання комп'ютерних алгоритмів, може адаватися очевидною.

but back in 2007, it was not so obvious.

Але у 2007 вона не була настільки очевидною.

We were fairly alone on this journey for quite a while.

Певний час ми були абсолютно самотніми на цьому шляху.

Some very friendly colleagues advised me to do something more useful for my tenure,

Деякі дружні колеги радили мені робити щось більш корисне на моїй посаді,

and we were constantly struggling for research funding.

і ми постійно намагалися знайти фінансування для нашого дослідження.

Once, I even joked to my graduate students

Якось я навіть пожартувала перед моїми випускниками,

that I would just reopen my dry cleaner's shop to fund ImageNet.

що я б знову відкрила свою хімчистку, аби фінансувати ImageNet.

After all, that's how I funded my college years.

Саме так я заробляла гроші, навчаючись в коледжі.

So we carried on.

Тож ми продовжували.

In 2009, the ImageNet project delivered

У 2009 проект ImageNet

a database of 15 million images

мав базу даних у 15 мільйонів зображень

across 22,000 classes of objects and things

з 22 000 класів об'єктів і речей,

organized by everyday English words.

впорядкованих щоденними англійськими словами.

In both quantity and quality,

Кількісно і якісно

this was an unprecedented scale.

це був безпрецедентний масштаб.

As an example, in the case of cats,

Для прикладу, у випадку з котами

we have more than 62,000 cats

ми мали більше 62 000 котів

of all kinds of looks and poses

з усіма видами зовнішності і в усіх позах,

and across all species of domestic and wild cats.

а також усіх порід, як домашніх, так і диких.

We were thrilled to have put together ImageNet,

Ми були у захваті від досягнення ImageNet,

and we wanted the whole research world to benefit from it,

і хотіли, щоб увесь науковий світ мав користь з цього,

so in the TED fashion, we opened up the entire data set

тож, за зразком TED, ми відкрили усі дані

to the worldwide research community for free.

для усього наукового світу безкоштовно.

(Applause)

(Оплески)

Now that we have the data to nourish our computer brain,

Наразі, маючи дані для наповнення мозку комп'ютера,

we're ready to come back to the algorithms themselves.

ми готові повернутися до алгоритмів.

As it turned out, the wealth of information provided by ImageNet

Виявилося, що та велика кількість інформації, отримана з ImageNet,

was a perfect match to a particular class of machine learning algorithms

ідеально підходить для конкретного класу навчальних алгоритмів для машин,

called convolutional neural network,

який називається "згорнутою нейронною мережею",

pioneered by Kunihiko Fukushima, Geoff Hinton, and Yann LeCun

що була розроблена Куніхіко Фукушімою, Геоффом Гінтоном та Янном Лекуном

back in the 1970s and '80s.

у 1970 - 80-х роках.

Just like the brain consists of billions of highly connected neurons,

Подібно до мозку, який складається з мільйонів поєднаних нейронів,

a basic operating unit in a neural network

базова операційна одиниця в нейронній мережі

is a neuron-like node.

складається з нейроноподібних вузлів.

It takes input from other nodes

Вона приймає інформацію від одних вузлів

and sends output to others.

і передає її до інших.

Moreover, these hundreds of thousands or even millions of nodes

Більше того, ці сотні тисяч, або навіть мільйони вузлів

are organized in hierarchical layers,

організовані в ієрархічні шари,

also similar to the brain.

так само, як і мозок.

In a typical neural network we use to train our object recognition model,

Типова нейронна мережа, яку ми використовуємо для тренування

it has 24 million nodes,

нашої моделі розпізнавання об'єкту, має 24 мільйони вузлів,

140 million parameters,

140 мільйонів параметрів

and 15 billion connections.

і 15 мільярдів зв'язків.

That's an enormous model.

Це величезна модель.

Powered by the massive data from ImageNet

Оснащена великою кількістю даних з ImageNet

and the modern CPUs and GPUs to train such a humongous model,

і сучасними процесорами, для тренування такої гігантської моделі,

the convolutional neural network

згорнута нейронна мережа

blossomed in a way that no one expected.

продемонструвала неочікувані результати.

It became the winning architecture

ЇЇ виграшна архітектура

to generate exciting new results in object recognition.

демонструє неймовірні нові результати у розпізнаванні об'єкта.

This is a computer telling us

Це комп'ютер говорить нам,

this picture contains a cat

що на фото є кіт

and where the cat is.

і де саме кіт знаходиться.

Of course there are more things than cats,

Звичайно, на фото є й інші речі, окрім котів,

so here's a computer algorithm telling us

тож комп'ютерний алгоритм каже нам,

the picture contains a boy and a teddy bear;

що на фото є хлопець і плюшевий ведмедик;

a dog, a person, and a small kite in the background;

собака, людина і маленький паперовий змій на задньому плані;

or a picture of very busy things

або фото, на якому багато всього:

like a man, a skateboard, railings, a lampost, and so on.

чоловік, скейтборд, огорожа, ліхтарний стовп і так далі.

Sometimes, when the computer is not so confident about what it sees,

У випадках, коли комп'ютер не впевнений у тому, що він бачить,

we have taught it to be smart enough

ми навчили його бути достатньо розумним

to give us a safe answer instead of committing too much,

і давати припущення, а не брати на себе забагато,

just like we would do,

як і ми самі зробили б.

but other times our computer algorithm is remarkable at telling us

Проте у інших випадках алгоритм нашого комп'ютера

what exactly the objects are,

з вражаючою точністю називає об'єкти,

like the make, model, year of the cars.

такі як марка, модель та рік випуску машин.

We applied this algorithm to millions of Google Street View images

Застосувавши цей алгоритм до мільйонів зображень Google Street View,

across hundreds of American cities,

які включають сотні американських міст,

and we have learned something really interesting:

ми виявили дещо дуже цікаве:

first, it confirmed our common wisdom

по-перше, він підтвердив відому істину про те,

that car prices correlate very well

що ціни на машини залежать від

with household incomes.

прибутків домашніх господарств.

But surprisingly, car prices also correlate well

Але неочікувано виявилося, що ціни на машини також корелюються

with crime rates in cities,

з рівнем злочинності в містах,

or voting patterns by zip codes.

і навіть з моделлю голосування в різних штатах.

So wait a minute. Is that it?

Зачекайте хвилинку. Чи це вже воно?

Has the computer already matched or even surpassed human capabilities?

Чи комп'ютер вже досяг чи навіть перевищив людські можливості?

Not so fast.

Не так швидко.

So far, we have just taught the computer to see objects.

Наразі ми навчили комп'ютер бачити об'єкти.

This is like a small child learning to utter a few nouns.

Так само, як немовля вчиться вимовляти слова.

It's an incredible accomplishment,

Це неймовірне досягнення,

but it's only the first step.

але це лише перший крок.

Soon, another developmental milestone will be hit,

Згодом буде досягнуто наступний етап розвитку,

and children begin to communicate in sentences.

коли діти починають спілкуватися за допомогою речень.

So instead of saying this is a cat in the picture,

Замість того, щоб сказати, що на фото є кіт,

you already heard the little girl telling us this is a cat lying on a bed.

маленька дівчинка каже нам, що є кіт, який лежить на ліжку.

So to teach a computer to see a picture and generate sentences,

Щоб навчити комп'ютер бачити фото і формулювати речення,

the marriage between big data and machine learning algorithm

тісний союз між величезною кількістю даних та навчальним алгоритмом для машин

has to take another step.

повинен запрацювати на новому рівні.

Now, the computer has to learn from both pictures

Зараз комп'ютер повинен навчатися, використовуючи як фото,

as well as natural language sentences

так і речення природної мови,

generated by humans.

за допомогою яких спілкуються люди.

Just like the brain integrates vision and language,

Подібно до того, як мозок поєднує бачення та мову,

we developed a model that connects parts of visual things

ми розробили модель, яка поєднує частини візуальних речей,

like visual snippets

таких як візуальні фрагменти,

with words and phrases in sentences.

зі словами та фразами у реченнях.

About four months ago,

Близько 4 місяців тому,

we finally tied all this together

ми нарешті поєднали усе це докупи

and produced one of the first computer vision models

і створили одну з перших моделей комп'ютерного розпізнавання,

that is capable of generating a human-like sentence

яка здатна створювати подібні до людських речення,

when it sees a picture for the first time.

коли бачить фото вперше.

Now, I'm ready to show you what the computer says

Зараз я продемонструю вам, що говорить комп'ютер,

when it sees the picture

коли бачить фото,

that the little girl saw at the beginning of this talk.

які описувала маленька дівчинка на початку моєї доповіді.

(Video) Computer: A man is standing next to an elephant.

(Відео) Комп'ютер: Чоловік стоїть поряд зі слоном.

A large airplane sitting on top of an airport runway.

Великий літак стоїть на злітно-посадковій смузі.

FFL: Of course, we're still working hard to improve our algorithms,

ФФЛ: Звичайно, ми продовжуємо наполегливо працювати над удосконаленням алгоритмів,

and it still has a lot to learn.

і йому ще треба багато чого навчитися.

(Applause)

(Оплески)

And the computer still makes mistakes.

Комп'ютер все ще допускає помилки.

(Video) Computer: A cat lying on a bed in a blanket.

(Відео) Комп'ютер: Кіт лежить на ліжку в ковдрі.

FFL: So of course, when it sees too many cats,

ФФЛ: Звичайно, коли він бачить дуже багато котів,

it thinks everything might look like a cat.

він вважає, що все має виглядати, як кіт.

(Video) Computer: A young boy is holding a baseball bat.

(Відео) Комп'ютер: Хлопець тримає бейсбольну біту.

(Laughter)

(Сміх)

FFL: Or, if it hasn't seen a toothbrush, it confuses it with a baseball bat.

ФФЛ: Або, якщо він не бачив зубну щітку, він переплутає її з бейсбольною битою.

(Video) Computer: A man riding a horse down a street next to a building.

(Відео) Комп'ютер: Чоловік їде на коні по вулиці біля будинку.

(Laughter)

(Сміх)

FFL: We haven't taught Art 101 to the computers.

ФФЛ: Ми не вчили комп'ютери розуміти мистецтво.

(Video) Computer: A zebra standing in a field of grass.

(Відео) Комп'ютер: Зебра стоїть на полі, вкритому травою.

FFL: And it hasn't learned to appreciate the stunning beauty of nature

ФФЛ: Він не навчився цінувати надзвичайну красу природи,

like you and I do.

як це робимо ми з вами.

So it has been a long journey.

Ми пройшли довгий шлях.

To get from age zero to three was hard.

Було важко дістатися від 0 до 3 років.

The real challenge is to go from three to 13 and far beyond.

Але справжній виклик - це пройти від 3 років до 13 і далі.

Let me remind you with this picture of the boy and the cake again.

Дозвольте мені нагадати вам це фото з хлопчиком і пирогом.

So far, we have taught the computer to see objects

Ми вже навчили комп'ютер бачити об'єкти

or even tell us a simple story when seeing a picture.

і навіть розповідати прості історії про те, що він бачить на фото.

(Video) Computer: A person sitting at a table with a cake.

(Відео) Комп'ютер: Людина сидить за столом з пирогом.

FFL: But there's so much more to this picture

ФФЛ: Але на фото присутні значно більше об'єктів,

than just a person and a cake.

ніж лише людина і пиріг.

What the computer doesn't see is that this is a special Italian cake

Повз увагу комп'ютера проходить те, що це спеціальний італійський пиріг,

that's only served during Easter time.

який їдять виключно на Паску.

The boy is wearing his favorite t-shirt

Хлопець одягнутий у свою улюблену футболку,

given to him as a gift by his father after a trip to Sydney,

яку йому батько привіз із Сіднею.

and you and I can all tell how happy he is

Ми з вами можемо сказати, наскільки він щасливий

and what's exactly on his mind at that moment.

і що саме у нього на думці в цей момент.

This is my son Leo.

Це мій син Лео.

On my quest for visual intelligence,

У моїх пошуках візуального інтелекту

I think of Leo constantly

я постійно думаю про Лео

and the future world he will live in.

і майбутній світ, у якому йому доведеться жити.

When machines can see,

Коли машини зможуть бачити,

doctors and nurses will have extra pairs of tireless eyes

лікарі та медсестри отримають додаткові пари невтомних очей,

to help them to diagnose and take care of patients.

які допомагатимуть їм у діагностуванні та догляді за хворими.

Cars will run smarter and safer on the road.

Машини їздитимуть обачніше і безпечніше на дорогах.

Robots, not just humans,

Роботи, а не лише люди,

will help us to brave the disaster zones to save the trapped and wounded.

допомагатимуть у зонах катастроф рятувати поранених людей.

We will discover new species, better materials,

За допомогою машин ми відкриємо нові види,

and explore unseen frontiers with the help of the machines.

кращі матеріали і дослідимо небачені нові можливості.

Little by little, we're giving sight to the machines.

Потроху ми даємо машинам зір.

First, we teach them to see.

Спочатку ми вчимо їх бачити.

Then, they help us to see better.

Потім вони допоможуть нам бачити краще.

For the first time, human eyes won't be the only ones

Вперше людські очі вже не єдині,

pondering and exploring our world.

що можуть спостерігати і досліджувати наш світ.

We will not only use the machines for their intelligence,

Ми не лише будемо використовувати інтелект машин,

we will also collaborate with them in ways that we cannot even imagine.

ми також будемо співпрацювати з ними різними неймовірними способами.

This is my quest:

Я бачу своє завдання у тому,

to give computers visual intelligence

щоб надати комп'ютерам візуальний інтелект

and to create a better future for Leo and for the world.

і створити краще майбутнє для Лео і для світу.

Thank you.

Дякую

(Applause)

(Оплески)