How computers learn to recognize objects instantly | Joseph Redmon

מתרגם: Zeeva Livshitz מבקר: Ido Dekkers

Ten years ago,

לפני עשר שנים,

computer vision researchers thought that getting a computer

מדעני ראייה ממוחשבת חשבו שלגרום למחשב

to tell the difference between a cat and a dog

להבדיל בין חתול לכלב

would be almost impossible,

יהיה כמעט בלתי אפשרי,

even with the significant advance in the state of artificial intelligence.

אפילו עם התקדמות משמעותית במצב של הבינה המלאכותית.

Now we can do it at a level greater than 99 percent accuracy.

עכשיו אנחנו יכולים לעשות זאת ברמת דיוק של למעלה מ 99 אחוז.

This is called image classification --

זה נקרא סיווג תמונה --

give it an image, put a label to that image --

מעלים תמונה ושמים עליה תווית --

and computers know thousands of other categories as well.

ומחשבים מכירים אלפי קטגוריות אחרות גם כן.

I'm a graduate student at the University of Washington,

אני סטודנט לתואר שני באוניברסיטת וושינגטון,

and I work on a project called Darknet,

ואני עובד על פרויקט שנקרא "דארקנט",

which is a neural network framework

שהוא מסגרת של רשת עצבית

for training and testing computer vision models.

להכשרה ובדיקת מודלים של ראייה ממוחשבת.

So let's just see what Darknet thinks

אז בואו ונראה מה "דארקנט" חושבת

of this image that we have.

על תמונה זו שיש לנו.

When we run our classifier

כאשר אנו מפעילים את המסווג שלנו

on this image,

על התמונה הזו,

we see we don't just get a prediction of dog or cat,

רואים שלא רק מקבלים חיזוי של כלב או חתול,

we actually get specific breed predictions.

אנחנו למעשה מקבלים תחזיות של גזע ספציפי.

That's the level of granularity we have now.

זוהי רמת הפירוט שיש לנו עכשיו.

And it's correct.

והיא נכונה.

My dog is in fact a malamute.

הכלב שלי למעשה הוא מלמוט.

So we've made amazing strides in image classification,

אז עשינו צעדים מדהימים בסיווג תמונות,

but what happens when we run our classifier

אבל מה קורה כשאנו מפעילים את המסווג

on an image that looks like this?

על תמונה שנראית כמו זו?

Well ...

טוב ...

We see that the classifier comes back with a pretty similar prediction.

אנו רואים שהמסווג נותן תחזית די דומה.

And it's correct, there is a malamute in the image,

וזה נכון. יש מלמוט בתמונה.

but just given this label, we don't actually know that much

אבל רק בהתחשב בתווית זו, איננו ממש יודעים כל כך הרבה

about what's going on in the image.

על מה שקורה בתמונה.

We need something more powerful.

אנחנו צריכים משהו חזק יותר.

I work on a problem called object detection,

אני עובד על בעיה שנקראת זיהוי אובייקט,

where we look at an image and try to find all of the objects,

שבה אנו מסתכלים על תמונה ומנסים למצוא את כל האובייקטים,

put bounding boxes around them

שמים קופסאות תוחמות סביבם

and say what those objects are.

ואומרים מה הם אובייקטים אלה:

So here's what happens when we run a detector on this image.

אז זה מה שקורה כשאנו מפעילים גלאי על התמונה הזאת.

Now, with this kind of result,

עכשיו, עם סוג זה של תוצאה,

we can do a lot more with our computer vision algorithms.

נוכל לעשות הרבה יותר עם האלגוריתמים של הראייה הממוחשבת.

We see that it knows that there's a cat and a dog.

אנחנו רואים שהוא מזהה שיש חתול וכלב.

It knows their relative locations,

הוא יודע את המקומות היחסיים שלהם,

their size.

את גודלם.

It may even know some extra information.

הוא אולי אפילו יודע עוד מידע נוסף כלשהו.

There's a book sitting in the background.

יש ספר שמונח ברקע.

And if you want to build a system on top of computer vision,

ואם רוצים לבנות שיטה על גבי ראייה ממוחשבת,

say a self-driving vehicle or a robotic system,

למשל, רכב נהיגה עצמית או מערכת רובוטית,

this is the kind of information that you want.

זה סוג המידע שמעונינים בו.

You want something so that you can interact with the physical world.

רוצים משהו שיאפשר לתקשר עם העולם הפיזי.

Now, when I started working on object detection,

עכשיו, כשהתחלתי לעבוד על זיהוי אובייקט,

it took 20 seconds to process a single image.

לקח 20 שניות כדי לעבד תמונה בודדת.

And to get a feel for why speed is so important in this domain,

וכדי לקבל תחושה לסיבה שמהירות כה חשובה בתחום זה,

here's an example of an object detector

הנה דוגמה של גלאי אובייקט

that takes two seconds to process an image.

שלוקח לו שתי שניות לעבד תמונה.

So this is 10 times faster

אז זה פי 10 מהר יותר

than the 20-seconds-per-image detector,

מה20 שניות לתמונה של גלאי תמונה,

and you can see that by the time it makes predictions,

ואתם יכולים לראות שעד שזה עושה תחזיות,

the entire state of the world has changed,

המצב כולו של העולם השתנה,

and this wouldn't be very useful

וזה לא יהיה מאוד שימושי

for an application.

עבור יישום.

If we speed this up by another factor of 10,

אם נאיץ את זה לפי מקדם נוסף של 10,

this is a detector running at five frames per second.

זה יהיה גלאי שרץ בחמש מסגרות לשנייה.

This is a lot better,

זה הרבה יותר טוב,

but for example,

אבל לדוגמה,

if there's any significant movement,

אם יש תנועה משמעותית,

I wouldn't want a system like this driving my car.

לא הייתי רוצה שמערכת כזו תנהג במכונית שלי.

This is our detection system running in real time on my laptop.

זוהי מערכת האיתור שלנו שרצה בזמן אמת על המחשב הנייד שלי.

So it smoothly tracks me as I move around the frame,

כך היא עוקבת אחרי בצורה חלקה כשאני זז סביב המסגרת,

and it's robust to a wide variety of changes in size,

והיא חסינה למגוון רחב של שינויים בגודל,

pose,

העמדה,

forward, backward.

קדימה, אחורה.

This is great.

זה נהדר.

This is what we really need

זה מה שאנחנו באמת צריכים

if we're going to build systems on top of computer vision.

אם אנחנו הולכים לבנות מערכות על גבי ראייה ממוחשבת.

(Applause)

(מחיאות כפיים)

So in just a few years,

אז תוך שנים אחדות,

we've gone from 20 seconds per image

עברנו מ -20 שניות לתמונה

to 20 milliseconds per image, a thousand times faster.

ל 20 אלפיות השנייה, פי אלף יותר מהר.

How did we get there?

איך הגענו לזה?

Well, in the past, object detection systems

בעבר, מערכות לאיתור אובייקטים

would take an image like this

היו לוקחות תמונה כמו זו

and split it into a bunch of regions

ומפצלות אותה לקבוצה של אזורים

and then run a classifier on each of these regions,

ולאחר מכן מפעילות מסווג על כל אחד מאזורים אלה,

and high scores for that classifier

וציונים גבוהים עבור מסווג זה

would be considered detections in the image.

ייחשבו זיהויים בתמונה.

But this involved running a classifier thousands of times over an image,

אבל זה כרוך בהפעלת מסווג אלפי פעמים על תמונה,

thousands of neural network evaluations to produce detection.

אלפי הערכות של רשת עצבית כדי לייצר זיהוי.

Instead, we trained a single network to do all of detection for us.

במקום זה, הכשרנו רשת אחת לעשות את כל הזיהוי עבורנו.

It produces all of the bounding boxes and class probabilities simultaneously.

היא מייצרת את כל תיבות התחימה ואת סוג ההסתברויות בו זמנית.

With our system, instead of looking at an image thousands of times

עם המערכת שלנו, במקום להסתכל על תמונה אלפי פעמים

to produce detection,

כדי לייצר זיהוי,

you only look once,

מסתכלים רק פעם אחת,

and that's why we call it the YOLO method of object detection.

ולכן אנחנו קוראים לזה שיטת YOLO לזיהוי אובייקט.

So with this speed, we're not just limited to images;

אז עם מהירות זו, איננו מוגבלים רק לתמונות;

we can process video in real time.

אנו יכולים לעבד וידאו בזמן אמת.

And now, instead of just seeing that cat and dog,

ועכשיו, במקום לראות רק את החתול והכלב האלה,

we can see them move around and interact with each other.

אנחנו יכולים לראות אותם נעים סביב ומתקשרים אחד עם השני.

This is a detector that we trained

זהו גלאי שאימנו

on 80 different classes

על 80 סוגים שונים

in Microsoft's COCO dataset.

במערך הנתונים COCO של מיקרוסופט.

It has all sorts of things like spoon and fork, bowl,

יש בו כל מיני דברים כמו כף ומזלג, קערה,

common objects like that.

חפצים רגילים כאלה.

It has a variety of more exotic things:

יש לו מגוון של דברים אקזוטיים יותר:

animals, cars, zebras, giraffes.

חיות, מכוניות, זברות, ג'ירפות.

And now we're going to do something fun.

ועכשיו אנחנו הולכים לעשות משהו מהנה.

We're just going to go out into the audience

אנחנו פשוט יוצאים אל הקהל

and see what kind of things we can detect.

כדי לראות איזה סוג של דברים נוכל לזהות.

Does anyone want a stuffed animal?

האם מישהו רוצה בובת חיה?

There are some teddy bears out there.

יש כמה בובות דובי שם.

And we can turn down our threshold for detection a little bit,

ואנחנו יכול להנמיך מעט את סף הזיהוי שלנו,

so we can find more of you guys out in the audience.

כדי שנוכל למצוא יותר אנשים מביניכם, בקהל.

Let's see if we can get these stop signs.

בואו ונראה אם נוכל לתפוס תמרורי עצור אלה.

We find some backpacks.

אנחנו מוצאים כמה תרמילי גב.

Let's just zoom in a little bit.

בואו פשוט נגדיל קצת.

And this is great.

וזה נהדר.

And all of the processing is happening in real time

וכל העיבוד קורה בזמן אמת

on the laptop.

על המחשב הנייד.

And it's important to remember

וחשוב לזכור

that this is a general purpose object detection system,

שזוהי מערכת זיהוי אובייקט למטרה כללית,

so we can train this for any image domain.

כך שנוכל להכשיר אותה עבור תמונה מכל תחום.

The same code that we use

אותו קוד שבו אנו משתמשים

to find stop signs or pedestrians,

כדי למצוא שלטי עצור או הולכי רגל,

bicycles in a self-driving vehicle,

אופניים ברכב לנהיגה עצמית,

can be used to find cancer cells

יכול לשמש כדי למצוא תאים סרטניים

in a tissue biopsy.

בביופסיה של רקמה.

And there are researchers around the globe already using this technology

ויש חוקרים ברחבי העולם שכבר משתמשים בטכנולוגיה זו

for advances in things like medicine, robotics.

לקדם תחומים כמו רפואה, ורובוטיקה.

This morning, I read a paper

הבוקר קראתי עיתון

where they were taking a census of animals in Nairobi National Park

שבו ערכו מפקד של בעלי חיים בפארק הלאומי של ניירובי

with YOLO as part of this detection system.

עם YOLO כחלק של מערכת זיהוי זו.

And that's because Darknet is open source

וזה בגלל ש "דארקנט" הוא קוד פתוח

and in the public domain, free for anyone to use.

עבור רשות הרבים, וללא תשלום, לכל מי שרוצה להשתמש,

(Applause)

(מחיאות כפיים)

But we wanted to make detection even more accessible and usable,

אבל רצינו לעשות את הזיהוי לאפילו יותר נגיש ושמיש,

so through a combination of model optimization,

כך שבאמצעות שילוב של אופטימיזציה של המודל,

network binarization and approximation,

בינאריזציה ואומדנות של רשת,

we actually have object detection running on a phone.

יש לנו למעשה זיהוי אובייקט שרץ בטלפון.

(Applause)

(מחיאות כפיים)

And I'm really excited because now we have a pretty powerful solution

ואני באמת מתרגש כי עכשיו יש לנו פתרון די חזק

to this low-level computer vision problem,

לבעיית ראייה ממוחשבת ברמה נמוכה זו.

and anyone can take it and build something with it.

וכל אחד יכול לקחת את זה ולבנות עם זה משהו.

So now the rest is up to all of you

אז עכשיו כל השאר תלוי בכם

and people around the world with access to this software,

ובאנשים ברחבי העולם עם גישה לתוכנה זו,

and I can't wait to see what people will build with this technology.

ואני לא יכול לחכות לראות מה אנשים יבנו עם טכנולוגיה זו.

Thank you.

תודה רבה.

(Applause)

(מחיאות כפיים)