How computers learn to recognize objects instantly | Joseph Redmon

Übersetzung: Janine Drotschmann Lektorat: Sonja Maria Neef

Ten years ago,

Vor zehn Jahren

computer vision researchers thought that getting a computer

gingen Forscher für Maschinelles Sehen davon aus,

to tell the difference between a cat and a dog

dass es für einen Computer kaum möglich sei,

eine Katze von einem Hund zu unterscheiden,

would be almost impossible,

even with the significant advance in the state of artificial intelligence.

trotz großer Fortschritte auf dem Feld der Künstlichen Intelligenz.

Now we can do it at a level greater than 99 percent accuracy.

Mittlerweile ist das zu über 99% möglich.

This is called image classification --

Man nennt diese Aufgabe "Bildklassifikation".

give it an image, put a label to that image --

Sie geben dem Computer ein Bild mit einer expliziten Bezeichnung,

and computers know thousands of other categories as well.

und der Computer kennt zusätzlich tausende weiterer Kategorien dafür.

I'm a graduate student at the University of Washington,

Ich studiere an der Universität von Washington

and I work on a project called Darknet,

und arbeite an einem Projekt namens "Darknet",

which is a neural network framework

einem Framework für neurale Netzwerke,

for training and testing computer vision models.

mit dem Modelle zur Bilderkennung trainiert und getestet werden.

So let's just see what Darknet thinks

Sehen wir mal, was Darknet

of this image that we have.

über das Bild denkt, das wir hier haben.

When we run our classifier

Wenn wir unseren Klassifikator

on this image,

auf dieses Bild loslassen,

we see we don't just get a prediction of dog or cat,

sehen wir, dass nicht nur "Hund" oder "Katze" vorausgesagt wird,

we actually get specific breed predictions.

er gibt sogar eine Aussage über die konkrete Rasse.

That's the level of granularity we have now.

Dieser Genauigkeitsgrad ist im Moment möglich.

And it's correct.

Und es stimmt --

My dog is in fact a malamute.

es handelt sich tatsächlich um einen Alaskan Malamute.

So we've made amazing strides in image classification,

Wir haben beachtliche Fortschritte in der Bildklassifikation gemacht.

but what happens when we run our classifier

Was aber passiert, wenn wir unserem Klassifikator

on an image that looks like this?

ein solches Bild vorlegen?

Well ...

Nun ...

We see that the classifier comes back with a pretty similar prediction.

Wir sehen, dass der Klassifikator so ziemlich das gleiche Ergebnis liefert.

And it's correct, there is a malamute in the image,

Und es stimmt wieder -- da ist ein Malamute abgebildet.

but just given this label, we don't actually know that much

Doch mit dieser Aussage allein wissen wir noch nicht viel darüber,

about what's going on in the image.

was sich genau in dem Bild abspielt.

We need something more powerful.

Wir brauchen etwas Leisungsfähigeres.

I work on a problem called object detection,

Ich arbeite an einer Aufgabe namens "Objekterkennung".

where we look at an image and try to find all of the objects,

Hier versuchen wir, alle Objekte in einem Bild zu erkennen.

put bounding boxes around them

Wir ziehen um jedes Objekt eine Markierungsbox

and say what those objects are.

und versehen sie mit einer Bezeichnung.

So here's what happens when we run a detector on this image.

Jetzt sehen wir, was der Erkenner über das Bild sagt.

Now, with this kind of result,

Mit dieser Art Ergebnis können wir

we can do a lot more with our computer vision algorithms.

viel mehr mit den Algorithmen des Maschinellen Sehens anfangen.

We see that it knows that there's a cat and a dog.

Wir sehen, dass eine Katze und ein Hund erkannt wird.

It knows their relative locations,

Der Erkenner liefert ihre relativen Positionen im Bild,

their size.

ihre Größe,

It may even know some extra information.

und vielleicht sogar noch mehr:

There's a book sitting in the background.

Im Hintergrund ist ein Buch zu sehen.

And if you want to build a system on top of computer vision,

Wenn man das Maschinelle Sehen in einem größeren System nutzen will,

say a self-driving vehicle or a robotic system,

etwa in einem selbstfahrenden Fahrzeug oder einem Robotsystem,

this is the kind of information that you want.

braucht man genau solche Informationen,

You want something so that you can interact with the physical world.

auf deren Basis man mit der physischen Welt interagieren kann.

Als ich damit anfing, in der Objekterkennung zu arbeiten,

Now, when I started working on object detection,

it took 20 seconds to process a single image.

dauerte die Verarbeitung zwanzig Sekunden für jedes einzelne Bild.

And to get a feel for why speed is so important in this domain,

Um ein Gefühl dafür zu bekommen, warum Geschwindigkeit hier so wichtig ist,

here's an example of an object detector

zeige ich Ihnen einen Objekterkenner,

that takes two seconds to process an image.

der zwei Sekunden braucht, um ein Einzelbild zu verarbeiten --

So this is 10 times faster

was bereits zehnmal schneller ist

than the 20-seconds-per-image detector,

als der Zwanzig-Sekunden-Klassifikator.

and you can see that by the time it makes predictions,

Bis dieser Erkenner seine Voraussagen bekannt gibt,

the entire state of the world has changed,

hat sich der Zustand der Welt bereits völlig verändert.

and this wouldn't be very useful

Das wäre für die praktische Anwendung

for an application.

völlig ungeeignet.

If we speed this up by another factor of 10,

Wenn wir ihn noch einmal zehnmal schneller machen,

this is a detector running at five frames per second.

verarbeitet der Erkenner fünf Bilder pro Sekunde.

This is a lot better,

Das ist deutlich besser.

but for example,

Wenn jedoch beispielsweise

if there's any significant movement,

eine nennenswerte Bewegung stattfindet --

I wouldn't want a system like this driving my car.

Ich würde nicht wollen, dass ein solches System mein Auto steuert.

This is our detection system running in real time on my laptop.

Das ist unser Erkennungssystem. Es läuft in Echtzeit auf meinem Laptop.

So it smoothly tracks me as I move around the frame,

Es verfolgt mich flüssig, während ich mich im Bildbereich bewege,

and it's robust to a wide variety of changes in size,

ist robust gegenüber Veränderungen der Größe,

pose,

der Stellung,

forward, backward.

Vorder- oder Rückseite.

This is great.

Das ist großartig.

This is what we really need

So etwas brauchen wir,

if we're going to build systems on top of computer vision.

wenn wir das Maschinelle Sehen in Systeme einbauen wollen.

(Applause)

(Applaus)

So in just a few years,

In nur ein paar Jahren

we've gone from 20 seconds per image

haben wir es von zwanzig Sekunden pro Bild

to 20 milliseconds per image, a thousand times faster.

zu zwanzig Millisekunden pro Bild geschafft. Eintausendmal schneller.

How did we get there?

Wie haben wir das gemacht?

Well, in the past, object detection systems

Nun, in der Vergangenheit nahmen Objekterkenner

would take an image like this

ein solches Bild

and split it into a bunch of regions

und teilten es in viele kleinere Bereiche ein.

and then run a classifier on each of these regions,

Der Klassifikator verarbeitete jeden einzelnen dieser Bereiche.

and high scores for that classifier

Erreichte etwas einen hohen Score im Klassifikator,

would be considered detections in the image.

wurde es als erkanntes Objekt gewertet.

But this involved running a classifier thousands of times over an image,

Dies bedeutete aber, den Klassifikator tausende Male für ein Bild anzuwenden.

thousands of neural network evaluations to produce detection.

Tausende von Auswertungen neuraler Netzwerke für die Erkennung.

Instead, we trained a single network to do all of detection for us.

Wir haben stattdessen ein einzelnes neurales Netzwerk trainiert,

It produces all of the bounding boxes and class probabilities simultaneously.

das alle Markierungsboxen und Wahrscheinlichkeiten simultan berechnet.

With our system, instead of looking at an image thousands of times

Unser System ermöglicht es, statt tausende Male ein Bild anzusehen,

um die Objekte darin zu erkennen,

to produce detection,

you only look once,

das Bild nur ein einziges Mal anzusehen.

and that's why we call it the YOLO method of object detection.

Deswegen nennen wir unsere Methode der Objekterkennung "YOLO".

So with this speed, we're not just limited to images;

Mit einer solchen Geschwindigkeit sind wir nicht auf Bilder beschränkt --

we can process video in real time.

wir können ganze Videos in Echtzeit verarbeiten.

And now, instead of just seeing that cat and dog,

Statt nur eine Katze und einen Hund zu sehen,

we can see them move around and interact with each other.

können wir beobachten, wie sie sich bewegen und interagieren.

This is a detector that we trained

Diesen Erkenner haben wir

on 80 different classes

auf 80 verschiedene Klassen

in Microsoft's COCO dataset.

aus Microsofts COCO-Daten trainiert.

It has all sorts of things like spoon and fork, bowl,

Er kennt alle möglichen Objekte wie Löffel, Gabel, Schüssel --

common objects like that.

alltägliche Gegenstände,

It has a variety of more exotic things:

aber auch exotischere:

animals, cars, zebras, giraffes.

Tiere, Autos, Zebras, Giraffen.

And now we're going to do something fun.

Jetzt machen wir etwas Lustiges.

We're just going to go out into the audience

Wir richten die Kamera auf das Publikum

and see what kind of things we can detect.

und sehen, was wir erkennen können.

Does anyone want a stuffed animal?

Möchte jemand ein Plüschtier?

There are some teddy bears out there.

Hier sind ein paar Teddybären.

And we can turn down our threshold for detection a little bit,

Wir können die Empfindlichkeit des Erkenners ein wenig senken,

so we can find more of you guys out in the audience.

um mehr einzelne Personen im Publikum zu erkennen.

Let's see if we can get these stop signs.

Lassen Sie uns sehen, ob wir diese Stoppschilder bekommen.

We find some backpacks.

Wir sehen einige Rucksäcke ...

Let's just zoom in a little bit.

Wir zoomen etwas hinein ...

And this is great.

Das ist großartig.

And all of the processing is happening in real time

Die gesamte Verarbeitung passiert in Echtzeit

on the laptop.

auf dem Laptop.

And it's important to remember

Man darf nicht vergessen,

that this is a general purpose object detection system,

dass das ein ganz allgemeines Objekterkennungssystem ist.

so we can train this for any image domain.

Wir können es also für jede Art von Bildern trainieren.

Denselben Code, den wir benutzen,

The same code that we use

to find stop signs or pedestrians,

damit ein selbstfahrendes Fahrzeug Stoppschilder, Fußgänger

bicycles in a self-driving vehicle,

oder Fahrräder erkennen kann,

can be used to find cancer cells

kann man auch nutzen, um Krebszellen

in a tissue biopsy.

in einer Gewebeprobe ausfindig zu machen.

And there are researchers around the globe already using this technology

Forscher auf der ganzen Welt nutzen diese Technologie bereits,

for advances in things like medicine, robotics.

um Fortschritte auf Gebieten wie Medizin oder Robotik zu erzielen.

This morning, I read a paper

Heute morgen habe ich einen Fachartikel gelesen:

where they were taking a census of animals in Nairobi National Park

Im Nationalpark von Nairobi wurde eine Zählung der Tiere vorgenommen,

with YOLO as part of this detection system.

mit YOLO als Teil des Erkennungssystems.

And that's because Darknet is open source

Das ist möglich, weil Darknet quelloffen,

and in the public domain, free for anyone to use.

frei zugänglich und für alle verwendbar ist.

(Applause)

(Applaus)

But we wanted to make detection even more accessible and usable,

Aber wir wollten Bilderkennung sogar noch leichter nutzbar machen.

so through a combination of model optimization,

Daher haben wir durch Modelloptimierung,

Binarisierung des neuralen Netzes und Approximation erreicht,

network binarization and approximation,

we actually have object detection running on a phone.

dass die Objekterkennung sogar auf einem Mobiltelefon läuft.

(Applause)

(Applaus)

And I'm really excited because now we have a pretty powerful solution

Das ist aufregend, weil wir damit eine ziemlich mächtige Lösung

to this low-level computer vision problem,

für dieses grundlegende Problem des Maschinellen Sehens haben.

and anyone can take it and build something with it.

Jeder kann sie nutzen und etwas damit bauen.

So now the rest is up to all of you

Nun liegt es bei Ihnen

and people around the world with access to this software,

und allen Menschen auf der Welt mit Zugang zu dieser Software.

and I can't wait to see what people will build with this technology.

Ich bin gespannt zu sehen, welche Ideen sie mit dieser Technologie umsetzen.

Thank you.

Vielen Dank.

(Applause)

(Applaus)