The wonderful and terrifying implications of computers that can learn | Jeremy Howard

595,302 views ・ 2014-12-16

TED


Bitte doppelklicken Sie auf die englischen Untertitel unten, um das Video abzuspielen.

Übersetzung: Hannah Crass Lektorat: Angelika Lueckert Leon
00:12
It used to be that if you wanted to get a computer to do something new,
0
12880
4013
Wenn man früher wollte, dass ein Computer etwas Neues tat,
00:16
you would have to program it.
1
16893
1554
musste man ihn programmieren.
00:18
Now, programming, for those of you here that haven't done it yourself,
2
18447
3411
Für alle, die es noch nie selbst probiert haben:
00:21
requires laying out in excruciating detail
3
21858
3502
Beim Programmieren muss man bis ins kleinste Detail
00:25
every single step that you want the computer to do
4
25360
3367
jeden einzelnen Schritt definieren, den der Computer erledigen soll,
00:28
in order to achieve your goal.
5
28727
2362
um sein Ziel zu erreichen.
00:31
Now, if you want to do something that you don't know how to do yourself,
6
31089
3496
Will man also etwas tun, was man selbst noch nicht kann,
00:34
then this is going to be a great challenge.
7
34585
2063
dann wird das eine große Herausforderung.
00:36
So this was the challenge faced by this man, Arthur Samuel.
8
36648
3483
Dieser Herausforderung stellte sich dieser Mann, Arthur Samuel.
00:40
In 1956, he wanted to get this computer
9
40131
4077
1956 wollte er diesem Computer beibringen,
00:44
to be able to beat him at checkers.
10
44208
2340
ihn im Spiel Dame zu schlagen.
00:46
How can you write a program,
11
46548
2040
Wie kann man ein Programm schreiben
00:48
lay out in excruciating detail, how to be better than you at checkers?
12
48588
3806
und bis ins kleinste Detail definieren, wie man sich selbst in Dame übertrifft?
00:52
So he came up with an idea:
13
52394
1722
Also hatte er eine Idee:
00:54
he had the computer play against itself thousands of times
14
54116
3724
Er ließ den Computer tausende Male gegen sich selbst spielen,
00:57
and learn how to play checkers.
15
57840
2524
sodass er Dame spielen lernte.
01:00
And indeed it worked, and in fact, by 1962,
16
60364
3180
Das funktionierte wirklich, und schon 1962
01:03
this computer had beaten the Connecticut state champion.
17
63544
4017
besiegte dieser Computer den Landesmeister von Connecticut.
01:07
So Arthur Samuel was the father of machine learning,
18
67561
2973
Arthur Samuel war also der Urvater des Maschinellen Lernens
01:10
and I have a great debt to him,
19
70534
1717
und ich schulde ihm viel,
01:12
because I am a machine learning practitioner.
20
72251
2763
denn ich bin ein Fachmann im Maschinellen Lernen.
01:15
I was the president of Kaggle,
21
75014
1465
Ich war Präsident von Kaggle,
01:16
a community of over 200,000 machine learning practictioners.
22
76479
3388
einer Plattform von über 200 000 Fachleuten für Maschinelles Lernen.
01:19
Kaggle puts up competitions
23
79867
2058
Kaggle veranstaltet Wettbewerbe,
01:21
to try and get them to solve previously unsolved problems,
24
81925
3708
bei denen bisher ungelöste Probleme gelöst werden sollen,
01:25
and it's been successful hundreds of times.
25
85633
3837
und das war schon hunderte Male erfolgreich.
01:29
So from this vantage point, I was able to find out
26
89470
2470
Aus dieser Warte habe ich viel darüber gelernt,
01:31
a lot about what machine learning can do in the past, can do today,
27
91940
3950
was Maschinelles Lernen früher konnte, was es heute kann
01:35
and what it could do in the future.
28
95890
2362
und was es zukünftig vollbringen könnte.
01:38
Perhaps the first big success of machine learning commercially was Google.
29
98252
4423
Der vielleicht erste kommerzielle Erfolg im Maschinellen Lernen war Google.
01:42
Google showed that it is possible to find information
30
102675
3109
Google hat bewiesen, dass man Informationen
01:45
by using a computer algorithm,
31
105784
1752
über einen Computeralgorithmus finden kann,
01:47
and this algorithm is based on machine learning.
32
107536
2901
der auf Maschinellem Lernen basiert.
01:50
Since that time, there have been many commercial successes of machine learning.
33
110437
3886
Seitdem gab es viele kommerzielle Erfolge im Maschinellen Lernen.
01:54
Companies like Amazon and Netflix
34
114323
1837
Firmen wie Amazon oder Netflix
01:56
use machine learning to suggest products that you might like to buy,
35
116160
3716
nutzen Maschinelles Lernen für Kaufempfehlungen
01:59
movies that you might like to watch.
36
119876
2020
oder Filmvorschläge.
02:01
Sometimes, it's almost creepy.
37
121896
1807
Manchmal ist das beinahe gruselig.
02:03
Companies like LinkedIn and Facebook
38
123703
1954
Firmen wie LinkedIn oder Facebook
02:05
sometimes will tell you about who your friends might be
39
125657
2594
schlagen Ihnen manchmal neue Freunde vor
02:08
and you have no idea how it did it,
40
128251
1977
und Sie haben keine Ahnung, wie das geht,
02:10
and this is because it's using the power of machine learning.
41
130228
2967
und genau das ist die Macht des Maschinellen Lernens.
02:13
These are algorithms that have learned how to do this from data
42
133195
2957
Diese Algorithmen haben anhand vorhandener Daten gelernt,
02:16
rather than being programmed by hand.
43
136152
3247
anstatt von Hand programmiert zu werden.
02:19
This is also how IBM was successful
44
139399
2478
So konnte auch IBM Watson dazu bringen,
02:21
in getting Watson to beat the two world champions at "Jeopardy,"
45
141877
3862
die zwei Weltmeister der Quizshow "Jeopardy" zu schlagen,
02:25
answering incredibly subtle and complex questions like this one.
46
145739
3225
wo man knifflige, komplexe Fragen beantworten musste, z. B.:
02:28
["The ancient 'Lion of Nimrud' went missing from this city's national museum in 2003 (along with a lot of other stuff)"]
47
148964
2835
["2003 verschwand u. a. der antike 'Löwe von Nimrud'
aus dem Museum dieser Stadt."]
02:31
This is also why we are now able to see the first self-driving cars.
48
151799
3235
Daher gibt es nun erste selbstfahrende Autos.
02:35
If you want to be able to tell the difference between, say,
49
155034
2822
Will man den Unterschied
02:37
a tree and a pedestrian, well, that's pretty important.
50
157856
2632
etwa zwischen Baum und Fußgänger erkennen, ist das wichtig.
02:40
We don't know how to write those programs by hand,
51
160488
2587
Wir wissen nicht, wie man solche Programme schreibt,
02:43
but with machine learning, this is now possible.
52
163075
2997
aber durch Maschinelles Lernen ist das jetzt möglich.
02:46
And in fact, this car has driven over a million miles
53
166072
2608
Dieses Auto ist schon über 1 Mio. km
02:48
without any accidents on regular roads.
54
168680
3506
ohne den kleinsten Unfall auf normalen Straßen gefahren.
02:52
So we now know that computers can learn,
55
172196
3914
Wir wissen also, dass Computer lernen können
02:56
and computers can learn to do things
56
176110
1900
und dass sie auch Dinge lernen können,
02:58
that we actually sometimes don't know how to do ourselves,
57
178010
2838
von denen wir nicht wissen, wie sie funktionieren,
03:00
or maybe can do them better than us.
58
180848
2885
und manchmal sogar besser als wir.
03:03
One of the most amazing examples I've seen of machine learning
59
183733
4195
Eines der faszinierendsten Beispiele für Maschinelles Lernen
03:07
happened on a project that I ran at Kaggle
60
187928
2392
habe ich bei einem meiner Kaggle-Projekte gesehen,
03:10
where a team run by a guy called Geoffrey Hinton
61
190320
3591
als ein Team unter der Leitung von Geoffrey Hinton
03:13
from the University of Toronto
62
193911
1552
von der Universität Toronto
03:15
won a competition for automatic drug discovery.
63
195463
2677
den Wettstreit für automatische Drogenerkennung gewann.
03:18
Now, what was extraordinary here is not just that they beat
64
198140
2847
Außergewöhnlich war daran nicht nur ihr Sieg
03:20
all of the algorithms developed by Merck or the international academic community,
65
200987
4013
gegen all die Algorithmen von Merck und der internationalen akademischen Welt,
03:25
but nobody on the team had any background in chemistry or biology or life sciences,
66
205000
5061
sondern, dass das Team kein Vorwissen zu Chemie oder Biowissenschaften hatte
03:30
and they did it in two weeks.
67
210061
2169
und nur zwei Wochen brauchte.
03:32
How did they do this?
68
212230
1381
Wie haben sie das gemacht?
03:34
They used an extraordinary algorithm called deep learning.
69
214421
2921
Sie nutzten einen besonderen Algorithmus namens Deep Learning.
03:37
So important was this that in fact the success was covered
70
217342
2949
Ihr Erfolg war so bedeutend,
dass er wenig später auf der Titelseite der NY Times erschien.
03:40
in The New York Times in a front page article a few weeks later.
71
220291
3121
03:43
This is Geoffrey Hinton here on the left-hand side.
72
223412
2735
Hier auf der linken Seite sehen Sie Geoffrey Hinton.
03:46
Deep learning is an algorithm inspired by how the human brain works,
73
226147
4341
Deep Learning basiert auf der Funktion des menschlichen Gehirns
03:50
and as a result it's an algorithm
74
230488
1812
und deswegen ist es ein Algorithmus,
03:52
which has no theoretical limitations on what it can do.
75
232300
3841
dessen Funktion theoretisch keine Grenzen gesetzt sind.
03:56
The more data you give it and the more computation time you give it,
76
236141
2823
Je mehr Daten und Rechenzeit man hat,
03:58
the better it gets.
77
238964
1312
desto besser wird er.
04:00
The New York Times also showed in this article
78
240276
2339
Die New York Times zeigte in ihrem Artikel
04:02
another extraordinary result of deep learning
79
242615
2242
noch ein Resultat des Deep Learning,
04:04
which I'm going to show you now.
80
244857
2712
das ich Ihnen jetzt vorstellen will.
04:07
It shows that computers can listen and understand.
81
247569
4941
Es beweist, dass Computer zuhören und verstehen können.
04:12
(Video) Richard Rashid: Now, the last step
82
252510
2711
Richard Rashid (Video): Als letzten Schritt in diesem Prozess
04:15
that I want to be able to take in this process
83
255221
3025
04:18
is to actually speak to you in Chinese.
84
258246
4715
werde ich Chinesisch mit Ihnen sprechen.
04:22
Now the key thing there is,
85
262961
2635
Als wichtigsten Schritt haben wir
04:25
we've been able to take a large amount of information from many Chinese speakers
86
265596
5002
anhand großer Informationsmengen von vielen Chinesisch-Sprechern
04:30
and produce a text-to-speech system
87
270598
2530
ein Text-zu-Sprache-System gebaut,
04:33
that takes Chinese text and converts it into Chinese language,
88
273128
4673
das chinesischen Text in chinesche Sprache umwandelt,
04:37
and then we've taken an hour or so of my own voice
89
277801
4128
und dann haben wir eine etwa einstündige Aufnahme meiner Stimme benutzt,
04:41
and we've used that to modulate
90
281929
1891
04:43
the standard text-to-speech system so that it would sound like me.
91
283820
4544
um das Text-zu-Sprache-System so zu ändern, dass es wie ich klingt.
04:48
Again, the result's not perfect.
92
288364
2540
Wieder ist das Ergebnis nicht perfekt.
04:50
There are in fact quite a few errors.
93
290904
2648
Eigentlich hat es sogar ganz schön viele Fehler.
04:53
(In Chinese)
94
293552
2484
(Auf Chinesisch)
04:56
(Applause)
95
296036
3367
(Applaus)
05:01
There's much work to be done in this area.
96
301446
3576
In diesem Bereich ist noch viel zu tun.
05:05
(In Chinese)
97
305022
3645
(Chinesisch)
05:08
(Applause)
98
308667
3433
(Applaus)
05:13
Jeremy Howard: Well, that was at a machine learning conference in China.
99
313345
3399
Jeremy Howard: Das war eine Konferenz zu Maschinellem Lernen in China.
05:16
It's not often, actually, at academic conferences
100
316744
2370
Übrigens hört man bei akademischen Konferenzen
05:19
that you do hear spontaneous applause,
101
319114
1897
nur ganz selten Zwischenapplaus,
05:21
although of course sometimes at TEDx conferences, feel free.
102
321011
3676
obwohl das bei TEDx-Konferenzen durchaus erwünscht sein kann.
05:24
Everything you saw there was happening with deep learning.
103
324687
2795
Was Sie eben gesehen haben, basiert auf Deep Learning.
05:27
(Applause) Thank you.
104
327482
1525
(Applaus) Danke!
05:29
The transcription in English was deep learning.
105
329007
2282
Die englische Transkription war Deep Learning.
05:31
The translation to Chinese and the text in the top right, deep learning,
106
331289
3412
Die Übersetzung ins Chinesische und der Text rechts oben – Deep Learning
05:34
and the construction of the voice was deep learning as well.
107
334701
3307
und die Modellierung der Stimme -- ebenfalls Deep Learning.
05:38
So deep learning is this extraordinary thing.
108
338008
3234
Deep Learning ist also eine außergewöhnliche Sache.
05:41
It's a single algorithm that can seem to do almost anything,
109
341242
3099
Es ist ein einziger Algorithmus, der scheinbar fast alles kann
05:44
and I discovered that a year earlier, it had also learned to see.
110
344341
3111
und ich fand heraus, dass er ein Jahr zuvor sehen gelernt hatte.
05:47
In this obscure competition from Germany
111
347452
2176
Bei einem obskuren Wettbewerb der Ruhr-Universität Bochum
05:49
called the German Traffic Sign Recognition Benchmark,
112
349628
2597
zum Erkennen von Verkehrszeichen
05:52
deep learning had learned to recognize traffic signs like this one.
113
352225
3393
hat Deep Learning gelernt, Verkehrszeichen wie dieses zu erkennen.
05:55
Not only could it recognize the traffic signs
114
355618
2094
Er konnte Verkehrszeichen nicht nur
05:57
better than any other algorithm,
115
357712
1758
besser als andere Algorithmen erkennen;
05:59
the leaderboard actually showed it was better than people,
116
359470
2719
die Rangliste zeigte, dass er sogar Menschen übertraf
06:02
about twice as good as people.
117
362189
1852
und zwar um das Doppelte.
06:04
So by 2011, we had the first example
118
364041
1996
2011 gab es also das erste Beispiel
06:06
of computers that can see better than people.
119
366037
3405
für Computer, die besser sehen können als Menschen.
06:09
Since that time, a lot has happened.
120
369442
2049
Seitdem ist viel passiert.
06:11
In 2012, Google announced that they had a deep learning algorithm
121
371491
3514
2012 gab Google bekannt, dass sie einen Deep-Learning-Algorithmus
06:15
watch YouTube videos
122
375005
1415
Youtube Videos schauen ließen
06:16
and crunched the data on 16,000 computers for a month,
123
376420
3437
und die Daten auf 16 000 Computern einen Monat lang berechnen ließen
06:19
and the computer independently learned about concepts such as people and cats
124
379857
4361
und dass der Computer allein Konzepte wie Menschen oder Katzen
einzig durch das Betrachten von Videos erkannt hat.
06:24
just by watching the videos.
125
384218
1809
06:26
This is much like the way that humans learn.
126
386027
2352
Menschen lernen sehr ähnlich.
06:28
Humans don't learn by being told what they see,
127
388379
2740
Sie lernen nicht, indem man ihnen sagt, was sie sehen,
06:31
but by learning for themselves what these things are.
128
391119
3331
sondern sie lernen selbst, was diese Dinge sind.
06:34
Also in 2012, Geoffrey Hinton, who we saw earlier,
129
394450
3369
Übrigens hat 2012 Geoffrey Hinton, den wir vorher gesehen haben,
06:37
won the very popular ImageNet competition,
130
397819
2858
den beliebten ImageNet-Wettbewerb mit seinem Versuch gewonnen,
06:40
looking to try to figure out from one and a half million images
131
400677
4141
auf 1,5 Mio. Bildern die Motive zu erkennen.
06:44
what they're pictures of.
132
404818
1438
06:46
As of 2014, we're now down to a six percent error rate
133
406256
3533
2014 sind wir mittlerweile nur noch bei einer 6%igen Fehlerrate
06:49
in image recognition.
134
409789
1453
bei der Bilderkennung.
06:51
This is better than people, again.
135
411242
2026
Das ist wiederum besser als Menschen.
06:53
So machines really are doing an extraordinarily good job of this,
136
413268
3769
Maschinen sind dabei also außergewöhnlich gut
06:57
and it is now being used in industry.
137
417037
2269
und das wird nun auch in der Wirtschaft genutzt.
06:59
For example, Google announced last year
138
419306
3042
Zum Beispiel hat Google letztes Jahr bekanntgegeben,
07:02
that they had mapped every single location in France in two hours,
139
422348
4585
dass sie jeden Ort Frankreichs in nur 2 Stunden kartografiert hätten,
07:06
and the way they did it was that they fed street view images
140
426933
3447
indem sie Street-View-Bilder in einen Deep-Learning-Algorithmus einspeisten,
07:10
into a deep learning algorithm to recognize and read street numbers.
141
430380
4319
der dann Hausnummern erkennen und lesen konnte.
07:14
Imagine how long it would have taken before:
142
434699
2220
Davor hätte es dutzende Leute und viele Jahre gebraucht.
07:16
dozens of people, many years.
143
436919
3355
07:20
This is also happening in China.
144
440274
1911
Dasselbe passiert in China.
07:22
Baidu is kind of the Chinese Google, I guess,
145
442185
4036
Baidu ist sowas wie das chinesische Google,
07:26
and what you see here in the top left
146
446221
2283
und was Sie hier oben links sehen,
07:28
is an example of a picture that I uploaded to Baidu's deep learning system,
147
448504
3974
ist z. B. ein Bild, das ich in Baidus Deep-Learning-System hochgeladen habe.
07:32
and underneath you can see that the system has understood what that picture is
148
452478
3769
Darunter sehen Sie, dass das System das Bild verstanden
07:36
and found similar images.
149
456247
2236
und ähnliche Bilder gefunden hat.
07:38
The similar images actually have similar backgrounds,
150
458483
2736
Die ähnlichen Bilder haben ähnliche Hintergründe,
07:41
similar directions of the faces,
151
461219
1658
ähnliche Gesichts-Ausrichtung,
07:42
even some with their tongue out.
152
462877
1788
manche sogar die rausgestreckte Zunge.
07:44
This is not clearly looking at the text of a web page.
153
464665
3030
Das System schaut eindeutig nicht auf den Text einer Website.
07:47
All I uploaded was an image.
154
467695
1412
Es hatte nur ein Bild.
07:49
So we now have computers which really understand what they see
155
469107
4021
Also haben wir jetzt Computer, die wirklich verstehen, was sie sehen,
07:53
and can therefore search databases
156
473128
1624
und daher Datenbanken
07:54
of hundreds of millions of images in real time.
157
474752
3554
mit vielen Millionen Bildern in Echtzeit durchsuchen können.
07:58
So what does it mean now that computers can see?
158
478306
3230
Aber was bedeutet es nun, dass Computer sehen können?
08:01
Well, it's not just that computers can see.
159
481536
2017
Tja, es ist nicht nur so, dass sie sehen.
08:03
In fact, deep learning has done more than that.
160
483553
2069
Genau genommen kann Deep Leaning noch mehr.
08:05
Complex, nuanced sentences like this one
161
485622
2948
Komplexe, differenzierte Sätze wie dieser
08:08
are now understandable with deep learning algorithms.
162
488570
2824
können nun mit Deep-Learning-Algorithmen verstanden werden.
08:11
As you can see here,
163
491394
1303
Wie Sie hier sehen können,
08:12
this Stanford-based system showing the red dot at the top
164
492697
2768
zeigt dieses System aus Stanford mit dem roten Punkt oben,
08:15
has figured out that this sentence is expressing negative sentiment.
165
495465
3919
dass es die negative Botschaft des Satzes erkannt hat.
08:19
Deep learning now in fact is near human performance
166
499384
3406
Deep Learning ist jetzt fast so gut wie Menschen
08:22
at understanding what sentences are about and what it is saying about those things.
167
502802
5121
im Verstehen, worum es in Sätzen geht und was gesagt wird.
08:27
Also, deep learning has been used to read Chinese,
168
507923
2728
Deep Learning wird auch genutzt, um Chinesisch zu lesen
08:30
again at about native Chinese speaker level.
169
510651
3156
wieder fast auf Muttersprachler-Niveau.
08:33
This algorithm developed out of Switzerland
170
513807
2168
Der Algorithmus dafür stammt von Leuten aus der Schweiz,
08:35
by people, none of whom speak or understand any Chinese.
171
515975
3356
die allesamt kein Chinesisch sprechen oder verstehen.
08:39
As I say, using deep learning
172
519331
2051
Wie ich schon sagte: Deep Learning
08:41
is about the best system in the world for this,
173
521382
2219
ist so ziemlich das beste System der Welt dafür,
08:43
even compared to native human understanding.
174
523601
5117
sogar im Vergleich mit dem Wissen von Muttersprachlern.
08:48
This is a system that we put together at my company
175
528718
2964
Dieses System haben wir in meiner Firma entworfen,
08:51
which shows putting all this stuff together.
176
531682
2046
das all diesen Kram zusammenfügt.
08:53
These are pictures which have no text attached,
177
533728
2461
Das sind Bilder ohne angehängten Text
08:56
and as I'm typing in here sentences,
178
536189
2352
und während ich diese Sätze hier eintippe,
08:58
in real time it's understanding these pictures
179
538541
2969
versteht das System die Bilder in Echtzeit
09:01
and figuring out what they're about
180
541510
1679
und erkennt, was sie zeigen,
09:03
and finding pictures that are similar to the text that I'm writing.
181
543189
3163
und findet ähnliche Bilder zu dem eingetippten Text.
09:06
So you can see, it's actually understanding my sentences
182
546352
2756
Sie sehen also, es versteht wirklich meine Sätze
09:09
and actually understanding these pictures.
183
549108
2224
und ebenso diese Bilder.
09:11
I know that you've seen something like this on Google,
184
551332
2559
Ich weiß, dass Sie sowas Ähnliches von Google kennen,
09:13
where you can type in things and it will show you pictures,
185
553891
2775
wo man Text eingeben kann und einem Bilder gezeigt werden,
09:16
but actually what it's doing is it's searching the webpage for the text.
186
556666
3424
aber da wird nur die Website nach dem Text durchsucht.
09:20
This is very different from actually understanding the images.
187
560090
3001
Das ist ein großer Unterschied dazu, die Bilder zu verstehen.
09:23
This is something that computers have only been able to do
188
563091
2752
Letzteres haben Computer erst
09:25
for the first time in the last few months.
189
565843
3248
vor ein paar Monaten gelernt.
09:29
So we can see now that computers can not only see but they can also read,
190
569091
4091
Wir haben gesehen, dass Computer nicht nur sehen, sondern auch lesen können.
09:33
and, of course, we've shown that they can understand what they hear.
191
573182
3765
Wir haben natürlich auch gesehen, dass sie verstehen, was sie hören.
09:36
Perhaps not surprising now that I'm going to tell you they can write.
192
576947
3442
Vielleicht sind Sie nicht überrascht, dass sie auch schreiben können.
09:40
Here is some text that I generated using a deep learning algorithm yesterday.
193
580389
4783
Diesen Text habe ich gestern mit einem Deep-Learning-Algorithmus erzeugt.
09:45
And here is some text that an algorithm out of Stanford generated.
194
585172
3924
Diesen Text hier hat ein Algorithmus aus Stanford erzeugt.
09:49
Each of these sentences was generated
195
589096
1764
Jeder dieser Sätze wurde mit einem Deep-Learning-Algorithmus erzeugt,
09:50
by a deep learning algorithm to describe each of those pictures.
196
590860
4249
um das jeweilige Bild zu beschreiben.
09:55
This algorithm before has never seen a man in a black shirt playing a guitar.
197
595109
4472
Vorher hat der Algorithmus nie einen Mann im schwarzen Hemd Gitarre spielen sehen.
09:59
It's seen a man before, it's seen black before,
198
599581
2220
Er hat einen Mann, die Farbe Schwarz,
10:01
it's seen a guitar before,
199
601801
1599
und eine Gitarre gesehen,
10:03
but it has independently generated this novel description of this picture.
200
603400
4294
aber er hat selbstständig diese neue Bildbeschreibung erstellt.
10:07
We're still not quite at human performance here, but we're close.
201
607694
3502
Menschliche Leistung ist das noch nicht, aber nah dran.
10:11
In tests, humans prefer the computer-generated caption
202
611196
4068
In Tests bevorzugen Menschen die computer-generierte Bildbeschreibung
10:15
one out of four times.
203
615264
1527
nur eines von vier Malen.
10:16
Now this system is now only two weeks old,
204
616791
2064
Aber das System ist jetzt erst 2 Wochen alt,
10:18
so probably within the next year,
205
618855
1846
sodass wahrscheinlich im nächsten Jahr
10:20
the computer algorithm will be well past human performance
206
620701
2801
der Computeralgorithmus die menschliche Leistung übertrifft,
10:23
at the rate things are going.
207
623502
1862
so schnell wie die Dinge gerade gehen.
10:25
So computers can also write.
208
625364
3049
Computer können also auch schreiben.
10:28
So we put all this together and it leads to very exciting opportunities.
209
628413
3475
Wenn wir das alles kombinieren, kriegen wir sehr spannenden Möglichkeiten.
10:31
For example, in medicine,
210
631888
1492
In der Medizin, zum Beispiel,
10:33
a team in Boston announced that they had discovered
211
633380
2525
hat ein Team aus Boston verkündet,
10:35
dozens of new clinically relevant features
212
635905
2949
dass es Dutzende neue klinisch relevante Merkmale
10:38
of tumors which help doctors make a prognosis of a cancer.
213
638854
4266
von Tumoren entdeckt hätte, die Ärzten bei der Krebsprognose helfen.
10:44
Very similarly, in Stanford,
214
644220
2296
Ähnlich hat in Stanford eine Gruppe bekanntgegeben,
10:46
a group there announced that, looking at tissues under magnification,
215
646516
3663
dass sie für die Gewebeanalyse in vergrößerter Aufnahme
10:50
they've developed a machine learning-based system
216
650179
2381
ein Maschinelles Lernsystem entwickelt haben,
10:52
which in fact is better than human pathologists
217
652560
2582
das menschliche Pathologen tatsächlich dabei übertrifft,
10:55
at predicting survival rates for cancer sufferers.
218
655142
4377
die Überlebenschancen von Krebspatienten vorherzusagen.
10:59
In both of these cases, not only were the predictions more accurate,
219
659519
3245
In beiden Fällen waren die Vorhersagen nicht nur genauer,
11:02
but they generated new insightful science.
220
662764
2502
sie förderten auch neue wissenschaftliche Erkenntnisse.
11:05
In the radiology case,
221
665276
1505
Im Fall der Radiologie
11:06
they were new clinical indicators that humans can understand.
222
666781
3095
waren es neue klinische Indikatoren, die Menschen verstehen.
11:09
In this pathology case,
223
669876
1792
Im Fall der Pathologie
11:11
the computer system actually discovered that the cells around the cancer
224
671668
4500
hat das Computersystem herausgefunden, dass die Zellen rund um den Krebs
11:16
are as important as the cancer cells themselves
225
676168
3340
genauso wichtig sind wie die Krebszellen selbst
11:19
in making a diagnosis.
226
679508
1752
beim Erstellen der Diagnose.
11:21
This is the opposite of what pathologists had been taught for decades.
227
681260
5361
Das ist das Gegenteil davon, was man Pathologen jahrzehntelang beibrachte.
11:26
In each of those two cases, they were systems developed
228
686621
3292
In beiden Fällen wurden die Systeme
11:29
by a combination of medical experts and machine learning experts,
229
689913
3621
gemeinsam von Experten der Medizin und des Maschinellen Lernens entwickelt,
11:33
but as of last year, we're now beyond that too.
230
693534
2741
aber seit letztem Jahr haben wir auch das überwunden.
11:36
This is an example of identifying cancerous areas
231
696275
3549
Das hier ist ein Beispiel, wie man krebsgeschädigte Bereiche
11:39
of human tissue under a microscope.
232
699824
2530
menschlichen Gewebes unter dem Mikroskop erkennt.
11:42
The system being shown here can identify those areas more accurately,
233
702354
4613
Das hier gezeigte System erkennt solche Bereiche genauer,
11:46
or about as accurately, as human pathologists,
234
706967
2775
oder etwa gleich genau, wie menschliche Pathologen,
11:49
but was built entirely with deep learning using no medical expertise
235
709742
3392
aber es wurde allein mit Deep Learning, ohne medizinisches Wissen,
11:53
by people who have no background in the field.
236
713134
2526
von Leuten ohne Ausbildung in diesem Feld entwickelt.
11:56
Similarly, here, this neuron segmentation.
237
716730
2555
Ähnlich ist es bei dieser Neuronen-Segmentierung.
11:59
We can now segment neurons about as accurately as humans can,
238
719285
3668
Neuronen können jetzt damit etwa so genau wie durch Menschen segmentieren werden,
12:02
but this system was developed with deep learning
239
722953
2717
aber dieses System wurde mit Deep Learning
12:05
using people with no previous background in medicine.
240
725670
3251
von Leuten ohne medizinisches Vorwissen entwickelt.
12:08
So myself, as somebody with no previous background in medicine,
241
728921
3227
Sogar ich, als jemand ohne medizinische Ausbildung,
12:12
I seem to be entirely well qualified to start a new medical company,
242
732148
3727
scheine nun genug für die Gründung eines medizinisches Unternehmens zu wissen
12:15
which I did.
243
735875
2146
-- und das habe ich auch.
12:18
I was kind of terrified of doing it,
244
738021
1740
Ich hatte irgendwie Angst davor,
12:19
but the theory seemed to suggest that it ought to be possible
245
739761
2889
aber theoretisch schien es möglich zu sein,
12:22
to do very useful medicine using just these data analytic techniques.
246
742650
5492
in der Medizin sehr nützliche Dinge allein mit solchen Datenanalysen zu bewirken.
12:28
And thankfully, the feedback has been fantastic,
247
748142
2480
Glücklicherweise war das Feedback fantastisch,
12:30
not just from the media but from the medical community,
248
750622
2356
sowohl von den Medien als auch von Medizinern,
12:32
who have been very supportive.
249
752978
2344
die mich sehr unterstützt haben.
12:35
The theory is that we can take the middle part of the medical process
250
755322
4149
Theoretisch können wir den Mittelteil des medizinischen Vorgangs
12:39
and turn that into data analysis as much as possible,
251
759471
2893
so viel wie möglich der Datenanalyse überlassen,
12:42
leaving doctors to do what they're best at.
252
762364
3065
sodass Ärzte nur noch tun müssen, was sie am besten können.
12:45
I want to give you an example.
253
765429
1602
Ich will Ihnen ein Beispiel geben.
12:47
It now takes us about 15 minutes to generate a new medical diagnostic test
254
767031
4944
Aktuell brauchen wir 15 Minuten, um einen neuen medizinischen Diagnosetest zu bauen.
12:51
and I'll show you that in real time now,
255
771975
1954
Das zeige ich Ihnen jetzt in Echtzeit,
12:53
but I've compressed it down to three minutes by cutting some pieces out.
256
773929
3487
aber ich habe es durch Zusammenschneiden auf 3 Minuten gekürzt.
12:57
Rather than showing you creating a medical diagnostic test,
257
777416
3061
Anstatt Ihnen das Erstellen eines medizinischen Tests zu zeigen,
13:00
I'm going to show you a diagnostic test of car images,
258
780477
3369
zeige ich Ihnen einen Diagnosetest für Autobilder,
13:03
because that's something we can all understand.
259
783846
2222
denn das verstehen wir alle.
13:06
So here we're starting with about 1.5 million car images,
260
786068
3201
Hier fangen wir mit ungefähr 1,5 Mio. Autobildern an,
13:09
and I want to create something that can split them into the angle
261
789269
3206
und ich möchte etwas bauen, das sie nach dem Winkel sortiert,
13:12
of the photo that's being taken.
262
792475
2223
in dem das Foto gemacht wurde.
13:14
So these images are entirely unlabeled, so I have to start from scratch.
263
794698
3888
Diese Bilder sind jetzt noch nicht benannt, ich fange bei Null an.
13:18
With our deep learning algorithm,
264
798586
1865
Unser Deep-Learning-Algorithmus
13:20
it can automatically identify areas of structure in these images.
265
800451
3707
erkennt automatisch Strukturflächen auf den Bildern.
13:24
So the nice thing is that the human and the computer can now work together.
266
804158
3620
Das Schöne ist, dass Mensch und Computer jetzt zusammenarbeiten können.
13:27
So the human, as you can see here,
267
807778
2178
Wie Sie hier sehen,
13:29
is telling the computer about areas of interest
268
809956
2675
gibt der Mensch dem Computer Zielbereiche vor,
13:32
which it wants the computer then to try and use to improve its algorithm.
269
812631
4650
womit der Computer dann versuchen soll, seinem Algorithmus zu verbessern.
13:37
Now, these deep learning systems actually are in 16,000-dimensional space,
270
817281
4296
Eigentlich sind diese Deep-Learning- Systeme im 16 000-dimensionalen Raum,
13:41
so you can see here the computer rotating this through that space,
271
821577
3432
hier können Sie den Computer das durch den Raum
auf der Suche nach neuen Strukturflächen rotieren sehen.
13:45
trying to find new areas of structure.
272
825009
1992
13:47
And when it does so successfully,
273
827001
1781
Wenn er dabei Erfolg hat,
13:48
the human who is driving it can then point out the areas that are interesting.
274
828782
4004
kann der menschliche Betreiber dann die interessanten Bereiche festlegen.
13:52
So here, the computer has successfully found areas,
275
832786
2422
Hier hat der Computer Bereiche gefunden,
13:55
for example, angles.
276
835208
2562
zum Beispiel Winkel.
13:57
So as we go through this process,
277
837770
1606
Im Verlauf des Prozesses
13:59
we're gradually telling the computer more and more
278
839376
2340
sagen wir dem Computer immer mehr
14:01
about the kinds of structures we're looking for.
279
841716
2428
über die gesuchten Strukturen.
14:04
You can imagine in a diagnostic test
280
844144
1772
Bei einem Diagnose-Test zum Beispiel
14:05
this would be a pathologist identifying areas of pathosis, for example,
281
845916
3350
würde das dem Pathologen helfen, kranke Bereiche zu identifizieren,
14:09
or a radiologist indicating potentially troublesome nodules.
282
849266
5026
oder dem Radiologen bei potentiell gefährlichen Knoten.
14:14
And sometimes it can be difficult for the algorithm.
283
854292
2559
Manchmal wird es schwer für den Algorithmus.
14:16
In this case, it got kind of confused.
284
856851
1964
In diesem Fall war er etwas verwirrt.
14:18
The fronts and the backs of the cars are all mixed up.
285
858815
2550
Die Vorder- und Rückseiten der Autos sind vermischt.
14:21
So here we have to be a bit more careful,
286
861365
2072
Wir müssen hier also sorgfältiger sein,
14:23
manually selecting these fronts as opposed to the backs,
287
863437
3232
und die Vorderseiten manuell von den Rückseiten trennen,
14:26
then telling the computer that this is a type of group
288
866669
5506
um dann dem Computer zu sagen, dass das Teil einer Gruppe ist,
14:32
that we're interested in.
289
872175
1348
die uns interessiert.
14:33
So we do that for a while, we skip over a little bit,
290
873523
2677
Das machen wir für eine Weile, wir springen ein wenig weiter,
14:36
and then we train the machine learning algorithm
291
876200
2246
und dann trainieren wir den Algorithmus,
14:38
based on these couple of hundred things,
292
878446
1974
basierend auf diesen paar hundert Sachen,
14:40
and we hope that it's gotten a lot better.
293
880420
2025
und hoffen, dass er besser geworden ist.
14:42
You can see, it's now started to fade some of these pictures out,
294
882445
3073
Wie Sie sehen, lässt er einige dieser Bilder jetzt verblassen
14:45
showing us that it already is recognizing how to understand some of these itself.
295
885518
4708
und zeigt uns, dass er schon jetzt ein wenig selbst erkennt.
14:50
We can then use this concept of similar images,
296
890226
2902
Wir können das Konzept der ähnlichen Bilder nutzen
14:53
and using similar images, you can now see,
297
893128
2094
und dabei sehen Sie,
14:55
the computer at this point is able to entirely find just the fronts of cars.
298
895222
4019
dass der Computer jetzt in der Lage ist, nur die Vorderseiten der Autos zu finden.
14:59
So at this point, the human can tell the computer,
299
899241
2948
Also kann der Mensch dem Computer an diesem Punkt sagen,
15:02
okay, yes, you've done a good job of that.
300
902189
2293
okay, du hast gute Arbeit geleistet.
15:05
Sometimes, of course, even at this point
301
905652
2185
Natürlich ist es manchmal selbst hier schwer,
15:07
it's still difficult to separate out groups.
302
907837
3674
die einzelnen Gruppen zu unterscheiden.
15:11
In this case, even after we let the computer try to rotate this for a while,
303
911511
3884
Selbst nachdem der Computer die Bilder eine Weile rotiert hat,
15:15
we still find that the left sides and the right sides pictures
304
915399
3345
sind die rechten und linken Seiten der Bilder immer noch
15:18
are all mixed up together.
305
918744
1478
komplett durcheinander.
15:20
So we can again give the computer some hints,
306
920222
2140
Wieder können wir dem Computer Hinweise geben
15:22
and we say, okay, try and find a projection that separates out
307
922362
2976
und sagen, okay, jetzt versuch mal einen Weg,
15:25
the left sides and the right sides as much as possible
308
925338
2607
der die rechte und linke Seite so gut wie möglich
15:27
using this deep learning algorithm.
309
927945
2122
mit dem Deep-Learning-Algorithmus trennt.
15:30
And giving it that hint -- ah, okay, it's been successful.
310
930067
2942
Und mit diesem Hinweis -- ah, okay, jetzt hat er Erfolg.
15:33
It's managed to find a way of thinking about these objects
311
933009
2882
Er hat einen Weg gefunden, diese Objekte so sehen,
15:35
that's separated out these together.
312
935891
2380
der diese hier aussortiert hat.
15:38
So you get the idea here.
313
938271
2438
Sie haben jetzt einen Eindruck davon.
15:40
This is a case not where the human is being replaced by a computer,
314
940709
8197
Das ist kein Fall, wo der Mensch von einem Computer ersetzt wird,
15:48
but where they're working together.
315
948906
2640
sondern sie arbeiten zusammen.
15:51
What we're doing here is we're replacing something that used to take a team
316
951546
3550
Wir ersetzen hier etwas, wofür man früher ein Team von fünf oder sechs Leuten
15:55
of five or six people about seven years
317
955096
2002
7 Jahre beschäftigt hat,
15:57
and replacing it with something that takes 15 minutes
318
957098
2605
durch etwas, das 15 Minuten
15:59
for one person acting alone.
319
959703
2505
für eine einzige Person braucht.
16:02
So this process takes about four or five iterations.
320
962208
3950
Dieser Vorgang braucht ungefähr vier oder fünf Durchgänge.
16:06
You can see we now have 62 percent
321
966158
1859
Wie Sie sehen, sind wir nun bei 62 %
16:08
of our 1.5 million images classified correctly.
322
968017
2959
korrekt klassifizierten Bildern aus 1,5 Millionen.
16:10
And at this point, we can start to quite quickly
323
970976
2472
An dieser Stelle können wir anfangen, sehr schnell
16:13
grab whole big sections,
324
973448
1297
große Bereiche zu erfassen,
16:14
check through them to make sure that there's no mistakes.
325
974745
2919
und sie auf Fehler zu überprüfen.
16:17
Where there are mistakes, we can let the computer know about them.
326
977664
3952
Wenn es Fehler gibt, lassen wir das den Computer wissen.
16:21
And using this kind of process for each of the different groups,
327
981616
3045
Indem wir diesen Vorgang auf jede der einzelnen Gruppen anwenden,
16:24
we are now up to an 80 percent success rate
328
984661
2487
sind wir jetzt bei einer 80%igen Erfolgsrate
16:27
in classifying the 1.5 million images.
329
987148
2415
beim Klassifizieren der 1,5 Mio. Bilder.
16:29
And at this point, it's just a case
330
989563
2078
An diesem Punkt müssen wir nur noch
16:31
of finding the small number that aren't classified correctly,
331
991641
3579
die kleine Zahl der falsch klassifizierten Bilder finden
16:35
and trying to understand why.
332
995220
2888
und versuchen, die Ursache zu verstehen.
16:38
And using that approach,
333
998108
1743
Wenden wir das an,
16:39
by 15 minutes we get to 97 percent classification rates.
334
999851
4121
sind wir nach 15 Minuten bei einer Erfolgsquote von 97 %.
16:43
So this kind of technique could allow us to fix a major problem,
335
1003972
4600
Also könnten wir mit dieser Technik ein großes Problem beheben,
16:48
which is that there's a lack of medical expertise in the world.
336
1008578
3036
nämlich, das Fehlen medizinischen Fachwissens in der Welt.
16:51
The World Economic Forum says that there's between a 10x and a 20x
337
1011614
3489
Laut Weltwirtschaftsforum gibt es zwischen 10x und 20x
16:55
shortage of physicians in the developing world,
338
1015103
2624
zu wenige Ärzte in Entwicklungsländern
16:57
and it would take about 300 years
339
1017727
2113
und es würde etwa 300 Jahre dauern,
16:59
to train enough people to fix that problem.
340
1019840
2894
genug Leute auszubilden, um das Problem zu beheben.
17:02
So imagine if we can help enhance their efficiency
341
1022734
2885
Können Sie sich vorstellen, dass wir ihre Effizienz
17:05
using these deep learning approaches?
342
1025619
2839
mit diesen Deep-Learning-Ansätzen steigern können?
17:08
So I'm very excited about the opportunities.
343
1028458
2232
Ich bin ganz begeistert von den Möglichkeiten.
17:10
I'm also concerned about the problems.
344
1030690
2589
Ich mache mir auch Sorgen über die Probleme.
17:13
The problem here is that every area in blue on this map
345
1033279
3124
Das Problem hierbei ist, in jedem blauen Bereich auf der Karte
17:16
is somewhere where services are over 80 percent of employment.
346
1036403
3769
machen Dienstleistungen über 80 % der Beschäftigung aus.
17:20
What are services?
347
1040172
1787
Was sind Dienstleistungen?
17:21
These are services.
348
1041959
1514
Das sind Dienstleistungen.
17:23
These are also the exact things that computers have just learned how to do.
349
1043473
4154
Das sind außerdem genau die Dinge, die Computer gerade gelernt haben.
17:27
So 80 percent of the world's employment in the developed world
350
1047627
3804
Also sind 80 % der Beschäftigung der entwickelten Welt Dinge,
17:31
is stuff that computers have just learned how to do.
351
1051431
2532
die Computer gerade gelernt haben.
17:33
What does that mean?
352
1053963
1440
Was bedeutet das?
17:35
Well, it'll be fine. They'll be replaced by other jobs.
353
1055403
2583
Naja, es wird alles gut. Andere Jobs ersetzen diese.
17:37
For example, there will be more jobs for data scientists.
354
1057986
2707
Zum Beispiel wird es mehr Jobs für Informatiker geben.
17:40
Well, not really.
355
1060693
817
Nun, nicht ganz.
17:41
It doesn't take data scientists very long to build these things.
356
1061510
3118
Informatiker brauchen nicht lange, diese Dinge zu bauen.
17:44
For example, these four algorithms were all built by the same guy.
357
1064628
3252
Zum Beispiel wurden diese 4 Algorithmen vom selben Typen gebaut.
17:47
So if you think, oh, it's all happened before,
358
1067880
2438
Wenn Sie also denken, oh, das ist alles nicht neu,
17:50
we've seen the results in the past of when new things come along
359
1070318
3808
wir haben in der Vergangenheit gesehen, wenn etwas Neues kommt,
17:54
and they get replaced by new jobs,
360
1074126
2252
werden sie durch neue Jobs ersetzt,
17:56
what are these new jobs going to be?
361
1076378
2116
was also sind diese neuen Jobs?
17:58
It's very hard for us to estimate this,
362
1078494
1871
Das ist sehr schwer einzuschätzen,
18:00
because human performance grows at this gradual rate,
363
1080365
2739
weil menschliche Leistung schrittweise wächst,
18:03
but we now have a system, deep learning,
364
1083104
2562
aber wir haben jetzt ein System, Deep Learning,
18:05
that we know actually grows in capability exponentially.
365
1085666
3227
das seine Leistung nachweislich exponentiell steigert.
18:08
And we're here.
366
1088893
1605
Und da sind wir.
18:10
So currently, we see the things around us
367
1090498
2061
Zurzeit sehen wir die Dinge um uns herum
18:12
and we say, "Oh, computers are still pretty dumb." Right?
368
1092559
2676
und sagen "Computer sind immer noch ziemlich dumm." Oder?
18:15
But in five years' time, computers will be off this chart.
369
1095235
3429
Aber in fünf Jahren werden Computer nicht mehr Teil dieser Tabelle sein.
18:18
So we need to be starting to think about this capability right now.
370
1098664
3865
Wir müssen also schon jetzt anfangen, über diese Leistung nachzudenken.
18:22
We have seen this once before, of course.
371
1102529
2050
Wir haben das natürlich schon mal gesehen.
18:24
In the Industrial Revolution,
372
1104579
1387
Die Industrielle Revolution
18:25
we saw a step change in capability thanks to engines.
373
1105966
2851
bewirkte einen Evolutionssprung der Leistung durch Motoren.
18:29
The thing is, though, that after a while, things flattened out.
374
1109667
3138
Aber nach einer Weile beruhigten sich die Dinge.
18:32
There was social disruption,
375
1112805
1702
Es gab soziale Umbrüche,
18:34
but once engines were used to generate power in all the situations,
376
1114507
3439
aber sobald die Motoren damals zur Energiegewinnung genutzt wurden,
18:37
things really settled down.
377
1117946
2354
beruhigten sich die Dinge.
18:40
The Machine Learning Revolution
378
1120300
1473
Die Revolution des Maschinellen Lernens
18:41
is going to be very different from the Industrial Revolution,
379
1121773
2909
wird ganz anders als die Industrielle Revolution,
18:44
because the Machine Learning Revolution, it never settles down.
380
1124682
2950
weil die Revolution nie zu Ende ist.
18:47
The better computers get at intellectual activities,
381
1127632
2982
Je besser Computer bei intellektuellen Aktivitäten werden,
18:50
the more they can build better computers to be better at intellectual capabilities,
382
1130614
4248
desto bessere Computer können sie bauen,
die intellektuell noch leistungsfähiger sind,
18:54
so this is going to be a kind of change
383
1134862
1908
also wird das eine Art Wandel,
18:56
that the world has actually never experienced before,
384
1136770
2478
den die Welt nie zuvor gesehen hat,
18:59
so your previous understanding of what's possible is different.
385
1139248
3306
sodass sich Ihr Verständnis des Möglichen ändert.
19:02
This is already impacting us.
386
1142974
1780
Das beeinflusst uns schon jetzt.
19:04
In the last 25 years, as capital productivity has increased,
387
1144754
3630
In den letzten 25 Jahren ist die Produktivität des Kapitals gestiegen,
19:08
labor productivity has been flat, in fact even a little bit down.
388
1148400
4188
aber die Produktivität der Arbeit blieb gleich und sank sogar ein bisschen.
19:13
So I want us to start having this discussion now.
389
1153408
2741
Deswegen will ich, dass wir diese Diskussion jetzt führen.
19:16
I know that when I often tell people about this situation,
390
1156149
3027
Wenn ich Leuten von dieser Situation erzähle,
19:19
people can be quite dismissive.
391
1159176
1490
sind sie oft sehr abschätzig.
19:20
Well, computers can't really think,
392
1160666
1673
Computer denken nicht wirklich,
19:22
they don't emote, they don't understand poetry,
393
1162339
3028
sie fühlen nichts, sie verstehen Lyrik nicht,
19:25
we don't really understand how they work.
394
1165367
2521
wir verstehen nicht wirklich, wie sie funktionieren.
19:27
So what?
395
1167888
1486
Ja, und?
19:29
Computers right now can do the things
396
1169374
1804
Computer können jetzt Dinge tun,
für die Menschen ihre meiste Zeit gegen Bezahlung aufwenden.
19:31
that humans spend most of their time being paid to do,
397
1171178
2719
19:33
so now's the time to start thinking
398
1173897
1731
Wir sollten also jetzt überlegen,
19:35
about how we're going to adjust our social structures and economic structures
399
1175628
4387
wie wir unsere sozialen und wirtschaftlichen Strukturen anpassen,
19:40
to be aware of this new reality.
400
1180015
1840
um diese neue Realität zu erkennen.
19:41
Thank you.
401
1181855
1533
Danke.
19:43
(Applause)
402
1183388
802
(Applaus)
Über diese Website

Auf dieser Seite finden Sie YouTube-Videos, die zum Englischlernen nützlich sind. Sie sehen Englischlektionen, die von hochkarätigen Lehrern aus der ganzen Welt unterrichtet werden. Doppelklicken Sie auf die englischen Untertitel, die auf jeder Videoseite angezeigt werden, um das Video von dort aus abzuspielen. Die Untertitel laufen synchron mit der Videowiedergabe. Wenn Sie irgendwelche Kommentare oder Wünsche haben, kontaktieren Sie uns bitte über dieses Kontaktformular.

https://forms.gle/WvT1wiN1qDtmnspy7