The Inside Story of ChatGPT’s Astonishing Potential | Greg Brockman | TED

1,805,277 views ・ 2023-04-20

TED


Proszę kliknąć dwukrotnie na poniższe angielskie napisy, aby odtworzyć film.

Tłumaczenie: A. Konstancja Wiszniewska Korekta: Anna Sobota
00:03
We started OpenAI seven years ago
0
3875
2503
Założyliśmy OpenAI siedem lat temu,
00:06
because we felt like something really interesting was happening in AI
1
6378
3712
bo czuliśmy, że coś ciekawego dzieje się w obszarze sztucznej inteligencji
00:10
and we wanted to help steer it in a positive direction.
2
10131
3170
i chcieliśmy pokierować tym w dobrym kierunku.
00:15
It's honestly just really amazing to see
3
15220
2085
To naprawdę niesamowite,
00:17
how far this whole field has come since then.
4
17347
3086
jak wielki postęp nastąpił w tej dziedzinie od tamtej pory.
00:20
And it's really gratifying to hear from people like Raymond
5
20433
3629
Czujemy satysfakcję, kiedy Raymond
00:24
who are using the technology we are building, and others,
6
24104
2836
i inni użytkownicy naszej technologii
00:26
for so many wonderful things.
7
26982
2127
robią dzięki niej wspaniałe rzeczy.
00:29
We hear from people who are excited,
8
29150
2503
Odzywają się podekscytowani,
00:31
we hear from people who are concerned,
9
31653
1835
niektórzy zaniepokojeni,
00:33
we hear from people who feel both those emotions at once.
10
33530
2961
niektórzy podekscytowani i zaniepokojeni jednocześnie.
00:36
And honestly, that's how we feel.
11
36533
2252
Szczerze mówiąc, też tak się czujemy.
00:40
Above all, it feels like we're entering an historic period right now
12
40245
4087
Przede wszystkim mamy poczucie, że to historyczny moment,
00:44
where we as a world are going to define a technology
13
44374
4421
kiedy jako świat definiujemy technologię,
00:48
that will be so important for our society going forward.
14
48795
3086
która znacząco wpłynie na rozwój społeczeństwa.
00:52
And I believe that we can manage this for good.
15
52924
2628
Wierzę, że pokierujemy nią w szczytnym celu.
00:56
So today, I want to show you the current state of that technology
16
56845
4171
Dzisiaj chciałbym pokazać wam aktualny stan tej technologii
01:01
and some of the underlying design principles that we hold dear.
17
61016
3086
i jej podstawowe, ważne dla nas zasady projektowania.
01:09
So the first thing I'm going to show you
18
69983
1918
Najpierw pokażę,
01:11
is what it's like to build a tool for an AI
19
71943
2086
jak budować narzędzia dla AI, sztucznej inteligencji,
01:14
rather than building it for a human.
20
74029
1876
a nie dla człowieka.
01:17
So we have a new DALL-E model, which generates images,
21
77574
3545
Mamy nowy model DALL-E do tworzenia grafiki,
01:21
and we are exposing it as an app for ChatGPT to use on your behalf.
22
81161
4045
i udostępniamy go jako aplikację, którą ChatGPT użyje w naszym imieniu.
01:25
And you can do things like ask, you know,
23
85248
2461
Można robić różne rzeczy np. poprosić:
01:27
suggest a nice post-TED meal and draw a picture of it.
24
87751
6631
“Zaproponuj smaczny posiłek po konferencji TED i narysuj go”.
01:35
(Laughter)
25
95216
1419
(Śmiech)
01:38
Now you get all of the, sort of, ideation and creative back-and-forth
26
98303
4671
Teraz oglądamy kreatywność i generowanie pomysłów
01:43
and taking care of the details for you that you get out of ChatGPT.
27
103016
4004
oraz dopieszczanie szczegółów w wykonaniu ChatGPT.
01:47
And here we go, it's not just the idea for the meal,
28
107062
2669
Oto efekt, nie tylko pomysł na posiłek,
01:49
but a very, very detailed spread.
29
109773
3587
ale bardzo szczegółowe zestawienie.
01:54
So let's see what we're going to get.
30
114110
2044
Zobaczmy, co otrzymamy.
01:56
But ChatGPT doesn't just generate images in this case --
31
116154
3795
ChatGPT nie tylko tworzy obraz,
01:59
sorry, it doesn't generate text, it also generates an image.
32
119991
2836
nie tylko tekst, ale również obraz.
02:02
And that is something that really expands the power
33
122827
2419
To poszerza możliwości
02:05
of what it can do on your behalf in terms of carrying out your intent.
34
125246
3504
realizacji naszych intencji, w naszym imieniu.
02:08
And I'll point out, this is all a live demo.
35
128750
2085
Zaznaczam, że to jest prezentacja na żywo.
02:10
This is all generated by the AI as we speak.
36
130835
2169
AI tworzy w czasie rzeczywistym.
02:13
So I actually don't even know what we're going to see.
37
133046
2544
Sam nie wiem, co tu zobaczymy.
02:16
This looks wonderful.
38
136216
2294
Wygląda wspaniale.
02:18
(Applause)
39
138510
3712
(Brawa)
02:22
I'm getting hungry just looking at it.
40
142514
1877
Na sam widok robię się głodny.
02:24
Now we've extended ChatGPT with other tools too,
41
144724
2753
Rozszerzyliśmy opcje ChatGPT również o inne narzędzia,
02:27
for example, memory.
42
147519
1168
na przykład pamięć.
02:28
You can say "save this for later."
43
148728
2795
Można poprosić: “Zapamiętaj na później”.
02:33
And the interesting thing about these tools
44
153233
2043
Ciekawe w tych narzędziach jest to,
02:35
is they're very inspectable.
45
155318
1377
że można je kontrolować.
02:36
So you get this little pop up here that says "use the DALL-E app."
46
156695
3128
Tutaj wyskakuje małe okienko z sugestią: “użyj apki DALLE-E”.
02:39
And by the way, this is coming to you, all ChatGPT users, over upcoming months.
47
159823
3712
Przy okazji, użytkownicy ChatGPT dostaną to w najbliższych miesiącach.
02:43
And you can look under the hood and see that what it actually did
48
163535
3086
Można zajrzeć pod maskę, gdzie widać, że ChatGPT
02:46
was write a prompt just like a human could.
49
166621
2169
napisał komendę tak, jak zrobiłby to człowiek.
02:48
And so you sort of have this ability to inspect
50
168790
2628
Zatem mamy możliwość kontrolowania,
02:51
how the machine is using these tools,
51
171459
2086
jak maszyna korzysta z narzędzi,
02:53
which allows us to provide feedback to them.
52
173586
2086
co pozwala przekazywać informacje zwrotne.
02:55
Now it's saved for later,
53
175714
1209
Zapisuję na później,
02:56
and let me show you what it's like to use that information
54
176965
2878
a teraz pokażę, jak używać tych informacji
02:59
and to integrate with other applications too.
55
179884
2503
i integrować ChatGPT z innymi aplikacjami.
03:02
You can say,
56
182387
2210
Zaczniemy od prośby.
03:04
“Now make a shopping list for the tasty thing
57
184639
5506
“Zrób listę zakupów na te pyszności,
03:10
I was suggesting earlier.”
58
190186
1835
które proponowałem”.
03:12
And make it a little tricky for the AI.
59
192021
2128
Spróbujmy utrudnić AI to zadanie.
03:16
"And tweet it out for all the TED viewers out there."
60
196276
4337
“Daj tweeta dla widzów konferencji TED”.
03:20
(Laughter)
61
200655
2252
(Śmiech)
03:22
So if you do make this wonderful, wonderful meal,
62
202949
2461
Jeśli ktoś przygotuje ten wspaniały posiłek,
03:25
I definitely want to know how it tastes.
63
205410
2044
chciałbym wiedzieć, jak smakuje.
03:28
But you can see that ChatGPT is selecting all these different tools
64
208496
3504
Jak widać, ChatGPT wybiera różne narzędzia,
03:32
without me having to tell it explicitly which ones to use in any situation.
65
212000
4379
bez konieczności wskazywania, których użyć w danej sytuacji.
03:37
And this, I think, shows a new way of thinking about the user interface.
66
217088
3879
To pokazuje nowy sposób postrzegania interfejsu użytkownika.
03:40
Like, we are so used to thinking of, well, we have these apps,
67
220967
3796
Jesteśmy przyzwyczajeni do apek,
03:44
we click between them, we copy/paste between them,
68
224763
2335
klikamy, kopiujemy, wklejamy z jednej do drugiej,
03:47
and usually it's a great experience within an app
69
227098
2294
i zwykle to udane doświadczenie w ramach aplikacji,
03:49
as long as you kind of know the menus and know all the options.
70
229434
2961
o ile jesteśmy zaznajomieni z poszczególnymi menu.
03:52
Yes, I would like you to.
71
232395
1293
“Tak, chętnie”.
03:53
Yes, please.
72
233730
1126
“Tak, poproszę“.
03:54
Always good to be polite.
73
234898
1251
Uprzejmość popłaca.
03:56
(Laughter)
74
236149
2628
(Śmiech)
04:00
And by having this unified language interface on top of tools,
75
240361
5464
Dzięki narzędziom i zintegrowanemu interfejsowi językowemu,
04:05
the AI is able to sort of take away all those details from you.
76
245867
4630
AI może odciążyć nas od zajmowania się szczegółami.
04:10
So you don't have to be the one
77
250538
1543
Nie musimy zajmować się
04:12
who spells out every single sort of little piece
78
252123
2294
opisem każdego drobnego szczegółu,
04:14
of what's supposed to happen.
79
254459
1543
dotyczącego planowanego efektu.
04:16
And as I said, this is a live demo,
80
256419
1710
Jak wspomniałem, to jest na żywo,
04:18
so sometimes the unexpected will happen to us.
81
258129
3379
więc niespodzianki mogą się zdarzyć.
04:21
But let's take a look at the Instacart shopping list while we're at it.
82
261549
3420
Skoro o tym mowa, spójrzmy na listę zakupów na Instacart.
04:25
And you can see we sent a list of ingredients to Instacart.
83
265386
3254
Wysłaliśmy Instacart listę składników.
04:29
Here's everything you need.
84
269349
1543
Wszystko, czego potrzeba.
04:30
And the thing that's really interesting
85
270892
1877
Co ciekawe,
04:32
is that the traditional UI is still very valuable, right?
86
272811
2919
tradycyjny interfejs nadal się przyda.
04:35
If you look at this,
87
275772
1877
Jak widać,
04:37
you still can click through it and sort of modify the actual quantities.
88
277690
4296
nadal można kliknąć i zmienić ilość produktów.
04:41
And that's something that I think shows
89
281986
1877
To pokazuje,
04:43
that they're not going away, traditional UIs.
90
283863
3253
że tradycyjne interfejsy nie znikną.
04:47
It's just we have a new, augmented way to build them.
91
287158
2795
Mamy po prostu nowy, wzbogacony sposób ich budowania.
04:49
And now we have a tweet that's been drafted for our review,
92
289994
2920
O, już mamy tweet do oceny,
04:52
which is also a very important thing.
93
292956
1793
czyli kolejna ważna rzecz.
04:54
We can click “run,” and there we are, we’re the manager, we’re able to inspect,
94
294749
3712
Klikając “Publikuj”, zatwierdzam, jestem zarządcą, mogę kontrolować,
04:58
we're able to change the work of the AI if we want to.
95
298461
2836
jeśli zechcę, mogę zmienić propozycję AI.
05:02
And so after this talk, you will be able to access this yourself.
96
302924
5964
Po prelekcji też uzyskacie dostęp.
05:17
And there we go.
97
317647
1710
Proszę bardzo.
05:19
Cool.
98
319816
1126
Super.
05:22
Thank you, everyone.
99
322485
1168
Dziękuję wszystkim.
05:23
(Applause)
100
323653
3003
(Brawa)
05:29
So we’ll cut back to the slides.
101
329367
1627
Wracamy do slajdów.
05:32
Now, the important thing about how we build this,
102
332954
3587
Ważne, jak budujemy AI.
05:36
it's not just about building these tools.
103
336583
2210
Chodzi nie tylko o budowanie narzędzi,
05:38
It's about teaching the AI how to use them.
104
338793
2252
ale o nauczenie AI, jak z nich korzystać.
05:41
Like, what do we even want it to do
105
341087
1710
Czego oczekujemy od AI,
05:42
when we ask these very high-level questions?
106
342839
2419
kiedy stawiamy złożone pytania?
05:45
And to do this, we use an old idea.
107
345258
2669
Tutaj przyda się stara koncepcja.
05:48
If you go back to Alan Turing's 1950 paper on the Turing test, he says,
108
348261
3337
W teście Turinga opisanym w 1950 roku Alan Turing mówi,
05:51
you'll never program an answer to this.
109
351598
2043
że nie da się programować odpowiedzi.
05:53
Instead, you can learn it.
110
353683
1627
Zamiast tego, można uczyć AI.
05:55
You could build a machine, like a human child,
111
355351
2169
Można zbudować maszynę na wzór dziecka,
05:57
and then teach it through feedback.
112
357520
2127
i uczyć ją przez informacje zwrotne.
05:59
Have a human teacher who provides rewards and punishments
113
359689
2711
Nauczyciel-człowiek daje nagrody i kary,
06:02
as it tries things out and does things that are either good or bad.
114
362400
3212
a maszyna próbuje działań, które są dobre lub złe.
06:06
And this is exactly how we train ChatGPT.
115
366237
2002
Dokładnie tak szkolimy ChatGPT.
06:08
It's a two-step process.
116
368239
1168
Ten proces ma dwa etapy.
06:09
First, we produce what Turing would have called a child machine
117
369449
3086
Najpierw tworzymy coś, co Turing nazwał maszyną-dzieckiem,
06:12
through an unsupervised learning process.
118
372535
1960
poprzez proces uczenia bez nadzoru.
06:14
We just show it the whole world, the whole internet
119
374495
2461
Pokazujemy jej cały świat, cały internet.
06:16
and say, “Predict what comes next in text you’ve never seen before.”
120
376956
3212
“Powiedz, co jest dalej w tekście, którego wcześniej nie widziałaś“.
06:20
And this process imbues it with all sorts of wonderful skills.
121
380168
3044
Ten proces wyposaża ją w różne wspaniałe umiejętności.
06:23
For example, if you're shown a math problem,
122
383212
2086
Jeśli pokazać jej zadanie matematyczne,
06:25
the only way to actually complete that math problem,
123
385298
2544
jedynym sposobem wykonania zadania,
06:27
to say what comes next,
124
387884
1334
odpowiedzią, co jest dalej,
06:29
that green nine up there,
125
389218
1293
zieloną dziewiątką na ekranie,
06:30
is to actually solve the math problem.
126
390511
2294
jest rozwiązanie tego zadania.
06:34
But we actually have to do a second step, too,
127
394432
2169
Trzeba też zrobić drugi krok,
06:36
which is to teach the AI what to do with those skills.
128
396601
2544
czyli nauczyć AI używać swoich umiejętności.
06:39
And for this, we provide feedback.
129
399187
1668
Po to są informacje zwrotne.
06:40
We have the AI try out multiple things, give us multiple suggestions,
130
400855
3253
Pozwalamy AI wypróbować różne rzeczy, podawać wiele sugestii,
06:44
and then a human rates them, says “This one’s better than that one.”
131
404150
3212
a potem człowiek ocenia. “To jest lepsze niż tamto”.
06:47
And this reinforces not just the specific thing that the AI said,
132
407362
3086
Tak wzmacniamy nie tylko konkretny przekaz AI,
06:50
but very importantly, the whole process that the AI used to produce that answer.
133
410448
3795
ale przede wszystkim cały proces prowadzący do uzyskania odpowiedzi.
06:54
And this allows it to generalize.
134
414243
1585
Dzięki temu AI generalizuje,
06:55
It allows it to teach, to sort of infer your intent
135
415828
2419
a także uczy się tak jakby wyczuć nasz zamiar
06:58
and apply it in scenarios that it hasn't seen before,
136
418247
2503
i stosować w scenariuszach, których nie widziała,
07:00
that it hasn't received feedback.
137
420750
1585
mimo braku informacji zwrotnej.
07:02
Now, sometimes the things we have to teach the AI
138
422669
2460
Czasami musimy nauczyć AI
07:05
are not what you'd expect.
139
425171
1543
czegoś niespodziewanego.
07:06
For example, when we first showed GPT-4 to Khan Academy,
140
426756
3086
Kiedy pokazaliśmy GPT-4 w Akademii Khana
07:09
they said, "Wow, this is so great,
141
429884
1627
wszyscy byli zachwyceni.
07:11
We're going to be able to teach students wonderful things.
142
431552
2753
“Będziemy uczyć studentów wspaniałych rzeczy”.
07:14
Only one problem, it doesn't double-check students' math.
143
434347
3462
Problem w tym, że AI nie sprawdza rozwiązań zadań matematycznych.
07:17
If there's some bad math in there,
144
437809
1626
Jeśli jest błąd matematyczny,
07:19
it will happily pretend that one plus one equals three and run with it."
145
439477
3462
radośnie uda, że jeden plus jeden równa się trzy i działa dalej.
07:23
So we had to collect some feedback data.
146
443523
2294
Dlatego musieliśmy zebrać informacje zwrotne.
07:25
Sal Khan himself was very kind
147
445858
1544
Sam Sal Khan wielkodusznie
07:27
and offered 20 hours of his own time to provide feedback to the machine
148
447443
3337
poświęcił 20 godzin na udzielanie informacji zwrotnych maszynie,
07:30
alongside our team.
149
450780
1501
u boku naszego zespołu.
07:32
And over the course of a couple of months we were able to teach the AI that,
150
452323
3587
W ciągu kilku miesięcy udało nam się nauczyć AI,
07:35
"Hey, you really should push back on humans
151
455910
2044
że musi sprzeciwić się czlowiekowi
07:37
in this specific kind of scenario."
152
457954
2044
w tym szczególnym scenariuszu.
07:41
And we've actually made lots and lots of improvements to the models this way.
153
461416
4921
W ten sposób wprowadziliśmy wiele ulepszeń do modelu.
07:46
And when you push that thumbs down in ChatGPT,
154
466379
2544
Kliknięcie kciuka w dół w rozmowie z ChatGPT,
07:48
that actually is kind of like sending up a bat signal to our team to say,
155
468965
3462
wysyła naszemu zespołowi sygnał SOS,
07:52
“Here’s an area of weakness where you should gather feedback.”
156
472427
2919
informujący, gdzie trzeba zebrać informacje zwrotne.
07:55
And so when you do that,
157
475388
1168
W taki właśnie sposób
07:56
that's one way that we really listen to our users
158
476597
2294
słuchamy naszych użytkowników
07:58
and make sure we're building something that's more useful for everyone.
159
478933
3378
i dbamy, aby budować narzędzie użyteczne dla wszystkich.
08:02
Now, providing high-quality feedback is a hard thing.
160
482895
3754
Zapewnienie wysokiej jakości informacji zwrotnej jest trudne.
08:07
If you think about asking a kid to clean their room,
161
487025
2460
Prosząc dziecko o posprzątanie pokoju,
08:09
if all you're doing is inspecting the floor,
162
489485
2711
jeśli sprawdzisz tylko podłogę,
08:12
you don't know if you're just teaching them to stuff all the toys in the closet.
163
492196
3796
może tylko nauczysz dziecko upychać zabawki w szafie.
08:15
This is a nice DALL-E-generated image, by the way.
164
495992
2627
A propos, ten ładny obrazek wygenerował DALL-E.
08:19
And the same sort of reasoning applies to AI.
165
499912
4713
Takie samo rozumowanie dotyczy AI.
08:24
As we move to harder tasks,
166
504667
1794
Przechodząc do trudniejszych zadań,
08:26
we will have to scale our ability to provide high-quality feedback.
167
506502
3796
musimy doskonalić udzielanie właściwych informacji zwrotnych.
08:30
But for this, the AI itself is happy to help.
168
510882
3879
Tutaj sama AI chętnie pomoże.
08:34
It's happy to help us provide even better feedback
169
514761
2335
Chętnie zapewni lepsze informacje zwrotne,
08:37
and to scale our ability to supervise the machine as time goes on.
170
517138
3587
a z czasem rozwinie możliwości kontrolowania maszyny.
08:40
And let me show you what I mean.
171
520767
1543
Zaraz pokażę, o co mi chodzi.
08:42
For example, you can ask GPT-4 a question like this,
172
522810
4546
Na przykład można zapytać GPT-4,
08:47
of how much time passed between these two foundational blogs
173
527356
3295
ile czasu dzieli publikację dwóch głównych wpisów na blogu OpenAI,
08:50
on unsupervised learning
174
530693
1668
jeden o uczeniu bez nadzoru,
08:52
and learning from human feedback.
175
532403
1794
drugi o uczeniu przez informacje zwrotne.
08:54
And the model says two months passed.
176
534197
2460
Model mówi, że to dwa miesiące.
08:57
But is it true?
177
537075
1167
Ale czy to prawda?
08:58
Like, these models are not 100-percent reliable,
178
538284
2252
Te modele nie są w 100% niezawodne,
09:00
although they’re getting better every time we provide some feedback.
179
540536
3921
chociaż są coraz lepsze dzięki naszym informacjom zwrotnym.
09:04
But we can actually use the AI to fact-check.
180
544457
3086
Do weryfikacji możemy użyć AI.
09:07
And it can actually check its own work.
181
547543
1877
AI może sprawdzić swoją własną pracę.
09:09
You can say, fact-check this for me.
182
549462
1877
Można powiedzieć: “Sprawdź to dla mnie”.
09:12
Now, in this case, I've actually given the AI a new tool.
183
552757
3670
W tym przypadku dałem AI nowe narzędzie.
09:16
This one is a browsing tool
184
556427
1710
Jest to narzędzie przeglądarkowe,
09:18
where the model can issue search queries and click into web pages.
185
558137
3879
czyli model wyszukuje i klika po stronach internetowych.
09:22
And it actually writes out its whole chain of thought as it does it.
186
562016
3253
W trakcie działań opisuje swój tok myślenia.
09:25
It says, I’m just going to search for this and it actually does the search.
187
565269
3587
Mówi, co wyszuka, po czym robi wyszukiwanie.
09:28
It then it finds the publication date and the search results.
188
568856
3128
Potem znajduje datę publikacji w wynikach wyszukiwania.
09:32
It then is issuing another search query.
189
572026
1919
Następnie robi kolejne wyszukiwanie.
09:33
It's going to click into the blog post.
190
573945
1877
Przechodzi do bloga OpenAI.
09:35
And all of this you could do, but it’s a very tedious task.
191
575822
2877
Można to wszystko zrobić samemu, ale to bardzo żmudne zadanie.
09:38
It's not a thing that humans really want to do.
192
578741
2211
Ludzie nie bardzo chcą to robić.
09:40
It's much more fun to be in the driver's seat,
193
580952
2169
Przyjemniej być za kółkiem,
09:43
to be in this manager's position where you can, if you want,
194
583162
2836
na miejscu szefa, który jeśli zechce,
09:45
triple-check the work.
195
585998
1210
sprawdzi coś po trzykroć.
09:47
And out come citations
196
587208
1501
Teraz pojawiają się cytaty,
09:48
so you can actually go
197
588709
1168
więc można rzeczywiście
09:49
and very easily verify any piece of this whole chain of reasoning.
198
589919
3754
łatwo sprawdzić każdy element całego toku rozumowania.
09:53
And it actually turns out two months was wrong.
199
593673
2210
Dwa miesiące to błędna odpowiedź.
09:55
Two months and one week,
200
595883
2169
Dwa miesiące i jeden tydzień
09:58
that was correct.
201
598094
1251
to poprawna odpowiedź.
10:00
(Applause)
202
600888
3837
(Brawa)
10:07
And we'll cut back to the side.
203
607645
1502
Wracamy do prezentacji.
10:09
And so thing that's so interesting to me about this whole process
204
609147
3920
W całym tym procesie fascynuje mnie
10:13
is that it’s this many-step collaboration between a human and an AI.
205
613067
3962
wieloetapowa współpraca między człowiekiem a sztuczną inteligencją.
10:17
Because a human, using this fact-checking tool
206
617029
2461
Korzystając z narzędzia do weryfikacji faktów,
10:19
is doing it in order to produce data
207
619532
2210
człowiek tworzy dane,
10:21
for another AI to become more useful to a human.
208
621742
3170
żeby kolejna AI mogła być bardziej użyteczna dla człowieka.
10:25
And I think this really shows the shape of something
209
625454
2545
Sądzę, że ukazuje to kształt czegoś,
10:28
that we should expect to be much more common in the future,
210
628040
3087
czego powinniśmy się spodziewać w przyszłości,
10:31
where we have humans and machines kind of very carefully
211
631127
2711
w której ludzie i maszyny
10:33
and delicately designed in how they fit into a problem
212
633880
3503
finezyjnie zaprogramowane wpasują się w problem
10:37
and how we want to solve that problem.
213
637425
1918
i sposób, w jaki chcemy go rozwiązać.
10:39
We make sure that the humans are providing the management, the oversight,
214
639385
3462
Pilnujemy, żeby ludzie odpowiadali za zarządzanie, nadzór
10:42
the feedback,
215
642847
1168
oraz informacje zwrotne,
10:44
and the machines are operating in a way that's inspectable
216
644015
2752
a maszyny działały w sposób, możliwy do skontrolowania
10:46
and trustworthy.
217
646809
1126
i godny zaufania.
10:47
And together we're able to actually create even more trustworthy machines.
218
647977
3503
Razem możemy stworzyć bardziej niezawodne maszyny.
10:51
And I think that over time, if we get this process right,
219
651522
2711
Z czasem, jeśli ten proces przeprowadzimy prawidłowo,
10:54
we will be able to solve impossible problems.
220
654233
2127
będziemy rozwiązywać niemożliwe problemy.
10:56
And to give you a sense of just how impossible I'm talking,
221
656360
3963
Mówię “niemożliwe” w tym sensie,
11:00
I think we're going to be able to rethink almost every aspect
222
660323
2878
że będziemy w stanie zrewidować chyba każdy aspekt
11:03
of how we interact with computers.
223
663242
2378
interakcji z komputerami.
11:05
For example, think about spreadsheets.
224
665620
2502
Weźmy przykładowo arkusze kalkulacyjne.
11:08
They've been around in some form since, we'll say, 40 years ago with VisiCalc.
225
668122
4379
Istnieją w jakiejś formie około 40 lat, od czasów programu VisiCalc.
11:12
I don't think they've really changed that much in that time.
226
672543
2878
W tym czasie niewiele się zmieniły.
11:16
And here is a specific spreadsheet of all the AI papers on the arXiv
227
676214
5922
Oto arkusz z danymi wszystkich artykułów o AI na platformie arXiv
11:22
for the past 30 years.
228
682178
1168
na przestrzeni 30 lat.
11:23
There's about 167,000 of them.
229
683346
1960
Jest ich około 167 000.
11:25
And you can see there the data right here.
230
685348
2878
Tutaj dokładnie widać dane.
11:28
But let me show you the ChatGPT take on how to analyze a data set like this.
231
688267
3837
Pokażę, jak ChatGPT analizuje takie zbiory danych.
11:37
So we can give ChatGPT access to yet another tool,
232
697318
3837
Dajemy ChatGPT dostęp do jeszcze jednego narzędzia,
11:41
this one a Python interpreter,
233
701197
1460
interpretera Pythona,
11:42
so it’s able to run code, just like a data scientist would.
234
702657
4004
dzięki czemu uruchomi kod tak, jak zrobiłby to analityk danych.
11:46
And so you can just literally upload a file
235
706661
2335
Można więc dosłownie przesłać plik
11:48
and ask questions about it.
236
708996
1335
i zadać pytania na jego temat.
11:50
And very helpfully, you know, it knows the name of the file and it's like,
237
710373
3545
Co więcej, ChatGPT na podstawie nazwy pliku zareaguje.
11:53
"Oh, this is CSV," comma-separated value file,
238
713960
2419
“O, to CSV”, plik wartości rozdzielanych przecinkami.
11:56
"I'll parse it for you."
239
716420
1335
“Odczytam go dla ciebie”.
11:57
The only information here is the name of the file,
240
717755
2794
Jedyne informacje to nazwa pliku,
12:00
the column names like you saw and then the actual data.
241
720591
3671
nazwy kolumn i same dane.
12:04
And from that it's able to infer what these columns actually mean.
242
724262
4504
ChatGPT samodzielnie wnioskuje, co te kolumny znaczą.
12:08
Like, that semantic information wasn't in there.
243
728766
2294
Bez informacji semantycznej
12:11
It has to sort of, put together its world knowledge of knowing that,
244
731102
3211
musi wykorzystać swoją wiedzę świata i arXiv.
12:14
“Oh yeah, arXiv is a site that people submit papers
245
734355
2502
“Aha, arXiv to serwis, gdzie przesyła się prace naukowe,
12:16
and therefore that's what these things are and that these are integer values
246
736857
3587
czyli tu są artykuły, tu wartości całkowite,
12:20
and so therefore it's a number of authors in the paper,"
247
740486
2628
więc to musi być liczba autorów danego artykułu”.
12:23
like all of that, that’s work for a human to do,
248
743114
2252
To praca, którą wykonywał człowiek,
12:25
and the AI is happy to help with it.
249
745408
1751
ale AI chętnie pomoże.
12:27
Now I don't even know what I want to ask.
250
747159
2002
Teraz nie wiem, o co zapytać.
12:29
So fortunately, you can ask the machine,
251
749203
3003
Na szczęście można poprosić maszynę.
12:32
"Can you make some exploratory graphs?"
252
752248
1877
“Przygotuj wykresy eksploracyjne”.
12:37
And once again, this is a super high-level instruction with lots of intent behind it.
253
757461
4004
To znów instrukcja bardzo ogólna, pełna wielu poziomów intencji.
12:41
But I don't even know what I want.
254
761507
1668
Nawet nie wiem, czego chcę.
12:43
And the AI kind of has to infer what I might be interested in.
255
763175
2920
AI musi wydedukować, co mnie zainteresuje.
12:46
And so it comes up with some good ideas, I think.
256
766137
2294
Chyba ma parę dobrych pomysłów.
12:48
So a histogram of the number of authors per paper,
257
768472
2336
Histogram liczby autorów na artykuł,
12:50
time series of papers per year, word cloud of the paper titles.
258
770850
2961
wykres artykułów na rok, chmura słów z tytułów artykułów.
12:53
All of that, I think, will be pretty interesting to see.
259
773853
2627
Wszystko wygląda bardzo interesująco,
12:56
And the great thing is, it can actually do it.
260
776522
2169
a najlepsze, że potrafi to zrobić.
12:58
Here we go, a nice bell curve.
261
778691
1460
Oto śliczna krzywa dzwonowa.
13:00
You see that three is kind of the most common.
262
780151
2169
Trzy to najczęstsza liczba autorów.
13:02
It's going to then make this nice plot of the papers per year.
263
782320
5797
Teraz zrobi ładny wykres liczby artykułów na rok.
13:08
Something crazy is happening in 2023, though.
264
788117
2294
Jednak w 2023 roku dzieje się coś dziwnego.
13:10
Looks like we were on an exponential and it dropped off the cliff.
265
790411
3128
Krzywa wykładnicza nagle spada na łeb na szyję.
13:13
What could be going on there?
266
793539
1460
Co tu się dzieje?
13:14
By the way, all this is Python code, you can inspect.
267
794999
2753
A propos, to jest kod Pythona, można go kontrolować.
13:17
And then we'll see word cloud.
268
797752
1459
Tu widać chmurę słów,
13:19
So you can see all these wonderful things that appear in these titles.
269
799253
3378
wszystkie wspaniałe słowa, które pojawiły się w tytułach.
13:23
But I'm pretty unhappy about this 2023 thing.
270
803090
2127
Jednak rok 2023 trochę mnie niepokoi.
13:25
It makes this year look really bad.
271
805634
1711
Ten rok wygląda bardzo źle.
13:27
Of course, the problem is that the year is not over.
272
807345
2877
Problem polega na tym, że rok jeszcze się nie skończył.
13:30
So I'm going to push back on the machine.
273
810222
2878
Więc sprzeciwiam się maszynie.
13:33
[Waitttt that's not fair!!!
274
813142
1585
[Chwila, to nie fair!!!
13:34
2023 isn't over.
275
814727
1293
Rok 2023 jeszcze się nie skończył.
13:38
What percentage of papers in 2022 were even posted by April 13?]
276
818481
5088
Jaki procent artykułów w 2022 roku opublikowano do 13 kwietnia?]
13:44
So April 13 was the cut-off date I believe.
277
824695
2294
13 kwietnia był datą graniczną.
13:47
Can you use that to make a fair projection?
278
827656
4922
Możesz to wykorzystać do rzetelnej prognozy?
13:54
So we'll see, this is the kind of ambitious one.
279
834747
2294
O, ambitna reakcja.
13:57
(Laughter)
280
837083
1126
(Śmiech)
13:59
So you know,
281
839877
1251
Zatem jak widać,
14:01
again, I feel like there was more I wanted out of the machine here.
282
841128
3921
chciałem wydobyć z maszyny więcej.
14:05
I really wanted it to notice this thing,
283
845049
2502
Chciałem, żeby zauważyła,
14:07
maybe it's a little bit of an overreach for it
284
847593
3128
może zbyt ambitnie,
14:10
to have sort of, inferred magically that this is what I wanted.
285
850763
3378
ale chciałem, żeby magicznie odgadywała o co mi chodzi.
14:14
But I inject my intent,
286
854183
1627
Ale to ja wprowadzam intencje,
14:15
I provide this additional piece of, you know, guidance.
287
855810
4754
dostarczam kolejny kawałek układanki.
14:20
And under the hood,
288
860564
1168
A pod maską
14:21
the AI is just writing code again, so if you want to inspect what it's doing,
289
861774
3629
AI jeszcze raz pisze kod, więc jeśli chcemy sprawdzić, co robi,
14:25
it's very possible.
290
865403
1251
jak najbardziej można.
14:26
And now, it does the correct projection.
291
866654
3628
Teraz tworzy prawidłową prognozę.
14:30
(Applause)
292
870282
5005
(Brawa)
14:35
If you noticed, it even updates the title.
293
875287
2169
Zauważyliście? Nawet tytuł zmieniła.
14:37
I didn't ask for that, but it know what I want.
294
877498
2336
Nie prosiłem, ale ona wie, czego chcę.
14:41
Now we'll cut back to the slide again.
295
881794
2544
Wracamy do prezentacji.
14:45
This slide shows a parable of how I think we ...
296
885714
4880
Ten slajd pokazuje przypowieść.
14:51
A vision of how we may end up using this technology in the future.
297
891220
3212
Wizję przyszłości zastosowania tej technologii.
14:54
A person brought his very sick dog to the vet,
298
894849
3712
Ktoś przyprowadził bardzo chorego psa do weterynarza,
14:58
and the veterinarian made a bad call to say, “Let’s just wait and see.”
299
898561
3336
weterynarz podjął złą decyzję: “Poczekamy, zobaczymy”.
15:01
And the dog would not be here today had he listened.
300
901897
2795
Gdyby właściciel posłuchał, psa by już nie było.
15:05
In the meanwhile, he provided the blood test,
301
905401
2252
Właściciel podał wyniki badania krwi,
15:07
like, the full medical records, to GPT-4,
302
907653
2586
cały raport medyczny do GPT-4,
15:10
which said, "I am not a vet, you need to talk to a professional,
303
910281
3170
na co GPT-4: “Nie jestem weterynarzem, pogadaj ze specjalistą,
15:13
here are some hypotheses."
304
913492
1710
ale postawię parę hipotez”.
15:15
He brought that information to a second vet
305
915786
2127
Dzięki temu inny weterynarz
15:17
who used it to save the dog's life.
306
917913
1835
uratował psu życie.
15:21
Now, these systems, they're not perfect.
307
921292
2252
Te systemy nie są jeszcze doskonałe.
15:23
You cannot overly rely on them.
308
923544
2336
Nie można na nich zbytnio polegać.
15:25
But this story, I think, shows
309
925880
3712
Jednak ta historia pokazuje,
15:29
that a human with a medical professional
310
929592
3044
że człowiek z pomocą specjalisty
15:32
and with ChatGPT as a brainstorming partner
311
932678
2461
i ChatGPT jako partnerem burzy mózgów
15:35
was able to achieve an outcome that would not have happened otherwise.
312
935181
3295
osiągnął rezultat, którego inaczej by nie było.
15:38
I think this is something we should all reflect on,
313
938476
2419
Wszyscy powinniśmy się zastanowić,
15:40
think about as we consider how to integrate these systems
314
940895
2711
jak zintegrować te systemy
15:43
into our world.
315
943606
1167
w naszym świecie.
15:44
And one thing I believe really deeply,
316
944815
1835
Naprawdę głęboko wierzę,
15:46
is that getting AI right is going to require participation from everyone.
317
946650
4338
że właściwe wykorzystanie AI wymaga zaangażowania wszystkich.
15:50
And that's for deciding how we want it to slot in,
318
950988
2377
My decydujemy, jak wykorzystać AI,
15:53
that's for setting the rules of the road,
319
953365
1961
jakie są reguły gry,
15:55
for what an AI will and won't do.
320
955367
2044
co AI wolno, a czego nie wolno zrobić.
15:57
And if there's one thing to take away from this talk,
321
957453
2502
Najważniejszy przekaz tej prelekcji,
15:59
it's that this technology just looks different.
322
959997
2211
ten wynalazek tylko wygląda inaczej,
16:02
Just different from anything people had anticipated.
323
962208
2502
zupełnie inaczej niż oczekiwaliśmy.
16:04
And so we all have to become literate.
324
964710
1835
Wszyscy musimy się go nauczyć.
16:06
And that's, honestly, one of the reasons we released ChatGPT.
325
966587
2961
Szczerze, to jeden z powodów wypuszczenia ChataGPT.
16:09
Together, I believe that we can achieve the OpenAI mission
326
969548
3128
Sądzę, że razem wypełnimy misję OpenAI,
16:12
of ensuring that artificial general intelligence
327
972718
2252
czyli dopilnujemy, żeby sztuczna inteligencja
16:14
benefits all of humanity.
328
974970
1877
przyniosła korzyści całej ludzkości.
16:16
Thank you.
329
976847
1168
Dziękuję.
16:18
(Applause)
330
978057
6965
(Brawa)
16:33
(Applause ends)
331
993322
1168
(Brawa cichną)
16:34
Chris Anderson: Greg.
332
994532
1334
Chris Anderson: Greg.
16:36
Wow.
333
996242
1167
No no!
16:37
I mean ...
334
997868
1126
Jestem pod wrażeniem.
16:39
I suspect that within every mind out here
335
999662
3753
Podejrzewam, że wszyscy mamy w głowie
16:43
there's a feeling of reeling.
336
1003457
2503
niezły mętlik.
16:46
Like, I suspect that a very large number of people viewing this,
337
1006001
3379
Podejrzewam, że wielu widzów
16:49
you look at that and you think, “Oh my goodness,
338
1009421
2419
patrzy i myśli teraz: “O rany,
16:51
pretty much every single thing about the way I work, I need to rethink."
339
1011882
3462
muszę przemyśleć od nowa niemal wszystkie metody pracy”.
16:55
Like, there's just new possibilities there.
340
1015386
2002
Pojawiają się nowe możliwości.
16:57
Am I right?
341
1017388
1168
Czy mam rację?
16:58
Who thinks that they're having to rethink the way that we do things?
342
1018597
3337
Kto uważa, że musi przemyśleć swój sposób działania?
17:01
Yeah, I mean, it's amazing,
343
1021976
1543
Tak, niesamowite,
17:03
but it's also really scary.
344
1023561
2002
ale i przerażające.
17:05
So let's talk, Greg, let's talk.
345
1025604
1585
Pomówmy o tym, Greg.
17:08
I mean, I guess my first question actually is just
346
1028524
2377
Pierwsze pytanie,
17:10
how the hell have you done this?
347
1030901
1585
jakim cudem ci się udało?
17:12
(Laughter)
348
1032486
1251
(Śmiech)
17:13
OpenAI has a few hundred employees.
349
1033737
2962
OpenAI ma kilkuset pracowników.
17:16
Google has thousands of employees working on artificial intelligence.
350
1036740
4755
Google ma tysiące pracowników zajmujących się sztuczną inteligencją.
17:21
Why is it you who's come up with this technology
351
1041996
3503
Dlaczego akurat wy stworzyliście technikę,
17:25
that shocked the world?
352
1045541
1168
która zszokowała świat?
17:26
Greg Brockman: I mean, the truth is,
353
1046709
1751
Greg Brockman: Prawdę mówiąc,
17:28
we're all building on shoulders of giants, right, there's no question.
354
1048502
3295
wszyscy budujemy na barkach gigantów, nie ma wątpliwości.
17:31
If you look at the compute progress,
355
1051797
1752
Patrząc na postęp obliczeniowy,
17:33
the algorithmic progress, the data progress,
356
1053549
2085
algorytmiczny i w zakresie danych,
17:35
all of those are really industry-wide.
357
1055634
1835
mamy postęp w całej branży.
17:37
But I think within OpenAI,
358
1057469
1252
W ramach OpenAI
17:38
we made a lot of very deliberate choices from the early days.
359
1058762
2878
od początku dokonywaliśmy świadomych wyborów.
17:41
And the first one was just to confront reality as it lays.
360
1061640
2711
Pierwszy to konfrontacja z rzeczywistością.
17:44
And that we just thought really hard about like:
361
1064393
2294
Intensywnie zastanawialiśmy się,
17:46
What is it going to take to make progress here?
362
1066687
2210
co potrzeba, aby robić postępy.
17:48
We tried a lot of things that didn't work, so you only see the things that did.
363
1068939
3754
Dużo prób nie powiodło się, widzicie tylko te udane.
17:52
And I think that the most important thing has been to get teams of people
364
1072693
3462
Sądzę, że najważniejsze było znalezienie ludzi,
17:56
who are very different from each other to work together harmoniously.
365
1076196
3254
którzy choć różnią się od siebie, harmonijnie współpracują w zespole.
17:59
CA: Can we have the water, by the way, just brought here?
366
1079450
2711
CA: Czy możemy prosić o wodę?
18:02
I think we're going to need it, it's a dry-mouth topic.
367
1082202
3170
Od tego tematu zasycha w gardle.
18:06
But isn't there something also just about the fact
368
1086665
2795
Czy ma znaczenie,
18:09
that you saw something in these language models
369
1089501
4755
że widziałeś potencjał w modelach językowych,
18:14
that meant that if you continue to invest in them and grow them,
370
1094256
3921
że jeśli dalej będziesz inwestować i rozwijać je,
18:18
that something at some point might emerge?
371
1098218
3129
w końcu pojawi się coś wartościowego?
18:21
GB: Yes.
372
1101847
1126
GB: Owszem.
18:23
And I think that, I mean, honestly,
373
1103015
2836
Szczerze mówiąc,
18:25
I think the story there is pretty illustrative, right?
374
1105893
2544
ta historia nieźle to ilustruje.
18:28
I think that high level, deep learning,
375
1108437
2002
Wyższy poziom głębokiego uczenia,
18:30
like we always knew that was what we wanted to be,
376
1110481
2335
zawsze chcieliśmy stworzyć
18:32
was a deep learning lab, and exactly how to do it?
377
1112858
2419
laboratorium głębokiego uczenia, tylko jak to zrobić?
18:35
I think that in the early days, we didn't know.
378
1115277
2211
Sądzę, że na początku nie wiedzieliśmy.
18:37
We tried a lot of things,
379
1117529
1210
Próbowaliśmy wielu rzeczy.
18:38
and one person was working on training a model
380
1118739
2336
Jedna osoba pracowała szkoląc model,
18:41
to predict the next character in Amazon reviews,
381
1121075
2877
który przewidzi następny znak w recenzjach Amazona
18:43
and he got a result where -- this is a syntactic process,
382
1123994
4755
i uzyskała rezultat. W wyniku analizy składni
18:48
you expect, you know, the model will predict where the commas go,
383
1128749
3086
oczekiwaliśmy, że model poda gdzie będą przecinki,
18:51
where the nouns and verbs are.
384
1131835
1627
rzeczowniki i czasowniki,
18:53
But he actually got a state-of-the-art sentiment analysis classifier out of it.
385
1133504
4337
a on zrobił doskonałą analizę odczuć.
18:57
This model could tell you if a review was positive or negative.
386
1137883
2961
Model umiał ocenić, czy recenzja jest pozytywna, czy negatywna.
19:00
I mean, today we are just like, come on, anyone can do that.
387
1140886
3378
Dzisiaj wydaje się to błahostką.
19:04
But this was the first time that you saw this emergence,
388
1144306
3087
Wtedy pierwszy raz zobaczyliśmy,
19:07
this sort of semantics that emerged from this underlying syntactic process.
389
1147434
5005
jak z analizy syntaktycznej wyłania się semantyka.
19:12
And there we knew, you've got to scale this thing,
390
1152481
2336
Wiedzieliśmy, że musimy to skalować,
19:14
you've got to see where it goes.
391
1154858
1544
zobaczyć, gdzie to zmierza.
19:16
CA: So I think this helps explain
392
1156402
1626
CA: Sądzę, że to pomaga rozwiązać
19:18
the riddle that baffles everyone looking at this,
393
1158028
2544
zagadkę nurtującą każdego obserwatora,
19:20
because these things are described as prediction machines.
394
1160572
2753
bo te modele opisywano jako maszyny do prognozowania.
19:23
And yet, what we're seeing out of them feels ...
395
1163367
2669
Jednak to, co robią wydaje się…
19:26
it just feels impossible that that could come from a prediction machine.
396
1166036
3420
wydaje się niemożliwe, że maszyny mają takie wyniki.
19:29
Just the stuff you showed us just now.
397
1169456
2378
To, co nam pokazałeś tylko to potwierdza.
19:31
And the key idea of emergence is that when you get more of a thing,
398
1171875
3838
Kluczową koncepcją nowego bytu jest to, że gdy jest czegoś więcej,
19:35
suddenly different things emerge.
399
1175754
1585
nagle pojawiają się nowe rzeczy.
19:37
It happens all the time, ant colonies, single ants run around,
400
1177339
3045
To dzieje się cały czas, weźmy mrówki, biegają sobie pojedynczo,
19:40
when you bring enough of them together,
401
1180384
1877
a jak zbierze się wystarczająco dużo,
19:42
you get these ant colonies that show completely emergent, different behavior.
402
1182302
3629
mamy kolonie mrówek, wykazujące całkiem nowe, odmienne zachowania.
19:45
Or a city where a few houses together, it's just houses together.
403
1185973
3086
Podobnie miasta; parę domów razem to po prostu zbiór domów,
19:49
But as you grow the number of houses,
404
1189059
1794
ale w miarę wzrostu liczby domów,
19:50
things emerge, like suburbs and cultural centers and traffic jams.
405
1190894
4588
pojawiają się dzielnice mieszkaniowe, domy kultury czy korki.
19:57
Give me one moment for you when you saw just something pop
406
1197276
3211
Podaj mi przykład powstania czegoś,
20:00
that just blew your mind
407
1200529
1668
co cię zszokowało,
20:02
that you just did not see coming.
408
1202197
1627
a czego się nie spodziewałeś.
20:03
GB: Yeah, well,
409
1203824
1209
GB: No tak,
20:05
so you can try this in ChatGPT, if you add 40-digit numbers --
410
1205075
3462
można to pokazać na dodawaniu 40-cyfrowych liczb przez ChatGPT.
20:08
CA: 40-digit?
411
1208537
1168
CA: 40-cyfrowych?
20:09
GB: 40-digit numbers, the model will do it,
412
1209705
2169
GB: Model dodaje liczby 40-cyfrowe,
20:11
which means it's really learned an internal circuit for how to do it.
413
1211915
3254
co oznacza, że faktycznie nauczył wewnętrzny obieg, jak to zrobić.
20:15
And the really interesting thing is actually,
414
1215210
2127
Co ciekawe,
20:17
if you have it add like a 40-digit number plus a 35-digit number,
415
1217337
3212
jeśli dodaje 40-cyfrową liczbę do 35-cyfrowej liczby,
20:20
it'll often get it wrong.
416
1220591
1710
model często popełnia błąd.
20:22
And so you can see that it's really learning the process,
417
1222676
2795
Widać, że naprawdę uczy się tego procesu,
20:25
but it hasn't fully generalized, right?
418
1225471
1876
ale jeszcze go w pełni nie opanował.
20:27
It's like you can't memorize the 40-digit addition table,
419
1227389
2711
Nie można nauczyć się dodawania liczb 40-cyfrowych,
20:30
that's more atoms than there are in the universe.
420
1230100
2294
to więcej atomów, niż we wszechświecie.
20:32
So it had to have learned something general,
421
1232394
2086
Model musiał opanować ogólny proces,
20:34
but that it hasn't really fully yet learned that,
422
1234480
2377
ale wciąż nie nauczył się w pełni.
20:36
Oh, I can sort of generalize this to adding arbitrary numbers
423
1236899
2961
Aha, mogę uogólnić to na dodawanie dowolnych liczb
20:39
of arbitrary lengths.
424
1239902
1167
o dowolnej długości.
20:41
CA: So what's happened here
425
1241111
1335
CA: Więc to działa tak,
20:42
is that you've allowed it to scale up
426
1242488
1793
że daliście mu się skalować
20:44
and look at an incredible number of pieces of text.
427
1244281
2419
i przejrzeć ogromną liczbę tekstów,
20:46
And it is learning things
428
1246742
1209
a ChatGPT uczy się czegoś,
20:47
that you didn't know that it was going to be capable of learning.
429
1247951
3379
czego w ogóle się nie spodziewaliście.
20:51
GB Well, yeah, and it’s more nuanced, too.
430
1251371
2002
GB: Tak, to jeszcze bardziej złożone.
20:53
So one science that we’re starting to really get good at
431
1253415
2878
Coraz lepiej wychodzi nam prognozowanie
20:56
is predicting some of these emergent capabilities.
432
1256335
2586
pojawienia się nowych umiejętności.
20:58
And to do that actually,
433
1258962
1335
Uzyskujemy to również dzięki,
21:00
one of the things I think is very undersung in this field
434
1260339
2711
często niedocenianej w tej branży,
21:03
is sort of engineering quality.
435
1263050
1501
jakości inżynierii.
21:04
Like, we had to rebuild our entire stack.
436
1264551
2044
Przebudowaliśmy cały stos technologiczny.
21:06
When you think about building a rocket,
437
1266637
1877
Kiedy chcemy zbudować rakietę,
21:08
every tolerance has to be incredibly tiny.
438
1268555
2211
margines tolerancji błędu jest znikomy,
21:10
Same is true in machine learning.
439
1270766
1626
tak samo w systemach uczących się.
21:12
You have to get every single piece of the stack engineered properly,
440
1272434
3212
Każdy element stosu trzeba właściwie zaprojektować,
21:15
and then you can start doing these predictions.
441
1275646
2210
a potem można zacząć prognozowanie.
21:17
There are all these incredibly smooth scaling curves.
442
1277856
2503
Mamy tu niesamowicie gładkie krzywe skalowania.
21:20
They tell you something deeply fundamental about intelligence.
443
1280359
2919
Mówią coś bardzo ważnego o inteligencji.
21:23
If you look at our GPT-4 blog post,
444
1283320
1710
Spojrzmy na blog GPT-4,
21:25
you can see all of these curves in there.
445
1285030
1960
tu widać te wszystkie krzywe.
21:26
And now we're starting to be able to predict.
446
1286990
2127
Teraz możemy prognozować.
21:29
So we were able to predict, for example, the performance on coding problems.
447
1289117
3713
Możemy np. przewidzieć problemy z kodowaniem.
21:32
We basically look at some models
448
1292871
1585
Patrzymy na modele
21:34
that are 10,000 times or 1,000 times smaller.
449
1294456
2461
10 tysięcy lub tysiąc razy mniejsze.
21:36
And so there's something about this that is actually smooth scaling,
450
1296959
3211
Właściwie mamy tu płynne skalowanie,
21:40
even though it's still early days.
451
1300170
2044
choć to dopiero początki.
21:42
CA: So here is, one of the big fears then,
452
1302756
2544
CA: Jedną z większych obaw
21:45
that arises from this.
453
1305300
1252
biorących się z tego,
21:46
If it’s fundamental to what’s happening here,
454
1306593
2127
jeśli podstawą tego, co się dzieje,
21:48
that as you scale up,
455
1308720
1210
czyli wraz ze skalowaniem
21:49
things emerge that
456
1309930
2419
powstaje coś,
21:52
you can maybe predict in some level of confidence,
457
1312349
4171
co do pewnego stopnia można przewidzieć,
21:56
but it's capable of surprising you.
458
1316562
2544
ale nadal może nas zaskoczyć.
22:00
Why isn't there just a huge risk of something truly terrible emerging?
459
1320816
4463
Czy jest ryzyko, że powstanie coś naprawdę strasznego?
22:05
GB: Well, I think all of these are questions of degree
460
1325320
2545
GB: To są pytania o stopień,
22:07
and scale and timing.
461
1327865
1209
skalę i synchronizację.
22:09
And I think one thing people miss, too,
462
1329116
1877
Ludzie nie widzą jeszcze jednej rzeczy,
22:10
is sort of the integration with the world is also this incredibly emergent,
463
1330993
3587
tworzącej się integracji ze światem,
22:14
sort of, very powerful thing too.
464
1334621
1585
co też jest potężną siłą.
22:16
And so that's one of the reasons that we think it's so important
465
1336248
3045
Dlatego uważamy, że ważne,
aby stopniowo wdrażać AI.
22:19
to deploy incrementally.
466
1339293
1167
22:20
And so I think that what we kind of see right now, if you look at this talk,
467
1340502
3629
Chociażby w tej prezentacji
22:24
a lot of what I focus on is providing really high-quality feedback.
468
1344131
3170
skupiam się na jakości informacji zwrotnych.
22:27
Today, the tasks that we do, you can inspect them, right?
469
1347301
2711
Dzisiejsze zadania można sprawdzić.
22:30
It's very easy to look at that math problem and be like, no, no, no,
470
1350012
3211
W zadaniu matematycznym łatwo znaleźć błąd i go wskazać.
22:33
machine, seven was the correct answer.
471
1353265
1835
Maszyno, poprawna odpowiedż to 7.
22:35
But even summarizing a book, like, that's a hard thing to supervise.
472
1355100
3212
Ale streszczenie książki będzie ciężko sprawdzić.
22:38
Like, how do you know if this book summary is any good?
473
1358312
2586
Skąd wiadomo, że streszczenie jest dobre?
22:40
You have to read the whole book.
474
1360939
1543
Trzeba przeczytać całą książkę.
22:42
No one wants to do that.
475
1362482
1168
Tylko kto to zrobi?
22:43
(Laughter)
476
1363692
1293
(Śmiech)
22:44
And so I think that the important thing will be that we take this step by step.
477
1364985
4296
Dlatego stopniowe działanie ma sens.
22:49
And that we say, OK, as we move on to book summaries,
478
1369323
2544
W przypadku streszczania książek,
22:51
we have to supervise this task properly.
479
1371867
1960
musimy odpowiednio nadzorować maszyny.
22:53
We have to build up a track record with these machines
480
1373827
2586
Musimy wypracować historię osiągnięć,
22:56
that they're able to actually carry out our intent.
481
1376413
2586
żeby maszyny wykonały nasz zamiar.
22:59
And I think we're going to have to produce even better, more efficient,
482
1379041
3336
Będziemy musieli stworzyć jeszcze lepsze, bardziej wydajne,
23:02
more reliable ways of scaling this,
483
1382419
1710
niezawodne sposoby skalowania,
23:04
sort of like making the machine be aligned with you.
484
1384129
2878
żeby bardziej dopasować maszynę do siebie.
23:07
CA: So we're going to hear later in this session,
485
1387049
2294
CA: Dziś jeszcze wysłuchamy krytyki,
23:09
there are critics who say that,
486
1389343
1543
bo niektórzy mówią,
23:10
you know, there's no real understanding inside,
487
1390928
4587
że maszynie brak prawdziwego rozumienia,
23:15
the system is going to always --
488
1395557
1627
system zawsze będzie zawodny,
23:17
we're never going to know that it's not generating errors,
489
1397225
3212
nigdy nie wiadomo, czy nie zrobi błędu,
23:20
that it doesn't have common sense and so forth.
490
1400479
2210
maszyna nie ma zdrowego rozsądku itd.
23:22
Is it your belief, Greg, that it is true at any one moment,
491
1402689
4088
To prawda, Greg, ale czy uważasz,
23:26
but that the expansion of the scale and the human feedback
492
1406818
3629
że rozwój skali i informacje zwrotne od człowieka,
23:30
that you talked about is basically going to take it on that journey
493
1410489
4963
pomogą sztucznej inteligencji poruszać się
23:35
of actually getting to things like truth and wisdom and so forth,
494
1415494
3837
po konceptach typu prawda, mądrość, itd,
23:39
with a high degree of confidence.
495
1419331
1627
z dużą dozą pewności.
23:40
Can you be sure of that?
496
1420999
1335
Możesz być tego pewien?
23:42
GB: Yeah, well, I think that the OpenAI, I mean, the short answer is yes,
497
1422334
3462
GB: Myślę, że tak,
23:45
I believe that is where we're headed.
498
1425796
1793
wierzę, że właśnie tam zmierzamy.
23:47
And I think that the OpenAI approach here has always been just like,
499
1427631
3211
W OpenAI nigdy nie unikaliśmy
23:50
let reality hit you in the face, right?
500
1430842
1877
zderzenia z rzeczywistością.
23:52
It's like this field is the field of broken promises,
501
1432719
2503
To pole złamanych obietnic,
23:55
of all these experts saying X is going to happen, Y is how it works.
502
1435263
3212
ekspertów obiecujących X metodą Y.
23:58
People have been saying neural nets aren't going to work for 70 years.
503
1438475
3337
Od 70 lat niektórzy mówią, że sieci neuronowe nie będą działać.
24:01
They haven't been right yet.
504
1441812
1376
Nadal nie mają racji.
24:03
They might be right maybe 70 years plus one
505
1443188
2044
Może będą mieli za 70 lat plus jeden,
24:05
or something like that is what you need.
506
1445232
1918
lub coś koło tego.
24:07
But I think that our approach has always been,
507
1447192
2169
Jednak nasze podejście polega
24:09
you've got to push to the limits of this technology
508
1449361
2419
na przesuwaniu granic techniki,
24:11
to really see it in action,
509
1451822
1293
i oglądaniu jej w akcji,
24:13
because that tells you then, oh, here's how we can move on to a new paradigm.
510
1453115
3670
bo wtedy widać, jak można przejść do nowego wzorca.
24:16
And we just haven't exhausted the fruit here.
511
1456785
2127
Nie wyczerpaliśmy wszystkich możliwości.
24:18
CA: I mean, it's quite a controversial stance you've taken,
512
1458954
2794
CA: Przyjęliście dość kontrowersyjną postawę,
24:21
that the right way to do this is to put it out there in public
513
1461748
2920
że trzeba wprowadzić AI w przestrzeń publiczną,
24:24
and then harness all this, you know,
514
1464710
1751
a następnie okiełznać,
24:26
instead of just your team giving feedback,
515
1466461
2002
wykorzystać nie tylko swój zespół,
24:28
the world is now giving feedback.
516
1468463
2461
ale cały świat jako źródło informacji zwrotnej.
24:30
But ...
517
1470924
1168
Ale…
24:33
If, you know, bad things are going to emerge,
518
1473135
3753
Jeśli pojawi się coś złego,
24:36
it is out there.
519
1476930
1168
trafi do przestrzeni publicznej.
24:38
So, you know, the original story that I heard on OpenAI
520
1478140
2919
O OpenAI usłyszałem, kiedy zaczynaliście
24:41
when you were founded as a nonprofit,
521
1481101
1793
jako organizacja nonprofit,
24:42
well you were there as the great sort of check on the big companies
522
1482894
4463
mająca sprawdzać wielkie firmy
24:47
doing their unknown, possibly evil thing with AI.
523
1487399
3837
i potencjalnie groźne poczynania z AI.
24:51
And you were going to build models that sort of, you know,
524
1491278
4755
Wasze modele miały wymusić
24:56
somehow held them accountable
525
1496033
1418
jakąś formę odpowiedzialności,
24:57
and was capable of slowing the field down, if need be.
526
1497492
4380
a w razie potrzeby zwolnić tempo działań w tej dziedzinie.
25:01
Or at least that's kind of what I heard.
527
1501872
1960
Przynajmniej takie wrażenie odniosłem.
25:03
And yet, what's happened, arguably, is the opposite.
528
1503832
2461
Jednak stało się dokładnie na odwrót.
25:06
That your release of GPT, especially ChatGPT,
529
1506334
5673
Wypuszczenie GPT, zwłaszcza czata ChatGPT,
25:12
sent such shockwaves through the tech world
530
1512049
2002
tak zszokowało świat technologii,
25:14
that now Google and Meta and so forth are all scrambling to catch up.
531
1514051
3795
że Google i Meta próbują was dogonić.
25:17
And some of their criticisms have been,
532
1517888
2085
W swej krytyce podkreślają,
25:20
you are forcing us to put this out here without proper guardrails or we die.
533
1520015
4963
że zmuszacie ich do odsłonięcia kart bez odpowiednich zabezpieczeń.
25:25
You know, how do you, like,
534
1525020
2794
Jak uzasadnisz,
25:27
make the case that what you have done is responsible here and not reckless.
535
1527814
3754
czy uzasadnisz, że wasze działania były odpowiedzialne, a nie lekkomyślne.
25:31
GB: Yeah, we think about these questions all the time.
536
1531568
3128
GB: Cały czas myślimy o tych kwestiach,
25:34
Like, seriously all the time.
537
1534738
1418
naprawdę cały czas.
25:36
And I don't think we're always going to get it right.
538
1536198
2711
Czasem nam się nie uda.
25:38
But one thing I think has been incredibly important,
539
1538909
2460
Ale zawsze ważne było,
25:41
from the very beginning, when we were thinking
540
1541411
2169
od samego początku zastanawialiśmy się,
25:43
about how to build artificial general intelligence,
541
1543580
2419
jak zbudować sztuczną inteligencję,
25:45
actually have it benefit all of humanity,
542
1545999
2002
żeby przyniosła korzyści całej ludzkości,
25:48
like, how are you supposed to do that, right?
543
1548001
2127
więc, jak to zrobić?
25:50
And that default plan of being, well, you build in secret,
544
1550170
2711
Domyślnym planem była budowa w tajemnicy,
25:52
you get this super powerful thing,
545
1552923
1626
uzyskanie super potężnego efektu,
25:54
and then you figure out the safety of it and then you push “go,”
546
1554549
3003
sprawdzian bezpieczeństwa i wciśnięcie przycisku “Start”
25:57
and you hope you got it right.
547
1557552
1460
z nadzieją, że się uda.
25:59
I don't know how to execute that plan.
548
1559012
1835
Nie wiem, jak wykonać taki plan.
26:00
Maybe someone else does.
549
1560889
1168
Może ktoś wie.
26:02
But for me, that was always terrifying, it didn't feel right.
550
1562099
2877
Mnie taki plan przerażał, wydawał się niewłaściwy.
26:04
And so I think that this alternative approach
551
1564976
2128
Myślę, że podejście alternatywne
26:07
is the only other path that I see,
552
1567104
2043
jest jedyną drogą,
26:09
which is that you do let reality hit you in the face.
553
1569147
2503
trzeba pozwolić na zderzenie z rzeczywistością.
26:11
And I think you do give people time to give input.
554
1571691
2336
Trzeba dać ludziom czas na wyrażenie opinii.
26:14
You do have, before these machines are perfect,
555
1574027
2211
Zanim maszyny staną się doskonałe,
26:16
before they are super powerful, that you actually have the ability
556
1576279
3128
zanim będą super potężne, mamy możliwość
26:19
to see them in action.
557
1579407
1168
zobaczyć je w działaniu.
26:20
And we've seen it from GPT-3, right?
558
1580617
1752
Widzieliśmy to w przypadku GPT-3.
26:22
GPT-3, we really were afraid
559
1582369
1376
Przy GPT-3 baliśmy się,
26:23
that the number one thing people were going to do with it
560
1583745
2711
że ludzie będą głównie tworzyć dezinformację,
26:26
was generate misinformation, try to tip elections.
561
1586456
2336
aby wpłynąć na wynik wyborów.
26:28
Instead, the number one thing was generating Viagra spam.
562
1588834
2711
Zamiast tego tworzyli spam na temat Viagry.
26:31
(Laughter)
563
1591545
3169
(Śmiech)
26:36
CA: So Viagra spam is bad, but there are things that are much worse.
564
1596007
3212
CA: Spam dotyczący Viagry jest zły, ale są rzeczy o wiele gorsze.
26:39
Here's a thought experiment for you.
565
1599219
1752
Spróbujmy eksperymentu myślowego.
26:40
Suppose you're sitting in a room,
566
1600971
1710
Załóżmy, że siedzisz w pokoju,
26:42
there's a box on the table.
567
1602681
1668
w którym na stole stoi puszka.
26:44
You believe that in that box is something that,
568
1604349
3003
Wierzysz, że zawartość puszki
26:47
there's a very strong chance it's something absolutely glorious
569
1607394
2961
ma szansę być czymś wspaniałym,
26:50
that's going to give beautiful gifts to your family and to everyone.
570
1610397
3920
że kryją się w niej piękne podarki dla rodziny i innych ludzi.
26:54
But there's actually also a one percent thing in the small print there
571
1614359
3629
Ale jest też informacja o 1% ryzyku,
26:58
that says: “Pandora.”
572
1618029
1877
napis małym drukiem “Puszka Pandory”.
26:59
And there's a chance
573
1619906
1669
Istnieje ryzyko,
27:01
that this actually could unleash unimaginable evils on the world.
574
1621616
4088
że wypuścisz w świat niewyobrażalne zło.
27:06
Do you open that box?
575
1626538
1543
Otwierasz tę puszkę?
27:08
GB: Well, so, absolutely not.
576
1628123
1460
GB: Absolutnie nie.
27:09
I think you don't do it that way.
577
1629624
1919
Sądzę, że tak nie można.
27:12
And honestly, like, I'll tell you a story that I haven't actually told before,
578
1632210
3796
Opowiem historię, której jeszcze nie opowiadałem.
27:16
which is that shortly after we started OpenAI,
579
1636006
2586
Niedługo po założeniu OpenAI
27:18
I remember I was in Puerto Rico for an AI conference.
580
1638592
2711
byłem na konferencji o AI w Puerto Rico.
27:21
I'm sitting in the hotel room just looking out over this wonderful water,
581
1641344
3462
Siedzę w pokoju hotelowym, patrzę na cudowną wodę,
27:24
all these people having a good time.
582
1644806
1752
wszyscy świetnie się bawią.
27:26
And you think about it for a moment,
583
1646558
1752
Zastanawiam się przez chwilę.
27:28
if you could choose for basically that Pandora’s box
584
1648310
4504
Jeśli można wybrać, czy puszka Pandory
27:32
to be five years away
585
1652814
2711
otworzy się za 5 lat,
27:35
or 500 years away,
586
1655567
1585
czy 500 lat,
27:37
which would you pick, right?
587
1657194
1501
co lepiej wybrać?
27:38
On the one hand you're like, well, maybe for you personally,
588
1658737
2836
Z jednej strony dla mnie osobiście
27:41
it's better to have it be five years away.
589
1661573
2002
5 lat może być lepsze.
27:43
But if it gets to be 500 years away and people get more time to get it right,
590
1663617
3628
Ale 500 lat zostawia ludziom więcej czasu na przygotowanie,
27:47
which do you pick?
591
1667287
1168
więc co wybrać?
27:48
And you know, I just really felt it in the moment.
592
1668496
2336
W tamtej chwili uświadomiłem sobie,
27:50
I was like, of course you do the 500 years.
593
1670874
2002
że zdecydowanie wybieram 500 lat.
27:53
My brother was in the military at the time
594
1673293
2002
Mój brat był wtedy w wojsku,
27:55
and like, he puts his life on the line in a much more real way
595
1675295
2961
i narażał życie w sposób bardziej realny
27:58
than any of us typing things in computers
596
1678256
2628
niż my przy klawiaturze komputera,
28:00
and developing this technology at the time.
597
1680926
2585
pracujący nad tą technologią.
28:03
And so, yeah, I'm really sold on the you've got to approach this right.
598
1683511
4547
Tak więc jestem przekonany, że trzeba odpowiednio do tego podejść.
28:08
But I don't think that's quite playing the field as it truly lies.
599
1688058
3628
Jednak nie sądzę, że w pełni widać prawdziwe oblicze sytuacji.
28:11
Like, if you look at the whole history of computing,
600
1691686
2670
Patrząc na całą historię komputeryzacji,
28:14
I really mean it when I say that this is an industry-wide
601
1694397
4463
zmiana dotyczy całej branży
28:18
or even just almost like
602
1698902
1543
lub nawet szerzej,
28:20
a human-development- of-technology-wide shift.
603
1700487
3336
dotyczy postępu technicznego ludzkości.
28:23
And the more that you sort of, don't put together the pieces
604
1703865
4088
Dalej nie łączymy elementów,
28:27
that are there, right,
605
1707994
1293
które są na wyciągnięcie ręki,
28:29
we're still making faster computers,
606
1709329
1752
a robimy szybsze komputery,
28:31
we're still improving the algorithms, all of these things, they are happening.
607
1711081
3670
ulepszamy algorytmy, wszystko to ma miejsce.
28:34
And if you don't put them together, you get an overhang,
608
1714793
2627
Jeśli nie połączymy elementów, może dojść do przerostu,
28:37
which means that if someone does,
609
1717420
1627
a jeśli ktoś połączy elementy,
28:39
or the moment that someone does manage to connect to the circuit,
610
1719089
3086
kiedy podłączy się do obiegu,
28:42
then you suddenly have this very powerful thing,
611
1722175
2252
nagle powstanie potężne narzędzie,
28:44
no one's had any time to adjust,
612
1724427
1544
na które nikt nie jest przygotowany.
28:46
who knows what kind of safety precautions you get.
613
1726012
2336
Nie ma żadnych zabezpieczeń.
28:48
And so I think that one thing I take away
614
1728390
1918
Dla mnie najważniejsze,
28:50
is like, even you think about development of other sort of technologies,
615
1730308
3837
biorąc pod uwagę rozwój innych osiągnięć techniki,
28:54
think about nuclear weapons,
616
1734187
1376
weźmy broń atomową,
28:55
people talk about being like a zero to one,
617
1735563
2002
ludzie widzą zmiany zero-jedynkowo,
28:57
sort of, change in what humans could do.
618
1737565
2628
jeśli chodzi o potencjał człowieka.
29:00
But I actually think that if you look at capability,
619
1740235
2461
Jeśli popatrzeć na umiejętności,
29:02
it's been quite smooth over time.
620
1742696
1585
one rozwijają się płynnie.
29:04
And so the history, I think, of every technology we've developed
621
1744281
3670
Historia każdej technologii, którą rozwija człowiek, udowadnia,
29:07
has been, you've got to do it incrementally
622
1747993
2002
że trzeba rozwijać ją stopniowo,
29:10
and you've got to figure out how to manage it
623
1750036
2127
wymyślić, jak nią zarządzać
29:12
for each moment that you're increasing it.
624
1752163
2461
w miarę jej opracowania.
29:14
CA: So what I'm hearing is that you ...
625
1754666
2252
CA: Więc rozumiem,
29:16
the model you want us to have
626
1756918
1668
że model, jaki nam szykujecie
29:18
is that we have birthed this extraordinary child
627
1758628
2795
to coś jak narodziny niezwykłego dziecka
29:21
that may have superpowers
628
1761423
2544
o nadludzkiej mocy,
29:24
that take humanity to a whole new place.
629
1764009
2544
które zaprowadzi ludzkość w nowe miejsce.
29:26
It is our collective responsibility to provide the guardrails
630
1766594
5005
Zbiorowa odpowiedzialność polega na zapewnieniu zabezpieczeń
29:31
for this child
631
1771641
1210
dla tego dziecka,
29:32
to collectively teach it to be wise and not to tear us all down.
632
1772892
5047
na wspólnej nauce, żeby stało się mądre i żeby nas nie zniszczyło.
29:37
Is that basically the model?
633
1777939
1377
Czy na tym polega ten model?
29:39
GB: I think it's true.
634
1779357
1168
GB: Sądzę, że tak.
29:40
And I think it's also important to say this may shift, right?
635
1780567
2878
Dodam, że wszystko może się zmienić.
29:43
We've got to take each step as we encounter it.
636
1783445
3253
Trzeba postawić krok wtedy, kiedy przyjdzie pora.
29:46
And I think it's incredibly important today
637
1786740
2002
To bardzo ważne,
29:48
that we all do get literate in this technology,
638
1788783
2878
abyśmy wszyscy znali tę technologię,
29:51
figure out how to provide the feedback,
639
1791661
1919
wiedzieli, jak dawać informacje zwrotne,
29:53
decide what we want from it.
640
1793621
1377
wiedzieli, czego od niej chcemy.
29:54
And my hope is that that will continue to be the best path,
641
1794998
3128
Mam nadzieję, że nadal będzie to najlepsza droga,
29:58
but it's so good we're honestly having this debate
642
1798168
2377
ale dobrze, że mamy uczciwą dyskusję,
30:00
because we wouldn't otherwise if it weren't out there.
643
1800545
2628
bo nie byłoby jej bez AI wypuszczonej w świat.
30:03
CA: Greg Brockman, thank you so much for coming to TED and blowing our minds.
644
1803631
3629
CA: Greg Brockman, dziękuję za oszałamiającą prelekcję TED.
30:07
(Applause)
645
1807302
1626
(Brawa)
O tej stronie

Na tej stronie poznasz filmy z YouTube, które są przydatne do nauki języka angielskiego. Zobaczysz lekcje angielskiego prowadzone przez najlepszych nauczycieli z całego świata. Kliknij dwukrotnie na angielskie napisy wyświetlane na stronie każdego filmu, aby odtworzyć film od tego miejsca. Napisy przewijają się synchronicznie z odtwarzaniem filmu. Jeśli masz jakieś uwagi lub prośby, skontaktuj się z nami za pomocą formularza kontaktowego.

https://forms.gle/WvT1wiN1qDtmnspy7