How to Govern AI — Even If It’s Hard to Predict | Helen Toner | TED

61,506 views ・ 2024-05-01

TED


A videó lejátszásához kattintson duplán az alábbi angol feliratokra.

Fordító: Reka Lorinczy Lektor: Zsuzsa Viola
00:03
When I talk to people about artificial intelligence,
0
3583
3963
Amikor mesterséges intelligenciáról beszélgetek,
00:07
something I hear a lot from non-experts is “I don’t understand AI.”
1
7546
5255
sokat hallom laikusoktól, hogy: „Nem értem az MI-t”.
00:13
But when I talk to experts, a funny thing happens.
2
13260
2794
De amikor szakértőkkel beszélgetek, vicces,
00:16
They say, “I don’t understand AI, and neither does anyone else.”
3
16096
4546
mert azt mondják: „Nem értem az MI-t, és senki más sem érti.”
00:21
This is a pretty strange state of affairs.
4
21393
3503
Ez elég furcsa helyzet.
00:24
Normally, the people building a new technology
5
24896
3295
Általában az új technológiát fejlesztők
00:28
understand how it works inside and out.
6
28233
2669
töviről hegyire ismerik annak működését.
00:31
But for AI, a technology that's radically reshaping the world around us,
7
31695
4546
De az MI esetében, ami a körülöttünk lévő világot radikálisan átalakító technológia,
00:36
that's not so.
8
36283
1167
ez másképp van.
00:37
Experts do know plenty about how to build and run AI systems, of course.
9
37492
4588
A szakértők persze rengeteget tudnak
az MI-rendszerek fejlesztéséről, futtatásáról.
00:42
But when it comes to how they work on the inside,
10
42455
2503
De mikor a pontos működése kerül szóba,
komoly határokra bukkanunk, hogy mennyit is tudunk.
00:45
there are serious limits to how much we know.
11
45000
2877
00:48
And this matters because without deeply understanding AI,
12
48420
3879
Ez nem mindegy, mert az MI mélységeinek megértése nélkül
00:52
it's really difficult for us to know what it will be able to do next,
13
52340
4255
nagyon nehéz megtudnunk, hogy mire lesz képes,
00:56
or even what it can do now.
14
56636
2336
vagy akár mire képes most.
00:59
And the fact that we have such a hard time understanding
15
59556
3378
Nehezen értelmezzük, mi történik a technológiával és merre tart,
01:02
what's going on with the technology and predicting where it will go next,
16
62976
3837
01:06
is one of the biggest hurdles we face in figuring out how to govern AI.
17
66855
4629
és ez egyik legnagyobb akadálya, hogy kitaláljuk,
hogyan tartsuk kézben az MI irányítását.
01:12
But AI is already all around us,
18
72861
2294
De az MI már mindenütt körülöttünk van,
01:15
so we can't just sit around and wait for things to become clearer.
19
75155
4254
így nem ülhetünk türelmesen arra várva, hogy a dolgok egyértelműbbé váljanak.
01:19
We have to forge some kind of path forward anyway.
20
79826
3170
Meg kell határozzuk a fejlődés irányát.
01:24
I've been working on these AI policy and governance issues
21
84080
3629
Körülbelül nyolc éve dolgozom
az MI szabályozási és irányítási kérdésein,
01:27
for about eight years,
22
87751
1167
01:28
First in San Francisco, now in Washington, DC.
23
88918
3170
először San Franciscóban, most Washingtonban.
01:32
Along the way, I've gotten an inside look
24
92922
2753
Közben közelebbről is szemügyre vehettem,
01:35
at how governments are working to manage this technology.
25
95717
3754
hogyan kezelik a kormányok ezt a technológiát.
01:39
And inside the industry, I've seen a thing or two as well.
26
99471
4421
Az iparban is láttam egy-két dolgot.
01:45
So I'm going to share a couple of ideas
27
105852
3170
Ezért megosztok néhány ötletet,
01:49
for what our path to governing AI could look like.
28
109022
3629
hogyan nézhet ki az MI irányításához vezető utunk.
01:53
But first, let's talk about what actually makes AI so hard to understand
29
113026
4421
De először beszéljünk arról, hogy mitől nehéz megérteni az MI-t
01:57
and predict.
30
117489
1251
és előre látni a jövőt.
01:59
One huge challenge in building artificial "intelligence"
31
119616
3837
Az MI kiépítésének egyik hatalmas kihívása az,
02:03
is that no one can agree on what it actually means
32
123495
3086
hogy nincs egyértelmű meghatározása az intelligenciának.
02:06
to be intelligent.
33
126623
1752
02:09
This is a strange place to be in when building a new tech.
34
129000
3170
Furcsa terepre tévedünk az új technika építésével.
02:12
When the Wright brothers started experimenting with planes,
35
132212
3295
Amikor a Wright testvérek kísérletezni kezdtek a repülőgépekkel,
02:15
they didn't know how to build one,
36
135507
1668
nem tudták, hogyan építsék meg,
02:17
but everyone knew what it meant to fly.
37
137175
3128
de mindenki tudta, mit jelent repülni.
02:21
With AI on the other hand,
38
141596
1794
Ellenben az MI-nél
02:23
different experts have completely different intuitions
39
143431
3295
különböző szakértők teljesen másképp képzelik el,
02:26
about what lies at the heart of intelligence.
40
146726
2920
hogy mi az intelligencia lényege.
02:29
Is it problem solving?
41
149646
2210
Problémamegoldás?
02:31
Is it learning and adaptation,
42
151898
2711
Tanulás és alkalmazkodás,
02:34
are emotions,
43
154651
1418
érzelmek,
02:36
or having a physical body somehow involved?
44
156111
3128
vagy a fizikai testhez is van köze valahogy?
02:39
We genuinely don't know.
45
159698
1459
Őszintén nem tudjuk.
02:41
But different answers lead to radically different expectations
46
161157
4338
De a különböző válaszok radikálisan eltérő elvárásokhoz vezetnek,
02:45
about where the technology is going and how fast it'll get there.
47
165537
4254
hogy merre tart a technológia, és milyen gyorsan jut oda.
02:50
An example of how we're confused is how we used to talk
48
170834
2586
Pl. össze vagyunk zavarodva, mikor összehasonlítjuk
02:53
about narrow versus general AI.
49
173461
2294
a célzott vagy az általános MI-t.
02:55
For a long time, we talked in terms of two buckets.
50
175797
3795
Hosszú ideig két malomban őröltünk.
02:59
A lot of people thought we should just be dividing between narrow AI,
51
179634
4129
Sokan úgy gondolták, hogy különbséget kell tenni a célzott MI,
03:03
trained for one specific task,
52
183763
1919
amely egy adott feladatra képes,
03:05
like recommending the next YouTube video,
53
185724
2669
pl. a következő YouTube-videó ajánlására,
03:08
versus artificial general intelligence, or AGI,
54
188435
3795
és az általános mesterséges intelligencia, azaz AGI között,
03:12
that could do everything a human could do.
55
192272
2586
amely mindenre képes, amire az emberek.
03:15
We thought of this distinction, narrow versus general,
56
195859
2919
Erre a célzott és általános közti különbségre
03:18
as a core divide between what we could build in practice
57
198778
3963
akartunk építeni a gyakorlatban,
03:22
and what would actually be intelligent.
58
202782
2252
hogy ezzel határozzuk meg, mi számít intelligensnek.
03:25
But then a year or two ago, along came ChatGPT.
59
205952
4963
De aztán egy-két évvel ezelőtt jött a ChatGPT.
03:31
If you think about it,
60
211541
1543
Ha jól belegondolunk,
03:33
you know, is it narrow AI, trained for one specific task?
61
213126
3712
ez vajon célzott MI, amely egy adott feladatra lett képezve,
03:36
Or is it AGI and can do everything a human can do?
62
216838
3170
vagy AGI, és mindent megtehet, amit az ember?
03:41
Clearly the answer is neither.
63
221092
1502
Nyilvánvaló, hogy egyik sem.
03:42
It's certainly general purpose.
64
222635
1919
Minden bizonnyal általános célja van.
03:44
It can code, write poetry,
65
224554
2920
Kódolhat, verseket írhat,
03:47
analyze business problems, help you fix your car.
66
227515
3045
üzleti problémákat elemezhet, segíthet az autó javításában.
03:51
But it's a far cry from being able to do everything
67
231352
2795
De messze van attól, hogy mindent olyan jól megtegyen, mint bármelyikünk.
03:54
as well as you or I could do it.
68
234189
2419
03:56
So it turns out this idea of generality
69
236608
2043
Vagyis kiderült, hogy az általánosság ezen elképzelése
03:58
doesn't actually seem to be the right dividing line
70
238651
2711
nem tűnik megfelelő választóvonalnak intelligens és nem intelligens között.
04:01
between intelligent and not.
71
241404
2127
04:04
And this kind of thing
72
244073
1335
Ez a kérdés
04:05
is a huge challenge for the whole field of AI right now.
73
245450
2794
jelenleg hatalmas kihívás az MI egész világának.
04:08
We don't have any agreement on what we're trying to build
74
248286
2836
Nincs konszenzus abban, mit próbálunk fejleszteni,
04:11
or on what the road map looks like from here.
75
251164
2419
vagy hogyan tovább.
04:13
We don't even clearly understand the AI systems that we have today.
76
253625
3962
Még a már létező MI-rendszereket sem értjük teljesen.
04:18
Why is that?
77
258004
1251
Miért van ez?
04:19
Researchers sometimes describe deep neural networks,
78
259297
3003
A kutatók néha fekete dobozként írják le a mély neurális hálózatokat,
04:22
the main kind of AI being built today,
79
262300
2085
04:24
as a black box.
80
264427
1460
a mai MI fő típusát.
04:26
But what they mean by that is not that it's inherently mysterious
81
266304
3670
De ez alatt nem azt értik, hogy eredendően titokzatosak,
04:29
and we have no way of looking inside the box.
82
269974
2711
és semmiképp nem tudunk belenézni a dobozba.
04:33
The problem is that when we do look inside,
83
273228
2669
Azzal van a gond, hogy amikor belenézünk,
04:35
what we find are millions,
84
275939
2335
millió, milliárd vagy akár billió számot találunk,
04:38
billions or even trillions of numbers
85
278316
2878
04:41
that get added and multiplied together in a particular way.
86
281194
3462
amelyek sajátos módon adódnak és szorzódnak össze.
A szakértők dolgát egyszerűen megnehezíti a túl sok szám,
04:45
What makes it hard for experts to know what's going on
87
285031
2544
04:47
is basically just, there are too many numbers,
88
287617
3086
04:50
and we don't yet have good ways of teasing apart what they're all doing.
89
290745
3962
és még nincs jó módszer annak meghatározására, mi is történik.
04:54
There's a little bit more to it than that, but not a lot.
90
294707
3003
Ennél kicsit többről van szó, de nem sokkal.
04:58
So how do we govern this technology
91
298545
3003
Hogyan irányíthatjuk hát ezt a technológiát,
05:01
that we struggle to understand and predict?
92
301589
2628
amelynek megértéséért és előre vetítéséért küzdünk?
05:04
I'm going to share two ideas.
93
304717
1502
Két ötletről számolok be:
05:06
One for all of us and one for policymakers.
94
306261
3253
egy mindannyiunk számára és egy a döntéshozóknak.
05:10
First, don't be intimidated.
95
310932
2711
Először is, ne ijedj meg tőle!
05:14
Either by the technology itself
96
314102
2461
Sem a technológiától, sem a létrehozóktól vagy cégektől.
05:16
or by the people and companies building it.
97
316563
3086
05:20
On the technology,
98
320400
1168
A technológia szempontjából
05:21
AI can be confusing, but it's not magical.
99
321568
2502
az MI zavarba ejtő lehet, de nem varázslat.
05:24
There are some parts of AI systems we do already understand well,
100
324070
3504
A MI-rendszerek egyes részeit már jól értjük,
05:27
and even the parts we don't understand won't be opaque forever.
101
327574
4045
és az érthetetlen részek sem lesznek örökké átláthatatlanok.
05:31
An area of research known as “AI interpretability”
102
331619
3295
Az „MI értelmezhetősége” néven ismert kutatási terület
05:34
has made quite a lot of progress in the last few years
103
334956
3128
az elmúlt években meglehetősen nagy előrelépést tett,
05:38
in making sense of what all those billions of numbers are doing.
104
338084
3504
hogy értelmezze, mit csinál a több milliárd szám.
05:42
One team of researchers, for example,
105
342463
2169
Egy kutatócsoport például módot talált arra,
05:44
found a way to identify different parts of a neural network
106
344674
3420
hogy azonosítsa az ideghálózat különböző részeit, amelyek szabályozták,
05:48
that they could dial up or dial down
107
348136
2335
05:50
to make the AI's answers happier or angrier,
108
350513
3754
hogy az MI válaszai boldogabbak dühösebbek, őszintébbek,
05:54
more honest,
109
354309
1418
05:55
more Machiavellian, and so on.
110
355768
2545
machiavellisebbek stb. legyenek.
05:58
If we can push forward this kind of research further,
111
358771
2503
E kutatás fejlesztésével öt vagy tíz év múlva
06:01
then five or 10 years from now,
112
361316
2210
06:03
we might have a much clearer understanding of what's going on
113
363526
3003
sokkal jobban megérthetjük, mi történik az ún. fekete dobozban.
06:06
inside the so-called black box.
114
366571
2669
06:10
And when it comes to those building the technology,
115
370325
2669
Ami pedig a technológiát építőket illeti:
06:13
technologists sometimes act as though
116
373036
1918
a technológusok néha azt mondják,
06:14
if you're not elbows deep in the technical details,
117
374996
3420
hogy ha nem vagyunk benne mélyen a technikai részletekben,
06:18
then you're not entitled to an opinion on what we should do with it.
118
378458
3420
akkor nem is vagyunk jogosultak véleményt mondani a teendőkről.
06:22
Expertise has its place, of course,
119
382337
2294
A szakértelemnek természetesen megvan a helye,
06:24
but history shows us how important it is
120
384672
2169
de a történelem megmutatja, mennyire fontos,
06:26
that the people affected by a new technology
121
386883
3003
hogy az új technológiát használók
06:29
get to play a role in shaping how we use it.
122
389886
2753
szerepet játszhassanak abban, hogyan használjuk azt.
06:32
Like the factory workers in the 20th century who fought for factory safety,
123
392639
4629
Mint a 20. századi gyári munkások, akik a gyár biztonságáért küzdöttek,
06:37
or the disability advocates
124
397310
2127
vagy a fogyatékossággal élők szószólói,
06:39
who made sure the world wide web was accessible.
125
399437
3003
akik gondoskodtak arról, hogy a világháló elérhetővé váljon.
06:42
You don't have to be a scientist or engineer to have a voice.
126
402982
3963
Nem kell tudósnak vagy mérnöknek lenned ahhoz, hogy hangod legyen.
06:48
(Applause)
127
408821
4547
(Taps)
06:53
Second, we need to focus on adaptability, not certainty.
128
413868
5464
Másodszor, az alkalmazkodóképességre kell összpontosítanunk, nem a bizonyosságra.
06:59
A lot of conversations about how to make policy for AI
129
419749
3128
Sok beszélünk az MI szabályzatának kialakításáról.
07:02
get bogged down in fights between, on the one side,
130
422919
2711
A viták során az egyik oldalon azt mondják:
07:05
people saying, "We have to regulate AI really hard right now
131
425672
3003
„Most nagyon keményen kell szabályoznunk az MI-t,
07:08
because it's so risky."
132
428716
1585
mert ez annyira kockázatos.”
07:10
And on the other side, people saying,
133
430301
1794
A másik oldalon pedig azt mondják:
07:12
“But regulation will kill innovation, and those risks are made up anyway.”
134
432136
4129
„De a szabályozás megöli az innovációt, és a kockázatok egyébként is előjönnek.”
07:16
But the way I see it,
135
436307
1168
De ahogy én látom,
07:17
it’s not just a choice between slamming on the brakes
136
437475
2961
nem csak a fékre taposás vagy a gyorsítás közül választunk.
07:20
or hitting the gas.
137
440478
1502
07:22
If you're driving down a road with unexpected twists and turns,
138
442313
3962
Ha váratlan kanyarokkal teli úton haladsz, akkor sokat segítenek a következők:
07:26
then two things that will help you a lot
139
446275
2503
07:28
are having a clear view out the windshield
140
448778
2794
tiszta kilátás a szélvédőn
07:31
and an excellent steering system.
141
451614
2419
és kiváló kormányrendszer.
07:34
In AI, this means having a clear picture of where the technology is
142
454033
5005
Az MI esetében ez azt jelenti, hogy legyen világos,
hol és merre tart a technológia,
07:39
and where it's going,
143
459080
1627
07:40
and having plans in place for what to do in different scenarios.
144
460707
3628
és tervezzük meg, mit tegyünk a különböző esetekben.
07:44
Concretely, this means things like investing in our ability to measure
145
464752
4338
Konkrétan fektessünk pl. abba, hogy fel tudjuk mérni,
mire képesek az MI-rendszerek.
07:49
what AI systems can do.
146
469132
1877
07:51
This sounds nerdy, but it really matters.
147
471342
3212
Ez furcsán hangzik, de tényleg számít.
07:54
Right now, if we want to figure out
148
474595
2044
Jelenleg, ha meg akarjuk tudni, hogy az MI tehet-e valami aggasztót,
07:56
whether an AI can do something concerning,
149
476681
2002
07:58
like hack critical infrastructure
150
478725
2377
például feltörhet-e kritikus infrastruktúrát,
08:01
or persuade someone to change their political beliefs,
151
481102
4671
vagy meggyőzhet-e valakit, hogy változtassa meg politikai meggyőződését,
08:05
our methods of measuring that are rudimentary.
152
485773
2544
erre kezdetleges mérési módszereink vannak.
08:08
We need better.
153
488317
1210
Jobbakra van szükségünk.
08:10
We should also be requiring AI companies,
154
490319
2545
Azt is meg kell követelnünk az MI-cégektől,
08:12
especially the companies building the most advanced AI systems,
155
492905
3420
különösen a legfejlettebb MI-rendszereket fejlesztő vállalatoktól,
08:16
to share information about what they're building,
156
496367
3170
hogy osszák meg információikat arról, mit építenek, mit tudnak tenni a rendszereik,
08:19
what their systems can do
157
499537
1710
08:21
and how they're managing risks.
158
501289
2127
és hogyan kezelik a kockázatokat.
08:23
And they should have to let in external AI auditors to scrutinize their work
159
503458
5589
Be kellene engedniük külső MI auditorokat, hogy vizsgálják a munkájukat,
08:29
so that the companies aren't just grading their own homework.
160
509088
3128
hogy a vállalatok ne csak saját házi feladataikat osztályozzák.
08:33
(Applause)
161
513801
4213
(Taps)
08:38
A final example of what this can look like
162
518014
2461
Még egy utolsó példa, hogyan nézhet ki az eseménykövető-rendszer kiépítése,
08:40
is setting up incident reporting mechanisms,
163
520475
3503
08:44
so that when things do go wrong in the real world,
164
524020
2753
hogy amikor a valós világban rosszra fordulnak a dolgok,
08:46
we have a way to collect data on what happened
165
526814
2962
lehetőségünk legyen adatokat gyűjteni, hogy mi történt,
08:49
and how we can fix it next time.
166
529817
2002
és hogyan tudjuk legközelebb elkerülni,
08:51
Just like the data we collect on plane crashes and cyber attacks.
167
531819
4421
a repülőgép-balesetekről és kiber- támadásokról gyűjtött adatokhoz hasomlóan.
08:57
None of these ideas are mine,
168
537158
1668
Egyik ötlet sem a sajátom.
08:58
and some of them are already starting to be implemented in places like Brussels,
169
538868
4504
Némelyiket már kezdik megvalósítani Brüsszelben,
09:03
London, even Washington.
170
543372
2128
Londonban, sőt Washingtonban is.
09:06
But the reason I'm highlighting these ideas,
171
546042
2627
Azért emelem ki ezeket az ötleteket,
09:08
measurement, disclosure, incident reporting,
172
548669
4046
méréseket, a nyilvánosságra hozatalt, az eseményjelentést,
09:12
is that they help us navigate progress in AI
173
552757
2794
mert segítenek eligazodni az MI fejlődésében,
09:15
by giving us a clearer view out the windshield.
174
555593
3086
tisztább képet mutatnak.
09:18
If AI is progressing fast in dangerous directions,
175
558721
3712
Ha az MI hirtelen veszélyes irányba fordul,
09:22
these policies will help us see that.
176
562475
2377
ezek az előírások segítenek meglátni azt.
09:25
And if everything is going smoothly, they'll show us that too,
177
565436
3545
Ha minden zökkenőmentes, azt is megmutatják,
09:28
and we can respond accordingly.
178
568981
2211
és ennek megfelelően tudunk reagálni.
09:33
What I want to leave you with
179
573569
1502
Azzal a következtetéssel zárom,
09:35
is that it's both true that there's a ton of uncertainty
180
575071
4629
hogy mindkettő igaz:
rengeteg a bizonytalanság és nézeteltérés az MI területén.
09:39
and disagreement in the field of AI.
181
579742
2961
09:42
And that companies are already building and deploying AI
182
582745
4046
A vállalatok már mindenütt fejlesztik és telepítik
09:46
all over the place anyway in ways that affect all of us.
183
586833
4462
a mindnyájunkat érintő MI-ket.
A saját eszközeikkel úgy tűnik,
09:52
Left to their own devices,
184
592004
1544
09:53
it looks like AI companies might go in a similar direction
185
593548
3169
az MI-cégek talán hasonló irányba haladnak,
09:56
to social media companies,
186
596717
1961
mint a közösségi média cégek,
09:58
spending most of their resources on building web apps
187
598678
2627
erőforrásaik nagy részét webalkalmazások építésére
10:01
and for users' attention.
188
601305
1836
és a felhasználók figyelmének felkeltésére fordítják.
10:04
And by default, it looks like the enormous power of more advanced AI systems
189
604016
4463
A dolgok jelenlegi állása alapján úgy tűnik,
10:08
might stay concentrated in the hands of a small number of companies,
190
608479
4046
hogy a fejlettebb MI rendszerek hatalmas ereje kis számú vállalat,
10:12
or even a small number of individuals.
191
612567
1918
vagy akár pár magánszemély kezében koncentrálódhat.
10:15
But AI's potential goes so far beyond that.
192
615278
3253
De az MI hatásköre messze túlmutat ezen.
10:18
AI already lets us leap over language barriers
193
618531
2711
Az MI már lehetővé teszi, hogy átlépjünk a nyelvi akadályokon,
10:21
and predict protein structures.
194
621284
2252
és meghatározzuk a fehérjeszerkezeteket.
10:23
More advanced systems could unlock clean, limitless fusion energy
195
623536
4504
A fejlettebb rendszerek tiszta, korlátlan fúziós energiát szabadíthatnak fel,
10:28
or revolutionize how we grow food
196
628082
2503
vagy forradalmasíthatják az élelmiszeripart vagy ezer más dolgot.
10:30
or 1,000 other things.
197
630626
1835
10:32
And we each have a voice in what happens.
198
632962
2586
Mindenkinek van beleszólása abba, mi történik.
10:35
We're not just data sources,
199
635548
2002
Nemcsak adatforrások, hanem felhasználók, munkavállalók, polgárok is vagyunk.
10:37
we are users,
200
637592
2043
10:39
we're workers,
201
639635
1502
10:41
we're citizens.
202
641137
1209
10:43
So as tempting as it might be,
203
643514
2961
Bármennyire is csábító lehet, nem várhatjuk tétlenül
10:46
we can't wait for clarity or expert consensus
204
646475
4672
a dolgok tisztázását vagy a szakértői konszenzust,
10:51
to figure out what we want to happen with AI.
205
651147
3378
hogy megmondják, mihez kezdjünk az MI-vel.
10:54
AI is already happening to us.
206
654525
2586
Az MI már itt van velünk.
10:57
What we can do is put policies in place
207
657737
3211
Amit tehetünk, hogy szabályokat állítunk fel,
11:00
to give us as clear a picture as we can get
208
660948
2670
hogy minél világosabb képünk legyen a technológia változásáról,
11:03
of how the technology is changing,
209
663618
2460
11:06
and then we can get in the arena and push for futures we actually want.
210
666078
5089
aztán belépjetünk a küzdőtérre, és törekedhetünk a kívánt jövőre.
11:11
Thank you.
211
671751
1126
Köszönöm.
11:12
(Applause)
212
672919
3378
(Taps)
Erről a weboldalról

Ez az oldal olyan YouTube-videókat mutat be, amelyek hasznosak az angol nyelvtanuláshoz. A világ minden tájáról származó, kiváló tanárok által tartott angol leckéket láthatsz. Az egyes videók oldalán megjelenő angol feliratokra duplán kattintva onnan játszhatja le a videót. A feliratok a videó lejátszásával szinkronban gördülnek. Ha bármilyen észrevétele vagy kérése van, kérjük, lépjen kapcsolatba velünk ezen a kapcsolatfelvételi űrlapon.

https://forms.gle/WvT1wiN1qDtmnspy7