How to keep human bias out of AI | Kriti Sharma

99,340 views ・ 2019-04-12

TED


Vă rugăm să faceți dublu clic pe subtitrările în limba engleză de mai jos pentru a reda videoclipul.

00:00
Translator: Ivana Korom Reviewer: Joanna Pietrulewicz
0
0
7000
Traducător: Cristina Georgiana Vieru Corector: Mirel-Gabriel Alexa
00:12
How many decisions have been made about you today,
1
12875
3768
Cât de multe decizii au fost luate astăzi pentru voi,
00:16
or this week or this year,
2
16667
2601
în această săptămână sau în acest an,
00:19
by artificial intelligence?
3
19292
1958
de către inteligența artificială?
00:22
I build AI for a living
4
22958
1685
Profesia mea e să construiesc I.A.
00:24
so, full disclosure, I'm kind of a nerd.
5
24667
3017
Mărturisesc că sunt puțin tocilară.
00:27
And because I'm kind of a nerd,
6
27708
2393
Și pentru că sunt puțin tocilară,
00:30
wherever some new news story comes out
7
30125
2351
ori de câte ori apare o nouă știre
00:32
about artificial intelligence stealing all our jobs,
8
32500
3434
despre inteligența artificială care ne fură locurile de muncă,
00:35
or robots getting citizenship of an actual country,
9
35958
4185
sau despre roboții care obțin cetățenia unei țări,
00:40
I'm the person my friends and followers message
10
40167
3142
prietenii și persoanele care mă urmăresc mă contactează
00:43
freaking out about the future.
11
43333
1542
pentru că se tem de viitor.
00:45
We see this everywhere.
12
45833
2101
Vedem acest lucru peste tot.
00:47
This media panic that our robot overlords are taking over.
13
47958
4893
Frica mediatică că roboții ar putea prelua controlul.
00:52
We could blame Hollywood for that.
14
52875
1917
Am putea da vina pe Hollywood pentru asta.
00:56
But in reality, that's not the problem we should be focusing on.
15
56125
4125
Dar de fapt, nu asta e problema pe care ar trebui să ne concentrăm.
01:01
There is a more pressing danger, a bigger risk with AI,
16
61250
3643
Există o problemă mult mai urgentă, un risc mult mai mare cu I.A.,
01:04
that we need to fix first.
17
64917
1583
pe care trebuie să-l rezolvăm mai întâi.
01:07
So we are back to this question:
18
67417
2309
Să ne întoarcem la această întrebare:
01:09
How many decisions have been made about you today by AI?
19
69750
4708
Cât de multe decizii au fost luate astăzi pentru voi de I.A.?
01:15
And how many of these
20
75792
1976
Câte dintre acestea
01:17
were based on your gender, your race or your background?
21
77792
4500
se bazează pe sexul, rasa sau mediul vostru?
01:24
Algorithms are being used all the time
22
84500
2768
Algoritmii sunt folosiți în mod constant
01:27
to make decisions about who we are and what we want.
23
87292
3833
pentru a lua decizii cu privire la cine suntem și ceea ce ne dorim.
01:32
Some of the women in this room will know what I'm talking about
24
92208
3643
Câteva femei din această sală știu despre ce vorbesc
01:35
if you've been made to sit through those pregnancy test adverts on YouTube
25
95875
3768
dacă au fost nevoite să suporte reclamele la testele de sarcină de pe YouTube
01:39
like 1,000 times.
26
99667
2059
de cel puțin o mie de ori.
01:41
Or you've scrolled past adverts of fertility clinics
27
101750
2851
Sau dacă v-au apărut reclame la clinicile de fertilitate pe Facebook.
01:44
on your Facebook feed.
28
104625
2042
01:47
Or in my case, Indian marriage bureaus.
29
107625
2393
Sau în cazul meu, agențiile matrimoniale indiene.
01:50
(Laughter)
30
110042
1267
(Râsete)
01:51
But AI isn't just being used to make decisions
31
111333
2976
Dar I.A. nu este folosită doar pentru a lua decizii
01:54
about what products we want to buy
32
114333
2601
în legătură cu produsele pe care vrem să le cumpărăm,
01:56
or which show we want to binge watch next.
33
116958
2500
sau la ce seriale să ne uităm.
02:01
I wonder how you'd feel about someone who thought things like this:
34
121042
5184
Mă întreb ce ați crede despre cineva care ar gândi următoarele:
02:06
"A black or Latino person
35
126250
1934
„O persoană neagră sau de origine latină
02:08
is less likely than a white person to pay off their loan on time."
36
128208
4125
e mai puțin probabil să achite împrumutul la timp decât o persoană albă.”
02:13
"A person called John makes a better programmer
37
133542
2809
„Cineva care se numește John e un programator mai bun
02:16
than a person called Mary."
38
136375
1667
decât cineva care se numește Maria.“
02:19
"A black man is more likely to be a repeat offender than a white man."
39
139250
5083
„E mai probabil ca o persoană de culoare să recidiveze decât o persoană albă.”
02:26
You're probably thinking,
40
146958
1268
Probabil vă gândiți:
02:28
"Wow, that sounds like a pretty sexist, racist person," right?
41
148250
3750
„Pare a fi o persoană cam sexistă și rasistă”, nu-i așa?
02:33
These are some real decisions that AI has made very recently,
42
153000
4851
Acestea sunt decizii reale pe care I.A. le-a luat recent,
02:37
based on the biases it has learned from us,
43
157875
2934
bazându-se pe prejudecățile pe care le-a învățat de la noi,
02:40
from the humans.
44
160833
1250
de la oameni.
02:43
AI is being used to help decide whether or not you get that job interview;
45
163750
4809
I.A. e folosită pentru a hotărî dacă veți obține un interviu pentru o slujbă;
02:48
how much you pay for your car insurance;
46
168583
2393
cât veți plăti pentru asigurarea mașinii;
02:51
how good your credit score is;
47
171000
1893
cât de bună e performața creditului tău;
02:52
and even what rating you get in your annual performance review.
48
172917
3125
până și ce rezultate veți avea în evaluarea anuală a performanței.
02:57
But these decisions are all being filtered through
49
177083
3143
Dar aceste decizii sunt toate filtrate
prin ipotezele sale privind identitatea, rasa, sexul și vârsta noastră.
03:00
its assumptions about our identity, our race, our gender, our age.
50
180250
5875
03:08
How is that happening?
51
188250
2268
Cum se întâmplă asta?
03:10
Now, imagine an AI is helping a hiring manager
52
190542
3517
Imaginați-vă că I.A. ajută un manager de recrutare
03:14
find the next tech leader in the company.
53
194083
2851
pentru a găsi următorul lider al companiei.
03:16
So far, the manager has been hiring mostly men.
54
196958
3101
Până în prezent, managerul a angajat mai ales bărbați.
03:20
So the AI learns men are more likely to be programmers than women.
55
200083
4750
Așa că I.A. învață că bărbații sunt de cele mai multe ori programatori.
03:25
And it's a very short leap from there to:
56
205542
2892
De aici e un pas mic în a crede
03:28
men make better programmers than women.
57
208458
2042
că bărbații sunt mai buni programatori decât femeile.
03:31
We have reinforced our own bias into the AI.
58
211417
3726
Ne-am întărit propriile noastre prejudecăți în I.A.
03:35
And now, it's screening out female candidates.
59
215167
3625
Și acum, aceasta exclude candidatele de sex feminin.
03:40
Hang on, if a human hiring manager did that,
60
220917
3017
Dar dacă un manager uman ar face asta,
03:43
we'd be outraged, we wouldn't allow it.
61
223958
2351
am fi revoltați, nu am permite acest lucru.
03:46
This kind of gender discrimination is not OK.
62
226333
3476
Acest tip de discriminare sexuală nu e în regulă.
03:49
And yet somehow, AI has become above the law,
63
229833
4518
Și totuși, într-un fel, I.A. a ajuns mai presus de lege,
03:54
because a machine made the decision.
64
234375
2083
pentru că o mașinărie a luat decizia.
03:57
That's not it.
65
237833
1518
Nu e numai asta.
03:59
We are also reinforcing our bias in how we interact with AI.
66
239375
4875
Consolidăm prejudecățile noastre în modul în care interacționăm cu I.A.
04:04
How often do you use a voice assistant like Siri, Alexa or even Cortana?
67
244917
5976
Cât de des utilizați un asistent vocal precum Siri, Alexa sau chiar Cortana?
04:10
They all have two things in common:
68
250917
2559
Toate au două lucruri în comun:
04:13
one, they can never get my name right,
69
253500
3101
unu, nu vor putea niciodată să-mi pronunțe numele corect,
04:16
and second, they are all female.
70
256625
2667
și doi, sunt toate de sex feminin.
04:20
They are designed to be our obedient servants,
71
260417
2767
Sunt concepute pentru a fi servitoarele noastre supuse,
04:23
turning your lights on and off, ordering your shopping.
72
263208
3250
vă aprind și vă sting luminile, vă comandă cumpărăturile.
04:27
You get male AIs too, but they tend to be more high-powered,
73
267125
3309
Sunt și I.A. de sex masculin, dar tind să fie mai împuterniciți.
04:30
like IBM Watson, making business decisions,
74
270458
3059
Cum ar fi IBM Watson, care ia decizii de afaceri,
04:33
Salesforce Einstein or ROSS, the robot lawyer.
75
273541
3792
Salesforce Einstein sau ROSS, avocatul robot.
04:38
So poor robots, even they suffer from sexism in the workplace.
76
278208
4060
Săracii roboți, chiar și ei suferă de sexism la locul de muncă.
04:42
(Laughter)
77
282292
1125
(Râsete)
04:44
Think about how these two things combine
78
284542
2851
Gândiți-vă la modul în care se combină aceste două lucruri
04:47
and affect a kid growing up in today's world around AI.
79
287417
5309
și afectează copiii care cresc în zilele noastre înconjurați de I.A.
04:52
So they're doing some research for a school project
80
292750
2934
Ei fac niște cercetări pentru un proiect școlar
04:55
and they Google images of CEO.
81
295708
3018
și caută pe Google imagini cu un director general.
04:58
The algorithm shows them results of mostly men.
82
298750
2893
Algoritmul le arată rezultatele cu majoritatea bărbați.
05:01
And now, they Google personal assistant.
83
301667
2559
Apoi caută pe Google asistent personal.
05:04
As you can guess, it shows them mostly females.
84
304250
3434
După cum puteți ghici, majoritatea sunt de sex feminin.
05:07
And then they want to put on some music, and maybe order some food,
85
307708
3601
Apoi vor să pună niște muzică, și poate să comande ceva de mâncare,
05:11
and now, they are barking orders at an obedient female voice assistant.
86
311333
6584
iar acum, dau ordine unei ascultătoare asistente vocale de sex feminin.
05:19
Some of our brightest minds are creating this technology today.
87
319542
5309
Unele dintre cele mai strălucitoare minți creează în prezent această tehnologie.
05:24
Technology that they could have created in any way they wanted.
88
324875
4184
Tehnologie pe care ar fi putut-o crea în orice fel ar fi vrut.
05:29
And yet, they have chosen to create it in the style of 1950s "Mad Man" secretary.
89
329083
5685
Și totuși, ei au ales să o creeze în stilul unei secretare din anii '50.
05:34
Yay!
90
334792
1500
Ura!
05:36
But OK, don't worry,
91
336958
1310
Dar bine, nu vă faceți griji,
05:38
this is not going to end with me telling you
92
338292
2059
nu se va termina cu mine spunându-vă
05:40
that we are all heading towards sexist, racist machines running the world.
93
340375
3477
că lumea va fi condusă de mașinării sexiste și rasiste.
05:44
The good news about AI is that it is entirely within our control.
94
344792
5791
Vestea bună despre I.A. e că se află în întregime sub controlul nostru.
05:51
We get to teach the right values, the right ethics to AI.
95
351333
4000
Trebuie să învățăm I.A. despre etica și despre valorile corecte.
05:56
So there are three things we can do.
96
356167
2184
Există trei lucruri pe care le putem face.
05:58
One, we can be aware of our own biases
97
358375
3351
Unu, putem fi conștienți de propriile noastre prejudecăți
06:01
and the bias in machines around us.
98
361750
2726
și de prejudecățile mașinăriilor care ne înconjoară.
06:04
Two, we can make sure that diverse teams are building this technology.
99
364500
4518
Doi, ne putem asigura că diverse echipe construiesc aceste tehnologii.
06:09
And three, we have to give it diverse experiences to learn from.
100
369042
4916
Și trei, trebuie să le oferim diferite experiențe din care să învețe.
06:14
I can talk about the first two from personal experience.
101
374875
3309
Pot vorbi despre primele două din experiența personală.
06:18
When you work in technology
102
378208
1435
Când lucrezi în tehnologie
06:19
and you don't look like a Mark Zuckerberg or Elon Musk,
103
379667
3392
și nu arăți ca Mark Zuckerberg sau Elon Musk,
06:23
your life is a little bit difficult, your ability gets questioned.
104
383083
3750
viața ta e un pic mai dificilă, capacitățile îți sunt puse la îndoială.
06:27
Here's just one example.
105
387875
1393
Iată un exemplu.
06:29
Like most developers, I often join online tech forums
106
389292
3726
Ca majoritatea dezvoltatorilor, particip la forumuri online de tehnologie
06:33
and share my knowledge to help others.
107
393042
3226
și îmi împărtășesc cunoștințele pentru a-i ajuta pe ceilalți.
06:36
And I've found,
108
396292
1309
Ceea ce am descoperit
06:37
when I log on as myself, with my own photo, my own name,
109
397625
3976
atunci când m-am conectat cu propria fotografie și propriul nume,
06:41
I tend to get questions or comments like this:
110
401625
4601
au fost întrebări și comentarii de genul:
06:46
"What makes you think you're qualified to talk about AI?"
111
406250
3000
„Ce te face să crezi că ești în măsură să vorbești despre I.A.?”
06:50
"What makes you think you know about machine learning?"
112
410458
3476
„Ce te face să crezi că știi ceva despre învățarea automată?“
06:53
So, as you do, I made a new profile,
113
413958
3435
Așa că mi-am făcut un nou profil.
06:57
and this time, instead of my own picture, I chose a cat with a jet pack on it.
114
417417
4851
Și de această dată, în loc de poza mea, am ales poza unei pisici cu un jetpack.
07:02
And I chose a name that did not reveal my gender.
115
422292
2458
Și am ales un nume care nu îmi dezvăluia sexul.
07:05
You can probably guess where this is going, right?
116
425917
2726
Puteți ghici ce s-a întâmplat, nu?
07:08
So, this time, I didn't get any of those patronizing comments about my ability
117
428667
6392
De data aceasta, nu am primit niciun comentariu arogant despre abilitățile mele
07:15
and I was able to actually get some work done.
118
435083
3334
și am reușit să fac câte ceva.
07:19
And it sucks, guys.
119
439500
1851
E groaznic.
07:21
I've been building robots since I was 15,
120
441375
2476
Construiesc roboți de când aveam 15 ani,
07:23
I have a few degrees in computer science,
121
443875
2268
am câteva titluri în informatică,
07:26
and yet, I had to hide my gender
122
446167
2434
și totuși a trebuit să-mi ascund sexul
07:28
in order for my work to be taken seriously.
123
448625
2250
pentru ca munca mea să fie luată în serios.
07:31
So, what's going on here?
124
451875
1893
Deci, ce se întâmplă?
07:33
Are men just better at technology than women?
125
453792
3208
Sunt bărbații pur și simplu mai buni la tehnologie decât femeile?
07:37
Another study found
126
457917
1559
Un alt studiu a constatat
07:39
that when women coders on one platform hid their gender, like myself,
127
459500
4934
că atunci când femeile programatoare își ascund sexul pe o platformă, ca mine,
07:44
their code was accepted four percent more than men.
128
464458
3250
codul lor e acceptat cu 4% mai mult decât cel al bărbaților.
07:48
So this is not about the talent.
129
468542
2916
Deci, acest lucru nu are legătură cu talentul.
07:51
This is about an elitism in AI
130
471958
2893
E vorba despre un elitism în I.A.
07:54
that says a programmer needs to look like a certain person.
131
474875
2792
conform căruia un programator trebuie să arate într-un fel anume.
07:59
What we really need to do to make AI better
132
479375
3101
Pentru a îmbunătăți cu adevărat I.A.
08:02
is bring people from all kinds of backgrounds.
133
482500
3042
trebuie să implicăm oameni din diverse medii.
08:06
We need people who can write and tell stories
134
486542
2559
Avem nevoie de oameni care pot scrie și spune povești
08:09
to help us create personalities of AI.
135
489125
2167
pentru a putea crea personalități ale I.A.
08:12
We need people who can solve problems.
136
492208
2042
Avem nevoie de oameni care pot rezolva probleme.
08:15
We need people who face different challenges
137
495125
3768
Avem nevoie de oameni care se confruntă cu provocări diferite
08:18
and we need people who can tell us what are the real issues that need fixing
138
498917
5351
și avem nevoie de oameni care să ne spună ce probleme reale trebuie rezolvate
08:24
and help us find ways that technology can actually fix it.
139
504292
3041
și să ne ajute să găsim modalități prin care tehnologia să le rezolve.
08:29
Because, when people from diverse backgrounds come together,
140
509833
3726
Pentru că, atunci când oamenii din diverse medii se unesc,
08:33
when we build things in the right way,
141
513583
2143
când construim lucrurile folosind metoda potrivită,
08:35
the possibilities are limitless.
142
515750
2042
posibilitățile sunt nelimitate.
08:38
And that's what I want to end by talking to you about.
143
518750
3309
Despre asta vreau să vă vorbesc în încheiere.
08:42
Less racist robots, less machines that are going to take our jobs --
144
522083
4225
Mai puțin despre roboți rasiști
sau mașinării care ne vor lua locurile de muncă
08:46
and more about what technology can actually achieve.
145
526332
3125
și mai mult despre ceea ce tehnologia poate realiza.
08:50
So, yes, some of the energy in the world of AI,
146
530292
3434
Deci, da, o parte din energiile din lumea I.A.,
08:53
in the world of technology
147
533750
1393
din lumea tehnologiei,
08:55
is going to be about what ads you see on your stream.
148
535167
4267
vor fi direcționate spre a decide ce reclame veți vedea pe internet.
08:59
But a lot of it is going towards making the world so much better.
149
539458
5209
Dar multe din ele vor fi folosite pentru a face lumea mai bună.
09:05
Think about a pregnant woman in the Democratic Republic of Congo,
150
545500
3768
Gândiți-vă la o femeie gravidă din Republica Democrată Congo,
09:09
who has to walk 17 hours to her nearest rural prenatal clinic
151
549292
4184
care trebuie să meargă 17 ore până la cea mai apropiată clinică prenatală
09:13
to get a checkup.
152
553500
1851
pentru a face un control.
09:15
What if she could get diagnosis on her phone, instead?
153
555375
2917
Dar dacă ar putea primi în schimb un diagnostic folosind telefonul?
09:19
Or think about what AI could do
154
559750
1809
Sau gândiți-vă ce ar putea face I.A.
09:21
for those one in three women in South Africa
155
561583
2726
pentru o femeie din trei din Africa de Sud
09:24
who face domestic violence.
156
564333
2125
care se confruntă cu violența domestică.
09:27
If it wasn't safe to talk out loud,
157
567083
2726
Dacă nu ar fi în siguranță să vorbească,
09:29
they could get an AI service to raise alarm,
158
569833
2476
acestea ar putea accesa I.A. pentru a trage un semnal de alarmă,
09:32
get financial and legal advice.
159
572333
2459
pentru a obține consiliere financiară și juridică.
09:35
These are all real examples of projects that people, including myself,
160
575958
5018
Toate acestea sunt exemple de proiecte la care unele persoane, inclusiv eu,
09:41
are working on right now, using AI.
161
581000
2500
lucrează în acest moment folosind I.A.
09:45
So, I'm sure in the next couple of days there will be yet another news story
162
585542
3601
Sunt sigură că în următoarele zile va apărea încă o știre
09:49
about the existential risk,
163
589167
2684
despre riscul existențial,
09:51
robots taking over and coming for your jobs.
164
591875
2434
despre roboții care preiau controlul și care vă iau locurile de muncă.
09:54
(Laughter)
165
594333
1018
09:55
And when something like that happens,
166
595375
2309
(Râsete)
Și când se va întâmpla asta,
09:57
I know I'll get the same messages worrying about the future.
167
597708
3601
știu că voi primi aceleași mesaje exprimând teama de viitor.
10:01
But I feel incredibly positive about this technology.
168
601333
3667
Dar am o părere incredibil de pozitivă despre această tehnologie.
10:07
This is our chance to remake the world into a much more equal place.
169
607458
5959
Aceasta e șansa noastră de a reconstrui lumea într-un loc mult mai egal.
10:14
But to do that, we need to build it the right way from the get go.
170
614458
4000
Dar pentru a face asta trebuie s-o construim de la început cum trebuie.
10:19
We need people of different genders, races, sexualities and backgrounds.
171
619667
5083
Avem nevoie de oameni de sexe, rase, sexualități și din medii diferite.
10:26
We need women to be the makers
172
626458
2476
Avem nevoie de femei care să fie creatoare,
10:28
and not just the machines who do the makers' bidding.
173
628958
3000
și nu doar niște mașinării care să execute ordinele creatorilor.
10:33
We need to think very carefully what we teach machines,
174
633875
3768
Trebuie să ne gândim foarte atent ce învățăm mașinăriile,
10:37
what data we give them,
175
637667
1642
ce date le oferim,
10:39
so they don't just repeat our own past mistakes.
176
639333
3125
astfel încât să nu repete propriile noastre greșeli din trecut.
10:44
So I hope I leave you thinking about two things.
177
644125
3542
Sper că vă las două teme de gândire.
10:48
First, I hope you leave thinking about bias today.
178
648542
4559
În primul rând, sper să vă gândiți la prejudecățile din prezent.
10:53
And that the next time you scroll past an advert
179
653125
3184
Și data viitoare când veți da peste o reclamă
10:56
that assumes you are interested in fertility clinics
180
656333
2810
care presupune că vă interesează clinicile de fertilitate
10:59
or online betting websites,
181
659167
2851
sau site-urile de pariuri online,
11:02
that you think and remember
182
662042
2017
să vă gândiți și să vă amintiți
11:04
that the same technology is assuming that a black man will reoffend.
183
664083
4625
că aceeași tehnologie presupune că o persoană de culoare va recidiva.
11:09
Or that a woman is more likely to be a personal assistant than a CEO.
184
669833
4167
Că e mult mai probabil ca o femeie să fie asistent personal decât director general.
11:14
And I hope that reminds you that we need to do something about it.
185
674958
3709
Și sper să vă aduceți aminte că trebuie să facem ceva în legătură cu asta.
11:20
And second,
186
680917
1851
Și în al doilea rând,
11:22
I hope you think about the fact
187
682792
1892
sper să vă gândiți la faptul
11:24
that you don't need to look a certain way
188
684708
1976
că nu trebuie să arătați într-un anumit fel
11:26
or have a certain background in engineering or technology
189
686708
3851
sau să aveți o anumită experiență în domeniul ingineriei sau tehnologiei
11:30
to create AI,
190
690583
1268
pentru a crea I.A.,
11:31
which is going to be a phenomenal force for our future.
191
691875
2875
ce va fi o forță fenomenală în viitorul nostru.
11:36
You don't need to look like a Mark Zuckerberg,
192
696166
2143
Nu trebuie să arătați ca Mark Zuckerberg,
11:38
you can look like me.
193
698333
1250
puteți arăta ca mine.
11:41
And it is up to all of us in this room
194
701250
2893
E de datoria noastră, a tuturor,
11:44
to convince the governments and the corporations
195
704167
2726
să convingem guvernele și corporațiile
11:46
to build AI technology for everyone,
196
706917
2892
să construiască tehnologia I.A. pentru toată lumea,
11:49
including the edge cases.
197
709833
2393
inclusiv pentru minorități.
11:52
And for us all to get education
198
712250
2059
Și noi toți trebuie să ne informăm
11:54
about this phenomenal technology in the future.
199
714333
2375
în legătură cu acestă fenomenală tehnologie în viitor.
11:58
Because if we do that,
200
718167
2017
Pentru că dacă facem asta,
12:00
then we've only just scratched the surface of what we can achieve with AI.
201
720208
4893
vom descoperi doar câteva lucruri pe care le putem realiza cu I.A.
12:05
Thank you.
202
725125
1268
Vă mulțumesc!
12:06
(Applause)
203
726417
2708
(Aplauze)
Despre acest site

Acest site vă va prezenta videoclipuri de pe YouTube care sunt utile pentru a învăța limba engleză. Veți vedea lecții de engleză predate de profesori de top din întreaga lume. Faceți dublu clic pe subtitrările în limba engleză afișate pe fiecare pagină video pentru a reda videoclipul de acolo. Subtitrările se derulează în sincron cu redarea videoclipului. Dacă aveți comentarii sau solicitări, vă rugăm să ne contactați folosind acest formular de contact.

https://forms.gle/WvT1wiN1qDtmnspy7