Machine intelligence makes human morals more important | Zeynep Tufekci

Translator: morteza homayounfar Reviewer: soheila Jafari

So, I started my first job as a computer programmer

خب، من اولین شغلم را به عنوان یک برنامه نویس کامپیوتر شروع کردم

in my very first year of college --

در اولین سال کالجم

basically, as a teenager.

در واقع، به عنوان یک نوجوان

Soon after I started working,

درست پس از شروع به کار در

writing software in a company,

یک شزکت به عنوان برنامه‌نویس کامپیوتر ،

a manager who worked at the company came down to where I was,

یک مدیر که در همان جا کار می‌کرد نزد من آمد،

and he whispered to me,

و با صدای آرام به من گفت:

"Can he tell if I'm lying?"

"او می تونه بگه اگه من دروغ بگم؟"

There was nobody else in the room.

در اتاق هیچ کسی وجود نداشت.

"Can who tell if you're lying? And why are we whispering?"

"کسی میتونه بگه اگه تو دروغ میگی؟ و چرا ما در حال پچ پچ کردن هستیم؟"

The manager pointed at the computer in the room.

مدیر کامپیوتر در اتاق را نشان داد.

"Can he tell if I'm lying?"

"او می‌تونه بگه اگه من دروغ بگم؟"

Well, that manager was having an affair with the receptionist.

خب، آن مدیر رابطه نامشروع با منشی‌اش داشت.

(Laughter)

(خنده حاضرین)

And I was still a teenager.

و من هم هنوز یک نوجوان بودم

So I whisper-shouted back to him,

سپس من با صدای بلندی گفتم:

"Yes, the computer can tell if you're lying."

"بله، کامپیوتر می تونه بگه اگه تو دروغ بگی"

(Laughter)

(خنده حاضرین)

Well, I laughed, but actually, the laugh's on me.

خب، من خندیدم، ولی در واقع، خنده به خودم

Nowadays, there are computational systems

امروزه، سامانه‌های محاسباتی وجود دارد

that can suss out emotional states and even lying

که حالت احساسی و حتی دروغ رو از طریق تحلیل صورت انسان

from processing human faces.

می تونه بفهمه

Advertisers and even governments are very interested.

تبلیغ کننده‌ها و حتی دولت‌ها خیلی جالبند.

I had become a computer programmer

من یه برنامه نویس کامپیوتر شده بودم

because I was one of those kids crazy about math and science.

زیرا من یکی از آن بچه‌های دیوانه ریاضی و علم بودم

But somewhere along the line I'd learned about nuclear weapons,

اما در مسیر زندگی من در مورد سلاح‌های هسته‌ای چیزهایی یادگرفتم‌،

and I'd gotten really concerned with the ethics of science.

و واقعا در مورد اخلاق علمی نگران شدم.

I was troubled.

من وحشت زده بودم

However, because of family circumstances,

به هر حال، به دلیل موقعیت خانواده‌ام

I also needed to start working as soon as possible.

نیاز داشتم تا در اسرع وقت- کارم را شروع کنم

So I thought to myself, hey, let me pick a technical field

خُب با خودم فکر کردم بگذار تا یک رشته تکنیکی را بردارم

where I can get a job easily

که شغل راحتی باشه

and where I don't have to deal with any troublesome questions of ethics.

و من با هیچ پرسش سخت اخلاقی مواجه نشوم؟

So I picked computers.

پس کامپیوترها را انتخاب کردم.

(Laughter)

(خنده حاضرین)

Well, ha, ha, ha! All the laughs are on me.

خب، ها، ها، ها! همه خنده‌ها برای من هستند.

Nowadays, computer scientists are building platforms

امروزه، دانشمندان کامپیوتر در حال ساخت یک سیستم عامل هستند

that control what a billion people see every day.

که آنچه یک میلیارد آدم هر روز می‌بینند روکنترل می‌کنه

They're developing cars that could decide who to run over.

آنها خودروهایی را ساختند که می‌توانند تصمیم بگیرند که چه کسی زیر بگیرند.

They're even building machines, weapons,

آن ها حتی در حال ساخت ماشین‌هایی هستند، تسلیحاتی

that might kill human beings in war.

که ممکنه آدم ها رو در جنگ بکشه.

It's ethics all the way down.

همه اینها سقوط اخلاق‌ است.

Machine intelligence is here.

هوشمندی ماشین اینجاست.

We're now using computation to make all sort of decisions,

ما در حال استفاده از محاسباتی هستیم که همه تصمیمات ما را مرتب می‌کنه،

but also new kinds of decisions.

همچنین نوع‌های مختلف تصمیم‌ها را مرتب می‌کند.

We're asking questions to computation that have no single right answers,

ما سوالاتی را می پرسیم هستیم که هیچ جواب معین درستی ندارند،

that are subjective

آنها ذهنی هستند

and open-ended and value-laden.

و بدون جواب معین و پر محتوا هستند.

We're asking questions like,

ما پرسش‌هایی شبیه اینها را می‌پرسیم:

"Who should the company hire?"

«شرکت کی باید استخدام کند؟»

"Which update from which friend should you be shown?"

«بکدام بروزرسانی از کدام دوست باید نشان داده شود؟»

"Which convict is more likely to reoffend?"

«کدام متهم بیشتر شبیه خلافکارهاست؟»

"Which news item or movie should be recommended to people?"

«کدام بخش خبرها یا فیلم باید به مردم توصیه بشه؟»

Look, yes, we've been using computers for a while,

ببیند، بله، ما مدت‌هاست است که در حال استفاده از کامپیوترها هستیم

but this is different.

اما این بار فرق داره.

This is a historical twist,

این یک چرخش تاریخی است،

because we cannot anchor computation for such subjective decisions

زیرا ما نمی‌توانیم محاسبات را برای تصمیم‌های ذهنی نگه داریم

the way we can anchor computation for flying airplanes, building bridges,

مانند روش محاسباتی برای پرواز هواپیما، ساخت پل‌ها

going to the moon.

و به ماه رفتن.

Are airplanes safer? Did the bridge sway and fall?

آیا هواپیماها امن هستند؟ آیا این پل فرو می‌ریزد؟

There, we have agreed-upon, fairly clear benchmarks,

این چنین است، ما منصفانه و براساس معیارهای روشن توافق کردیم

and we have laws of nature to guide us.

و ما قوانین طبیعت را برای راهنمایی داریم

We have no such anchors and benchmarks

ما چیزی شبیه مجری ها و معیارها برای تصمیم گیری

for decisions in messy human affairs.

درکارهای انسان آشفته نداریم.

To make things more complicated, our software is getting more powerful,

برای انجام کارهای پیچیده‌تر، تا نرم افزارهای ما بیشتر قدرتمند می‌شوند،

but it's also getting less transparent and more complex.

اما این می تواند کمتر شفاف و بیشتر پیچیده باشد.

Recently, in the past decade,

اخیرا، در دهه گذشته

complex algorithms have made great strides.

الگوریتم های پیچیده با گام‌های بلندی ساخته شده‌اند.

They can recognize human faces.

آنها می‌توانند صورت انسان را بازشناسایی کنند.

They can decipher handwriting.

آنها می‌توانند دست خط را تشخیص بدهند.

They can detect credit card fraud

آنها می‌توانند تقلب در کارت اعتباری را کشف کنند

and block spam

و اسپم‌ها را مسدود کنند

and they can translate between languages.

و آنها می‌توانند زبان‌ها را ترجمه کنند،

They can detect tumors in medical imaging.

می توانند تومورها را در تصاویر پزشکی کشف کنند.

They can beat humans in chess and Go.

آنها می‌توانند در بازیهای شطرنج و گو از آدمها ببرند.

Much of this progress comes from a method called "machine learning."

بیشتر این پیشرفت‌ها از روشی به نام "یادگیری ماشین" آمده‌اند.

Machine learning is different than traditional programming,

یادگیری ماشین با برنامه نویسی سنتی متفاوت هست،

where you give the computer detailed, exact, painstaking instructions.

که به کامپیوتر جزئیات دقیق دستورات پر زحمت را میدهید.

It's more like you take the system and you feed it lots of data,

این بیشتر شبیه اینه که شما یک سیستم گرفته‌اید و اطلاعات زیادی به آن می‌خورانید

including unstructured data,

شامل اطلاعات بدون ساختار،

like the kind we generate in our digital lives.

مانند اطلاعاتی که ما در زندگی دیجیتال خود تولید می‌کنیم.

And the system learns by churning through this data.

و سیستمی که بوسیله گردش در بین اطلاعات یاد میگیرد.

And also, crucially,

و همچنین بحرانی

these systems don't operate under a single-answer logic.

آن سیستم‌هایی که زیر یک پاسخ سیگنال منطقی عمل نمی کنند

They don't produce a simple answer; it's more probabilistic:

آن ها یک پاسخ ساده تولید نمی کنند این ها بیشتر "احتمال" هستند

"This one is probably more like what you're looking for."

"این یک احتمالی است که بیشتر شبیه آنچه شما دنبال آن هستید "

Now, the upside is: this method is really powerful.

حالا، بالاتر این است که: این شیوه واقعا قدرتمند است.

The head of Google's AI systems called it,

رییس سیستم‌های هوش مصنوعی (AI) گوگل این را نام گذاری کرد:

"the unreasonable effectiveness of data."

"اثر غیر منطقی اطلاعات"

The downside is,

قسمت بدترش این است که:

we don't really understand what the system learned.

ما واقعا نمی‌فهمیم سیستم چه یاد می‌گیرد.

In fact, that's its power.

در حقیقت این قدرت آن است.

This is less like giving instructions to a computer;

این کمتر شبیهِ دادنِ دستورالعمل به کامپیوتر است،

it's more like training a puppy-machine-creature

این بیشتر شبیه یاد دادن به یک توله ماشین زندهاست

we don't really understand or control.

ما واقعا نمی‌فهمیم و کنترل نمی‌کنیم.

So this is our problem.

خب این مشکل ماست.

It's a problem when this artificial intelligence system gets things wrong.

این یک مشکل است وقتی که سیستم هوش مصنوعی چیزها را اشتباه یاد میگیرد.

It's also a problem when it gets things right,

این همچنین یک مشکل است وقتی که این چیزها را درست یاد میگیرد،

because we don't even know which is which when it's a subjective problem.

زیرا ما حتی نمی دانیم کدام به کدام است وقتی که این یک مشکل درونی است.

We don't know what this thing is thinking.

ما نمی‌دانیم در حال فکر کردن به چه چیزی است

So, consider a hiring algorithm --

یک الگوریتم استخدام را فرض کنید--

a system used to hire people, using machine-learning systems.

یک سیستمی که مردم را با استفاده از سیستم یادگیری ماشین استخدام می کند.

Such a system would have been trained on previous employees' data

مانند یک سیستمی که بر اساس اطلاعات کارمندان قبلی آموزش دیده شده است

and instructed to find and hire

و دستور دارد که پیدا کند و استخدام کند

people like the existing high performers in the company.

مردمی که بهروری بالایی در شرکت دارند.

Sounds good.

به نظر خوب میاد.

I once attended a conference

من یک بار در کنفرانسی حضور داشتم

that brought together human resources managers and executives,

که مدیران منابع انسانی و مدیران اجرایی دور هم جمع شده بودند،

high-level people,

افراد رده بالای شرکت‌ها

using such systems in hiring.

که از این سیستم‌های برای استخدام استفاده می کردند.

They were super excited.

آنها خیلی هیجان زده بودند

They thought that this would make hiring more objective, less biased,

آنها فکر می کردند که این استخدام را بیشتر هدفمند و کمتر مغروضانه خواهند بود،

and give women and minorities a better shot

و به خانم ها و اقلیت یک شانس بهتری میدهد

against biased human managers.

بر خلاف غرض‌ورزی مدیران منابع انسانی

And look -- human hiring is biased.

ببینید-- استخدام افراد غرض ورزانه است.

I know.

من میدانم.

I mean, in one of my early jobs as a programmer,

منظورم اینه، در اولین شغل من به عنوان برنامه نویس

my immediate manager would sometimes come down to where I was

مدیر بخش من گاهی اوقات

really early in the morning or really late in the afternoon,

در اول صبح یا آخر عصر پیش من می‌آمد

and she'd say, "Zeynep, let's go to lunch!"

و میگفت: "زینب بیا بریم ناهار"

I'd be puzzled by the weird timing.

من به خاطر زمان‌های عجیب گیج می‌شدم

It's 4pm. Lunch?

الان ساعت ۴ است، ناهار؟

I was broke, so free lunch. I always went.

من شکست می‌خوردم من همیشه برای ناهار مجانی می‌رفتم

I later realized what was happening.

بعدها فهمیدم که چه اتفاقی می‌افتاد

My immediate managers had not confessed to their higher-ups

مدیران بالایی من در انتخابشان برای استخدام

that the programmer they hired for a serious job was a teen girl

یک دختر نوجوان که کفش کتانی و جین در محل کار می‌پوشید

who wore jeans and sneakers to work.

برای انجام یک کار جدی اشتباه نکرده بودند.

I was doing a good job, I just looked wrong

من خوب کار می‌کردم، اما به نظرمیآمد که من مناسب نیستم

and was the wrong age and gender.

سن و جنسیتم نیز اشتباه بود.

So hiring in a gender- and race-blind way

خُب نادیده گرفتن شدن جنسیت و نژاد من

certainly sounds good to me.

قطعا چیزی خوبی برای من بود.

But with these systems, it is more complicated, and here's why:

اما با این سیستم ها بغرنج‌تر و پیچیده‌تر شده و دلیلیش اینجاست:

Currently, computational systems can infer all sorts of things about you

اخیرا، سیستم‌های محاسبه‌گر می‌توانند به همه چیزهای شما

from your digital crumbs,

از طریق خرده اطلاعات دیجیتالی شما پی‌ببرند،

even if you have not disclosed those things.

حتی اگر شما آن چیزها را فاش نکرده باشید.

They can infer your sexual orientation,

آنها به گرایش‌های جنسی‌تان ،

your personality traits,

ویژگی‌های شخصی‌تان،

your political leanings.

دانسته‌های سیاسی‌تان پی‌ببرند.

They have predictive power with high levels of accuracy.

آنها قدرت پیش بینی با صحت بالایی را دارند.

Remember -- for things you haven't even disclosed.

به یاد داشته باشید، برای چیزهایی که شما حتی آنها را فاش نکرده‌اید

This is inference.

نتیجه گیری‌ و استنتاج است.

I have a friend who developed such computational systems

من یک دوستی دارم که سیستم های محاسبه گری را توسعه می‌دهد

to predict the likelihood of clinical or postpartum depression

تا شانس افسردگی بالینی یا بعد از وضع حمل را پیش بینی کند

from social media data.

با استفاده از اطلاعات رسانه های اجتماعی

The results are impressive.

نتیجه ها هیجان انگیز هستند.

Her system can predict the likelihood of depression

سیستمش احتمال افسردگی را می‌توان

months before the onset of any symptoms --

ماه‌های قبل از شروع علائم بیماری را پیش‌بینی کند--

months before.

ماه‌های قبل.

No symptoms, there's prediction.

هیچ علامتی از بیماری نیست، ولی پیش بینی می‌شود.

She hopes it will be used for early intervention. Great!

او امیدوار است بزودی این را برای مداخلات (روانشناسی) استفاده کند . عالیه.

But now put this in the context of hiring.

اما حالا این در فضای استخدام قرار دهید.

So at this human resources managers conference,

بنابراین در این کنفرانس منبع مدیران انسانی

I approached a high-level manager in a very large company,

من به یک مدیر سطح بالا در یک شرکت بزرگ نزدیک شدم

and I said to her, "Look, what if, unbeknownst to you,

و به او گفتم: "ببین، چه میشد اگر من برای تو فردی ناشناخته می‌شدم؟"

your system is weeding out people with high future likelihood of depression?

آیا سیستم تو در حال حذف مردم با احتمال بالای افسردگی در آینده، است ؟

They're not depressed now, just maybe in the future, more likely.

آن ها الان افسرده نیستند، فقط شاید در آینده به احتمال زیاد دچار افسردگی شوند.

What if it's weeding out women more likely to be pregnant

یا اگر زنانی که احتمال دارد در یکی دو سال آینده باردار شوند

in the next year or two but aren't pregnant now?

ولی الان حامله نیستد را کنار گذارده شوند؟

What if it's hiring aggressive people because that's your workplace culture?"

اگر این افراد پرخاشکر را استخدام شوند زیرا آن فرهنگ محیط کاریت است

You can't tell this by looking at gender breakdowns.

تو با استفاده از نگاه کردن به تقسیم بندی جنسبت نمی توانی بگویی

Those may be balanced.

آن ها ممکنه متعادل باشند.

And since this is machine learning, not traditional coding,

و چون این یادگیری ماشین است و برنامه نویسی سنتی نیست

there is no variable there labeled "higher risk of depression,"

هیچ متغیری وجود ندارد که "بیشترین خطر افسردگی " نام گذاری شود

"higher risk of pregnancy,"

"بیشترین خطر حاملگی"

"aggressive guy scale."

"مقیاس پرخاشگری مردان"

Not only do you not know what your system is selecting on,

نه تنها نمی دانست چگونه سیستم شما، انتخاب می کنه

you don't even know where to begin to look.

شما حتی نمی دانی که در کجا جستجو می‌کند

It's a black box.

این یک جعبه سیاه است.

It has predictive power, but you don't understand it.

این قدرت پیش گویی دارد اما شما این را نمی‌فهمی

"What safeguards," I asked, "do you have

من پرسسیدم"حفاظت چیست؟"

to make sure that your black box isn't doing something shady?"

« آیا باید مطمئن شوی که جعبه سیاه تان کار مشکوکی انجام نمی‌دهد؟»

She looked at me as if I had just stepped on 10 puppy tails.

او به من به نگاه کرد مثل اینکه من پا روی دُم ده تا توله گذاشتم!

(Laughter)

(خنده حاضرین)

She stared at me and she said,

او به من خیره شد و گفت:

"I don't want to hear another word about this."

«نمی‌خوام کلمه دیگری در این باره بشنوم»

And she turned around and walked away.

و او برگشت و قدم زنان دور شد.

Mind you -- she wasn't rude.

به خاطر داشته باشید او بی‌ادب نبود.

It was clearly: what I don't know isn't my problem, go away, death stare.

کاملا روشن بود با نگاهش می‌گفت: نمی‌دونم، این مشکل من نیست، برو.

(Laughter)

(خنده حاضرین)

Look, such a system may even be less biased

نگاه کنید، یک سیستم ممکن است حتی کمتر جانبدارانه باشد

than human managers in some ways.

تا مدیران انسانی در همان زمینه.

And it could make monetary sense.

و این میتونه یک حس مالی ایجاد کنه

But it could also lead

اما این می‌تونه منجر بشه

to a steady but stealthy shutting out of the job market

به یک یکنواختی اما یواشکی بستن بازار کار مردم

of people with higher risk of depression.

که با ریسک بالای افسردگی همراه هستند.

Is this the kind of society we want to build,

آیا این نوع اجتماعی است که ما می‌خواهیم بسازیم؟

without even knowing we've done this,

بدون حتی دانستن اینکه ما این را انجام دادیم

because we turned decision-making to machines we don't totally understand?

زیرا ما ساختن تصمیم را تبدیل کردیم به ماشین که ما سرانجامش را نمی‌فهمیم

Another problem is this:

و مسئله دیگر این است:

these systems are often trained on data generated by our actions,

این سیستم ها اغلب روی اطلاعات تولید شده توسط کارهای ما آموزش داده می‌شوند،

human imprints.

آثار به جای مانده از انسان.

Well, they could just be reflecting our biases,

خب، آنها فقط می‌توانند تمایلات ما را منعکس کنند،

and these systems could be picking up on our biases

و این سیستم‌های می‌توانند تمایلات ما را انتخاب کنند

and amplifying them

و آن را تقویت کرده

and showing them back to us,

و آن را دوباره به ما نشان دهند،

while we're telling ourselves,

در حالی که به خودمان می‌گویم،

"We're just doing objective, neutral computation."

«ما فقط در حال بررسی هستیم.»

Researchers found that on Google,

محققان در شرکت گوگل دریافتند،

women are less likely than men to be shown job ads for high-paying jobs.

زنان نسبت به مردان احتمال کمتری دارد که برای مشاغل با حقوق بالاتر قدام کنند.

And searching for African-American names

و نام‌های آفریقایی-آمریکایی را که جستجو کنید

is more likely to bring up ads suggesting criminal history,

احتمال بیشتر دارد که پیشینه جرم نشان دهد،

even when there is none.

حتی وقتی که واقعا جرمی وجود ندارد.

Such hidden biases and black-box algorithms

مانند تمایلات پنهان و الگوریتم جعبه سیاه

that researchers uncover sometimes but sometimes we don't know,

که گاهی محققات آن را تحت پوشش قرار نمی دهند و ما از آن گاهی اطلاع نداریم.

can have life-altering consequences.

که می توانیم پر‌آمدهایی زندگی داشته باشد.

In Wisconsin, a defendant was sentenced to six years in prison

در ویسکانسین یک متهم به شش سال زندان محکوم شد

for evading the police.

برای فرار از پلیس.

You may not know this,

شما ممکنه این را ندانید،

but algorithms are increasingly used in parole and sentencing decisions.

اما الگوریتم به طور افزاینده‌ای در آزادی مشروط و صدور حکم در حال استفاده هستند

He wanted to know: How is this score calculated?

او می خواهد بداند: چگونه این نمره محاسبه می شود؟

It's a commercial black box.

این یک جعبه سیاه تجاری است

The company refused to have its algorithm be challenged in open court.

شرکت درخواست اینکه الگوریتم در دادگاه به چالش کشیده بشود را رد کرد.

But ProPublica, an investigative nonprofit, audited that very algorithm

اما پروپابلیکا، یک موسسه تحقیقاتی غیرانتفاعی خیلی از الگوریتم ها را

with what public data they could find,

با اطلاعات عمومی ای که آن ها می‌توانند پیدا کنند بررسی می‌کنند.

and found that its outcomes were biased

و دریافتند که این یک نتیجه از تمایلات بوده

and its predictive power was dismal, barely better than chance,

و این قدرت پیش‌بینی اشتباه، نه فقظ شانسی( بلکه به عمد)

and it was wrongly labeling black defendants as future criminals

و به طور اشتباه متهمان سیاه را به عنوان مجرمان آینده دوبرابر نرخ مجرمان سفید

at twice the rate of white defendants.

برچست گذاری کرده بود.

So, consider this case:

خب، به این مورد دقت کنید:

This woman was late picking up her godsister

این خانم برای برداشتن دخترخوانده‌اش دیر رسید

from a school in Broward County, Florida,

از یک مدرسه در بروارد ایالت فلوریدا،

running down the street with a friend of hers.

با دوستش از خیابان می دوید.

They spotted an unlocked kid's bike and a scooter on a porch

آن ها یک دوچرخه بچه و یک اسکوتر روی ایوان که قفل نشده بود را نشان دادند

and foolishly jumped on it.

و احمقانه روی آن پرید

As they were speeding off, a woman came out and said,

وقتی آنها در حال سرعت گرفتن بودند یک زن آمد و گفت

"Hey! That's my kid's bike!"

هی! این دوچرخه بچه من است

They dropped it, they walked away, but they were arrested.

آن ها دوچرخه را رها کردن و دور شدند ولی آن ها دستگیر شدند

She was wrong, she was foolish, but she was also just 18.

او اشتباه کرد و او احمق بود ولی او تنها ۱۸ سال داشت

She had a couple of juvenile misdemeanors.

او یک تعدادی جرم‌های کوچک داشت.

Meanwhile, that man had been arrested for shoplifting in Home Depot --

ضمنا، آن مرد برای سرقت از فروشگاه هوم دیپو دستگیر شده بود--

85 dollars' worth of stuff, a similar petty crime.

۸۵ دلار، که ارزشش به اندازه جرم کوچک بود.

But he had two prior armed robbery convictions.

اما او محکومیت دو سرقت مسلحانه داشت.

But the algorithm scored her as high risk, and not him.

اما الگوریتم احتمال بالای جرم برای این زن نشان می‌داد، و نه برای این مرد.

Two years later, ProPublica found that she had not reoffended.

دو سال بعد، پروپابلیکا یافت که این نباید در حبس باشد.

It was just hard to get a job for her with her record.

و با سایقه‌ای را که داشت برای او پیدا کردن شغل مشگل بود.

He, on the other hand, did reoffend

از طرف دیگر این مرد زندانی شد

and is now serving an eight-year prison term for a later crime.

و برای گناه گذشته‌اش برای هشت سال زندانی خواهد بود.

Clearly, we need to audit our black boxes

روشن است، ما نیاز داریم تا جعبه سیاهمان را بازبینی و بررسی کنیم

and not have them have this kind of unchecked power.

و نه آن ها را، بلکه این نوع قدرت چک نشده را حسابرسی کنیم

(Applause)

(تشویق حضار)

Audits are great and important, but they don't solve all our problems.

بررسی و باربینی خوب و مهم است اما آنها تمام مشکلات ما را حل نمی کنند.

Take Facebook's powerful news feed algorithm --

الگوریتم قدرت خبری فیسبوک را در نظر بگیرید.

you know, the one that ranks everything and decides what to show you

می‌دانید، کسی که همه چیز را رتبه بندی می‌کند و تصمیم میگیرد که چه به شما نشان دهد

from all the friends and pages you follow.

از همه دوستان و همه صفحه‌هایی که شما دنبال می‌کنید.

Should you be shown another baby picture?

باید به شما عکس بچه‌ی دیگه را نشان دهد؟

(Laughter)

(خنده)

A sullen note from an acquaintance?

یک یادداشت عبوس از یک آشنا؟

An important but difficult news item?

یک خبر مهم اما قسمت‌های سختش؟

There's no right answer.

هیچ جواب درستی وجود ندارد.

Facebook optimizes for engagement on the site:

فیس بوک برای مشغولیت بیشتر در سایت بهینه شده :

likes, shares, comments.

لایک، اشتراگ گذاری، کامنت

In August of 2014,

در آگوست ۲۰۱۴

protests broke out in Ferguson, Missouri,

در شهر فرگوست ایالت میسوری معترضان

after the killing of an African-American teenager by a white police officer,

بعد از کشتن یک نوجوان آفریقایی- آمریکایی به وسیله یک پلیس سفید پوست

under murky circumstances.

زیر رویداد مبهم شورش کردند،

The news of the protests was all over

خبرهای معترضان در همه جا بود

my algorithmically unfiltered Twitter feed,

الگورتیم من فید‌های تویتر را فیلتر نکرد

but nowhere on my Facebook.

اما در فیس بوکم هیچ جا باز نبود.

Was it my Facebook friends?

آیا اینها دوستان فیسبوکی من بودند؟

I disabled Facebook's algorithm,

من الگوریتم فیسبوکم را غیر فعال کردم،

which is hard because Facebook keeps wanting to make you

که سخت بود زیرا فیسبوک خواسته های شما را حفظ میکند

come under the algorithm's control,

تا شما را زیر کنترل الگوریتم ها نگه دارد،

and saw that my friends were talking about it.

و می بینید که دوستان من در حال صحبت کردن درباره این حادثه بودند.

It's just that the algorithm wasn't showing it to me.

این فقط الگوریتمی بود که این را به من نشان من داد.

I researched this and found this was a widespread problem.

من تحقیق کردم و فهمیدم که این یه مشکل شایع بود

The story of Ferguson wasn't algorithm-friendly.

حادثه فرگوست یک الگوریتم دوستانه نبود.

It's not "likable."

دوست داشتنی نبود

Who's going to click on "like?"

چه کسی می خواد تا روی "like" کلیک کنید؟

It's not even easy to comment on.

این حتی ساده نیست تا کامنتی روی آن قرار دهید.

Without likes and comments,

بدون "like" و کامنت

the algorithm was likely showing it to even fewer people,

احتمالا الگوریتم برای افراد کمتری را نشان داده می‌شد،

so we didn't get to see this.

بنابراین ما نتوانستیم این را ببینیم

Instead, that week,

در عوض، آن هفته،

Facebook's algorithm highlighted this,

الگوریتم فیس بوک این را برجسته کرده بود:

which is the ALS Ice Bucket Challenge.

این چالش سطل آب یخ است.

Worthy cause; dump ice water, donate to charity, fine.

علت ارزش، خالی کردن آب یخ، کمک به موسسه خیریه خوب است

But it was super algorithm-friendly.

اما این الگوریتم دوستانه عالی بود.

The machine made this decision for us.

که ماشین این تصمیم را برای ما گرفت.

A very important but difficult conversation

و خیلی مهم است اما گفتگوی سختی است

might have been smothered,

ممکن است خفه شده باشد.

had Facebook been the only channel.

آیا فیسبوک فقط یک کانال داشت؟

Now, finally, these systems can also be wrong

خُب، این سیستم ها می‌توانند اشتباه باشند

in ways that don't resemble human systems.

در راه هایی که شباهت به سیستم انسانی ندارد.

Do you guys remember Watson, IBM's machine-intelligence system

آیا شما واتسون، سیستم ماشین هوشمند آی بی ام

that wiped the floor with human contestants on Jeopardy?

که با انسان مسابقه جوپرتری را داد را به خاطر دارید؟

It was a great player.

واتسون بازیگر خوبی در مسابقه بود.

But then, for Final Jeopardy, Watson was asked this question:

اما در آخرین جوپرتی، از واتسون پرسیده شد

"Its largest airport is named for a World War II hero,

«آیا بزرگترین فرودگاه که برای یک قهرمان جنگ جهانی دوم نام گذاری شد"

its second-largest for a World War II battle."

این دومین فرودگاه بزرگ برای مبارزه جنگ جهانی دوم نامگذاری شد.»

(Hums Final Jeopardy music)

(...)

Chicago.

شیکاگو.

The two humans got it right.

دو فرد درست جواب دادند

Watson, on the other hand, answered "Toronto" --

واتسون در طرف دیگر پاسخ داد «تورنتو»--

for a US city category!

برای یک شهر آمریکایی!

The impressive system also made an error

سیستم موثر همچنین یک اشتباه کرد

that a human would never make, a second-grader wouldn't make.

که یک فرد هیچ وقت این اشتباه را نخواهد کرد، حتی یک کلاس دومی.

Our machine intelligence can fail

ماشین هوشمند ما میتواند شکست بخورد

in ways that don't fit error patterns of humans,

در جاهایی که نمی تواند الگوی خطای انسان ها را متناسب کند

in ways we won't expect and be prepared for.

در جاهایی که ما انتظار و آمادگی برای آن نخواهیم داشت

It'd be lousy not to get a job one is qualified for,

این نکبت بار خواهد بود که کسی که واجد شرایط هست شفلی را نگیرد،

but it would triple suck if it was because of stack overflow

اما سه برابر آن بدتر اینکه به دلیل خرده رفتارها

in some subroutine.

در روال عادی زندگی فرد آن شغل را نگیرد.

(Laughter)

(خنده حضار)

In May of 2010,

در ماه می ۲۰۱۰،

a flash crash on Wall Street fueled by a feedback loop

یک خرابی کوتاه مدت ناشی از یک حلقه فیدبک تقویت شد در وال استریت

in Wall Street's "sell" algorithm

در الگوریتم« فروش» وال استریت

wiped a trillion dollars of value in 36 minutes.

یک تریلیون دلار ارزش را در ۳۶ دقیقه از بین برد.

I don't even want to think what "error" means

من حتی نمی‌خوام در مورد معنی‌های «خطا»

in the context of lethal autonomous weapons.

در زمینه سلاح های کشنده خودکار فکر کنم.

So yes, humans have always made biases.

خب بله، انسان‌ها همیشه تمایلات را می‌سازند.

Decision makers and gatekeepers,

تصمیم گیرنده‌ها و دربان‌ها

in courts, in news, in war ...

در دادگاه ها و در خبر ها و در جنگ...

they make mistakes; but that's exactly my point.

آنها اشتباه می کنند، اما این دقیقا نکته مورد نظر من است.

We cannot escape these difficult questions.

ما نمی توانیم از این سوالهای مشگل فرارکنیم.

We cannot outsource our responsibilities to machines.

ما نمی‌توانیم مسئولیت هایمان را در قبال ماشین ها نادیده بگیریم.

(Applause)

(تشویق)

Artificial intelligence does not give us a "Get out of ethics free" card.

هوش مصنوعی نمی‌تواند به ما یک کارت «خارج شدن از اخلاق به صورت رایگان» بدهد

Data scientist Fred Benenson calls this math-washing.

دانشمند اطلاعات، فرد بنسون این را "شستشوی ریاضی" می‌نامد

We need the opposite.

ما به این تضاد نیاز داریم.

We need to cultivate algorithm suspicion, scrutiny and investigation.

ما نیاز داریم تا یک الگوریتم بد گمانی را با بررسی دقیق و موشکافانه رشد دهیم.

We need to make sure we have algorithmic accountability,

ما نیاز داریم تا مطمئن باشیم که مسولیت الگوریتمی داریم،

auditing and meaningful transparency.

حسابرسی و شفافیت معنایی نیاز داریم.

We need to accept that bringing math and computation

ما نیاز داریم تا قبول کنیم که آورده های ریاضی و محاسباتی

to messy, value-laden human affairs

برای ارزش انباشته و به هم ریخته و امور انسانی

does not bring objectivity;

عینیت ندارد.

rather, the complexity of human affairs invades the algorithms.

بلکه ، پیچیدگی امور انسانی به الگوریتم ها حتما غلبه می‌کند.

Yes, we can and we should use computation

بله ما می توانیم و ما باید از محاسبات استفاده کنیم

to help us make better decisions.

تا برای داشتن تصمیمات بهتر به خودمان کمک کنیم

But we have to own up to our moral responsibility to judgment,

اما ما اعتراف می‌کنیم به مسئولیت اخلاقی و قضاوت

and use algorithms within that framework,

و استفااه از الگورتیم هایی با آن چارچوب

not as a means to abdicate and outsource our responsibilities

نه به عنوان وسیله ای برای کناره گیری و واگذاری مسئولیت هایمان

to one another as human to human.

به یک انسان دیگر.

Machine intelligence is here.

هوش مصنوعی اینجاست.

That means we must hold on ever tighter

این بدان معناست که ما باید محکم‌تر

to human values and human ethics.

ارزش‌ها و اخلاق انسانی را نگه داریم.

Thank you.

متشکرم

(Applause)

(تشویق)