The era of blind faith in big data must end | Cathy O'Neil

Translator: S. Morteza Hashemi Reviewer: sadegh zabihi

Algorithms are everywhere.

الگوریتم‌ها همه جا هستند.

They sort and separate the winners from the losers.

آن‌ها برنده‌ها و بازنده‌ها را رده‌بندی کرده و از هم جدا می‌کنند

The winners get the job

برنده‌ها استخدام می‌شوند

or a good credit card offer.

یا یک پیشنهاد خوب مالی می‌گیرند.

The losers don't even get an interview

اما بازنده‌ها حتی مصاحبه هم نمی‌شوند

or they pay more for insurance.

یا هزینه بیشتری برای بیمه می‌پردازند.

We're being scored with secret formulas that we don't understand

ما با فرمول‌های مرموزی سنجیده می‌شویم که درکشان نمی‌کنیم.

that often don't have systems of appeal.

که معمولاً سیستمی برای تجدید نظر ندارند.

That begs the question:

این سوالی را بر می‌انگیزد:

What if the algorithms are wrong?

اگر الگوریتم‌ها اشتباه کنند چطور؟

To build an algorithm you need two things:

برای ایجاد یک الگوریتم دو چیز نیاز دارید:

you need data, what happened in the past,

داده، چیزی که در گذشته اتفاق افتاده،

and a definition of success,

و تعریفی برای موفقیت،

the thing you're looking for and often hoping for.

چیزی که به دنبال آن هستید و معمولاً انتظارش را دارید.

You train an algorithm by looking, figuring out.

شما به الگوریتم با دیدن و درک کردن آموزش می‌دهید.

The algorithm figures out what is associated with success.

الگوریتم درک می‌کند که چه چیزهایی با موفقیت ارتباط دارند.

What situation leads to success?

چه موقعیتی به موفقیت منتهی می‌شود؟

Actually, everyone uses algorithms.

در واقع، همه از الگوریتم‌ها استفاده می‌کنند.

They just don't formalize them in written code.

فقط آن‌ها را به صورت کد نمی‌نویسند

Let me give you an example.

بگذارید مثالی بزنم.

I use an algorithm every day to make a meal for my family.

من هر روز از یک الگوریتم برای پخت غذای خانواده‌ام استفاده می‌کنم.

The data I use

داده‌هایی که استفاده می‌کنم

is the ingredients in my kitchen,

شامل مواد موجود در آشپزخانه‌ام،

the time I have,

زمانی که دارم،

the ambition I have,

و هدفی که دارم می‌شود.

and I curate that data.

و من این داده‌ها را مدیریت می‌کنم.

I don't count those little packages of ramen noodles as food.

من آن بسته‌های کوچک نودل رامن را غذا به حساب نمی‌آورم.

(Laughter)

(خنده حضار)

My definition of success is:

تعریف من از موفقیت این است:

a meal is successful if my kids eat vegetables.

یک غذا موفق است اگر فرزندانم سبزیجات بخورند.

It's very different from if my youngest son were in charge.

این خیلی متفاوت می‌شد اگر پسر بزرگ‌ترم مسئول بود.

He'd say success is if he gets to eat lots of Nutella.

از نظر او موفقیت این است که بتواند زیاد نوتلا بخورد.

But I get to choose success.

ولی منم که موفقیت را انتخاب می‌کنم.

I am in charge. My opinion matters.

من مسئولم. نظر من است که اهمیت دارد.

That's the first rule of algorithms.

این اولین قانون الگوریتم‌هاست.

Algorithms are opinions embedded in code.

الگوریتم‌ها سلایقی هستند که در قالب کد ارائه می‌شوند.

It's really different from what you think most people think of algorithms.

این با چیزی که بیشتر مردم در مورد الگوریتم‌ها فکر می‌کنند تفاوت دارد.

They think algorithms are objective and true and scientific.

آن‌ها فکر می‌کنند که الگوریتم‌ها عینی، درست و علمی هستند.

That's a marketing trick.

این یک حقهٔ بازاریابی است.

It's also a marketing trick

این هم یک حقهٔ بازاریابی است

to intimidate you with algorithms,

که شما را با الگوریتم‌ها بترسانند،

to make you trust and fear algorithms

که شما را وادار به اعتماد به الگوریتم‌ها و ترس از آن‌ها کنند

because you trust and fear mathematics.

به دلیل ترس و اعتماد شما به ریاضیات.

A lot can go wrong when we put blind faith in big data.

باور کورکورانه به کلان‌داده‌ها می‌تواند عواقب نادرستی داشته باشد.

This is Kiri Soares. She's a high school principal in Brooklyn.

این کیری سورس است. او مدیر یک دبیرستان در بروکلین است.

In 2011, she told me her teachers were being scored

در سال ۲۰۱۱، او به من گفت معلم‌های مدرسه‌اش

with a complex, secret algorithm

با یک الگوریتم مرموز و پیچیده امتیازبندی می‌شوند

called the "value-added model."

که نام آن «مدل ارزش افزوده» است.

I told her, "Well, figure out what the formula is, show it to me.

من به او گفتم، «خب، فرمول را پیدا کن و به من نشان بده

I'm going to explain it to you."

من آن را برایت توضیح می‌دهم».

She said, "Well, I tried to get the formula,

او گفت: «من سعی کردم که فرمول را بدست بیاورم،

but my Department of Education contact told me it was math

اما رابط اداره‌ی آموزش به من گفت که ریاضیات است

and I wouldn't understand it."

و من آن را درک نخواهم کرد.»

It gets worse.

بدتر هم می‌شود.

The New York Post filed a Freedom of Information Act request,

روزنامه «نیویورک پست» درخواستی مربوط به «سند آزادی اطلاعات» منتشر کرد،

got all the teachers' names and all their scores

نام تمام معلم‌ها و تمام نمراتشان را به دست آورد

and they published them as an act of teacher-shaming.

و برای خجالت‌زده کردن معلمان آنها را منتشر کرد.

When I tried to get the formulas, the source code, through the same means,

وقتی من خواستم فرمول‌ها و کد را از همین طریق ببینم،

I was told I couldn't.

به من گفتند نمی‌توانم.

I was denied.

از این کار منع شدم.

I later found out

بعداً فهمیدم

that nobody in New York City had access to that formula.

که هیچ‌کس در شهر نیویورک به آن فرمول دسترسی نداشت.

No one understood it.

هیچ‌کس آن را نمی‌فهمید.

Then someone really smart got involved, Gary Rubinstein.

بعداً یک فرد واقعاً باهوش به نام «گری روبنشتاین» درگیر این موضوع شد.

He found 665 teachers from that New York Post data

او ۶۶۵ معلم که در داده‌های نیویورک پست بودند را یافت

that actually had two scores.

که هر یک، دو نمره داشتند.

That could happen if they were teaching

اگر یک معلم در دو کلاس هفتم و هشتم

seventh grade math and eighth grade math.

تدریس کند ممکن است این اتفاق رخ دهد.

He decided to plot them.

او تصمیم گرفت این داده‌ها را ترسیم کند.

Each dot represents a teacher.

هر نقطه نشان‌دهنده‌ی یک معلم است.

(Laughter)

(خنده‌ی حضار)

What is that?

این چیست؟

(Laughter)

(خنده‌ی حضار)

That should never have been used for individual assessment.

هرگز نباید برای ارزیابی افراد مورد استفاده قرار می‌گرفت.

It's almost a random number generator.

تقریباً یک تولیدکننده‌ی اعداد تصادفی است.

(Applause)

(تشوق حضار)

But it was.

اما استفاده شد.

This is Sarah Wysocki.

این سارا ویساکی است.

She got fired, along with 205 other teachers,

او به همراه ۲۰۵ معلم دیگر

from the Washington, DC school district,

از ناحیه‌ی مدارس واشنگتون دی‌سی اخراج شد.

even though she had great recommendations from her principal

علی‌رغم اینکه توصیه‌نامه‌های خیلی خوبی از طرف مدیر

and the parents of her kids.

و خانواده‌های شاگردانش داشت.

I know what a lot of you guys are thinking,

می‌دانم بسیاری از شما چه فکر می‌کنید،

especially the data scientists, the AI experts here.

خصوصاً دانشمندان داده، و خبرگان هوش مصنوعی.

You're thinking, "Well, I would never make an algorithm that inconsistent."

شما فکر می‌کنید، «من هرگز الگوریتمی به این ناسازگاری نخواهم ساخت».

But algorithms can go wrong,

اما الگوریتم‌ها می‌توانند اشتباه کنند،

even have deeply destructive effects with good intentions.

حتی آثار مخرب عمیقی داشته باشند، در صورتی که نیت‌شان خیر بوده است.

And whereas an airplane that's designed badly

برخلاف هواپیمایی که بد طراحی شده است

crashes to the earth and everyone sees it,

و سقوط می‌کند و همه آن را می‌بینند،

an algorithm designed badly

الگوریتمی که بد طراحی شده باشد

can go on for a long time, silently wreaking havoc.

ممکن است مدت زیادی به صورت خاموش تخریب کند.

This is Roger Ailes.

این راجر ایلز است.

(Laughter)

(خنده‌ی حضار)

He founded Fox News in 1996.

او در سال ۱۹۹۶ فاکس نیوز را تأسیس کرد.

More than 20 women complained about sexual harassment.

بیش از ۲۰ زن از آزار جنسی شکایت کردند.

They said they weren't allowed to succeed at Fox News.

آن‌ها می‌گفتند که اجازه موفقیت در فاکس نیوز را ندارند.

He was ousted last year, but we've seen recently

او سال گذشته برکنار شد، اما اخیراً دیده شده

that the problems have persisted.

که مشکلات باقی مانده‌اند.

That begs the question:

این مسئله این سؤال را برمی‌انگیزد:

What should Fox News do to turn over another leaf?

فاکس نیوز باید چه کند تا بهبود یابد؟

Well, what if they replaced their hiring process

خب، چطور است فرایند استخدم را

with a machine-learning algorithm?

با یک الگوریتم یادگیری ماشین جایگزین کنیم؟

That sounds good, right?

به نظر خوب می‌آید، نه؟

Think about it.

به آن فکر کنید.

The data, what would the data be?

داده، داده‌ها چه خواهند بود؟

A reasonable choice would be the last 21 years of applications to Fox News.

یک انتخاب منطقی سابقه‌ درخواست‌های استخدام در ۲۱ سال گذشته‌ی فاکس نیوز است.

Reasonable.

منطقی است.

What about the definition of success?

تعریف موفقیت چطور؟

Reasonable choice would be,

یک انتخاب منطقی این است که،

well, who is successful at Fox News?

چه کسی در فاکس نیوز موفق است؟

I guess someone who, say, stayed there for four years

به نظرم کسی که مثلاً، چهار سال در آنجا مانده باشد

and was promoted at least once.

و حداقل یک بار ارتقاء گرفته باشد.

Sounds reasonable.

به نظرم منطقی است.

And then the algorithm would be trained.

سپس الگوریتم را آموزش می‌دهیم.

It would be trained to look for people to learn what led to success,

الگوریتم آموزش داده می‌شود که بگردد و بفهمد چه چیزی منجر به موفقیت شده است.

what kind of applications historically led to success

بر اساس این تعریف

که چه جور درخواست‌هایی در گذشته منجر به موفقیت شده‌اند؟

by that definition.

Now think about what would happen

حالا به این فکر کنید که اگر الگوریتم را

if we applied that to a current pool of applicants.

روی درخواست‌های فعلی اجرا کنیم چه خواهد شد؟

It would filter out women

زن‌ها حذف می‌شوند

because they do not look like people who were successful in the past.

چون شبیه افرادی که در گذشته موفق بوده‌اند به نظر نمی‌رسند.

Algorithms don't make things fair

الگوریتم‌ها چیزی را عادلانه نمی‌کنند

if you just blithely, blindly apply algorithms.

اگر آن‌ها را خوش‌بینانه و کورکورانه به کار ببرید.

They don't make things fair.

چیزی را عادلانه نمی‌کنند.

They repeat our past practices,

آن‌ها تجربیات و الگوهای گذشته‌ی ما را

our patterns.

تکرار می‌کنند.

They automate the status quo.

وضعیت موجود را خودکارسازی می‌کنند.

That would be great if we had a perfect world,

اگر دنیای ما بی‌نقص بود، این عالی بود،

but we don't.

اما این‌طور نیست.

And I'll add that most companies don't have embarrassing lawsuits,

و اضافه می‌کنم که اکثر شرکت‌ها دادخواست‌های شرم‌آوری ندارند،

but the data scientists in those companies

اما به دانشمندان داده در این شرکت‌ها

are told to follow the data,

گفته می‌شود که داده‌ها را دنبال کنند،

to focus on accuracy.

و روی دقت تمرکز کنند.

Think about what that means.

به این فکر کنید که این به چه معنی است.

Because we all have bias, it means they could be codifying sexism

چون ما همه تعصباتی داریم، یعنی ممکن است تبعیض جنسی

or any other kind of bigotry.

یا هر نوع تعصب دیگر را به کد تبدیل کنیم.

Thought experiment,

یک آزمایش فکری،

because I like them:

چون آن را دوست دارم:

an entirely segregated society --

یک جامعه کاملاً تفکیک‌شده --

racially segregated, all towns, all neighborhoods

تفکیک‌شده‌ی نژادی، در تمام شهرها، تمام محله‌ها

and where we send the police only to the minority neighborhoods

و پلیس‌ها را برای تشخیص جرم

فقط به محله‌ی اقلیت‌ها می‌فرستیم.

to look for crime.

The arrest data would be very biased.

داده‌های دستگیری‌ها خیلی تبعیض‌آمیز خواهد بود.

What if, on top of that, we found the data scientists

چه خوا هد شد اگر علاوه بر این، تعدادی دانشمند داده‌ بیابیم

and paid the data scientists to predict where the next crime would occur?

و به آن‌ها پول بدهیم تا محل وقوع جرایم بعدی را پیش‌بینی کنند؟

Minority neighborhood.

محله‌ی اقلیت‌ها.

Or to predict who the next criminal would be?

و یا پیش‌بینی کنند مجرمِ بعدی که خواهد بود؟

A minority.

یک [فردِ] اقلیت.

The data scientists would brag about how great and how accurate

دانشمندان داده به عظمت و دقتِ مدلِشان

their model would be,

افتخار خواهند کرد،

and they'd be right.

و حق دارند.

Now, reality isn't that drastic, but we do have severe segregations

آیا این جدی نیست؟ اما ما این تفکیک‌های شدید را

in many cities and towns,

در بسیاری شهرهای بزرگ و کوچک داریم،

and we have plenty of evidence

و شواهدی زیادی از تعصبات پلیسی

of biased policing and justice system data.

و داده‌های سیستم قضایی، در دست داریم.

And we actually do predict hotspots,

و در واقع نقاط کانونی را پیش‌بینی می‌کنیم،

places where crimes will occur.

مکان‌هایی که جرم در آن رخ خواهد داد.

And we do predict, in fact, the individual criminality,

در حقیقت، جنایتکاری فردی را پیش‌بینی می‌کنیم.

the criminality of individuals.

میزان جنایتکاری افراد را.

The news organization ProPublica recently looked into

سازمان خبری پروپابلیکا به یکی از الگوریتم‌های

one of those "recidivism risk" algorithms,

به ظاهر [تشخیص‌دهنده‌ی] «ریسک تکرار جرم»

as they're called,

نگاهی انداخته است.

being used in Florida during sentencing by judges.

که در فلوریدا حین صدور رأی قضات استفاده می‌شود.

Bernard, on the left, the black man, was scored a 10 out of 10.

برنابرد، در سمت چپ، مرد سیاه‌پوست، امتیاز ۱۰ از ۱۰ گرفته بود.

Dylan, on the right, 3 out of 10.

دیلان، در سمت راست، ۳ از ۱۰.

10 out of 10, high risk. 3 out of 10, low risk.

۱۰ از ۱۰، ریسک زیاد. ۳ از ۱۰، ریسک کم.

They were both brought in for drug possession.

هر دوی آن‌ها به خاطر حمل مواد مخدر دستگیر شده بودند.

They both had records,

هر دوی آن‌ها سابقه‌دار بودند،

but Dylan had a felony

اما دیلان سابقه‌ی تبه‌کاری داشت

but Bernard didn't.

ولی برنارد نداشت.

This matters, because the higher score you are,

این مسئله به این خاطر اهمیت دارد که هر چه امتیاز شما بالاتر باشد،

the more likely you're being given a longer sentence.

احتمال این‌که محکومیت طولانی‌تری بگیرید افزایش می‌یابد.

What's going on?

قضیه چیست؟

Data laundering.

داده‌شویی.

It's a process by which technologists hide ugly truths

فرایندی که طی آن فناوری‌گرایان حقایق زشت را در جعبه‌های سیاه

inside black box algorithms

پنهان می‌کنند.

and call them objective;

و آن را «عینی» می‌خوانند؛

call them meritocratic.

آن‌را «شایسته‌سالاری» خطاب می‌کنند.

When they're secret, important and destructive,

در حالی که این الگوریتم‌ها مخفی، مهم و ویران‌گر هستند،

I've coined a term for these algorithms:

من برای آن‌ها نامی در نظر گرفته‌ام:

"weapons of math destruction."

«سلاح کشتار ریاضی.»

(Laughter)

(خنده حضار)

(Applause)

(تشویق حضار)

They're everywhere, and it's not a mistake.

این‌ها همه جا هستند، و این یک اشتباه نیست.

These are private companies building private algorithms

این شرکت‌های خصوصی الگوریتم‌هایی خصوصی

for private ends.

برای اهداف شخصی می‌سازند.

Even the ones I talked about for teachers and the public police,

حتی همان‌هایی که درباره‌شان صحبت کردم برای معلمان و پلیس عمومی،

those were built by private companies

آن‌ها هم توسط شرکت‌های خصوصی ساخته شده بودند

and sold to the government institutions.

و به مؤسسات دولتی فروخته شده بودند.

They call it their "secret sauce" --

به آن «سس مخصوص» خودشان می‌گویند

that's why they can't tell us about it.

برای همین نمی‌توانند درباره‌ی آن به ما توضیح دهند.

It's also private power.

قدرت خصوصی هم هست.

They are profiting for wielding the authority of the inscrutable.

آن‌ها به خاطر داشتن حق محرمانگی سود می‌برند.

Now you might think, since all this stuff is private

ممکن است فکر کنید، چون این چیزها خصوصی هستند

and there's competition,

و رقابت وجود دارد،

maybe the free market will solve this problem.

شاید بازار آزاد این مسئله را حل کند.

It won't.

این‌طور نخواهد شد.

There's a lot of money to be made in unfairness.

پول زیادی از بی‌عدالتی به دست می‌آید.

Also, we're not economic rational agents.

علاوه بر این، ما عامل‌های اقتصادیِ منطقی‌ای نیستیم.

We all are biased.

همه‌ی ما تعصباتی داریم.

We're all racist and bigoted in ways that we wish we weren't,

ما همه نژادپرست و متعصبیم به طرقی که دوست داشتیم نباشیم،

in ways that we don't even know.

به طرقی که حتی نمی‌دانیم.

We know this, though, in aggregate,

هر چند در مجموع این را می‌دانیم

because sociologists have consistently demonstrated this

چون جامعه‌شناسان مدام این را با آزمایش‌هایی که می‌کنند،

with these experiments they build,

ثابت کرده‌اند.

where they send a bunch of applications to jobs out,

آن‌ها تعدادی درخواست استخدام را ارسال می‌کنند

equally qualified but some have white-sounding names

که به یک اندازه واجد شرایطند اما برخی نام‌های سفیدپوستی

and some have black-sounding names,

و برخی نام‌های سیاه‌پوستی دارند،

and it's always disappointing, the results -- always.

و نتیجه همواره ناامیدکننده است، همیشه.

So we are the ones that are biased,

بنابراین این ما هستیم که تعصب داریم،

and we are injecting those biases into the algorithms

و این تعصبات را با داده‌هایی که جمع‌آوری می‌کنیم

by choosing what data to collect,

به الگوریتم‌ها تزریق می‌کنیم.

like I chose not to think about ramen noodles --

مثلاً من تصمیمی گرفتم به ریمن نودل فکر نکنم

I decided it was irrelevant.

به نظرم نامربوط بود.

But by trusting the data that's actually picking up on past practices

اما با اعتماد به داده‌هایی که از تجربیات گذشته یاد می‌گیرند

and by choosing the definition of success,

و با انتخاب تعریف موفقیت،

how can we expect the algorithms to emerge unscathed?

چطور می‌توانیم از الگوریتم‌ها انتظار داشته باشیم جان سالم به در ببرند؟

We can't. We have to check them.

نمی‌توانیم. باید آن‌ها را بررسی کنیم.

We have to check them for fairness.

باید عدالت را در آن‌ها بررسی کنیم.

The good news is, we can check them for fairness.

خبر خوب این‌که، می‌توانیم عدالت را در آنان بررسی کنیم.

Algorithms can be interrogated,

می‌توان الگوریتم‌ها را بازجویی کرد.

and they will tell us the truth every time.

و آن‌ها هر بار به ما حقیقت را خواهند گفت.

And we can fix them. We can make them better.

و می‌توانیم آن‌ها را درست کنیم. می‌توانیم آن‌ها را بهتر کنیم.

I call this an algorithmic audit,

من به این حساب‌رسی الگوریتمی می‌گویم،

and I'll walk you through it.

و آن را به شما توضیح می‌دهم.

First, data integrity check.

نخست، بررسی درستی داده‌ها.

For the recidivism risk algorithm I talked about,

برای الگوریتم ریسک تکرار جنایت که درباره‌اش صحبت کردم،

a data integrity check would mean we'd have to come to terms with the fact

بررسی درستی داده به این معنی است که باید با این حقیقت کنار بیاییم

that in the US, whites and blacks smoke pot at the same rate

که در ایالات متحده، سیاه‌پوستان و سفیدپوستان به میزان یکسانی گُل می‌کشند

but blacks are far more likely to be arrested --

اما سیاه‌پوستان به مراتب بیشتر دستگیر می‌شوند

four or five times more likely, depending on the area.

چهار تا پنچ برابر بیشتر وابسته به منطقه.

What is that bias looking like in other crime categories,

این تعصب در سایر رده‌های جرم چطور است،

and how do we account for it?

و چطور آن را در نظر بگیریم؟

Second, we should think about the definition of success,

دوم، باید درباره‌ی تعریف موفقیت فکر کنیم،

audit that.

آن را حسابرسی کنیم.

Remember -- with the hiring algorithm? We talked about it.

الگوریتم استخدام را به خاطر دارید؟ درباره‌ی آن صحبت کردیم.

Someone who stays for four years and is promoted once?

فردی که چهارسال بماند و یک بار ارتقاء گرفته باشد؟

Well, that is a successful employee,

خب، این یک کارمند موفق است.

but it's also an employee that is supported by their culture.

اما علاوه بر این کارمندی است که در فرهنگش مورد حمایت قرار گرفته است.

That said, also it can be quite biased.

بنابراین، آن هم می‌تواند متعصبانه باشد.

We need to separate those two things.

باید این دو را از هم جدا کنیم.

We should look to the blind orchestra audition

برای مثال باید

به مصاحبه‌ی ارکستر ناپیدا بنگریم.

as an example.

That's where the people auditioning are behind a sheet.

در این مصاحبه افراد مصاحبه‌گر در پسِ یک پرده هستند.

What I want to think about there

آن‌چه می‌خواهم به آن فکر کنم

is the people who are listening have decided what's important

این است که افرادی که گوش می‌دهند متوجه شده‌اند چه چیزی مهم است

and they've decided what's not important,

و چه چیزی مهم نیست،

and they're not getting distracted by that.

و به خاطر آن حواس‌شان پرت نمی‌شود.

When the blind orchestra auditions started,

زمانی که مصاحبه‌ی ارکستر ناپیدا شروع شد،

the number of women in orchestras went up by a factor of five.

تعداد زنان در ارکسترها پنچ برابر شد.

Next, we have to consider accuracy.

سپس، باید دقت را در نظر بگیریم.

This is where the value-added model for teachers would fail immediately.

اینجاست که مدل ارزش افزوده برای معلمان بلافاصله در هم می‌شکند.

No algorithm is perfect, of course,

البته هیچ الگوریتمی بی‌نقص نیست،

so we have to consider the errors of every algorithm.

بنابراین باید خطای تمام الگوریتم‌ها را در نظر بگیریم.

How often are there errors, and for whom does this model fail?

این خطاها تا چه حد پر تکرارند، و این مدل برای چه کسانی بد عمل می‌کند؟

What is the cost of that failure?

هزینه‌ی این خطا چقدر است؟

And finally, we have to consider

و در نهایت، باید

the long-term effects of algorithms,

آثار بلند مدت الگوریتم‌ها را در نظر بگیریم.

the feedback loops that are engendering.

حلقه‌های بازخوردی که تشدید کننده‌اند.

That sounds abstract,

به نظر انتزاعی می‌رسد،

but imagine if Facebook engineers had considered that

اما تصور کنید اگر مهندسان فیسبوک پیش از آن‌که تصمیم بگیرند

before they decided to show us only things that our friends had posted.

فقط چیزهایی را به ما نشان بدهند که دوستانمان فرستاده‌اند،

این مسئله را در نظر نگرفته بودند.

I have two more messages, one for the data scientists out there.

دو پیام دیگر هم دارم، یکی برای دانشمندان داده.

Data scientists: we should not be the arbiters of truth.

دانشمندان داده: ما نباید داوران حقیقت باشیم.

We should be translators of ethical discussions that happen

ما باید مترجمان گفتگوهای اخلاقی باشیم

که در جامعه‌ی بزرگتر رخ می‌دهد.

in larger society.

(Applause)

(تشویق حضار)

And the rest of you,

و بقیه‌ی شما،

the non-data scientists:

کسانی که دانشمند داده نیستند:

this is not a math test.

این یک امتحان ریاضی نیست.

This is a political fight.

این یک جنگ سیاسی است.

We need to demand accountability for our algorithmic overlords.

ما باید مسئولیت‌پذیری را از اربابانِ الگوریتمی‌مان مطالبه کنیم.

(Applause)

(تشویق حضار)

The era of blind faith in big data must end.

عصر ایمان کورکورانه به داده‌های عظیم باید پایان بیابد.

Thank you very much.

خیلی متشکرم.

(Applause)

(تشویق حضار)