The era of blind faith in big data must end | Cathy O'Neil

Reviewer: Nguyen Minh

Thuật toán hiện diện ở mọi nơi.

Chúng sắp xếp và phân biệt người thắng kẻ thua.

Người thắng có được công việc

Algorithms are everywhere.

hay gói tín dụng ưu đãi.

They sort and separate the winners from the losers.

Kẻ thua thậm chí không được phỏng vấn

The winners get the job

hoặc trả nhiều tiền bảo hiểm hơn.

Chúng ta bị đánh giá bởi các công thức bí mật mà ta không hiểu

or a good credit card offer.

The losers don't even get an interview

và thường không có hệ thống kháng cáo.

or they pay more for insurance.

We're being scored with secret formulas that we don't understand

Điều đó đặt ra câu hỏi:

Điều gì sẽ xảy ra nếu thuật toán bị sai?

that often don't have systems of appeal.

Để tạo ra thuật toán, bạn cần hai thứ:

dữ liệu, cái đã xảy ra trong quá khứ,

That begs the question:

What if the algorithms are wrong?

và định nghĩa về thành công,

cái bạn đang tìm kiếm và thường muốn có.

To build an algorithm you need two things:

Bạn huấn luyện một thuật toán qua tính toán.

you need data, what happened in the past,

and a definition of success,

Thuật toán tính toán cái gì liên quan tới thành công.

the thing you're looking for and often hoping for.

You train an algorithm by looking, figuring out.

Trường hợp nào dẫn đến thành công?

Thật ra, mọi người đều sử dụng thuật toán.

The algorithm figures out what is associated with success.

Họ chỉ không chính thức hóa chúng bằng các câu lệnh.

Để tôi cho bạn một ví dụ.

What situation leads to success?

Tôi dùng thuật toán mỗi ngày để nấu bữa cho gia đình.

Actually, everyone uses algorithms.

Dữ liệu tôi sử dụng

They just don't formalize them in written code.

là nguyên liệu trong nhà bếp,

Let me give you an example.

thời gian tôi có,

I use an algorithm every day to make a meal for my family.

tham vọng tôi có,

và tôi sắp xếp những dữ liệu đó.

The data I use

Tôi không xem mấy gói mì ramen be bé là thức ăn.

is the ingredients in my kitchen,

the time I have,

(Cười)

the ambition I have,

and I curate that data.

Định nghĩa thành công của tôi là:

I don't count those little packages of ramen noodles as food.

một bữa ăn là thành công nếu con tôi ăn rau.

Nhưng nếu con trai út tôi nấu bữa thì sẽ khác.

(Laughter)

My definition of success is:

Nó sẽ nói thành công là khi nó được ăn nhiều Nutella.

a meal is successful if my kids eat vegetables.

Nhưng tôi được chọn thành công.

It's very different from if my youngest son were in charge.

Tôi nấu. Ý kiến của tôi có trọng lượng.

He'd say success is if he gets to eat lots of Nutella.

Đó là quy tắc đầu tiên của thuật toán.

But I get to choose success.

Thuật toán là ý kiến nhúng trong câu lệnh.

I am in charge. My opinion matters.

That's the first rule of algorithms.

Nó rất khác với suy nghĩ của hầu hết mọi người về thuật toán.

Algorithms are opinions embedded in code.

Họ nghĩ thuật toán khách quan, chính xác và khoa học.

It's really different from what you think most people think of algorithms.

Đó là một chiêu tiếp thị.

Và cũng là chiêu tiếp thị

They think algorithms are objective and true and scientific.

để đe dọa bạn bằng những thuật toán,

That's a marketing trick.

để làm bạn tin và sợ thuật toán

It's also a marketing trick

bởi vì bạn tin và sợ toán học.

to intimidate you with algorithms,

Nhiều vấn đề có thể xảy ra nếu ta đặt niềm tin mù quáng vào dữ liệu lớn.

to make you trust and fear algorithms

because you trust and fear mathematics.

Đây là Kiri Soares. Cô là hiệu trưởng Trung học Brooklyn.

A lot can go wrong when we put blind faith in big data.

Năm 2011, cô kể với tôi giáo viên của cô bị chấm điểm

bằng một thuật toán bí mật, phức tạp

This is Kiri Soares. She's a high school principal in Brooklyn.

có tên là "mô hình giá trị gia tăng".

In 2011, she told me her teachers were being scored

Tôi bảo “Cứ tìm ra công thức rồi cho tôi xem.

with a complex, secret algorithm

Tôi sẽ giải thích cho cô."

Cô nói “Ồ, tôi đã cố gắng tìm ra công thức,

called the "value-added model."

nhưng người của tôi bên Sở Giáo dục nói đó là toán học

I told her, "Well, figure out what the formula is, show it to me.

và tôi sẽ không hiểu đâu".

I'm going to explain it to you."

Mọi chuyện tệ hơn.

She said, "Well, I tried to get the formula,

Báo New York Post đã đệ đơn yêu cầu Đạo luật Tự do Thông tin,

but my Department of Education contact told me it was math

and I wouldn't understand it."

lấy được tên và điểm số của tất cả giáo viên

và rồi cho đăng lên báo để chê bai giáo viên.

It gets worse.

The New York Post filed a Freedom of Information Act request,

Khi tôi cố lấy công thức, mã nguồn, bằng hình thức tương tự,

got all the teachers' names and all their scores

and they published them as an act of teacher-shaming.

họ bảo tôi không thể.

Tôi bị từ chối.

Sau đó tôi phát hiện

When I tried to get the formulas, the source code, through the same means,

không ai ở thành phố New York có quyền truy cập công thức đó.

I was told I couldn't.

Không một ai hiểu được nó.

I was denied.

Rồi một người rất thông minh nhập cuộc, Gaby Rubinstein.

I later found out

that nobody in New York City had access to that formula.

Ông ấy tìm ra 665 giáo viên từ dữ liệu của New York Post

No one understood it.

mà họ đều có hai điểm.

Then someone really smart got involved, Gary Rubinstein.

Điều này xảy ra nếu họ đang dạy

He found 665 teachers from that New York Post data

môn toán lớp 7 hoặc lớp 8.

Ông ấy quyết định vẽ biểu đồ.

that actually had two scores.

Với mỗi dấu chấm đại diện cho một người.

That could happen if they were teaching

(Cười)

seventh grade math and eighth grade math.

Cái quái gì vậy?

He decided to plot them.

(Cười)

Chẳng nên dùng nó để đánh giá cá nhân.

Each dot represents a teacher.

(Laughter)

Nó gần hư là một bộ tạo số ngẫu nhiên.

What is that?

(Vỗ tay)

(Laughter)

That should never have been used for individual assessment.

Nhưng đúng là thế thật.

Đây là Sarah Wysocki.

Cô ấy bị sa thải, cùng 205 thầy cô khác,

It's almost a random number generator.

khỏi trường quận Washington, DC,

(Applause)

kể cả khi cô ấy được hiệu trưởng

But it was.

This is Sarah Wysocki.

She got fired, along with 205 other teachers,

và phụ huynh đánh giá cao.

Tôi biết nhiều người đang nghĩ gì.

from the Washington, DC school district,

nhất là các chuyên gia dữ liệu, và trí thông minh nhân tạo.

even though she had great recommendations from her principal

Bạn đang nghĩ rằng, “Ồ, tôi không bao giờ tạo ra một thuật toán không phù hợp.”

and the parents of her kids.

I know what a lot of you guys are thinking,

Nhưng thuật toán có thể sai,

especially the data scientists, the AI experts here.

thậm chí tạo ra hậu quả nghiêm trọng dù có ý định ban đầu tốt đẹp.

You're thinking, "Well, I would never make an algorithm that inconsistent."

But algorithms can go wrong,

Nếu như một chiếc máy bay với thiết kế tồi

even have deeply destructive effects with good intentions.

lao xuống đất thì ai cũng rõ nguyên nhân,

nhưng một thuật toán được thiết kế tồi

có thể tồn tại rất lâu về sau, và lặng lẽ tàn phá.

And whereas an airplane that's designed badly

crashes to the earth and everyone sees it,

an algorithm designed badly

Đây là Roger Ailes.

(Cười)

can go on for a long time, silently wreaking havoc.

Ông thành lập Fox News năm 1996.

Hơn 20 phụ nữ than phiền về việc bị quấy rối tình dục.

This is Roger Ailes.

(Laughter)

Rằng họ không được cho phép để thành công tại Fox News.

He founded Fox News in 1996.

Ông ta bị lật đổ năm ngoái, nhưng gần đây ta vẫn thấy rằng

More than 20 women complained about sexual harassment.

vấn đề đó vẫn chưa biến mất.

They said they weren't allowed to succeed at Fox News.

Điều này đặt ra câu hỏi:

Liệu Fox News sẽ làm gì để cải thiện điều này?

He was ousted last year, but we've seen recently

that the problems have persisted.

Sẽ thế nào nếu họ thay thế quy trình tuyển dụng

That begs the question:

với một thuật toán từ học máy?

What should Fox News do to turn over another leaf?

Nghe có vẻ hay, nhỉ?

Nghĩ về điều đó nào.

Dữ liệu, chúng sẽ như thế nào?

Well, what if they replaced their hiring process

Sự lựa chọn hợp lý sẽ là đơn ứng tuyển trong suốt 21 năm qua của Fox News.

with a machine-learning algorithm?

That sounds good, right?

Think about it.

Hợp lý.

The data, what would the data be?

Vậy còn định nghĩa về thành công?

A reasonable choice would be the last 21 years of applications to Fox News.

Sự lựa chọn hợp lý sẽ là,

người thành công ở Fox News?

Tôi sẽ là đoán rằng ai đó, người đã làm việc được 3 đến 4 năm

Reasonable.

What about the definition of success?

và có ít nhất một lần thăng chức.

Reasonable choice would be,

Nghe có vẻ hợp lý.

well, who is successful at Fox News?

Và rồi thuật toán được huấn luyện.

I guess someone who, say, stayed there for four years

Nó sẽ được luyện để tìm những ứng viên, học được điều gì mang lại thành công,

and was promoted at least once.

Sounds reasonable.

loại ứng viên nào thường thành công

And then the algorithm would be trained.

It would be trained to look for people to learn what led to success,

theo định nghĩa được nêu.

Giờ hãy nghĩ về điều sẽ xảy ra

what kind of applications historically led to success

nếu ta áp dụng nó cho những ứng viên hiện tại.

Thuật toán sẽ loại bỏ phụ nữ

by that definition.

bởi vì họ không giống những người thành công trong quá khứ.

Now think about what would happen

if we applied that to a current pool of applicants.

It would filter out women

because they do not look like people who were successful in the past.

Thuật toán không làm mọi thứ trở nên công bằng

nếu bạn chỉ chăm chăm, mù quáng áp dụng thuật toán.

Nó không sự tạo công bằng cho mọi thứ.

Nó chỉ lặp lại việc ta đã làm,

Algorithms don't make things fair

những khuôn mẫu của ta.

Nó tự động hóa các sự rập khuôn hiện tại.

if you just blithely, blindly apply algorithms.

They don't make things fair.

Điều đó thật tuyệt nếu ta có một thế giới hoàn hảo,

They repeat our past practices,

nhưng thế giới không vậy.

our patterns.

Và tôi nói thêm rằng hầu hết công ty không có các vụ kiện đáng xấu hổ,

They automate the status quo.

That would be great if we had a perfect world,

nhưng chuyên gia dữ liệu của họ

but we don't.

thì được bảo rằng phải đi theo dữ liệu,

And I'll add that most companies don't have embarrassing lawsuits,

để tập trung vào sự chính xác.

Thử nghĩ xem nó nghĩa là gì.

but the data scientists in those companies

Vì ta đều có thành kiến, nghĩa là thuật toán có thể mã hoá

are told to follow the data,

to focus on accuracy.

sự phân biệt giới tính hay bất cứ sự phân biệt nào.

Think about what that means.

Because we all have bias, it means they could be codifying sexism

Thử nghiệm suy nghĩ,

bởi vì tôi thích chúng:

or any other kind of bigotry.

một xã hội hoàn toàn chia rẽ--

Thought experiment,

phân chia sắc tộc, tất cả thị trấn, tất cả khu dân cư

because I like them:

an entirely segregated society --

và khi ta chỉ đưa cảnh sát đến những khu dân cư thiểu số

để tìm kiếm tội phạm.

Dữ liệu về các vụ bắt giữ sẽ rất sai lệch.

racially segregated, all towns, all neighborhoods

and where we send the police only to the minority neighborhoods

Sẽ ra sao nếu ta nhờ đến các nhà khoa học dữ liệu

và trả tiền để họ dự đoán vụ phạm tội tiếp theo sẽ xảy ra ở đâu?

to look for crime.

The arrest data would be very biased.

Khu dân cư thiểu số.

What if, on top of that, we found the data scientists

Hay dự đoán người phạm tội tiếp theo là ai?

and paid the data scientists to predict where the next crime would occur?

Một người thiểu số.

Minority neighborhood.

Các nhà khoa học dữ liệu sẽ khoe khoang về sự chính xác và ưu việt

Or to predict who the next criminal would be?

của mô hình của họ,

A minority.

và họ có thể đúng.

The data scientists would brag about how great and how accurate

Hiện thực không tàn khốc đến vậy nhưng ta vẫn có chia rẽ sâu sắc

their model would be,

ở nhiều thành phố và thị trấn,

and they'd be right.

và chúng ta cũng có nhiều bằng chứng

Now, reality isn't that drastic, but we do have severe segregations

về dữ liệu thiên vị trong hệ thống cảnh sát và luật pháp.

Và chúng ta thật sự dự đoán các điểm nóng,

in many cities and towns,

and we have plenty of evidence

các nơi tội ác sẽ diễn ra.

of biased policing and justice system data.

Thực tế, ta dự đoán được khả năng phạm tội cá thể,

And we actually do predict hotspots,

khả năng phạm tội của mỗi người.

places where crimes will occur.

Tổ chức thông tin ProPublica gần đây điều tra

And we do predict, in fact, the individual criminality,

các thuật toán "nguy cơ tái phạm",

the criminality of individuals.

như cách chúng được gọi,

được sử dụng ở Florida khi thẩm phán phán quyết.

The news organization ProPublica recently looked into

Bernard, ở bên trái, một người da đen, được chấm 10 trên 10.

one of those "recidivism risk" algorithms,

as they're called,

being used in Florida during sentencing by judges.

Dylan, bên phải, 3 trên 10.

10 trên 10, nguy cơ cao. 3 trên 10, nguy cơ thấp.

Bernard, on the left, the black man, was scored a 10 out of 10.

Họ đều bị bắt vì tàn trữ thuốc phiện.

Dylan, on the right, 3 out of 10.

Họ đều có tiền án,

nhưng Dylan có một trọng tội

10 out of 10, high risk. 3 out of 10, low risk.

nhưng Bernard thì không.

They were both brought in for drug possession.

Điều này quan trọng, vì điểm bạn càng cao,

They both had records,

but Dylan had a felony

bạn có nguy cơ phải ở tù lâu hơn.

but Bernard didn't.

This matters, because the higher score you are,

Điều gì đang xảy ra vậy?

the more likely you're being given a longer sentence.

Rửa dữ liệu.

Đây là quá trình mà các kỹ thuật viên che dấu sự thật xấu xa

What's going on?

đằng sau chiếc hộp đen thuật toán

Data laundering.

và gọi nó là khách quan;

It's a process by which technologists hide ugly truths

và gọi nó là trọng tài năng.

Khi nó bí ẩn, quan trọng và tàn phá,

inside black box algorithms

and call them objective;

tôi đặt ra một thuật ngữ cho các thuật toán này:

call them meritocratic.

"vũ khí toán học huỷ diệt."

(Cười)

When they're secret, important and destructive,

(Vỗ tay)

I've coined a term for these algorithms:

Chúng ở khắp mọi nơi và đó là sự thật.

"weapons of math destruction."

(Laughter)

Đó là các công ty tư tạo ra các thuật toán bí ẩn

(Applause)

cho những mục đích riêng tư.

They're everywhere, and it's not a mistake.

Kể cả thuật toán tôi đề cập cho giáo viên và cảnh sát,

These are private companies building private algorithms

chúng được tạo ra bởi các công ty tư

và bán cho các tổ chức chính phủ.

for private ends.

Họ gọi đó là "công thức bí mật" --

Even the ones I talked about for teachers and the public police,

và đó là lý do họ không nói cho chúng ta.

those were built by private companies

Nó cũng là quyền lực bí mật.

and sold to the government institutions.

Họ kiếm tiền bằng cách sử dụng sức mạnh của sự bí mật.

They call it their "secret sauce" --

that's why they can't tell us about it.

It's also private power.

Giờ bạn nghĩ là, vì những thứ này là riêng tư

They are profiting for wielding the authority of the inscrutable.

và có sự cạnh tranh,

nền kinh tế tự do có thể giải quyết vấn đề này.

Điều đó sẽ không xảy ra.

Now you might think, since all this stuff is private

Rất nhiều tiền được kiếm nhờ sự thiếu công bằng.

and there's competition,

Hơn nữa, ta chẳng phải là các nhân tố kinh tế thuần lý trí

maybe the free market will solve this problem.

It won't.

There's a lot of money to be made in unfairness.

Chúng ta đều thiên vị.

Chúng ta đều phân biệt và thù ghét theo cách mà chúng ta không mong muốn,

Also, we're not economic rational agents.

và theo cách chúng ta còn không biết.

We all are biased.

Tuy nhiên, chúng ta đều biết điều này,

We're all racist and bigoted in ways that we wish we weren't,

vì các nhà xã hội đã liên tục chứng minh điều này

in ways that we don't even know.

với những thí nghiệm họ tạo nên,

khi họ gửi nhiều đơn xin việc ra,

We know this, though, in aggregate,

bằng cấp như nhau nhưng một số mang tên như người da trắng

because sociologists have consistently demonstrated this

và vài cái tên như người da đen,

with these experiments they build,

và kết quả luôn luôn thất vọng -- luôn luôn.

where they send a bunch of applications to jobs out,

equally qualified but some have white-sounding names

Thế nên ta chính là người thiên vị,

chúng ta đưa sự thiên vị này vào thuật toán

and some have black-sounding names,

and it's always disappointing, the results -- always.

bằng cách chọn dữ liệu nào để thu thập,

như tôi chọn không suy nghĩ về mì ramen --

So we are the ones that are biased,

Tôi quyết định nó không liên quan.

and we are injecting those biases into the algorithms

Nhưng tin vào những số liệu được thu thập từ quá khứ

by choosing what data to collect,

like I chose not to think about ramen noodles --

và chọn định nghĩa thành công,

I decided it was irrelevant.

But by trusting the data that's actually picking up on past practices

làm sao chúng ta hi vọng thuật toán sẽ hoàn toàn công bằng?

Chúng ta không thể. Chúng ta phải kiểm tra chúng.

and by choosing the definition of success,

Chúng ta phải kiểm tra để công bằng.

how can we expect the algorithms to emerge unscathed?

Và tin tốt là chúng ta có thể làm điều đó.

We can't. We have to check them.

Thuật toán có thể bị chất vấn,

We have to check them for fairness.

và chúng sẽ luôn nói sự thật.

The good news is, we can check them for fairness.

Và chúng ta có thể sửa và khiến chúng tốt hơn.

Algorithms can be interrogated,

Tôi gọi đó là thanh tra thuật toán,

và tôi sẽ chỉ cho bạn.

and they will tell us the truth every time.

Đầu tiên, kiểm tra toàn vẹn dữ liệu.

And we can fix them. We can make them better.

Với thuật toán nguy cơ tái phạm tôi đã đề cập,

I call this an algorithmic audit,

and I'll walk you through it.

kiểm tra toàn vẹn dữ liệu có nghĩa là chúng ta phải chấp nhận rằng

First, data integrity check.

ở Mỹ, người da đen và da trắng đều hút cần như nhau

For the recidivism risk algorithm I talked about,

nhưng người da đen có khả năng bị bắt cao hơn --

a data integrity check would mean we'd have to come to terms with the fact

bốn hay năm lần, tuỳ khu vực.

that in the US, whites and blacks smoke pot at the same rate

Sự thiên vị đó ở các loại tội phạm khác biểu hiện thế nào,

but blacks are far more likely to be arrested --

và chúng ta giải thích chúng ra sao?

four or five times more likely, depending on the area.

Thứ hai, chúng ta nên nghĩ về định nghĩa thành công,

kiểm tra nó.

What is that bias looking like in other crime categories,

Hãy nhớ lại về thuật toán tuyển nhân sự.

and how do we account for it?

Người làm bốn năm và được lên chức một lần?

Second, we should think about the definition of success,

Đó là nhân viên thành công,

audit that.

nhưng đó cũng là nhân viên được cổ vũ bởi nền văn hoá của họ.

Remember -- with the hiring algorithm? We talked about it.

Someone who stays for four years and is promoted once?

Điều đó cũng khá thiên vị.

Chúng ta cần phân biệt hai điều.

Well, that is a successful employee,

ta nên xem các buổi thử giọng mù

but it's also an employee that is supported by their culture.

như một ví dụ.

That said, also it can be quite biased.

Đó là khi người thử giọng ở phía sau tấm rèm.

We need to separate those two things.

Điều tôi muốn là

We should look to the blind orchestra audition

người nghe và quyết định điều gì quan trọng

as an example.

That's where the people auditioning are behind a sheet.

và không quan trọng,

và họ không bị phân tâm bởi điều đó.

What I want to think about there

is the people who are listening have decided what's important

Khi buổi thử giọng mù bắt đầu,

số phụ nữ trong dàn nhạc tăng lên gấp năm lần.

and they've decided what's not important,

and they're not getting distracted by that.

Tiếp theo, ta cần xem xét độ chính xác.

When the blind orchestra auditions started,

Đây là lúc mô hình giá trị gia tăng về giáo viên lập tức thất bại.

the number of women in orchestras went up by a factor of five.

Không thuật toán nào là hoàn hảo,

Next, we have to consider accuracy.

thế nên chúng ta cần quan tâm về sai sót của mỗi thuật toán.

This is where the value-added model for teachers would fail immediately.

Các sai sót có thường xuyên không, và với đối tượng nào thì mô hình sẽ thất bại?

No algorithm is perfect, of course,

so we have to consider the errors of every algorithm.

Hậu quả của thất bại là gì?

Và cuối cùng, chúng ta cần quan tâm

How often are there errors, and for whom does this model fail?

ảnh hưởng lâu dài của thuật toán,

What is the cost of that failure?

các vòng phản hồi liên tục.

And finally, we have to consider

Điều đó khá trừu tượng,

nhưng tưởng tượng nếu nhân viên Facebook quan tâm điều đó

the long-term effects of algorithms,

trước khi họ quyết định chỉ cho ta thấy những thứ mà bạn bè chúng ta đăng.

the feedback loops that are engendering.

That sounds abstract,

but imagine if Facebook engineers had considered that

Tôi có hai thông điệp nữa, một cho các nhà khoa học dữ liệu.

before they decided to show us only things that our friends had posted.

Các nhà khoa học dữ liệu: chúng ta không nên là trọng tài sự thật.

I have two more messages, one for the data scientists out there.

Chúng ta nên là thông dịch viên cho những thảo luận về đạo đức

trong xã hội ngày nay.

Data scientists: we should not be the arbiters of truth.

(Vỗ tay)

We should be translators of ethical discussions that happen

Và người còn lại,

không phải là nhà khoa học dữ liệu:

đây không phải là bài kiểm tra toán.

in larger society.

(Applause)

Đây là cuộc chiến chính trị.

And the rest of you,

Ta cần yêu cầu giải trình về các thuật toán tối cao.

the non-data scientists:

this is not a math test.

This is a political fight.

(Vỗ tay)

Thời đại của niềm tin mù quáng vào dữ liệu lớn cần dừng lại.

We need to demand accountability for our algorithmic overlords.

Xin cảm ơn rất nhiều.

(Vỗ tay)

(Applause)

The era of blind faith in big data must end.

Thank you very much.

(Applause)