The method that can "prove" almost anything - James A. Smith

Translator: Nhung Nguyễn Reviewer: Ngoc Nguyen

In 2011, a group of researchers conducted a scientific study

Vào năm 2011, một nhóm các nhà khoa học thực hiện một nghiên cứu

to find an impossible result:

để chứng minh một điều không tưởng:

that listening to certain songs can make you younger.

một vài bài hát có thể khiến bạn trẻ hơn.

Their study involved real people, truthfully reported data,

Nghiên cứu có sự tham gia của người thật, số liệu khách quan,

and commonplace statistical analyses.

dùng các phân tích thống kê phổ biến.

So how did they do it?

Họ đã làm thế nào?

The answer lies in a statistical method scientists often use

Đáp án nằm trong phương pháp thống kê các nhà khoa học thường dùng

to try to figure out whether their results mean something or if they’re random noise.

để kiểm tra kết quả có ý nghĩa gì không hay chỉ là những giá trị ngẫu nhiên.

In fact, the whole point of the music study

Trên thực tế, mục đích của nghiên cứu này

was to point out ways this method can be misused.

để chỉ ra phương pháp trên có thể bị dùng sai.

A famous thought experiment explains the method:

Thí nghiệm tưởng tượng nổi tiếng sau giải thích nguyên tắc hoạt động của nó:

there are eight cups of tea,

có tám tách trà sữa,

four with the milk added first, and four with the tea added first.

4 tách cho sữa vào trước, 4 tách cho trà vào trước.

A participant must determine which are which according to taste.

Người tham gia thí nghiệm dựa vào hương vị phân biệt cách pha.

There are 70 different ways the cups can be sorted into two groups of four,

Có 70 cách chia trà sữa hai nhóm, mỗi nhóm bốn tách

and only one is correct.

nhưng chỉ có một cách phân loại đúng.

So, can she taste the difference?

Có thể nếm được chăng?

That’s our research question.

Đó là câu hỏi được nghiên cứu.

To analyze her choices, we define what’s called a null hypothesis:

Để phân tích các lựa chọn, cần định nghĩa “giả thuyết không”:

that she can’t distinguish the teas.

tức là không thể nếm được sự khác biệt.

If she can’t distinguish the teas,

Nếu không nếm được vị,

she’ll still get the right answer 1 in 70 times by chance.

xếp ngẫu nhiên, khả năng phân loại đúng sẽ là 1/70.

1 in 70 is roughly .014.

1/70 là khoảng 0.014.

That single number is called a p-value.

Con số này được gọi là trị số P.

In many fields, a p-value of .05 or below is considered statistically significant,

trong nhiều lĩnh vực, trị số P bé hơn hoặc bằng 0.05

thì ta xem kết quả nghiên cứu đó có ý nghĩa thống kê,

meaning there’s enough evidence to reject the null hypothesis.

nghĩa là có đủ bằng chứng để bác bỏ giả thuyết không.

Based on a p-value of .014,

Do trị số P bằng 0.014,

they’d rule out the null hypothesis that she can’t distinguish the teas.

giả thuyết không thể nếm được bị loại trừ.

Though p-values are commonly used by both researchers and journals

Dù trị số P thường được các nhà khoa học và tập san sử dụng

to evaluate scientific results,

để đánh giá kết quả nghiên cứu,

they’re really confusing, even for many scientists.

nhưng chúng cũng khá rối, kể cả đối với nhiều nhà khoa học.

That’s partly because all a p-value actually tells us

Một phần là vì trị số P thật ra cho biết

is the probability of getting a certain result,

xác suất nhận được một kết quả nhất định,

assuming the null hypothesis is true.

giả sử giả thuyết không đúng.

So if she correctly sorts the teas,

Nếu phân loại cách pha chính xác,

the p-value is the probability of her doing so

thì trị số P là xác suất phân loại chính xác,

assuming she can’t tell the difference.

giả sử không nếm được vị.

But the reverse isn’t true:

Nhưng điều ngược lại không đúng:

the p-value doesn’t tell us the probability

trị số P không cho biết xác suất

that she can taste the difference,

nếm được vị,

which is what we’re trying to find out.

điều ta đang cố tìm ra.

So if a p-value doesn’t answer the research question,

Nếu trị số P không giải thích được câu hỏi trên,

why does the scientific community use it?

tại sao giới khoa học lại sử dụng nó?

Well, because even though a p-value doesn’t directly state the probability

Vì dù trị số P không trực tiếp chỉ ra

that the results are due to random chance,

xác suất kết quả nhận được là ngẫu nhiên,

it usually gives a pretty reliable indication.

nó thường cho một chỉ dẫn tương đối đáng tin cậy.

At least, it does when used correctly.

Ít nhất là trong trường hợp được sử dụng đúng.

And that’s where many researchers, and even whole fields,

Đó là lý do khiến nhiều nhà khoa học, thậm chí, mọi lĩnh vực,

have run into trouble.

đều gặp khó khăn.

Most real studies are more complex than the tea experiment.

Hầu hết các nghiên cứu trong đời thực đều phức tạp hơn thí nghiệm trên.

Scientists can test their research question in multiple ways,

Các nhà khoa học có thể dùng nhiều cách nghiên cứu,

and some of these tests might produce a statistically significant result,

và một số nghiên cứu có thể cho ra kết quả có ý nghĩa thống kê,

while others don’t.

số còn lại thì không.

It might seem like a good idea to test every possibility.

Việc kiểm tra mọi khả năng có vẻ như là một ý hay.

But it’s not, because with each additional test,

Nhưng không, vì thêm một thí nghiệm,

the chance of a false positive increases.

khả năng nhận được kết quả dương tính giả tăng lên.

Searching for a low p-value, and then presenting only that analysis,

Tìm kiếm trị số P nhỏ, rồi chỉ đưa ra kết quả thống kê đó,

is often called p-hacking.

thường được gọi là nạo vét dữ liệu.

It’s like throwing darts until you hit a bullseye

Giống như việc ném phi tiêu cho tới khi trúng hồng tâm

and then saying you only threw the dart that hit the bull’s eye.

rồi nói chỉ ném chiếc phi tiêu trúng hồng tâm.

This is exactly what the music researchers did.

Đây là điều các nhà khoa học làm trong thí nghiệm âm nhạc.

They played three groups of participants each a different song

Họ chia người tham gia thành ba nhóm, mỗi nhóm nghe một bài hát khác nhau

and collected lots of information about them.

và thu thập rất nhiều thông tin.

The analysis they published included only two out of the three groups.

Phân tích thống kê của họ chỉ chứa hai trong ba nhóm.

Of all the information they collected,

Toàn bộ thông tin thu thập,

their analysis only used participants’ fathers’ age—

thống kê chỉ sử dụng người tuổi trung niên

to “control for variation in baseline age across participants.”

để “kiểm soát mốc biến thiên độ tuổi của người tham gia.”

They also paused their experiment after every ten participants,

Đồng thời, cứ sau mười người lại dừng nghiên cứu,

and continued if the p-value was above .05,

và tiếp tục khi trị số P lớn hơn 0.05,

but stopped when it dipped below .05.

và dừng lại khi nhỏ hơn 0.05.

They found that participants who heard one song were 1.5 years younger

Họ tìm ra rằng những người nghe một bài hát giúp trẻ hơn 1.5 tuổi

than those who heard the other song, with a p-value of .04.

so với những người nghe các bài khác, có trị số P là 0.04.

Usually it’s much tougher to spot p-hacking,

Thông thường rất khó phát hiện nạo vét dữ liệu,

because we don’t know the results are impossible:

vì ta không biết liệu kết quả có quá hoang đường:

the whole point of doing experiments is to learn something new.

mục đích của thí nghiệm là tìm ra cái mới.

Fortunately, there’s a simple way to make p-values more reliable:

May thay, có một cách đơn giản khiến trị số P đáng tin hơn:

pre-registering a detailed plan for the experiment and analysis

tạo ra trước một bản kế hoạch chi tiết thí nghiệm và phân tích

beforehand that others can check,

để mọi người có thể kiểm tra,

so researchers can’t keep trying different analyses

để các nhà nghiên cứu không thể dùng các phân tích khác

until they find a significant result.

tới khi tìm ra kết quả có ý nghĩa thống kê.

And, in the true spirit of scientific inquiry,

Trên tinh thần thực nghiên cứu khoa học,

there’s even a new field that’s basically science doing science on itself:

có một lĩnh vực mới, về cơ bản, là khoa học tự nghiên cứu chính nó:

studying scientific practices in order to improve them.

nghiên cứu những hoạt động khoa học để cải tiến chúng.