The method that can "prove" almost anything - James A. Smith

Traductor: Mayca Onega Revisor: Sebastian Betti

In 2011, a group of researchers conducted a scientific study

En el 2011, un grupo de investigadores realizaron un estudio científico

to find an impossible result:

para obtener un resultado imposible:

that listening to certain songs can make you younger.

escuchar ciertas canciones puede hacerte más joven.

Their study involved real people, truthfully reported data,

Su estudio incluía personas reales, datos presentados con veracidad

and commonplace statistical analyses.

y análisis estadísticos comunes.

So how did they do it?

Entonces, ¿cómo lo hicieron?

The answer lies in a statistical method scientists often use

La respuesta yace en el método estadístico

que los científicos utilizan a menudo

to try to figure out whether their results mean something or if they’re random noise.

para intentar descubrir si sus resultados significan algo o si es ruido aleatorio.

In fact, the whole point of the music study

De hecho, la finalidad del estudio de música

was to point out ways this method can be misused.

era mostrar los modos en que este método puede ser mal utilizado.

A famous thought experiment explains the method:

Un famoso experimento explica el método:

there are eight cups of tea,

hay 8 tazas de té,

four with the milk added first, and four with the tea added first.

4 con leche que se añadió primero y 4 con té que se añadió primero

A participant must determine which are which according to taste.

Una participante debe determinar cuál es cuál según el sabor.

There are 70 different ways the cups can be sorted into two groups of four,

Hay 70 combinaciones distintas en las que las tazas

pueden organizarse en dos grupos de cuatro,

and only one is correct.

y solo una es la correcta.

So, can she taste the difference?

Entonces, ¿puede ella saborear la diferencia?

Esa es la pregunta clave de la investigación.

That’s our research question.

To analyze her choices, we define what’s called a null hypothesis:

Para analizar sus opciones, definimos lo que se llama hipótesis nula:

that she can’t distinguish the teas.

que ella no puede distinguir los tés.

If she can’t distinguish the teas,

Si no puede distinguir los tés,

she’ll still get the right answer 1 in 70 times by chance.

obtendría la respuesta correcta igual por casualidad en 1 de cada 70 veces.

1 in 70 is roughly .014.

1 de 70 es aproximadamente 0,014.

That single number is called a p-value.

Ese número único se llama valor-p.

In many fields, a p-value of .05 or below is considered statistically significant,

En muchos campos, un valor-p de 0,5

o menor, se considera estadísticamente significativo,

meaning there’s enough evidence to reject the null hypothesis.

y quiere decir que hay suficiente evidencia para rechazar la hipótesis nula.

Based on a p-value of .014,

En base a un valor-p de 0,014,

they’d rule out the null hypothesis that she can’t distinguish the teas.

descartarían la hipótesis nula en la que ella no distingue los tés.

Though p-values are commonly used by both researchers and journals

Aunque los valores-p son comúnmente usados por investigadores y publicaciones

to evaluate scientific results,

para evaluar resultados científicos,

they’re really confusing, even for many scientists.

son realmente confusos, incluso para muchos científicos.

That’s partly because all a p-value actually tells us

Eso es en parte porque lo que el valor-p en realidad nos dice

is the probability of getting a certain result,

es la probabilidad de obtener un cierto resultado,

assuming the null hypothesis is true.

suponiendo que la hipótesis nula es verdadera.

So if she correctly sorts the teas,

Entonces, si ella clasifica los tés correctamente

the p-value is the probability of her doing so

el valor-p es la probabilidad de hacerlo

assuming she can’t tell the difference.

suponiendo que ella no puede diferenciarlos.

But the reverse isn’t true:

Pero lo opuesto no es cierto:

the p-value doesn’t tell us the probability

el valor-p no nos dice la probabilidad

de que ella pueda saborear la diferencia,

that she can taste the difference,

which is what we’re trying to find out.

que es lo que estamos intentando encontrar.

So if a p-value doesn’t answer the research question,

Entonces, si el valor-p no es la solución a la pregunta clave,

why does the scientific community use it?

¿por qué la comunidad científica lo usa?

Well, because even though a p-value doesn’t directly state the probability

Pues bien, porque aunque el valor-p no determina directamente la probabilidad

that the results are due to random chance,

de que los resultados sean por casualidad,

it usually gives a pretty reliable indication.

generalmente proporciona una indicación fiable.

At least, it does when used correctly.

Al menos, cuando se usa correctamente.

And that’s where many researchers, and even whole fields,

Y ahí es donde muchos investigadores, e incluso materias enteras,

have run into trouble.

se han metido en problemas.

Most real studies are more complex than the tea experiment.

La mayoría de los estudios reales son más complejos que el experimento del té.

Scientists can test their research question in multiple ways,

Los científicos pueden probar su pregunta clave de múltiples maneras

and some of these tests might produce a statistically significant result,

y algunos tests pueden generar un resultado significativo estadísticamente,

while others don’t.

mientras que otros no.

It might seem like a good idea to test every possibility.

Pudiera parecer una buena idea probar cada posibilidad,

But it’s not, because with each additional test,

pero no lo es, ya que con cada test adicional

the chance of a false positive increases.

crece la posibilidad de un falso positivo.

Searching for a low p-value, and then presenting only that analysis,

Buscar un valor-p bajo y después presentar solo ese análisis

is often called p-hacking.

se llama comúnmente p-hacking.

It’s like throwing darts until you hit a bullseye

Es como tirar dardos hasta que das en la diana

and then saying you only threw the dart that hit the bull’s eye.

y después decir que solo has tirado el dardo que dio en la diana.

This is exactly what the music researchers did.

Esto es exactamente lo que hicieron los investigadores del estudio de música.

They played three groups of participants each a different song

A cada grupo de 3 participantes les pusieron una canción diferente

and collected lots of information about them.

y recopilaron mucha información sobre ellos.

The analysis they published included only two out of the three groups.

En los análisis publicados incluyeron solo dos de los tres grupos.

Of all the information they collected,

De toda la información recogida,

their analysis only used participants’ fathers’ age—

sus análisis solo contenían la edad del padre de los participantes

to “control for variation in baseline age across participants.”

para controlar la variación en los valores de referencia de edad entre participantes.

They also paused their experiment after every ten participants,

Además, cada 10 participantes interrumpían el estudio,

and continued if the p-value was above .05,

y continuaban si el valor-p era superior a 0,05,

but stopped when it dipped below .05.

pero paraban cuando bajaba de 0,05.

They found that participants who heard one song were 1.5 years younger

Descubrieron que los participantes que escucharon cierta canción

eran 1,5 años más jóvenes

than those who heard the other song, with a p-value of .04.

que aquellos que escucharon otra canción, con un valor-p de 0,04.

Usually it’s much tougher to spot p-hacking,

Normalmente, es más difícil detectar p-hacking

because we don’t know the results are impossible:

porque no sabemos si los resultados son imposibles:

the whole point of doing experiments is to learn something new.

el objetivo de experimentar es aprender algo nuevo.

Fortunately, there’s a simple way to make p-values more reliable:

Afortunadamente, hay una manera fácil de hacer valores-p más fiables:

pre-registering a detailed plan for the experiment and analysis

determinar un plan detallado para el experimento y el análisis

beforehand that others can check,

con anterioridad, que pueda ser comprobado por otros,

so researchers can’t keep trying different analyses

para que los investigadores no puedan seguir probando diferentes análisis

until they find a significant result.

hasta encontrar un resultado significativo.

And, in the true spirit of scientific inquiry,

Y, fiel al espíritu de la búsqueda científica, hay incluso una nueva área

there’s even a new field that’s basically science doing science on itself:

que es básicamente ciencia haciendo ciencia sobre sí misma:

studying scientific practices in order to improve them.

estudiar prácticas científicas con el fin de mejorarlas.