¿Qué es un valor p?

La definición en una frase

Un valor p es la probabilidad de obtener datos al menos tan extremos como los tuyos, suponiendo que la hipótesis nula es cierta.

Cada palabra de esa frase cumple una función, y la que más importa es suponiendo que la hipótesis nula es cierta. El valor p se calcula dentro de un mundo hipotético en el que no hay ningún efecto. Mide lo inusuales que parecerían tus datos en ese mundo. No te dice, ni puede decirte, si estás viviendo en él.

Una analogía judicial

Imagina un juicio. La hipótesis nula es la presunción de inocencia: el acusado no lo hizo. Las pruebas son tus datos.

El valor p pregunta: si esta persona fuera genuinamente inocente, ¿qué probabilidad hay de que apareciera igualmente una prueba así de incriminatoria? Un valor p muy pequeño significa que la prueba sería una coincidencia notable bajo la inocencia, lo que da motivos para rechazar la presunción.

Fíjate en cuál no es la pregunta. No es "¿qué probabilidad hay de que el acusado sea inocente?". Eso exigiría saber con qué frecuencia son culpables las personas en esta situación en general —una probabilidad previa— y el valor p no tiene acceso a ella. Esta es exactamente la trampa en la que se cae al leer los valores p como la probabilidad de que la hipótesis nula sea cierta.

La analogía explica también por qué "no significativo" no es "inocente". Un veredicto de no culpabilidad significa que las pruebas fueron insuficientes, no que se haya demostrado la inocencia. Un valor p no significativo quiere decir exactamente lo mismo.

El valor p es un área

La forma más concreta de entender un valor p es geométrica. Toma la distribución que seguiría tu estadístico de contraste si la hipótesis nula fuera cierta: una campana, para una prueba Z o t. Marca dónde cayó el estadístico que observaste. El valor p es el área de la curva más allá de ese punto.

Eso es todo. Si tu estadístico queda cerca del centro, la mayor parte de la curva está del lado "al menos así de extremo", y el valor p es grande: tu resultado no tiene nada de particular. Si queda lejos, en la cola, solo una franja de área se extiende más allá, y el valor p es pequeño.

Nuestra calculadora de valor p sombrea esta área en vivo mientras escribes, que es la forma más rápida de construir la intuición. Desplaza tu estadístico hacia afuera y observa cómo encoge la región sombreada; esa región que encoge es tu valor p.

Cuatro cosas que un valor p no es

1. No es la probabilidad de que la hipótesis nula sea cierta

Este es el error grande. El cálculo empieza suponiendo la hipótesis nula, así que no puede además evaluarla. Un valor p de 0.05 no significa que haya un 5% de probabilidad de que no exista ningún efecto real. Una vez tienes en cuenta lo plausible que era la hipótesis de partida, la probabilidad real de que la nula sea cierta tras observar p = 0.05 es con frecuencia del 30% o más.

2. No es la probabilidad de que tu resultado se deba al azar

Una versión más sutil del mismo error. El valor p se calcula bajo el supuesto de que solo actúa el azar; es una probabilidad condicional, no una probabilidad sobre causas.

3. No es una medida del tamaño del efecto

Un valor p de 0.001 no describe un efecto mayor que uno de 0.04: puede reflejar simplemente una muestra mayor. Con datos suficientes, una diferencia demasiado pequeña como para importar producirá un valor p espectacularmente pequeño. Por eso los tamaños del efecto y los intervalos de confianza deben acompañar a todo valor p que informes.

4. No es la probabilidad de replicación

p = 0.05 no significa un 95% de probabilidad de replicar el resultado. La probabilidad de replicación depende del tamaño real del efecto y de la potencia del estudio de replicación, y el valor p no sabe nada de ninguno de los dos.

De dónde salió el 0.05

El umbral de 0.05 no tiene ninguna justificación matemática. Ronald Fisher lo propuso en los años veinte como una regla orientativa cómoda, señalando que correspondía al investigador decidir qué contaba como convincente. Se quedó, y se endureció hasta convertirse en una norma que él nunca pretendió.

Distintos campos ponen la línea en otro sitio por buenas razones. La física de partículas exige aproximadamente 0.0000003 —el criterio de las "cinco sigmas"— porque realiza cantidades enormes de comparaciones y el coste de un falso descubrimiento es alto. El trabajo exploratorio acepta a veces 0.10. El umbral correcto depende de lo que te cueste un falso positivo, y debería elegirse antes de mirar los datos.

Cómo usar bien los valores p

• Informa el valor exacto, no solo si superó un umbral. "p = .043" transmite más información que "p < .05".
• Acompáñalo siempre de un tamaño del efecto y un intervalo de confianza. El valor p dice que un efecto es detectable; solo el intervalo dice cuán grande podría ser.
• Decide tu umbral de antemano, junto con el tamaño de la muestra y el plan de análisis.
• Trátalo como evidencia continua, no como un interruptor. p = 0.049 y p = 0.051 son el mismo resultado.
• Recuerda la multiplicidad. Veinte contrastes con α = 0.05 te dan aproximadamente un 64% de probabilidad de al menos un falso positivo.