Contrastes unilaterales frente a bilaterales

Cuál es realmente la diferencia

Un contraste bilateral pregunta si tu resultado difiere de la nula en cualquiera de las dos direcciones. La región de rechazo se reparte entre ambas colas de la distribución, así que con α = 0.05 tienes un 2.5% en cada una.

Un contraste unilateral pregunta si tu resultado difiere en una dirección concreta. El 5% entero está en una sola cola, lo que facilita alcanzar la significación en esa dirección, y la hace imposible en la otra por extremo que sea el resultado.

En términos concretos: con un contraste bilateral y α = 0.05 necesitas |z| > 1.96. Con uno unilateral solo necesitas z > 1.645. Una puntuación z de 1.8 no es significativa de forma bilateral y sí lo es de forma unilateral. Los mismos datos, conclusiones opuestas.

Por qué esto se presta tanto al abuso

Como un contraste unilateral reduce exactamente a la mitad el valor p, cambiar a él después de ver los datos es una de las formas más sencillas de p-hacking. Un resultado con p = 0.08 se convierte en p = 0.04 sin ninguna información nueva, solo redescribiendo la hipótesis que afirmas haber tenido.

La señal delatora es que la justificación llega después del resultado. Si hubieras hecho un contraste bilateral en caso de que el efecto hubiera ido en el otro sentido, entonces siempre estuviste haciendo un contraste bilateral, e informar otra cosa tergiversa tu tasa de falsos positivos.

Cuándo un contraste unilateral es legítimo

Tienen que cumplirse todas estas condiciones:

• La dirección se especificó antes de recoger los datos, idealmente en un preregistro.
• Un efecto en la otra dirección sería genuinamente irrelevante, no meramente inesperado o decepcionante, sino sin consecuencia alguna para tu decisión.
• Informarías la misma conclusión en cualquier caso. Si un efecto grande en el sentido contrario te haría cambiar de opinión, necesitabas las dos colas.

La segunda condición es la estricta, y descarta la mayoría de los casos. Un ensayo de no inferioridad la cumple de verdad: solo te importa si el tratamiento nuevo es peor por más de un margen. La mayor parte de la investigación no.

Pruebas A/B: usa bilateral

Las herramientas de pruebas A/B vienen a menudo configuradas como unilaterales, y el argumento que se ofrece es que solo quieres saber si la variante gana. Ese argumento es incorrecto en sus propios términos.

Te importa muchísimo si tu variante rinde peor. Desplegar un cambio que reduce silenciosamente la conversión es precisamente el desenlace que la prueba existe para evitar. Si fueras a revertir ante un resultado negativo significativo, estás haciendo un contraste bilateral y deberías informarlo como tal. Nuestra calculadora de pruebas A/B usa bilateral de forma predeterminada por esta razón.

Las pruebas de chi-cuadrado y F son un caso aparte

Las pruebas de chi-cuadrado y F son siempre de cola derecha, y esta no es en absoluto la misma elección. Ambos estadísticos acumulan desviaciones al cuadrado, así que cualquier alejamiento de la nula —en cualquier dirección— los hace mayores. Toda la evidencia contra la nula vive en la cola superior por construcción.

Por eso nuestras calculadoras de chi-cuadrado y de prueba F fijan la dirección en lugar de ofrecer una opción bilateral. Un valor p de chi-cuadrado duplicado no es una elección conservadora: sencillamente no es un número con significado.

La regla práctica

Usa bilateral salvo que puedas cumplir las tres condiciones de arriba y lo hayas decidido de antemano. El coste es un valor p algo mayor. El beneficio es un resultado que puedes defender, y una tasa de falsos positivos que es la que dices que es.

Si de verdad tienes dudas, esa incertidumbre es ya la respuesta: un contraste unilateral exige una predicción direccional lo bastante firme como para apostar el análisis a ella.