Pruebas unilaterales vs. pruebas bilaterales

Nota: Esta es una traducción al español de un blog publicado originalmente en inglés, que puedes encontrar aquí: https://statsig.com/blog/one-tailed-vs-two-tailed-tests

Si alguna vez has analizado datos utilizando funciones integradas de prueba t, como las de R o SciPy, aquí hay una pregunta para ti: ¿alguna vez has ajustado la configuración predeterminada para la hipótesis alternativa? Si tu respuesta es no, o si ni siquiera estás seguro de qué significa esto, ¡entonces este blog es para ti!

El parámetro de hipótesis alternativa, comúnmente conocido como "unilateral" versus "bilateral" en estadística, define la dirección esperada de la diferencia entre los grupos de control y tratamiento.

En una prueba bilateral, evaluamos si existe alguna diferencia en los valores medios entre los grupos, sin especificar una dirección. Una prueba unilateral, por otro lado, plantea una dirección específica: si la media del grupo de control es menor o mayor que la del grupo de tratamiento.

Elegir entre hipótesis unilateral y bilateral puede parecer un detalle menor, pero afecta cada etapa de las pruebas A/B: desde la planificación de la prueba hasta el análisis de datos y la interpretación de resultados. Este artículo construye una base teórica sobre por qué importa la dirección de la hipótesis y explora los pros y contras de cada enfoque.

Pruebas de Hipótesis Unilateral vs. Bilateral: Entendiendo la Diferencia

Para comprender la importancia de elegir entre hipótesis unilateral y bilateral, revisemos brevemente los conceptos básicos de la prueba t, el método comúnmente utilizado en las pruebas A/B. Como otros métodos de prueba de hipótesis, la prueba t comienza con una suposición conservadora: no hay diferencia entre los dos grupos (la hipótesis nula). Solo si encontramos evidencia sólida contra esta suposición podemos rechazar la hipótesis nula y concluir que el tratamiento ha tenido un efecto.

Pero, ¿qué califica como "evidencia sólida"? Para ello, se determina una región de rechazo bajo la hipótesis nula y todos los resultados que caen dentro de esta región se consideran tan improbables que los tomamos como evidencia contra la viabilidad de la hipótesis nula. El tamaño de esta región de rechazo se basa en una probabilidad predeterminada, conocida como alfa (α), que representa la probabilidad de rechazar incorrectamente la hipótesis nula.

¿Qué tiene esto que ver con la dirección de la hipótesis alternativa? Bastante, en realidad. Mientras que el nivel alfa determina el tamaño de la región de rechazo, la hipótesis alternativa dicta su ubicación. En una prueba unilateral, donde hipotetizamos una dirección específica de diferencia, la región de rechazo se sitúa en solo una cola de la distribución.

Para un efecto positivo hipotetizado (por ejemplo, que la media del grupo de tratamiento es mayor que la media del grupo de control), la región de rechazo estaría en la cola derecha, creando una prueba de cola derecha. Por el contrario, si hipotetizamos un efecto negativo (por ejemplo, que la media del grupo de tratamiento es menor que la media del grupo de control), la región de rechazo se colocaría en la cola izquierda, resultando en una prueba de cola izquierda.

En contraste, una prueba bilateral permite la detección de una diferencia en cualquier dirección, por lo que la región de rechazo se divide entre ambas colas de la distribución. Esto acomoda la posibilidad de observar valores extremos en cualquier dirección, ya sea que el efecto sea positivo o negativo.

Para desarrollar la intuición, visualicemos cómo aparecen las regiones de rechazo bajo las diferentes hipótesis. Recordemos que según la hipótesis nula, la diferencia entre los dos grupos debería centrarse alrededor de cero. Gracias al teorema del límite central, también sabemos que esta distribución se aproxima a una distribución normal. En consecuencia, las áreas de rechazo correspondientes a las diferentes hipótesis alternativas se ven así:

¿Por qué marca la diferencia?

La elección de la dirección para la hipótesis alternativa impacta todo el proceso de pruebas A/B, comenzando con la fase de planificación, específicamente, en la determinación del tamaño de la muestra.

El tamaño de la muestra se calcula basándose en la potencia deseada de la prueba, que es la probabilidad de detectar una diferencia verdadera entre los dos grupos cuando existe una. Para calcular la potencia, examinamos el área bajo la hipótesis alternativa que corresponde a la región de rechazo (ya que la potencia refleja la capacidad de rechazar la hipótesis nula cuando la hipótesis alternativa es verdadera).

Dado que la dirección de la hipótesis afecta el tamaño de esta región de rechazo, la potencia es generalmente menor para una hipótesis bilateral. Esto se debe a que la región de rechazo se divide entre ambas colas, lo que hace más difícil detectar un efecto en cualquier dirección. El siguiente gráfico ilustra la comparación entre los dos tipos de hipótesis.

Observa que el área púrpura es mayor para la hipótesis unilateral, comparada con la hipótesis bilateral:

En la práctica, para mantener el nivel de potencia deseado, compensamos la potencia reducida de una hipótesis bilateral aumentando el tamaño de la muestra (aumentar el tamaño de la muestra aumenta la potencia, aunque la mecánica de esto puede ser tema para un artículo aparte). Por lo tanto, la elección entre hipótesis unilateral y bilateral influye directamente en el tamaño de muestra requerido para tu prueba.

Más allá de la fase de planificación, la elección de la hipótesis alternativa impacta directamente el análisis y la interpretación de los resultados. Hay casos en los que una prueba puede alcanzar significancia con un enfoque unilateral pero no con uno bilateral, y viceversa.

Revisar el gráfico anterior puede ayudar a ilustrar esto: por ejemplo, un resultado en la cola izquierda podría ser significativo bajo una hipótesis bilateral pero no bajo una hipótesis unilateral derecha. Por el contrario, ciertos resultados podrían caer dentro de la región de rechazo de una prueba unilateral derecha pero quedar fuera del área de rechazo en una prueba bilateral.

¿Cómo decidir entre hipótesis unilateral y bilateral?

Empecemos con la conclusión: no hay una elección absolutamente correcta o incorrecta aquí. Ambos enfoques son válidos, y la consideración principal debe ser tus necesidades comerciales específicas. Para ayudarte a decidir qué opción se adapta mejor a tu empresa, describiremos los principales pros y contras de cada una.

A primera vista, una alternativa unilateral puede parecer la opción obvia, ya que a menudo se alinea mejor con los objetivos comerciales. En las aplicaciones industriales, el enfoque típicamente está en mejorar métricas específicas en lugar de explorar el impacto de un tratamiento en ambas direcciones.

Esto es especialmente relevante en las pruebas A/B, donde el objetivo a menudo es optimizar las tasas de conversión o mejorar los ingresos. Si el tratamiento no conduce a una mejora significativa, el cambio examinado no se implementará.

Más allá de esta ventaja conceptual, ya hemos mencionado un beneficio clave de una hipótesis unilateral: requiere un tamaño de muestra menor. Por lo tanto, elegir una alternativa unilateral puede ahorrar tanto tiempo como recursos. Para ilustrar esta ventaja, los siguientes gráficos muestran los tamaños de muestra requeridos para hipótesis unilateral y bilateral con diferentes niveles de potencia (alfa se establece en 5%).

En este contexto, la decisión entre hipótesis unilateral y bilateral se vuelve particularmente importante en las pruebas secuenciales: un método que permite el análisis continuo de datos sin inflar el nivel alfa. Aquí, seleccionar una prueba unilateral puede reducir significativamente la duración de la prueba, permitiendo una toma de decisiones más rápida, lo cual es especialmente valioso en entornos comerciales dinámicos donde las respuestas rápidas son esenciales.

Sin embargo, ¡no descartes demasiado rápido la hipótesis bilateral! Tiene sus propias ventajas. En algunos contextos comerciales, la capacidad de detectar "resultados negativos significativos" es un beneficio importante. Como una vez compartió un cliente, prefería los resultados negativos significativos sobre los no concluyentes porque ofrecen valiosas oportunidades de aprendizaje. Incluso si el resultado no fue el esperado, podía concluir que el tratamiento tuvo un efecto negativo y obtener información sobre el producto.

Otro beneficio de las pruebas bilaterales es su interpretación directa utilizando intervalos de confianza (IC). En las pruebas bilaterales, un IC que no incluye cero indica directamente significancia, lo que facilita a los profesionales interpretar los resultados de un vistazo. Esta claridad es particularmente atractiva ya que los IC se utilizan ampliamente en las plataformas de pruebas A/B. Por el contrario, con las pruebas unilaterales, un resultado significativo aún podría incluir cero en el IC, lo que podría generar confusión o desconfianza en los hallazgos. Aunque se pueden emplear intervalos de confianza unilaterales con pruebas unilaterales, esta práctica es menos común.

Conclusiones

Al ajustar un solo parámetro, puedes impactar significativamente tus pruebas A/B: específicamente, el tamaño de muestra que necesitas recopilar y la interpretación de los resultados. Al decidir entre hipótesis unilateral y bilateral, considera factores como el tamaño de muestra disponible, las ventajas de detectar efectos negativos y la conveniencia de alinear los intervalos de confianza (IC) con las pruebas de hipótesis. En última instancia, esta decisión debe tomarse cuidadosamente, teniendo en cuenta lo que mejor se adapte a las necesidades de tu negocio.