Estadística Bayesiana vs. Frecuentista: ¿No es gran cosa?

Nota: Esta es una traducción al español de un blog publicado originalmente en inglés, que puedes encontrar aquí: https://statsig.com/blog/bayesian-vs-frequentist-statistics

La confusión central: ¿Qué significa realmente "90% de probabilidad"?

Imagina que estás tratando de averiguar la altura promedio de los adultos en tu ciudad. Recopilas algunos datos y calculas un rango de valores posibles.

• Frecuentista: Un frecuentista podría decir: "Calculamos un intervalo de confianza del 90% de 1,68m a 1,75m". Esto suena como si hubiera un 90% de probabilidad de que la altura promedio real esté dentro de ese rango, ¿verdad? No exactamente.

• Bayesiano: Un bayesiano podría decir: "Calculamos un intervalo creíble del 90% de 1,68m a 1,75m". Esto sí significa que hay un 90% de probabilidad de que la altura promedio real esté en ese rango, basándose en su modelo.

Entonces, ¿quién tiene razón? La respuesta es sorprendentemente simple: ambos, dentro de sus propios marcos de referencia. La diferencia surge de cómo tratan la idea de una altura promedio "desconocida" y qué representa la "probabilidad".

Pensando como un frecuentista: Todo se trata del procedimiento

Los frecuentistas ven el mundo en términos de experimentos repetidos. Piénsalo así:

• Lo desconocido es fijo: La altura promedio real de los adultos en tu ciudad no está cambiando mientras analizas tus datos. Es un número fijo, aunque desconocido.

• La aleatoriedad está en los datos: La aleatoriedad proviene de qué personas muestreas. Si repitieras tu encuesta muchas veces, obtendrías resultados ligeramente diferentes cada vez.

• Los intervalos de confianza se tratan de repetición: Un intervalo de confianza del 90% significa que si repitieras todo este proceso (recopilar datos y calcular el intervalo) muchas veces, el 90% de esos intervalos contendría la altura promedio real.

Pensando como un bayesiano: Todo se trata de creencias

Los bayesianos adoptan un enfoque diferente. Tratan la altura promedio desconocida como algo que puede tener una distribución de probabilidad.

• Lo desconocido es incierto: Antes de ver cualquier dato, podrías tener alguna creencia inicial (una "prior") sobre la altura promedio. Tal vez pienses que probablemente sea alrededor de 1,70m, pero no estás seguro.

• Los datos actualizan las creencias: Los datos que recopilas actualizan esta creencia previa, llevando a una distribución "posterior". Esta posterior representa tu comprensión actualizada de la altura promedio.

• Los intervalos creíbles se tratan de probabilidad: Un intervalo creíble del 90% significa que hay un 90% de probabilidad (basada en tu modelo y los datos) de que la altura promedio real caiga dentro de ese rango.

Por qué las filosofías pueden parecer chocar

La diferencia central es esta:

• Frecuentistas: Se enfocan en la frecuencia a largo plazo de los eventos. La probabilidad se trata de con qué frecuencia sucedería algo si repitieras el experimento muchas veces.

• Bayesianos: Se enfocan en el grado de creencia o certeza sobre algo desconocido. La probabilidad es una medida de qué tan probable es algo, dado tu conocimiento actual.

¿Estas diferencias realmente importan en la práctica?

Aquí está la parte sorprendente: ¡a menudo, no tanto como pensarías!

• Muestras grandes: Cuando tienes muchos datos, los enfoques bayesiano y frecuentista tienden a dar resultados muy similares. Los datos abruman cualquier creencia previa en el enfoque bayesiano.

• Priors no informativos: Si un bayesiano usa un prior "plano" o "no informativo" (lo que significa que no tiene creencias iniciales fuertes), los resultados a menudo se alinean estrechamente con los métodos frecuentistas.

• Decisiones del mundo real: Imagina que estás probando dos versiones de un sitio web (pruebas A/B).

  • Un frecuentista podría ver si un intervalo de confianza del 95% para la diferencia en las tasas de conversión excluye el cero.

  • Un bayesiano podría ver si un intervalo creíble del 95% para la diferencia está completamente por encima de cero.

  • En la mayoría de los casos, llegarán a la misma conclusión sobre qué versión es mejor.

Una nota sobre el enfoque bayesiano con priors informativos

Los métodos bayesianos con priors informativos son una de las pocas áreas donde diferentes enfoques pueden llevar a diferentes decisiones y resultados empresariales. En teoría, ofrecen varias ventajas:

1. Toma de decisiones más rápida y precisa

2. La capacidad de aprovechar información pasada

3. Una forma estructurada de debatir supuestos subyacentes

Debido a estos beneficios, algunos abogan por su adopción, incluidos científicos de datos en empresas como Amazon y Netflix.

Sin embargo, en la práctica, los métodos bayesianos con priors informativos pueden ser arriesgados. Debido a problemas de agente-principal y un sesgo general hacia resultados positivos, pueden ser mal utilizados para manipular los resultados de experimentos mientras mantienen la apariencia de rigor científico. Un científico de datos hábil equipado con este método puede prácticamente conjurar cualquier resultado.

La conclusión: Se trata más de "interpretación"

• Intervalos de confianza frecuentistas: Te informan sobre el rendimiento a largo plazo de tu método. No hacen declaraciones de probabilidad sobre un intervalo específico.

• Intervalos creíbles bayesianos: Te permiten hacer declaraciones de probabilidad directas sobre el parámetro desconocido, basándote en tu modelo y los datos.

Ambos enfoques son válidos y útiles. La elección a menudo se reduce a:

• Tu nivel de comodidad con los priors: ¿Te sientes cómodo incorporando creencias previas en tu análisis?

• Cómo quieres comunicar: ¿Prefieres hablar sobre frecuencias a largo plazo o probabilidades directas?

• Las convenciones de tu campo: Algunos campos tienen tradiciones fuertes que favorecen un enfoque sobre el otro.

• Tolerancia al riesgo: El enfoque bayesiano es bueno si el costo de implementar es bajo, o el riesgo de implementar algo malo es bajo, porque te moverás más rápidamente en la dirección correcta que si solo implementas con p<0.05

Al final, el debate bayesiano vs. frecuentista es en gran medida filosófico. Si bien las interpretaciones difieren, las implicaciones prácticas a menudo son mínimas.

El enfoque bayesiano no está introduciendo ninguna información nueva. Ambos métodos observan medias y desviaciones estándar de diferentes grupos de prueba. Concéntrate en entender los supuestos de cada enfoque y elegir el que mejor se adapte a tu situación específica y objetivos de comunicación. Si no estás seguro, tengo dos consejos específicos:

1. Usa el enfoque frecuentista por simplicidad para reducir la sobrecarga de comunicación.

2. En cualquier enfoque, piensa en tu decisión como una apuesta: los líderes a menudo requieren operar bajo incertidumbres. El trabajo de los científicos de datos es estimar riesgos y probabilidades, luego hacer una recomendación. La calidad de la decisión es lo que importa.

No te atasques en la "guerra". Entiende el debate teórico, pero concéntrate en el resultado empresarial.