Bayesianische vs. frequentistische Statistik: Kein großes Problem?

Hinweis: Dies ist eine deutsche Übersetzung eines ursprünglich auf Englisch veröffentlichten Blogs, den Sie hier finden können: https://statsig.com/blog/bayesian-vs-frequentist-statistics

Die zentrale Verwirrung: Was bedeutet "90% Wahrscheinlichkeit" wirklich?

Stellen Sie sich vor, Sie möchten die durchschnittliche Körpergröße der Erwachsenen in Ihrer Stadt ermitteln. Sie sammeln einige Daten und berechnen einen Bereich möglicher Werte.

• Frequentist: Ein Frequentist könnte sagen: "Wir haben ein 90%-Konfidenzintervall von 1,68 m bis 1,75 m berechnet." Das klingt, als gäbe es eine 90%ige Chance, dass die wahre Durchschnittsgröße in diesem Bereich liegt, oder? Nicht ganz.

• Bayesianer: Ein Bayesianer könnte sagen: "Wir haben ein 90%-Glaubwürdigkeitsintervall von 1,68 m bis 1,75 m berechnet." Dies bedeutet tatsächlich, dass es basierend auf ihrem Modell eine 90%ige Chance gibt, dass die wahre Durchschnittsgröße in diesem Bereich liegt.

Wer hat also recht? Die Antwort ist überraschend einfach: beide, innerhalb ihrer eigenen Rahmenwerke. Der Unterschied ergibt sich daraus, wie sie die Idee einer "unbekannten" Durchschnittsgröße behandeln und was "Wahrscheinlichkeit" darstellt.

Wie ein Frequentist denkt: Es geht um das Verfahren

Frequentisten sehen die Welt in Form von wiederholten Experimenten. Stellen Sie es sich so vor:

• Das Unbekannte ist fest: Die wahre Durchschnittsgröße der Erwachsenen in Ihrer Stadt ändert sich nicht, während Sie Ihre Daten analysieren. Es ist eine feste, wenn auch unbekannte Zahl.

• Die Zufälligkeit liegt in den Daten: Die Zufälligkeit kommt daher, welche Personen Sie zufällig in Ihre Stichprobe aufnehmen. Wenn Sie Ihre Umfrage viele Male wiederholen würden, würden Sie jedes Mal leicht unterschiedliche Ergebnisse erhalten.

• Konfidenzintervalle beziehen sich auf Wiederholungen: Ein 90%-Konfidenzintervall bedeutet, dass wenn Sie diesen gesamten Prozess (Datensammlung und Intervallberechnung) viele Male wiederholen würden, 90% dieser Intervalle die wahre Durchschnittsgröße enthalten würden.

Wie ein Bayesianer denkt: Es geht um Überzeugungen

Bayesianer verfolgen einen anderen Ansatz. Sie behandeln die unbekannte Durchschnittsgröße als etwas, das eine Wahrscheinlichkeitsverteilung haben kann.

• Das Unbekannte ist unsicher: Bevor Sie Daten sehen, haben Sie möglicherweise eine anfängliche Überzeugung (eine "Prior-Verteilung") über die Durchschnittsgröße. Vielleicht denken Sie, sie liegt wahrscheinlich bei etwa 1,70 m, sind sich aber nicht sicher.

• Daten aktualisieren Überzeugungen: Die gesammelten Daten aktualisieren diese Prior-Überzeugung und führen zu einer "Posterior-Verteilung". Diese Posterior repräsentiert Ihr aktualisiertes Verständnis der Durchschnittsgröße.

• Glaubwürdigkeitsintervalle beziehen sich auf Wahrscheinlichkeit: Ein 90%-Glaubwürdigkeitsintervall bedeutet, dass es eine 90%ige Wahrscheinlichkeit gibt (basierend auf Ihrem Modell und den Daten), dass die wahre Durchschnittsgröße in diesen Bereich fällt.

Warum die Philosophien aufeinanderprallen können

Der Kernunterschied ist folgender:

• Frequentisten: Konzentrieren sich auf die langfristige Häufigkeit von Ereignissen. Wahrscheinlichkeit bezieht sich darauf, wie oft etwas passieren würde, wenn Sie das Experiment viele Male wiederholen würden.

• Bayesianer: Konzentrieren sich auf den Grad der Überzeugung oder Gewissheit über ein Unbekanntes. Wahrscheinlichkeit ist ein Maß dafür, wie wahrscheinlich etwas ist, basierend auf Ihrem aktuellen Wissen.

Spielen diese Unterschiede in der Praxis tatsächlich eine Rolle?

Hier kommt der überraschende Teil: oft nicht so sehr, wie Sie denken würden!

• Große Stichproben: Wenn Sie viele Daten haben, neigen bayesianische und frequentistische Ansätze dazu, sehr ähnliche Ergebnisse zu liefern. Die Daten überwältigen alle Prior-Überzeugungen im bayesianischen Ansatz.

• Nicht-informative Priors: Wenn ein Bayesianer eine "flache" oder "nicht-informative" Prior verwendet (was bedeutet, dass er keine starken anfänglichen Überzeugungen hat), stimmen die Ergebnisse oft eng mit frequentistischen Methoden überein.

• Entscheidungen in der realen Welt: Stellen Sie sich vor, Sie testen zwei Versionen einer Website (A/B-Test).

  • Ein Frequentist könnte prüfen, ob ein 95%-Konfidenzintervall für den Unterschied in den Konversionsraten die Null ausschließt.

  • Ein Bayesianer könnte prüfen, ob ein 95%-Glaubwürdigkeitsintervall für den Unterschied vollständig über Null liegt.

  • In den meisten Fällen kommen sie zu demselben Schluss darüber, welche Version besser ist.

Eine Anmerkung zu Bayesianern mit informativen Priors

Bayesianische Methoden mit informativen Priors sind einer der wenigen Bereiche, in denen unterschiedliche Ansätze zu unterschiedlichen Entscheidungen und Geschäftsergebnissen führen können. Theoretisch bieten sie mehrere Vorteile:

1. Schnellere, genauere Entscheidungsfindung

2. Die Fähigkeit, vergangene Informationen zu nutzen

3. Ein strukturierter Weg, um zugrunde liegende Annahmen zu diskutieren

Aufgrund dieser Vorteile befürworten einige ihre Anwendung, einschließlich Datenwissenschaftler bei Unternehmen wie Amazon und Netflix.

In der Praxis können bayesianische Methoden mit informativen Priors jedoch riskant sein. Aufgrund von Prinzipal-Agent-Problemen und einer allgemeinen Tendenz zu positiven Ergebnissen können sie missbraucht werden, um Experimentalergebnisse zu manipulieren, während der Anschein wissenschaftlicher Strenge gewahrt bleibt. Ein geschickter Datenwissenschaftler, der mit dieser Methode ausgestattet ist, kann fast jedes Ergebnis herbeizaubern.

Das Fazit: Es geht mehr um "Interpretation"

• Frequentistische Konfidenzintervalle: Sagen Ihnen etwas über die langfristige Leistung Ihrer Methode aus. Sie machen keine Wahrscheinlichkeitsaussagen über ein bestimmtes Intervall.

• Bayesianische Glaubwürdigkeitsintervalle: Ermöglichen es Ihnen, direkte Wahrscheinlichkeitsaussagen über den unbekannten Parameter zu machen, basierend auf Ihrem Modell und den Daten.

Beide Ansätze sind gültig und nützlich. Die Wahl hängt oft ab von:

• Ihrem Komfortlevel mit Priors: Sind Sie damit einverstanden, Prior-Überzeugungen in Ihre Analyse einzubeziehen?

• Wie Sie kommunizieren möchten: Bevorzugen Sie es, über langfristige Häufigkeiten oder direkte Wahrscheinlichkeiten zu sprechen?

• Den Konventionen Ihres Fachgebiets: Einige Bereiche haben starke Traditionen, die einen Ansatz gegenüber dem anderen bevorzugen.

• Risikotoleranz: Bayesianisch ist gut, wenn die Kosten für die Implementierung niedrig sind oder das Risiko, etwas Schlechtes zu implementieren, gering ist, weil Sie sich schneller in die richtige Richtung bewegen werden, als wenn Sie nur mit p<0,05 implementieren

Letztendlich ist die Debatte zwischen Bayesianern und Frequentisten weitgehend philosophisch. Während sich die Interpretationen unterscheiden, sind die praktischen Auswirkungen oft minimal.

Bayesianische Methoden führen keine neuen Informationen ein. Beide Methoden beobachten Mittelwerte und Standardabweichungen aus verschiedenen Testgruppen. Konzentrieren Sie sich darauf, die Annahmen jedes Ansatzes zu verstehen und denjenigen zu wählen, der am besten zu Ihrer spezifischen Situation und Ihren Kommunikationszielen passt. Wenn Sie sich nicht sicher sind, habe ich zwei spezifische Ratschläge:

1. Verwenden Sie Frequentisten der Einfachheit halber, um den Kommunikationsaufwand zu reduzieren.

2. Betrachten Sie bei beiden Ansätzen Ihre Entscheidung als eine Wette – Führungskräfte müssen oft unter Unsicherheiten arbeiten. Die Aufgabe von Datenwissenschaftlern ist es, Risiken und Wahrscheinlichkeiten zu schätzen und dann eine Empfehlung abzugeben. Die Qualität der Entscheidung ist das, was zählt.

Lassen Sie sich nicht im "Krieg" verzetteln. Verstehen Sie die theoretische Debatte, aber konzentrieren Sie sich auf das Geschäftsergebnis.