ベイズ統計学対頻度統計学：大した違いはない？

注記：これは元々英語で公開されたブログの日本語訳です。原文はこちらでご覧いただけます：https://statsig.com/blog/bayesian-vs-frequentist-statistics

核心的な混乱：「90%の確率」とは実際何を意味するのか？

あなたの街の成人の平均身長を調べようとしているとしましょう。データを収集し、可能な値の範囲を計算します。

• 頻度主義者：頻度主義者は「90%信頼区間は5フィート6インチから5フィート9インチと計算されました」と言うかもしれません。これは真の平均身長がその範囲内にある確率が90%であるように聞こえますよね？実はそうではありません。

• ベイズ主義者：ベイズ主義者は「90%信用区間は5フィート6インチから5フィート9インチと計算されました」と言うかもしれません。これは、彼らのモデルに基づいて、真の平均身長がその範囲内にある確率が90%であることを意味します。

では、どちらが正しいのでしょうか？答えは驚くほどシンプルです：それぞれの枠組みの中では両方とも正しいのです。違いは「未知の」平均身長をどう扱うか、そして「確率」が何を表すかに由来します。

頻度主義者のように考える：すべては手順について

頻度主義者は世界を繰り返し実験の観点から見ています。次のように考えてください：

• 未知のものは固定されている：あなたの街の成人の真の平均身長は、データを分析している間に変化しません。それは固定された、しかし未知の数値です。

• ランダム性はデータの中にある：ランダム性は、たまたまサンプリングした人々から生じます。調査を何度も繰り返せば、毎回わずかに異なる結果が得られるでしょう。

• 信頼区間は繰り返しについて：90%信頼区間は、このプロセス全体（データ収集と区間計算）を何度も繰り返した場合、それらの区間の90%が真の平均身長を含むことを意味します。

ベイズ主義者のように考える：すべては信念について

ベイズ主義者は異なるアプローチを取ります。彼らは未知の平均身長を確率分布を持つことができるものとして扱います。

• 未知のものは不確実：データを見る前に、平均身長についての初期の信念（「事前分布」）があるかもしれません。おそらく5フィート7インチ前後だと思うかもしれませんが、確信はありません。

• データが信念を更新する：収集したデータがこの事前の信念を更新し、「事後分布」につながります。この事後分布は、平均身長についての更新された理解を表します。

• 信用区間は確率について：90%信用区間は、（モデルとデータに基づいて）真の平均身長がその範囲内に入る確率が90%であることを意味します。

なぜ哲学が衝突するように見えるのか

核心的な違いはこれです：

• 頻度主義者：事象の長期的な頻度に焦点を当てます。確率は、実験を何度も繰り返した場合に何かが起こる頻度についてです。

• ベイズ主義者：未知のものについての信念や確実性の度合いに焦点を当てます。確率は、現在の知識を前提として、何かがどれくらい可能性があるかの尺度です。

これらの違いは実際に重要なのか？

驚くべきことに、思っているほど重要ではないことが多いです！

• 大規模サンプル：多くのデータがある場合、ベイズ的アプローチと頻度主義的アプローチは非常に似た結果を出す傾向があります。ベイズ的アプローチでは、データが事前の信念を圧倒します。

• 無情報事前分布：ベイズ主義者が「フラット」または「無情報」事前分布（強い初期信念を持たないことを意味する）を使用する場合、結果は頻度主義的手法と密接に一致することがよくあります。

• 実世界の意思決定：ウェブサイトの2つのバージョンをテストしている（A/Bテスト）と想像してください。

  • 頻度主義者は、コンバージョン率の差の95%信頼区間がゼロを除外するかどうかを見るかもしれません。

  • ベイズ主義者は、差の95%信用区間が完全にゼロより上にあるかどうかを見るかもしれません。

  • ほとんどの場合、どちらのバージョンが優れているかについて同じ結論に達します。

情報事前分布を持つベイズ的手法についての注記

情報事前分布を持つベイズ的手法は、異なるアプローチが異なる意思決定とビジネス成果につながる可能性がある数少ない分野の1つです。理論的には、いくつかの利点があります：

1. より速く、より正確な意思決定

2. 過去の情報を活用する能力

3. 基礎となる仮定を議論するための構造化された方法

これらの利点のため、AmazonやNetflixなどの企業のデータサイエンティストを含む一部の人々は、その採用を提唱しています。

しかし、実際には、情報事前分布を持つベイズ的手法はリスクを伴う可能性があります。プリンシパル・エージェント問題と肯定的な結果への一般的なバイアスのため、科学的厳密さの外観を維持しながら実験結果を操作するために誤用される可能性があります。この方法を装備した熟練したデータサイエンティストは、ほぼどんな結果でも作り出すことができます。

結論：それは「解釈」についてのこと

• 頻度主義的信頼区間：あなたの方法の長期的なパフォーマンスについて教えてくれます。特定の区間について確率的な声明をしません。

• ベイズ的信用区間：モデルとデータに基づいて、未知のパラメータについて直接的な確率的声明をすることができます。

両方のアプローチは有効で有用です。選択は多くの場合、次のことに帰着します：

• 事前分布に対する快適さのレベル：事前の信念を分析に組み込むことに快適ですか？

• どのようにコミュニケーションしたいか：長期的な頻度について話すことを好みますか、それとも直接的な確率について話すことを好みますか？

• あなたの分野の慣習：一部の分野では、どちらか一方のアプローチを支持する強い伝統があります。

• リスク許容度：出荷コストが低い、または悪いものを出荷するリスクが低い場合、ベイズ的手法は良いです。なぜなら、p<0.05でのみ出荷する場合よりも、正しい方向により迅速に移動するからです。

結局のところ、ベイズ対頻度主義の議論は主に哲学的なものです。解釈は異なりますが、実際的な影響は最小限であることが多いです。

ベイズ的手法は新しい情報を導入していません。両方の方法は、異なるテストグループから平均と標準偏差を観察します。各アプローチの仮定を理解し、特定の状況とコミュニケーション目標に最も適したものを選択することに焦点を当ててください。確信が持てない場合は、2つの具体的なアドバイスがあります：

1. コミュニケーションのオーバーヘッドを減らすために、シンプルさのために頻度主義を使用してください。

2. どちらのアプローチでも、あなたの決定を賭けとして考えてください - リーダーはしばしば不確実性の下で運営する必要があります。データサイエンティストの仕事は、リスクと確率を推定し、推奨事項を作成することです。決定の質が重要なのです。

「戦争」に巻き込まれないでください。理論的な議論を理解しますが、ビジネス成果に焦点を当ててください。