シンプソンのパラドックスとデータ解釈

Bletchley Parkの統計学者で元暗号分析家であるEdward Hugh Simpsonは、1951年の技術論文で彼の名前を取った統計現象を説明しました。 Simpsonのパラドックスは、データに関する私の好きなことの1つを強調しています：現実世界に関する優れた直感の必要性と、ほとんどのデータがはるかに大データサイエンスの芸術は、データを超えて見ている—その隠された現実がどのように見えるかのアイデアを得るための方法やツールを使用し、開発。シンプソンのパラドックスは、懐疑論と現実世界に関するデータの解釈の重要性、そして単一のデータ視点から全体の話を見ようとすることによって、よ

パラドックスは比較的簡単に述べることができ、統計的に訓練されていない視聴者にとって混乱と誤報の原因となることが多い:

シンプソンのパラドックス:
データをグループに入れたときに存在する傾向または結果で、データが結合されたときに反転または消失します。

シンプソンのパラドックスの最も有名な例の1つは、UC Berkleyのジェンダーバイアスの疑いがあります。 1973年の学年度の初めに、カリフォルニア大学バークレー校の大学院は、彼らの男性の志願者の約44％と彼らの女性の志願者の35％を認めていました。物語は通常、学校がジェンダー差別のために訴えられたことになりますが、これは実際には真実ではありません。しかし、学校は訴訟を恐れていたので、統計学者のPeter Bickelにデータを見てもらいました。彼が発見したことは驚くべきことでした：4つの部門のうち6つの部門で女性に有利な統計的に有意なジェンダーバイアスがあり、残りの2つでは有意なジェンダーバイアスはありませんでした。 Bickelのチームは、女性が全体的に応募者の割合が少ない部門に応募する傾向があり、この隠された変数が、データ全体に存在する傾向を逆転させるように、受基本的に、Bickelのチームが学校が部門に分かれていることを説明するためにデータ視点を変更したとき、結論は反転しました！

視覚的な例：データがいくつかの色で表されたカテゴリによってグループ化されると、全体的な傾向が逆転します。

シンプソンのパラドックスは意思決定を困難にする可能性があります。可能な限りデータを精査して再グループ化し、再サンプルすることができますが、すべての異なるカテゴリから複数の異なる結論を引き出すことができ私たちは、私たちが探しているものを知り、真実を公正に表現するための最良のデータ視点を選択する必要があります。ビジネスの簡単な例について考えてみましょう。

私たちが清涼飲料水業界にいて、私たちが生産した二つの新しい味の中から選択しようとしているとします。私たちは、二つの味の世論をサンプリングすることができます—のは、我々は忙しいエリアで各味のための二つのサンプリング屋台を設定し、彼らは新しい味を楽しむ場合は、各屋台で1000人を尋ねることによってそうすることを選択したとしましょう。

80%の人が”罪深いイチゴ”を楽しんでいたのに対し、75%の人が”情熱的な桃”を楽しんでいたことがわかります。だから、”罪深いイチゴ”が好ましい味である可能性が高くなります。

さて、我々のマーケティングチームが調査を行っている間に、飲み物をサンプリングした人の性別などの他の情報を収集したとします。性別でデータを分割した場合はどうなりますか？

これは、男性の84.4％と女性の40％が”罪深いイチゴ”が好きだったのに対し、男性の85.7％と女性の50％が”情熱的な桃”が好きだったことを示唆しています。私たちが考えるのをやめると、これは少し奇妙に見えるかもしれません: 私たちのサンプルデータによると、一般的に人々は”罪深いイチゴ”を好むが、男性と女性の両方が別々に”情熱的な桃”を好む。これはシンプソンのパラドックスの一例です！
私たちの直感は、人が男性であるか女性であるかの両方で好まれる味は、性別が不明な場合にも好まれるべきであり、これが真実ではないことを知る

潜んでいる変数

シンプソンのパラドックスは、データを複数の別々の分布に分割する隠れた変数があるときに発生します。このような隠れた変数は、潜んでいる変数と適切に呼ばれ、識別するのが難しいことがよくあります。幸いにも、これは私達の清涼飲料の例の場合ではないし、私達のマーケティングのチームはすぐに新しい味を見本抽出する人の性が意見に影響を与えていることを見ることができるべきである。

パラドックスを説明できる1つの方法は、潜んでいる変数（性別）と少しの確率論を考慮することです:

P(好きなイチゴ)=P(好きなイチゴ|男)P(男)+P(好きなイチゴ|女)P(女)

800/1000 = (760/900)×(900/1000) + (40/100)×(100/1000)

P(好きな桃)=P(好きな桃|男)P(男)+P(好きな桃/女)P(女)

750/1000 = (600/700)×(700/1000) + (150/300)×(300/1000)

セックスの限界確率（P（男性）とP（女性））は、’Sinful Strawberry’の場合に合計確率が大幅にシフトする重みとして考えることができます男性の意見に向かって。私たちの”情熱的な桃”サンプルにはまだ隠された男性の偏見がありますが、それはそれほど強くはないため、女性の意見の割合が大きく考慮されていこれは、サンプル内で分離されたときに各性別がそれを好む可能性が高いにもかかわらず、一般集団がこの風味を好む限界確率が低いことを結

何が起こっているのかを視覚化する:

各色の円は、それぞれの味をサンプリングした男性または女性のいずれかを表し、各円の中心の位置は、そのグループの味が好きな確率に対応します。両方のグループがさらに右にあることに注意してください（より高い確率を持っています）桃を好きにするために。円が成長するにつれて（すなわち、サンプルの比率が変化する）、我々は味を好むの限界確率がどのように変化するかを見ることができます。周辺分布は、サンプルが潜んでいる変数（性別）に対して重み付けされるにつれてシフトして切り替わります。

この例では、マーケティングチームが達成したいものに応じてどちらかのデータ視点を選択することとのトレードオフがあるため、調査結果はかなり決定的ではありません。グループ化を考慮し、私たちの調査結果が決定的ではないことを認識することは、不安定な結論を考え出すよりも私たちのビジネスにとってより有用であり、これを報告することは、図面ボードに戻って、本当の洞察を生み出すより詳細な研究を再サンプルして計画することができるようにする正しいことです。