ai_math_runningのブログ

最近はAI関係の記事が多い予定です。一応G検定持ってる程度の知識はあります。

「p値とは何か?」を説明できますか

この記事の概要

  1. p値を理解するには統計学の基礎知識が必要
  2. 統計学は「自然界の現象にはばらつきがあり」「測定値には誤差がある」から必要
  3. 知りたい事・言いたい事に対し「逆の事」を考える
  4. その「逆の事」が正しい確率がp値
  5. p値が十分に小さければ「逆の事」は滅多に起こらないので「言いたい事」が言える

この記事のお題

今日のお題は、こちらの記事についてです。
diamond.jp
まず、その前に、この記事の前の記事が素晴らしかったんです。
【「0.05」の謎】統計学好きでも意外と知らない「統計的に有意」の本当の正体 | Science Fictions あなたが知らない科学の真実 | ダイヤモンド・オンライン
なので、その記事のブクマに次のようなコメントを書きました。

良記事。有意差の基準は便宜的なものというのは大抵の教科書には書かれていないし、ぼぉっと勉強してると疑問にも思わないだろう。実は計算手順よりこういう話の方が重要。計算はコンピュータがやってくれる訳だし。

その続編の記事だったので、期待していたのですが、ちょっと期待はずれだったかな。
というのは、p値の説明としては、これじゃぁ分かりにくいだろう、と思ったので。
なので、p値の説明を試みてみようと思います。

p値の説明に必要な事

まず、ブクマには書きましたが、お題となった元記事の説明は、間違ってはいません。
ただし、元記事の説明で理解できる人は、そもそも読む前からp値について理解していた人じゃないかと思うんです。

というのは、p値の理解のためには、特に2つの統計の基礎知識が必要だと思うのですが、
その説明が不十分なんです。
なので、この記事では、そこを補いたいなと思います。

統計学はなぜ必要なのか?

そもそも、統計学なんて、ややこしいものが、なぜ必要なのか、という話から始まります。
それは、2つの要因があって

  • 自然界の現象にはばらつきがある
  • 測定値には誤差がある

これによって、多くの物事では、実は正確な値というのは分からない訳です。
(逆に、ばらつきや誤差がなければ統計なんてものは不要で、ただ測定して比較すれば良いだけになります。)
そこで、複数回測定する事で、正確な値を推測しよう、というのが統計学の役割です。

元記事の例で言えば、スコットランド人の男性や女性の身長には個人差があります。
なので、1人だけ取り出して比較した場合に、たまたま女性の身長が男性より高いという事も起こる事があります。
ただ、その1サンプルを持って、「スコットランド人は男性より女性の方は身長が高い」なんて言えない訳ですよね。
というのも、個人差・ばらつきのある人の身長を1人ずつ比較しても、偶然背の高い人を調べていたり、逆に背の低い人を調べていたりしているかもしれないからです。
そこで、男女とも、ある程度の人数の人を選び出して、集団として比較する必要があります。
その時の「集団として比較する」方法が統計学になります。
なので、統計学は、「ばらつきがあるから必要」というのがポイントになります。

言いたい事を言うために逆の事*1を考える

元記事の例だと、
スコットランドの男性はスコットランドの女性より背が高い」
というのを言いたい訳ですね。
その時に、その逆のこととして
スコットランドの男性と女性の身長に差はない」*2
と言う事を考える訳です。

なんで、そんなややこしい事をしているのか、と思われるかもしれません。
これって、数学では実は常套手段なんです。
例えば「背理法」というテクニックがあって、
「ある事を正しい」と言うために、逆の事を考え、逆の事が間違っていると示す事で、元々言いたかった事が正しい事を証明します。
逆の事の方が考えやすい、というのは頻繁にあって、そういう時に、このテクニックを使うと簡単に問題が解けたりします。
統計学の場合も、似たようなテクニックを使っている訳です。


この2つの事(ばらつきがあるから統計が必要 / 言いたい事と逆の事を考える)を踏まえると、
p値がどういうものか、というのが、ぐっと見通しが良くなります。

「p値」とは「逆の事」が正しい確率

それで、p値の事に話は戻るんですが、大事な事は、もう8割方、説明は終わっています。
p値の定義、それは、見出しにも書いた通り、
「言いたい事と逆の事」が正しい確率
になります。

元記事の例で言うなら、
スコットランドの男性と女性の身長に差はない」というのが正しい確率が、p値になります。
そして、元記事では、それが3%だと言うんですね。
それは、どういう事かと言うと、

男性だろうが女性だろうが、身長にはばらつきがあるため、選び方によっては、背の高い人を多く選んでしまったり、逆に背の低い人を多く選んでしまう可能性がある。
なので、男女の身長に差がない場合も、選び方によって「男性の方が平均で10センチ高くなる」事も起こってしまうかもしれない。
ただし、その確率は、数学的に計算できて*3、その確率は3%になる

という事です。

この3%をどう評価するかは、微妙な所ではあるのですが、十分に小さいと見なしても良いのかな、と思います*4
つまり「差がない確率は小さい」、つまり「差がある(男性の方が有意に背が高い)」と考えて良いでしょう、という事です。

逆に言うと、この結果を持って
スコットランドの男性はスコットランドの女性より背が高い」
と言うのは、間違っている確率が3%ある、という事です*5
p値とは、そういう数字なんですね。
だから、元記事にも書いているように、「p値は低ければ低いほど好ましい」訳ですね*6


以上が、p値の説明になります。
あまり長くなると読むのが大変になるので、p値が何かをざっと掴むのに要らない知識は、かなり思い切って省いています。
この記事で、統計に興味を持った方は、是非とも統計をしっかり勉強して欲しいです。

*1:統計の用語では「帰無仮説」と言います。

*2:逆というと「女性の方が高い」となりそうですが、統計学のテクニックとして「同じ場合」を考えます。

*3:これは「同じである」という仮説にしたからこそ計算できる訳です。詳細を知りたい人は統計学を勉強して下さい。

*4:一般的な統計解析では、有意水準は5%にする事が多いです。つまり5%より小さければ、十分に小さいと考えています。

*5:この「間違っている確率」を「第1種の過誤」と言います。

*6:元記事の1つ前の記事にある「有意水準は恣意的に決められただけだ」と言うのは、これを踏まえれば理解しやすいと思います。