(仮説検定とは)
仮説検定 とは、ある仮説を設けたときに、その仮説が正しいという前提のもとで、観測した結果が発生する確率を計算し、その 確率の大きさ から仮説の 正否を判断 する方法です。
例えば、コインを6回投げて、表が1回も出なかったとします。歪のないコイン (確率 $p = 1/2 $ ) であることを仮説とすると、この結果が得られる確率は、\begin{align*}
p^{6}=0.0156
\end{align*}ですので、仮説からすれば、表が1回も出なかったことは “稀”な、かなりずれた値となっています。よって、歪のないコインという 仮説は「誤っている」と判断されます。このとき仮説は「棄却される」といいます。
(有意確率(p値)とは)
仮説が正しいという前提のもとで、観測した結果が発生する確率 のことを 有意確率(p値) といいます。上記のコインの例でいれば、有意確率(p値)は0.0156 ということになります。有意確率(p値)が小さいほど”稀”であるので、仮説は棄却されやすくなります。
(有意水準とは)
上記のコインの例では、有意確率 0.0156 を勝手に”稀”と判断しましたが、あらかじめ “稀”と見なす基準を定める 必要があります。その 基準の確率を 有意水準 といいます。
・有意水準を0.05とした場合
有意確率 (0.0156) < 有意水準(0.05) なので 、 “稀” と判断され、仮説は棄却 されます。
このときの結論は、「歪のあるコインである」になります。
・有意水準を0.01とした場合
有意確率 (0.0156) > 有意水準(0.01) なので、“あってもおかしくない” と判断され、仮説は棄却されません。
このときの結論は、「歪のないコインかどうかはわからない」になります。
仮説が棄却されないことが、歪のないコインであるという仮説が真であることを直接的に証明したことにはなっていないことには注意が必要です。