検出力。

検出力とは、探している差が本当にあるとき、それを「ある」と見つけられる確率のことです。目の悪い人が小さな文字を見落とすのと同じで、調べ方が弱ければ、実在する差も素通りしてしまいます。その弱さ・強さを数字にしたものです。

実験や調査の計画を立てるとき、検出力は必要な回数を逆算するための入口として使われます。決めるのは3つ。①どれくらいの差を見つけたいか ②間違って「差がある」と言ってしまう確率をどこまで許すか（有意水準。慣例は5%） ③本当に差があるとき見つけられる確率をどこまで上げたいか（検出力。慣例は80%か90%）。この3つが決まると、必要な標本の大きさが出ます。

小さい差を見つけたいなら、桁で回数が増える

肝は、見つけたい差が小さくなるほど必要な回数が急に増えることです。サイコロを例にすると分かりやすくなります。ある面が出る確率が公平な16.67%ではなく16.88%だった、という程度の偏りを、有意水準5%・検出力90%で検出するには約27万投必要になります。同じサイコロで「5か6が出る確率が33.33%ではなく33.77%」という、ひとまわり大きい差なら約10万投です。差が半分になると、回数はおおむね4倍に膨らみます。

「差はなかった」は、差がないことの証明ではない

ここから、ひとつ実用的な読み方が出てきます。回数の足りない調べ方で差が出なかったとき、それは差がないことの証明にはなりません。単に見つけられる目を持っていなかった可能性が残ります。「何回やったのか」を見ずに「効果は確認されなかった」だけを受け取ると、判断を誤ります。逆に、十分な検出力を用意したうえで差が出なかったのなら、そこには意味が出てきます。

補足：有意水準5%・検出力90%という組み合わせは慣例であり、法則ではない。上記のサイコロの必要投数は、Zacariah Labby「Weldon's dice, Automated」（CHANCE 22(4), 2009）に示された値（270,939投／100,073投）で、片側5%・検出力90%の条件による。検出力を上げる手段は回数を増やすことだけではなく、測り方の精度を上げる、ばらつきの小さい条件で測るといった方法もある。