myscratchpad

帰無分布で有意になる数値が対立仮説の分布で得られる確率を検定力という
帰無分布とはH = 0とする普通の検定 (フィッシャー式) で使われる分布
対立分布とは (そんな呼び方はないかもしれないが) 対立仮説としてH = 5くらいを考えたとしたら母集団の数値が5のサンプリング分布。通常、実際に実験や調査を行って算出した標本の平均値やら相関やらを用いる

検定力が低いとは、結局サンプルサイズが小さいか分散が大きくてサンプリング分布の標準誤差が小さい、つまり母数の推定精度が低いということ。ゆえに、標本の数値が帰無仮説を棄却しても、対立仮説の分布上ではそれより小さい (有意にならない) 数値が出てくる、すなわち第2種の過誤を犯す可能性が高いということ。

検定力を上げるとはサンプリング分布の標準誤差を小さくして、幅を狭くする。そうするともう一回サンプリングして棄却域より小さい数値が得られる確率は小さくなる。
サンプリング分布の標準誤差は大体分母にサンプルサイズを入れるので、サンプルサイズを大きくすれば検定力は高くなる。

なお、原理的には例えば平均値なら標準偏差を小さくすれば標準誤差 (分子だから) も小さいので検定力は高いし、また群Aと群Bの差が大きければ分布の幅が広くても対立分布で棄却域より小さい値が得られる確率は小さくなる。


検定力分析の使用法

• 実験・調査で得られた数値を母数とするサンプリング分布で、棄却域より大きい数値が得られる確率 (第2種の過誤を犯さない確率) を調べる。高いと検定力が高いということ
• 実験・調査をやる前に、母集団の平均値とかの差はこのくらいにだろうと予想する。サンプリングの数値にはばらつきがあるので、きちんと想定した母集団の数値が得られるサンプルサイズを決める。ぶっちゃけていえば、サンプリング分布の幅を小さくして有意になる (帰無仮説を棄却し、かつ対立仮説の面積を占める) サンプルサイズを決める (いつも思うんだけど、最初から平均値差とか相関を予測しろって、先行研究とか予備調査から調べておけってことか？仮にそうしたとしても、そんなに簡単に調査の結果なんか予測できないだろう。みんなできるの？)