有意なんて無意味

『統計学を拓いた異才たち―経験則から科学へ進展した一世紀』を読み終えた。

引用部分なので孫引きになるが、デミングによる以下の指摘が、目から鱗だった。

「実際の問題はＡとＢ、二つの処理の違いが有意かどうかなどではない。（両者に）差異があるとすると……その差異がどんなにわずかなものであっても……実験をかなりの回数くり返せば有意となる……ことがわかるのだ」
ゆえに、デミングにとって有意差を発見することは何の意味もない。重要なのは、差異の程度を見出すことである。

確かに、疑うべくもなくその通りだ。
検定手法が同じなら、検出力（わずかな差異でも有意かどうか）は、標本サイズと、差異の程度で決まる。
直感通り、標本サイズが大きいほど、検出力が高くなる。
つまり、差異の程度が小さくても、有意であるという結果が得られるようになる。

そこまでは概念レベルで理解していたけれど、そこから「有意差を発見することは何の意味もない」という結論には全く至らなかった。

特定の統計手法を適用し、差異が有意であるという結果が出たとき、差異の程度を気にしてこなかったからだろうなぁ。
反省することしきり。