統計一口メモ 第10話【なぜ3群以上の比較にt検定を使ってはダメなんだろう?】

名古屋市立大学大学院医学研究科 非常勤講師 薬学博士 松本一彦

Aさんの疑問:専門誌に対照群と各群で、2群間の比較をして投稿したら「t検定の繰り返しはダメ」とレフリーコメントが返ってきました。なぜ、ダメなのかがわかりません。

§1. t検定とは?

    t検定の目的は「平均値の差」が「誤差」の何倍あるかを知ること。

    まず t統計量を下記の式から計算します。

Vの計算が「平方和の和」を「自由度の和」で割ることに注意です。

上の計算式とエクセル関数の使用でP値まで出す方法がわかりました。

簡単にいうと分子の「平均値の」を分母の「標準誤差の和」で割るということ。大事なことは、この分母は2群しか足していないことです。論文のように多群の場合は、分子は2群の差で、分母は全部の標準誤差が足されます。すなわち数が大きくなりt値が小さくなります。有意差が出にくくなります。Pharmaco Basicでは次のように表示されます。

§2.質問への回答

<回答その1>:多群でt検定を使って、対照群と投与群を比較すると、各検定は独立ではなくなります。つまり、対照群が共通ですから、これが変わるとそれに伴って、全部の投与群が影響を受けます。それがDunnett氏が注意した点です。

<回答その2>:もう少し、確率論的立場から解説します。2群の比較において、独立な10回の比較をくり返すと、“少なくとも1回”は5%有意で差ありと出る確率はいくらでしようか?

Brown氏の例が、よく目にします。それは次のような例です。

「あるレストランの地下にはたくさんのワインが貯蔵されていますが、20本に1本、すなわち5%の割合で、酢っぱくなった不良品が混入している。客がやってきて1本のワインを注文するとき、ソムリエは長い目で見て20回に1回は冷汗をかいて謝ることになる。-方、パーティには10本単位でワインをだすことになっているが、1本でも酢っぱいのが混ざっていると、パーティはパーになる。

1本あたり 5%で不良品というときにはパーティあたり40%およそ5回に2回の割合で謝るしまつになる(Brown)。く佐久間昭:医学統計Q&A、 金原出版)」

酸っぱいワインが5%もあること自体は現実的ではないのですが、そこは我慢して、5%という数字にこだわりましょう。さて、ここで、なぜパーティあたり 40% にもなるのか考えてみましよう。

まず、確率の復習からはいります。サイコロを6回ふって、「少なくとも1回は1がでる確率」を知りたいものとします。まともに計算するならば、1が1回だけ出る確率、1が2回出る確率——-中略——-1が6回出る確率のすべてを計算して加え合わせなければなりません。

この場合には「少なくとも1回は1が出る」ことが起こらない確率、すなわち「1回も1が出ない確率」をまず求めて、それをlから差し引く方がずっと楽です。

1回ごとに1が出ない確率は1-1/6だから、6回とも1が出ない確率はそれを6回かけ合わせればいい。 したがって、「少なくとも1回は1が出る確率」は、

になります。そこで、先ほどのワインの問題ですが、10本単位で出したときに、パーティあたり

約40%に不良品が入る可能性があるということになります。

ここで、本題に入りましょう。A.B.Cの3群間の比較を行うときに、各2群間の組み合わせでt検定をしようとすれば A vs  B,  A vs C,  B vs Cの3通りのt検定を行うことになります。

各t検定の危険率を5%、すなわち「実際には差がないのに、たまたま差があるように判定される確率が5%ずつある」とすると「少なくとも1つの組み合わせがたまたま有意差あり」と判定される確率は1から3つの組み合わせすべてが「有意差なし」となる確率を引いたものだから、

となり、この検定全体では危険率が14%となってしまいます。5%の危険率で検定しているつもりが、14%の危険率、すなわち過剰評価していることになり、レフリーはそれを指摘するわけです。

群の数が増えれば増えるほど、全体の危険率は5%よりはるかに大きくなるわけです。実際には差がないのに、たまたま有意差ありとされる確率が増えてしまいます。

以上の理由で、多処理を同時的に試験して,つぎつぎに2群を取り出しては5%の危険率で2標本の t 検定を繰り返してはいけないということになります。

※僕のつぶやき:回答1でDunnettさんが言ったのは、対照群、A, B, Cとあったときに、対照群が繰り返し使うことになるからダメと言ったのは理解できるけど、回答2で確率論的に解釈したのとは、少し違う気がするんだなー。対照群が違えば、その2群の検定は独立しているように見えてもダメなんだ。t検定を並べてやることだってあるんだけど、その都度Bonferroni補正してαを1/k(回数)で割らなければいけないと統計家はおっしゃる。とりあえずレフリーコメントに応えられるように多重比較をしっかり勉強しておかねば。

以上