ある施策の前後2週間で直帰率が60.0%から59.5%になった。訪問者数は10万と12万。直帰率は改善したと言えるか？

アクセス解析をしているとよくありますよね、直帰率やコンバージョン率が変わったけど、この数値は本当に変わったって言っちゃっていいの？誤差じゃない？って判断に迷うこと。そんなときは統計学の有意差検定を使ってみましょう。

比率の差検定ツール

直帰率やコンバージョン率などに差があるかどうかを、Web上で検定できるツールを作ってみました。

使い方

AとBのサンプル数と比率に値を入力して計算ボタンを押すと、検定統計量を計算して検定を行い、比率Aと比率Bに差があると言えるかかどうかを結果に表示します。

例えば施策前後の直帰率の比較を検定する場合は、施策前をA、施策後をBとして、サンプル数に訪問者数、比率に直帰率を入力します。コンバージョンのA/Bテストを検定する場合は、パターンAをA、パターンBをBとして、サンプル数に訪問者数、比率にコンバージョン率を入力します。

有意水準とは、検定に使う確率のパラメータで、この確率が小さいほど差があるかどうかの判定が厳しくなります。通常は5%でいいでしょう。検定統計量とは、入力値からある公式によって計算される値で、この値が棄却域内に入る確率と有意水準を比べて有意差検定します。検定方法は、二群の比率の差の検定で、z分布を使った両側検定をしています。検定方法の統計的な説明については下の囲みを参照してください。

例

「ある施策の前後2週間で直帰率が60.0%から59.5%になった。訪問者数は10万と12万。直帰率は改善したと言えるか？」

冒頭のこの例題を入力してみると次のようになります。

計算すると検定統計量が2.381となり、有意水準5%で「差があると言えます」ので、直帰率が改善したことになります。試しにサンプル数をそれぞれ1/10にしてみると、「差があるとは言えません」という結果が出ます。サンプル数が10万件もあったので0.5%の差でも違いがあると言えたのですね。

まとめ

この有意差検定ツールは、直帰率の他に、コンバージョン率、A/Bテスト、クリック率、新規/リピーター比率、などの様な「あるサンプル数に対して、あり/なしの2択になる事象の比較」の有意差検定に使えます。アクセス解析でこれらの指標を比較するときに使ってみてください。

「差があるとは言えません」という結果が出たときは、本当に差が少なかったか、サンプル数が十分でない可能性もあります。サンプル数が足りないと感じたときは計測期間を延ばすなどしてサンプル数を増やしてみましょう。サンプル数を増やせない場合は、指標を差が明確に出やすい中間指標に変える方法もあります(例えば指標をコンバージョン率から直帰率に変える)。

有意水準を緩めれば「差があると言えます」という結果が出やすくなりますが、それだけ確度が低くなります。有意水準の値は一般的に5%程度にすることが多いのですが、事象の性質に合わせて人間が決めます。逆に言うと有意水準をいじってしまえばどうにでもなってしまいます。数値は嘘をつきませんが人間の解釈次第で結果が変わってしまうところはまさに「薬(くすり)人を殺さず薬師(くすし)人を殺す」といえます。

また、検定によって数値に差があると言えるかどうかは判定できますが、その要因が施策によるものか、それとも他の要素が絡んでいるかまでは分かりません。要因を明確にするには、他の要素をできるだけ排除したり、相関を調べる必要がありますが、それらについてはまた別の機会に。

検定について 以下は統計学的な説明ですので、興味のない方は読み飛ばしても構いません。 検定手法 ここでは、事象が無作為抽出で十分なサンプルがあると仮定しています。ノンパラメトリック検定の「対応のないデータの二つの母比率の差の検定」を使い、z分布を使った両側検定をしています。z分布を使った有意差検定では、サンプル数の合計が少ない場合(概ね100以下の場合)や比率が極端に偏っている場合(0%または100%にかなり近い場合)にずれが生じるので、それらの場合はフィッシャーの正確確率検定やG検定を使う方が正確ですが、ここでは簡略化してz検定のみを使っています。 片側検定と両側検定 直帰率が「改善したかどうか」を検定するには、本来は片側検定すべきかもしれませんが、ここでは両側検定しています。検定統計量が片側に寄る事が分かっている場合は片側検定を使うのですが、片側検定と両側検定のどちらにするか判断に迷ったときは、両側検定の方が帰無仮説が棄却されにくくなるので、基本的には両側検定を選ぶのが無難です。

関連しているかもしれない記事

None Found