この記事では、WEB広告のABテストの結果を推測統計学の仮説検定を用いて判定する方法を紹介していきます。ABテストの仮説検定には、複数の検定方法がありますが、この記事では、「母比率の差の検定」を用いた方法で説明をしていきます。別の方法として「カイ二乗検定」を用いた解説はこちらの記事で解説しているので関心のある方はお読みください。
https://korekara-marketing.com/statistics-abtest/
導入
次のようなケースをもとに有意差検定（仮説検定）を行います。
新しく作成した広告のクリエイティブの効果を見るためにABテストを行った。従来の広告Aは10,000人に対して100人がクリックをした。（CTR: 1.0%）今回制作をした広告Bは8,000人に対して160人がクリックした。（CTR: 2.0%）広告Bの方がCTRが高かったと言えるだろうか？
結果だけを見ると、広告Bの方が2％とCTRが高いので、広告Bを採用すると判断しがちですが、この結果が、デザインを変えたことにより差が生まれたのか、たまたま発生した差なのかを検証する必要があります。統計学を活用することで、偶然による差なのか、有意な差なのかを判定することができます。
母比率の差の検定とは
今回のABテストのケースでは、2つの母集団を前提にした「母比率の差の検定」という検定方法で考えていきます。1つの母集団とその標本比率の差の検定についてはこちらの記事で扱っています。
https://korekara-marketing.com/statistics-hypothesis-testing/
先ほどのケースを図で示すとこのような関係になっています。
まず広告のターゲットの中から広告配信グループをAとBにランダムに振り分けます。これらが母集団となり、このAとBに振り分けたグループに対して広告AとBをそれぞれ配信することで標本Aと標本Bが抽出されます。そして結果、AのCTRが1％、BのCTRが2％という標本比率にそれぞれなりました。この2つの母集団から抽出された２つの標本比率の差を比較しているのが今回のケースになります。
母集団と標本の関係図で示すとこのようになります。
広告のABテストのケースでは、2つの母集団から抽出された２つの標本比率の差を比較しているという状況になります。このように2つの母集団をもとにした差の検定を「母比率の差の検定」と呼び、標本比率の差が母集団においても差があると言えるかを検定します。それでは、次の章から、この広告AとBのCTRの差の検定を実際にやっていきましょう。
STEP1 仮説を立てる
それでは仮説検定を次の4つのステップに沿って行っていきます。仮説検定の基礎についてはこちらの記事で扱っています。
https://korekara-marketing.com/statistics-hypothesis-testing/
まずは「仮説を立てる」のステップからみていきましょう。このお題に対する帰無仮説と対立仮説をまずは考えてみましょう。否定したい仮説である帰無仮説は、「2つの広告のCTRに差がない」つまり「同じ」という仮説になりますね。一方で、主張したい仮説である対立仮説は「広告Aよりも広告BのCTRの方が高い」という仮説になります。この帰無仮説が正しいという前提で仮説検定をしていきます。
STEP2 判定基準を決める
次は「判定基準を決める」のステップです。このステップでは、帰無仮説の棄却域を決めるためにこれらの観点を決めていきます。
・どのような確率分布に従うか
・有意水準は何％か
・両側検定か片側検定か
「どのような確率分布に従うか」は、nが十分大きいとき、標本比率は正規分布に従います。これは、比率の差においても同様の特性が使え、つまり、nが十分に大きい時、2群の標本比率の差も正規分布に従うと言えるのです。
次に「有意水準は何％か」は、特別な理由がない限りは一般的に設定される5％としましょう。（ここは有意水準1％や10％にすることもありますが、通常は特別な理由がなければ5％で設定をします。）
最後に「両側検定か片側検定か」です。今回はAよりもBが大きいかとなるので、上側の片側検定になります。以上から、帰無仮説の棄却域を設定することができました。
STEP3 検定統計量を求める
次は「検定統計量を求める」です。繰り返しになりますが、nが十分に大きい時、比率の差も正規分布に従います。比率の差についても検定統計量zに変換をしますが、次のような式になります。ややこしい式に見えますが、これも1つ1つ分解して記号の意味を確認していきましょう。
まず「p^1」は広告Aの標本比率なのでCTR1%の0.01、「p^２」は広告Bの標本比率なのでCTR2％の0.02、「n1」はAのサンプルサイズ、「n2」はBのサンプルサイズです。そして「p^」はこれら2つの比率の加重平均値となります。
「加重平均」は、重みづけをした平均値のことです。このp^を先に求めて、この式にこれらの値と合わせて代入するとz値を求めることができます。計算した結果、5.59という検定統計量zとなりました。
STEP4 判定する
最後に判定のステップです。「判定基準を決める」のステップで、上側の片側検定で有意水準5％、という棄却域を定めましたが、この上限値はいくつかを確認しないと先ほど求めた検定統計量と比較ができません。この上限値は標準正規分布に従っているので、標準正規分布表で調べることができます。表の見方は、有意水準をもとにして上限値を見つけにいきます。上側の有意水準が5％なので、5％に最も近いここを起点に横と縦に結び付けて見ると1.64ということがわかります。
よって、上限値1.64に対して検定統計量は5.59となり、結論として帰無仮説を棄却して対立仮説を採択するという判定となり、広告BのCTRの方が広告AのCTRよりも有意に高いという結果になりました。
ぜひみなさんも実務の中で活用いただければと思います。例えば最近ではGoogle広告やFacebook広告でもABテストの機能が備わっているので、結果をここで学んだ知識をもとに正しく読み取ってみてください。
動画講座のお知らせ
この記事の内容を動画講座でも解説をしています。ご興味のある方はぜひご受講ください。
