皆さんは、マーケティング活動の中で、「販促キャンペーンの効果があったのか？」や「ABテストの結果に差はあったのか？」といった疑問を抱いたことはありませんでしょうか？
「よくわからない」「そこまで差はなさそうだけど、Aの方が若干、数値結果が良いからこちらを採用しよう」など煮え切らない結論になりがちではないでしょうか。このようなケースでは、統計学の仮説検定を行うことで、「その結果に有意な差があったのか」を検証することができます。統計の仮説検定にはケースに応じて多くのパターンがありますが、マーケティングにおける事例として、この記事では代表的な「t検定」と「カイ二乗検定」について解説をしています。
【t検定】販促キャンペーンの告知による購買への効果
下記の表は、ある販促キャンペーンの告知をDMで送付する前と後の各顧客の月間の購買金額の集計です。この結果から販促キャンペーンの告知の前後で購買金額が上がったのかをt検定を用いて検証します。
t検定はエクセルのT．TEST関数を使えば簡単に求めることができます。今回は、上図のような引数で計算しています。結果は、0.04（p値）となりました。今回「購買金額が上がったか」の検定のため、上側の片側検定でp値が0.05よりも小さいので、この結果から（95％の確率で）購買金額は上がったといえます。
【カイ二乗検定】広告クリエイティブのABテスト
バナー広告を２種類配信して、次のような結果が出たとします。
この結果から「Aの方が良かった！」と結論づけてはいませんでしょうか？この結果に有意な差があったかをカイ二乗検定を使って検証します。
まず、期待度を算出します。期待度は、「もし全体のCVR(4.7%)だったら」という「期待」を前提としてA、BのCV数を算出します。
AのCV数：3000 ✖️ 4.7% = 141.82
Aの非CV数：3000 – 141.82 = 2858.18
BのCV数：2500 ✖️ 4.7% = 118.18
Bの非CV数：2500 – 118.18 = 2381.82
そして、次に元の値と期待度数の差（乖離）を「（（元の値）- （期待度数））2 ➗ （期待度数）」で求めます。
AのCV数：(150 – 141.82)2 ➗ 141.82 = 0.47
Aの非CV数：(2850 – 2,858.18)2 ➗ 2,858.18 = 0.02
BのCV数：(110 – 111.18)2 ➗ 111.18 = 0.57
Bの非CV数：(2,390- 2381.82)2 ➗ 2381.82 = 0.03
次にカイ二乗値とそれをもとにしたp値を求めます。
カイ二乗値：0.47 + 0.57 + 0.02 + 0.03 = 1.09
p値：※エクセルの関数で計算 =CHISQ.DIST.RT(カイ2乗値,自由度) = CHISQ.DIST.RT(1.09,1)
※自由度：（縦マス数 – 1）✖️（横マス数 – 1）= 1
p値が0.05より大きく、外側にないため、今回の結果は有意な差はないという結果となりました。一見、CVRが5.0%と4.4%で差がありそうに見えますが、このように検定を行うと統計上の差はないという結果となります。
t検定とカイ二乗検定の使い分け
t検定は、連続値に対して2グループの比較を行う時に使います。また、「比較するデータ間に対応関係があるかないか」でも用いる手法が変わります。今回の場合は、各顧客という一人の購買金額の前後を比較しているので「対応関係がある」データとなります。
ちなみに３グループ以上の比較を行う場合には、「分散分析」が用いられます。
t検定が連続値の比較（平均値の差を検定している）をするのに対して、カイ2乗検定は、分割表でまとめられた（カテゴライズされた）データ、つまり割合に差があるのかを比較する際に用いられます。
