ABテストで、２つのグループの母平均を検定する（差があるかを検証する）際は、t検定を用いました。
ここでは、３つ以上のグループの母平均を検定する「分散分析」について具体的な事例をもとに解説をします。
「分散分析」は、「分散」をもとに平均を検定しているためそのように呼ばれており、英語表記でANOVA (analysis of variance)とも呼ばれることがあります。
【具体例】広告クリエイティブによるクリック数の差の検証
分散分析には、差の要因が１つの「一元配置分散分析」や要因が複数ある「多元配置分散分析」があります。この記事では、要因が１つ（広告クリエイティブ）の一元配置分散分析について事例で見ていきます。
３つの広告クリエイティブについてクリック数を４〜5日間計測し、次のような結果が出たとします。
また、結果を次のように集計しました。
平均値で見ると、広告Aが高いので広告Aが最もクリック数を生みやすいと判断してもよいでしょうか？もしくは、これは誤差の範囲として差が明確にないと判断すべきでしょうか？それを検証するために３グループ以上の平均値の検定を行う分散分析を用います。
仮説の設定
検定なのでt検定同様に帰無仮説と対立仮説を立てます。今回は次のように立てられます。
帰無仮説：広告Aの母平均＝広告Bの母平均＝広告Cの母平均となる。
対立仮説：広告A、B、Cのいずれかの母平均に差がある。
※分散分析では、どのグループ間に差があるのかまではわかりません。それを特定するには「多重比較」が必要です。
この帰無仮説をもとに検定を行います。
偏差平方和
分散分析では、次のような項目を求めて検定を行います。（この表を「分散分析表」と言います。）
分散分析は、「要因」（「群間」、「水準間」とも表現される）の差が、「残差」（偶然による誤差。「郡内」とも表現される）よりも大きいかを統計的に判断し、その「要因」が意味のあるものかを分析するのです。
先ほどの表をもとに「要因」と「残差」の「偏差平方和」をまず求めていきます。「要因」は、「群間」「水準間」とも表現されますが、それは下図のように「各群の平均」と「全体の平均（全群の平均）」とを比較して計算するため「群と群の間（水準と水準の間）」という意味で「群間」「水準間」となります。
要因（群間／水準間）の偏差平方和
4(360.8 – 320.8)2 + 4(291.5 – 320.8)2 + 5(312.2 – 320.8)2 ≒ 10187.8
一方、「残差」（郡内）は、各群の値と各群の平均を比較するため「群の中（内）」という意味で「群内」と呼ばれます。
残差（群内）の偏差平方和
(220 – 360.8)2 + (300 – 360.8)2 + ・・・ + (344 – 291.5)2 + (311 – 291.5)2 + ・・・+ (200 – 312.2)2 + (313 – 312.2)2≒ 72394.6
計算結果は次のようになります。また、全体（総変動）は、要因と残差の和となります。
自由度
次に「自由度」ですが、覚え方としては、「変化する値」から「固定された値」の数を引くというイメージで、下図の通り、自由度は、3-1で2となります。
一方、残差は、各群の値により、各群の平均値が決まるので、自由度は、13 – 3 = 10となります。
全体の自由度は、こちらも要因と残差の和になり、結果、自由度は、下記となります。
不偏分散
不偏分散（平均平方）は、偏差平方和を自由度を割ります。
要因の不偏分散：10187.8 ➗ 2 = 5093.9
残差の不偏分散：72394.6 ➗ 10 = 7239.5
分散比（F値）／p値
分散比（F値）は、要因を残差で割ります。これは、要因の大きさを残差（偶然の誤差）との比で表しているイメージなので、大きいほど要因の影響が大きいことになります。計算すると分散比は0.７となります。
p値は、F値をもとにF分布表から求めます。F分布表より、上側確率（p値）が0.05のとき、自由度が２と１０のF値は0.4103です。
算出したF値は、0.７のため棄却域には入っていません。（このときのp値はエクセルの計算ソフトで算出すると0.518となります。）この状況を図で表すとこのようになります。
よって今回の結果では、帰無仮説は棄却せず、採択するので、残念ながらクリエイティブ間には有意な差はあるとは言えないという結果となりました。
