機械学習の技術はマーケティングの世界でも活用が進んでいます。この記事では、機械学習の分類問題に関して「混同行列」を用いたモデル評価の方法を解説します。
機械学習の種類
機械学習には大きく「教師あり（分類問題／回帰問題）」と「教師なし」に大別されます。それぞれの特徴は以下の表のようにまとめられます。
| 機械学習の種類 | 目的変数 | アルゴリズム | 事例 | 精度評価 |
| 教師あり（分類問題） | フラグ | ・決定木／ランダムフォレスト（分類木） ・ロジスティック回帰 | ECサイトの行動履歴から次月の解約の有無を予測 | ・平均二乗誤差 ・平均絶対値誤差 ・決定係数 |
| 教師あり（回帰問題） | 連続値 | ・決定木／ランダムフォレスト（回帰木） ・線形回帰分析 | ECサイトの購入履歴から次月の購入金額を予測 | ・正解率 ・再現率 ・適合率 ・F値 |
| 教師なし | – | ・主成分分析 ・k-means（クラスタ分析） | ECサイトの行動履歴をもとにユーザーをグループ分け |
この記事では、教師あり学習の「分類問題」について説明していきます。
分類問題とは
分類問題では、目的変数がフラグやラベルなどのカテゴリカルデータ（該当するものを0, 該当しないものを1とするなど）のものを予測します。例えば、ECサイトのユーザーの行動履歴からその人が翌月に解約をするのかしないのかなどを予測します。この記事では、「迷惑メールの振り分け」を事例に具体的に見ていきます。
混同行列で分類問題の精度評価
分類問題か回帰問題なのかで、モデルの精度を評価する指標が異なります。分類問題の場合、以下が代表的な評価指標となります。
| モデルの評価指標 | 概要 |
| 正解率 | 全データのうち、実際にPositiveなデータをPositiveと予測し、実際にNegativeなデータをNegativeと予測した割合 |
| 再現率 | 実際にPositiveだったデータのうち、予測がPositiveだった割合 |
| 適合率 | Positiveだと予測したデータのうち、実際にPositiveだった割合 |
| F値 | トレードオフ関係にある適合率と再現率の調和平均 |
これらの指標は、「混同行列」と言われる表をもとにします。この記事では、「迷惑メールの予測」を具体例として混同行列を用いて各指標を説明していきます。
＜迷惑メールの予測と実際を例にした混同行列＞
正解率（Accuracy）
まずは、正解率（Accuracy）です。次のように「全てのデータ」に対して「予測が的中したデータ」の比率となります。
再現率（Recall）
再現率は、「実際に迷惑メールだったデータ」のうち、「迷惑メールであると予測して的中できたデータ」の割合です。
適合率（Precision）
適合率は、「迷惑メールと予測したデータ」のうち「実際に迷惑メールと的中できたデータ」の割合です。再現率との違いに注意しましょう。
F値（調和平均）
再現率と適合率は実はトレードオフの関係にあります。再現率を高めるために迷惑メールであると多めに予測すると、適合率（「迷惑メールと予測したデータ」のうち「実際に迷惑メールと的中できたデータ」の割合）は当然高まります。このような関係のため、F値は調和平均によりこれらの指標のバランスをとった指標となっています。
調和平均についてはこちらの記事でも解説しています。
https://korekara-marketing.com/statistics-average/
以上、初めてだと混同しそうな混同行列ですが、各指標の意味を正しく理解して評価できるようにしましょう。
