95％当たる仕組みでも困ることがある
ある機械が「判定正解率95％」と表示されていれば、ほとんど間違えない優秀な仕組みに見えます。しかし何を判定する機械なのか、対象にどのくらいの頻度で問題が含まれているのかによって、利用価値は大きく変わります。正解率は全体のうち正しく判定した割合であり、特定の種類の誤りを直接示す数値ではありません。
たとえば大量のメールから迷惑メールを探す装置を考えましょう。ほとんどが普通のメールなら、全部を「普通」と判定するだけで見かけの正解率が高くなる場合があります。しかし迷惑メールを一通も見つけられないなら、目的を達成しているとは言いにくいでしょう。
百件に五件の誤りで終わらない場合
100件の判定結果で95件正しく5件間違えたなら、確かにそのデータに対する正解率は95％です。しかし実際に何を間違えたかが重要です。危険なものを見逃した五件なのか、安全なものを危険だと誤判定した五件なのかで影響は違います。
また試験時の100件と実際に扱う一万件では、事象の発生割合が違うかもしれません。評価に使ったデータが現実の対象を代表していなければ、95％という値をそのまま運用へ適用できません。数字の裏にある試験条件を確認しましょう。
偽陽性と偽陰性を分けて数える
迷惑メール判定で、本当は普通なのに迷惑と判定することを偽陽性、迷惑なのに普通と判定することを偽陰性と呼びます。名称は「陽性」を何と定義したかによって変わります。どちらも正解率を下げますが、利用者にとっての困り方は同じではありません。
例えば重要な連絡が迷惑フォルダへ入るのは偽陽性、不要な広告が受信箱へ入るのは偽陰性です。どちらを減らしたいかによって、判定基準の設定は変わる場合があります。正解率一個だけではこの交換関係が見えないため、誤りの内訳を読む必要があります。
まれな事象ほど見た目にだまされる
一万件のメールのうち迷惑メールが100件、普通のメールが9900件だとします。全部を普通と判定する装置は、9900件を正しく分類したので正解率99％です。しかし迷惑メールの検出率は0％です。高い正解率と役に立たない検出が両立する例です。
このように、調べたい事象が少ない集団では、普通のものを正しく判定するだけで全体の成績が良く見えます。病気の検査や不正検知でも似た計算が登場しますが、実際の検査結果の解釈には専門的な条件が必要です。ここではあくまで分類の数学を説明しています。
二つの成績表を作って比べる
判定の結果を「本当は迷惑」「本当は普通」という行と、「迷惑と判定」「普通と判定」という列で表にします。正しく検出した件数、見逃した件数、誤って除外した件数を別々に記録します。これを混同行列と呼び、正解率だけでは隠れていた働きを明らかにできます。
例えば100件の迷惑メールのうち90件を検出し、9900件の普通のメールのうち990件を誤って迷惑としたとします。検出したと表示される1080件のうち本物は90件だけです。検出したときに本当に迷惑である割合は90÷1080で約8.3％になります。数値は説明用の仮定です。
利用目的によって大切な指標が違う
迷惑メールを取り逃がさないことが最優先なら、見逃しの割合を重視します。重要な連絡を誤って隠すことが最優先なら、偽陽性の割合を重視します。利用者はどちらの失敗を避けたいかを考え、仕組みの設定や確認方法を決める必要があります。
もちろん片方を完全にゼロへできるとは限りません。判定を厳しくすれば見逃しが減っても、普通のメールまで迷惑とする割合が増える場合があります。性能評価は一つの数字で勝者を決めることではなく、運用上の目的へ合うかを確かめる作業です。
正解率を高く見せる簡単な方法
普通のメールが99％の集団では、全部普通と答えるだけで99％正解になります。けれど実際に必要なのが迷惑メールの検出なら、この装置に役割はありません。同じ正解率でも、見つけたい対象をどれだけ検出できたかという再現率や、検出したもののうちどれだけ本物かという適合率を見る必要があります。
また判定対象の構成が変わると結果も変わります。試験用のメールには迷惑メールが半分含まれていても、実際の利用者の受信箱では数％しかないかもしれません。評価用データの割合を知らずに運用の成績へ置き換えると、誤判定の負担を見誤ります。目的と環境を合わせた検証が重要です。
間違いにかかる費用が違う場合
迷惑メールを普通の受信箱へ入れる間違いと、大事な連絡を迷惑フォルダへ隠してしまう間違いでは、利用者への影響が違います。だから同じ正解率の二つの装置でも、一方は使いやすく、もう一方は困ることがあります。何を一件の失敗として評価し、その重さをどう考えるかを明確にしましょう。
学校のテストの正解率なら全問題を同じ重みで数えることがありますが、現実の自動判定ではすべての間違いの影響が等しいとは限りません。精度の数字を読むときは、何を達成したいのか、どんな間違いを避けたいのかを先に考えます。AIの性能評価にも、この基本が役立ちます。
判定を評価するデータにも偏りがある
評価用のメールが特定の時期や送信者だけから集められていると、ほかの環境では成績が変わる可能性があります。ある種類の迷惑メールばかり含んでいれば、それを見つけるのが得意な装置の成績がよく見えるかもしれません。正解率という数値は、何をどのように選んで試したかと一体です。数字を比べる前に、対象の集団が自分の使用場面に近いかを確認しましょう。
「正解率」の次に聞くこと
正解率95％という表示に出会ったら、対象は何件か、本当に見つけたいものは全体の何％か、どの種類の誤りが何件あるかを確かめましょう。評価用のデータと実際の環境が近いかも必要です。同じ機械でも使用場面が変われば誤りの意味が変わります。
高い正解率を疑うことが目的ではありません。全体の平均だけでは、自分が避けたい失敗を確認できないと理解することが目的です。数字の「大きさ」だけでなく、「何を正しくし、何を間違えたか」を読む力は、AIや自動判定の時代に役立つ考え方です。
