大きな数字には、必ず分母がある
広告に「満足度90％」と大きく書かれていると、十人に九人が満足する優れた商品と思えます。ところがこの数字が、どのような人を何人調べた結果なのかは表示だけでは分かりません。購入者1000人に尋ねたのか、回答した10人に尋ねたのかでは、数字の信頼性は違います。
さらに調査の質問が「やや満足」を満足へ含むかどうかによっても割合は変わります。満足度という言葉は便利ですが、何をもって満足としたかを定義しないまま他の商品と比べることはできません。最初に分母と質問の形、回答の選択肢を確認しましょう。
回答しなかった人はどう扱われる？
100人の利用者へ調査を送り、20人だけが回答し、そのうち18人が満足と答えたなら、回答者の満足度は90％です。しかし利用者全体の90人が満足したと確認したわけではありません。残る80人がどう感じているかは分からないからです。
強い不満を持つ人だけが回答したり、熱心なファンだけが回答したりすることもあります。回答の偏りがあれば、回答者数を増やすだけで解決するとも限りません。回答率、対象者の選び方、調査方法を知ることは、見栄えのよい数値より重要な場合があります。
「購入した人」だけでは比較に偏りが出る
有料サービスで現在も使い続けている人だけに尋ねれば、途中で退会した人の意見は含まれません。結果が高い満足度でも、調査の対象として選んだ集団がすでに満足しやすい人へ偏っているかもしれません。だから調査結果は、何についての評価かを具体的に示す必要があります。
反対に、特定の利用者だけへ尋ねた調査が無価値というわけではありません。「継続利用者の満足度」を知りたい目的なら、それに合った対象です。ただし「全利用者の満足度」や「これから買う人も同じように満足する」といった別の結論へ広げることはできません。調査目的と母集団を合わせるのが基本です。
回答の選択肢が結果を変える
「非常に満足」「やや満足」「どちらでもない」「やや不満」「非常に不満」という五段階なら、上の二つを足して満足率を計算できます。一方「おすすめしたいですか」という質問は満足とは別の概念です。似た数字でも、調べている心理や行動が異なる可能性があります。
さらに商品を使ってすぐの回答か、数か月後の回答かでも評価は変わります。購入直後に感じる喜びと、長く使って気づく不便さは同じではありません。二つの広告で満足度が95％と90％なら、まず質問と時点、対象者を並べてください。数字の差に意味があるかはその後です。
誤差は回答者数だけで決まらない
無作為に選ばれた標本なら、一定の仮定の下で標本誤差の範囲を考えられます。内閣府の解説でも、回答者数や割合によって標本誤差が異なることが示されています。しかし標本誤差の式だけで、回答しなかった人の偏りや質問文の誘導まで消せるわけではありません。
たとえば回答者100人と1000人を比べれば、同じ抽出法であれば一般に後者の方が偶然によるぶれは小さくなります。それでもインターネット上で自由に参加できる調査なら、集団の代表性を別に検討する必要があります。「人数が多いから真実」と短絡しないことが大切です。
広告の数字を三つの質問で確かめる
満足度を見たら、まず「誰に聞いたか」、次に「どう聞いたか」、最後に「何人が答えたか」を確認します。調査主体や調査年月も分かれば、評価の時点と責任の所在がはっきりします。詳しい説明が見つからない場合は、数字が必ず誤りと決めつけず、検証可能性が低いと扱いましょう。
自分でアンケートを作るなら、質問文を誘導的にせず、回答しない選択肢も用意します。身近な人だけへ尋ねた結果を社会全体の意見と呼ばないことも必要です。広告を批判する視点は、そのまま公正な調査を設計する視点に変えることができます。
表示の90％を自分の言葉に直す
広告に「90％が高評価」と書かれていたら、まず「調査に回答した人のうち、特定の回答を選んだ人が90％」という文章へ戻してみます。何人が回答したか分からなければ、その部分は不明だと書きます。調査の対象が購入者だけなら「購入者を対象にした」と限定します。強い印象の言葉を、検証できる条件付きの文章へ直す練習です。
この作業は数字を信じないためではなく、数字の意味を必要以上に広げないためです。広告に十分な調査情報が公開されているなら、その資料を読み、似た条件の別製品と比較することができます。根拠をたどれる広告と、調査条件を確かめられない広告では、判断の確かさが違います。
回答者が誰かで用途が変わる
ある学習サービスについて、保護者へ聞く「満足度」と、実際に学んだ子どもへ聞く「理解できたか」は別の問いです。契約した保護者が料金や対応に満足していても、子どもの学習効果が保証されるわけではありません。何を評価するための数字なのかを明確にすることで、用途の違う指標を混同しなくなります。
同じように、飲食店の満足度には味、価格、接客、待ち時間など複数の側面があります。一つの平均点が高くても、自分が最も重視する項目に弱点があるかもしれません。総合点を入口にして、個別項目を調べるのが現実的です。統計の意味を理解することは、判断を細かくすることでもあります。
星や点数の集計に置き換えて考える
満足度調査の集計が100人中90人なのか、10人中9人なのかを比べると、同じ90％でも一人の回答が占める割合が異なると分かります。10人の調査では、一人が回答を変えると満足率が10ポイント動きます。100人なら1ポイントです。件数だけでは偏りをなくせませんが、数字の安定性を考えるための重要な材料になります。
九割という数字を使える条件
満足度90％は、定義された調査条件の下では意味のある集計値です。しかし「九割の全利用者が満足する」「購入すれば九割の確率で満足する」という個人向け予測とは同じではありません。数字が測った範囲を超えて一般化しないことが重要です。
調査結果が商品選びの参考になるかを知るには、実際の機能や価格、自分の用途と合わせて考えます。満足度の一つの値だけで結論を出すより、自分と似た条件で使った人の評価や具体的な不満点を調べる方が役に立つ場面もあります。統計は判断を代わるものではなく、判断の材料です。
