ネット調査の温度差

２年前に「ネット調査は使えるか」のタイトルの記事を発表しました。
関心を持っていた方がかなり多く、メールだけでなくリアル社会でもたくさんの意見をもらいました。

最も多かったのは
●「（ネット調査の危険性を）知らずに使っていた。
どんなポイントに気をつけたらいいですか」
でした。
この点は前回の記事をもう一度読んで頂くことで解決します。

次が
●「どこのネット調査会社が信用できますか」
でしたが、これについてはお答えしませんでした。
時代によってネット調査会社は変化するし、私はすべてのネット調査会社と仕事をした訳でもないので、責任ある回答ができないからです。

●「うすうすは感じていましたが、予算がないのでネット調査しかできないのです。
仕方がありません」
とアキラメ派は意外に多く、同率２位です。

また、少数ですが、ネット調査会社の人とも話す機会があったところ、こんなコメントがありました。
●「森さんの言われることは確かにもっともです。
我々も努力しないといけないと思っています。
ただ、今まで予算の関係で調査ができなかった会社にも、調査のチャンスを提供できたことは評価されていいのではないかと思っています」
気持ちは分からない訳ではありませんが…

他の少数コメントとしては、私と同じ問題意識を持っていた会社もありました。
●「以前、ネット調査と従来の紙の調査とで、同じ質問票を使ってデータを比較したことがあります。
紙の調査とまったく異なった結果のネット調査会社と、比較的同じ結果だったネット調査会社のふたつに分かれました」

詳しく聞いてみると、簡単な全体比較をしただけで、この記事で見るような詳細な検討はしていませんでした。
ただ、紙の調査と全体集計ですら異なるネット調査会社があるのは、私にも大変参考になりました。

実は、読者からのこんなメールも多くありました。
●「ネット調査のモニタをやってますが、企業が本気で調査結果のデータを使うとは知りませんでした。
今まで、かなりいい加減に答えていました。
私は、てっきり（ネット調査の対象商品の）販売促進のためにやってると思いこんでいました」

こんなメールもありました。
●「こんないい加減な質問で、まともな答えが返ってくると企業は本気で思っているんでしょうか。
企業はそんなにバカではないと思います。
森さんの方が企業に踊らされているんじゃないですか。
私ですか、もちろん、まともに回答なんてしてないですよ」

いやはや、私が悪者になっています。
というか、マジメにネット調査を利用している企業は「バカ」だそうです。
怒れ、クライアント企業よ！(笑)
マジメに回答しているモニタもいますが、企業と回答者には温度差があるようです。

一方、上で紹介したように、ネットと紙では変わらない結果だという企業もいます。
さてさて、本当はどんなところにあるのでしょうか。
ネット調査の環境は日進月歩で変化します。
前回の記事から２年もたつと、状況も変わっています。

第一、以前から、できるだけ紙の調査を提案している私ですら、時間や費用の都合で、ネット調査の比率が多くなってきています。
今では、私を担当してくれている大手ネット調査会社の担当者の担当の中で、私からの売上げがトップになってしまったほどです。
その分、私も経験を多少なりとも積んできた側面もあります。

そこで、再び、ネット調査を題材に取り上げます。

今回の記事は、私が実際に実施し、クライアントに許可を頂いた調査データもご紹介しながら進めます。
従って、あくまでもこの記事の内容は、私個人の独自の研究結果です。ネット調査会社やクライアント企業または他のコンサルティング会社が同じ結論なのかどうか、わかりません。
ただ、少なくとも私の知っている限り、本記事で指摘したことを知っている企業はありませんでしたから、一般的な常識ではなさそうです。

あ、この記事のタイトルですか？
「最大誤差20%のネット調査の賢い利用」
でしたね…結論がばれてしまいましたか(笑)

30平方メートルのマンションが「広すぎて落ち着かない」家族とは

話を進める前に、まずはこんな調査結果をご紹介します。
もちろん、ネット調査の結果です。

予想どおり、100平方メートル以上に○をつけた人たちがほとんど、という結果になりました。
しかし、実は

「30平方メートル」に○をつけた回答者が約20%もいたのです。

30平方メートルといえば、ワンルームマンションでも狭い方です。
とても家族持ちが「広すぎて、落ち着かない」と感じる広さではありません。
いや、独身者でも今時、30平方メートルでは「狭い」と感じたとしても、「広すぎて、落ち着かない」と感じる人はいないと考えるのが常識というものです。

とてもとても、まともに回答した結果とは思えません。
実際、従来の紙の調査では、同じ質問をすると1〜2%しか出てこないのです。統計上は0%と同じです。

もうひとつの例です。

さて、結果はというと…

「100円〜999円」に○をつけた人が約20%いたのです。

「え、なにが変なの？」
と思う読者もいるでしょう。
今は法律で1000円以上でないとパチンコの玉は買えないのです。
従って、「100円〜999円」という回答はありえません。
これらの質問は「引っかけ」です。

ましてや、回答者は「月１回以上遊んでいる」人たちです。
「過去にやったことがある」なら、私のように、「最後にパチンコで遊んだのが10年以上前」も含まれます。そうすると、「100円〜999円」は当然の結果です。当時は100円でも玉が買えた時代でしたから。

正確に言えば、調査には「誤解」「記憶違い」はつきものです。人間の記憶はそんなに正確ではないからです。
従って、本当は1000円でパチンコ玉を買っていても、勘違いで「100円〜999円」に○をつけてしまった人がいてもおかしくはありません。

しかし、「現在やっている」ものに対しての誤解する人の比率はせいぜい5%程度です。20%なんて高い比率の結果は、今まで1000本以上の調査に関わってきた私でも見たことがありません。
すると、誤解や記憶違いで「20%もの人が、現在ありえない回答をする」ことは考えられません。

一方で、この回答が正しいと無理矢理考えると、
●100円で玉を売っている違法のパチンコ屋が５店に１店もある
です。
しかし、大阪の通天閣あたりにはそんなパチンコ屋さんがいても不思議はありませんが、全国で20%もあるとは考えられません。

そして、この調査は回答者数10,000人です。
統計誤差ではありません。

こうやって、様々な角度からどう考えても、「100円〜999円」の回答が20%もあるのは「おかしい」と判断せざるを得ないことになります。

マンションの広さとパチンコ屋さん。
これら２つの調査票（アンケート用紙）には共通点があります。
調査票のレイアウトが、「30平方メートル」も「100円」も、質問文のすぐ下、しかも左にあることです。
ネット調査ですから、パソコンのモニタ上でマウスを動かすのが一番楽な位置にあるのです。

実際、「妙な回答者」の回答を一人一人追いかけていくと、回答の多くが「マウスを動かすのが一番楽な位置」の選択肢をクリックしているのが分かります。

なぜ、こんなことをするのでしょう。
暇つぶしにしては手が込んでいます。
もっと別な楽しみ方がネットにはあります。
わざわざ、ネット調査に回答しなくても、いくらでも暇をつぶす方法はあります。

競合会社の社員が悪意をもって混乱させているのでしょうか。
でも、調査票を見ただけでは、どの会社がやっている調査なのかは分からないようになっているのが、普通です。

答えは簡単です。
ネット調査に回答するとお金がもらえるからです。こずかいを稼ぐためだけの目的でやっているからです。
１回１回は大した金額ではありません。
でも、「チリも積もれば」のように、１ヶ月に数1,000円のこずかいにはなります。

また、ネット調査は最後まで回答しないと、お金（実際はポイント制です）がもらえません。だから、最後まで回答するのですが、できるだけ時間をかけたくないし、労力も最低限にしたい。
すると、マウスを動かすのは最小限がいい。
それよりもできるだけ多くの調査をこなして、ちょっとでも多くこずかいをもらおうという算段です。

もっと言えば、そもそも
「5000万円以上のマンションを購入した人」や
「現在パチンコをやっている20才以上の男女」
という「回答者の条件」すら「ウソ」の可能性があります。

何が問題なのか。
こういう回答者がいるということを、誰も思っていないので、

知っているのは、そういう回答をした本人だけです。

なぜ、誰もチェックしないのか。
従来の紙の調査でもいい加減な回答をしている人はいます。ただし、その割合は1〜2%と低いものですが。

それでも、従来の調査会社は自社が出すデータの「品質」を担保する慣習が身に染みついています。調査員が勝手にアンケートに答えてズルをしたり、調査結果を鉛筆でなめたりといったことは「調査会社業界のタブー」であり、そういうことを見逃してしまうと、業界では生きて行けないというほど厳しいものです。

従って、「自社を守るため」にも「いい加減な回答をする回答者」や「ズルをする調査員」はブラックリストにのせて、以降、調査を依頼しないようにしています。
だから、「検票」と呼ばれる「回収した調査票のチェック」は当然のごとく行っています。
しかし、ネット調査会社は調査会社ではありません。システム屋さんです。
従って、「従来の常識」は知りませんし、知ろうともしない。
でも、調査を使うクライアント企業はデータの品質は今までと同じだろうと思いこんで、疑いもしない。

この両者の美しき誤解に、大きな穴が潜んでいるのです。

いや、本来、生活者調査というものは「性善説」で実施すべきものです。
ちゃんとした質問なら（答えにくい、誤解される表現の質問でなければ）回答者が「正直に答えてくれている」という基本認識に立たなければ、データを取っても意味がないからです。

「一部の不心得者」のために、調査データが信用できなくなるのでは、あまりにももったいない、とういうことで調査会社は調査員の管理や検票を行うのです。
ただし、この場合の「一部」とはせいぜいが5%の人たちまでです。
つまり100人の人に回答してもらうと5人以下。
しかし、ネットでは100人のうち20人が「性悪説」でないと発見できない人たちなのです。

「この中にはない」が65%

さて、データに現れる彼ら（ポイント稼ぎ）の特徴をもっと見てみましょう。
それらを知ることで、企業は防衛のヒントになるからです。

調査では、「マトリックス質問」と呼ばれる形態の質問をよく使います。
例えば、企業イメージを調べたり、ブランドイメージを知るために、縦に形容詞（先進的、勢いのある等）、横に企業名やブランド名をおいて、当てはまるものに○をつけてもらうといったやり方です。

自由回答はポイント稼ぎを見分ける最も有力な手がかり

調査では自由に文章を記入してもらう質問形態があります。
「自由回答」「フリーアンサー」などと呼びます。
紙の調査では、何かを書いてくれる人が1/10くらいしかいなかったり、集計が面倒だったり（集計費が余計にかかります）、必ずしも「本音」が出ることはないので多用しません。

ポイント稼ぎまとめ

ポイント稼ぎの人たちは調査データを歪めてしまう、大変危険な存在です。
調査の世界では「統計誤差」をなんとかして、できるだけ低くしようと工夫をしています。そして、その「誤差」とは「5%の誤差をなんとかして、3%に押さえられないか」といった、「小さな世界、違い」です。
そして「誤差」は調査対象者の人数が増えれば下がると信じられています。
100人の調査より1000人の調査の方が信用できるといった具合です。

存在していないといけないけれど、多すぎるとデータが歪む人たち

さて、ネット調査には、データをゆがめてしまう、もうひとつの種類の人たちがいます。彼らは、ポイント稼ぎと違って、悪意はまったくありません。
また、従来の紙の調査でも混入していた人たちです。
しかし、ネット調査での問題は、そういう人たちが紙の調査と比べて多いことなのです。これを便宜上「ポイント稼ぎ」に対して「下流意識のひとたち」と呼ぶことにします。

意外に少ない「ネット・ジャンキー」

もうひとつ、「悪気はないけれど、数が多い」ことに問題がある人たちがいました。
ご想像どおり「ネットを長時間やっている人たち」です。
ここでは彼らを、「ネット・ジャンキー」と呼ぶことにします。

紙の調査だって絶対ではない

ネット調査の問題点を上げると、素朴な疑問が寄せられます。
それは
「紙の調査が正しいという根拠がなければ、森さんの議論はおかしいですよね。
もしかしたら、逆に紙が間違っていて、ネット調査が正しいということはありませんか。
ネット調査はモニタに登録すれば、誰でも回答できるチャンスがあるのに、紙の調査は勝手に選ばれている。
実際、私は紙の調査なんてやったことがありません。

実は地道な「検票」しか手だてはない

それでは、どうしたら「ネット調査」をできるだけ「まともに使える」ようにできるのか。この記事に書いてある「問題のある人たち」の特徴を参考に、ひとつひとつ検票して削っていく地道な作業しか有効な手だてはありません。