【参考記事-弊社メルマガより抜粋】
最大誤差20％のネット調査の賢い利用　2008.7.1

ネット調査の温度差

２年前に「ネット調査は使えるか」のタイトルの記事を発表しました。
関心を持っていた方がかなり多く、メールだけでなくリアル社会でもたくさんの意見をもらいました。

最も多かったのは
●「（ネット調査の危険性を）知らずに使っていた。
どんなポイントに気をつけたらいいですか」
でした。
この点は前回の記事をもう一度読んで頂くことで解決します。

次が
●「どこのネット調査会社が信用できますか」
でしたが、これについてはお答えしませんでした。
時代によってネット調査会社は変化するし、私はすべてのネット調査会社と仕事をした訳でもないので、責任ある回答ができないからです。

●「うすうすは感じていましたが、予算がないのでネット調査しかできないのです。
仕方がありません」
とアキラメ派は意外に多く、同率２位です。

また、少数ですが、ネット調査会社の人とも話す機会があったところ、こんなコメントがありました。
●「森さんの言われることは確かにもっともです。
我々も努力しないといけないと思っています。
ただ、今まで予算の関係で調査ができなかった会社にも、調査のチャンスを提供できたことは評価されていいのではないかと思っています」
気持ちは分からない訳ではありませんが…

他の少数コメントとしては、私と同じ問題意識を持っていた会社もありました。
●「以前、ネット調査と従来の紙の調査とで、同じ質問票を使ってデータを比較したことがあります。
紙の調査とまったく異なった結果のネット調査会社と、比較的同じ結果だったネット調査会社のふたつに分かれました」

詳しく聞いてみると、簡単な全体比較をしただけで、この記事で見るような詳細な検討はしていませんでした。
ただ、紙の調査と全体集計ですら異なるネット調査会社があるのは、私にも大変参考になりました。

実は、読者からのこんなメールも多くありました。
●「ネット調査のモニタをやってますが、企業が本気で調査結果のデータを使うとは知りませんでした。
今まで、かなりいい加減に答えていました。
私は、てっきり（ネット調査の対象商品の）販売促進のためにやってると思いこんでいました」

こんなメールもありました。
●「こんないい加減な質問で、まともな答えが返ってくると企業は本気で思っているんでしょうか。
企業はそんなにバカではないと思います。
森さんの方が企業に踊らされているんじゃないですか。
私ですか、もちろん、まともに回答なんてしてないですよ」

いやはや、私が悪者になっています。
というか、マジメにネット調査を利用している企業は「バカ」だそうです。
怒れ、クライアント企業よ！(笑)
マジメに回答しているモニタもいますが、企業と回答者には温度差があるようです。

一方、上で紹介したように、ネットと紙では変わらない結果だという企業もいます。
さてさて、本当はどんなところにあるのでしょうか。
ネット調査の環境は日進月歩で変化します。
前回の記事から２年もたつと、状況も変わっています。

第一、以前から、できるだけ紙の調査を提案している私ですら、時間や費用の都合で、ネット調査の比率が多くなってきています。
今では、私を担当してくれている大手ネット調査会社の担当者の担当の中で、私からの売上げがトップになってしまったほどです。
その分、私も経験を多少なりとも積んできた側面もあります。

そこで、再び、ネット調査を題材に取り上げます。

今回の記事は、私が実際に実施し、クライアントに許可を頂いた調査データもご紹介しながら進めます。
従って、あくまでもこの記事の内容は、私個人の独自の研究結果です。ネット調査会社やクライアント企業または他のコンサルティング会社が同じ結論なのかどうか、わかりません。
ただ、少なくとも私の知っている限り、本記事で指摘したことを知っている企業はありませんでしたから、一般的な常識ではなさそうです。

あ、この記事のタイトルですか？
「最大誤差20%のネット調査の賢い利用」
でしたね…結論がばれてしまいましたか(笑)

30平方メートルのマンションが「広すぎて落ち着かない」家族とは

話を進める前に、まずはこんな調査結果をご紹介します。
もちろん、ネット調査の結果です。

住宅の広さに関する質問です。
回答者は過去１年間に5000万円以上のマンションを購入した人たち。だから、ほぼ全員が家族持ちで、一人暮らしはゼロです。

回答は「30平方メートル」から「200平方メートル以上」までの選択肢です。
こんな感じです。

予想どおり、100平方メートル以上に○をつけた人たちがほとんど、という結果になりました。
しかし、実は

「30平方メートル」に○をつけた回答者が約20%もいたのです。

30平方メートルといえば、ワンルームマンションでも狭い方です。
とても家族持ちが「広すぎて、落ち着かない」と感じる広さではありません。
いや、独身者でも今時、30平方メートルでは「狭い」と感じたとしても、「広すぎて、落ち着かない」と感じる人はいないと考えるのが常識というものです。

とてもとても、まともに回答した結果とは思えません。
実際、従来の紙の調査では、同じ質問をすると1〜2%しか出てこないのです。統計上は0%と同じです。

もうひとつの例です。

これはパチンコに関する質問です。
回答者は現在パチンコを月１回以上遊んでいる20才以上の男女です。

回答の選択肢は「100円」から「５万円以上」まで。
こんな感じです。

さて、結果はというと…

「100円〜999円」に○をつけた人が約20%いたのです。

「え、なにが変なの？」
と思う読者もいるでしょう。
今は法律で1000円以上でないとパチンコの玉は買えないのです。
従って、「100円〜999円」という回答はありえません。
これらの質問は「引っかけ」です。

ましてや、回答者は「月１回以上遊んでいる」人たちです。
「過去にやったことがある」なら、私のように、「最後にパチンコで遊んだのが10年以上前」も含まれます。そうすると、「100円〜999円」は当然の結果です。当時は100円でも玉が買えた時代でしたから。

正確に言えば、調査には「誤解」「記憶違い」はつきものです。人間の記憶はそんなに正確ではないからです。
従って、本当は1000円でパチンコ玉を買っていても、勘違いで「100円〜999円」に○をつけてしまった人がいてもおかしくはありません。

しかし、「現在やっている」ものに対しての誤解する人の比率はせいぜい5%程度です。20%なんて高い比率の結果は、今まで1000本以上の調査に関わってきた私でも見たことがありません。
すると、誤解や記憶違いで「20%もの人が、現在ありえない回答をする」ことは考えられません。

一方で、この回答が正しいと無理矢理考えると、
●100円で玉を売っている違法のパチンコ屋が５店に１店もある
です。
しかし、大阪の通天閣あたりにはそんなパチンコ屋さんがいても不思議はありませんが、全国で20%もあるとは考えられません。

そして、この調査は回答者数10,000人です。
統計誤差ではありません。

こうやって、様々な角度からどう考えても、「100円〜999円」の回答が20%もあるのは「おかしい」と判断せざるを得ないことになります。

マンションの広さとパチンコ屋さん。
これら２つの調査票（アンケート用紙）には共通点があります。
調査票のレイアウトが、「30平方メートル」も「100円」も、質問文のすぐ下、しかも左にあることです。
ネット調査ですから、パソコンのモニタ上でマウスを動かすのが一番楽な位置にあるのです。

実際、「妙な回答者」の回答を一人一人追いかけていくと、回答の多くが「マウスを動かすのが一番楽な位置」の選択肢をクリックしているのが分かります。

なぜ、こんなことをするのでしょう。
暇つぶしにしては手が込んでいます。
もっと別な楽しみ方がネットにはあります。
わざわざ、ネット調査に回答しなくても、いくらでも暇をつぶす方法はあります。

競合会社の社員が悪意をもって混乱させているのでしょうか。
でも、調査票を見ただけでは、どの会社がやっている調査なのかは分からないようになっているのが、普通です。

答えは簡単です。
ネット調査に回答するとお金がもらえるからです。こずかいを稼ぐためだけの目的でやっているからです。
１回１回は大した金額ではありません。
でも、「チリも積もれば」のように、１ヶ月に数1,000円のこずかいにはなります。

また、ネット調査は最後まで回答しないと、お金（実際はポイント制です）がもらえません。だから、最後まで回答するのですが、できるだけ時間をかけたくないし、労力も最低限にしたい。
すると、マウスを動かすのは最小限がいい。
それよりもできるだけ多くの調査をこなして、ちょっとでも多くこずかいをもらおうという算段です。

もっと言えば、そもそも
「5000万円以上のマンションを購入した人」や
「現在パチンコをやっている20才以上の男女」
という「回答者の条件」すら「ウソ」の可能性があります。

何が問題なのか。
こういう回答者がいるということを、誰も思っていないので、

なぜ、誰もチェックしないのか。
従来の紙の調査でもいい加減な回答をしている人はいます。ただし、その割合は1〜2%と低いものですが。

それでも、従来の調査会社は自社が出すデータの「品質」を担保する慣習が身に染みついています。調査員が勝手にアンケートに答えてズルをしたり、調査結果を鉛筆でなめたりといったことは「調査会社業界のタブー」であり、そういうことを見逃してしまうと、業界では生きて行けないというほど厳しいものです。

従って、「自社を守るため」にも「いい加減な回答をする回答者」や「ズルをする調査員」はブラックリストにのせて、以降、調査を依頼しないようにしています。
だから、「検票」と呼ばれる「回収した調査票のチェック」は当然のごとく行っています。
しかし、ネット調査会社は調査会社ではありません。システム屋さんです。
従って、「従来の常識」は知りませんし、知ろうともしない。
でも、調査を使うクライアント企業はデータの品質は今までと同じだろうと思いこんで、疑いもしない。

この両者の美しき誤解に、大きな穴が潜んでいるのです。

いや、本来、生活者調査というものは「性善説」で実施すべきものです。
ちゃんとした質問なら（答えにくい、誤解される表現の質問でなければ）回答者が「正直に答えてくれている」という基本認識に立たなければ、データを取っても意味がないからです。

「一部の不心得者」のために、調査データが信用できなくなるのでは、あまりにももったいない、とういうことで調査会社は調査員の管理や検票を行うのです。
ただし、この場合の「一部」とはせいぜいが5%の人たちまでです。
つまり100人の人に回答してもらうと5人以下。
しかし、ネットでは100人のうち20人が「性悪説」でないと発見できない人たちなのです。

「この中にはない」が65%

さて、データに現れる彼ら（ポイント稼ぎ）の特徴をもっと見てみましょう。
それらを知ることで、企業は防衛のヒントになるからです。

調査では、「マトリックス質問」と呼ばれる形態の質問をよく使います。
例えば、企業イメージを調べたり、ブランドイメージを知るために、縦に形容詞（先進的、勢いのある等）、横に企業名やブランド名をおいて、当てはまるものに○をつけてもらうといったやり方です。

実際の質問票はこんな感じになります。

項目	ソニー	松下	東芝	アップル
1. まじめ	□	□	□	□
2. 先進的	□	□	□	□
3. 勢いのある	□	□	□	□
4. 研究開発に熱心な	□	□	□	□
5. 若々しい	□	□	□	□
……
21.あてはまる ものはない	□	□	□	□

ポイント稼ぎは「マトリックス質問」で特徴的な傾向を示します。
なぜなら、ちゃんとマジメに答えようとすると、時間もかかるし面倒な形式だからです。

その中で注目すべきは、ネット調査でよくある「あてはまるものはない」という選択肢です。それを見ると、ポイント稼ぎとまともな回答者に大きな違いがあるのがわかります。
何かを入力しないと先に進めないようになっているネット調査では、ポイント稼ぎは個々の選択肢を選ぶのは面倒なので「あてはまるものはない」だけをクリックする傾向が強いのです。

項目	「ポイント稼ぎ」	まとも回答者
▼この中にはない	64.5％	2.2％

ちなみに、ポイント稼ぎの中には、いくつかのキーワードをクリックしている人たちがいます。
しかし、個人、個人の回答を見ていると、適当に2〜3個クリックしているだけなのがわかります。
一般の回答者よりもクリック数が少ないだけでなく、その回答に一貫性がないからです。
選択肢の中にないかも知れない「この中にはない」を探すより、適当でも数個クリックした方が早いと判断すると、こうなります。

例えば、ある企業の選択したイメージの回答の数を見ると歴然です。

項目	「ポイント稼ぎ」	まとも回答者
▼イメージ数平均	2.2個	5.7個
▼最小個数	1個	3個
▼最多個数	3個	8個

一般の人たちと比べて、回答数（クリックする回数）が1/3程度です。

もちろん、ちゃんと答えていても、当てはまるものがないからこうなった、ということも考えられます。

しかし、回答パターンを見ると、一般の人たちは一定のパターンに収まっているのですが（例えば、ソニーなら「先進的」「おしゃれ」の両方を選択することが多い等）、ポイント稼ぎではパターンがまったくありません。
つまり、ポイント稼ぎは自分の意思で選んでいるのではなく、「適当に（ランダムに）」選んでいるのがはっきりと分かるのです。

また、先の法則「マウスをできるだけ動かさない」も健在です。
左上のある言葉を見ると、一般の人たちと比べて異様に多いのが特徴です。

項目	「ポイント稼ぎ」	まとも回答者
▼左上にある言葉	41.5％	2.2％

自由回答はポイント稼ぎを見分ける最も有力な手がかり

調査では自由に文章を記入してもらう質問形態があります。
「自由回答」「フリーアンサー」などと呼びます。
紙の調査では、何かを書いてくれる人が1/10くらいしかいなかったり、集計が面倒だったり（集計費が余計にかかります）、必ずしも「本音」が出ることはないので多用しません。

でも、私は要所要所で自由回答の質問を作ります。
「なんでもいいから、書いてくれ」とすると200人中20人くらいしか書いてくれませんが、例えば、「ソニーと聞いて思い浮かぶ、ヒト、コト、モノをいくつでも書いてください」といった工夫をすると、ちゃんとしたデータが集まるからです。

さて、ネット調査では、この形式がポイント稼ぎを見分ける大きな武器になります。
「面倒なことを嫌う」彼らの特徴が最もはっきり出るからです。

これらは、実際にあった回答例です。

といった
「意味不明」「キーボードを押しているだけ」
の回答。

また、答えになってない答えもポイント稼ぎの特徴です。

ネット調査に慣れていなかった頃は、私は、それらの回答をなんとかして翻訳してデータにしていました。特に、後者の回答は「一応は言葉になっている」ので、「私の質問の仕方が悪かったのかも知れない」と遠慮していたせいもあります。

しかし、ポイント稼ぎの存在がわかり、彼らの回答パターンが分かってくるようになると、これらのような回答をする人たちは、他の質問も先述したようないい加減な回答しているケースが圧倒的に多いことが分かってきました。

今では、これらの回答をまず見て、ポイント稼ぎを判断する「最初に見るべきデータ」となっている感すらあります。

なぜ、こんな回答が出てくるのか。
というのは、ネット調査では自由回答は、何か文字を入れないと先に進めないようにしてあるからです。
だから、適当な文字を入れればサーバーの調査プログラムを騙して、先に進めるという訳です。
だけど人間までは騙せません。

こういった回答をするのはどれくらいの人数なのか。
いくつかの調査の平均値をご覧に入れましょう。

▼自由回答での「意味不明」「答えになっていない回答」の割合

項目	まともでない回答者の割合
▼平均	18.2％
▼最小の調査	14.7％
▼最多の調査	21.8％

ものの見事に20%前後も「ポイント稼ぎ」の人たちの「意味不明回答」があるのが分かります。
調査対象者の人数はまったく関係ありません。
先のパチンコの例のように、10,000人の調査でも、200人の調査でも17.7%から21.8%の範囲に収まっています。

ポイント稼ぎまとめ

ポイント稼ぎの人たちは調査データを歪めてしまう、大変危険な存在です。
調査の世界では「統計誤差」をなんとかして、できるだけ低くしようと工夫をしています。そして、その「誤差」とは「5%の誤差をなんとかして、3%に押さえられないか」といった、「小さな世界、違い」です。
そして「誤差」は調査対象者の人数が増えれば下がると信じられています。
100人の調査より1000人の調査の方が信用できるといった具合です。

昨今のネット調査の人気は、1000人の調査でも紙の200人の調査より安いため、その「誤差」が低くなるからだと信じて疑わない企業がいるのも大きな一因です。

しかし、これまで見てきたように、
「たった2%の誤差を抑えるために」
「実は、隠れた20%の誤差がうごめいている（ネット）調査に手を染めている」
のが実情です。

ネット調査会社はなぜポイント稼ぎの対処をしないのでしょうか。
まずは、そんな事実に気が付いていないのがひとつの原因です。
自分のモニタ会員の精査をきちんとしていない。

もうひとつの原因があります。
そんなことをすると、モニタ会員数が減ってしまうからです。
ネット調査会社の大きな武器は
「モニタ数○○万人」
といった、「規模の大きさ」です。

企業側も
「モニタ数が多いから安心、自分たちの欲しい属性の人たちを安く調べられる」
が大きな動機だから当然です。
下手にポイント稼ぎの人たちを会員から削除してしまっては損だからです。
ましてや、ポイント稼ぎを発見するのは手間がかかります。そんな経費をかけるくらいなら、安くしたほうが客（企業）のウケがいい。

実際、ポイント稼ぎの存在がわかり、彼らの会員番号を列記してネット調査会社に報告したことがありますが、なんの対処もされませんでした。
平気で同じ人が次の調査でも回答しているのです。

現在の私にとって、ネット調査会社の位置づけは「調査会社」ではありません。
「調査会社」と考えてしまうと、様々なところで「期待と現実のズレ」が出てしまいます。そして、それは彼らがウソをついているかというと、また、それも違います。
クライアントである私たちが勝手に「（「調査会社」という名前がついいるのだから）従来の調査会社と同じだろう」と思いこんでいるだけです。

従って、私は彼らを「調査会社」ではなく「システム屋さん」または「データ収集企業」と考えるようにしています。
それならば、従来の調査会社が担ってきた仕事をしていなくても、なんら不思議はありませんし、そういった仕事をしないのですから、費用が安くてもあたりまえだと理解できます。

存在していないといけないけれど、多すぎるとデータが歪む人たち

さて、ネット調査には、データをゆがめてしまう、もうひとつの種類の人たちがいます。彼らは、ポイント稼ぎと違って、悪意はまったくありません。
また、従来の紙の調査でも混入していた人たちです。
しかし、ネット調査での問題は、そういう人たちが紙の調査と比べて多いことなのです。これを便宜上「ポイント稼ぎ」に対して「下流意識のひとたち」と呼ぶことにします。

例えば、このデータを見てください。
ネットと紙の調査の職業別割合です。
分かりやすいように、違いがはっきりしている数字に★をつけました。

項目	ネット調査	紙の調査
▼会社経営・会社役員	2.7%	3.1%
▼管理職	3.4%	3.9%
▼会社従業員	20.7%	★27.7%
▼公務員等	3.1%	4.4%
▼契約社員・派遣社員	★9.4%	4.3%
▼農林漁業	0.3%	1.2%
▼商工サービス・自営	5.7%	★13.7%
▼自由業	2.4%	1.7%
▼パート・アルバイト	★11.2%	5.3%
▼学生	6.4%	8.7%
▼主婦専業	23.9%	19.0%
▼無職・家事手伝い	8.0%	5.8%
▼その他	2.7%	1.2%

これを見ると、紙の調査では会社従業員と商工サービス・自営がネット調査より多いのに対して、ネット調査では契約社員・派遣社員、パート・アルバイトが紙の調査の２倍もいることがわかります。

両方を足し上げると、ネット調査では20.6%、つまり５人にひとりが「契約社員・派遣社員、パート・アルバイト」であるのに対して、紙の調査では10.6%、１０人にひとりの割合です。

一方で、ニートの割合を見ると４倍にもなっていることがわかります。

項目	ネット調査	紙の調査
▼ニート	4.8%	1.2%

契約社員・派遣社員、パート・アルバイト、ニートの人たちは、決して悪気があって調査に回答している訳ではありません。
しかし、彼らの回答の傾向は例えば正社員とはまったく異なるために、彼らの数が多い調査は回答に偏りが出てしまうのです。

例えば、こんな違いが出てきます。
（区分がバラバラなのは公開データを使用しているからです）

▼「今の仕事が好きだ」の質問に対して、ニートは正社員の1/10、フリーターは2/3、契約社員は4/5が「はい」と回答【出典:下流社会】。

▼自分は「自己アピールが苦手」と考える人が、上流意識の人では29.8%、中流で37.4%に対して、下流意識の人では49.6%。下流意識の人は中流の1.5倍、上流の1.8倍【出典:下流社会】。

▼自分は「気持ちが滅入りやすい」と考える人が、上流意識の人では18.5%、中流で22.8%に対して、下流意識の人では33.7%。下流意識の人は中流の1.5倍、上流の1.8倍【出典:下流社会】。

▼自分は「ひとつのことが気になり出すと、ずっとそれが頭から離れない」と考える人が、上流意識の人では15.4%、中流で16.4%に対して、下流意識の人では23.8%。下流意識の人は中流の1.5倍、上流の1.5倍【出典:下流社会】。

▼「セックスレスだ」と答えた人は、年収が100万円から増えるにしたがって、40%から50%まで段階的に上がっているのに対して、年収100万円未満の人は55%と700万円以上の年収の人（約50%）よりも高い【出典:仕事とセックスのあいだ】。

年収が上がるということは、年齢も上がり、仕事のストレスもあるのでセックスレスになるのは理解できます。しかし、年収100万円未満の人は、「経済的な理由でセックスレス（デート費用が出せない、結婚生活ができない等）」になっていることがわかります。

企業が行う調査では、「自分の性格」や「セックスレス」についての質問を、そのまますることはないでしょう。
しかし、明確に他の人たちと大きく考え方や、人間本来の営みすら異なる人たちです。
一般的な質問の回答の傾向が違うことは十分考えられます。

重ねていいます。
彼らが悪いわけではありません。
従って、調査に彼らが回答しても一向にかまいません。

また、便宜上、契約社員やパート・アルバイトを「下流意識」の人たちと同一視したデータをご紹介していますが、彼らがすべて「下流意識」の人たちとは限りません。
彼らの中にも中流、上流意識（は少ないかも知れませんが(^^;）の人たちはいますし、正社員にも下流意識の人たちがいます。

あくまでも、ご紹介したデータは「便宜上のもの」です。
しかし、彼らの「人数が多い」調査は、結果がゆがんでしまうのも、また確かなのです。

意外に少ない「ネット・ジャンキー」

もうひとつ、「悪気はないけれど、数が多い」ことに問題がある人たちがいました。
ご想像どおり「ネットを長時間やっている人たち」です。
ここでは彼らを、「ネット・ジャンキー」と呼ぶことにします。

ネット・ジャンキーはネット調査では25%程度いました。
彼らの回答は普通の人たちと違っていました。

なぜ、過去形でお話ししているのか。
それは、今ではネット調査も紙の調査も、長時間ネットをしている回答者の割合が変わらなくなってきているからです。

たった２年前、ネット調査のほうが長時間ネットをしている人の割合が２倍近くいたのですが、今年の調査で比較すると、以下のようにほぼ変わらなくなっています。
わたしは、プライベートとビジネスでのネット利用時間を分けて質問していますが、傾向はまったく同じです。

今まで言われてきた
「ネット調査は、早い者勝ちで受けつけるので、ネットに長く浸かっている人は、その分、答えるチャンスが多い」
常識は、変わってきたようです。

なんか妙だな、と私も思っていました。
ところが、ある人たちの証言で納得が行ったのです。

「森さん、私も以前はネット調査に回答してました。
ポイントももらえるし、暇つぶしになるし。
でもね、もう飽きたんです。
だから、依頼のメールが来ても、最近はすぐに削除してしまいます」

もしかしたら、と思い、ネットのイノベータの友人たちに聞いてみたところ、出るわ出るわ。
ネット調査のイノベータたちは、いまネット調査から離れている。
その結果、現在のネット調査の回答者は、ことネット使用時間に関する限り、一般社会と同じになっている。
統計的な証明データはありませんが、かなり色濃い仮説です。

ということは、逆説的にいえば、数年後にはネット調査の回答者はフォロワーばかりになって、逆な意味で紙の調査と異なった人たちの集まりになりかねません。

紙の調査だって絶対ではない

ネット調査の問題点を上げると、素朴な疑問が寄せられます。
それは
「紙の調査が正しいという根拠がなければ、森さんの議論はおかしいですよね。
もしかしたら、逆に紙が間違っていて、ネット調査が正しいということはありませんか。
ネット調査はモニタに登録すれば、誰でも回答できるチャンスがあるのに、紙の調査は勝手に選ばれている。
実際、私は紙の調査なんてやったことがありません。

なんだか、一部の人たちの間で、依頼して、依頼されているような気がしています。
そんな特別な人たちの回答が、私を含めた一般大衆の意見を代表しているとは思えません」

自分が知らなければ、「大衆の意見ではない」と断言するのは、気持ちは分かりますが、早計ですよね。
この世の中は一個人がすべて知り得るほど狭くはないのですから。

それよりも、紙の調査は昭和34年に日本に導入されてから、約50年もの間、様々な人たちが検証し、経験を積んできています。
様々な論文も発表され、検討されてきています。

一方、ネット調査はここ数年の間に発達してきたものですし、ちゃんとした研究も、企業の採用例も紙の調査と比べてはるかに少ない。
それを、仮説として自分に問いかけるのは構いませんが、「ネット調査のほうが正しい」決めつけるのは無理があります。

いや、もっと正確にいえば、紙の調査だって、やり方を間違えると、正確なデータなんて出てきません。
一つの例を上げると、飲食店やホテルなどに設置してあるアンケートはがきです。

あれは、よほど嬉しかったり、腹が立ったりしたときにしか書かないようになっているので、極端な数％の意見しか上がってこないからです。
そんなものを1000人、2000人集めたところで、「黙っているだけの大衆の意見（サイレントマジョリティ）」の意見は企業に伝わらない。

調査会社にはそれを見抜くノウハウと、それを回避するノウハウがあります。
紙の調査、強いては調査そのものが絶対ではないことは他の誰よりも調査会社が分かっています。
しかし、できるだけ理想に近づける努力と工夫を50年間の間にやってきた蓄積があります。

（勉強していない調査会社の社員もいますから、「すべての調査会社」がノウハウをもっている訳ではありませんが。有名な名前の調査会社でも「素人よりひどい」ことは体験済みです）

一方、システム屋さんであるネット調査会社には、それがない。
ただ、いたずらに
「我が社のネット調査のモニタには代表性があります」
と宣言しているだけで、ポイント稼ぎの対処すらしていないのが、実情です。

双方を比較して、どちらを「より」信用するのかは自明の理です。

実は地道な「検票」しか手だてはない

それでは、どうしたら「ネット調査」をできるだけ「まともに使える」ようにできるのか。この記事に書いてある「問題のある人たち」の特徴を参考に、ひとつひとつ検票して削っていく地道な作業しか有効な手だてはありません。

例えば、自由回答の質問をわざと作って、その回答をひとりひとり見て、ポイント稼ぎを発見したら、他の質問がいくらまともに見えても、ばっさりと「回答者ごと」削除する。
紙の調査よりも比率が多い、パート・アルバイトは紙の調査に近づけるために、過剰な分の回答者を削る（全部、削ってはいけません）。

それらの行程（データクリーニングと私は呼びます）を経て、はじめて集計作業にかかります。

このとき注意したいのは、クリーニング後は回答者数が２割程度減ってしまうので、あらかじめ目標人数の1.2倍を集めておくことです。
目標数が300人なら360人、400人なら480人を集めておく。
幸いなことにネット調査では人数が増えても、紙の調査ほど費用がかかりませんから、懐具合を気にすることなくできます。

こういう説明をすると大抵の人は納得するのですが、たまにこんな質問が飛んできます。

いくら私でも、１万人のデータを検票しろと言うつもりはまったくありません。
そんなことをしていたら、言われるように時間も費用も膨大になってしまいます。
だったら、400人の調査でもいいではないですか。
普通の調査なら十分すぎてお釣りがきます。
私は普段は200人の調査で十分だと言っているのですから。

こういう質問もあります。

こういう「時間がない」理由の大半が、担当者や上司が
▼ギリギリまで忘れていた／面倒なので放っておいた／他の仕事を優先していた
などなどです。

調査とは、または生活者を知るという作業は、そんな担当者の都合にあわせるほど甘いものではありません。
いえ、もっといえば、たった数日が使えない、準備が出来ない、生活者を知ることにあてられないなら、ビジネスを甘く見ていると言われても仕方がありません。

しかも、誤差20%のデータなんて、かえって邪魔な存在です。
そんなデータは、ないほうが、よほど正確な判断が出来るというものです。

従って、私の答えは

です。

実は、記事の冒頭で紹介したように、「ひっかけ質問」をすることで、それに引っかかった回答者は一気に削除することで、ひとりひとりの検票をしなくても、データクリーニングはある程度はできます。
しかし、20%の誤差が7〜8%になるだけで、まだもう一押し足りないのです。
それならば、人数を減らしたほうが現実的というものです。

この「ひっかけ質問」は、条件を設定して集めた人たちに同じ質問をすることでも、ある程度は効果があります。
例えば、「過去１年間に住宅を購入した人」という条件で集めた人たちに、本番の調査でもう一度同じ質問をこっそり入れておくのです。

すると、おもしろいように、ひっかかってくれます。
つまり、「過去１年間に住宅を購入した人」のはずなのに、「過去３年〜５年前に購入した」や「住宅は購入したことがない」に平気で○がついたりします。
ポイント稼ぎなんて、何も考えずに作業をこなすだけですから、数日前に条件を設定するミニ調査に対する自分の回答なんて覚えてはいないものです。

ただ、あくまでも、これらの簡易クリーニングで除去できるのは、ポイント稼ぎの一部だけです。パート・アルバイトなどの「全部削除しては困るけれど、多すぎても困る」人たちはそのまま手つかずです。

実は、もっと根本的な問題がネット調査にはあります。
それは、商工自営・サービスやブルーカラーの人たちがいないことです。
ネット調査で集めた回答者を削ることはできても、モニタにいない人たちを持ってくることはできません。
従って、ビール（酒類）、パチンコなど、そういう人たちが産業を支えている企業では、ネット調査はどれだけクリーニングしても「歪んだまま」なのです。

また、まだ解明できていない要因もありそうです。
専門的な話になりますが、ネット調査ではクラスタ分析によるグルーピングが微妙にきれいに分かれないことが、現在の悩みの種です。
クラスタ分析はクロス集計より数段サンプル構成に敏感なので、クラスタの構成比が極端だったり、意味不明のクラスタが出やすいのです。
これは、つまりデータクリーニング後のデータでも、まだまだクリーニング不足だということに他なりません。

今のところ、何回もクラスタ分析を試行錯誤して、最適なクラスタ抽出をするようにしていますが、手間もかかりますし、第一、正確さという点で紙の調査に一歩譲ります。
現在、紙の調査とネット調査で同じ質問によるクラスタ分析を行い、原因追及をしている真っ最中です。

ノウハウというのは「長所も短所も理解して、必要に応じて様々な手法を使い分けること」です。
調理人が、すべて万能包丁で済ませるのではなく、菜切り包丁、さしみ包丁などを使い分けることで、素材の良さを最大限に生かし、おいしい料理を作るように、です。

そのためには、それぞれの道具の長所も短所も理解していなければならないのです。
現在のネット調査は長所ばかり（安い、早い）が先行して、短所が明確に見えていないのが大きな問題です。
きちんと賢く使ってこその手法、それでこそネット調査が生きる道なのでしょう。

ネット調査の危険な落とし穴

【参考記事-弊社メルマガより抜粋】
●最大誤差20%のネット調査の賢い利用　2008年7月（本ページ）
●ネット調査はどこまで使えるか　2005年12月