タイトル小 > > >
戦略理論・調査手法 戦略理論 調査手法 データの読み方 プログラム 戦略立案の視点 調査の視点 シストラットの本 「私はこう見る」 ビジネスリンク 会社概要

【参考記事-弊社メルマガより抜粋】
ネット調査はどこまで使えるか【ネット調査】 2005.12.1

今や、どこでも見かけるネット調査。
ビジネスにどこまで使えるのでしょうか。
「え、今さらですか」と言わないでください(笑)
まだまだ、気をつけないといけないところがたくさんあるんです。

ここかしこで見かけるようになったネット調査

企業からの相談を受けていると、今までやった調査やデータを見せられることが良くあります。私は私で、無駄な調査を実施して、余計なお金をかけさせないように、今までのデータを見せてもらうように頼むことも多々あります。

最近、富みに出くわすのがネット調査の結果です。
つい数年前にはネット関係のビジネスですら見たことがなかったネット調査ですが、一般企業にも普及し始め、最近は少なく見積もって20件に1件、多く見積もって10件に1件がネット調査による結果です。

私が愛読している日経流通新聞ですら、第一面にネットで実施した生活者調査の結果を掲載して記事を構成しています。

普及率が10%を越えると、ひとつの独立した市場として認められることを考えると、ネット調査はそろそろ市民権を得たようです。

15年前に流行ったFAX調査と比べると、その差が良く分かります。
どちらも「早い」「安い」が特徴の調査手法ですが、当時のFAXの普及率が7%程度。現在のネットの普及率が約60%と言われる昨今、使っている生活者が多い分調査がしやすくなり、これほどまでに普及するのは納得しそうな勢いです。

クライアント企業からも「ネット調査を考えているのだが、どうだろうか」と手法を指定してくる企業も出始めました。
しかし、これだけの勢いのある調査手法を「単に流行っているから」というだけの理由で採用して信用するのはどうなのでしょうか。
つい最近も、ある政府系機関から

「民間企業もやっているようだし、そろそろネット調査を試験的にやってみたい」

と話を持ちかけてきました。

「右にならえ」は日本人の習性ですが、ビジネスの世界で考えもなくやることほど怖いものはありません。

「みんながやっているのだから、問題はないのだろう」

と、考えることを停止してしまう。
私がよく言う「思考停止状態」がここにも現れてきています。

ネット調査も中身をきちんと検討しないで、右にならえでは、危険なことおびただしい。そこで、今回はもっともっとネット調査について、考えてみましょう。

早い、安い、質がいい?

ネット調査を実施した企業や検討している企業の担当者に話を聞くと、まず返ってくるのが従来の紙をベースとした調査と比較したメリットです。

●「早い」

これは、たくさんの人たちが指摘するネット調査のメリットです。
市場は動いています。生活者も変わるだけではなく、競合企業も様々な手を打ってきます。昨日常識だったものが明日は非常識になる…こんなことも現実であったりします。
そんな中で、調査をするために1ヶ月、分析に1ヶ月も待っていたのでは勝機を逃してしまう。そんな危機感があります。

ネット調査は早いところでは数日で結果が出ます。
今日質問すれば、明後日には結果が出てくる。
まさにネットならではのスピード感です。
これについては、私も何の抵抗もありません。いや、歓迎すべきことです。
私だって、翌日に結果が出てくれば、クライアントに喜んでもらえます。また、そんなに早く結果が出れば、戦略報告書を作る期日にも余裕が出てくるというものです。

●「安い」

この点も企業担当者の多くが指摘するところです。
紙をベースにした従来型調査と比べて数分の一で済んでしまう。
300万円かかる調査が30万円で済んでしまえば、こんなに嬉しいことはありません。
浮いたお金を、もっと知りたいところに焦点を当てた別の調査をすればいいのですから、万々歳です。

この点についても、何ら反論するところはありません。
大事なのは調査にお金をかけることではなく、それを読むことだからです。無駄なコストはかけるべきではありません。

●「質が良い」

これもまた多くの担当者が指摘しています。
つまり、こういうことです。ある企業担当者の話です。

「今までは予算に制約があったから、本当はもっとサンプル数(回答者数)が欲しかったのだけれど、これで思う存分サンプル数を集められます」

うんうん、これはこれで正しい。
150サンプルのデータを読むには経験とコツが必要です。それがないと「本当のデータと嘘のデータ」を見分けることができません。
それならば、10倍の1,500サンプルのデータを扱う方が余計な気を使わなくて良いので、分析も楽になります。

「サンプルは多ければ多いほどいい」??

ところが、ちょっと疑問がある言葉が彼の口から出てきました。

「なぜって?
サンプル数が多い方がデータの精度が高いじゃないですか。
たった10人が回答している調査より100人が、そして1,000人がいいのは当たり前ですよ。森さんも知ってるでしょ、そんなこと」

あれれ、ちょっと待ってください。
「精度が高い調査」をすることは私にとっても大切なことです。だから、そのこと自体は歓迎すべきことだし、10人に聞いて「結果が出ました」と報告するのはあまりにも乱暴であることは確かです。ですが、ちょっと違う気がします。
なぜって、

「サンプル数は少なすぎるのも問題だが、多ければいいってものじゃない」

からです。だって、

「多いとお金がかかる」

じゃないですか。

「統計誤差」という言葉があります。
専門的になりすぎるので細かい話は避けますが、簡単に言えば、

「誤差を5%から2.5%に下げようとすると、3〜4倍のサンプル数(回答者数、つまりお金)がかかる」

ということです。

具体的には、

「ある商品のデザイン評価が20%、競合商品のデザイン評価が23%であったが、ほぼ同じである」

と分析するのと

「ある商品のデザイン評価が20%、競合商品のデザイン評価が25%であったが、ほぼ同じである」

と分析するのとで、3〜4倍ものお金をかけないといけないということです。

さて、そうなると、ネット調査のメリットの一つである

「サンプル数が多く取れる」

は、そんなに意味がないことが分かります。

ただし、ひとつだけ意味があるとすれば、サンプル数が多い方が社内が通りやすいという悲しい事実です。
「1,000サンプルのデータです」といえば、社内で文句をつける人がいなくなる。それが取締役などの偉い人なら「データが少なくて信用できん」と、その後の話も聞いてくれなくなる危険が少なくなります。
現実はそんなものですが、それなりに意味があります。
でも、そのために数100万円のお金が無駄になる。シストラットの懐に入る訳でもない。

「いや、森さん、3〜4倍ものサンプル数が必要ですが、ネット調査の費用は1/5〜1/10なんですよ。だから、結果的に安くなるんです」

なんだか、

「特売で安いから、いつもは1つで十分だけど、キャベツ5個買っちゃった」

という主婦に近いと思うのは私だけでしょうか。

ネット調査の費用が1/5〜1/10なら、同じサンプル数にして、浮いたお金を別な調査にかける方がよほど良いと思うのですが。

統計誤差の落とし穴

さてさて、実はネット調査には大きな落とし穴があります。
従来型の紙ベースの調査で200サンプルを集めたとしましょう。
ネット調査で2,500サンプルを集めたとします。
統計誤差は6%から2%に減りますから、精度が上がりました…というのは、ちょっと早急です。
回答する人間が違うからです。

どういうことか。
マーケティング調査でよくある調査テーマは「商品の評価」です。
たとえば、4,000万世帯にあるケチャップを売りたい。だから、開発中の新製品がおいしいと思われるかどうか知りたい。
そこで500サンプルの調査をすることになるのですが、そのために集めてくる回答者は、年齢や家族構成など、できるだけ4,000万世帯に近い人たちでなければなりません。

例えば、500人の回答者がほとんど独身者なのに、

「いい結果が出た。発売しよう」

と大々的な広告をしたところで、主婦が嫌っていれば、明らかに失敗します。
つまり、データが間違っている。

500人を5,000人にしたところで、独身者がほとんどの回答者ならば精度はまったく上がりません。
だから、回答者は年齢別などで、できるだけ4,000万世帯に近いように集めてくる必要があり、調査会社のノウハウの大きな一つがこれなのです。

これまでも彼らは様々な努力をしてきました。
数10年前は、住民登録を頼りにランダムに回答者を集めました。例えば、10人ごとに一人を選ぶといった具合です。
住民登録が閲覧できなくなると、今度は、「東京都渋谷区恵比寿南2丁目を時計回りに回って、10軒ごとに調査依頼をする」というような方法。
ところが、独身世帯が増え、兼業主婦が増えると、留守ばかりになってしまい、均等に選ぶことができなくなると、今度は、あらかじめモニタとして集めた何万人もの人たちから、ランダムに選ぶようになる。

それでも、「面倒だから」と断る人が出現する。
調査の限界と言われるゆえんです。
調査データとは調査に協力的な人の結果なのです。
かといって、謝礼を高額にすると、お金(お小遣い)目当ての人たちが集まってしまう。
それはそれで、回答者に偏りが生じてしまう。

1日に5時間以上ネットをさまよっている人間の回答は正しいのか

話が長くなりました。
調査というのは「代表性」が大きなカギだということが言いたいのです。
異質な人たちが集まったデータは、いくら分析しても正しい結果にはなりません。

それでは、ネット調査はどうなのでしょうか。
まず、わかりやすいところから説明しましょう。

ネット調査の回答者の基本は「匿名」です。要は、どこの誰かが分からない人たちが回答しています。唯一、頼りになるのは質問で用意した性別や年齢などです。
ネットですから当然です。住所、氏名、電話番号などを教えたくない。だから、謝礼も現金ではなくポイント制にして、調査会社と回答者が直接触れるようにはなっていない調査会社が多い。

ところが、私の周辺の人たち、つまりコンサルタントや調査のプロ、広告代理店の業界人たちは、いくつものモニタに登録しています。
Aさんは5つ、Bさんは3つといった具合です。

彼らの回答は、内部事情に詳しすぎて、一般の人たちとまったく違った回答になります。例えば、彼らは仕事ですから、ビールの銘柄などは、目をつぶっていたって20や30個はソラで言えてしまう。だけど、一般人たちはせいぜいが5個が限度です。
これだけ見ても、回答が一般人でない(代表性がない)、異質な人たちであることがわかります。

それだけではありません。
従来型の調査では、クライアントが所属する業界の人は回答できないようにしています。だから、例えば、プリンタの調査でエプソンがクライアントである場合、キヤノンの社員やヒューレットパッカードの社員、関係者は回答できないようになっています。
しかし、ネット調査ではそういったチェック機能がありませんから、回答が一般人とは違います。しかも、競合他社に情報が漏れまくる。

実は、そんなプロだけがネット調査の結果をゆがめている訳ではありません。もっと人口が多いタイプの人たちがいます。
「ヲタク」です。

総務庁発表では、日本のインターネットの1日あたりの平均利用時間は2004年で37分です。2001年の統計局の発表では1時間42分。一見、短くなっているように見えますが、2004年ではライトユーザー(ちょっとしか使わない人)が多く流れ込んでいるので、平均では少なくなっていると考えていい。
いずれにしても、平均は40分から1時間半くらい。

しかし、1日8時間も10時間も平気でネットに住み着いてる人たちがいます。
あるネット企業の調査では、1週間に20時間以上(1日3時間以上)ネットを利用している人の割合がなんと16.1%にも及んでいます。ちなみに、同企業が実施した従来型の調査では4.5%しか1日3時間以上利用していない。

いや、1週間で35時間以上(1日5時間以上)利用する人は6.2%もいます(従来型では2.2%)。
私の知り合いにも、1日14時間ネットゲームをやり続けていたり、自分から「引きこもりです。ネットは…うーん1日少なくて5時間、多いと10時間くらいかな」と言ってしまうような女子学生がいたりもします。

ネットに長時間いることが悪いわけではありません。
しかし、どんな人間にも24時間しかないのです。ネットに使う時間が増える分だけ、他の活動(友人と会食したり、映画を見たり、ケンカをしたり、恋をする時間)が少なくなります。
そうなると、彼らの回答が一般の人たちと違うものになりそうなのは、誰の目にも明らかです。

16.1%の回答者の回答が異常値だとすると、乱暴に言えば、ネット調査でサンプル数を3〜4倍も集めて3%の精度を高めようとしても、16%も精度が低くなってしまうのです。
「角を矯めて牛を殺す」「頭隠して尻隠さず」ということわざがありますね、そういえば…

「インターネット調査は社会調査に利用できるか」という報告書

手元に1つの報告書があります。
「インターネット調査は社会調査に利用できるか〜実験調査による検証結果」
と題された厚生労働省所管の独立行政法人、労働政策研究・研修機構という政府系企業の研究結果です。発行は2005年1月31日。最近のものです。
内容は、従来型の調査とネット調査の結果を比較して、ネット調査がどれだけ従来型調査に近いのかを検証するものです。

「報告書のポイント」として上げられた報告を抜粋すると、次のようになります。

●ネット調査では、大半の質問に対して従来型調査と結果が明らかに異なっている(「調査結果の大半が有為に異なった」が原文)

●性、年齢、学歴、職業といったものが差の原因ではない(「性、年齢、学歴、職業といった実体的な属性だけではその差が説明できない」)

●ネット調査の回答者には共通した性格がある。それは、「高学歴」「労働時間が短い」「不安・不満が強い」である(「従来型調査と比較して共通の特徴(高学歴、労働時間が短い、不安・不満が強い)が観察された」)

その結果、結論として、

●ネット調査は従来型の調査の代わりには使えない(「ネット調査は、現段階では、従来型調査の代用として何の留保もなくそのまま用いることは不適切である」)

とばっさり切っているのです。

特に、ネット調査の回答者の偏りについてはこう書かれています。

●高学歴、専門技術職が多く、技能・労務職が少ない。
●正社員が少なく非正規従業員が多い
●労働時間が少ない

先に紹介した女子学生は、いわゆる有名私立大学に在籍していましたが、事情があって退学し、今はフリーターをしています。
まさに、そんな人たちが浮かび上がってくる結果です。

もうひとつ、大事なことがあります。

●ネット回答者は、複数の調査会社に登録し、毎週のように調査に回答している者が多い

と報告書に書かれている事柄です。
調査を回答する人間が「セミプロ」になると、我々プロと似たような行動をとります。
「商品に異様に詳しい」が代表的なものですが、それだけではありません。
彼らは、「調査票の作成者の裏を読んで、『喜ばせたり』『怒らせたり』」意図的に回答をゆがめることが多いのです。

これはネット調査だけの問題ではありません。従来型調査でも、モニタ制度を取る調査企業はこういう問題を抱えています。
これを回避するために、まともな従来型調査会社は1年間に全体の1/3を入れ替えたり、同じ人には数ヶ月、回答を依頼しないようにしたりする工夫をしています。

しかし、ネット調査会社はそんなことはおかまいなしです。だって、「【豊富な調査対象】全国に40万人を超えるモニター(ある大手ネット調査会社のHPより)」が売り文句になるのですから、入れ替えなんてとんでもない。商売上、損なことをする訳がありません。

ネット社会特有の習慣 - ウソ

さて、もうひとつ。ネット調査に特有な問題点があります。
それは、「ネットは匿名性が強い」というところに起因しています。
現実社会では、「名前(実名)」は非常に重要なものです。それだけで個人が特定できる可能性が高いからです。
「森 行生」といえば、同姓同名の人はいるかも知れませんが、ほぼ私を指すことになる。

しかし、ネットでは、その基本中の基本である名前すら「ウソ」です。「ウソ」という言葉が悪ければ「虚構」「仮想」「バーチャル」でも結構。
ハンドルネーム、ニックネームなどと呼ばれていますが、要するに「本当ではない」のが当たり前の世界です。

さて、そんな「ウソに慣れた」ネット利用者が調査では大きな障害になります。
まずは「なりすまし」。あるネット調査会社にモニタを登録する時、複数の名前で登録すればポイントが早くたまります。

しかし、調査を依頼する方はたまったものではありません。
500人のうち、本当は半分の250人しか回答者が存在しないなんて、シャレにもなりません。残りは一人が自作自演で、男性が女性の「気持ちに」になったり、20代の若者が50代のおっさんの回答するために「おやじを思い浮かべながら」回答するのです。

回答にウソが混じることだって十分にあります。
見栄を張って高額な商品を買ったことにする。いや、理想的な自分を演じて別人格を演技するなんてネットの掲示板などではよく見かけることです。その感覚で回答されてしまう。

実際、シストラットが実験的にネット調査と従来型調査の検証をしたことがあります。守秘義務の関係で多くは語ることができませんが、なんと性別まで偽っていた例が結構あったのです。
理由を聞くと、ある男性は

「格闘ゲームで女性のキャラクターを使うのと同じです。どこがいけないんですか」

との答えが返ってきました。

また、ある女性は

「『女性』と回答すると怖いじゃないですか。ネットでは自分で自分を守らないといけないですもの。あ、後の回答はちゃんと正直に答えましたから、問題ないと思います」

いや、問題おおありですって、お嬢さん。
「女性に特に高い評価を得ている」という結果が出た新製品なので、女性向けの広告を作り、10億円を広告費に当てて、女性が多く集まる10万のお店に商品を置く。
しかし、まったく売れない…そんなことが、起こりうるのです。

ネットベンチャーとしてのネット調査会社の勃興

一体、どうしてこのようなことが起きるのでしょうか。
1番目の理由が、企業がちゃんとものを考えずに「安い」「早い」だけで飛びつくからです。
利用する企業が多いからネット調査が増える。
ネット調査会社の実績が増えれば「こんな有名企業も利用しています」と喧伝する。
そしてまた、何も考えずに「おお、それなら安心だ」とネット調査を利用する。
ネット調査会社は質を上げることより、モニタ数が多い、と自慢した方が企業のウケがいい。
企業は自分で自分の首を絞めていることに気がつく必要があります。

もうひとつ理由があります。
ネット調査を立ち上げ、普及させた主役が従来の調査会社ではなく、ネットベンチャーだからです。彼らは、専門知識など持ち合わせていません。
「ネット利用者が増えた。ネット調査を事業にすれば儲かる。よし、やろう」
調査票なんて見よう見まねで作れます。我々のようなプロが見れば素人同然の調査票でも、見抜けない企業がたくさんいる。

ましてや、ネットベンチャーで金儲けしか頭のないネット技術者がよってたかって作った調査システムでは、統計の基本、調査の基本すら欠けているのが実情です。

たとえば、ある大手ネット調査ベンチャー企業のホームページには膨大な調査に関する解説が掲載されています。いかにも調査や統計に詳しい印象があります。

しかし、ことネット調査の代表性のこととなると、

●ネット人口が増えたから代表性が高まった
●マーケティング調査では、代表性はあまり意味がない。意図的に集めればいい
●代表性を高める工夫が必要(とは書いてあるが、どういう工夫なのかはまったく記述されていない)
●政府がやっている調査だって代表性に問題がある

としか記述されていません。
1番目は先の政府系企業の報告書でもわかるとおり、人口が少ないのは問題外にしても、だからといって、増えたら安心かというと必ずしもそうではないことが証明されています。

また、2番目は意図的に回答者を集める「コンセプチャル・リクルーティング(例えば、競合商品のユーザーだけを集める)」という手法があるのは確かですが、すべての調査がそうではないことは自明の理です。
4番目は、一方しか説明していない(政府の調査だって…)だけです。「だから、自分のところの調査は安心です」とはいえない。

それでは、従来型調査会社がやっているネット調査なら安心かというと、コトはそう簡単ではありません。
職人肌でネット調査の限界を知っていた彼らの多くはネット調査ビジネスに出遅れました。そして、従来型の調査の受注がネット調査会社に取られてしまうから、おっとり刀で乗り出しました。

しかし、彼らが考える「きちんとした質のデータ」を提供しようとすると、コスト面でネット専門調査会社にはかないません。
集めるだけ集めたモニタにブロイラーのごとく毎週のように回答させるのと、いちいち年間で数分の一ずつ入れ替えるのとでは維持費用がまったく違うからです。

調査票だって、月収15万円の新入社員に、ちゃちゃと作らせるだけなら、すぐにできあがるし、コストもかかりません。しかし、調査票の設計は分析よりも習得が難しい。
「分析3年、設計8年」とシストラットの14ケ条にあるのは本音です。
すると、月収2倍3倍の社員がきちんと作る必要がある。その分、時間とコストがかさみます。

従来型の調査会社もビジネスです。調査の受注がないと倒産の危機になる。
すると、当然のことながら、プライドも何もかなぐり捨てて、「やばい」と知りつつ、ネット調査会社と同じコスト、同じ期間で勝負せざるを得ない。

だから、「従来型の調査会社だから安心」という発想は「(内容も吟味しないで)ネット調査は安くて早いからいい」という発想とまったく同じなのです。

相手は血が通った人間であることを忘れてはいけない

さて、それではネット調査会社がすべて「軽くヤバイ」ところかというと、そうでもありません。従来型調査会社を中心に、良心的にネット調査を請け負っているところがあるのも確かです。ただし、よく言われるほど「早くも」「安くも」ありません。

例えば、ネットで調査するのはするが、リクルート(回答者を集めること)は従来の手法で行う。つまり、ネットの持つメリットである、

●調査票を印刷するコストや時間を短縮する
●郵送などの日数が省略される
●集計するためのデータ入力を省くことによって、時間と費用を短縮する

は担保しながら、代表性はきちんと高めるというやり方をしている調査会社もあります。しかし、例えば回答者が回答する時間は短縮できません。回答する時間を短くさせても、相手は人間です。自販機のボタンを押すようには都合良く動いてくれません。

シストラットがよくやるような調査票だと、軽く1時間くらいかかる内容ですから、調査票が郵送で届いて、その日にやってもらうことなどできません。
それができるのは、まさに「労働時間が短い」暇な人だけです。
だから、回答者の回答期限は土日を3回、つまり3週間を見ています。その間に時間ができたらやってくださいね、という方法です。

人の意志や行動を無視して調査をしたところで、いい結果は生まれません。相手は血の通った人間なのです。
ネット調査が人間味を感じないネットヲタクの発想から生まれたのはよく分かります。過去記事で紹介したように「血の通った人間が裏にいるのだ」ということが分からないから、「明日には結果が出ます」などと無茶が言えるのでしょう。

ネット調査会社の見分け方、7ケ条

さて、それでは、どうすればいいのでしょうか。

「できればネット調査をやりたい」
「ネット調査をやらざるを得ない。ならば、精度の問題はある程度覚悟しても、できるだけ無茶なデータは避けたい」
「まともなネット調査を実施しているところがあるならば探したい」

そんな声もあるでしょう。
また、このメールマガジンで問題点だけをあげつらうのでは寂しいので、

「ちゃんとしたネット調査をやる調査会社」

の見分け方について、今までお話ししたことと重なりますが、最後にお話をしましょう。

まず、結論から言います。
最近の耐震偽造問題のように、素人、つまり統計や調査の知識がない人にとっては完全に見分けることはできません。

しかし、一方で、耐震偽造がプロが見れば一発で分かるように、ネット調査をきちんとやっているかどうかは、調査のプロが見ればすぐにわかります。

従って、第一の見分け方は、

【その1】知識と実務経験のある人に見てもらう

です。

【その2】回答者の集め方について、きちんと質問をする

ネット調査の最大の問題点が回答者に偏りがあることはお話ししました。
ならば、調査会社がどうやって、その偏りをなくす努力をしているかがポイントになります。

ネット普及率が高くなっても、利用者が均等にモニタになっている訳ではないことは説明しました。例えば、2週間に1回しかネットを利用しない人が「明日まで回答してね」というアンケートに答えられるはずもない。自然と、モニタには1日5時間以上もやっているような人たちが多くなり、実際の回答する人間もそういう人たちからの回答が多くなるのは当然です。
例えば、これをどれだけコントロールできるかがポイントです。

また、偏った方法でモニタを集めるのも不合格です。
例えば、
「キャンペーンで集まった大量の応募からモニタを集めています」
のも不合格。
キャンペーン対象が偏っていたり(例えば、ある食品だけ、あるデジタル家電だけに興味がある人しか応募していない)、キャンペーンマニア(20〜30%存在すると言われます)が多いと、それだけ偏った回答しか得られません。

【その3】モニタの回答状況について、きちんと質問をする

先に説明したように、毎週のように回答するような「プロ」モニタがいるネット調査会社では安心できません。
理想的には、年間で3〜4回、つまり3〜4ヶ月に1回しか回答できないように管理している会社が安心です。多くても6回、つまり2ヶ月に1回です。

ただし、複数の会社に登録している人はチェックのしようがない。
「回答者のプロ」は従来型調査会社でも「モニタを使っている限り(だから、調査価格は張りますが、モニタを使わないでリクルートすることも多い)」同様の問題が起きます。
それは、ある程度あきらめる必要があります。
「調査会社の管理がしっかりしていれば、無茶苦茶多くはなくて、安心だろう」程度の判断しかできないのが実情です。

【その4】モニタの入れ替え状況について、きちんと質問をする

プロモニタを排除するもうひとつの方法はモニタの入れ替えです。
これを定期的に実施しているならば、とりあえずは安心です。
年間で1/3から1/4を入れ替えること、つまり3〜4年でモニタのすべてが入れ替わるような管理をしていれば合格です。
まったく入れ替えをしていないのは言語道断です。

「モニタ人数を「ウリ」にしていない」

【その5】データチェックについて、きちんと質問をする

従来型調査では必ず行っているステップです。
回答のヌケ落ちがないか、矛盾がないか、いい加減に回答していないかどうか。
論理チェックのように、一部、コンピュータでチェックできる項目もありますが、ほとんどは人間の目で一票一票確認するのが原則です。

従来型調査では幸か不幸か調査票の回収に時間がかかりますから、郵送や手渡しで返ってきた調査票を次から次へとチェックすれば、まとまった時間はかかりません。

しかし、数1,000サンプルを数日で集めて納入するネット調査では大半がこういったチェックを行っていません。
そうなると、どんどんいい加減な回答が集まってきます。
何回も言いますが、不正確なデータが1割あれば、500サンプルだろうが、5,000サンプルだろうが統計誤差10%という低い精度は同じです。

【その6】調査票は誰が作っているのかについて、きちんと質問をする

10年のベテランが作った調査票だと調査会社から回答が来ても、その人間がきちんと勉強していなければ信用できないのが本音です。できあがった調査票をプロが見て初めて分かるのが実情です。
しかし、少なくとも、入社数年目の若い社員が作った調査票は目も当てられないケースが多いのも確かです。知識があったとしても、学校で統計学や調査を学んだとしても、実務による経験がなければ、ちゃんとした調査票は作れないからです。
もう一度言います。「分析3年、設計8年」なのです。

次の例は、あるネット調査会社のホームページからの引用です。
このような、調査設計の基礎が分かっている人間が担当するなら安心です。
(ただし、この会社がすべて、こういった知識を持った担当者が調査設計をしているかどうかについては保証できません)

[常態的設問と実態的設問が区別されているか]

【設問例】
「あなたは美術館に行きますか?」

【対策】
一般的な行動(常態的設問)であるか一定期間の経験(実態的設問)なのかを明確にする必要があります。
[常態的設問の場合]「あなたは日頃美術館に行きますか?」
[実態的設問の場合]「あなたはこの1ヵ月間に美術館に行きましたか?」

【その7】モニタ人数を「ウリ」にしていない

従来型調査でも同じ事ですが、モニタ会員が多ければ、それだけ多様な人たちの調査ができると信じている人が多いのに驚かされます。
いままで見てきたように、モニタは人数ではなく質です。
一般と違う質の人間が20%もいるモニタでは、10万人いようが100万人いようが、正しいデータは出てきません。

極端な言い方をすれば、私なら
「モニタは500人しかいません。だけど、きちんと管理しています」
という調査会社の方に調査を依頼します。

それでは、ネット調査はまったく使えないのかというと、そうでもありません。
「餅は餅屋」ということばがあるように、使い方によってはメリットもあります。
次に、3つだけその例を挙げましょう。

【その1】通信手段としてネットを使っているだけで、リクルートなどは従来型で行っている

先にも説明しましたが、かなり安心です。
ネット調査はモニタをどれだけ管理していようが、労働政策研究・研修機構の報告書にあるように、例えば労務職・技能職がほとんどいないのです。要するに、左官屋さん、トラック運転者などはネットでは捕まえにくい。
自動車の調査なのに、タクシー・トラックなどの運転手がいない調査をしたところで、片手落ちなのは明らかですが、結構、堂々とやっているのはびっくりします。

それだけに、ネットからこぼれ落ちた人たちをどうやって拾っていくのか。その回答の一つが「事前リクルート、ネット回収」という手法なのです。
ただし、金額も時間も従来型よりほんのちょっと安いだけです。

【その2】調査テーマで、ネット調査を使うかどうかを判断する

当然のことですが、ネット證券やネット通販ではネット調査の意味があります。
ネットをしない人たちが証券取引をやりたいためにネットを始めるというケースは今でもありますから、「潜在需要を含めた調査」ならばネット調査だけでは片手落ちです。

しかし、ネットの世界だけで完結しているテーマならばネット調査は最適です。
もちろん、「モニタのプロ」などの排除や入れ替えの管理をきちんとしているという条件付きです。

また、モニタの人数は関係ないと言い切りましたが、実は、一定の条件の時は話が別です。調査をしたい人たちが、ごくごく限られた人たちの場合です。

「自社商品(市場シェア3%)を月に2回以上買っている人たち」
「女性23歳で、ひとり暮らしをして、資本金100億円以上の企業に勤めている」

たった3%のシェアしかない商品で、しかも、月2回以上使っているとなると、シェアの半分以下という可能性もあります。1万人のモニタで150人しか集まらない。
それならば、1万人より10万人のモニタの方が安心です。
もちろん、上で解説したモニタ管理をきちんとしていることが大前提です。

【その3】調査票のボリュームで、ネット調査を使うかどうかを判断する

ネット調査では多くの質問はできません。回答者が飽きてしまうからです。
大まかな目安は2〜3ページの調査票が限度です。
例えば、ブラウザの1ページにずらっと質問を並べて、スクロールしないと回答できないレイアウトをした場合などがそれに当たります。

実は、やり方によっては7〜8ページまで可能な方法もありますが、多くの調査会社はそういった工夫をしていないので、2〜3ページ以上の調査票にすると後半がいい加減な回答になる傾向があります。

-------------------------------
従来型調査には限界があります。それは確かです。そして、その限界を突破してくれそうなネット調査に関心が高まるのも理解できます。
しかし、ネット調査はネット調査で限界があります。そして最も大事なのは、その限界が見過ごせない基本中の基本の部分にあるのです。
それを見極めることがいま必要なことなのでしょう。

被害を被るのは、そのデータを信用して、商品開発をし、数億円もの広告費とセールスマンの人件費、流通に対するリベートなどを支払って、大失敗するクライアント企業なのです。
そのことをきちんと考える時が来ているのです。

【お願い】
この記事は現段階での一般的なネット調査事情について執筆したものです。
従って、大変申し訳ありませんが、シストラットでは「それではどこの調査会社がおすすめか」については、お答えしかねますので、ご了承ください。
また同時に「うちは大丈夫です」といった、売り込みについてもご返答しかねます。

ネット調査の危険な落とし穴

【参考記事-弊社メルマガより抜粋】
最大誤差20%のネット調査の賢い利用 2008年7月
●ネット調査はどこまで使えるか 2005年12月(本ページ)

Copyright ©1998 -  SYSTRAT Corporation. All Rights Reserved.