New Cokeやアーロンチェアなどが歴史的なリサーチに失敗してきたにも関わらず、いまだに多くの企業がWebサイトやサービスにどんな変化を望むのかクライアントにアンケートを取り、それに頼りきっています。
未来の行動に関して人に訊くと、人は自信ありげに間違った予測を語りがちです。新しくて慣れないデザインの場合にはなおさらでしょう。「何かを使用することを想像してみること」と「実際に使うこと」は全く異なる次元の話なのです。さらに言うと、人の嗜好はとても不安定なものです。
クライアントの意見を訊くのをやめろと言っているわけではありません。何を尋ねるか、回答をどう解釈するかを明確にすることが大切なのです。
Malcolm Gladwellの書籍『Blink』にみられるリサーチの失敗例
・最も有名なリサーチの失敗の一つが、New Cokeです。クライアントのフィードバックに基づいて何千回も試飲テストを繰り返したり、途方もない努力をして味を微調整したにもかかわらず、New Cokeは悲惨な結果となりました。「Gladwellはこう主張しました。『テストで人が好きだと回答したものは、実際に彼らが買って自宅でゆっくり飲もうと思っていたものを反映していなかったのだ』」―詳細はWikipediaをご覧ください。
・今では熱烈な支持を受けているアーロンチェアは、初期のテストでは非常に評判の悪いものでした。しかしこの評価をものともせず、製造元はこの製品を製造し続けることに決めたのです。それからの話はよく知られているように、このアーロンチェアはオフィス家具の歴史において最も象徴的で、かつ一番の売り上げを記録した椅子となったのです。ひとたび椅子が有名になれば、人に高評価されるようになるという皮肉もあります。
・テレビ番組のAll in the FamilyとMary Tyler Moore Showは上映前のテストの評価が酷いものでしたが、プロデューサーはアイデアを変えず、結果的に大きな成功を手にしました。
・TED Talk on spaghetti saucesにおいてMalcolm Gladwellは、食品会社は人に好みを訊いたりフォーカスグループを集めたりする時に大きな間違いを犯していると論じました。Gladwellは言います。「舌が本当に望んでいることは、心では分からないのです。（中略）例えば、私が今この部屋であなた方にコーヒーは何がいいか尋ねたとしたら、あなた方は自分がどう答えるか分かりますか。おそらく皆さんはダーク・リッチ・ハーティー・ローストがいいと答えるでしょう。人はいつも、この質問に対してこの答えを返すのです。『何がいいですか？』『ダーク・リッチ・ハーティー・ローストがいいです。』といった具合にです。しかし実際、何％の人がこれを好んでいるのでしょうか。Howardによれば、25~27%だそうです。ほとんどの人はミルクのたっぷり入った薄いコーヒーを好みます。でも、いざ尋ねられると『ミルク多めの薄いコーヒーがいいです』とは絶対に答えませんし、いままで答えたこともないのです」
クライアントの回答に対する解釈についての更なる考察
・Walmartは顧客の意見を訊くために18億5000万ドルも投げ打ちました。「こういったように顧客が実際に何をしたのかではなく、意見だけを訊くのは危険なことです」― Walmart Declutters Aisles Per Customers’ Request, Then Loses $1.85 Billion In Sales（Walmartは客の要望に従って通路を綺麗にしたが、結果的に18億5000万ドルの損失を出した）
・UserfocusのPhilip Hodgsonは、フォーカスグループが調査側の意図に合っていない例を数多く挙げています―Is Consumer Research Losing Its Focus?（消費者調査は焦点を失っているのか？）
・「私の経験上、ほとんどの場合人間は自分がしている行動の理由を分かっていません。分かっていないからこそ、筋の通ったでっち上げをして回答しようとするのです」―Clotaire Rapaille
・Yes!: 50 Scientifically Proven Ways to Be Persuasive（説得力を持たせるための、科学的に証明された50の方法）において、著者は「人間は驚くほど、自らの行動に影響する要素を理解する能力を持っていません。」と主張しています
・It’s not what people say, it’s what they do（人の言うことではない、人のすることだ）で、Gerry McGovernはこう記しています。「ウェブサイトをデザインする上で最悪な方法は、5人の賢い人間を部屋に呼んで、ラテを片手にポストイットに記入させることです。（中略）次に良くない方法は、10人のクライアントを部屋に呼んでラテを片手に新しいデザインについての意見を述べさせることです。モデルはめちゃめちゃになってしまうでしょう」
・introspection illusion（自己反省の錯覚）に関するWikipediaの記事では、自らの行動を説明することと今後の自分の考えを予測することを、人間がどれほど苦手としているかという問題を取り扱った研究が多く紹介されています。
・How we decideの中でJonah Lehrerは、意思決定が説明するだけでいかに当初に比べて歪曲されてしまうかを扱った素晴らしい実験を取り上げています。実験では学生のグループに苺ジャムの評価をしてもらいました。その結果彼らは、Consumer Reportsの専門家がしたのとほぼ同じ評価をしたのです。しかし、別のグループには評価だけでなく、自らの好みを説明するように要求しました。すると、彼らの評価はいい加減になり、実際に一番品質の悪いジャムが選ばれるという結果になりました。
・神経心理学者のSusan Weinschenkによれば、製品の何かしらの変化を高く評価する人は信用すべきではないそうです。なぜなら、そういった人は将来の製品に対する自らの反応を過大評価してしまうからです。
・Joshua Porterはこう言います。「人に対して、『この商品を買ったり、使いたくなるためには何が足りないか？』という質問を投げかけてしまったなら、それに対する回答は信じないで下さい。成功への道につながると思ったからといって、彼らの回答に飾りをつけて解釈するのはやめてください。その回答はただの芝居に過ぎないのですから」
・「人は自分の思考や行動の原因については何も理解していないということを示唆する研究はたくさんあります。そんな事実を受け入れることに対して嫌悪感を抱くがゆえに、感動や行動を説明する際にでっち上げの話を作り上げるのです」―自己欺瞞と非合理的思考に関するブログ You Are Not So Smartより
・Jakob Nielsenは言います。「製品を過去に使ったことを思い出させたり、将来使うことを予想させたりすることこそが、ユーザーへのインタビューをする上での決定的な失敗なのです」―Interviewing Users
・Henry Fordが本当にそう言ったかは謎ですが、似たようなことは感じていたことでしょう：「もし人々に『望みは何か』と尋ねていたら、彼らはより速い馬と答えていただろう。」
とはいっても、長期的に見れば、顧客のニーズに応えないことが会社の利益につながったわけではないのですが―Henry Ford, Innovation, and That “Faster Horse” Quote
