グロースハックA/Bテストの巻 -前編

闇に紛れて悪を討つ。自称上級忍者のジョーです。これからグロースハック*1に用いるA/Bテストについて考えてみたいと思います。
(なぜグロースハックA/Bテストなのか…グロースハックの中で、インバウンドマーケティングの１つとして連携して行うA/Bテストを行うことをさします)
今回はまずA/Bテストについてと、私や仲間たちが様々な改善案件をおこなっていく中で陥った落とし穴について話したいと思います。ニンニン

A/Bテストとは

ある特定の期間にページの一部分を2パターン用意して訪問ユーザーを半分づつに振り分け、どちらがより効果の高い成果を出せるのかを検証する方法です。A/Bテストやグロースハックが広まったきっかけになったのは、2008年にオバマ大統領らはA/Bテストを行い、資金寄付のCVRを40%も向上させ200 億円の資金を集めた例が有名です。

※もちろん2パターンだけではなく、3、4、5パターンとテストすることもあります。

落とし穴

ウェブや参考書などで比較的有名になったA/Bテストの手法ですが、テストのやり方を間違うと誤った解答しか得られないという事実を皆さんは知っているでしょうか。一般的に言われる正しいテストのやり方もスタートであって、それに頼れば上手くいくものではありません。実際に何百戦とA/Bテスト改善を行ってきた経験から、よく失敗しやすい落とし穴について話したいと思います。

・部分改善は俯瞰でみる

・ファーストビュー志向に惑わされるな

・改善効果は持続時間も指標にする

・勝負はテスト1回目で決まる

部分改善は俯瞰でみる

ページ内のボタンやコンテンツに対して行う部分改善のA/Bテストはまず通るテストだと思います。しかし、そこだけのポイントに絞ったテストには実は大きな落とし穴が潜んでいます。部分的にはCV(コンバージョン)が上がっても全体のCVは下がったというようなことが起こるからです。またui設計やビジュアルヒエラルキーの崩壊にも繋がりやすいところです。

これは部分的なテストといえページ全体にも、さらにはWebページなどのプロダクト全体にも依存関係があることが要因です。

★CVポイントを部分ではなく導線の中で考え、ユーザーを目的のアクションに導く流れを作ることが重要！

[見直しポイント] UI設計, ビジュアルヒエラルキー, 情報設計

ファーストビュー志向に惑わされるな

SPやアプリなどで「ファーストビューにボタンを入れろ」、「ファーストビューに収めるよう」にみたいによくファーストビュー信者がいますよね。私もその1人でした。ですがある大手のキャンペーンLPの改善を行なっていたときに、ファーストビューにボタンを納めない案の方が、収める案よりもCVが20%も高くなることがありました。原因はユーザーがキャンペーンのお得さを把握できないのにボタンが定型みたいにタイトルの直下に設置してあったことでした。アイキャッチのようなものでもいいので内容やお得さが把握できた後にボタンが配置してあった方が押されるのです。SPユーザーは文章が多少長くても「理解してボタンを押す」ということが分かった事例でもあります。

★ファーストビューに収めることより、ユーザーを納得させることが重要！

[見直しポイント] 情報設計, UI設計

改善効果は持続時間も指標にする

効果があった、なかっただけで判断してどんどん改善を進めていくと、ある時期から効果が下がったり、なくなるケースがあります。

これはバナー広告のビジュアルテストだと分かりやすいかもしれません。

ビジュアルや動画広告などでは流行りや旬など、人々の興味は変化していて、当たると大きくハネる時があります。逆も然り。結果が大きく影響します。

このような時期によって影響される改善を私は限定改善と言っていて、情報設計や動線整理など定常的な改善と分けて考えています。uiでもただ目立つ、他と変わっているといった場合は、数値が上がってもユーザーが見飽きると終わりです。

テストを行う際にここが混ざってしまうと正確な判断ができないので注意が必要です。

★改善は限定改善と定常改善に分けて行う！

[見直しポイント] 効果継続時間の予想, 仮説, テストパターン

勝負はテスト1回目で決まる

「とりあえずテストをしてみよう」という思想はもっとも危険です。A/Bテストはユーザーの無意識を測るテストとして捉えてください。そもそも私たちはwebサイトやアプリはいくつも横断しながら使っていて、便利な「ツール」として認識しています。

それならば、最高のUIとはユーザーは使い方を考えることなく必要な情報得られ、やりたいことが素早く実行できるものです。

なので最適な答えというのは制作側が探すもので、A/Bテストでは、ユーザーは用意されてものを使ってもらって答え合わせをしてくれるまでです。

→ユーザーは意識して使っていないので仮説がなければ、結果を解釈できない

そのためにはテストパターンを製作する際に問題点の発見と解決するソリューションの仮説出しがA/Bテストのもっとも重要な作業です。※ここはほぼ伏せられている情報ですが、「他サービスの調査、サンプル集め」がそれらを生み出すソースになります。

ユーザーの使いやすさの根底にある基準は「既視感」からきています。なので共有認識を上手く使い、ビジュアルコントロールの技術を使えば、ある程度答えは決まってきます。

その仮説の精度をできる限り高めてテストに望むことがユーザーに最高の答え合わせをしてもらえるわけです。

→いい仮説があれば結果をしっかり解釈でき、テスト2回目、3回目の検証精度が上がっていく

★テストに入る前にユーザーに聞きたい質問をはっきりと決めておく！

[見直しポイント] 問題発見,仮説立て, 他サービスの調査, テストパターン

終わりに

実はA/Bテストの最大の課題は本番反映までのスピード感だと考えています。最後の項はそこに深く関わってくるのですが、長くなってしまったので また次の機会にさせていただければと！ ニンニン

中編へ続く…

*1
グロースハック とは、 ユーザー から得た製品やサービスについてのデータを分析し、改善して マーケティング の課題を解決していく手法です。

SES/受託開発のご依頼についてはこちら