A/Bテストでポップアップを最適化するには？

「A/Bテスト」でポップアップを最適化する

ポップアップの「A/Bテスト（スプリットテスト）」を実施することにより、コストを掛けずに運営するサイトのコンバージョン率やクリック率を向上させることが可能です。

A/Bテストは一般的にコンバージョン率やクリック率といったパフォーマンス指標を約1％～15％程度改善させます。
たった1回のA/Bテストを行うだけでは大きな結果は期待できませんが、テストを継続的に行い、その結果を積み重ねることで余分なコストを省いてコンバージョン率に大きな改善をもたらします。

「A/Bテスト」とは何か？

「A/B/Nテスト (通称A/Bテスト)」とは、ネット広告やWebサイト等がより良い結果や高い成果を出せるよう最適化するために用いられるテストの一種です。

例えばデザインや画像、文言が違うA・Bの2つのパターンの宣伝広告があり、どちらの広告がより成果を上げるのかを知りたい場合、A/Bテストを同時に実施し結果を比較することで、どちらの広告がよりユーザーの注目を集め、結果が出やすいのかを発見することが可能になります。

なお、A/Bテストは2つ以上の要素を対象に実施する事も可能です。
(多変量テスト)

“A/Bテストの実施”はポップアップ・プラットフォームが最も安全

通常のウェブサイト上におけるA/BテストはWebサイトのコード変更を行う必要があり、バグの発生や決済プロセスを中断させてしまうリスクがあります。

一方、ポップアップはサイト構造の上に置かれるためコードを変更を行う必要はなく、運営するサイトのバグ発生のリスクはありません。

A/Bテストを行うにあたりポップアップは最も安全なプラットフォームとなっており、コンバージョン率を最適化するのには最善の場所になります。

「A/Bテスト」を行う理由

A/Bテストは自身が抱える顧客について学ぶのに役立つ

近年では若年者から高齢者まで、さまざまなユーザー層がインターネットを利用しています。
ユーザーの離脱やカゴ落ちはサイト運営者の思いつかないところ、思わぬ理由等で発生しており、また動向や趣向もユーザーそれぞれです。

A/Bテストを実施することで、その結果によりコンバージョン率・クリック率といったパフォーマンスが改善できるだけでなく、分析結果をテストに反映する過程の中で抱える大切な顧客の動向や趣向について知ることができ、次なるマーケティング施策に役立てられます。

無料でコストを掛けずコンバージョン率改善が可能

ポップアップを運用し結果を追う上で大切になるA/Bテスト。

先述の通り、一般的にA/Bテストは毎回実施するごとに少なくとも約1%~15%程度改善することが可能です。その結果をコストを掛けずに無料で得ることから、活用しない手はありません。
運用するすべてのポップアップにA/Bテストを実施し、最大限の結果を獲得しましょう。

「A/Bテスト」実施の準備と手順

A/Bテストは、弱点を発見する→仮説を立てる→テストを実施する→テスト結果を分析するという流れで行われます。

大まかなA/Bテスト実施の手順を以下にご紹介します。

① 現在のポップアップの弱点を見つける

最初に、現在使用しているポップアップが持つ弱点を割り出します。
運営サイトが目標とするコンバージョン率や売上等の結果に対して、ポップアップがどのように脆弱であるかを発見します。

② アイデアを使って仮説を立てる

ポップアップの弱点を発見することができたら、それが弱点となっている理由・原因について仮説を立てて割り出していきます。

ポップアップ上の画像・文言・デザイン等に原因は無いか、ポップアップがユーザーの意向や需要に沿っているかなど、弱点と思われる点について仮説を立てていきます。

③ 仮説を元にポップアップを作成・A/Bテストを実施する

弱点とその原因についての仮説を元に、新たなポップアップデザインを作成します。
元のポップアップと、仮説をベースにデザインを編集した新しいポップアップを作成し、A/Bテストを実施します。

④ より成果を上げるポップアップを選定し、さらにテストを行う

A/Bテストの結果を確認すると、より成果を上げるポップアップが判明します。
テスト結果に伴ってポップアップを選定し運用を開始します。また、この結果を元に新たなA/Bテストを行い、さらにポップアップを最適化していきます。

「A/Bテスト」実施の準備と手順のポイントまとめ

1. 1ポップアップの弱点を見つける
2. 2アイデアを使って仮説を立てる
3. 3ポップアップをデザイン・A/Bテストを実施する
4. 4成果を上げるポップアップ選定し、さらにテストを行う

【A/Bテスト事例】ファースト・テスト

『“ペットシャンプー”の販売促進で使用するポップアップのA/Bテストを3回行い、コンバージョン率を4倍まで高める。』

1. ポップアップの弱点

某ペットシャンプー販売サイトには多くのユーザー(平均月30,000人超）が訪れます。
大型犬の画像を使ったポップアップを使用してメーリングリストのサインアップを募るものの、サインアップ率は0.7％。
これが弱点となっており、せっかくのトラフィックが無駄になってしまっている状況です。

またメーリングリストによる平均注文金額は＄24（約＄5000/月）となっており、メーリングリストのサインアップ率を2％高めることができれば、毎月さらに＄15,000の利益上乗せが期待できます。

2. アイデアを使って仮説を立てる

ペット用シャンプーを購入する顧客の多くがアパートやマンションなどの集合住宅で暮らしていると仮定した場合、小型犬を好んで飼うことが予想できます。

その仮説を元にすると、ポップアップに使用している大型犬の画像と商品はマッチせず、ユーザーがペットシャンプーの利用を想像できない可能性があります。また、取り扱う商品がペット用シャンプーであることから、毛量の多い犬の画像のほうがよりユーザーの想像や使用感を膨らませる事ができるかもしれません。

3. 仮説を元にポップアップを作成・A/Bテストを実施する

ここで、前のステップで導き出した仮説を元に、

• 大型犬のポップアップ
• 毛量の多い小型犬のポップアップ
• 小型犬のポップアップ

の3通りを作成し、A/Bテストを実施します。

4. より成果を上げるポップアップを選定、さらにテストを行う

A/Bテストを実施した結果、ポップアップに「毛量が多い小型犬の画像」を使用した方がより効果が上がることが判明しました。その結果、メーリングリストのサインアップ率は2倍近くまで向上しました。

【A/Bテスト事例】セカンド・テスト

1. ポップアップの弱点

1回目のA/Bテストの結果、「毛量の多い小型犬の画像」をポップアップデザインに使用することで事態は改善しましたが、それでもまだメーリングリストのサインアップ率は2％を下回り、トラフィックが無駄になってしまっています。
ここで2回目のA/Bテストを行い、さらにポップアップを最適化していきます。

2. アイデアを使って仮説を立てる

初回のA/Bテストで「毛量の多い小型犬の画像」のほうがより顧客の購買を刺激することが判明しました。
コンバージョン率をさらに高めるアイデアとして「小型犬でも“他の長毛種”であればより顧客の注目を集められる」という仮説を立てます。

3. 仮説を元にポップアップを作成・A/Bテストを実施する

仮説を元にさらにポップアップのバリエーションを増やします。
今回は、

• 1回目のA/Bテストで最もコンバージョン率が高かったポップアップ
• 他の長毛種の小型犬のポップアップ
• 毛の短い小型犬のポップアップ2つ

を作成し、A/Bテストでその結果を比較します。

4. より成果を上げるポップアップを選定、さらにテストを行う

テストの結果、「他の長毛種の小型犬のポップアップ」が、より顧客の注目を集めることが判明しました。
ポップアップをさらに最適化していきます。

※ポイント・・・このA/Bテストの結果はポップアップに対してだけでなく、その他ポスターや広告においても「長毛種の小型犬」の画像が注目を集めるということを表します。つまり、ネット上だけでなく現実のビジネスにおいてもこの結果が活用できます！

A/Bテストの運用事例 サード・テスト

1. ポップアップの弱点

2回にわたるA/Bテストによって、メーリングリストのサインアップ率は2％を超え、目標を達成することができました。しかしながら、あともう少しサインアップ率を向上させられる可能性がありそうです。

2. アイデアを使って仮説を立てる

これまでのポップアップには、すべて“清潔できれいな犬の画像”を使用してきました。また、ポップアップ上ではディスカウントの要件について解説していますが、“シャンプーで犬を洗う”ということについては全く言及していません。

これらの要素を加えることで、さらに顧客の注目が集められるという仮説を立てます。

3. 仮説を元にポップアップを作成・A/Bテストを実施する

A/Bテストを経て選定した、最終的に最もコンバージョン率の高いポップアップと、仮説を元に同じ犬種を使用した「犬が泥で汚れている画像」を使ってポップアップを作成します。

そしてさらにこのポップアップに“シャンプーが必要ですか？”という文言を加え、シャンプーについても言及するように工夫し、A/Bテストを実施します。

4. より成果を上げるポップアップを選定、さらにテストを行う

A/Bテストを実施した結果、「泥で汚れた小型犬の画像」を使ったポップアップがさらに注目を集め、コンバージョン率向上に貢献する事が判明しました。

A/Bテストを繰り返してポップアップを改善する事により、コンバージョン率は4倍近くまで跳ね上がりました。

PromolayerでA/Bテストを実施する

① A/Bテストを作成する

まず最初に、A/Bテストの対象とするポップアップを作成します。

ディスプレイ選択画面の上部にある「A/Bテスト」をクリックします。

次の“A/Bテスト管理画面”の右上にある「⊕テストを作成」をクリックします。

次の“テストを作成”の画面では「テストの名前」と「テストの説明」を入力します。

繰り返し継続的に行っていくA/Bテストでは、そのテストの名前とテストがどんな内容だったのかを記録しておくことで整理がつき、より効率良くテストを実施できます。

「テストの名前」と「テストの説明」は必ず記入するようにしましょう。

記入が完了したら、下の「新規作成」をクリックします。

② A/Bテストで使用するポップアップを複製・編集して作成する

“A/Bテスト/ダッシュボード”に新たにテスト欄が作成されました。

続いて下にある「既存ディスプレイをコピーして作成」をクリックします。

※「新規ディスプレイを作成して追加」をクリックすると、ポップアップの新規作成画面が開きます。
「既存ディスプレイをコピーして追加」をクリックすれば、現在すでに作成・使用しているポップアップのコピーをA/Bテスト用に作成できます。

“ディスプレイを選んでください”というメニューが表示されます。

テストを行いたいポップアップの名称の横にある「使用する」をクリックします。

指定のテストに、既存のポップアップのコピーが作成されました。

続いて、追加したポップアップの右側にある「複製」をクリックし、テストを行いたいバリエーションの違うポップアップを作成していきます。

※「複製」で同じ内容のポップアップを簡単に作成することができます。

ポップアップが複製されたら続いて画面右側の「編集」をクリックし、それぞれのポップアップをテストしたい内容に編集していきます。

ポップアップ編集画面では画面左上に“A/Bテスト用”という記載が確認できます。

他のポップアップと区別がつくように、名称を変更しておきましょう。

ポップアップ編集メニューの下部にある「画像と背景」から、ポップアップの画像を変更します。
このケースでは、小型犬の画像を当てはめていきます。

またA/Bテスト用の各ポップアップの「ルール設定」では、「表示タイミング」や「繰り返し回数」などについて個別にルール設定が可能です。
A/Bテストでそれぞれのポップアップのトリガー設定・表示設定について比較したい場合は、ここで設定します。

※ポップアップを誰に表示するか・どのページに表示するか・スケジュール設定等をすべてのポップアップに一律に設定する場合には後述の「テスト設定を編集」から設定が可能です。

ポップアップ編集が完了したら、「保存」を忘れずに行いましょう。

A/Bテストで使用する、異なる3つのポップアップが作成されました。

③ テスト設定を編集する

次にポップアップの「テスト設定」を編集します。
「テスト設定を編集」ではポップアップの表示ルールの他、トリガーやテストの実施期間等、すべてのポップアップで一律に適応されるルールの設定が可能です。

「テスト設定を編集」をクリックし、“テスト設定編集画面”で必要なポップアップのルール設定を行います。

※「トリガー設定」と「表示タイミング」についてルールをポップアップごとに個別に設定したい場合は、前項の“各ポップアップのルール設定”で設定が可能です。

ここで設定するルールは、すべてのポップアップに適用されます。
「同じユーザーに繰り返し表示しますか」「どのページに表示しますか」「どのページに表示しませんか」「誰に表示しますか」のこれら4項目についての設定が可能です。

画面下部の“ディスプレイのスケジュール”では、A/Bテスト実施期間の設定が可能です。
デフォルトではスイッチがオフ（24時間稼働）となっているため、そのままでもA/Bテストは稼働します。

ケースによって期間を指定する必要がある場合は、ディスプレイのスケジュール横のスイッチをオンにします。
続いて、「スケジュールを追加」をクリック。

テストを実施する曜日と時間、そしてタイムゾーンを設定します。

各種設定が完了したら、画面上部に戻り「保存」をクリックします。

ルール設定が完了し、異なる3つのポップアップを対象としたA/Bテストを実施する準備が整いました。

画面左側のポップアップのLIVEスイッチがONになっていることを確認し、「テスト開始」をクリックします。

テストが開始されると、指定のA/Bテストがグリーン色に変わり、「このテストは稼働中です」というテキストが表示されます。

※なお、A/Bテスト途中でもコンバージョン率やコンバージョン数の値が明らかに低いポップアップを停止する事ができます。
これにより、テスト中も高いコンバージョン率をキープできます。

PromolayerでA/Bテストの結果を分析する

指定のA/Bテストが完了すると、“A/Bテスト/ダッシュボード”では「完了したテスト」としてテストデータが表示されます。

テスト詳細下部の「3個のバリエーションを見る」をクリックすると、テストを行ったポップアップを確認する事ができます。

テストの詳細な結果を確認するには、上部の「詳細リポート」をクリックします。

“A/Bテストレポート”では、各ポップアップのパフォーマンスが時系列でグラフに表されています。
横軸が時系列、縦軸がコンバージョン率を表し、このグラフでは「毛量の多い小型犬」が全期間において良い結果を出していることがわかります。
色分けされたグラフを確認することで、どのポップアップが高いコンバージョン率を獲得できているかが一目で理解できます。

また画面下部では各ポップアップの名称と表示回数、コンバージョン数とコンバージョン率を数値で確認する事ができます。

レポート画面左上の「戻る」をクリックし、A/Bテスト/ダッシュボードに戻ります。

結果が最も優れているポップアップを実際のポップアップとして採用するために、ポップアップ右手のボタン「ディスプレイにコピー」を選択します。

「ディスプレイにコピー」をクリックすると現在使用しているポップアップにA/Bテストで使用したポップアップがコピーされて置き換わります。
これにより、より効果・成果の高いポップアップを採用することができます。

最後に、A/Bテストで最も結果が良かったポップアップが現在のポップアップとして選択できているかを確認します。

A/Bテストを行うためのアイデア

初めてA/Bテストを実施する上で、複数のポップアップのどのような要素を比較・検証すれば良いのでしょうか？

A/Bテストではポップアップのデザインや画像をはじめ、ポップアップ上のテキスト文字、ポップアップの明るさ、ポップアップの表示ルールなど様々な要素について比較が可能です。
以下に列挙するポップアップの特徴を元にポップアップを作成し、A/Bテストを行ってみましょう。

「A/Bテスト」でポップアップを比較する要素

• 明るいポップアップVS暗いポップアップ
• ライトボックスポップアップVSスライドインポップアップ
• シリアスなポップアップVSポップでキャッチーなポップアップ
• タイマートリガーVSスクロールトリガー
• 静止画像VSアニメーション画像
• キャラクターを配した商品画像VS商品のみの画像
• 写真VSイラスト
• 通常のポップアップVSクーポンルーレットポップアップ
• 通常のポップアップVSフルスクリーンポップアップ