CVR向上のための効果的な手法として、多くの企業様で実施されているABテスト。
ただ、ABテストの分析においては以下のようなお悩みをよくお聞きします。
・サイト内で様々な施策を行っており、ABテストが有効に働いたのかの判断が難しい
・なぜAパターンが勝ったのか、理由が分からない
・何が良かったのかが分からず、別の施策への応用や知見の蓄積ができない

そこで本記事では、ABテストの結果数値に行動データ（USERGRAM）を組み合わせた、効果的なABテストの検証方法をご紹介します。

▼USERGRAMでABテストの分析を行った事例を知りたい方は、こちらの記事をご覧ください。
【ABテスト】各パターンのユーザ行動から、「勝ちパターン」のさらなる伸びしろを発見

ABテストで定性データ（行動データ）を分析するメリット

ABテストを検証する際に重要となってくるのは、「その結果数値が本当にABテストによって出た結果なのか」を明らかにすることです。
ABテストの結果数値を見て、勝った・負けたの判断はできても、
・各パターンの狙いや工夫した点が本当にCVに起因しているのか
・ABテスト以外の要因（キャンペーンや広告などの別施策）による影響はないか
といった点を見極めることは、実は難しいんです。

例えば、すでにABテストを実施したことのある方は、こんな経験はないでしょうか。
「ABテストでは勝っていたのに、実装したら数値が伸びなかった／かえって下がってしまった」
「UXがあまり良いようには見えないが、他のパターンよりもCVRが高いため変更ができないページがある」　…など

ABテスト実施中には勝ったパターンでも、実は施策の狙いが影響しておらず別ルートでCVしていたり、別の要因によって数値が伸びていた場合、実装してもその後の成果にはつながりません。

そこで、ABテストの分析に行動データ（USERGRAM）を用いることで、「施策の狙いが影響して勝ったのか / 負けたのか」を明らかにし、実装する内容を決定することができます。

また、施策の狙い自体は有効に働いていても、ユーザがつまずいている点や困っている点が行動データから見えてくることで、さらなる改善につながったり、今後のABテストの企画案へとつながる場合があります。
ぜひこれからご紹介する分析方法を参考に、定量データと行動データを活用したABテスト分析を試してみてくださいね。

ABテストの分析方法

ここからは、実施したABテストを分析する際の、おすすめの分析のステップをご紹介します。分析のステップに沿ったレポートフォーマットもご用意しておりますので、併せてご利用ください。
（こちらからダウンロード可能です）

STEP1.テストの基本情報を整理する

まずは、ABテスト実施前に立てた仮説を整理しましょう。

【整理したいポイント】
・テスト実施の目的
・各パターンで狙っていた効果や工夫した点
・各パターンにおいて、ユーザにどのような行動を取ってほしかったのか
・その結果、どんな変化（数値の向上など）を狙っていたのか

上記のような項目を整理しておくことで、施策実施の狙いが再確認でき、定量データや定性データを確認した際に振り返りが行いやすくなります。
USERGRAMでの観察をチームメンバーと一緒に行う場合は、チームメンバーにも事前に共有しておきましょう。

STEP2.定量データの確認

基本情報が整理できたら、各パターンごとのテスト実施前・後の定量データを確認しましょう。
定量データでのレポーティングについてはすでに行っている企業様が多いと思いますが、
・ABテスト実施前／実施後の対象ページの数値
・そのABテストで目標としていたKPIは達成したのか
などを確認しておきます。

その際、定量データを見ての考察を残しておきましょう。
特に、定量データの確認だけでは解ききれなかった課題なども考察として残しておくと、USERGRAMで行動データを観察する際の観点にもなります。

例）
・Bパターンはフォームへの導線を強めたのに、なぜAパターンが勝ったのだろうか
・なぜ回遊導線を増やしたBパターンのほうが直帰率が高かったのだろうか
・CVRの差はかなりわずかだが、これは有意差があると言えるのだろうか　など

STEP3. USERGRAMでの観察

次に、USERGRAMで実際にABテストに触れてCVしたユーザの行動を観察します。
テストのパターンごとに、3～5名ずつ観察することで、共通点なども見えてくるのでおすすめです。

USERGRAMでの観察の際は、
①行動データからユーザの状況を推察する
②STEP1でまとめた各パターンの工夫・狙いが効いていたか確認する
③STEP2で行った定量データへの考察について、実際のユーザの行動はどうだったか確認する
といった流れで分析を進めていきましょう。

上記の順番で観察を進めることで、ユーザの状況を推察してからテストの狙いを確認でき、「ABテスト企画時にターゲットとしていたユーザに対して、各パターンの狙いが効いていたのか」を検証することができます。

スムーズにCVしていないユーザがいた場合、ユーザがどんなことで困っていた／手間取っていたのかを推察しておかないと、二次改善に活かすことができません。
必ず上記の流れで観察を行うようにしましょう。

STEP4. 分析結果まとめ・ネクストアクションの決定

定量データとUSERGRAMでの観察をもとに、テスト全体の分析結果をまとめ、ネクストアクションを決定しましょう。

行動データも加味して「勝ち」だったパターンをそのまま採用するのか、出た改善案を加えて実装するのか、ABテスト自体を再度実施するのか…といった、テストをもとに取るべきアクションを決定します。

【ネクストアクション決定までの流れ】
・それぞれのユーザの観察結果をまとめ、定量データの結果も合わせてABテストの狙いが効いていたのかを確認する
・各パターンがなぜ勝ったのか、負けたのかを考察する
・考察を元に、ネクストアクションを決定する

▼ネクストアクション決定の例
・ABテストの狙い通りにユーザが行動しており、結果数値も勝っていた
　⇒勝ちパターンを実装する
・ユーザ行動を観察した結果、別施策が影響してCVしていた／施策の狙いが効いていなかった
　⇒期間や形式を変更して再度ABテストを行ってみる
　⇒USERGRAMでの観察で出た改善案のうち、どれを次回テストに採用するか決定する

このように、定量データにUSERGRAMのデータを合わせて考察することで、「Aパターンが勝った」というアウトプットだけでなく、「施策で工夫したこの点が○○な状況のユーザに作用したことにより、Aパターンが勝った」「この点に課題があったから、Bパターンは負けた」といったアウトプットを出すことができ、実装すべきパターンや、二次改善で取り組むべき点が浮き彫りになります。

実装後に成果を上げるために、ぜひ定量データで勝ち負けを判断するだけでなく、USERGRAMも組み合わせて分析を行ってみてください。

ABテストの分析用レポートフォーマット

上記でご紹介した分析の流れを項目にした、ABテストのレポートフォーマットをご用意しました。
必要に応じてカスタマイズしながらご活用下さい。

ABテストは、チームメンバーと一緒に観察するのがおすすめ

USERGRAMでABテストを分析する際は、1人ではなくチームメンバーと一緒に観察するのがおすすめです。

チームで観察するメリット

複数人で一緒に行動観察をするメリットとして、

• 1人で見るよりも、行動観察からのアイデアの幅が広がる
• ネクストアクションまでをメンバーがいる場で決めることで、施策のPDCAが早く進む
• 他の人の行動データからの気づきや改善案を聞くことにより、自分が施策の企画をする際のインプットが増える

などがあげられます。

特にABテストを新たな取り組みとして実施し始めた企業様は、チームで観察を行うことで、ABテスト実施における企画内容や分析方法の知見を貯めることができます。ぜひ皆様で観察を行ってみてください。

チームで観察する方法・ポイント

ABテストの結果をチームで観察する際には、観察会を実施するのがおすすめです。会の実施方法を具体的にご紹介します。

＜事前準備～観察～改善案出しまでの流れ＞

ABテストの実施本数が多い場合は、
・定量データだけではどちらを採用するか判断が付かないもの
・テストの規模や改修後の影響範囲が大きく、定量データだけで「勝ち」と判断してよいのか不安なもの
を観察会に持ち込み、定性データ（行動データ）で裏付けをするのがおすすめです。

観察会の中でネクストアクションの決定と実行担当者の割り振りまで行っておくと、PDCAがスムーズに回り、成果につながりやすくなります。

観察会中に観察やディスカッションが行いきれなかった場合は、観察会後にメンバー各自で行動観察や改善案出しを行い、結果をまとめてレポートを作成しましょう。
まとめたレポートは、必ずチームメンバーに共有し、ネクストアクションの決定まで行うようにしましょう。

USERGRAMでABテストを計測するための設定について

ABテストを行う際、各パターンのページタイトルやURLが同じ場合もありますよね。
その場合、USERGRAMでは実際にユーザが見ていたページがどのパターンだったのかは判別できないため、追加の計測設定やパラメータの付与が必要になる場合があります。

設定方法については下記記事にてご紹介しておりますので、こちらも併せてご確認ください。
【ABテスト】同タイトル・同URLの各パターンを観察画面上で判別するには？