デジタルマーケティング施策のPDCAを回すうえで、「検証・振り返り」は非常に重要なフェーズです。
施策は実行して終了ではありません。
施策の検証・振り返りを行い、結果を正しく解釈し、次の施策・企画に繋がる改善点を見つけることが大切です。

そんな非常に重要なフェーズだからこそ、こんなお悩みもよくお伺いします。

「改善はうまくいっていそうだが、結果を定量的に検証して報告しなければいけない。どのように振り返ればいいのだろうか？」
「施策実施前よりCVRは上がったが、本当にその施策の効果なのか判断できない。どのように分析すべきだろうか？」

この記事では、USERGRAMとGoogle Analyticsを併用して行う施策の検証・振り返りのステップをご紹介します。
決められたステップに従って分析することで、誰でも施策の検証を行うことができます。

USERGRAMとGoogle Analyticsの違いについてはこちらの記事でご紹介しています。

お悩みの背景にあるつまづきポイント

★この章からセミナー動画を視聴する場合はこちら

施策の検証・振り返りを行う際、お悩みの背景にはこんなつまづきポイントがあるのではないでしょうか？

• 施策の検証を行いたいが、どの数字を見れば良いかわからない
• 見るべき数字・データはわかっているが、どうやって見ればよいかわからない
• 数字をまとめたものの、本当にその施策の効果だと言い切れない

こういったつまづきも、決められたステップに沿って分析を行っていけば解消することができます！
ここからはつまづき解消の3ステップに沿って、施策の検証・振り返りの方法をご紹介していきます。

施策の振り返り・効果検証の3ステップ

★この章からセミナー動画を視聴する場合はこちら

①まずは検証すべき結果を再確認し、
②Google Analyticsで施策に触れた人を絞り込んで結果（＝相関）を確認したのちに、
③USERGRAMで結果が施策によって生まれたのか（＝因果）を確認していきます。

Google Analyticsでは、施策に触れた人でどれだけ成果が出たか（＝相関があるか）は確認できますが、本当にその施策による効果なのか（＝因果があるか）を断言することはできません。
成果数値が出ている場合でも、他の施策によって成果が出た可能性もあるためです。
そのため、USERGRAMで行動観察を行い、成果が本当に施策によって生まれたのかを確認することが重要になってきます。

施策の検証・振り返りのケーススタディ

★この章からセミナー動画を視聴する場合はこちら

それでは、施策の検証・振り返りの3ステップを、ケーススタディを用いてご紹介していきます。

【ステップ①】検証すべき「結果」を再確認

★この章からセミナー動画を視聴する場合はこちら

まず、実施した施策によってどんなユーザ行動（誰が・何をして・どうなる）を実現したいのかを考え、そこから検証すべき結果数値（施策のKPI）を明確にします。

上記のように整理していくと、検証すべき数値は下記だということがわかります。

ここで検証すべき数値を明確にしておくことで、ステップ②で確認すべき定量的なデータが明らかになります。

【ステップ②】Google Analyticsで施策に触れた人を絞り込んで結果を確認

★この章からセミナー動画を視聴する場合はこちら
※確認方法パターンB,Cはセミナー動画ではご説明していません。

Google Analyticsを使って、施策に触れたユーザをセグメントで切ってデータを抽出し、施策に触れていないセグメントと比較しながら相関関係を確認していきます。

ここでのデータ抽出のコツは、すべてのユーザを見るのではなく施策に触れたユーザでアドバンスセグメントを切ることです。
セグメントを切ることにより、対象となるユーザの遷移率とCVRを確認しやすくなります。

今回は、下記のパターンごとにGoogle Analyticsでの確認方法をご紹介していきます。

【パターンA】リニューアル後⇔リニューアル前で比較する

まず初めに、「スマホユーザ」というセグメントを切ったうえで、リニューアル前後の期間で比較する方法をご紹介します。

①スマホユーザでアドバンスセグメントを作成する

まず、今回の施策のターゲットユーザはスマホユーザなので、「スマホでアクセスしたユーザ」というアドバンスセグメントを作成します。

1. ページ上部【セグメントを追加】より【新しいセグメント】をクリック
2. 今回は「スマホユーザ」でセグメントを切るので、【テクノロジー＞デバイスカテゴリ】に「mobile」と記入
3. 【保存】をクリック

②期間で比較する

スマホユーザに絞ったアドバンスセグメントを作成できたら、そのセグメントのユーザを期間で比較していきます。
今回は4月1日に行ったリニューアルの検証なので、3月と4月の期間で比較を行います。

1. 「トップページにランディングしたのちにアパレルカテゴリに遷移したユーザ」を観察したいので、【行動＞サイトコンテンツ＞ランディングページ】を開く
2. ページ右上の期間をクリック
3. 「比較」にチェックを入れる
4. 比較したい期間を選択する（今回は3月1日～3月31日と、4月1日~4月30日を比較）
5. 期間で比較した該当ページの各種データが表示される
6. トップの次（2ページ目）にアパレルカテゴリを表示した行動を確認したいので、セカンダリディメンションで【2ページ目】を選択し、表示させる
7. トップ（/home）＞アパレルカテゴリ（/apparel）に遷移したセッション数、CVRをチェックする

※トップページのセッション数を母数とし、トップ＞アパレルカテゴリに遷移したセッション数を分子とすれば、遷移率を計算できる

【パターンB】施策に触れたユーザ群⇔施策に触れていないユーザ群で比較する

次にご紹介するのは、施策に触れたユーザ群と触れていないユーザ群それぞれのアドバンスセグメントを作成し、比較する方法です。
アドバンスセグメントの中の「シーケンス」という条件を指定してセグメントを切っていきます。

1. 「トップページにランディングしたのちにアパレルカテゴリに遷移したユーザ」を観察したいので、【行動＞サイトコンテンツ＞ランディングページ】を開く
2. ページ上部【セグメントを追加】より【新しいセグメント】をクリック
3. パターンAの①と同様に、「テクノロジー」よりスマホデバイスを指定
4. さらに、「シーケンス」で施策に触れたユーザ、触れていないユーザのそれぞれで条件を追加し、保存する。今回はトップにランディング後、アパレルカテゴリに遷移したユーザ・遷移していないユーザを比較したいので、以下のように設定する。
   ▼施策に触れたユーザ
   《ステップ1》ランディングページ：/home（完全一致）
   　　↓ 直後のステップ
   《ステップ2》ページ：/apparel
   ▼施策に触れていないユーザ
   《ステップ1》ランディングページ：/home（完全一致しない）
   　　↓ 直後のステップ
   《ステップ2》ページ：/apparel
5. 「セグメントを追加」より、施策に触れたユーザ、触れていないユーザのそれぞれのセグメントを選択する。その際、デフォルトで選択されている「すべてのユーザー」の選択を外す。
6. 「適用」をクリック
7. リニューアル後の4月の数値で結果数値を確認する

【パターンC】施策を実施した領域⇔施策を実施していない領域で比較する

最後に、施策を行った領域と、施策を行っていない領域で比較する方法をご紹介します。
今回はアパレルカテゴリページが施策を行った領域になるので、施策を行っていない別カテゴリページと比較を行います。

1. 「トップページにランディングしたのちにアパレルカテゴリに遷移したユーザ」を観察したいので、【行動＞サイトコンテンツ＞ランディングページ】を開く
2. パターンAの①と同様に、「スマホユーザ」でアドバンスセグメントを作成する
3. パターンAの②と同様に、セカンダリディメンションで2ページ目を表示する
4. 施策を実行したアパレルカテゴリページと実行していないその他のカテゴリページの結果数値を比較する

【ステップ③】USERGRAMで結果との因果を確認、改善案出しへのヒントを得る

★この章からセミナー動画を視聴する場合はこちら

Google Analyticsで結果の確認が行えたら、その結果が本当に施策によって生まれたのか（＝因果）をUSERGRAMで確認していきましょう。

数値成果が出ていても出ていなくても、USERGRAMで行動を確認することで定量分析だけでは気づけない施策の伸びしろを見つけることができます。
ここからは、USERGRAMでの具体的な検証方法をご紹介していきます。

USERGRAMでの絞り込み方法

1. ユーザ検索画面にて、リニューアル後の期間を選択する
2. 該当のCVを選択する
3. CV属性が取得できている場合は、該当の商品を購入したユーザで検索できるよう、商品カテゴリやID等で属性を指定する
4. 「検索」をクリック
5. 行動で絞り込む画面にて、スマホデバイスを選択する
6. トップ＞アパレルカテゴリ＞商品購入の順で行動を指定し、それぞれ同じ訪問でつなぐ
7. 「絞り込む」をクリック

【パターン1】数値成果が出ている場合に、本当に施策の効果なのかを確認する

今回のケーススタディであれば、
「トップから流入し、アパレルカテゴリを閲覧したのちCVする」
といったように、ユーザが想定通りスムーズにCVできているかを確認しましょう。

ユーザがスムーズにCVしており、特につまづいたり困っていそうなポイントがなければ、理想の体験を提供できており、結果との因果関係があると推測できます。
数値成果は出ているものの、目標値に届いていない場合やわずかな伸び幅であった場合（例：CVRが7.0%から7.2%になった 等）も、施策実施前と比較してユーザがスムーズにCVできていれば、施策の効果が出ていると判断できます。

一方で、成果数値が出ていてもCVまでにつまづいているユーザが複数いれば、数値が上がったのは施策の成果ではなかった（＝因果がなかった）ということがわかります。
その場合は、ユーザにとって良い体験提供にはなっていないので、つまづいていた箇所を改善する必要があります。

【パターン2】数値成果が出ていない場合に、なぜ成果に繋がらなかったのか・改善点を探る

ユーザがスムーズにCVできておらず、

• 通常通らないであろうページを見ていた（FAQページなど）
• 同じページを何度も行き来している
• 施策対象ページからは一瞬で離脱していた

などといった行動が見られた場合、数値成果が出なかった原因がわかり、改善箇所が見えてきます。
今回のケーススタディの場合であれば、

というように、想定と異なる動きをしているユーザの行動から改善点へのヒントを得ることができます。

数値成果が出ていなくても、ユーザが想定通りの遷移でCVしていた場合は、施策以外の箇所に課題があり、数値を下げてしまっている可能性があります。
特に施策の結果が出ていない場合は、ユーザがどのような動きをしているかをしっかりと確認し、改善すべき箇所を明確にしましょう。

上記でご紹介した施策の検証・振り返りを実際に行った企業様の事例も下記記事にてご紹介しています。ぜひ併せてご覧ください。
【USERGRAM×Google Analytics】事例紹介：解約抑止施策の効果を検証

業務組み込みのコツ

★この章からセミナー動画を視聴する場合はこちら

これまでご紹介した施策の検証・振り返りの方法を業務に取り入れる際のコツをお伝えします。
少し意識していただくことで、より効率的に施策の振り返りが行えるようになると思います。

1.絞り込みやすいよう、パラメータを設定しておく

メルマガ等の流入区別だけでなく、サイト内リンクにもパラメータを振っておくと、ユーザの行動を可視化しやすくなります。
例：LP内の同リンク内バナー3つにパラメータを振り分ける

※USERGRAMの仕様上、2021/11/22まではパラメータの形式は「?key=value」でないとパラメータ以降が切り落とされる仕様でしたが、2021/11/23以降は「?key」の形でも計測される（切り落とされない）仕様になりました。

2.USERGRAM、Google Analyticsの条件保存を活用

施策の開始直後、実施中、実施後等各タイミングで結果を確認しやすいように、条件保存を活用しましょう。
USERGRAMでは検索条件の保存機能を、Google Analyticsではアドバンスセグメントやカスタムレポートといった機能を利用すると、日次・週次でのレポーティングの手間も削減できます。

3.毎回両ツールを使う必要はない

• 施策開始直後はデータが少ないので、USERGRAMをメインで使って想定通りの行動か確認する
• しばらくしたら、Google Analyticsで数値確認をする
• 大きな振り返りのタイミング、重点施策は月に1回皆でUSERGRAMを確認する

といったように、必要に応じてツールを使い分けるのが業務効率化への近道です。

4.施策の結果報告には、両ツールを組み合わせると説得力向上

施策の結果を報告する際は、Google Analyticsで確認した数値結果と、USERGRAMで確認したユーザの行動変化・要因をかけ合わせて報告するのがおすすめです。
特に改善案まで合わせて提示する際には、USERGRAMでの該当の行動を提示すると「なぜその改善案に至ったのか」が伝わりやすくなります。