CVまでのファネルを確認したときに、CVの直前で大きな離脱を発見した場合、ファネル落ちを改善するための施策を実施するでしょう。
例えば、ECアプリでカートに商品を入れたのに購入に至らないユーザーに、「買い忘れてない？」や「在庫があるうちに購入しよう」というプッシュ通知を打った場合、どのような手順で分析するのがいいのかをご紹介します。
まず考えること
効果検証シートで、「期待する効果」に何を記入したか思い出しましょう。
ここでは、「カートに追加⇒購入実行ファネルの改善」だったと仮定します。
利用する機能
Reproファネル分析
検証手順
ABテスト機能を利用しなかった場合
期間比較で効果測定をします。手順は以下の通りです。
- Reproファネル分析で施策実施期間を指定し、各ファネルの突破率推移を確認する
- 施策実施期間直前の、施策実施期間と同じ日数の各ファネルの突破率推移を確認する
- 1と2を比較する
ABテスト機能を利用した場合
開封率比較と期間比較で効果測定をします。手順は以下の通りです。
- コントロールグループと、配信されたグループの開封率とCV率を比較する
- 「ABテスト機能を利用しなかった場合」１～５と同様の検証をする
各ファネル突破率は上がっていましたか？
上がっていなかったとしてもがっかりする必要はありません。
次の「結果解釈とネクストアクション」に進みましょう。
結果解釈とネクストアクション
ABテスト機能を利用しなかった場合
各ファネル突破率が向上していた場合
おめでとうございます。仮説は当たっていたようです。
「プッシュ通知によって、カートに商品を入れたユーザーは購入を喚起される」ことがわかりました。
ネクストアクションは次のようなことが考えられます。
- プッシュ通知の文言はブラッシュアップできないでしょうか？ ⇒訴求軸を変えてABテストをしてみる
- 翌々日や、その次の日のRRはもっと改善できないでしょうか？ ⇒翌々日や、その次の日のプッシュ通知を試してみる
- 改善率が高い部分と低い部分はないでしょうか？ ⇒なぜ改善率が高いのか、低いのかを分析してみる（分析に迷ったら担当のカスタマーサクセスにご相談ください）
各ファネル突破率が向上していなかった場合
残念ながら、仮説は間違っていたようです。
ですが、「今回の文言の、今回のタイミングのプッシュ通知ではカートに商品を入れたユーザーは購入を喚起されない」という示唆が得られました。
ネクストアクションは次のようなことが考えられます。
- 文言が刺さらなかったのでしょうか？ ⇒文言を変えてプッシュ通知を配信してみる/文言のABテストを行う
- 送る時間が悪かったのでしょうか？ ⇒時間を変えてプッシュ通知を配信してみる（配信時間に迷ったら担当のカスタマーサクセスにご相談ください）
ABテスト機能を利用した場合
各ファネル突破率が向上していた場合
おめでとうございます。仮説は当たっていたようです。
「プッシュ通知によって、カートに商品を入れたユーザーは購入を喚起される」ことがわかりました。
ネクストアクションは次のようなことが考えられます。
- コントロールグループに比べて配信群に有意差は出ていましたか？ ⇒有意差が出ていたかどうかによってネクストアクションを考える
- パターンによって反応が違ったりしていませんでしたか？ ⇒反応が良かったパターンの訴求軸で翌々日やその次の日のプッシュ通知を試してみる
- 改善率が高い部分と低い部分はないでしょうか？ ⇒なぜ改善率が高いのか、低いのかを分析してみる（分析の方法に迷ったら担当のカスタマーサクセスにご相談ください）
各ファネル突破率が向上していなかった場合
残念ながら、仮説は間違っていたようです。
ですが、「今回の文言の、今回のタイミングのプッシュ通知ではカートに商品を入れたユーザーは購入を喚起されない」という示唆が得られました。
ネクストアクションは次のようなことが考えられます。
- コントロールグループと比べて開封率に有意差は出ましたか？ ⇒有意差が出ているのにファネル突破率が上がっていないのか、有意差も出ておらずファネル突破率が上がっていないのかを確認する
- パターンによって開封率が違っていましたか？どの文言も刺さらなかったのでしょうか？ ⇒文言を変えてプッシュ通知を配信してみる
- 送る時間が悪かったのでしょうか？ ⇒時間を変えてプッシュ通知を配信してみる（配信時間に迷ったら担当のカスタマーサクセスにご相談ください）