新規ユーザーのRR向上のため、「ユーザ登録してみよう」や「〇〇の機能を使ってみよう」というプッシュ通知を配信した場合、どのような手順で分析するのがいいのかをご紹介します。
まず考えること
効果検証シートで、「期待する効果」に何を記入したかを思い出しましょう。
ここでは、「新規ユーザの翌日RR向上」だったと仮定します。
利用する機能
Reproリテンション分析
検証手順
ABテスト機能を利用しなかった場合
期間比較で効果測定をします。手順は以下の通りです。
- Reproリテンション分析から、施策実施期間の「新規ユーザーのアプリ起動数・翌日のRR」を抜き取る
- 施策実施期間の新規ユーザー翌日RRの加重平均を算出する
- 施策実施期間直前の、施策実施期間と同じ日数の「新規ユーザーのアプリ起動数・翌日のRR」を抜き取る
- 施策実施期間直前の、施策実施期間と同じ日数の新規ユーザー翌日RRの加重平均を算出する
- 2と4を比較する
ABテスト機能を利用した場合
開封率比較と期間比較で効果測定をします。手順は以下の通りです。
- コントロールグループと、配信されたグループの開封率を比較する
- 「ABテスト機能を利用しなかった場合」１～５と同様の検証をする
翌日RRは上がっていましたか？
上がっていなかったとしてもがっかりする必要はありません。
次の「結果解釈とネクストアクション」に進みましょう。
結果解釈とネクストアクション
ABテスト機能を利用しなかった場合
RRが向上していた場合
おめでとうございます。仮説は当たっていたようです。
「プッシュ通知によって、新規ユーザーはアプリ起動を喚起される」ことがわかりました。
ネクストアクションは次のようなことが考えられます。
- プッシュ通知の文言はブラッシュアップできないでしょうか？ ⇒訴求軸を変えてABテストをしてみる
- 翌々日や、その次の日のRRはもっと改善できないでしょうか？ ⇒翌々日や、その次の日のプッシュ通知を試してみる
- RRが向上していなかった場合
残念ながら、仮説は間違っていたようです。
ですが、「今回の文言の、今回のタイミングのプッシュ通知では新規ユーザーはアプリ起動を喚起されない」という示唆が得られました。
ネクストアクションは次のようなことが考えられます。
- 文言が刺さらなかったのでしょうか？ ⇒文言を変えてプッシュ通知を打ってみる/文言のABテストを行う
- 送る時間が悪かったのでしょうか？ ⇒時間を変えてプッシュ通知を打ってみる（時間に迷ったら担当CSにご相談ください）
- ABテスト機能を利用した場合
RRが向上していた場合
おめでとうございます。仮説は当たっていたようです。
「プッシュ通知によって、新規ユーザーはアプリ起動を喚起される」ことがわかりました。
ネクストアクションは次のようなことが考えられます。
- コントロールグループに比べて配信群に有意差は出ていましたか？ ⇒有意差が出ていたかどうかによってネクストアクションを考える
- パターンによって反応が違ったりしていませんでしたか？ ⇒反応が良かったパターンの訴求軸で翌々日やその次の日のプッシュ通知を試してみる
- RRが向上していなかった場合
残念ながら、仮説は間違っていたようです。
ですが、「今回の文言の、今回のタイミングのプッシュ通知では新規ユーザーはアプリ起動を喚起されない」という示唆が得られました。
ネクストアクションは次のようなことが考えられます。
- コントロールグループと比べて開封率に有意差が出ましたか？ ⇒有意差が出ているのにRRが上がっていないのか、有意差も出ておらずRRが上がっていないのか確認する
- パターンによって開封率が違っていましたか？どの文言も刺さらなかったのでしょうか？ ⇒文言を変えてプッシュ通知を配信してみる
- 送る時間が悪かったのでしょうか？ ⇒時間を変えてプッシュ通知を配信してみる（配信時間に迷ったら担当のカスタマーサービスにご相談ください）