マジックナンバー分析を行ってマジックナンバーを発見したら、次はそのイベントを実行してもらえるような施策を実施しましょう。
例えばマンガアプリのマジックナンバーが「マンガ閲覧」だったと仮定し、閲覧率向上のため、「人気マンガはこれ」や「おすすめマンガはこれ」などのプッシュ通知を配信した場合、どのような手順で分析するのがいいのかをご紹介します。
まず考えること
効果検証シートで、「期待する効果」に何を記入したか思い出しましょう。
ここでは、「マンガ閲覧率の向上」だったと仮定します。
効果検証のため、キャンペーンゴールは「マンガ閲覧」に設定しましょう。
利用する機能
アクセス分析
KPI分析
検証手順
ABテスト機能を利用しなかった場合
期間比較で効果測定をします。手順は以下の通りです。
※KPI分析に「マンガ閲覧」を登録している場合、KPI分析を確認するだけで簡単に比較ができます。以下では、アクセス分析を利用する場合の手順をご紹介します。
- Reproアクセス分析から、施策実施期間の「全ユーザーのアプリ起動数・マンガ閲覧実行数」を抜き取る
- 「マンガ閲覧実行数」を「全ユーザーのアプリ起動数」で割り、施策実施期間の実行率推移を算出する
- 施策実施期間直前の、施策実施期間と同じ日数の「全ユーザーのアプリ起動数・マンガ閲覧実行数」を抜き取る
- 「マンガ閲覧実行数」を「全ユーザーのアプリ起動数」で割り、施策実施期間直前の実行率推移を算出する
- 2と4を比較する
ABテスト機能を利用した場合
開封率比較と期間比較で効果測定をします。手順は以下の通りです。
- コントロールグループと、配信されたグループのCV率を比較する
- 「ABテスト機能を利用しなかった場合」と１～５と同様の検証をする
実行率は上がっていましたか？
上がっていなかったとしてもがっかりする必要はありません。
次の「結果解釈とネクストアクション」に進みましょう。
結果解釈とネクストアクション
ABテスト機能を利用しなかった場合
実行率が向上していた場合
おめでとうございます。仮説は当たっていたようです。
「プッシュ通知で伝えた内容は、ユーザーのイベント実行モチベーションを上げることができる」ことがわかりました。
ネクストアクションは次のようなことが考えられます。
- プッシュ通知の文言はブラッシュアップできないでしょうか？ ⇒訴求軸を変えてABテストをしてみる
- リテンションも同時に上がっていましたか？ ⇒リテンションの変化を確認する
実行率が向上していなかった場合
残念ながら、仮説は間違っていたようです。
ですが、「今回の文言の、今回のタイミングのプッシュ通知ではユーザーのイベント実行モチベーションを上げることができない」という示唆が得られました。
ネクストアクションは次のようなことが考えられます。
- 文言が刺さらなかったのでしょうか？ ⇒文言を変えてプッシュ通知を配信してみる/文言のABテストを行う
- 送る時間が悪かったのでしょうか？ ⇒時間を変えてプッシュ通知を配信してみる（配信時間に迷ったら担当のカスタマーサクセスにご相談ください）
- リテンションは向上していませんか？ ⇒リテンションが向上していたかどうかによってネクストアクションを考える
ABテスト機能を利用した場合
実行率が向上していた場合
おめでとうございます。仮説は当たっていたようです。
「プッシュ通知で伝えた内容は、ユーザーのイベント実行モチベーションを上げることができる」ことがわかりました。
ネクストアクションは次のようなことが考えられます。
- コントロールグループに比べて配信群に有意差は出ていましたか？ ⇒有意差が出ていたかどうかによってネクストアクションを考える
- パターンによって反応が違っていましたか？ ⇒反応が良かったパターンの訴求軸で、翌々日やその次の日のプッシュ通知を試してみる
実行率が向上していなかった場合
残念ながら、仮説は間違っていたようです。
ですが、「今回の文言の、今回のタイミングのプッシュ通知ではユーザーのイベント実行モチベーションを上げることができない」という示唆が得られました。
ネクストアクションは次のようなことが考えられます。
- コントロールグループと比べて開封率に有意差は出ましたか？ ⇒有意差が出ているのにCVしていないのか、有意差も出ておらずCVもしていないのか確認する
- パターンによって開封率やCV率が違っていましたか？どの文言も刺さらなかったのでしょうか？ ⇒文言を変えてプッシュ通知を配信してみる
- 送る時間が悪かったのでしょうか？ ⇒時間を変えてプッシュ通知を配信してみる（配信時間に迷ったら担当のカスタマーサクセスにご相談ください）
- リテンションは向上していませんか？ ⇒リテンションが向上していたかどうかによってネクストアクションを考える