プッシュ通知でA/Bテストをする – Repro Help&Support

A/Bテストとは、配信対象として指定したユーザーに対して、複数パターンのメッセージを用意しておき、どのようなメッセージを配信すれば開封率やコンバージョン率が向上するのかを検証することができる機能です。

定期配信と併用する場合は、最も効果の高かったメッセージを勝ちパターンとして指定でき、勝ちパターンを利用した継続配信も可能です。

この記事では「プッシュ通知を作成する」に加えて、プッシュ通知を作成する際のA/Bテストに関連した項目の設定について説明します。

メッセージを作成する

メッセージのパターンを2個以上作成すると、A/Bテストを行うことができます。

プッシュ通知の作成画面より、パターンの[追加]をクリックしてください。
作成手順

[追加]をクリックすると、[パターン 1を複製]と[新規作成]が表示されます。希望の作成方法をクリックします。
作成手順2

項目	説明
パターン 1を複製	パターン 1と同様の内容を複製します。
新規作成	新たにメッセージ内容を作成します。

「パターン 2」が作成されます。

パターン2

「パターン」の右横の[×]をクリックするとパターンが削除されます。

注釈💬

メッセージは最大4パターンまで追加できます
プッシュ API とは併用できません
パターンの追加や削除はキャンペーンの新規作成時のみ行うことができます

配信対象者を各パターンに振り分ける

「プッシュ通知を作成する」でコントロールグループを設定した際と同様にパターンを2つ以上に設定した場合も、各パターンに配信対象者を振り分けられます。
コントロールグループを含む各パターンの合計が100%になるように設定します。

設定方法

項目	説明
均等に振り分ける	コントロールグループと各パターンを均等に振り分けます。
均等に振り分ける（コントロールグループなし）	コントロールグループを0%に設定し、100%を各パターンで均等に振り分けます。

注釈💬

コントロールグループは0%〜99%まで設定できます
各パターンは1%〜100%まで設定できます
整数のみ設定できます
振り分け設定はキャンペーンの新規作成時のみ行うことができます
配信数の規模により、設定した割合と実際の配信数が乖離することがあります

効果測定（A/Bテスト）

配信結果

プッシュ通知配信からしばらくすると、「配信結果」画面にプッシュ通知の開封率、コンバージョン率がパターンごとに表示されます。

ABテスト

項目	説明
パターン	パターン名を表示します。
オーディエンス	各パターンの比率を%で表示します。
配信数	各パターンの配信数を表示します。プッシュ通知許諾がONのユーザーに対する配信のうち、ReproサーバーからAPNsやFCMへのリクエストが正常に受理された数です。日次でユニークユーザー数を集計します。
開封数	各パターンの開封数を表示します。開封したユーザー数を日次で集計し、合計した数です。開封数にはみなし開封数と直接開封数が含まれます。
コンバージョン数	各パターンのコンバージョン数を表示します。プッシュ通知の「開封」から1時間以内に、作成画面で指定したゴールを達成したユーザーの数を日次で集計し、合計した数です。
コンバージョン率	各パターンのコンバージョン率を表示します。コンバージョン数 / 配信数です。

注釈💬

コントロールグループの各データはキャンペーン自体の効果を判断しやすくするため、キャンペーン全体の 配信数、開封数、コンバージョン数、コンバージョン率 には反映されません
コントロールグループに属するユーザーに対してプッシュ通知は配信されないため、配信数は常に - と表示されます
コントロールグループの開封数は、コントロールグループに属するユーザーの中で、プッシュ通知配信時刻から1時間以内にアプリを起動したユーザー数を表示します
コントロールグループのコンバージョン数はプッシュ通知の開封から1時間以内に、キャンペーンに設定したゴールのイベントを発生させた数を表示します
開封率・コンバージョン率はそれぞれ開封数・コンバージョン数を、コントロールグループに属するユーザー数で割って算出されます

A/Bテスト有意差測定結果

A/Bテストの実行中にはA/Bテストの実行結果が表示されます。
コントロールグループを含む各パターンをベースラインに選択したり、コントロールグループを含む各パターンを選択した指標（CVR, 開封率）を用いて比較を行えます。
CVR

項目	説明
パターン	コントロールグループを含む、A/Bテストで送信を行う各パターンが表示されます。
開封率	開封率を表示します。
90%信頼区間	各パターンをベースラインと比較した場合の 90% 信頼区間が表示されます。 90% 信頼区間そのものの意味については「開発ドキュメント > 信頼区間とはなんですか？」を参照してください。
ベースラインを変更する	A/Bテストで各パターンを比較する際に基準となるパターンをベースラインとして選択します。ベースラインを変更することで、様々なパターン間の比較ができます。
対象となる指標を変更する	A/Bテストで各パターンをベースラインと比較する際に用いる指標を選択します。指標には割合を表す値（CVR, 開封率）が選択できます。また、一覧に表示する指標については編集画面から変更できます。

参考：90%信頼区間の代表的なパターン読み取り例

ここでは、90%信頼区間の代表的なパターンの読み取り方について示します。

例１：有意差がある場合

このような表示の場合、パターンとベースラインとの差が有意であることを意味します。配信を開始してから十分な期間が経過している場合、勝ちパターンの決定へと進むことを推奨します。

例２：まだ有意差がない場合

このような表示の場合、パターンとベースラインとの差が有意ではないことを意味します。結果が出るまでもう少し待つか、配信を開始してから十分な期間が経過している場合、差がないものとして次のキャンペーンの開始を検討することを推奨します。

例３：有意差があり、勝ちパターンが決定している場合

このような表示の場合、パターンとベースラインとの差が有意であることを意味します。このような表示しかない場合、ベースラインとして設定しているパターンを勝ちパターンして決定することを推奨します。

注釈💬

A/Bテスト有意差測定結果は勝ちパターンを選択すると下記のような表示になり、各パターンの比較結果が表示されなくなります

winner-selected.ja.png

勝ちパターンを選ぶ

勝ちパターンを選ぶと、以降のプッシュ通知ではそのパターンがすべてのユーザーに配信されるようになります。
リテンションレートの向上を目的として作成したプッシュ通知であれば開封率の高いパターンを、KPIの向上目的としているならば、コンバージョン率の高いパターンを選択するとよいでしょう。

プルダウンより、勝ちパターンとしたいパターンを指定の上、[選択する]をクリックしてください。

結果の推移

A/Bテストの結果の推移がグラフで表示されます。「プッシュ通知の開封率」「コンバージョン率」がパターンごとに表示されます。

ab-testing-result-transition.ja.png

一覧画面

A/Bテストを実行しているキャンペーンが公開中または非公開の場合に、プッシュ通知一覧画面で各キャンペーンのA/Bテストの状態を確認できます。

アイコン	説明
	有意差があり、ベースラインを上回る結果のパターンが1つ以上存在する場合
	有意差があり、ベースラインを下回る結果のパターンのみが存在する場合
	有意差がないパターンのみが存在する場合
	全てのパターンで計算ができない場合
	勝ちパターンを選択済みの場合
	A/Bテストを実行していて、ベースラインとなるパターンか対象となる指標が設定されていない場合
ー	キャンペーンがA/Bテストを実行していない場合