効果測定をする – Repro Help&Support

効果測定の方法

マーケティング>メッセージをクリックしてください。

こちらの画面で、任意のキャンペーンをクリックしてください。

次の画面で、配信結果を確認することができます。

グラフにはWebメッセージの配信数、ボタン1押下数、ボタン2押下数、メインコンバージョン率、サブコンバージョン率がパターンごとに表示されます。

Webメッセージが表示されたユーザー数を日次で集計し、合計した数です。

配信から24時間以内に、コンバージョンを達成したユーザー数を日次で集計し、合計した数です。

コンバージョン数 / 配信数です。

キャンペーン実施期間中の配信数、ボタン1押下数、ボタン2押下数、メインコンバージョン率、サブコンバージョン率を日次で集計した結果をグラフとして出力しています。計測単位はユーザーです。

A/Bテストを実行中の場合、テストの実行結果が表示されます。

コントロールグループを含む各パターンをベースラインに選択したり、対象となる指標を変更したりすることができます。

コントロールグループを含む、A/Bテストで送信を行う各パターンが表示されます。

A/Bテストで各パターンを比較する際に、基準となるパターンをベースラインとして選択します。ベースラインを変更することで、様々なパターン間の比較ができます。

A/Bテストで、各パターンをベースラインと比較する際に用いる指標を選択します。指標は、割合を表す値 (ボタン1押下率、ボタン2押下率、メインコンバージョン率、サブコンバージョン率) から選択することができます。

各パターンをベースラインと比較した場合の、90%信頼区間が表示されます。90%信頼区間の詳細は開発ドキュメントのFAQをご確認ください。

ベースラインと比較しプラス
このような表示の場合、パターンとベースラインとの差が有意であることを意味します。配信を開始してから十分な期間が経過している場合、勝ちパターンの決定へと進むことを推奨します。
有意差なし
このような表示の場合、パターンとベースラインとの差が有意ではないことを意味します。結果が出るまでもう少し待つか、配信を開始してから十分な期間が経過している場合は差がないものとして、次のキャンペーンを検討することを推奨します。
ベースラインと比較しマイナス
このような表示の場合、パターンとベースラインとの差が有意であることを意味します。また、このような表示だった場合、ベースラインとして設定しているパターンを勝ちパターンとして決定することを推奨します。
指標に値がない
このような表示の場合、そのパターンは指標の値が存在しないため、有意差の計算が不可能であることを意味します。