メリット
これまではキャンペーン詳細画面の配信結果にて、A/Bテスト実行中の有意差を検証する場合、手動で計算する必要がありましたが、
本リリースから自動的に有意差判定が表示されるようになりました。
ユースケース
- A/Bテスト実行中に自分の追い求める指標 (例 : CVR ) が改善しているのか、それとも偶然によるものなのかを有意差判定で判断したい
- A/Bテストを終了するタイミングを見極めるため、有意差判定を利用したい
使い方
以下は アプリ内メッセージを例にしていますが、Webメッセージも同様の操作で行えます
新しくキャンペーンを作成する場合
1. キャンペーン作成画面の「配信対象者を各パターンに振り分ける」にて2つ以上のパターンに振り分けると「有意差判定のベースライン(※1)となる対象を設定する」と「有意差判定の対象となる指標を設定する」が表示されます。
(※1)ベースライン:各パターンを比較する際の基準となるパターンのこと。
2. キャンペーンのねらいに応じて、有意差のベースラインと指標を登録してください。
3. 配信開始後しばらくすると、キャンペーン詳細画面の配信結果にて有意差の判定結果をご覧いただけます。必要に応じて、ベースラインや指標の調整も行えます。
すでに登録済みのキャンペーンの有意差を確認したい場合
1. キャンペーン詳細画面の配信結果にて有意差の判定結果をご覧いただけます。
(勝ちパターンをすでに選択されているキャンペーンは判定結果をご覧いただけません)
ご利用にあたって必要な作業
SDKのバージョンアップや新たな実装は不要です。管理画面からすぐに利用することができます!
詳しいドキュメント
詳しい仕様は公式ドキュメントをご参照ください。
アプリ内メッセージ: https://docs.repro.io/ja/dashboard/campaign/in-app-message.html#in-app-message-abtest-measurement
Webメッセージ: https://docs.repro.io/ja/dashboard/campaign/web-message.html#web-message-abtest-measurement