メリット
- これまではキャンペーンの配信結果でA/Bテスト実行中の有意差を検証する場合、手動で計算する必要がありましたが、本リリースから自動的に有意差判定が表示されるようになりました。
ユースケース
- A/Bテスト実行中に自分の追い求める指標 (例 : CVR ) が改善しているのか、それとも偶然によるものなのかを有意差判定で判断したい
- A/Bテストを終了するタイミングを見極めるため、有意差判定を利用したい
対象
- プッシュ通知を利用されている方（App)
使い方
1. 新しくキャンペーンを作成する場合
1.キャンペーン作成画面の「配信対象者を各パターンに振り分ける」にて2つ以上のパターンに振り分けると「有意差判定のベースライン（※1）となる対象を設定する」と「有意差判定の対象となる指標を設定する」が表示されます。
（※1）ベースライン：各パターンを比較する際の基準となるパターンのこと。
2. キャンペーンのねらいに応じて、有意差のベースラインと指標を登録してください。
3. 配信開始後しばらくすると、キャンペーン詳細画面の配信結果にて有意差の判定結果をご覧いただけます。必要に応じて、ベースラインや指標の調整も行えます。
2. すでに登録済みのキャンペーンの有意差を確認したい場合
キャンペーン詳細画面の配信結果にて有意差の判定結果をご覧いただけます。
（勝ちパターンをすでに選択されているキャンペーンは判定結果をご覧いただけません）
ご注意いただきたいこと
現在はプッシュ通知のみ有意差表示が利用できます。
アプリ内メッセージ、Webメッセージの有意差表示も順次リリース予定ですので、今しばらくお待ち下さい。
詳しいドキュメント
詳しい仕様は公式ドキュメントをご参照ください。