A/Bテストを実行しているキャンペーンで、有意差が判定された際に勝ちパターンを自動で選択するかを設定できるようになります。
機能概要
キャンペーンの作成・編集時に、勝ちパターンを自動で選択する設定が可能になります。
設定を有効にすると、1日1回の判定により有意差が出たパターンを自動で選択し、以降は選択された勝ちパターンのみが配信されます。
自動選択はキャンペーンごとに設定でき、有効にしない場合はこれまで通り手動でパターンを選択できます。
リリース日
以下のチャネルで利用可能になり、順次リリースします。
各チャネルのリリース状況は、本記事の更新をもって随時お知らせします。
| チャネル | リリーススケジュール |
|---|---|
| プッシュ通知（一斉配信） | 7月末 |
| アプリ内メッセージ | 7月末 |
| イベント起点プッシュ通知 | 7月末 |
| Webメッセージ | 8月末 |
| アプリ内パラメーター | 8月末 |
ユースケース
複数キャンペーンの並行運用における工数削減
有意差が出たキャンペーンから順に勝ちパターンへ自動で切り替わるため、多数のキャンペーンでA/Bテストを実施している場合、これまで全てを手動で確認・選択していた作業そのものが不要になります。
クリエイティブ検証サイクルの高速化
毎日の有意差判定により、勝ちパターンが決まり次第、自動で配信を一本化できるため、有意差が出てから手動で切り替える期間の機会損失を防ぎます。
操作方法
- キャンペーンの作成・編集画面で、配信対象者の振り分け設定を表示します
- 有意差判定のベースラインとなる対象と、判定の対象となる指標を設定します
- 「有意差が出た時点で勝ちパターンを自動で選択する」にチェックを入れ、キャンペーンを保存します
注意点・制限事項
本機能を利用する際、意図しない設定を防ぐため以下の点にご留意ください。
有意差判定にかかる期間の変更
本機能の提供にあわせて、A/Bテストの有意差判定の仕組みを見直します。
これにより、有意差が出るまでの期間がこれまでより平均2〜3日程度長くなる場合があります。この変更は自動選択の利用有無にかかわらず、A/Bテストの有意差判定全体に適用されます。
詳細はよくある質問を参照してください。
既存キャンペーンへの影響
公開中の既存キャンペーンで、勝ちパターンの自動選択が有効になることはありません。本設定を有効にしたキャンペーンでのみ動作します。
よくある質問
Q. 利用に料金はかかりますか？
A. いいえ、追加料金は発生しません。
Q. 利用開始にあたって必要な準備はありますか？
A. 特にございません。SDKの更新も不要です。キャンペーンの作成・編集時にオプションを有効にするだけで利用できます。
Q. これまで通り手動で勝ちパターンを選択できますか？
A. はい。設定を有効にしなければ、これまでと同じく手動で選択できます。
Q. 現在ABテストを実施中のキャンペーンは、勝ちパターンが自動で選択されますか？
A. いいえ。勝ちパターンが自動で選択されることはありません。
Q. 有意差の判定方法は変わりますか？
A. はい。毎日繰り返し判定を行っても誤った有意差の検出が起きにくい検定手法（Always Valid Confidence Sequences）に変更します。これにともない、有意差が出るまでの期間がこれまでより2〜3日程度長くなる場合があります。この変更は自動選択を利用しない場合にも適用されます。
Q. 勝ちパターンが選択されたことはどうやって確認できますか？
A. 管理画面上で、勝ちパターンが選択された日を確認できます。メールなどによる通知は行いません。
本アップデートに関するお問い合わせ
弊社のカスタマーサクセス担当、もしくはRepro管理画面の右下にあるアイコンよりチャットサポートへお問い合わせください。
今後も価値あるマーケティング施策を実現するための機能リリースに努めていきますので、引き続きReproをよろしくお願いします。