アプリ内メッセージでA/Bテストをする

A/Bテストとは、配信対象のユーザーに対して、複数のパターンのメッセージを出し分けることで、どのようなメッセージを配信すれば開封率やコンバージョン率が向上するのか検証ができる機能です。
A/Bテストの実施後、最も効果の高いメッセージを勝ちパターンとして指定でき、そのまま勝ちパターンのみの配信を継続することもできます。

この記事では、アプリ内メッセージを作成する際の、A/Bテストに関連した項目の設定について説明します。

メッセージを作成する

メッセージのパターンを2個以上作成することで、A/Bテストを行えます。

アプリ内メッセージの作成画面より、パターンの[追加]をクリックしてください。

[追加]をクリックすると、[パターン 1を複製]と[新規作成]が表示されます。希望の作成方法をクリックします。

次の画面で、追加をクリックし、配信パターンを追加します。

「パターン 2」が作成されます。

「パターン」の右横の[×]をクリックするとパターンが削除されます。

配信対象者を各パターンに振り分ける

「アプリ内メッセージのメッセージを設定する：組込み(Native)」などでコントロールグループを設定した際と同様にパターンを2つ以上に設定した場合も、各パターンに配信対象者を振り分けられます。
コントロールグループを含む各パターンの合計が100％になるように設定します。

効果測定（A/Bテスト）

配信結果

アプリ内メッセージの配信からしばらくすると、「配信結果」画面にアプリ内メッセージのインプレッション、各ボタンの押下数、コンバージョン率がパターンごとに表示されます。

A/Bテスト有意差 測定結果

A/Bテストの実行中にはA/Bテストの実行結果が表示されます。
コントロールグループを含む各パターンをベースラインに選択したり、コントロールグループを含む各パターンを選択した指標 (コンバージョン率,ボタン1押下率,ボタン2押下率) を用いて比較を行えます。

参考：90%信頼区間の代表的なパターン読み取り例

ここでは、90%信頼区間の代表的なパターンの読み取り方について示します。

有意差がある場合

このような表示の場合、パターンとベースラインの差が有意であることを意味します。
配信を開始してから十分な期間が経過している場合、勝ちパターンの決定へと進むことを推奨します。

まだ有意差がない場合

このような表示の場合、パターンとベースラインの差が有意ではないことを意味します。
結果が出るまでもう少し待つか、配信を開始してから十分な期間が経過している場合、差がないものとして次のキャンペーンの開始を検討することを推奨します。

有意差があり、勝ちパターンが決定している場合

このような表示の場合、パターンとベースラインの差が有意であることを意味します。
このような表示しかない場合、ベースラインとして設定しているパターンを勝ちパターンして決定することを推奨します。

勝ちパターンを選ぶ

勝ちパターンを選ぶと、以降の配信ではそのパターンがすべてのユーザーに配信されるようになります。

リテンションレートの向上を目的として作成したアプリ内メッセージであればボタン押下率の高いパターンを、KPIの向上目的としているならば、コンバージョン率の高いパターンを選択するとよいでしょう。

結果の推移

A/Bテストの結果の推移をグラフにて表示します。
インプレッション・ボタン1押下数・ボタン2押下数・コンバージョン率をパターンごとに表示できます。
キャンペーン全体を確認することもできます。

一覧画面

A/Bテストを実行しているキャンペーンが公開または非公開の場合に、アプリ内メッセージ一覧画面で各キャンペーンのA/Bテストの状態を確認できます。

アイコン	説明
	有意差があり、ベースラインを上回る結果のパターンが1つ以上存在する場合
	有意差があり、ベースラインを下回る結果のパターンのみが存在する場合
	有意差がないパターンのみが存在する場合
	全てのパターンで計算ができない場合
	勝ちパターンを選択済みの場合
	A/Bテストを実行していて、ベースラインとなるパターンか対象となる指標が設定されていない場合
ー	キャンペーンがA/Bテストを実行していない場合

A/Bテストを利用して、より効果の高い施策を配信していきましょう。