A/Bテストの進め方

施策を進めていき、施策の内容を改善していくタイミングで以下のような課題にぶつかることがあります。

このページでは、効果的なA/Bテストを実施するために必要なテストの設計手順やポイントを改めて解説します。

A/Bテストの意味とその効果

A/Bテストとは、対象ユーザーに複数のパターンからなるメッセージを均等に出し分けることで、どのようなメッセージを配信すれば開封率やコンバージョン率が向上するのかを検証するテストのことです。

例えばAとBのクリエイティブで異なる結果が得られたとき、結果が発生した要因は何かを考察し、ユーザーの傾向やニーズに洞察を得ることが目的になります。

AとBのクリエイティブを出し分けて効果を計測するだけでは、次の施策に繋がる洞察が得られないことも多いので注意が必要です。

A/Bテストは以下の手順で設計・実行します。

改善すべきKPIを設定し、どのようなキャンペーンを打つか、アイデア出しをする
コントロールグループを使ってキャンペーンの効果を確認する。期待する結果が出たクリエイティブに対して検証軸を決め、文言/クリエイティブを変えて再度キャンペーンを実施する
効果が最も見込まれる勝ちパターンが見つかるまで、継続してテストを行う

以下の3つの要素を掛け合わせてキャンペーンを作ることで、ユーザーにもっとも影響を与えるメッセージのパターンを見つけることができます。

仮説設計を綿密にする
効果が高い訴求内容や、クリエイティブを見つけるための仮説をたてることに最も工数を割きましょう。ユーザーが想定通りの行動をしないか、KPIが思ったより伸びない場合、その理由を2つ以上、「漏れなく」「ダブりなく」に注意して考えるのがおすすめです。
また、仮説を作る際は、自社サービスのユーザーの動きに着目しましょう。競合は競合のユーザーに対応した機能やキャンペーンを行なっているため、それをそのまま自社サービスに取り入れてもうまくいくとは限りません。
テスト実施の期間を統一する
よくある設定ミスとして、文言やゴール設定の条件は統一していても、A/Bテストを実施する期間が統一されていないことがあります。他の条件と同じく、検証期間についても統一しないと正しい結果を取得できません。実施期間には注意が必要です。
1つのテストで複数項目の検証を行わない
例えば「文言」に関するA/Bテストを行うなら、「文言」のみ検証しましょう。
文言やクリエイティブ、投げかけ方など、異なる軸の検証ポイントを一つのA/Bテストに複数盛り込むと、評価がぶれて正確な検証ができなくなってしまいます。

A/Bテストの実施方法、コントロールグループを使ったA/Bテストの出し分け方法の詳細は以下をご覧ください。