A/Bテストとは

A/Bテストは、ある要素（ボタンの文言、レイアウト、コンテンツの順序など）についてAとBの2パターンを用意し、訪問者を振り分けて反応を比較する手法です。感覚や社内の多数決ではなく、実際の反応で改善の是非を判断するための道具です。

基本の流れは次の通りです。

  1. 仮説を立てる（例：ボタンの文言を変えるとクリック率が変わるのではないか）
  2. 変える変数を1つ決める
  3. 判断に使う指標を決める（クリック率か、完了率か）
  4. 訪問者を無作為に振り分ける
  5. 結果を比較して判断する

「とりあえず直す」との違い

思いつきで直す方法との違いは、結果の確からしさにあります。テストでは変更の効果を実際の反応で確認するため、意見の強い人ではなくデータが判断します。また「どこを直すと効きやすいか」の優先順位づけにも使えます。

設計の原則

  • 1テスト1変数：複数の要素を同時に変えると、どれが効いたのか分からなくなります
  • 判断基準を先に決める：何をもって採用とするか（指標と、どの程度の差なら意味があるとみなすか）を、始める前に決めておきます
  • 期間と量を先に決める：訪問者数が限られるサイトでは、差を判断できるだけの量が集まるまで時間がかかります。途中の中間結果で打ち切らないよう、実施期間の目安を事前に設定します
  • 条件を揃える：片方だけ読み込みが重い、表示環境が違うといった、比較対象以外の差を作らないようにします

陥りやすい失敗の型

  • 期間が短すぎる：出だしの偶然の差を「結果」と誤認します。事前に決めた期間まで回します
  • 仮説がない：「色を変えてみた」だけのテストは、結果が出ても次につながりません。先にログで課題の当たりをつけてから変数を選びます
  • ゴールと違う指標で判断する：クリック率だけを見て採用したら完了率が下がっていた、という取り違えです。目的に直結する指標を判断軸に固定します

始め方

大がかりな仕組みがなくても、期間を分けた前後比較や、共通パーツの差し替えによる比較など、手の届く範囲から始められます。重要なのは仕組みの高度さではなく、仮説→検証→判断の順序を守ることです。ひとつのボタン、ひとつの見出しからで構いません。

検証で使う指標の選び方は第4回を、そもそもの仮説の立て方は第1回を参照してください。