目次

• はじめに
  • 経歴
  • こんな方におすすめ
• ABテストを知る
  • マーケティングにおけるABテストとは？
  • よくあるABテストの例
    1. WebサイトにおけるABテストについて
    2. Google広告でのABテストについて
  • なぜABテストが必要なのか？
• ABテストの正しいやり方
  • 目的はKGIの成長
  • 検定を使って正しく評価する
  • 必要CV数から検証期間を決める
• ABテストを自動化
  • ABテストの自動化のためにやったこと
  • 実際の運用
• 最後に

 

はじめに

経歴

こんにちは。私は、じげんの不動産領域のサービスを展開する住まいDiv.でProject Managerを務めている今岡です。2018年に大学を卒業後、地元の企業に就職し、2021年にじげんに入社しました。

現在は、賃貸情報サービスの「賃貸スモッカ」のマーケティング業務をメインに携わっており、各チャネルで施策検討、仮説検証を日々行っています。その中でタイトルにもあるABテストに触れる機会が多くあるため、今回は取り上げたいと思います。

こんな方におすすめ

1. 1. 1. これからマーケティングに携わる方や、携わり始めた方
      2. ABテストを実施しているが、やり方に自信を持てない方
      3. より良いABテストを模索している方

ABテストを知る

マーケティングにおけるABテストとは？

皆さん、普段何気なく日々の業務で実施しているABテストについて説明できますか？ABテストを一言で言うと「対象をランダムに複数のグループに分け、それぞれに合った施策を実施し、結果を観察することで、施策の効果を測定する手法」です。そして今回は仮説検定を用いた厳密なABテストについて書いていきます。

よくあるABテストの例

WebサイトにおけるABテスト

具体的なイメージを持つために、Webサイトにおいてよく使われるABテストを紹介します。例えば、画像のCTA（Call To Action）を変更する事により、CVRの向上を目指す施策を実施するとします。下記の画像のように、「不動産会社に希望を伝える」というAパターンのCTAと「送信する」というBパターンのCTAの2パターンを用意し、CVRを比較します。

Google広告におけるABテストについて

Google広告でも簡単にABテストを実施することが出来ます。詳細な説明は割愛しますが、「下書きとテスト」と「広告バリエーション」という機能です。これらの機能を使うことで、キャンペーンや訴求ごとの評価が可能になります。

下書きとテスト : 検索キャンペーンとディスプレイ キャンペーンの下書きについて – Google 広告 ヘルプ

広告バリエーション : 広告バリエーションについて – Google 広告 ヘルプ

なぜABテストが必要なのか？

では、そもそもなぜABテストが必要なのかを考えていきたいと思います。ABテストが必要な理由は下記の３つだと考えられます。

1. 1. 統計学的に施策の効果を証明する
   2. 仮説検証精度の向上
   3. リスクマネジメント

上記を理解する上で重要なのが「ABテストvs前後比較テスト」です。

私の携わっているサービスのスモッカを例に取り上げて考えていきます。先程の施策を例に取って、CTAの文言を変更したとしましょう。下記の2パターンでテストを実施したとして、いずれもAパターンのバナーがCVR+10%だったと仮定します。

 

ABテストパターンの場合

　->テストの条件：AパターンのバナーとBパターンのバナーを同期間でテストを実施する

前後比較パターンの場合

　->テストの条件：ある期間からAパターンのバナーをBパターンのバナーに変え、前後期間でテストを実施する

 

1.統計学的に施策の効果を証明する

ABテストを実施した場合、差分が統計的に有意であるかどうかを証明できます。一方で、前後比較パターンであった場合はどうでしょう。

例えば、引越しの多い時期にたまたまCVRが上がった可能性も拭えず、統計学的に「効果がある」と証明するのは難しいです。

2.仮説検定精度の向上

同様に、仮説検証の精度にも影響してきます。本施策は、CTAにユーザーのアクションの価値を記載することでCVRが上がるという仮説のもと実施していたとします。

繁忙期のような特需や、コロナのようなマクロ影響が発生していた場合は、本来立証したい仮説以外のノイズを考慮に加えねばなりません。

3.リスクマネジメント

ABテストはリスクマネジメントの観点からも優秀です。今回仮にＡパターンのバナーがCVR-10%の低下を招いたとします。

この場合、前後比較であった場合、全体のCV数が1000件減少しますが、ABテストを用いていた場合は500件の減少で済み、Webサイトに反映するのは勝ちパターンのみに絞ることができるのです。加えて、リスクが大きいと想定されるABテストに関しては、20:80などと比率を落とすことでリスクを最小限に抑える事も可能です。

ABテストの正しいやり方

目的はKGIの成長

ABテストを実施する際に注意すべきことは、「見るべきは単一指標にあらず、総合的に指標を見た上で判断する」ということです。ABテストを考える上で、私は目標（KGI）達成の手段であると考えています。スモッカの場合、具体的には「売上と利益を成長」させるための手段です。

仮に今回の例で、CVRが+10%上がっているものの、平均購入単価が20%下がっていた場合は目標（KGI）は結果として低下することとなります。極端な例ですが、あくまで目を向けるべきはABテストで対象としているCVR（KPI）の成長ではなく、目標（KGI）の成長であるため、正しい判断をするためにも重要なのです。

検定を使って正しく評価する

ここからはABテストで使用している検定について書いていきたいと思います。私が利用している検定は「カイ二乗検定」と「t検定」で、前者はCVRの比較に、後者は一人当たりの平均購入単価の比較に利用しています。カイ二乗検定に関しては、スプレッドシートのCHITEST関数を使うことで実行できます。t検定は、BigQueryを使って実行しています。CHITEST関数は、こちらを参考にしてみてください。

必要CV数から検証期間を決める

ABテストを開始して結果を追っていたところ、ある時点での比較結果でAパターンのCVRが+10%に達していたとします。この場合はAパターンを採用すべきでしょうか？答えはノーです。これは「結果を出すために自分に都合のいいデータを見ている」状態に陥っています。例えば、コインを5回投げて5回表が出た、という事象をもとに、コインに細工があると結論付けてよいでしょうか？実は100回投げれば、ほぼ表裏半々の結果になるかもしれません。自分に都合のよい箇所を切り取って結論付けてしまうと、本来の結論とは真逆になってしまう可能性があります。

ではどうやってABテストを実施すれば良いかというと、予め統計学的に必要なデータ量を計算し、その量を集めるまでは結論付けない、という形を取る方法があります。現在、私の所属している住まいDiv.は、各ディレクトリにおいて、予め必要なCV数を計算してABテストを実施しています。これにより、「結果を出すために自分に都合のいいデータを見ている」状態を防いでいるのです。なお、必要なCV数の計算方法は本記事では割愛します。

ABテストを自動化

ABテストの自動化のためにやったこと

住まいDiv.におけるABテストの計測体制を整えました。詳細は下記です。

1. AとBのテスト結果をBigQueryに保存できるようにする
2. GoogleアナリティクスでABテスト名をイベントラベルとして設置する
3. BigQueryのスプレッドシートのアドオンを使ってスプレッドシートに完全自動出力する

実際の運用

1. AとBのテスト結果をBigQueryに保存できるようにすることで、下記のような値がBigQueryに保存されます。
   「Aパターン=”ab_test_cta_testl”:”true”}」と「Bパターン=”ab_test_cta_test”:”false”}」。ユーザーの問い合わせ毎にこの値をBigQueryに保存することで、ユーザーのアクションベースでAとBの売上や問い合わせた商品などの詳細までを追うことが可能になります。
2. GoogleアナリティクスでABテスト名をイベントラベルとして設置することで、ユーザーをサイトに集客（セッション単位）した際に、どのパターンが表示されていたのかをGoogleアナリティクスを使って分析することが可能になります。
3. スプレッドシートで集計することは1.2.があって初めて有効な手段となりえます。実際の計測シートのキャプチャです。（一部抜粋）

このように、KGIとほとんどのKPIを網羅しており、各KPIのチェックや仮説検証を行っています。BigQueryはGoogleAppScriptを使用して、自動でスプレッドシートに出力していて、またGoogleアナリティクスの数値はスプレッドシートのアドオンを使用して出力しているため、計測開始時のトリガー設定だけで後は完全自動で計測可能となります。

最後に

今後の展望としては、全社的にこのテスト形式と計測フローを展開していくことです。

私自身、じげんに入社した時はABテストについてほとんど知見がない状態でした。短期間でここまでの計測体制を構築できたのは、開発Unitに所属するデータサイエンティストの方やディレクターの方の助力があったからこそでした。株式会社じげんには、各分野において、数多くのスペシャリストの方が在籍しています。自分の可能性を広げたい方や、スペシャリストと連携して事業を成長させたい方にはピッタリの環境だと考えています。ひとりでも多くの方が、この記事を読んで、株式会社じげんに興味を持っていただけると幸いです。