本コラムでは、運用型広告において、重要なテーマである A/B テスト(A/B スプリットランテスト・以下、A/B テスト)の「勝者」を決める方法についてご紹介しよう。

A/B テストの有効性が再認識された最近の事例として、約60億ドル(約4,800億円)の選挙資金が投じられ、史上最高額に達した昨年の米国大統領選挙が挙げられる。

米国の大統領選挙は、長い選挙期間、広い国土で戦うため、多額の人件費や交通費がかかり、有権者にアピールするためのテレビ CM にも巨額の資金を要する。この資金集めの一つの手段に「献金」がある。大統領選に勝利した民主党のバラク オバマ大統領の選挙本部は、10か月余りで約6.5億ドル(約521億円)の大半を、メールからの献金で集めた(※1)。

仕組みはいたってシンプルで、何千万人というリストに一斉配信する前に、18種類近くの件名や文言を一定のリストでテスト配信し、最も効果の高かった件名や文言でメールを一斉配信するという手法だ(※2)。このA/B テストによって、効率的・効果的に多額の献金を募ることができたのだ。

「A/B テスト」は2つのバージョン“A”と“B”をテストに用いる手法で、前述のようなメール最適化、Web サイトのランディングページ最適化、広告の最適化など、インターネットマーケティングの世界で広く活用されてきた。その一方で、A/B テストの「勝者」の決め方は、統計学の知識が必要になることもあり、意外に知られていない。

例えば、A/B テストを行う際の具体例として、下のような2つのバナークリックテストを考えてみよう。

A/B テストの勝者決定ロジックから考える〜ロジック理解が運用型広告の鍵を握る
図1(バナークリックテストイメージ)

左側がコントロールの男性画像のバナー(以下、A)で、右側が女性画像のバナー(以下、B)である。

ある同一の広告枠で、両方のバナーが100回ずつ表示され、バナー A が5回、バナー B が8回、それぞれクリックされたとしたら、「バナー B のほうが、バナー A よりも1.6倍クリックされているから『勝者』はバナー B である」と結論づけてよいであろうか?

だが、もし、1,000回、1万回、10万回…と表示回数が増えていけば、バナー A のほうがバナー B よりも多くのクリックを得て、バナー A が「勝者」となる可能性もあるため、安易な「勝者」の決定は避けるべきだろう。

つまり、「得られた結果を基に、1,000回、1万回、10万回…と表示回数を増やした時、バナー A とバナー B のクリック率に本質的な差があると言えるのか?」という命題に答える必要があるだろう。

この命題へのアプローチの一つに、「統計的仮説検定」がある。

ある仮説 H1(対立仮説)が正しいと主張したいとする。しかし、これを直接証明することは難しいので、これと比較する仮説 H0(帰無仮説)を立てて検証し、H0 を棄却することで、間接的に H1 が正しいことを示す。この棄却可否を決定することを統計的仮説検定という。

簡単な具体例で、統計的仮説検定を考えてみよう。A 君は、B さんとある勝負を100回して、65勝35敗であった時、2人の実力差を統計的に示してみる。

・帰無仮説 H0:2人の実力は同じ(つまり、2人に実力差はない)(⇔A君の勝率=50%)
・対立仮説 H1:2人の実力に差がある(⇔A君の勝率>50%)

まず、上記のような仮説を立ててみよう。H0 が正しいと仮定した時、この65勝35敗という結果を含めて、極端な結果が出る確率がある閾値より小さければ、H0 は棄却され、H1 が正しいということができる。この閾値は、有意水準と呼ばれ、仮説を棄却するか、しないかを左右する。

帰無仮説が正しいと仮定すると(勝率50%)、A 君が65勝以上する確率を計算すると、よく利用される5%有意水準よりも小さいため、H0 は棄却され、2人には実力差があると統計的に示すことができる。
図2(A君の勝利数と確率の関係)
図2(A君の勝利数と確率の関係)

バナー A とバナー B のクリック率の「本質的な差」に関する統計的仮説検定も、同様の考え方で行うことができる。統計的仮説検定の概念を理解すると、A/B テストの結果を統計的仮説検定の視点で捉えることの利点と注意点が、下の表にあるように明確になる。

図3(利点と注意点の表)
図3(利点と注意点の表)

このように、既存の A/B テストツールは、「統計的仮説検定」や他の統計理論・手法を用いて、A/B テストの「勝者」を決めている。新デバイスの普及やアドテクノロジーの進展に伴い、利活用できるデータの量・種類も増え続けており、運用型広告の管理運用面においても高度化、複雑化、そして自動化が進んでいる。

しかし、どんなに高度化・複雑化・自動化をしても、その裏には「何かしらのロジック」が存在しており、今回の「統計的仮説検定」のように利点だけではなく、注意点も存在するはずである。そのロジック理解を疎かにして、高度化・複雑化・自動化の裏にある“ロジックの諸注意点”によって、大切なマーケティング予算を知らないうちに無駄にしてはならない。したがって、その他の広告領域と同様に、今後の運用型広告の管理運用面の成否の鍵の一つは、この「ロジック理解」と言えるのではないだろうか。

(※1):「米大統領選:選挙資金が4,800億円突破 史上最高額に」
毎日jp 2012年11月5日


(※2):「The Science Behind Those Obama Campaign E-Mails」
BloombergBusinessweek November 29, 2012


執筆:株式会社アイレップ 第1サービスマネジメント本部 アドパフォーマンス R&D グループ 飯野正紀
記事提供:アイレップ