メルマガのABテストとは｜やり方や注意点などを徹底解説

メルマガのABテストは、かんたんに実施できる効果検証手法です。しかし、ABテストの手順や注意点を理解せずに進めてしまうと、意味のないABテストを実施してしまうこともあります。

この記事は、「メルマガでABテストを実施することになったが、何から手をつけたらいいか分からない」といったメルマガ担当者の悩みを解決します。

みなさまのお役に立てば幸いです。

メルマガのABテストの概要

まずは、メルマガのABテストの概要を押さえましょう。

メルマガのABテストとは

メルマガにおけるABテストとは、件名やファーストビューなどの一部を変更したAとB、２つのメルマガを用意し、「どちらがより開封率やクリック率が高まるか」を検証する手法です。

メルマガのABテストを適切に実施することで、メルマガの開封率やクリック率改善の糸口がつかめるでしょう。

ABテストはメルマガの効果検証、改善の手法として有効

メルマガは、効果測定・検証・改善がとても大事なマーケティング施策です。メルマガの効果測定・検証・改善をしないと、「メルマガで成果を上げること」ではなく、「メルマガを送ること」が目的になってしまうからです。

ABテストは、メルマガの効果検証や改善に効果的です。メルマガの開封率やクリック率向上のテクニックをどんどん取り入れ、ABテストで「本当に効果があるのか」を検証することで、あなたのメルマガは改善されていきます。

メルマガのABテストの特徴

「ABテスト」といえば、WebにおけるABテストを指すことが一般的です。この章では、WebのABテストと比較した、メルマガのABテストの特徴を２つご紹介します。

メルマガのABテストは気軽に始められる

メルマガのABテストは、WebのABテストにくらべて、気軽に始められます。メルマガのABテストが気軽に始められる理由は、以下の２つです。

1. 今使っているツールだけでメルマガのABテストを実施できる
2. ABテストのバリエーションを作るのがかんたん

１つ目の理由は、今使っているツールだけでメルマガのABテストを実施できる点です。WebのABテストを実施するためには、ABテストを実施するためのツールを使わなければなりません。一方で、メルマガのABテストは、ほとんどの場合、現在お使いのメール配信ツールやマーケティングオートメーションを利用することで実施できます。そのため、新しくABテスト用のツールを用意せずとも、すぐにABテストを始められます。

ちなみに、話は少し逸れますが、「メルマガ配信をしているけれど、メルマガ配信のためのツールは使っていない」というメルマガ担当者は、情報漏洩に注意する必要があります。メルマガ配信は、やろうと思えばBCC配信でも実施できますが、BCC配信は少し設定を間違えると、顧客のメールアドレスを流出させてしまう危険性があります。

どんなに気をつけていても、ヒューマンエラーは完璧には防げません。そのため、メルマガを実施するなら、メール配信ツールやマーケティグオートメーションの導入は必須といえます。

２つ目の理由は、メルマガのABテストは、WebのABテストにくらべて、ABテストのバリエーション（パターン）を作るのがかんたんな点です。WebのABテストは、デザインを調整するためにコーディングが必要になるケースが多いため、専門知識が必要です。

一方で、メルマガのABテストであれば、件名や差出人名の変更だけでも十分ABテストを実施できますので、メールを作成する感覚でかんたんにABテストを実施できます。

メルマガのABテストは実施方法が異なる

Webサイトは、基本的にユーザーに表示される内容がコロコロと変わることはありません。したがって、WebにおけるABテストでは、AとBのバリエーションを用意し、効果が高かったデザインを採用すればよいのですが、メルマガではそうはいきません。

なぜなら、メルマガは「毎回内容が異なる」という特性を持っているからです。

毎回内容が異なるということは、「たまたまそのメルマガでは、Aの件名が効果的だったが、今回のメルマガではBの件名が効果的だった」といったケースも十分考えられます。

つまり、一度検証した結果を他のメルマガに当てはめても、同様の効果が得られるとは限らないのです。そのため、メルマガにおけるABテストは、WebにおけるABテストとは違った検証方法を採用することがあります。

その検証方法とは、「メルマガ配信の度に、配信リストの一部を使ってABテストを行い、その結果効果の高かったメルマガを、残りのリストに対し配信する」という方法です。

たとえば、「全リストの中から100件を抽出し、それを50件ずつに２分割する。２分割した50件に対してAとBのメルマガを送り、効果が高かったメルマガを残りのリストに配信する」といった手法が、メルマガにおけるABテストです。

メルマガでABテストをする際の５つの着眼点

メルマガでABをする際は、５つの着眼点があります。それぞれ確認しましょう。

１：メルマガの件名

件名の改善は、開封率の改善に役立ちます。 よい件名を作るための条件は、以下の通りです。

・ターゲットを明確にする
・バリュー（提供価値）を明確にする

小手先のテクニックを使うより、まずは上記２点を意識して件名を作りましょう。メルマガは、少し件名を変えるだけで開封率が数％向上することがあります。件名のABテストは、手軽にできる上、開封率に与える影響も大きいため、色々な件名でABテストをしてみましょう。

２：メルマガの差出人名

メルマガの差出人名も、開封率に影響します。

私たちの経験的に、会社名で送るより、個人名で送る方が、メルマガの開封率は高まることがわかっています。

３：メルマガの配信タイミング

メルマガの送信タイミングは、開封率に影響します。メルマガの送信タイミングに関する要素は、大きく曜日と時間に分けられます。

曜日による開封率のばらつきは、会社によって大きく異なります。一方で、開封率が高まる「時間」には傾向があることがわかっています。

BtoBビジネスの場合、社員が出社してくるタイミングで徐々に開封率が高まり、帰る時間になるにつれ徐々に開封率が下がる、山形のグラフになる傾向があります。

４：ファーストビューの内容

メルマガのファーストビューとは、メルマガを開いたときに表示される画面です。ファーストビューの内容は、メルマガの読了率やクリック率に影響します。

ファーストビューの引き込みが強いと、読了率が上がります。また、ファーストビューの中にCTAが含まれると、CTAのクリック率が高まることがわかっています。

CTAとは「Call To Action」の略で、日本語で「行動喚起」と訳されます。CTAは、Webページの訪問者を次の行動に誘導すること、もしくは、次の行動を喚起するための、Webページ上に設置されたイメージやテキストのことを指す言葉です。

詳しくは、「メールマーケティング用語20のまとめ｜初心者に役立つまとめ」をごらんください。

５：メルマガのデザイン

メルマガのデザインは、CTAのクリック率やメルマガの読了率に影響します。特に、ファーストビューのデザインは重要です。

ファーストビューのデザインをみて、「なんだか読みづらそうなメルマガだな」と読者に思われてしまうと、読み進めていただけないばかりか、次からそのメルマガは開封されなくなってしまうかもしれません。

メルマガのデザインを変更する際は、以下のようなポイントを工夫してみましょう。

・ファーストビューのデザイン
・CTAのデザイン
・メルマガそのもののデザイン
・テンプレ

メルマガのデザインを１から作るのは大変です。そのため、メルマガのデザインを考える際は、メルマガのテンプレートを有効活用しましょう。

メルマガABテストの５つの実施手順

意味のないABテストをして時間を無駄にしないためにも、ABテストはしっかりと準備したのちに実施しましょう。この章では、メルマガのABテストの実施手順の一例をご紹介します。

１：メルマガのABテストの目的を明確にする

なんとなくメルマガのABテストを実施してしまうと、「結局そのデータは役に立たなかった」という結果に終わり、時間を無駄にしてしまいます。メルマガのABテストを実施するときは、かならず目的を明確にしましょう。

メルマガのABテストの目的を明確にするときは、以下の質問に自問自答するとよいでしょう。

・なぜ、そのABテストを実施する必要があるのか
・どのような目的でABテストを実施するのか
・判明した結果は、どのような目的で利用するのか

また、メルマガにおける代表的なABテストの目的には、以下のような項目が挙げられます。ご参考にしてください。

・開封率の改善
・CTRの改善
・CVRの改善

２：仮説を立てる

メルマガのABテストは、仮説を持って実施しましょう。仮説なきABテストは、終わりが見えないため、時間を無駄にしてしまいます。

仮説には、以下のようなものが考えられます。

「当社のメルマガは、ファーストビューにロゴを大きく表示している。しかし、ファーストビューは、CTAボタンのクリック率が高まる重要な箇所だと聞いた。したがって、ファーストビューのロゴを小さくし、ファーストビュー内にCTAボタンが入るようにしたら、メルマガのクリック率は伸びるのではないだろうか。」

仮説が立てられたら、仮説に基づきAとBのバリエーションを作り、検証します。ABテストにおいて仮説を考える際は、「仮説」「具体的な数字（改善率など）」「仮説の根拠」を意識しましょう。

また、自社のメルマガ配信リストに所属している人の基本的なデータを把握しておくと、仮説が立てやすくなります。

メルマガのABテストの仮説を立てるために利用できる基本的なデータ
・メルマガの開封は送信直後に高まる
・朝よりも夜の方が開封される
・事例を紹介するメルマガの開封率が高い

３：メルマガのABテストのサンプルサイズを求める

メルマガのABテストを実施するにあたり、担当者はメルマガABテストに必要なサンプルサイズを求める必要があります。

統計的に意味のあるABテストを実施するためには、少しだけ統計学の知識が必要です。「統計学」と言われると身構えてしまうかもしれませんが、難しく考える必要はありません。サンプルサイズとは、要するに「何人を調査すれば、適切にABテストを実施したと言えるのか」を表した数字です。

身近な例で考えてみましょう。あなたは、自分がデザインしたAとBの２つのデザインについて、「どちらがより、ユーザーにクリックしてもらえそうなデザインか」と友人に尋ねてみました。

10人中７人はA、３人はBを選びました。さて、あなたの友人に調査した結果では、あなたはA案を採用すべきだという結論になります。

しかし、あなたの友人７人が「Aがいい」と思ったからといって、その他すべての人々が、「Aがいい」と思うわけではありませんよね。今回はたまたまAが選ばれましたが、さらに1000人に追加で調査したら、Bという結果が出るかもしれません。しかし、日本中の全員に尋ねて回るのは不可能です。

「全員に尋ねて回ることは不可能だが、統計的に意味のある結果を導きたい」ときに有効な調査手法が、標本調査です。標本調査は、母集団からランダムに一定数を抽出（サンプリング）することで、母集団の性質を推測できる調査手法です。

標本調査において、「母集団から抽出する人数」をサンプルサイズと呼びます。サンプルサイズを計算することで、「何人に尋ねて回れば統計的に意味のある結果が導けるのか」がわかります。

サンプルサイズの計算は複雑ですが、以下のようなサイトでかんたんに調べることができます。
https://keisan.casio.jp/exec/user/1489063696

４：メルマガのABテストを実施する

サンプルサイズが求められたら、メルマガのABテストを実施しましょう。メルマガのABテストは、メール配信ツールやマーケティングオートメーションを使うことで実施できます。

多くのメール配信ツールやマーケティングオートメーションは、ABテスト後の分析もカバーしています。ぜひ、現在お使いのメール配信ツールを有効活用しましょう。

メルマガのABテストができるツールは、本文最後の章「メルマガのABテストができるツール」でご紹介しています。

５：メルマガのABテストの結果を振り返る

メルマガのABテストを実施しただけでは、「Aの効果が高かった」「Bの効果が高かった」で終わってしまいます。単に「どちらの効果がより高かったか」という事実の発見で終わってしまっては、ABテストの結果を応用できません。

メルマガのABテストの結果を応用するには、ABテストの結果を振り返る必要があります。ABテストの結果を振り返る際は、以下のような観点で振り返りましょう。

・なぜA（もしくはB）が勝ったのか。もしくは負けたのか。要因は何か。
・仮説は正しかったか。
・この結果は、何かに応用できないか。
・この結果を踏まえて、立てられる仮説はないか。

上記のような振り返りができれば、そのABテストで得た知見を、他の施策に応用できる形でストックできます。

メルマガのABテストを実施する際の注意点

メルマガのABテストの注意点は、WebにおけるABテストの注意点と同じです。メルマガのABテストを実施する際の注意点を一言で述べれば、「 十分なデータをもとに、適切な比較を行う」ことです。以下で詳しくみていきましょう。

比較対象以外の条件を揃える

ついやってしまいがちなミスが、「比較対象以外の条件を揃えずにメルマガのABテストをしてしまうこと」です。比較対象以外の条件を揃えなければ、意味のあるABテストはできません。

「まとめてABテストしたいから、CTAとファーストビューの画像、２つを変更する」ことは、比較対象以外の条件が揃っていないABテストの一例です。

上記の例では、「これはCTAを変更したから効果が上がったのか、それともファーストビューの画像を変更したから効果が上がったのか、どちらなんだろうか」と、ABテスト後に担当者は悩む羽目になります。

ABテスト実施の際は、かならず比較対象以外の条件を揃えるようにしましょう。

最低限のサンプルサイズを確保する

先ほどもご説明しましたが、サンプルサイズが小さい中でメルマガのABテストを実施しても、「たまたまそうなった」可能性があります。

統計的に意味のある結果を導くためには、以下のようなサンプルサイズを計算できるツールを用いて、サンプルサイズを求めましょう。

https://keisan.casio.jp/exec/user/1489063696

サンプリングに偏りが生じないようにする

サンプリングとは、母集団から標本を抽出することです。

メルマガのABテストを実施する際、Aの標本とBの標本に偏りが生じないよう注意しましょう。たとえば、「あなたの友人100人にアンケート調査をした場合」と、「渋谷駅前の男女100人にアンケート調査をした場合」では、結果が異なるはずです。

メルマガのABテストを実施する際の標本は、無作為抽出でなければなりません。ほとんどの場合、標本に偏りが生じないように、メール配信ツールがメルマガ配信リストを作成してくれます。

メルマガのABテストの実施方法

メルマガのABテストは、主にメール配信ツールとマーケティングオートメーションで実施します。それぞれ詳しくご紹介します。

メール配信ツール

メール配信ツールとは、メール配信や分析に特化したツールです。

メール配信ツールの多くは、ABテストを実施したり、分析したりする機能を備えています。メール配信ツールは、「ABテストをしつつ、まずはメルマガ配信をやっていきたい」という担当者におすすめです。

マーケティングオートメーション

マーケティングオートメーションは、「メール配信」「CRM」「Webのトラッキング」の機能を備えたツールです。マーケティングオートメーションは、「メール配信以上のことをやっていきたい」という担当者におすすめです。

たとえば、メルマガを送ってリードナーチャリングをしつつ、見込み客一人ひとりのWeb上の行動履歴を見て架電や訪問したい場合は、マーケティングオートメーションが適しています。

マーケティングオートメーションは、見込み客一人ひとりのWeb上の行動履歴や、メルマガの開封履歴を追跡、記録しています。そのため、マーケティングオートメーションを使うと、そのお客さまが「どの商材に、どの程度の興味を持っているのか」がわかります。