AIメルマガ作成、情報入力はどこまで必要？ABテストの結果を公開

Kairos3には、生成AIを使ったメルマガ作成機能があります。私たち自身も、日々のメルマガ運用でこの機能を使っています。

AIによってメルマガ作成が楽になる一方で、ひとつの疑問がありました。

それは、「生成に必要な情報をどこまで入力すべきなのか」という点です。入力を簡略化すると、成果まで落ちてしまうのではないか。そんな不安もありました。

この記事では、AIメルマガ作成における「効率化」と「成果」のバランスを確かめるために実施した、ABテストの結果をご紹介します。

なぜABテストをやってみたのか

AIメルマガ作成機能には、効果的な文章を生成するために必要な「メルマガの概要」「対象読者（ターゲット）」「読者の悩み・課題」など、いくつかの入力項目があります。

入力項目を丁寧に埋めれば、精度の高い文章が生成されそうです。その一方で、作業工数は増えてしまいます。

成果を維持するためには、どこまで入力すれば十分なのだろう？そんな疑問からABテストを行いました。

「効率化」と「成果」のバランスを確かめるABテストの方法

ABテストでは、AIメルマガの使い方を２パターンに分け、作成効率と配信結果を比較しました。

ひとつは、入力項目の一部は空欄のままでメルマガ本文を生成するAパターン。

もうひとつは、すべての入力項目を埋めた状態でメルマガ本文を生成するBパターンです。

Bパターンでは、生成後に「ブラッシュアップ」ボタンを使用し、「説得力のある」トーンのみを指定して文章を整えました。

入力項目をどこまで埋めるかによって、メルマガ作成にかかる時間や、生成される文章の質に違いが出るのか。また、Aパターン、Bパターンで生成された文章の違いが、配信結果の数値にどう表れるのかを検証しました。

Aパターンで作成時間は約30％削減、CVも獲得

入力項目に空欄がある状態で本文を生成したAパターンでは、メルマガ１本あたりの平均作成時間が27分でした。

一方、入力項目をすべて埋めたBパターンは43分です。

入力項目を一部省くことで、作成時間を大きく削減できました。

また、セミナー集客メルマガの申し込み数のコンバージョン（CV）率は、入力項目をすべて埋めたBパターンの6.4％に対し、入力項目に空欄があるAパターンは9.1％という結果になりました。

開封率やクリック率については、両パターンで大きな差は見られませんでした。

注目したいのは、生成するための入力項目をすべて埋めなくても、メルマガとして成立したことです。

「メルマガ概要」項目に、セミナーの内容や伝えたい情報をきちんと入力することで、入力項目をすべて埋めなくても、効果的な文章が生成され、CVにつながったと考えています。

まとめ

今回のABテストにより「入力を簡略化すると成果が落ちる」と一概には言えない、という結果が得られました。

もちろん、すべてのケースで同じ結果になるとは限りません。メルマガのテーマや対象読者によって、丁寧な作り込みが必要な場面もあります。

ただ、少なくとも今回の検証では、作成工数を抑えながら、実用的な成果を出せる可能性が示されました。

私たちは、週に３回以上メルマガを配信しています。

１通あたりの作業時間が10分、15分と短縮されるだけでも、その積み重ねは大きく、ほかの業務に使える時間が生まれました。

そして何より、項目を全て埋めなくても効果的な文章が生成されるAIメルマガ機能であることを発見できたことが、今回の検証の大きな成果でした。

マケフリでは、こうしたKairos3実運用の中で得られた知見をもとに、マーケティングや営業の現場で使えるヒントを発信しています。

この記事が、日々のメルマガ運用を見直すきっかけになれば幸いです。