A/Bテストを用いたLP改善でデザイナーが学んだこと

こんにちは!High Linkでプロダクトデザイナーをしている、saori(@nyanta1060)です。

最近、私は香りの総合プラットフォーム「カラリア 香りの定期便」の定期便登録率(CVR)の改善に取り組んでいました。

カラリア 香りの定期便とは、香水を少量で手軽に試せるサブスクリプションサービスになります。

今回は、その取り組みの一部をご紹介し、改善プロセスを通じて得た学びについて書いていこうと思います。

目標はCPAの削減

この3ヶ月のチーム目標は、ディスプレイ広告経由のCPA(顧客獲得単価)を削減することでした。

この目標達成に向けて、前段ファネルの課題改善に注力し、特にLP(ランディングページ)の最適化を優先的に行い、定期便登録率(CVR)の向上に取り組みました。

A/Bテストによる改善

常に最適な改善策を見つけるために、週に1度のサイクルでA/Bテストを実施しました。
勝利するパターンを選ぶ基準としては、勝率信頼度が90%以上であればそのパターンを採用。
この基準に達しない場合は、テスト期間を延長するか、わずかでも優位性がある方を採用しました。
A/BテストはPtengineというツールを使用しています。

LPの課題と仮説

マーケターの分析によると、LPのファーストビューの離脱率が52%と高く、FAQセクションでは特定の項目のクリック率が高いことが分かりました。

また、ディスプレイ広告で最もクリック率(CTR)が高かったのは「ユーザー自身が撮影したかのような親しみやすさを感じるUGCスタイルの動画広告」でしたが、一方でLPの定期便CVRは低い状態でした。

この現象は広告には関心を示しながらも、LPに訪れた際に何か違和感を感じて離脱してしまう状況だと考えられます。

このときLPと広告では訴求やイメージに乖離が生まれていたため、広告に合わせてLPを改善することにしました。

LPのファーストビューを改善

検証①:広告の雰囲気に合わせて親しみやすさ(人感)を出す

LPのファーストビューのコピーに「毎月届く香水のサブスクサービス」といったキャッチコピーや、広告との関連性が高いビジュアルを取り入れ、さらにFAQセクションでクリック率が高かった項目「好きな香水を毎月選べる」こと、「1ヶ月4mL使い切りサイズ」であることを配置しました。

C案では、CTAボタン(コンバージョンを促すアクション)の文言による影響を比較するために「今すぐ無料会員登録」から「無料会員登録して香水を選ぶ」に変更し、会員登録したその先で何ができるか強調した文言に。

合計3パターン(A:従来のデザイン、B:人感手元、C:人感手元+CTA文言)で、テストを実施しました。

テスト結果(勝率)

定期便CVRは優位差がついていないものの、会員登録CVRが高かったのはC案の「人感手元+CTA文言変更」案でした。

このA/Bテストにより、仮説の方向性が正しいことがわかりました。

検証②:ビジュアルの方向性を大きく変えてみる

今度は、ファーストビューのビジュアルの方向性を大きく変えて検証しました。

B案は一目で香水サービスであることがわかるビジュアル。一方、C案は人の顔を取り入れることでより人間らしさが前面に出て、親しみやすさを強調したビジュアルです。

テスト結果(勝率)

定期便CVR・会員登録CVR、両方勝利したのはA案(従来)でした。

A案と異なる点として、B案とC案は料金表示があり大きく表示されています。
条件を揃えてテストした方が、ビジュアルの効果をもっと正確に測れたなぁ…と思います。

さらに、流入経路によって最も効果的だった案が異なっていたので、今後は経路に応じた仮説を立てることも重要だとわかりました。

結果としては、LPのファーストビューでの離脱率は50%から30%台へと低減することができました。

最終的にチーム目標は達成

今回紹介したA/Bテスト以外に複数の施策実施した結果、定期便CVRは向上し、マーケターが広告配信の最適化を実施するなどして、2ヶ月ほどで目標であるCPA削減を達成

施策の中でも特にクーポン施策は大きくCVRが向上していたため、クーポンを適切なタイミングで出すことは新規獲得においてインパクトがあると改めて感じました。

自分も初めて使うサービスは料金が通常よりお得になっていると、試しに1回使ってみようかな?という気持ちになることが多いです。

ただ、目標は達成したものの、登録導線のユーザビリティの課題はまだたくさんあるので、デザイナーとしては解決したい気持ちが残っています…。

改善を通して学んだこと

A/Bテストは1箇所ずつ検証する

早く色々検証したいあまり、同じページ内で複数の仮説を同時にテストしようとしてたことがありました。

A/Bテストでは複数箇所を同時に変更すると「どの箇所が結果に影響を与えたか」わからなくなるため、基準に対して1箇所だけ変更して検証する必要があります。

もし同時にテストをしたい場合は、「多変量テスト」といった方法があることを知りました。

多変量テスト
ABテストではなく、多変量テストを使用すべき場合とは? - DLPO株式会社

CVRへのインパクトが大きい箇所から検証する

ファーストビューの離脱率が半分以上では、その下のコンテンツをいくら改善しても読み進めてくれる人が少ないため、まずはファーストビューを改善して離脱を減らすことが定期便CVRを改善する上で最も効率的だと学びました。

改善において、「キービジュアル」「キャッチコピー」「補足情報」「CTA」の検証を繰り返すことで数値が改善されていきました。(中には改善されない案もありましたが)

知り合いでも良いからユーザーに触ってもらう

A/Bテストによる数値分析だけでは、ユーザーが何に興味を持ちどこに戸惑っているかなど見えてきませんでした。

そこで、友人や社内で入社したばかりの方にサービスを実際に触ってもらい、思考発話をしていただきながら観察とインタビューを行いました。

このプロセスを通じて、サービスの改善において気付かなかった点、意外な発見、共感できる要素など、多くの洞察を得ることができました。

また、これまで「ユーザーは多分このような理由で離脱しているんじゃないか?」といったふんわりとした仮説も、第三者のユーザー意見を取り入れることでチーム内で納得感が増し共通認識が取れたことで、改善や提案がしやすくなりました。

マーケティング用語

最初のうちは、マーケティングの専門用語になじみがなく、理解するのに時間がかかりましたが、チームの議論に追いつくために関連する記事を読んだり質問をしたりして、徐々に理解を深めていきました。

  • リスティング広告・ディスプレイ広告
  • チャネル
  • LPO・EFO
  • CPA・CPC・CVR
  • Control・Treatmemt

最後に

High Linkでは、定量調査や定性調査をもとにプロダクト改善ができる環境で、一緒にわくわくしながら働ける仲間を募集中です🎉

最後まで読んでくださりありがとうございました!



別ウィンドウで大きく見る