公開日: Web制作・ホームページ制作

A/Bテストで分かった「効く仮説・効かない仮説」

この記事について

サイトのデザインを変えたとき、本当に成果につながったのかを確かめる方法の一つが「A/Bテスト」です。A/Bテストとは、今のデザイン(A)と新しいデザイン(B)を同じ期間に公開し、どちらがより多くの応募や問い合わせにつながったかを比べる検証方法です。

最近はAIがデザイン案を作り、多くのパターンを自動で検証してくれるツールも増えています。ただ、どれだけ多くの案を試せても、「そもそも何を検証すべきか」という仮説の質が成果を大きく左右することは変わりません。

サービシンクでは以前、求人情報サイトの改善を数年にわたって担当し、数十本のA/Bテストを行いました。大きな成果が出た施策もあれば、「ユーザーの声を反映したのに数字は下がった」という施策もありました。

本記事では、当時の検証から見えた「効く仮説」と「効かない仮説」、そしてAI時代のA/Bテストとの付き合い方をご紹介します。求人サイトに限らず、不動産ポータルや物件検索サイトなど「探して、比べて、問い合わせる」サイト全般に応用できる内容です。

A/Bテストで分かった「効く仮説・効かない仮説」

A/Bテストとは?AI時代に何が変わったのか

A/Bテストは今も多くのサイトで使われている改善手法です。AIによって「案を作る」「早く判断する」部分は大きく変わりましたが、「どちらが成果につながったかを数字で確かめる」という考え方そのものは変わっていません。

A/Bテストの基本

A/Bテストでは、サイトを訪れた人をランダムに2つ(またはそれ以上)のグループに分け、それぞれに別のデザインを見せます。そのうえで、応募や問い合わせに至った人の割合を比べます。この割合を「CVR(コンバージョン率)」と呼びます。

ただし、数字に差が出ても、それが偶然の差である可能性があります。そこで使われるのが「信頼度」という指標です。信頼度は、その差が偶然ではなく本当にデザインの違いによるものである可能性の高さを示します。一般的には、信頼度が高いほど結果を信用してよいと判断されます。

AIで変わったこと

この数年で大きく変わったのは、AIが検証の準備や判断を手伝うようになった点です。

  • 案をAIが作る:「ボタンの文言をもっと分かりやすく」と指示するだけで、AIがデザインや文章の案を作る機能が多くの検証ツールに組み込まれています(Omniconvert社ブログ、2026年)。
  • たくさんの組み合わせを同時に試す:見出し・写真・ボタンなど複数の要素の組み合わせを一度に検証する「多変量テスト」や、AIが案の作成から検証・反映までを自動で行うテストが広がっています(株式会社renue、2026年)。
  • 無料ツールの終了:かつて広く使われていた無料の検証ツール「Googleオプティマイズ」は2023年9月30日に提供を終了しました(Web担当者Forum、2023年)。現在は有料ツールを中心に、AI機能を備えた製品が選ばれるようになっています。

変わらないこと

AIで100パターンの案を作れても、どの案が勝ったかを判断する統計の考え方は同じです。そして、パターンが増えるほど、判断に必要な訪問数も増えます。

後ほど紹介する求人サイトの検証では、1つの案につき数千〜1万程度の訪問を集めて、ようやく判断できるケースが多くありました。100パターンを同時に検証するには、その何十倍もの訪問数が必要になります。アクセス数がそれほど多くないサイトでは、今でも「2〜4案を丁寧に比べる」A/Bテストが現実的な選択肢です。

そして何より、AIが案を作れても、「ユーザーは何に迷っているのか」「何を変えれば行動しやすくなるのか」という仮説を立てるのは人の役割です。ここからは、実際の検証で見えた「効く仮説」と「効かない仮説」をご紹介します。

検証の概要

サービシンクが以前担当した求人情報サイトで、数年にわたりスマートフォン版・パソコン版あわせて数十本のA/Bテストを行いました。

対象サイト求人情報サイト(スマートフォン版・パソコン版)
対象ページトップページ、検索条件の設定ページ、求人一覧ページ、求人詳細ページ
検証本数数十本
使用ツールA/Bテストツール(VWO、Adobe Target)
判断の基準応募完了率(CVR)と信頼度

検証の進め方は、毎月「仮説を立てる → デザイン案を作る → 約2週間検証する → 結果を分析し、勝った案を本番のサイトに反映する」というサイクルです。勝った案は、そのまま次の検証の土台にしました。

本記事では、信頼度がおおむね80%以上の結果を中心にご紹介します。信頼度が低く、はっきりした結論が出なかった検証は「傾向」としての紹介にとどめています。また、当時と現在ではユーザーの利用環境も変わっているため、今でも通用する原則に絞ってお伝えします。

成果につながった「効く仮説」5つ

検証の中で、応募完了率(CVR)がはっきり上がった施策は次の5つです。共通しているのは、「ユーザーが探しているもの・比べたいものを、すぐに分かる形で見せる」という点でした。

仮説 対象 CVRの変化 上昇率 信頼度
写真を大きく見せるスマホ・求人一覧2.77% → 3.13%約13%94%
探している軸(職種)を目立たせるスマホ・求人一覧1.79% → 1.97%約10%80%
上部ですぐ検索できるようにするスマホ・エリア別トップ1.36% → 1.88%約38%93%
1件ごとの区切りを明確にするスマホ・求人一覧1.49% → 1.97%約32%98%
「とりあえず保存」を押しやすくするスマホ・求人一覧2.21% → 2.51%約14%80%

1写真を大きく見せると、比較しやすくなる

求人一覧の写真を大きくした変更前後の比較図。CVRが2.77%から3.13%に上昇
※実際のデザインを簡略化したイメージ図です

仮説:求人一覧で、ユーザーは写真から職場の雰囲気をつかみ、詳しく見るかどうかを決めているのではないか。

変えたこと:スマートフォンの求人一覧で、各求人の写真を大きく表示しました。比較として、写真はそのままで求人の特徴を示すアイコンを上に移動した案も用意しました。

結果:写真を大きくした案はCVRが2.77%から3.13%に上がり、上昇率は約13%(信頼度94%)でした。アイコンを移動した案の上昇率は約5%にとどまりました。

なぜ効いたか:文字情報よりも写真のほうが、一瞬で「自分に合いそうか」を判断できるためだと考えられます。別の時期に行った検証でも、写真を大きくした案が勝つ傾向が繰り返し見られました。

2ユーザーが探している軸を目立たせる

職種を目立たせた変更前後の比較図。CVRが1.79%から1.97%に上昇
※実際のデザインを簡略化したイメージ図です

仮説:求人を探すユーザーは、「どんな仕事か(職種)」をある程度イメージしてから探しているのではないか。

変えたこと:求人一覧・求人詳細で、会社のPR文よりも職種を目立たせるデザインに変更しました。

結果:スマートフォンの求人一覧ではCVRが1.79%から1.97%(上昇率約10%)、パソコンの求人詳細では2.27%から2.45%(上昇率約8%)に上がりました。信頼度はいずれも80%です。会社名と職種の表示順を入れ替え、職種を先に見せる別の検証でも、同じ傾向が見られました。

なぜ効いたか:ユーザーが最初に確認したいのは「自分が探している仕事かどうか」です。企業がアピールしたい内容より、ユーザーの探している軸を先に見せることが大切だと分かりました。

3ページ上部で、すぐに検索できるようにする

ページ上部にかんたん検索を置いた変更前後の比較図。CVRが1.36%から1.88%に上昇
※実際のデザインを簡略化したイメージ図です

仮説:細かく条件を選ぶよりも、「エリア×職種」程度の簡単な条件ですぐ探したいユーザーが多いのではないか。

変えたこと:エリア別のトップページで、最初に目に入る位置に、都道府県・職種などをまとめて選べる「かんたん検索」を設置しました。

結果:スマートフォンではCVRが1.36%から1.88%に上がり、上昇率は約38%(信頼度93%)でした。パソコンでも0.91%から1.24%と、約37%上昇しています(信頼度80%)。

なぜ効いたか:検索の入口が分かりやすくなり、迷わず求人一覧にたどり着けるようになったためと考えられます。その後の検証でも、希望に近い一覧へ少ないページ移動で案内するほど成果が出やすい傾向がありました。

4一覧では、1件ごとの区切りを明確にする

求人を1件ずつ枠で囲んだ変更前後の比較図。CVRが1.49%から1.97%に上昇
※実際のデザインを簡略化したイメージ図です

仮説:求人一覧で情報がつながって見えると、どこからどこまでが1つの求人なのか分かりにくいのではないか。

変えたこと:スマートフォンの求人一覧で、1件ずつ枠で囲むデザインに変更しました。

結果:CVRが1.49%から1.97%に上がり、上昇率は約32%(信頼度98%)でした。

なぜ効いたか:1件の範囲がはっきりすることで、求人を1つずつ見比べやすくなったためと考えられます。スマートフォンのように縦に長く流れる画面では、特に効果が大きいと言えます。

5「とりあえず保存」を押しやすくする

「後で見る」ボタンに変更した前後の比較図。CVRが2.21%から2.51%に上昇
※実際のデザインを簡略化したイメージ図です

仮説:ユーザーは一覧の段階では応募を決めきれず、気になる求人をいったん保存して、後から見比べたいのではないか。

変えたこと:求人一覧の「検討リストに追加」ボタンの文言を「後で見る」に変更し、保存した求人の一覧に移動するボタンも追加しました。

結果:CVRが2.21%から2.51%に上がり、上昇率は約14%(信頼度80%)でした。この結果を受けて、実際に本番のサイトに反映しています。

なぜ効いたか:「検討リストに追加」は少し重たく感じますが、「後で見る」なら気軽に押せます。保存のハードルが下がることで、後から求人を見返して応募するという流れが生まれたと考えられます。

成果につながらなかった「効かない仮説」

検証の中には、「これは効くはず」と考えたのに成果が出なかった施策も多くありました。こうした結果こそ、感覚だけでサイトを改善する危うさを教えてくれます。

閲覧履歴を表示しても、応募は増えなかった

「一度見た求人をもう一度見られれば、応募につながりやすいのではないか」と考え、閲覧履歴を表示する検証をパソコン版・スマートフォン版の両方で行いました。結果は、どちらも既存のデザインを上回りませんでした。

一方で、ユーザー自身が「後で見る」と保存した求人を表示する案は効果がありました。自動的に記録された履歴よりも、ユーザーが自分で選んだ求人のほうが、応募への意欲が高いのだと考えられます。

ユーザーの声と、実際の行動は違った

ユーザーへのアンケートやインタビューで「タップして開く操作が面倒」という意見が多く聞かれたため、タップせずに情報が見られるデザインを検証しました。ところが、結果は既存のデザインのほうがCVRが高くなりました。

「不満がある」という声と、「実際にどう行動するか」は必ずしも一致しません。ユーザーの声は仮説を立てるヒントとして大切ですが、最終的な判断は数字で確かめる必要があります。

スマホで効いた施策が、パソコンでは逆効果だった

求人の特徴を示すアイコンを上に移動する施策は、スマートフォンではCVRが約5%上がりました。しかし、同じ施策をパソコン版で行うと、CVRは1.34%から1.07%に下がり、約20%の低下となりました(信頼度96%)。

画面の広さや、情報の目に入り方が違えば、同じ施策でも結果は変わります。「スマホで効いたからパソコンにもそのまま反映する」のではなく、それぞれで確かめることが大切です。

情報を折りたたんでも、見やすくはならなかった

求人詳細ページで、情報量を減らして見やすくするために、項目を開閉式(タップで開く形)にする検証も行いました。結果は既存のデザインが最もCVRが高くなりました。

情報を隠すと画面はすっきりしますが、「開く」というひと手間がユーザーの負担になった可能性があります。見た目の整理と、使いやすさは必ずしも同じではありません。

不動産サイトに置き換えると

求人サイトと不動産サイトは、扱う情報は違っても「条件で探す → 一覧で比べる → 詳細を見る → 応募・問い合わせる」という流れがよく似ています。そのため、今回の「効く仮説」は不動産ポータルや物件検索サイトにもそのまま応用できます。

求人サイトで効いた施策 不動産サイトでの応用例
写真を大きく見せる物件一覧で外観・室内の写真を大きく表示し、ひと目で雰囲気が分かるようにする
探している軸(職種)を目立たせる賃料・間取り・駅からの距離など、ユーザーが比べたい項目を先に、目立つ形で見せる
上部ですぐ検索できるようにするトップページの最初に、エリア・沿線・賃料などをまとめて選べる簡単な検索窓を置く
1件ごとの区切りを明確にする物件一覧で1物件ずつ枠で囲み、物件同士を見比べやすくする
「とりあえず保存」を押しやすくする「お気に入り」「後で見る」ボタンを目立たせ、気軽に保存できるようにする

特に不動産は、住まい探しの検討期間が長く、複数の物件を見比べてから問い合わせるケースが多い分野です。「保存して後で見比べる」流れを作る施策は、求人サイト以上に効果が期待できるかもしれません。

ただし、ここで紹介したのはあくまで「試す価値のある仮説」です。サイトごとにユーザーの目的や使い方は違うため、実際に効果があるかどうかは、それぞれのサイトで検証して確かめることをおすすめします。

大手不動産ポータルが物件ページでどのように問い合わせを促しているかは、不動産ポータル4社を比較|物件ページの問い合わせを増やす6つの工夫【2026年10月調査】で詳しく紹介しています。

AI時代にA/Bテストで成果を出すためのポイント

AIによって検証の手間は減りましたが、成果を出すための考え方は大きく変わっていません。数十本の検証を通じて分かったポイントを5つご紹介します。

1仮説は人が立てる

AIはたくさんの案を作れますが、「ユーザーは何に迷っているのか」「何を変えれば行動しやすくなるのか」を考えるのは人の役割です。今回の「効く仮説」も、ユーザーの行動や競合サイトの見せ方を観察するところから生まれました。仮説がはっきりしていれば、勝っても負けても次につながる学びが残ります。

2アクセス数に合った方法を選ぶ

多くのパターンを同時に試す方法は、十分なアクセス数があるサイトで力を発揮します。アクセス数がそれほど多くないサイトでは、2〜4案に絞って丁寧に比べるほうが、確実に結論を出せます。

3信頼度が低い結果で判断しない

検証では、CVRに差が出ても信頼度が低く、偶然の差かどうか判断できないケースが少なくありませんでした。そうした場合は、検証期間を延ばしたり、案を絞り込んで再検証したりしました。「数字が少し高いから」という理由だけで本番に反映すると、かえって成果が下がる恐れがあります。

4期間の影響に注意する

同じ検証でも、集計する期間によって結果が変わることがありました。たとえば、開始から数日間は既存のデザインが勝っていたのに、その後は検証案が勝ち続けたケースや、集計の開始日を数日ずらすだけで勝ち負けが逆転したケースです。また、連休中はユーザーの行動が普段と変わるため、結果がぶれやすくなります。検証期間は2週間程度を目安に、連休などの影響も考えて判断することが大切です。

5勝った案を土台に、次の仮説を立て続ける

A/Bテストは1回で終わりではありません。勝った案を本番に反映したら、それを新しい基準にして次の検証を行います。小さな改善を積み重ねることで、サイト全体の成果が少しずつ底上げされていきます。

進めるときのポイント(よくある質問)

QA/Bテストは、今でも有効な方法ですか?

A有効です。AIによって案づくりや判断のスピードは上がりましたが、「どの案が成果につながったかを数字で確かめる」という考え方は変わっていません。現在も多くの検証ツールで、A/Bテストが基本の機能として使われています。

Qアクセス数が多くないサイトでも、A/Bテストはできますか?

Aできます。比べる案を2〜4つに絞り、検証期間を長めにとるのが現実的です。一度に多くの案を試すほど、結論を出すのに必要な訪問数が増える点に注意してください。

Q検証期間はどのくらい必要ですか?

A当社の検証では2週間程度を目安にしていました。連休などユーザーの行動が普段と変わる時期はなるべく避け、信頼度が低い場合は期間を延ばして判断します。

まとめ

  • 成果につながったのは、ユーザーが探しているもの・比べたいものを、すぐに分かる形で見せる施策だった
  • ユーザーの声や、別の端末で効いた施策が、そのまま成果につながるとは限らない
  • AIで検証は速くなったが、「何を検証すべきか」という仮説を立てる力の重要性は高まっている

思い込みではなく、数字で確かめながら改善を続けることが、サイトの成果を着実に上げる近道です。次の一歩として、自社サイトの問い合わせまでの流れの中で、ユーザーが迷っていそうな場面を一つ書き出してみてください。

サイトの課題をどこから見直せばよいか分からない場合は、ぜひ一度サービシンクにご相談ください。

データにもとづくサイト改善、ご相談ください

課題の洗い出しから仮説づくり、検証、改善まで一貫してご支援します

サービシンクに相談する

この記事を書いた会社

株式会社サービシンク

株式会社サービシンク

不動産業界特化のWeb制作・システム開発

代表が2000年に不動産ポータルサイトのディレクターとして不動産Webに携わって以来、26年にわたり、開発・分譲、流通、管理、賃貸、投資・運用、不動産テックの6つの領域で、サイト制作とシステム開発を手がけてきました。公開後のアクセス解析やA/Bテストなど、データにもとづくサイト改善もご支援しています。

出典

Webサイト・システムの
お悩みがある方は
お気軽にご相談ください

仕事のご相談はこちら

まずは資料でご検討したい方へ

会社案内をダウンロード

不動産業界に特化したWeb制作・システム開発の強みや実績をまとめた資料をご覧いただけます。

会社案内をダウンロードする

多くのお客様が気になる情報をまとめました、
こちらもご覧ください。

不動産業界のご担当者ですか?→ 「はい」の方はこちら →