採用施策のA/Bテストを設計する方法｜求人訴求・スカウト文面・応募導線を検証

監修: 菊地将（リブランディング株式会社）

「求人票を変えたら応募が増えた」「スカウト文面を直したら返信率が上がった」。こうした手応えがあっても、それが施策の効果なのか、候補者層や時期の違いによるものなのかは、単純な前後比較では見分けられません。

見分けるための方法がA/Bテストです。A案とB案をできるだけ同じ条件で比べ、変更点と評価指標を事前に固定します。

具体的には、まず「誰に」「何を1つだけ変え」「何を成果指標にするか」を決めます。そのうえで、必要な母数、実施期間、途中停止条件、採用する案の判定方法まで、テスト開始前に設定します。

この記事では、求人訴求・スカウト文面・応募導線を例に、人事・採用担当者が自社で検証を始められるところまで、設計の手順を順に解説します。

前提となる全体像は「採用改善の効果測定は何をどう見ればいい？指標体系とPDCAの全体像」で整理しています。

採用施策のA/Bテストとは？「1つの変更が成果に与えた差」を検証する方法

この節では、A/Bテストで何を比べるのかと、比較の基本形を確認します。

採用施策のA/Bテストとは、条件をできるだけそろえた候補者群に異なる2案を提示し、どちらが目的とする行動につながりやすいかを比較する方法です。ポイントは、単に「2種類を試す」ことではなく、変えるものを絞ることにあります。

例えば求人票Aと求人票Bで、タイトル、給与表現、仕事内容、写真、応募フォームまで同時に変えてしまうと、応募率に差が出ても何が原因だったのか分かりません。

基本形は次の表のとおりです。この例では営業職の求人タイトルだけを変えており、「変更するもの」の行以外は、A案とB案で同じにそろえます。

項目	A案	B案
対象職種	営業職	営業職
候補者条件	同一	同一
掲載媒体	同一	同一
掲載時期	同時期	同時期
変更するもの	求人タイトルA	求人タイトルB
その他の条件	原則同じ	原則同じ
主要KPI	応募率	応募率

採用施策では母集団そのものが変化しやすいため、「変更した後の1か月」と「変更前の1か月」を比べるだけでは、季節要因や媒体側の変化が混ざります。可能であれば、同じ時期にA案とB案を並行して比較してください。

最初に「何を改善したいテストなのか」を1つ決める

この節では、テストの出発点として、改善したい採用課題と主要KPIを決めます。

「応募を増やしたい」「良い人を採用したい」という大きな目的だけでは、何を測れば成功なのか決まりません。そこで、改善したい採用課題を1つに絞り、採用の流れ（求人を見てもらう、応募してもらう、面談につなげるなど）のどこを改善する実験なのかを先に固定します。

次の表は、採用課題ごとに、主なテスト対象と主要KPIの例を対応づけたものです。自社の課題に近い行から選んでください。

採用課題	主なテスト対象	主要KPIの例
求人を見てもらえない	求人タイトル・サムネイル・訴求	クリック率
求人を見ても応募されない	仕事内容・魅力訴求・応募条件	応募率
スカウトが開封されない	件名・送信タイミング	開封率
スカウトから返信されない	冒頭文・訴求・CTA	返信率
応募フォームで離脱する	項目数・説明・画面構成	応募完了率
応募は増えたが対象外が多い	求人要件・訴求内容	有効応募率
面談につながらない	返信後の案内・日程導線	面談化率

A/Bテストの主要KPIは、原則1つにします。複数の数字を確認すること自体は問題ありません。ただし、「応募率はBが勝ち、面接通過率はAが勝ち、クリック率も確認したらAが勝ち」のように、結果を見てから都合のよい数字を選ぶと判定がぶれます。

そのため、テスト開始前に「今回は応募率を主要KPIとする」と決めておいてください。

求人訴求・スカウト・応募導線では何をA/Bテストするか

採用では、候補者が行動を判断するポイントごとにテスト対象を分けると設計しやすくなります。ここでは、求人票、スカウト、応募導線の順に、何をどう分けて検証するかを見ていきます。

求人票では「候補者が応募判断に使う情報」を1つずつ変える

求人票で検証しやすい要素は次のとおりです。この中から、応募判断に影響していそうな要素を1つ選んで変えます。

求人タイトル
冒頭のキャッチコピー
仕事内容の説明順
仕事の魅力の見せ方
キャリア形成の説明
働き方の説明
応募条件の表現
社員・職場情報の提示位置
応募CTAの文言

求人広告の表現が応募行動に影響し得ることは、実際の採用を対象にした研究でも確認されています。

Uberの600件超の求人を対象に約6万人をランダムに分けた2024年のフィールド実験では、任意・過剰な応募資格を求人票から削除した条件で、応募数が7％増加しました。ただし応募者層への影響は男女で異なっており、「応募条件を減らせば常に良い人材が増える」と単純には言えません。

また、56件の実際の求人広告と991件の応募を分析したフィールド実験では、企業が求める能力を中心に伝える求人と、候補者が仕事から得られる価値を中心に伝える求人で、応募行動や応募者プールの質に違いが確認されています。

つまり、求人原稿は固定された説明文ではなく、検証可能な採用施策の一つです。

スカウトでは件名と本文を分けて検証する

スカウトでは、最初から本文全体を書き換えるのではなく、候補者の行動を段階ごとに分けてテストします。開封率が低いのであれば、まず件名をテストします。開封されているのに返信されないのであれば、本文の冒頭、候補者を選んだ理由、仕事内容、CTAなどをテストします。

例えば、件名のテストは次のように設計します。

仮説：「会社名を中心にした件名より、候補者に関係する仕事内容を示した件名の方が開封されやすい」
A案：「株式会社○○からスカウトのご連絡」
B案：「○○の経験を活かせる新規事業ポジションのご相談」
主要KPI：開封率

このテストで本文まで同時に変える必要はありません。開封率が改善した後に、次のテストとして本文を検証します。

応募導線では「応募開始」ではなく「応募完了」を見る

応募ページでは、CTAの色や文言だけに目を向けるのではなく、候補者がどこで離脱しているかを確認してください。例えば、応募ページが次の流れになっているとします。

応募ページ到達
応募開始
基本情報入力
追加質問入力
応募完了

この流れでフォームを短くするテストをするなら、主要KPIには「応募完了率」が適しています。ボタンのクリックだけ増えても、応募完了が増えていなければ採用成果にはつながらないためです。

採用A/Bテストでは「一度に1要素だけ変える」が基本

A/Bテストで最も避けたいのは、複数の条件を同時に変更することです。

複数要素を同時変更する悪い採用A/Bテストと1要素だけ変更する良いテストの比較図

対象や時期などの条件をそろえ、原則として一度に1要素だけ変更します。例えばスカウトA案からB案へ、次の5項目を同時に変えたとします。

ターゲット年齢を変更
経験年数を変更
件名を変更
本文を変更
送信曜日を変更

この場合、返信率が5％から10％になっても、何が効いたのか判断できません。

まずターゲット条件を固定し、件名だけを変える。その結果を反映した後、本文を変える。このように1つずつ検証すると、自社の採用ノウハウとして結果を再利用できます。

ただし、採用媒体の仕様上ランダム配信ができない場合もあります。その場合も、次の条件をできるだけそろえて比較します。

同じ職種
同程度の経験
同じ地域
同じ媒体
同じ曜日・時間帯
同程度の配信数

必要な母数はいくつ？「各案30通あればよい」のように固定しない

この節では、結果を判断するために何件のデータが必要かを考えます。

A/Bテストに必要な母数は、現在の反応率と、どれだけの改善幅を検出したいかによって大きく変わります。そのため、「各案30通」「50通送れば判定できる」という一律の基準は適切ではありません。

例えば、2群の比率差を比較する一般的な方法を使い、有意水準5％、検出力80％、A案・B案を同数とする条件で弊社が概算すると、必要母数は次の程度になります。

現在値	検出したいB案	必要数の概算／各案
5％	8％	約1,047件
5％	10％	約424件
10％	15％	約681件
10％	20％	約195件
20％	30％	約292件

※弊社算出。2群の比率差、有意水準5％・両側、検出力80％の条件による概算です。

表のとおり、現在値が同じ5％でも、8％への改善を見分けたいか10％への改善を見分けたいかで、必要な件数は大きく変わります。

採用A/Bテストで現在の反応率と改善幅によって必要母数が約195件から1047件まで変わる比較グラフ

基準率5％から6％へのような小さな改善まで統計的に判別したい場合は、非常に大きな母数が必要になります。一方、採用では1職種当たり数千件の応募・返信データを確保できない企業も少なくありません。

その場合は、「少数データから勝者を断定する」のではなく、次のように運用します。

大きな差だけを次の仮説として採用する
複数回のテストで同じ方向が再現するか確認する
職種をまたいで安易に結果を一般化しない
数字と候補者の返信内容など定性情報を併用する
「確定した勝ちパターン」ではなく「次に検証する有力案」として扱う

A/Bテストは、必ず1回で統計的な結論を出す作業ではありません。限られた採用母数の中でも、勘だけに頼った変更よりも、比較可能な記録を蓄積することに価値があります。

テスト期間は「○週間固定」ではなく候補者条件が偏らない長さにする

採用施策のテスト期間にも、すべての企業に共通する正解はありません。重要なのは、A案とB案が十分に似た候補者・市場環境で比較されていることです。

例えばA案を月初だけ、B案を月末だけ配信すると、候補者数や転職活動のタイミングが異なる可能性があります。可能ならA案とB案を同じ期間に並行配信します。

少なくとも次の条件を確認してください。

平日と休日の偏りがないか
月初・月末だけに偏っていないか
求人媒体の掲載順位が大きく変わっていないか
大型連休をまたいでいないか
採用競合の動きが急変していないか
A案とB案で対象候補者属性が偏っていないか

また、データが少ないうちに途中結果を見ながら毎日勝敗を決める運用も避けます。

テスト開始前に「勝ち」「引き分け」「停止」の条件を決める

A/Bテストでは、結果を見てから判定基準を作るのではなく、先に決めます。最低限、次の項目を記録してください。次の表は、スカウト件名のテストを例にした記入例です。

設計項目	記入例
課題	スカウト開封率が低い
仮説	仕事内容を件名に入れると開封率が上がる
変更要素	件名のみ
A案	会社名中心
B案	仕事内容中心
対象	東京勤務のWebマーケ経験3年以上
主要KPI	開封率
副次KPI	返信率
目標差	絶対値＋5ポイント
予定母数	各200通
期間	2週間以上かつ予定母数到達まで
勝ち条件	B案が事前基準を満たす
引き分け	明確な差を確認できない
停止条件	求人条件変更・媒体障害など

記入例の予定母数や目標差は、前の節の概算を参考に、自社の現在値と検出したい差から決めます。

A/Bテストでは必ず勝者を決める必要はありません。明確な差がなければ「引き分け」、比較条件が崩れた場合は「停止」も適切な判断です。

特に重要なのが「引き分け」を認めることです。A/Bテストをすると、どうしてもAかBを勝者にしたくなります。しかし、差が小さい場合は「今回のデータでは判断できない」が正しい結論です。その場合は、変更コストの小さい既存案を維持する、差が出そうな別要素をテストするなど、次の検証へ進みます。

応募数だけでなく「応募者の質」が悪化していないか確認する

採用施策の目的は、単純にクリックや応募を最大化することではありません。応募率が上がっても、採用要件に合う応募者が減れば、採用成果は改善していない可能性があります。

そこで、主要KPIのほかにガードレール指標を置きます。ガードレール指標とは、主要KPIを改善する過程で別の重要指標が悪化していないか確認する数字です。例えば応募率を主要KPIとする場合は、次のような指標を確認します。

有効応募率
書類通過率
面接設定率
面接通過率

求人条件を緩和するテストでは、特に重要です。前述のUberを対象とした実験でも、応募資格の削減で応募数自体は増えた一方、応募者のスキル構成への影響は一様ではありませんでした。

「応募が増えたから勝ち」ではなく、採用したい人材に近づいたかまで確認してください。

求人広告のA/Bテストでも事実と異なる労働条件は表示しない

求人広告のA/Bテストでは、数字を改善するために実際とは異なる条件を見せてはいけません。厚生労働省は、募集情報について虚偽の表示や誤解を生じさせる表示を禁止し、正確かつ最新の内容に保つことを求めています。

したがって、「A案は年収500万円、B案は年収700万円と書いて反応を見る」のように、実際の募集条件とは異なる条件をテストする方法は避けます。

実務では、次のように事実関係を維持したまま変えるテストを行ってください。

同じ給与条件で説明順を変える
同じ仕事内容で訴求ポイントを変える
同じ勤務地条件で表現の分かりやすさを変える
同じ制度について見出しを変える

もう一つ注意したいのが、採用選考の公正さです。厚生労働省は、公正な採用選考について、応募者に広く門戸を開き、本人の適性・能力に基づいて採用することを基本としています。候補者属性ごとに実験を分ける場合も、職務上必要な能力と関係のない属性を採用基準にしないよう注意が必要です。

採用A/Bテストは7ステップで設計する

実際にテストを始める場合は、次の順番で整理すると設計しやすくなります。課題と仮説を決めた後、変更要素・KPI・母数・判定条件を事前に固定し、結果を次のテストへ引き継ぐ流れです。

STEP1：改善したい採用課題を1つ決める

「応募率が低い」「スカウト返信率が低い」など、改善対象を限定します。

STEP2：原因仮説を1つ立てる

「仕事内容が抽象的だから応募されない」など、変更理由を言語化します。

STEP3：変更する要素を1つ決める

タイトル、件名、冒頭文、CTAなど、基本的には1回のテストにつき1要素にします。

STEP4：主要KPIを決める

クリック率、応募率、返信率、応募完了率など、仮説に最も近い指標を設定します。

STEP5：母数・期間・対象条件を決める

現在値と検出したい差から必要母数を考えます。十分な母数を得られない場合は、その制約を記録します。

STEP6：判定・停止条件を決める

「どの状態ならB案を採用するか」「いつ引き分けとするか」「何が起きたらテストを中止するか」を決めます。

STEP7：結果と学びを記録する

勝敗だけでなく、「誰に」「何を変え」「どの条件で」「どんな結果になったか」を保存します。この記録が蓄積されるほど、自社採用に固有の改善知識になります。

採用A/Bテストを始める前のチェックリスト

テストを始める前に、次の項目を確認してください。確認できれば、最低限の比較可能性を確保しやすくなります。

何を改善したいか一文で説明できる
仮説が1つに絞られている
A案とB案の変更箇所が明確
対象職種が同じ
候補者条件をそろえている
掲載・送信時期をできるだけそろえている
主要KPIを1つ決めている
ガードレール指標を決めている
必要母数を検討している
結果を見る前に判定条件を決めている
途中で別の施策を変更しない
結果が出なければ「引き分け」と判断できる
求人条件の表示内容が事実と一致している
結果を職種・対象条件とセットで記録する

まとめ

採用施策のA/Bテストで重要なのは、「2種類作ること」ではなく、施策の差を比較できる状態を作ることです。

そのために、まず改善したい採用課題を1つに絞り、仮説、変更要素、対象候補者、主要KPIを固定します。A案とB案はできるだけ同じ時期・同じ条件で実施し、1回のテストでは原則1要素だけを変更します。

必要母数は「30通」「50通」などの固定値ではなく、現在の反応率と検出したい改善幅によって変わります。母数が少ない場合は、小さな差から勝者を断定せず、複数回の検証や定性情報を組み合わせてください。

最初の一歩として、いま改善したい採用課題を1つ決め、A案とB案の違いを一文で書き出してみてください。求人票、スカウト、応募導線のどこを改善する場合でも、「誰に、何を変えたら、何が変わったか」を記録していけば、担当者の感覚だけに頼らず、自社に合った求人訴求・スカウト・応募導線を蓄積できます。

参考文献・データ元

この記事で参照した情報を確認できます。

「Words matter: Experimental evidence from job applications」Journal of Economic Behavior & Organization、2024年。600件超の求人・約6万人を対象とした求人資格表現の実験結果を、求人原稿変更が応募行動へ与える影響の根拠として使用。
Schmidt, J. A., Chapman, D. S., Jones, D. A.「Does Emphasizing Different Types of Person–Environment Fit in Online Job Ads Influence Application Behavior and Applicant Quality?」Journal of Business and Psychology。56件の求人・991応募を対象としたフィールド実験を、求人訴求と応募行動の関係説明に使用。
厚生労働省「労働者の募集広告の表示について」。募集広告における虚偽・誤解を生じさせる表示の禁止等を確認。
ハローワークインターネットサービス「労働法等に関する解説」。募集情報を正確かつ最新に保つ必要があることを確認。
厚生労働省「公正な採用選考の基本」。適性・能力に基づく採用選考の基本原則を確認。

‹ 親記事: 採用改善の効果測定は何をどう見ればいい？指標体系とPDCAの全体像

採用施策のA/Bテストを設計する方法｜求人訴求・スカウト文面・応募導線を検証

採用施策のA/Bテストとは？「1つの変更が成果に与えた差」を検証する方法

最初に「何を改善したいテストなのか」を1つ決める