A/Bテストのサンプルサイズ計算
A/Bテストや2グループの割合の比較に必要な人数を見積もります。2つの割合、信頼水準、検出力を指定してください。
計算の手順を学ぶ数値を入力
入力に応じて結果が更新されます。
データの入力方法
データの一覧を貼り付ける必要はありません。各割合を数値で入力し、信頼水準と検出力を選択してください。20%なら「20」と入力します。入力に応じて結果が自動で更新されます。
各グループに必要な人数
各グループ
A/Bテストで2つの割合を比較する際に、各グループに必要な人数を見積もります。現在の割合と新しい方法で期待する割合を入力すると、指定した検出力でその差を検出するためのサンプルサイズが分かります。たとえば、アンケート用紙のデザインを変えて回収率が上がるか調べるときに使えます。
自分で計算する
例：割合の20%から30%への変化を、信頼水準95%、検出力80%で検出するために、同じ人数の2グループを計画します。
この計算例に沿って手順を確認し、自分の数値でも計算してみてください。
予想割合を小数に換算し、平均を求める
p₁ = 0.20; p₂ = 0.30; 平均p = (0.20 + 0.30) ÷ 2 = 0.25; 差 = 0.10信頼水準と検出力に対応する係数を調べる
zα = Φ⁻¹(0.975) ≈ 1.959964; zβ = Φ⁻¹(0.80) ≈ 0.841621標準正規分布表を使います。信頼水準は両側で扱い、検出力の係数には0.80をそのまま使います。
不確かさを表す2つの項を計算する
A = √[2 × 0.25 × 0.75] ≈ 0.612372; B = √[0.20 × 0.80 + 0.30 × 0.70] ≈ 0.6082762つの割合を比較する式に代入する
各グループのn = (zα × A + zβ × B)² ÷ (p₂ − p₁)² ≈ 293.1513可能な限り、途中の計算では丸める前の値を使ってください。
各グループの人数を切り上げる
各グループ294人; 合計 = 2 × 294 = 588
この近似は、観測値が独立し、両グループの人数が等しいことを前提とします。割合の差は10パーセントポイントで、相対的な10%増加ではありません。有効なデータが得られない人がいる場合は、追加の募集を見込んでください。
計算ツールで答えを確認する
活用例
- 中小企業の経営者: 店舗が2種類のアンケート用紙を試す前に、回収率を比較するために各用紙を何人に渡す必要があるか確認します。
- マーケティング・カスタマーサービス担当者: 担当チームが2種類の案内メールを比較するため、必要な送信先の人数を見積もります。
- 学生・研究者: 学生が2種類のポスターによる登録率を比較する研究で、各グループに必要な人数を計画します。
検出力と信頼水準
検出力は、想定した差が実際にあるときに、その差を検出できる確率です。80%がよく使われます。信頼水準は、偽陽性を制御する有意水準に対応します。検出したい割合の差が小さいほど、十分な検出力を得るために多くの観測が必要です。
どのような場面で使いますか？
用紙を返したか、リンクをクリックしたかなど、各人の結果を2通りに分けられるテストの計画に使います。2種類のアンケート用紙、メール、登録ページ、案内方法などを比較する前に、各グループに必要な人数を見積もれます。
結果の意味
表示されるのは、各グループに必要な観測数です。両方のグループに同じ人数を確保するため、合計は2倍になります。人数が不足すると、実際に差があっても見逃す可能性が高まります。信頼水準95%、検出力80%は一般的な設定ですが、必要な精度に合わせて選んでください。小さな差を検出するには、より大きなサンプルが必要です。
よくある間違い
同じ割合を2つ入力すると、検出する差がないため必要人数を求められません。割合には%記号を付けず、結果が各グループの人数であることに注意してください。途中で一方が優勢に見えても、その場でテストを打ち切らず、事前の計画に従います。期待する割合も、過去の結果などを根拠に設定してください。
この計算ツールの使い方
- 最初の欄に、現在の方法で得られている割合を入力します。%記号は付けません。
- 2つ目の欄に、新しい方法で期待する割合を入力します。
- 信頼水準と検出力を選択します。よく使われる設定は、信頼水準95%、検出力80%です。
- 各グループに必要な人数を確認します。2グループの合計人数は、この値の2倍です。
計算例
あるカフェでは、アンケート用紙を渡した100人のうち20人が回答しています。新しい用紙で25人まで増えると想定する場合、基準の割合に20、期待する割合に25を入力します。信頼水準95%、検出力80%では、各グループ約1,094人、合計2,188人が必要です。これは回収する回答数ではなく、各用紙を渡して回答の有無を確認する人数です。
よくある質問
1つ目の欄には何を入力しますか？
現在の方法で得られている割合を百分率で入力します。用紙を渡した5人に1人が回答するなら、20と入力してください。
期待する割合とは何ですか？
新しい方法で見込む割合です。目標が25%なら25と入力します。
この値はどこで確認できますか？
過去のアンケートや業務記録を参考にしてください。まだ測定したことがなければ、現在の方法で予備調査を行うか、根拠のある見積もりを使います。
信頼水準と検出力はどう違いますか？
信頼水準は、差がないのに差があると判断する誤りを制御する基準に対応し、95%がよく使われます。検出力は、想定した大きさの差が実際にあるときに、それを検出できる確率です。80%がよく使われますが、調査の目的に合わせて設定してください。
最終結果は何を意味しますか？
結果は各グループに必要な観測数です。それぞれの方法について予定した人数を確保し、成功・不成功などの結果を記録して割合を比較します。