A/B 测试样本量计算器
规划 A/B 测试或两组比较。输入两个预期比例,以及所需的置信水平和统计功效。
学习手动计算方法输入数值
结果随输入自动更新。
如何输入数据
本计算器使用输入框和下拉菜单,无需粘贴数据。请在两个输入框中填写比例的数值,不要带百分号,例如输入 20,而不是 20%。然后选择置信水平和统计功效,结果会自动更新。
每组样本量
每组
A/B 测试样本量计算器用于确定比较两个版本时,每组需要多少观测对象,例如比较旧版与新版意见反馈表。输入当前的回收率或转化率,以及希望新版本达到的比例,计算器会按所选统计功效估算每组所需人数,帮助您检测预期大小的差异,避免因样本过少而难以得出可靠结论。
自己动手计算
示例:计划两组人数相等的试验,以 95% 置信水平和 80% 统计功效,检出比例从 20% 变为 30% 的差异。
按照示例了解计算过程,再代入您自己的数值。
将预期比例转为小数并求平均
p₁ = 0.20;p₂ = 0.30;平均比例 p = (0.20 + 0.30) ÷ 2 = 0.25;差值 = 0.10查找置信水平与统计功效对应的系数
zα = Φ⁻¹(0.975) ≈ 1.959964;zβ = Φ⁻¹(0.80) ≈ 0.841621查标准正态分布表。置信水平对应双侧检验,而统计功效的分位数直接使用 0.80。
计算两个不确定性项
A = √[2 × 0.25 × 0.75] ≈ 0.612372;B = √[0.20 × 0.80 + 0.30 × 0.70] ≈ 0.608276代入两比例样本量公式
每组 n = (zα × A + zβ × B)² ÷ (p₂ − p₁)² ≈ 293.1513计算过程中尽量保留分位数的完整精度,最后再舍入。
将每组人数向上取整
每组 294 名参与者;总人数 = 2 × 294 = 588
此近似方法假设观测独立且两组样本量相等。比例相差 10 个百分点,并不是相对增加 10%。若部分参与者可能无法提供有效数据,应额外安排招募人数。
在计算器中核对答案
应用场景
- 小型企业经营者: 店主准备测试两版意见卡,先确认每个版本需要发给多少位顾客,才能以足够的统计功效比较回收率。
- 市场营销与客户服务人员: 团队测试两版调查邀请邮件,先计算每个版本需要多少收件人,以比较哪一版获得更多回复。
- 学生与研究人员: 学生准备比较两张海报带来的报名率,用本工具确定每组应包含多少人。
统计功效与置信水平
统计功效是在真实差异达到预期大小时检测到它的概率,常用值为 80%。置信水平用于控制假阳性。两个比例之间的差距越小,可靠检测差异所需的样本量就越大。
何时使用
在比较两个版本之前使用本工具,适用于每个人只有“发生”或“未发生”两种结果的情况,例如是否交回表格、是否点击链接。它能提前估算每组所需人数,让测试具备检测预期差异的能力。比较两种意见卡、两版邮件、两个报名页面或两种提醒方式时,都可以先用它规划样本量。
结果是什么意思?
显示的数值是每组样本量。因此,每个版本都需要约这么多观测对象,乘以二才是总人数。人数不足时,可能检测不到实际存在的差异,从而得出错误结论。95% 的置信水平和 80% 的统计功效是研究中常见的选择。希望检测的比例差距越小,所需的组内人数就越多。
常见错误
两个比例不能相同,否则没有可检测的预期差异,也不会显示结果。比例只需输入数值,不要带百分号。请记住,结果是每组人数,总人数需乘以二。不要仅因某个版本暂时领先就提前结束测试,应等到各组达到计划样本量。预期比例也应尽量依据历史结果,避免随意猜测。
如何使用此计算器
- 在第一个输入框中填入基准比例的数值,也就是当前版本达到的百分比。
- 在第二个输入框中填入希望新版本达到的预期比例。
- 从下拉菜单中选择置信水平和统计功效,常用设置分别为 95% 和 80%。
- 查看“每组样本量”。这是每个版本所需的观测对象数量,乘以二即可得到总人数。
计算示例
一家咖啡馆每 100 位顾客中约有 20 位交回意见卡。店主设计了一张更友好的卡片,希望回收率达到 25%。在第一个输入框中填入 20,第二个填入 25,保留 95% 的置信水平和 80% 的统计功效,计算器会给出每组约 1,094 人、合计约 2,188 人的结果。也就是说,每个版本应发给约 1,094 位顾客,再观察各有多少人交回卡片,才能以所选功效检测预期差异。
常见问题
第一个框中应该填什么?
输入基准比例,即当前版本已经达到的比例,以百分数的数值表示。例如,每 5 人中有 1 人交回表格,就输入 20。
什么是预期比例?
这是您希望新版本达到的比例,同样输入百分数的数值。例如,希望达到 25%,就输入 25。
这些数据从哪里来?
可参考以往的调查结果或业务记录。如果从未测量过,可以先使用当前版本收集一段时间的数据,或采用有依据的合理估计。
置信水平和统计功效是什么意思?
置信水平决定用于控制假阳性的显著性阈值,通常选择 95%。统计功效是在预期大小的真实差异存在时,成功检测到它的概率,通常选择 80%。不确定时,可以保留默认设置。
最终数字表示什么?
结果表示每组所需的观测对象数量。每个版本至少达到这一人数后,再比较两组比例。