A/B 测试样本量计算器

规划 A/B 测试或两组比较。输入两个预期比例,以及所需的置信水平和统计功效。

学习手动计算方法

输入数值

结果随输入自动更新。

95%
80%
如何输入数据

本计算器使用输入框和下拉菜单,无需粘贴数据。请在两个输入框中填写比例的数值,不要带百分号,例如输入 20,而不是 20%。然后选择置信水平和统计功效,结果会自动更新。

每组样本量

1,094

每组

计算在您的浏览器中完成,数据不会发送给我们。

A/B 测试样本量计算器用于确定比较两个版本时,每组需要多少观测对象,例如比较旧版与新版意见反馈表。输入当前的回收率或转化率,以及希望新版本达到的比例,计算器会按所选统计功效估算每组所需人数,帮助您检测预期大小的差异,避免因样本过少而难以得出可靠结论。

自己动手计算

示例:计划两组人数相等的试验,以 95% 置信水平和 80% 统计功效,检出比例从 20% 变为 30% 的差异。

按照示例了解计算过程,再代入您自己的数值。

  1. 将预期比例转为小数并求平均

    p₁ = 0.20;p₂ = 0.30;平均比例 p = (0.20 + 0.30) ÷ 2 = 0.25;差值 = 0.10
  2. 查找置信水平与统计功效对应的系数

    zα = Φ⁻¹(0.975) ≈ 1.959964;zβ = Φ⁻¹(0.80) ≈ 0.841621

    查标准正态分布表。置信水平对应双侧检验,而统计功效的分位数直接使用 0.80。

  3. 计算两个不确定性项

    A = √[2 × 0.25 × 0.75] ≈ 0.612372;B = √[0.20 × 0.80 + 0.30 × 0.70] ≈ 0.608276
  4. 代入两比例样本量公式

    每组 n = (zα × A + zβ × B)² ÷ (p₂ − p₁)² ≈ 293.1513

    计算过程中尽量保留分位数的完整精度,最后再舍入。

  5. 将每组人数向上取整

    每组 294 名参与者;总人数 = 2 × 294 = 588

此近似方法假设观测独立且两组样本量相等。比例相差 10 个百分点,并不是相对增加 10%。若部分参与者可能无法提供有效数据,应额外安排招募人数。

在计算器中核对答案

使用 PaperSurvey.io 的结果进行计算

在此规划每组所需参与者人数,再到 PaperSurvey 中比较收集到的二元结果。

PaperSurvey 的 2×2 比较,显示观察到的事件计数和 Fisher 精确检验。
查看原尺寸截图
PaperSurvey.io 界面示例截图展示已收集结果的比较,并非样本量规划工具;底部显示 Fisher 检验。

应用场景

  • 小型企业经营者: 店主准备测试两版意见卡,先确认每个版本需要发给多少位顾客,才能以足够的统计功效比较回收率。
  • 市场营销与客户服务人员: 团队测试两版调查邀请邮件,先计算每个版本需要多少收件人,以比较哪一版获得更多回复。
  • 学生与研究人员: 学生准备比较两张海报带来的报名率,用本工具确定每组应包含多少人。

统计功效与置信水平

统计功效是在真实差异达到预期大小时检测到它的概率,常用值为 80%。置信水平用于控制假阳性。两个比例之间的差距越小,可靠检测差异所需的样本量就越大。

何时使用

在比较两个版本之前使用本工具,适用于每个人只有“发生”或“未发生”两种结果的情况,例如是否交回表格、是否点击链接。它能提前估算每组所需人数,让测试具备检测预期差异的能力。比较两种意见卡、两版邮件、两个报名页面或两种提醒方式时,都可以先用它规划样本量。

结果是什么意思?

显示的数值是每组样本量。因此,每个版本都需要约这么多观测对象,乘以二才是总人数。人数不足时,可能检测不到实际存在的差异,从而得出错误结论。95% 的置信水平和 80% 的统计功效是研究中常见的选择。希望检测的比例差距越小,所需的组内人数就越多。

常见错误

两个比例不能相同,否则没有可检测的预期差异,也不会显示结果。比例只需输入数值,不要带百分号。请记住,结果是每组人数,总人数需乘以二。不要仅因某个版本暂时领先就提前结束测试,应等到各组达到计划样本量。预期比例也应尽量依据历史结果,避免随意猜测。

如何使用此计算器

  1. 在第一个输入框中填入基准比例的数值,也就是当前版本达到的百分比。
  2. 在第二个输入框中填入希望新版本达到的预期比例。
  3. 从下拉菜单中选择置信水平和统计功效,常用设置分别为 95% 和 80%。
  4. 查看“每组样本量”。这是每个版本所需的观测对象数量,乘以二即可得到总人数。

计算示例

一家咖啡馆每 100 位顾客中约有 20 位交回意见卡。店主设计了一张更友好的卡片,希望回收率达到 25%。在第一个输入框中填入 20,第二个填入 25,保留 95% 的置信水平和 80% 的统计功效,计算器会给出每组约 1,094 人、合计约 2,188 人的结果。也就是说,每个版本应发给约 1,094 位顾客,再观察各有多少人交回卡片,才能以所选功效检测预期差异。

常见问题

第一个框中应该填什么?

输入基准比例,即当前版本已经达到的比例,以百分数的数值表示。例如,每 5 人中有 1 人交回表格,就输入 20。

什么是预期比例?

这是您希望新版本达到的比例,同样输入百分数的数值。例如,希望达到 25%,就输入 25。

这些数据从哪里来?

可参考以往的调查结果或业务记录。如果从未测量过,可以先使用当前版本收集一段时间的数据,或采用有依据的合理估计。

置信水平和统计功效是什么意思?

置信水平决定用于控制假阳性的显著性阈值,通常选择 95%。统计功效是在预期大小的真实差异存在时,成功检测到它的概率,通常选择 80%。不确定时,可以保留默认设置。

最终数字表示什么?

结果表示每组所需的观测对象数量。每个版本至少达到这一人数后,再比较两组比例。

将此计算器嵌入您的网站

免费使用。将这段代码粘贴到希望显示计算器的位置即可。


让 PaperSurvey.io 处理纸质问卷

开始使用

立即开始 14 天免费试用,无需信用卡。