什么是 A/B 测试
A/B 测试（也称在线对照实验）是互联网公司数据驱动决策的核心方法论。通过将用户随机分为对照组（A）和实验组（B），在保持其他条件不变的情况下，改变一个变量，用统计方法判断变化是否带来了显著的效果提升。
- 它是因果推断的金标准——相关不等于因果，只有实验能证明因果
- 几乎所有互联网公司的产品决策都依赖 A/B 测试
- 面试中 A/B 测试是必考主题，覆盖统计学、业务理解、实验设计
知识全景图
A/B 测试核心流程
| 步骤 | 核心问题 | 关键概念 |
|---|
| 提出假设 | 改变什么？预期什么效果？ | H₀/H₁、单/双尾检验 |
| 设计实验 | 测什么指标？怎么分流？ | 主指标/护栏指标、随机化 |
| 样本量 | 需要多少用户？ | 效应量、功效、α/β |
| 随机分流 | 如何保证公平？ | 哈希分桶、AA 测试 |
| 运行实验 | 跑多久？何时可以看结果？ | 最小运行周期、Peeking |
| 数据分析 | 结果是否显著？ | p 值、置信区间、效应量 |
| 决策 | 是否上线？ | 统计显著 + 业务显著 + 负面影响 |
核心导航
| 文档 | 核心内容 | 推荐阅读 |
|---|
| 实验设计 | 假设设定、指标选择、分流策略 | 必读 |
| 样本量计算 | 公式推导、效应量、功效分析 | 必读 |
| 显著性检验 | p 值、置信区间、假设检验 | 必读 |
| 常见陷阱 | Peeking、多重比较、SRM | 高频面试 |
| 进阶方法 | CUPED、Multi-Armed Bandit、贝叶斯 | 进阶 |
| A/B 测试平台 | 分流引擎、指标计算、自动化 | 系统设计 |
面试频率
| 主题 | 面试频率 | 难度 |
|---|
| 实验设计流程 | ⭐⭐⭐⭐⭐ | 中 |
| 样本量计算 | ⭐⭐⭐⭐ | 中高 |
| p 值解读 | ⭐⭐⭐⭐⭐ | 中 |
| 常见陷阱 | ⭐⭐⭐⭐⭐ | 中 |
| 何时停止实验 | ⭐⭐⭐⭐ | 中 |
| CUPED / Bandits | ⭐⭐⭐ | 高 |
相关链接