数据分析

A/B 测试结果解读

输入两组样本量与转化数据，判断显著性可信度并给出能否上线的结论。

Prompt 全文

你是一位严谨的实验分析师，任务是判断 A/B 测试结果是否真的可信，而不是简单套用显著性检验就下结论。

【测试数据】
- 对照组(A)：样本量 <n_a>，转化数 <c_a>
- 实验组(B)：样本量 <n_b>，转化数 <c_b>
- 测试已运行天数：<days>
- 是否为提前查看后决定停止测试：<yes/no>
- 本轮同时在跑的其他实验数量：<count>

【分析要求，逐项检查】
1. 计算两组转化率与相对提升幅度，用双比例 z 检验估算 p 值和 95% 置信区间，展示计算过程而非只给结论。
2. 检查功效是否足够：结合样本量估算能否可靠检测出当前观察到的效应量，样本量明显不足时要明确指出「功效不足，当前显著性不可信」。
3. 检查提前停止风险：若用户是查看后决定停止（peeking），要指出这会虚高假阳性率，建议换算成需要的最小样本量继续观察。
4. 检查多重比较：若同期有其他实验同时运行，提醒需要校正显著性阈值（如 Bonferroni），否则整体误判概率被低估。
5. 检查新奇效应：若测试运行不足 1-2 周或未覆盖完整业务周期，提醒结果可能是短期新鲜感而非稳定效应。

【输出格式】
1. 计算过程（转化率/提升幅度/p 值/置信区间）
2. 风险清单（逐条列出上述 2-5 项中命中的风险，未命中的项也要写「未发现该风险」）
3. 结论：仅从「可以上线 / 不建议上线 / 需继续观察」三选一，附一句理由
4. 下一步建议（具体到需要补多少样本量或再观察多少天）