A/B测试实战｜推荐算法线上A/B测试从设计到决策全流程｜AI训练师项目案例摘要：本文以电商推荐算法优化为例，完整演示线上A/B测试全流程。从假设提出、样本量计算、分流方案设计、指标埋点，到统计显著性检验和业务决策，含Python统计检验代码和常见陷阱规避。一、项目背景1.1 为什么要做A/B测试？做过推荐系统的同学一定经历过这种场景：算法团队花了三周时间，用最新的深度学习模型替换了原来的协同过滤方案，离线评估指标全线上涨——NDCG从0.32提升到0.38，Hit Rate提升了15%。算法同学兴冲冲地准备上线，结果产品经理问了一句：“这个提升是真实的吗？会不会是数据波动？”这个问题问得好。离线评估再漂亮，终究是拿历史数据跑出来的。线上用户的真实行为才是检验算法效果的唯一标准。而A/B测试，就是把"看起来不错"变成"确实有效"的科学方法。简单来说，A/B测试的核心思想就是：把用户随机分成两组，一组用新算法（实验组），一组用旧算法（对照组），然后用统计方法判断两组指标的差异是否显著。1.2 项目场景假设我们是一家电商平台的算法团队，当前线上运行的推荐算法是基于协同过滤的Item-CF方案。最近团队开发了一套基于双塔模型的深度推荐算法（DeepFM），在离线评估中表现优异。现在的问题是：这套新算法上线后，用户的