A/B 测试怎么算有效 "换了条路由，到达率从 91.3% 涨到 92.1%，新路由更好。" 这句话在绝大多数情况下不成立。…

A/B 测试怎么算有效 "换了条路由，到达率从 91.3% 涨到 92.1%，新路由更好。" 这句话在绝大多数情况下不成立。 第一，样本量。 和前面那条一样，先算这 0.8 个点对应多少条记录。如果两批各几千条，差 0.8 个点可能落在正常波动区间内；如果各几十万条，那确实值得看。 第二，两组是不是真的可比。 最常见的错误是两组的时间窗不同 —— 上午跑 A、下午跑 B，或者今天跑 A、明天跑 B。时段差异和日间差异通常比路由差异大得多，最后测出来的是时间，不是路由。要**同时跑、随机分**，或者至少交替着跑足够多轮。 第三，口径一致。 两组的分母定义必须相同，段数口径和接收方口径不…