核心判断：灰度实验度量的是策略差异，不是业务真相
AB页跳转灰度实验的结论，只在统计边界内有效。它能告诉你一件事：在特定流量条件下，B页跳转策略相对于A页基线，在转化指标上有没有一个可区分的差异。它不能告诉你的是，这个差异值不值得长期投入、流量结构一变会不会就没了、或者是不是归因误差和规则误判造成的。把灰度实验当成业务决策的唯一依据，我见过太多AB页跳转项目就是这么黄的，这是第一原因。
说个具体的。有个独立站项目，日均点击一千二三，运营把流量五五切分跑了七天，看到B页转化率高出A页0.8个百分点，觉得稳了，全量切到B页。结果十天后转化回落到A页水平。回查发现，实验期间B页恰好分到了更多移动端新访客，而移动端转化天然就比PC端高。流量结构差异没有被实验设计控制住，置信区间看着显著，实际上比较的是两拨不同质的人。
所以灰度实验要成立，先得确认流量分配机制不会系统性地把某类用户偏向某一侧。AB页跳转场景里的分流逻辑比普通A/B测试麻烦得多：分流依据可能是IP段、UA特征、地理位置或者时间窗口。如果分流规则本身和转化行为相关，那实验比较的就是规则选择效应，跟策略效应没关系。
适用条件：什么情况下灰度实验能给出可信结论
AB页跳转灰度实验适合检验一个明确且孤立的变量。比如同一个落地页内容下，302跳转和JavaScript前端跳转对转化率的影响；或者同一个跳转目标下，阈值参数从0.6调到0.75，真实用户流失有没有改善。变量越单一，置信区间的解释力就越强。
前提有三个。流量分配随机性得成立，跳转规则不能因为用户属性系统性偏向某侧，不然任何统计方法都修不了选择偏差。转化指标的采集口径在两侧必须一致，A页和B页的转化事件要由同一条数据链路回传，回传触发条件、去重逻辑、归因窗口完全对齐。实验周期要覆盖完整的业务波动周期，投放流量有工作日和周末的差异、昼夜差异，只跑三天或者只跑工作日的数据，置信区间看着收敛了，实际没有代表性。
最小样本量与置信区间的先验估算
启动之前，应该先做样本量倒推。已知基线转化率和期望检出的最小差异，就能估算需要多少访问量。转化率越低，需要的样本量越大。基线转化率大概2%的时候，想检出0.5个百分点的绝对提升，单侧实验需要的访问量在数万级别。日均只有几百点击的项目，可能得跑好几周才能拿到稳定结论。样本量不够的时候，置信区间会宽到覆盖零轴，这种结论没有决策价值。
置信水平怎么选，取决于误判成本。全量切换B页的风险很高，就用更严格的置信水平，比如99%。只是短期测试的话，95%够用。关键是先定义清楚“错误切换的代价”，再反推置信水平，别照搬通行做法。
机制与组成：灰度实验四层结构
AB页跳转灰度实验由四层构成：分流层、策略层、采集层、判定层。分流层决定哪些流量进实验、哪些保持基线。策略层执行A页和B页各自的跳转逻辑。采集层记录每一侧的曝光、点击、转化和异常事件。判定层用统计方法比较两侧指标差异，输出置信区间。
分流层的实现方式直接影响实验可信度。基于IP哈希的固定分流，好处是实验期间能保持用户一致性，但IP段分布和用户属性有关联的时候就会产生偏差。基于Cookie的随机分流更接近理想随机化，可是Cookie丢失率在移动端和隐私浏览器里比较高，样本流失严重。AB页跳转场景里，分流层通常还掺了灰名单规则，比如把可疑爬虫流量排除在实验之外。这部分流量的剔除逻辑必须在实验启动前固定下来，中途不能调，调了置信区间就失效了。
采集层有个常见毛病，转化事件重复计数。B页加载过程中发生二次跳转，回传事件可能在两个页面各触发一次。得在事件层设唯一键去重，比如用会话ID加事件类型的组合当幂等键。去重逻辑两侧必须一致，否则A侧和B侧的转化率根本不可比。
相邻概念对比：灰度实验与普通A/B测试、灰度发布、规则验证的区别
普通A/B测试通常比较两个静态内容版本的转化差异。AB页跳转灰度实验比较的是跳转策略差异，策略包含动态决策逻辑。变量从“页面长什么样”变成了“谁看到哪个页面的规则是什么”。前者的核心假设是可交换性，后者还得额外假设分流规则与结果无关。
灰度发布关注的是稳定性：新策略会不会引发报错、延迟飙升或者资源耗尽。灰度实验关注的是效果：新策略有没有带来转化指标的可靠提升。两者可以同时跑，但判定标准不同。一次灰度发布成功不代表灰度实验显著，灰度实验显著也不代表上线后不会出稳定性问题。
规则验证是另一个容易被搞混的东西。规则验证要回答的是“跳转规则有没有按预期命中目标流量”，指标是命中率、漏判率、误判率。灰度实验要回答的是“命中之后的转化效果有没有变好”。规则没验完就上灰度实验，等于在一个有系统偏差的分流层上做统计推断，置信区间毫无意义。
常见误区：置信区间显著不等于业务可接受
置信区间只描述数据层面的差异有多大可信度，它不描述这个差异的业务价值。B页转化率显著高于A页，可能只高0.2个百分点。如果B页的维护成本、合规风险或者资源消耗更高，这个提升就没有业务意义。决策的时候，要把置信区间的下界和成本阈值做比较，别只看是否排除零值。
还有个误区是把灰度实验的结论外推到没参与实验的流量上。实验流量可能只覆盖某个地理区域、某个时间段、某种设备类型。结论严格来说只对“与实验样本同质的流量”成立。流量结构变了，策略效果可能完全不同。AB页跳转策略尤其依赖流量特征，因为跳转逻辑本身就在选择流量。
多指标反复检验也是个坑。同时盯着转化率、点击率、跳出率、停留时长，总有一个指标会偶然通过显著性检验。多重比较会放大假阳性概率。正确做法是预先指定一个主要转化指标作为判定依据，其他指标只做描述性观察。置信区间是针对主要指标算的，不能事后挑最显著的那个来报。
决策边界：灰度实验不能回答的问题
灰度实验不能验证跳转策略的合规性。平台审核机制、法律风险、广告政策边界，这些得通通过审核核流程和合规审查来确认。实验数据再漂亮，也替代不了合规判断。
灰度实验不能修正归因错位。如果B页的转化事件因为二次跳转被归到A页，或者因为在跳转链里丢了来源参数而归成自然流量，实验数据就是被污染的。归因问题要从数据链路层面修，统计方法救不了。
灰度实验不能替代长期业务判断。短期实验只能捕捉即时行为变化，学习效应、用户疲劳、竞对反应都需要更长时间观察。AB页跳转策略上线后的效果衰减很常见，灰度实验阶段看不到这个。
灰度实验也不能用来决定该不该做AB页跳转本身。它只比较A页和B页策略的差异，不回答“如果不做跳转，整个业务形态会不会更好”这类结构性问题。这类问题得从业务模型层面评估，流量实验覆盖不了。
问：AB页跳转灰度实验一般跑多久才能得出可信结论？ 答：取决于流量规模和基线转化率，不建议少于一个完整业务周期，通常至少覆盖连续七天的完整数据，工作日和周末都包含在内。日均流量低于千级的项目，通常需要两到四周。时间太短，置信区间宽度不够；时间太长，流量结构变化可能让早期数据失去代表性。
问：灰度实验期间可以调整跳转规则吗？ 答：不可以。实验期间对分流规则、策略参数、采集逻辑的任何修改都会破坏置信区间的统计基础。如果必须改，应该终止当前实验，清除数据后重新开始。只有采集层出现明确的故障修复是例外，但修复后也得重新评估两侧数据是否仍然可比。
问：置信区间多窄才算可用？
答：没有通用阈值。可用性取决于决策需要的最小差异。如果业务上认为0.5个百分点的提升才值得切换，那么置信区间的宽度应该明显小于0.5个百分点。区间上下界跨过零轴说明差异方向不确定，跨过业务阈值说明差异大小不确定。
