上个月有个跑教育类竞价账户的客户在群里甩了两张截图过来：落地页A版本转化率百分之四点几，B版本只有三点几，测试跑了两天，平台慢慢把流量导给A了。他问是不是可以直接全量切过去。我让他把点击量柱状图拉出来看，两天总共才一百七十多次点击，转化数加起来一只手就数得过来。这个情况下，A比B高出来的那一个多点，很可能只是某个时间段多来了一两个咨询，跟页面本身的关系真不大。账户操作后台有时候会显示“优选”或者“逐步放量”，但系统给的方向不能替代统计验收。落地页A/B测试在竞价投放里经常被做成“流量随便分、数据差不多就选一个”，而真正让投放决定可靠的，是流量分配比例和显著性验收口径这两件事搭起来之后能不能经得起复盘。
流量分配比例要看的不只是五五开
一说A/B测试，很多人第一反应就是五五均分。五五开是最容易想到的起点，但它不总是最合适的。竞价落地页测试和产品端的长期实验不一样，预算每天在烧，流量也不完全匀速。分配比例得先回答三个问题：两个版本的转化基础是不是接近，日点击量够不够快速得出结论，还有测试阶段你对账户消耗的容忍度有多高。
打个比方，一个账户日点击量只有两三百，单次转化成本又在两百以上，这时候五五开意味着每个版本每天只分到一百来次点击，可能要跑十几天才勉强够到一个最小样本量。这个情况下还坚持完全均分，测试周期会被拖长，中间成本持续发生，而且外部波动——比如竞争对手调价、平台流量结构变化——都会混进测试结果里。反过来，当两个版本的差异预期比较小，比如只是调整了首屏文案的措辞，五五开反而比七三开更有意义，因为偏差小就更需要对称的流量结构来观察方向。
流量分配还有三个特别容易被忽略的限制条件。第一个是账户层级的历史数据是否可用，如果旧版落地页已经积累了几周稳定数据，那新版可以先用较小比例跑，减少不确定性。第二个是流量入口是否单一，搜索跟信息流混在同一个实验里会引入来源维度的干扰。第三个是测试平台是否支持按会话而不是按点击去重，广告平台的“点击”会出现同一个用户重复触达，如果按点击当实验单元，转化数据会被重复计入。
操作上，一个更稳的做法是分阶段调比例。先按七三或六四开始，观察新版在前三到五天内有没有明显的跳出率异常、加载错误或者表单兼容问题。确认没有技术性异常之后，再逐步往五五收拢。这样做的目的不是为了让新版少拿流量，而是先把那些根本不该进入统计比较的噪声排掉。
流量比例切换时最容易出现的风险信号
测试过程中要是发现每周的转化数波动超过百分之三十，而且调整方向还不明确，先别急着把比例动来动去。频繁调整流量比例会让两个版本的样本结构不同期，早期数据和新数据被混在一起比较，结论会失真。另一个风险信号是某个时间段单一版本的点击量突然暴增，常见原因是某个关键词或者素材在短时间内拿到了平台给的额外曝光，这种曝光通常伴随比较低的意向度，会拉低版本的表现指标。碰到这种情况要把对应时段的数据单独标记出来，而不是直接删掉。
统计显著性验收不是看数值大小
统计显著性的验收口径经常被简化成“转化率差多少算显著”。实际上，“差多少”和“算不算显著”之间隔着一个完整的判断链条：差异大小、样本量、置信水平、检验方向。一个转化率差两个百分点的结果，在样本量三百和样本量三千的情况下，结论可能完全相反。
竞价落地页测试到底用双尾检验还是单尾检验，取决于测试前有没有明确的方向假设。如果只是想看看两个版本有没有差别，用双尾；要是测试前已经预期新版不差于旧版，而且只关心新版是不是更优，单尾在同等条件下可以更快达到阈值。但落到落地页场景里，双尾更稳妥，因为有些改动表面上是改进，实际跑起来可能伤害转化。
置信水平一般取九十五，对应的显著性阈值是零点零五。这个阈值不是不能调整的绝对标准。如果测试决策的风险成本很高，比如全量切换后转化率实际下降会影响整个季度的投放计划，可以把阈值收紧到零点零一。如果测试只是低成本的文案调整，就算方向判断错了损失也有限，零点一也可以作为探索性测试的参考。关键是测试开始前就定下来，不能等数据跑完再挑一个对结果有利的阈值。
最小样本量的计算要依赖三个输入：基础转化率、最小可检测差异、统计功效。基础转化率用历史数据估算，如果旧版转化率是百分之五，最小可检测差异是相对提升百分之二十，也就是提升到百分之六，统计功效取零点八，置信水平取零点零五，这样算出来的每组最小样本量在一千五百次点击左右。这个数字会因计算工具不同略有差别，但量级是明确的：转化率越接近百分之五十的基准需要用越大的绝对差异，而竞价落地页的转化率通常在个位数到百分之十几，每组样本量没有一千次点击就别急着看显著性。
一个很容易被误用的做法是每天都看一眼显著性，什么时候数字变绿了就停。这种做法高估了“阶段性显著”的可信度。A/B测试里的连续监控会让实际第一类错误率上升，也就是更容易把本来没有差异的版本判断成有差异。解决这个问题有两个方向：一个是接受这种做法但在解释结论时保守一些；另一个是用更严格的提前停止规则，只在样本量达到预设值并且差异阈值同时满足时才下结论。
实操上，我一般建议客户在测试启动时定三个数：每组最小点击量、预期总点击量、最大容忍测试天数。三者中哪个先触达就复盘。比如每组目标一千五，总量三千，最长十四天。如果十四天到了总量只有一千二，那就只做描述性判断，不做“谁更好”的正式结论。描述性判断可以说“在当前数据下，B版的跳出率更低，但转化方向不明确”，这比强行选一个版本要安全。
流量分配与显著性验收的组合风险
真实账户里有两个风险信号经常同时冒出来：测试总点击量勉强达标，但流量分配比例实际上没达到目标。管理员可能把流量设成了五五开，但因为加载速度差异、落地页规则触发条件不同，最终平台实际分配的点击量偏了。比如某个版本的落地页在移动端加载更慢，平台给了更少曝光机会，最终两个版本的真实点击不是五五开，而是六比四甚至更偏。
这种偏差会让显著性判断出错。差错的原因不是纯粹随机分配，而是由版本自身性能引起的。应对方法是先检查两个版本在设备类型、投放网络上的分布是否一致。如果某一端偏差明显，就应该把分析拆到端上，或者先修复技术问题再继续测试。还有一类常见情况是平台自动优化流量分发，提前把更多流量给到它判断更优的版本。竞价后台的自动优选机制不遵循统计显著性原则，它更倾向于快速找到“暂时表现好”的版本。如果要用自动优选，建议把它当作探索工具，不作为最终验收依据。
另一个容易被忽略的验收口径是转化定义本身。落地页A/B测试的转化可能是表单提交、电话拨打、在线咨询、加购等等。不同转化动作的价值差别很大。一个版本在“表单提交”上高一些，但“有效咨询”低很多，用单一转化口径来验收就会选错。验收前至少要把转化拆成浅层和深层。浅层转化看页面承接能力，深层转化看流量质量匹配。如果深层转化样本太少，只对浅层做显著性判断，并在上线后继续跟踪深层表现。
验收结论至少要回答三个问题
测试结束复盘时，不能只盯着一个显著性数值看。要依次回答：观测到的差异在实际业务上有没有意义；当前样本量下如果存在真实差异，我们漏掉它的概率有多大；如果全量切换到选定版本，最坏情况下成本会走到什么位置。第一个问题对应最小可检测差异是否被覆盖，第二个问题对应统计功效，第三个问题对应决策的风险预算。这三个问题回答清楚了，显著性验收才不是单纯地看数字变绿。
真实的额度感：一个教育账户的测试复盘
有个做成人职业教育投放的客户，主投搜索广告，日预算大概两千，日点击量在三百到四百之间，落地页以表单留资为转化目标。年初他想改版落地页，把首屏的课程介绍改成问题清单，引导用户做自我评估。测试启动时他把流量按五五开分配，新版转化率从第二天开始就比旧版高一个多点，到了第七天，新版转化率八点几，旧版六点几。后台显示“新版预期提升百分之二十几”。他准备直接切过去。
我把他那七天的数据拉出来看，总共点击量两千一百多，转化数加起来一百三。看着不错，但把时间维度拆开后发现，前四天新版的表现集中在某个工作日上午，其中两小时内有七条转化，而这七条全部来自同一个代理商的访客，后续都没有形成有效沟通。旧版在那两小时内只有一条转化。去掉这段异常时段后，两个版本的转化率差距只剩不到一个百分点，样本量也不够支撑任何显著性判断。这个案例的问题不只是流量分配，更在于验收口径没有考虑时段集中性和代理流量污染。
调整过程是把那两小时的异常数据单独拉出来，另外把表单提交后的有效沟通率加到复盘维度里。测试暂停了三天，期间不调整流量比例，先观察自然波动。重新开启后把流量调整为六四，旧版六，新版四，连续跑了一周。这一周内新版的有效沟通率稳定比旧版低一点，虽然表单提交略高，但低价无效咨询偏多。最终的决策是保留旧版为主，把新版的问题清单模块做成页面内的折叠区块，不做整页替换。这个调整让后续全量切换的风险降了下来，也避免了一次被表面转化率带偏的上线决策。
复盘这个案例的验收口径收在三个点上：转化要分浅层和深层，显著性要看样本量是否覆盖预设差异，异常时段不能直接删而要标注后重新看。流量分配比例从五五开到六四再到最终不做全量切换，整个过程里统计结论从“新版好像更好”变成了“新版在有效咨询上不占优”。如果只盯着表单提交这一个指标，结论会完全相反。
决定上线之后还有一层验收边界
很多团队把A/B测试的终点放在“选出一个版本”上，但上线全量之后的验证经常被省略。这里有一个风险信号值得关注：测试期数据显著，全量上线后第一周回归均值。原因可能是测试期的流量结构不够稳定，或者全量上线后素材、出价、关键词发生了变化。为了避免这种情况，建议在做出全量切换决定后，设定一个短期的后验窗口，通常五到七天，观察核心指标是否落在测试期结果的置信区间内。如果偏离过大，需要检查是否有新的外部因素介入，而不是立刻回退。
全量切换后的验收口径与测试期不同。测试期看的是统计显著性，后验期看的是业务稳定性。业务稳定性的判断条件包括：转化率的波动范围是否在历史正常区间、浅层与深层转化的比例是否与测试期一致、不同设备端的表现是否同步。三者中有一个异常，就要降级为部分流量继续观察，不能继续硬跑。竞价投放的预算消耗不等人，后验期的意义是用最短时间发现错误决策，而不是用来再做一次科学实验。
流量分配比例和显著性验收口径结合起来，是一次关于“多久能下结论、多大差异值得信”的决策规则。流量分配负责把噪声压下去，显著性验收负责判断差异是否超出了噪声能解释的范围。两者中任何一个被忽视，都会让最终选出的版本站不住脚。尤其是在日消耗不算大的账户里，宁可把测试周期拉长一点，也不要让一个不具备统计意义的结果引导后续的投放方向。
落地页A/B测试验收前的检查项
看完以上内容，下一次要下结论前可以对着几个点快速过一遍：
- 每组点击量是否达到了测试前预设的最小样本量，未达到就只能做描述性判断。
- 浅层转化和深层转化的方向是否一致，不一致时不能只报一个好看的数字。
- 流量是否真正按预设比例分配，还是因为页面性能差异被平台重新分配。
- 转化数据中是否有单一时间段或单一来源的集中贡献，需要单独复查。
- 显著性阈值、统计功效、最小可检测差异是否在测试开始前就固定下来。
- 全量切换后的短期后验指标是否落在测试期结果的合理波动范围内。
竞价落地页的A/B测试最终服务的是投放决策，而不是报表上的漂亮结论。把流量分配比例和显著性验收口径提前约定清楚，测试出来的结果才敢拿去放大流量和调整预算。
