定义
百度斗篷时序异常检测是一项面向斗篷系统流量访问记录的风控分析技术，核心任务是对访问量、独立IP数、User-Agent分布、点击频次等时序指标进行周期性建模，并在连续时间轴上识别偏离历史基线的突变信号。该技术将百度爬虫抓取行为与真实用户访问行为视为具有周期性和趋势性的时间序列，通过季节分解、指数平滑等统计方法刻画正常模式，再对残差序列进行突变点检测，当检测得分超过预设阈值时触发告警，驱动斗篷系统调整跳转策略。与依赖固定规则的静态风控不同，时序异常检测能够在百度更新算法或调整审核策略时，通过流量异常变化实现间接感知，为AB页面切换提供提前量。
工作原理
百度斗篷时序异常检测的工作流程可以拆分为四个阶段：数据采集与指标构建、周期性建模、突变识别、决策反馈。
数据采集与指标构建
斗篷系统在服务端记录每次访问请求的特征，包括来源IP、User-Agent、Cookie状态、访问路径、停留时长、会话深度等。系统按固定时间窗口（通常为1分钟或5分钟）聚合原始日志，生成多维时间序列。常用的检测指标包括：每分钟请求数、独立IP数、新老用户比例、IP地理位置熵、UA类型分布熵、平均访问深度、以及爬虫特征命中率。其中IP熵用于刻画访问来源的分散程度，正常运营期的IP熵相对平稳，而百度爬虫集中抓取时，IP集合会收敛到百度网段，导致熵值出现明显下降。
周期性建模
流量数据具有天然的时间周期性：凌晨时段访问量低、工作日与周末模式不同、节假日存在显著波动。周期性建模需要将原始序列分解为趋势项、周期项和残差项三个分量。常用算法是STL（Seasonal-Trend decomposition using Loess），它通过局部加权回归迭代提取周期分量，支持分钟级和小时级的多重周期叠加。以日维度为例，系统会分别建立24小时周期和7天周期，同时纳入节假日修正因子，形成动态基线。该基线并非固定值，而是随着新数据不断滚动更新，通常保留最近14至30天的历史数据参与建模，确保基线能够跟随流量趋势缓慢变化。
突变识别
建立基线后，计算实际观测值与预测值的残差。正常情况下残差服从均值为零的近似正态分布，一旦出现集中抓取、竞争对手刷量或百度风控策略调整，残差会显著偏离中心。突变识别采用两类互补方法：EWMA（指数加权移动平均）控制图和CUSUM（累积和）算法。EWMA通过对残差做指数加权平滑，对小幅持续偏移敏感，平滑系数通常取0.2至0.3；CUSUM则累积残差与目标值的偏差，能够快速捕捉均值突变，阈值通常设为基线标准差的4至5倍。系统同时计算滑动窗口内残差的z-score，当z-score连续三个窗口超过3时，判定为异常事件。完整的检测逻辑还包括多维指标交叉验证，单一指标异常只产生低置信度告警，两个及以上的独立指标同时异常才触发策略切换。
决策反馈
异常检测结果输出为一个0到100的异常评分，评分输入斗篷系统的决策引擎。当评分超过动作阈值时，系统限制跳转行为或切换伪装页面；评分回落后，经持续稳定观察窗口（通常为10至30分钟）再恢复正常的跳转状态。这个闭环机制使斗篷系统具备了自适应调节能力。
技术分类
百度斗篷时序异常检测按实现路径可分为三类：统计学方法、频域分析方法和机器学习方法。
统计学方法
统计学方法以时间序列分解和过程控制理论为基础。STL分解配合Holt-Winters指数平滑是最常见的组合，Holt-Winters通过水平项、趋势项和季节项三个平滑方程递归更新基线参数，计算开销低，在单机即可处理分钟级的全量数据。EWMA与CUSUM来自统计过程控制领域，对突变点的识别具有可控的误报率和检出延迟。统计学方法的优势是计算效率高、结果可解释性强，参数调整有明确物理含义，适合作为实时检测的主引擎。
频域分析方法
频域方法将时间序列变换到频率域进行分析。短时傅里叶变换（STFT）在时间轴上加窗做傅里叶变换，可以观察不同时段的频谱能量分布；小波变换则能同时在时域和频域定位突变点。这类方法适合识别周期性异常，例如百度爬虫在特定时段以固定频率发起密集抓取，会在频谱上产生特征峰值。频域分析一般作为辅助检测维度，对统计方法形成互补。
机器学习方法
机器学习方法包括有监督的时序分类模型和无监督的异常检测模型。LSTM（长短期记忆网络）通过对历史序列建模来预测下一个时间点的值，用实际值与预测值的误差评估异常程度，适合捕获复杂非线性周期模式。孤立森林（Isolation Forest）不依赖时序顺序，对多维特征向量进行随机切割来分离异常点，适合处理高维指标。基于自动编码器的重建误差检测是另一类常用方案，模型对正常模式重建误差小，而异常模式的输入会导致重建误差显著增大。机器学习方法精度更高，但需要充足的训练数据和更大的计算资源，通常以分钟级离线任务运行，对实时性要求不高的场景适用。
应用场景
百度斗篷时序异常检测在实际业务中主要用于以下几个场景。
百度风控策略变动的间接感知。百度不会对外公布爬虫策略的调整时间，但策略调整通常会导致抓取频率、UA特征或IP段的变化，这些变化会以流量统计数据突变的形式暴露出来。通过时序异常检测，斗篷系统可以在30分钟内感知到这类变化，提前降低跳转频率或切换页面内容，避免在风控收紧期触发审核。
恶意点击与刷量行为的识别。竞价广告投放中，竞争对手可能通过脚本模拟真实点击消耗预算。刷量行为往往在特定时间段集中发生，导致点击率、IP熵和会话时长等指标同步出现异常，时序模型能够量化这种偏离程度，为采取屏蔽策略提供依据。
灰度发布的效果验证。斗篷系统上线新配置或新页面时，通过对比灰度流量与基线流量的残差走势，可以判断新配置是否吸引了异常的爬虫关注，在正式全量推广前识别风险。
与相邻概念对比
时序异常检测与规则引擎是互补而非替代关系。规则引擎依赖人工预设的静态条件，例如User-Agent黑名单、IP段黑白名单、访问频率上限等，执行效率高但需要人工持续维护；时序异常检测不针对单次请求做判定，而是从统计层面识别群体性行为变化，能够捕捉规则引擎无法预见的异常模式，两者的定位差异在于微观判定与宏观感知。
时序异常检测与恶意点击过滤也存在区别。恶意点击过滤聚焦于单次点击的实时风险识别，通过设备指纹、行为序列、转化路径等特征判定每一个点击的可信度；时序异常检测关心的是整体流量指标的统计异常，不裁决单次请求的合法与否。实际系统中，时序检测发现指标偏离后，往往需要结合恶意点击过滤的个体检测能力来定位异常来源。
与Google斗篷的对抗生成思路相比，百度斗篷的时序异常检测更偏向防御维度。Google斗篷的对抗生成网络主动构造伪装以规避审核模型的识别，而百度斗篷的时序异常检测是在不掌握审核模型内部逻辑的前提下，通过观测流量指标变化来推测风控状态，两者在技术路线和应用目标上均不同。
常见问题
时序异常检测与常规访问统计有什么区别？
常规访问统计只描述流量的大小和构成，而时序异常检测关注流量相对于历史基线的偏离程度。它建立一个动态的预期区间，超出区间即视为异常，能够区分“流量变大”和“流量异常”两个不同层面的问题。
周期性建模需要积累多长历史数据？
至少需要覆盖一个完整的自然周期。以周为最小观测尺度，建议保留14至30天的数据才能建立稳定的日和双周周期基线。数据不足时可以使用小时级的近似周期做过渡，但检测精度会有所下降。
为什么不能只靠阈值判断异常？
固定阈值无法适应流量的自然波动。早高峰与凌晨的流量水平可能相差数倍，固定阈值必然导致大量误报或漏报。周期性建模的价值在于为每个时点提供不同的基准值，配合动态自适应阈值，才能区分正常波动与真实突变。
突变信号出现后系统一定会切换跳转吗？
不一定。突变信号进入决策引擎后还要结合置信度、业务上下文和风险偏好综合判断。低频低幅度的突变可能在噪声范围内被忽略，只有连续多个窗口检测到异常且置信度足够，才会触发策略调整。
