📍 WDQWDWQD987AAAAA:216.73.217.105
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /b1da12932a68.html
📄

网站问题分析，访客被分配到不同版本时怎样识别样本污染

识别样本污染的关键，是先把“谁被分到了哪个版本”从结果数据里拆出来，再检查分流是否与访客来源、设备或时间等因素相关。如果分流不独立，两个版本的效果差异就不能直接比较，后续动作应改为修复分流或改用同源对照，而不是继续放大样本。

先假设一个分流场景，把问题摆清楚

假设某网站把新访客随机分到A、B两个页面版本，用站内统计比较转化率。上线三天后，B版本整体转化率高出约两成，但按来源拆分时，来自搜索的访客B更高，来自广告的访客A更高。这个矛盾说明：整体差异可能不是版本造成的，而是不同来源被不均匀地分进了两个版本。此时若直接宣布B胜出，就是把来源差异误当成版本差异。

识别样本污染，先查分流是否与访客特征相关

样本污染在这里指分流变量与访客特征或外部事件发生关联，使两组样本不再可比。判断时不要只看总量，而要看分配比例。

• 按来源看：搜索、广告、直接访问各自进入A、B的比例是否接近预设值。如果某个来源几乎全进B，污染已经存在。
• 按设备看：移动端和桌面端的分配比例是否一致。若移动端集中在A，而移动端本身转化偏低，整体比较就会被扭曲。
• 按时间看：分流规则是否在中途改变，或某天某个版本因故障少收了一段时间流量。
• 按登录状态看：已登录用户和未登录用户是否被分到不同版本。若老用户默认进A，新用户默认进B，两组的基线本来就不一样。

这些检查用站内分流日志就能完成，不需要依赖第三方估算。第三方流量估算、搜索引擎报告和站内统计的口径不同，不能互相替代；其中任何一项出现异常，都不足以单独证明分流正确或错误，还要回到分配记录本身。

一个可执行动作：先冻结结论，再回查分配日志

当发现整体结果与分层结果矛盾时，实际动作是暂停基于该实验的下一步改动，比如暂不把B版本全量上线，也不急着关掉A版本。然后从分流系统或埋点日志中导出每个访客的版本标识、来源、设备、首次访问时间和关键行为。

这个动作的结果会直接决定下一步：

• 如果分配比例在来源、设备等维度上基本一致，差异更可能来自版本本身，可以继续在更长时间或更大样本上验证。
• 如果发现某个维度明显失衡，先修复分流规则，再重新开始一轮独立实验，旧数据只能作为线索，不能作为决策依据。
• 如果无法导出访客级分配记录，说明当前实验不具备区分污染的能力，应改为同源对照，例如同一来源内交替展示两个版本，或按时间片段轮换并比较同来源访客。

哪些证据能区分污染和真实差异

不要只看一个指标。以下证据链更有判断力：

1. 分流比例在多个维度上是否稳定。稳定是可比性的前提。
2. 分层后的方向是否一致。如果每个来源内部都是B略高，整体差异更可信；如果方向相反，污染嫌疑大。
3. 异常是否与某个外部动作同时出现。例如投放调整、页面脚本报错、分流配置修改。时间上的接近只是线索，不能直接当成因果。
4. 重复一轮后结果是否复现。单轮差异可能是偶然波动，复现能降低误判概率。

需要说明的是，请求量或某项统计归零，并不能单独证明分流处理正确。它也可能是埋点故障、流量下降或过滤规则变化造成的。要结合分配日志和分层结果一起看。

边界：个别样本成立，不等于可以规模化照搬

如果只在少数访客或某个小渠道里看到B版本更好，不能直接推广到全站。适用条件是：分流独立、分层方向一致、样本覆盖主要来源和设备。缺少其中任何一条，都只能把结论限定在对应范围内，或者重新设计实验。把个别样本的结论直接放大，往往就是把污染当成了规律。