结论先行:如果参数组合能无限生成页面、但每个组合背后没有独立且稳定的内容,有效地址集合应当按“可独立回答一个用户意图”来定义,而不是按URL是否返回200来定义。具体做法是:把参数分成“改变内容语义”和“只影响展示或追踪”两类,只把前者纳入有效集合;后者统一收敛到一个规范地址。这个结论在一种情况下会失效——当参数本身就是站内筛选结果页,且这些筛选组合有真实外部需求时,全部收敛会丢掉本可获取的流量,此时应改为限量放行、逐批验证。
无限参数通常来自筛选、排序、分页、追踪四类来源。判断标准不是参数名字,而是同一路径下换一个参数值,主体内容是否发生实质变化。假设一个商品列表页带color、size、sort、page、from五个参数,其中color与size会改变展示的商品集合,sort只改变顺序,page是同一集合的切分,from只用于来源追踪。前两者属于语义参数,后三者属于非语义参数。
把语义参数纳入有效集合,非语义参数通过规范标签或服务端跳转收敛。这样做的直接结果是:可被独立发现和评估的地址数量从乘法级降为加法级,后续无论是提交站点地图还是观察抓取覆盖,判断对象都变得有限且可复核。站点地图不保证收录,但一个边界清晰的地图能让“哪些地址本该被处理”这件事有据可查。
建议用三条同时成立的条件来定义准入,而不是靠感觉裁剪:
三条都满足才纳入。只满足第一条的,通常是站内搜索结果的镜像,容易造成大量近似页面;只满足第二条的,往往缺少稳定内容,今天有结果明天为空。把准入条件写进配置或路由规则,而不是留在文档里,才能真正约束生成逻辑。
假设某类目下color与size的组合数量本身有限,且每个组合都有对应的独立描述文本和库存信息,同时外部确实存在按颜色加尺码检索的习惯。这种情况下,全部收敛到无参数主列表反而会让这些组合失去被发现的机会,因为主列表并不针对该组合给出专门内容。此时正确的做法不是全量放行,也不是全量收敛,而是选一批组合先放行、观察其被抓取和处理的表现,再决定是否扩大范围。
需要提醒的是,抓取量下降或某个统计归零,并不能单独证明收敛策略正确。它也可能来自抓取预算调整、站点整体响应变化或外部链接减少。判断策略是否有效,要同时看有效集合内地址的处理比例是否上升,而不是只看总量变化。
先按上面的准入条件产出一份当前有效地址清单,冻结其余组合的生成入口,让非语义参数统一指向规范地址。执行后观察两件事:有效清单内地址被处理的比例是否提高,以及被冻结的组合是否出现真实流量损失。如果前者提高且后者没有明显损失,说明边界划对了,可以继续按同一规则扩展;如果后者出现损失,就把损失集中、需求明确的组合重新纳入,并单独为它们准备独立内容,而不是放开全部参数。这个动作的关键在于:先让集合有限,才有条件判断哪一步取舍是对的。