网店收录平台出现重复或冲突信号时,最先处理的不应是所有页面,而是同一商品或同一分类的多个可访问地址,以及站内指向这些地址的链接和站点地图。判断标准很简单:如果两个以上URL能返回内容相似的商品页,或站点地图、分类页、商品页对同一件商品的规范地址说法不一致,就先合并信号;如果只是标题或描述略有差异,可以后处理。
假设某网店销售一款水杯,商品ID为1001,同时存在以下地址:
/product/1001,商品主页面;/product/1001?color=blue,颜色筛选参数生成的地址;/category/cups/1001,分类路径下又复制了一份商品内容。三个地址都能打开,页面主体内容接近,但价格、库存或加入购物车按钮可能由不同模板渲染。此时对收录平台来说,重复信号已经出现:它可能分别抓取、分别归类,也可能把权重分散到不同地址。冲突信号则出现在规范地址声明、站点地图和内部链接三者不一致时,例如页面自己声明规范地址是/product/1001,站点地图却只提交了带参数的地址,分类页又直接链接到分类路径下的副本。
时间和人手有限时,先处理“能被抓取到、且被站内链接或站点地图推荐”的重复地址。一个没有被链接、没有提交站点地图、也没有外部入口的旧地址,影响面通常小于一个出现在分类页和站点地图中的重复地址。可以用下面的顺序安排:
这里的判断结果是:如果多个地址都能返回200状态且被站内链接推荐,优先做合并;如果重复地址只存在于历史记录、当前没有任何入口,可以放到后面处理。
有人发现重复地址后,第一反应是在robots.txt里禁止抓取带参数的地址。这个做法有边界:robots.txt的抓取限制不等于可靠的索引移除。已经被收录的地址,即使后来禁止抓取,搜索引擎仍可能保留旧索引,只是无法重新抓取确认。更稳妥的顺序是:先让重复地址可被抓取并返回301,或让主页面明确声明规范地址,再观察索引变化。站点地图也不保证收录,它只是提交候选地址的一种方式;如果站点地图同时包含主地址和重复地址,反而会强化冲突信号。
另一个常见错误是只改页面里的规范地址,却忘了改内部链接。假设商品页声明规范地址为/product/1001,但分类页仍然链接到/category/cups/1001,收录平台会收到两个方向的信息:页面说主地址是前者,站内链接却把后者当作可访问入口。此时应先统一内部链接,再检查规范声明。
下面这组检查项可以直接用于安排最先处理的工作:
适用条件是:网店已经有可访问的商品页和分类页,且能查看站内链接与站点地图。判断结果是:先处理被站内链接或站点地图推荐的重复地址,再处理仅存在于历史记录中的地址;先统一主地址,再改标题和描述。
选一个你熟悉的商品,从站点地图中找出它的地址,再从分类页点击进入同一商品,比较两个地址是否一致。如果不一致,先改分类页链接或站点地图,使它们指向同一个主地址;如果一致,再检查页面内的规范声明是否也指向该地址。这样一轮只处理一个商品,适合时间和人手有限时逐项推进。