先把“被发现”拆成两种可观察结果:一是页面是否进入过抓取或索引队列,二是进入后是否被保留。批量页面里只有一部分被发现,通常不是全站级开关,而是模板、目录层级、内链深度或内容相似度造成的分层差异。此时划分对照组的正确做法,是按可复现的页面属性分组,让两组只在待验证变量上不同,而不是按“已发现/未发现”本身分组——后者会把结果当成原因。
如果未发现页面的抓取记录、站点地图提交记录和内链入口都正常,只是最近才上线,那么优先保留并等待,因为时间窗口不足会制造假阴性。如果同一模板下老页面被发现、新页面长期不被发现,且内链结构一致,则应改写:把差异收敛到模板输出、分页链接或参数处理上。退出(删除或合并)只在页面本身无独立价值、与已发现页面高度重复时才成立,且应先确认它不是因为入口缺失而“看起来没人要”。
一个可操作的判据:随机抽取已发现组和未发现组各若干页面,逐项核对<link rel="canonical">、分页指向、面包屑层级和站点地图收录状态。若两组在这些项上完全一致,问题更可能在抓取预算或内容相似度;若不一致,先修模板,再重测,不要直接改写正文。
把“已发现”当作分组依据,等于用结果解释结果。更稳的做法是选一个业务上稳定、技术上可枚举的属性作为分层变量,例如目录深度、模板版本、是否带筛选参数、发布时间段。然后在这些层内部比较发现率差异。
每个分组至少要能回答“这组页面的共同技术特征是什么”。如果分组依据只是“还没被发现”,那它无法指导下一步动作。
假设某站点有 500 个同类详情页,其中 120 个已被抓取、380 个未被抓取。不要直接对这 380 个批量提交。先按“是否出现在列表页前 3 页”分层:已发现组中 90% 在列表前 3 页,未发现组中只有 15% 在列表前 3 页。这说明入口深度可能是主因。动作是把未发现页面接入更浅的列表入口,并保留原有内容不动;两周后再看抓取记录是否向未发现组扩散。若扩散明显,继续保留;若接入后仍无变化,再检查模板输出和内容重复度,此时才考虑改写或合并。
这个例子的数字只用于说明比较方法,不代表任何真实站点表现。关键是:先让两组在“入口深度”上可比,再观察变化,而不是一次性全量改写。
请求量、抓取量或站点地图提交数归零,不能单独证明页面该被删除。它们还可能来自日志采样、抓取调度变化、站点地图未被读取或临时限流。robots.txt 的抓取限制不等于索引移除,站点地图也不保证收录。因此,在把页面判为“无价值”之前,至少要排除入口缺失、模板错误和窗口不足三种解释。
如果页面确实与已发现页面高度重复,且没有任何独立搜索需求或业务转化路径,退出(合并或删除并设置正确跳转)才是合理选择。此时对照组的价值在于:证明重复页面的存在没有带来额外发现,而不是用“没被抓”当作唯一证据。
完成分层对照后,只选一个最可能的原因做单变量改动,并记录改动前后的分组发现情况。若改动后未发现组的抓取记录开始增加,说明入口或模板假设成立,下一步是扩大同类修复;若两组仍无分化,则应转向内容相似度或抓取预算方向,而不是继续加提交入口。整个过程要保留原始分组和观察时间点,避免把一次波动当成因果结论。