死链查询，批量页面只有一部分被发现时怎样划分对照组
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /15892a2eaee1.html
📄
死链查询，批量页面只有一部分被发现时怎样划分对照组
先给结论：不要按“已发现”和“未发现”直接分组，而要先按页面是否具备被抓取的入口条件分层，再在每层内部随机抽取。因为“被发现”本身是结果，不是原因；拿结果分组会把入口强弱、内容质量和历史状态混在一起，最后无法判断差异来自哪里。死链查询在这里的作用是排除失效链接这一干扰项，而不是充当分组依据。
矛盾现象：同一批页面，一部分进了索引，一部分没有
假设你上线了 500 个结构相似的页面，通过死链查询确认它们全部返回正常状态码，但一段时间后只有一部分出现在搜索结果里。这时最容易犯的错，是把“已发现”当成实验组、“未发现”当成对照组，然后去比较两组的内容长度、外链数量或发布时间。这样得到的差异几乎一定是假的，因为能否被发现本身就受这些因素影响。
更麻烦的是，死链查询只能告诉你链接当前是否可达，不能告诉你它是否被抓取、是否被索引。一个页面返回正常状态码，仍可能因为入口太深、被 robots.txt 限制抓取、或站点地图未包含而长期不被发现。所以先做死链查询，是为了确认两组页面在“可达性”上没有系统性差异，从而把这一项从变量里剔除。
两种解释：入口问题，还是页面自身问题
批量页面只有一部分被发现，通常有两种解释，它们对应完全不同的处理方向。
解释一：入口条件不同。被发现的页面可能离首页更近、被更多内部链接指向、出现在站点地图里，或者所在目录有更强的聚合页。未发现的页面可能只通过一次分页或筛选参数到达，抓取预算分配不到。
解释二：页面自身信号不同。两组页面在内容重复度、模板相似度、更新时间、结构化数据完整度上存在差异，导致一部分被认为值得保留，另一部分被合并或忽略。
这两种解释会导向相反的动作：前者要改内链和站点地图结构，后者要改内容或模板。如果分组方式错了，你可能花几周优化内容，实际问题却出在入口深度上。
能区分两种解释的证据：入口分层后再抽样
要区分它们，需要先建立一个不依赖“是否被发现”的分层维度。可行的做法是按入口强度分层，例如：
- 第一层：首页或主导航直接链接的页面。
- 第二层：通过栏目页一次点击可达的页面。
- 第三层：只能通过分页、筛选或搜索参数到达的页面。
在每一层内部，再随机抽取若干页面作为对照，而不是把全部已发现页面放进一组。这样做的代价是需要先梳理内部链接结构，工作量比直接按结果分组大；但收益是，当你比较各层的发现比例时，能看出入口深度是否与发现率同步变化。
如果发现比例随入口层级明显下降，而各层内部的内容特征差异不大，入口解释更成立。如果同一入口层级内，被发现的页面在内容唯一性、更新时间上系统性优于未发现的页面，页面自身解释更成立。注意，这只是区分方向的证据，不是因果证明；抓取和索引还受其他因素影响，需要分别核查不同搜索引擎的支持情况。
一个注明假设的短例子
假设某站点有 300 个商品页，全部通过死链查询确认返回 200。按入口分层后：第一层 50 个页面中 45 个被发现，第二层 150 个中 60 个被发现，第三层 100 个中 10 个被发现。这个梯度提示入口深度可能是主因。此时下一步动作应是给第三层页面增加从相关栏目页的直接链接，并在站点地图中确认这些 URL 被包含——站点地图不保证收录，但它至少让入口条件更明确。改进后再次分层抽样，如果第三层的发现比例上升，说明入口假设得到支持；如果没有变化，就需要回到页面自身信号去排查。
反过来，如果三层内部的发现比例接近，但被发现页面普遍有更长的独立描述，那么优先检查模板重复度和内容差异，而不是继续加内链。
划分对照组时的三个约束
不要用死链查询结果当分组变量。它只回答“链接是否可达”。把返回 200 的页面和返回 404 的页面分成两组，比较的是失效与未失效，不是发现与未发现。
robots.txt 的限制不等于索引移除。如果部分页面被 robots.txt 禁止抓取，它们可能仍出现在结果中，只是没有摘要。这类页面应单独归为一层，不能和正常可抓取页面混在同一对照组里比较。
记录假设和复查条件。每次抽样前写下：本次分层依据是什么、每层抽多少、预期看到什么模式。复查时如果发现比例变化，先确认是入口改动导致，还是同期内容或模板也发生了变动。请求量或抓取量归零不能单独证明处理正确，它也可能是抓取预算转移或站点整体流量波动的结果。
按入口分层再抽样，代价是前期梳理成本更高，但能避免把结果当原因。对于批量页面只有一部分被发现的场景，这是更可靠的分组起点。
