📍 WDQWDWQD987AAAAA:216.73.216.140
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /658f4e9ff0c5.html
📄

网站如何被收录，改版或迁移时应核对什么

改版或迁移时，核心不是“提交一次就等收录”，而是核对三件事：新页面能否被抓取、旧地址是否把信号正确传给新地址、以及新旧内容是否一一对应。只要其中一环出错，就可能出现旧页面消失、新页面迟迟不出现的情况。下面按可执行的检查顺序说明。

先确认抓取通道没有被自己堵住

收录的第一步是抓取。改版后常见的失误是：测试阶段用 robots.txt 屏蔽了全站，上线时忘了删除；或者新站默认加了 noindex，导致页面即使被抓取也不会进入索引。

• 打开 robots.txt，确认没有 Disallow: / 这类全站限制。
• 查看页面源代码中的 <meta name="robots">，确认不是 noindex。
• 如果用了 JavaScript 渲染，确认关键内容和链接在禁用脚本后仍能读到，或能被正常渲染。

这里要区分两件事：robots.txt 只是限制抓取，它不等于“从索引中删除”。一个已经被收录的页面，即使后来被 robots 屏蔽，仍可能留在索引里。反过来，解除屏蔽也不保证马上被重新抓取。所以核对时要分开判断：是抓不到，还是抓到了但不索引。

核对旧地址到新地址的对应关系

迁移最怕的是 URL 结构整体变化却没有做跳转。判断方法很直接：拿一份改版前的 URL 清单，逐条访问，看它落到哪里。

1. 导出旧站的主要页面地址，优先覆盖栏目页、内容页和流量较高的页面。
2. 逐条请求旧地址，观察返回状态码。理想结果是 301 并指向最相关的新页面。
3. 如果返回 404，说明这条路径断了；如果返回 302，应改为永久跳转，避免信号传递不明确。
4. 确认跳转是“一对一”或“多对一”到主题相近的页面，而不是全部跳首页。

全部跳首页看似省事，但会让搜索引擎无法判断每个旧页面的主题对应哪个新页面，容易造成新页面难以获得原有信号。适用条件是：新旧内容确实存在对应关系。如果某个旧页面已被彻底删除且没有替代内容，返回 410 或 404 比强行跳转到无关页面更合理。

站点地图与内链要同步更新

站点地图是给抓取提供线索，不是收录保证。改版后如果站点地图里还留着旧地址，或者新页面根本没进地图，就会浪费一次发现机会。

• 检查站点地图中的地址是否全部返回 200，没有旧域名、旧路径或重定向地址。
• 确认新页面的重要入口能从首页或栏目页通过普通链接点到，而不是只靠脚本点击。
• 检查分页、筛选参数是否生成了大量低价值地址，必要时用规范标签或 robots 规则处理。

验收信号是：抓取工具能顺着内链走到新页面，站点地图中的地址与实际可访问地址一致。若发现地图里有大量 404，先修地图再谈提交。

用可核对的方式提交与观察

不同搜索引擎的提交入口和反馈方式不同，需要分别核查，不要假设一处提交就全网生效。常见做法是使用各搜索平台的站长工具提交站点地图，并对重点 URL 请求抓取。

观察时看这些信号：

• 抓取日志或站长工具中，新地址是否开始出现抓取记录。
• 用 site: 查询或站长工具的索引状态，确认新页面是否进入索引。
• 旧地址是否逐渐从索引中替换为新地址。

如果长时间没有变化，回到前面两步排查：是抓取被挡、跳转错误，还是新页面内容与旧页面差异过大导致无法对应。HTTPS 只解决传输加密，不代表页面一定被收录，也不代表没有其他技术问题。

下一步：先导出旧 URL 清单，逐条检查状态码和跳转目标，把返回 404 或错误跳转的地址列成修复列表，再更新站点地图并提交。