在网站改版与迁移事故中,最令人扼腕叹息却又高频发生的一种情况是:开发团队在测试服(如 staging.example.com)开发期间,为了防止测试站被搜索引擎提前收录,在全局配置里勾选了“阻止搜索引擎索引本站点”。等到正式上线那天,运维人员直接把测试服数据库和代码一键同步到了正式域名,却忘了把 noindex 开关关掉。结果新官网上线一周内,原本排在首页的几十个核心词全部从百度和 Google 消失。

网站界面

为了杜绝此类事故,正式切换域名解析后的 30 分钟内,必须完成以下 5 项核查:

配置对照

一、 五步彻底排查残留的索引屏蔽指令

项目验收示意

  1. 检查网页 HTML 源码中的 <meta name="robots"> 标签 在浏览器无痕模式下打开正式站首页、服务页、案例页与文章详情页,右键“查看网页源代码”(快捷键 Ctrl+U / Cmd+Option+U),搜索 noindex 或 none。如果看到 <meta name="robots" content="noindex, nofollow">,需立即在 CMS 后台(如 WordPress 的“设置 -> 阅读 -> 对搜索引擎的可见性”或自研后台 SEO 全局设置)中取消勾选。
  2. 检查服务器 HTTP 响应头中的 X-Robots-Tag 有时 HTML 源码里没有 noindex,但 Nginx / Apache 或 CDN 边缘节点在 HTTP Header 里返回了 X-Robots-Tag: noindex。打开浏览器开发者工具(F12)切换到 Network(网络) 面板,刷新页面点击第一个文档请求,查看 Response Headers 中是否存在该字段。
  3. 核对 /robots.txt 文件内容 直接访问 https://www.你的域名/robots.txt。如果里面写着两行:
    User-agent: *
    Disallow: /
    
    说明整站都被禁止抓取了!正式环境的 robots.txt 应当允许根目录抓取(Allow: /),仅屏蔽后台管理路径(如 /admin/、/api/)并提供正确的 Sitemap: 地址。
  4. 检查 Canonical 标签是否仍指向测试服域名 搜索源码中的 rel="canonical"。如果正式站页面的 Canonical URL 还写着 https://test.xxx.com/ 或本地开发地址 http://localhost:3000/,搜索引擎同样会放弃索引正式域名。
  5. 使用 Google Search Console“实时测试”验证 在 GSC 顶部搜索框输入正式站首页 URL,点击右侧的“测试实际网址(Test Live URL)”,确认返回结果为绿色的“网址可编入索引”,即可彻底放心。