本文目录
什么是 robots.txt 校验？
robots.txt 文件会告知搜索引擎爬虫，它们可以或不可以访问你网站上的哪些页面或版块。校验能够确保该文件遵循正确的语法、包含有效的指令，并且不会意外地阻止重要内容被收录。
robots.txt 中的错误可能对 SEO 造成重大影响。一条位置错误的 Disallow 规则可能会让关键页面对 Google 隐身，而缺少一条 Allow 规则则可能导致爬虫无法访问你希望被收录的内容。
robots.txt 校验器的工作原理
CheckTown 的 robots.txt 校验器会解析你的文件，检查其中的语法错误、逻辑问题和 SEO 风险。
- 指令校验——检查每一行是否使用了有效的指令名称（User-agent、Disallow、Allow、Sitemap、Crawl-delay）
- 路径检查——校验 Disallow 和 Allow 规则中的 URL 匹配模式语法是否正确，包括通配符和锚点符
- SEO 警告——标记出那些可能会意外阻止重要内容或整个版块被搜索引擎收录的规则
免费试用 —— 无需注册
校验你的 robots.txt →常见的 robots.txt 错误
robots.txt 中的错误往往难以察觉，直到你发现搜索引擎流量出现下滑才会暴露出来。
- 阻止 CSS 和 JS——搜索引擎需要渲染页面才能理解其内容。阻止 CSS 或 JavaScript 文件会妨碍页面被正确收录
- 缺少 User-agent——每组规则都必须以一行 User-agent 开头。没有 User-agent 的规则会被爬虫忽略
- 通配符使用不当——星号通配符和美元符号锚点有其特定的行为，与正则表达式并不相同
何时使用 robots.txt 校验
每当你修改 robots.txt 时，以及在进行常规 SEO 审计时，都应对其进行校验。
- 部署之前——在推送到生产环境前校验 robots.txt 的改动，防止意外造成页面被取消收录
- SEO 审计——将 robots.txt 检查纳入技术 SEO 审查，确保重要内容不会被阻止
- 站点迁移——在域名或 URL 结构变更后校验新的 robots.txt，防止出现抓取错误
常见问题
robots.txt 能否阻止页面出现在搜索结果中？
Disallow 只能阻止抓取，而不能阻止收录。如果其他页面链接到某个被阻止的 URL，搜索引擎仍可能在结果中展示它，只是信息较为有限。若要彻底阻止收录，请使用 noindex 元标签。
robots.txt 应该放在哪里？
robots.txt 必须位于你域名的根目录下，路径需精确为 /robots.txt。放在子目录中不会被识别。
robots.txt 是必需的吗？
不是。如果不存在 robots.txt 文件，搜索引擎会默认它们可以抓取所有内容。不过，拥有一个 robots.txt 文件能让你掌控抓取行为和抓取预算。