Robots.txt 生成器
创建包含 user-agent 规则、站点地图和抓取指令的 robots.txt 文件
模板
规则
指令
Ctrl+Enter 运行Ctrl+Shift+C 复制
了解更多
robots.txt 生成器：控制搜索引擎对你网站的抓取
了解 robots.txt 语法，为搜索引擎和 AI 爬虫创建规则，并避免常见的 SEO 错误。
什么是 robots.txt？
robots.txt 是放置在网站根目录下的一个纯文本文件，用于告诉网络爬虫哪些页面或区域可以抓取、哪些不可以。它遵循机器人排除协议（Robots Exclusion Protocol），这是一项自 1994 年起就被用来向搜索引擎机器人、AI 爬虫及其他自动化程序传达抓取偏好的标准。
阅读约 6 分钟阅读完整指南