Robots.txt 生成器 - 在线生成搜索引擎蜘蛛抓取规则配置文件
可视化配置 Google、Baidu、Bing 爬虫的 Disallow 屏蔽目录、Allow 允许规则与 Sitemap 网址，生成标准的 robots.txt 文件。
此工具在浏览器中运行。
仅在当前浏览器中处理。
使用方法
- 01输入或上传源数据。
- 02在浏览器中运行工具。
- 03检查、复制或下载结果。
常见问题
robots.txt 文件在网站 SEO 中起什么作用？
它向搜索引擎蜘蛛指明哪些目录和私密路径允许或禁止抓取，合理配置可节约搜索蜘蛛的抓取预算（Crawl Budget）并保护后台隐私。
如何针对不同的搜索引擎（如 Google 与百度）配置独立规则？
可以通过指定 User-agent: Googlebot 或 User-agent: Baiduspider 分别编写独立的 Disallow 与 Allow 指令，工具完全支持多爬虫配置。
生成的文件应该存放在网站服务器的什么目录？
必须上传并保存在网站的根目录（即 https://yourdomain.com/robots.txt），且文件名必须全部小写。