robots.txt 完全指南：作用、语法与常见错误解析

📍 WDQWDWQD987AAAAA:216.73.217.58
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /e308336bfb65.html
📄

robots.txt 是网站根目录下的纯文本协议文件，用于告诉搜索引擎爬虫哪些页面可以抓取、哪些应当避开。它虽然简单，却是 SEO 与网站安全的基础配置之一。

robots.txt 的核心作用

爬虫在访问网站前会先请求 /robots.txt，读取其中的规则后决定抓取范围。合理配置可以避免爬虫浪费预算在后台、购物车、搜索结果页等低价值或敏感路径上，同时保护服务器资源。

常见语法与示例

• User-agent：指定规则适用的爬虫，如 Googlebot 或 * 代表所有爬虫。
• Disallow：禁止抓取的路径，如 Disallow: /admin/。
• Allow：在禁止目录中放行特定路径。
• Sitemap：声明站点地图位置，便于爬虫发现页面。

一个基础示例如下：
User-agent: *
Disallow: /admin/
Sitemap: https://example.com/sitemap.xml

常见错误与注意事项

1. 误用 Disallow: / 屏蔽整站，导致页面无法被收录。
2. 以为 robots.txt 能阻止页面被索引，实际上它只限制抓取，不限制索引；敏感内容应使用 noindex 或权限控制。
3. 规则顺序与通配符使用不当，造成放行或拦截范围出错。
4. robots.txt 返回 5xx 错误时，爬虫可能暂停抓取，需确保文件可稳定访问。

建议上线前用搜索引擎的 robots.txt 测试工具验证规则，并定期检查文件是否被误改。正确使用 robots.txt，才能在抓取效率与内容安全之间取得平衡。