robots.txt写法详解：从入门到避坑的完整指南

📍 WDQWDWQD987AAAAA:216.73.217.58
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /0180a9d7c990.html
📄

robots.txt 是网站与搜索引擎爬虫沟通的第一道协议，正确的 robots.txt 写法能帮助搜索引擎高效抓取重要页面，避免资源浪费。但写法错误也可能导致整站无法被收录。本文将系统讲解 robots.txt 的写法要点与常见问题。

一、robots.txt 的基本结构

一个标准的 robots.txt 文件由若干条记录组成，每条记录以 User-agent 开头，后跟 Allow 或 Disallow 规则。核心写法如下：

• User-agent：指定规则适用的爬虫，如 Googlebot，使用 * 表示所有爬虫。
• Disallow：禁止抓取的路径，如 Disallow: /admin/。
• Allow：允许抓取的路径，用于在整体禁止中开放特定目录。
• Sitemap：声明站点地图地址，帮助爬虫发现页面。

例如，禁止所有爬虫抓取后台目录，同时开放公开页面：

User-agent: *
Disallow: /admin/
Allow: /public/
Sitemap: https://example.com/sitemap.xml

二、robots.txt 写法的关键规则

1. 路径匹配区分大小写，写错大小写会导致规则失效。
2. Allow 与 Disallow 冲突时，以更具体的规则为准，长度相同时 Allow 优先。
3. 不要用 Disallow 屏蔽 CSS、JS 文件，否则搜索引擎无法渲染页面，影响收录与排名。
4. 避免全站禁止：Disallow: / 会阻止所有抓取，除非临时维护，否则慎用。
5. 文件必须放在域名根目录，且文件名全小写，只能有一个。

三、常见错误与避坑建议

许多站长在 robots.txt 写法上容易踩坑，例如：误将 Disallow 写成 Dissallow；在规则中使用通配符 * 和 $ 时未确认爬虫支持度；忘记添加 Sitemap 声明。建议上线前使用搜索引擎官方工具测试 robots.txt，确认无误后再提交。

总之，robots.txt 写法并不复杂，但细节决定成败。掌握基本语法，遵循抓取逻辑，定期检查规则，才能让搜索引擎更好地收录网站内容。