robots.txt的作用
robots.txt是一个文本文件，位于网站根目录，告诉搜索引擎爬虫哪些页面可以抓取、哪些页面不应抓取。虽然robots.txt不能强制阻止爬虫访问（需要配合noindex或密码保护才能完全阻止），但善意的搜索引擎（如Google、Bing）会遵守robots.txt的指示。正确配置robots.txt可以优化抓取预算的使用，引导爬虫抓取重要页面。
基本语法
robots.txt的基本语法：User-agent指定规则适用的爬虫（*表示所有爬虫）；Disallow指定不允许抓取的目录或页面；Allow指定允许抓取的目录或页面（覆盖Disallow）；Sitemap指定sitemap文件的位置。示例：User-agent: * Disallow: /admin/ Disallow: /cart/ Allow: / Sitemap: https://example.com/sitemap.xml。注意robots.txt对大小写敏感，路径必须准确。
外贸网站常用配置
外贸网站常用的robots.txt配置：禁止抓取后台管理页面（Disallow: /wp-admin/）；禁止抓取购物车、结算页面（Disallow: /cart/ Disallow: /checkout/）；禁止抓取搜索结果页（Disallow: /?s= Disallow: /search/）；禁止抓取用户账户页面（Disallow: /my-account/）；禁止抓取筛选或排序产生的重复内容（Disallow: /*?sort= Disallow: /*?filter=）；允许抓取产品图片（Allow: /wp-content/uploads/）。
常见错误
robots.txt的常见错误：不小心Disallow了整个网站（Disallow: /），导致网站无法被抓取；使用了错误的语法（如Allow在Disallow之前）；遗漏了sitemap声明；屏蔽了CSS和JS文件（Google需要这些文件来正确渲染页面）；使用robots.txt屏蔽了应该使用noindex的页面（robots.txt屏蔽的页面可能仍出现在搜索结果中，只是没有描述）。建议每次修改后用Google Search Console的robots.txt测试工具验证。
测试与验证
robots.txt修改后应进行测试：使用Google Search Console的robots.txt测试工具检查规则是否正确；查看"覆盖率"报告，确认预期被屏蔽的页面确实未被索引；使用"网址检查"工具测试特定URL是否允许抓取。修改robots.txt后，搜索引擎可能需要几天时间重新抓取和应用新规则。重要页面不要依赖robots.txt保护，应使用密码保护或服务器端权限控制。