华夏名网虚拟主机robots.txt 写法配置_robots.txt写法与抓取频率
很多站长遇到 robots.txt 写法直接在 robots.txt 写 Disallow: /，结果整站被禁止抓取，收录全部消失。robots.txt 修改前用百度站长平台的 robots 检测工具验证，确认只屏蔽了目标目录，没有误封正常内容。
限制百度蜘蛛抓取频率不在 robots.txt 里写（robots 没有频率参数），而是在百度站长平台 → 抓取频次 → 设置抓取压力。选"平和"会降低抓取频率，适合流量紧张的虚拟主机。调整后 1 到 3 天生效，蜘蛛请求量下降 30% 到 50%。
配置参考（robots.txt 标准示例）： ``` User-agent: * Disallow: /admin/ Disallow: /install/ Disallow: /temp/ Disallow: /*?* Disallow: /*?page= Allow: /
User-agent: Baiduspider Disallow: /admin/ Disallow: /*?s=
Sitemap: https://域名/sitemap.xml ```
robots.txt 写完用百度站长平台的 robots 检测工具验证，输入要检测的 URL，看是否被允许抓取。也可以用百度蜘蛛模拟抓取直接访问 http://域名/robots.txt 确认内容正确。robots.txt 文件必须放在根目录，编码 UTF-8 无 BOM，文件名全小写，否则蜘蛛不识别。
百度蜘蛛流量大但收录少，通常是抓取了大量低价值页面。优化方向：robots.txt 禁止搜索结果页、筛选页、分页参数、标签云；页面加 canonical 指向主版本；sitemap 只提交高质量页面。蜘蛛抓取配额集中到正文页后，收录量和排名都会提升，流量反而下降。
百度蜘蛛流量大但收录少，通常是抓取了大量低价值页面。优化方向：robots.txt 禁止搜索结果页、筛选页、分页参数、标签云；页面加 canonical 指向主版本；sitemap 只提交高质量页面。蜘蛛抓取配额集中到正文页后，收录量和排名都会提升，流量反而下降。
更新时间：2026-08-27 11:51:33