VIP福利
主页 > 建站问题 > 网站运营 > Robots.txt 文件应放在哪里?

Robots.txt 文件应放在哪里?

Robots.txt 文件必须放在网站的根目录。 放在子目录的 Robots.txt 文件搜索引擎不能爬取到,所以不会起任何作用。 比如: http://www.dedesos.com/robots.txt 有效 http://www.dedesos.com/bbs/robots.txt 无效 如果你不能控制根目录的 robots.txt,则你可以通过在子目录网页中使用标签阻止网页被收录。 […]



Robots.txt 文件必须放在网站的根目录。
 
放在子目录的 Robots.txt 文件搜索引擎不能爬取到,所以不会起任何作用。
 
比如:
 
http://www.dedesos.com/robots.txt    有效
 
http://www.dedesos.com/bbs/robots.txt     无效
 
如果你不能控制根目录的 robots.txt,则你可以通过在子目录网页中使用标签阻止网页被收录。

共有 条评论