|
Robots.txt 文件必须放在网站的根目录。 放在子目录的 Robots.txt 文件搜索引擎不能爬取到，所以不会起任何作用。 比如： http://www.dedesos.com/robots.txt 有效 http://www.dedesos.com/bbs/robots.txt 无效 如果你不能控制根目录的 robots.txt，则你可以通过在子目录网页中使用标签阻止网页被收录。 […]
Robots.txt 文件必须放在的根目录。 放在子目录的 Robots.txt 文件搜索引擎不能爬取到，所以不会起任何作用。 比如： http://www.dedesos.com/robots.txt 有效 http://www.dedesos.com/bbs/robots.txt 无效 如果你不能控制根目录的 robots.txt，则你可以通过在子目录网页中使用标签阻止网页被收录。
 说点什么吧
织梦cms建站教程从入门到精通，自由织梦网www.freedede.cn长期免费更新教程,图文结合dedecms建站教程经验，内容包含使用织
梦CMS、做模板、写采集规则、做插件模块,是学习织梦产品的最佳去处。 | 
