wordpress博客的robots.txt设置技巧

今日,萝卜鱼在百度site笔者的萝卜居家园网的时候,发现百度收录本站的内容中至少50%的内容为评论内容,且收录重复,很有可能是由于robots.txt设置不当的缘故。萝卜鱼特地查找了一些资料,和大家一起分享一下wordpress的robots.txt的设置的相关技巧。robots.txt是搜索引擎的蜘蛛在来到网站首先要查看的一个文件,由于网站有些内容是不想被搜索引擎抓取的,比如网站的模板文件,css文件,JS文件,管理界面等等,这时候就要设置一些robots.txt文件来使蜘蛛遵循这一些协议。Wordpress中的robots.txt文件的存放位置在网站的根目录下,如果你自己没有设置,WP会生成一个动态的robots.txt文件。查看一个网站的robots.txt文件方法也很简单,只要在地址栏输入以下路径就可以了:你的域/robots.txt 需要注意的是,文件名要全部小写哦。例如,最开始萝卜居家园网的rotobs.txt是动态生成的,其对搜索引擎并不友好:下面,萝卜鱼为大家解释一下robots.txt的写作方法及注意事项:1、robots.txt必须上传到你的网站根名录下,在子目录下无效;2、robots.txt,Disallow等必须注意大小写,不能变化;3、User-agent,Disallow等后面的冒号必须是英文状态下的,冒号后面可以空一格,也可以不空格。网上有人说冒号后面必须有空格,其实没有也是可以的,请看谷歌中文网站管理员博客的设置就是这样:http://www.kuaisubeian.org原创发表,转载请注明,谢谢。