Robots.txt写法详解及注意事项

之前由写过“robots“标签与robots.txt区别只是简单的对robots.txt作了下介绍,这里武汉seo闲人为大家详细的介绍下robots.txt写法详解及注意事项。一、robots.txt是干什么用的robots.txt写法详解及注意事项一个网站中有很多个文件,其中包含了后台程序文件、前台模板文件、图片等等。这之中有一些东西我们是不希望被百度蜘蛛抓取的,怎么办呢?搜索程序考 虑到了这一点,蜘蛛在抓取网站页面之前会先访问网站根目录下的robots.txt文件,如果此文件存在那么按照robots.txt限定的范围进行抓 取,如果不存在,则默认为可以抓取全部。二、robots.txt在seo中在作用前一篇文章“度娘无视robots.txt文件的存在” 中我们可以看到,百度一个页面抓取的两个网址,这样会分散网页的权重,如果我们写好robots.txt就可以避免这样的情况产生。robots.txt 在seo中在作用就是屏蔽不必要的页面抓取,为有效页面赢得蜘蛛抓取的机会。由于屏蔽不必要页面抓取从而可以页面权重,节省网络资源;最后我们可以将网站 地图放在里面,方便蜘蛛抓取网页。三、哪些文件是可以用robots.txt屏蔽的网页中的模板文件、样式表文件以及后台的某些文件即使呗搜索引擎抓取了也没什么作用,反而是浪费网站资源,这类文件可以屏蔽;如果网页中的某些特定页面比如联系我们、公司内部某些不需要公开的照片这些都可以根据实际情况进行屏蔽。四、robots.txt写法详解及注意事项以主机博客为例,robots.txt文件如下:user-agent:* //允许所有搜索引擎蜘蛛抓取 disallow:/wp- //不允许抓取url中带wp-的网址 allow:/wp-content/uploads/ //允许抓取wp-content/uploads/目录下的文件disallow:/*?* //不允许抓取url中带?的网址 disallow:/feed disallow: /trackback disallow: /index.php? disallow: /*.php$ //不允许抓取url中以.php结尾的网址 disallow: /*.css$ disallow: /date/ sitemap: http://www.kuaisubeian.org seo技术交流qq8785975-6[网站备案]

本文出自快速备案,转载时请注明出处及相应链接。

本文永久链接: https://kuaisubeian.cc/8168.html

kuaisubeian