关于本站更新Robots.txt写法优化WordPress收录

    |     2015年7月28日   |   互联网络   |     0 条评论   |    1473

最近site百度的收录情况,然后参考了几个名博的seo文章,对于robots.txt协议的写法有了新的更改,如何优化Robots.txt文件的写法呢,以前以为只要是站内任何一个文字都被百度收录就最好了,想想真是天真,有很多都是无效收录,或者重复收录,它不会带来任何流量或者价值,反而会令搜索引擎对你的站点反感,所以一开始就要设置好Robots.txt文件规则,中间更改都会出现问题,下面看看本站最新的Robots.txt写法,也是参考多个wordpress站点写的,仅供参考讨论。

User-agent: *
Disallow: /wp-admin/
Disallow: /author/
Disallow: /wp-includes/
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /*/trackback
Disallow: /*/comment-page-*
Disallow: /wp-config.php
Disallow: /download.php
Disallow: /demo.php
Disallow: /*feed*
Disallow: /zhuji
Disallow: /tv/64ma.html
Disallow: /*?*
Disallow: /?*
Disallow: /*.jpg$
Disallow: /*.png$
Disallow: /*.gif$
Disallow: /*.bmp$
Disallow: /*.ico$
Disallow: /*.mp3$
Disallow: /*.wma$
Disallow: /*.rmvb$
Disallow: /*.flv$
Disallow: /*.mp4$
Disallow: /*.swf$
Disallow: /*.pdf$
Disallow: /*.php$
Disallow: /*.js$
Disallow: /*.css$
Disallow: /*.rar$
Disallow: /*.zip$
Sitemap: http://www.ruchujian.com/sitemap_baidu.xml
Sitemap: http://www.ruchujian.com/sitemap.html
Sitemap: http://www.ruchujian.com/sitemap.xml

解释一下:
禁止搜索引擎抓取后台程序文件页面
禁止搜索引擎抓取后台主题和插件页面
禁止搜索引擎抓取评论分页等相关链接
禁止搜索引擎抓取收录trackback等垃圾信息
禁止搜索引擎抓取后台特殊文件页面,这个根据自己站点的文件内容增加的
禁止搜索引擎抓取收录feed所有链接
禁止抓取本站所有动态页面,本站已经全部静态化,如果出现动态页面会让搜索引擎难以确定哪些页面重要
禁止搜索引擎抓取附件页面,就是最后的文件名后缀,对于站点来说,这些收录毫无意义
本站没有禁止抓取收录分类和标签的分页,如果有需要可以添加Disallow: /category/*/page/和Disallow: /tag/*/page/

转载请注明来源:关于本站更新Robots.txt写法优化WordPress收录
回复 取消