网站robots.txt文件的写法

    |     2014年8月14日   |   互联网络   |     0 条评论   |    1736

很多新手不知道robots.txt文件到底应该怎么写,如何写,下面我先大概介绍下robots.txt文件,以及我是怎么写robots.txt的。

robots.txt文件的作用:搜索引擎机器人每次来到要抓取的网站,都会先访问这个网站根目录下的一个文件robots.txt,搜索引擎机器人通过robots.txt里的说明,理解该网站是否可以全部抓取或部分抓取。

robots.txt写法说明:
User-agent: * 星号说明,允许所有的搜索引擎来收录,包括百度、google。
Disallow: /search.html 说明不允许收录 /search.html 这个文件。
Disallow: /index.php? 说明不允许收录以index.php?为前缀的链接如:index.php?/baidu。
Disallow: /tempweb/ 说明不允许收录/tempweb/里的所有文件。但可以收录如:/tempwebtaim.html 的链接。

Disallow: /*-*
Disallow: /*?* 这两个写法屏蔽全站url内带有 – 和 ? 的连接。

其实robots.txt的写法没有那么复杂,下面是根据我自己的需要来写的,可以参考一下。

本站robots.txt写法:

User-agent:*
Disallow:/wp-admin/

Sitemap: http://www.ruchujian.com/sitemap_baidu.xml
Sitemap: http://www.ruchujian.com/sitemap.html
Sitemap: http://www.ruchujian.com/sitemap.xml

 

 

转载请注明来源:网站robots.txt文件的写法
回复 取消