一、昨天修改了博客的wordpress robots.txt文件，这样修改之后可以：
1.禁止google抓取博客的重复内容
2.提升搜索引擎蜘蛛抓取博客网页链接的效率以提高索引页面
3.提升博客权重
4.robots.txt作用是禁止google robots抓取一些网站上的目录和内容
二、robots.txt格式、robots.txt写作方法、robots.txt用法、robots.txt怎么写？
我的wordpress博客robots.txt写法：
User-agent: *
Disallow: /wap/
Disallow: /page/
Disallow: /feed/
Disallow: /blog/author/admin/
Disallow: /blog/2008/
Disallow: /blog/2009/
Disallow: /blog/2010/
Disallow: /blog/category/*/page/
Sitemap: http://i.lvshiminglu.com/sitemap.xml.gz
1.找出wordpress博客重复内容的方法：site:fatalist.im/wap OR page OR feed OR author/admin OR category
2./wap/ wordpress博客手机版本的地址，内容和html版本内容严重重复，不利用搜索引擎优化。
3./page/ wordpress博客翻页内容，页面标题完全重复，这些内容几乎不能从搜索引擎带来什么流量。
4./blog/author/admin/ wordpress博客作者页面内容，同page页面，没有在搜索结果中存在的必要。
5./blog/2008/ 日期页面。
6./blog/category/*/page/ 文章分类翻页页面。
三、等待后续效果：
昨天已经提交robots.txt文件，google webmasters tools 后台也已经更新robots.txt文件内容，不过之前收录的重复内容还在，不知道过段时间会不会从索引的数据里删除，还是从加上robots.txt文件后不再抓取之后的内容。