今天改了下自己博客上Robots.txt的写法，最近看到好多博主都在自己博客的安全上下功夫，还有在seo上下功夫，有不少都谈到了robot.txt的写法，稍微有了点了解，所以我也就小修改一下，屏蔽点网址的隐私，细节决定成功。
之前我robot.txt上的内容是这样的：
User-Agent: *
Disallow: /index.php?
Disallow: /?p=*
想了一下，多加了几条，包含了sitemap.xml地址：
User-agent: *
Disallow: /wp-admin
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /wp-includes
Disallow: /index.php?
Disallow: /?p=*
Sitemap: http://www.hesiway.info/sitemap.xml
上面的目的是允许所有搜索引擎抓取，逐一列举需要限制的目录，限制抓取搜索结果。
还看到一个更强的：
User-agent: *
Disallow: /wp-*
Allow: /wp-content/uploads/
Disallow: /*.php$
Disallow: /*.inc$
Disallow: /*.js$
Disallow: /*.css$
允许所有蜘蛛访问，限制以“wp-”开头的目录及文件，限制抓取.php文件、.inc文件、.js文件、.css文件，限制抓取搜索结果。
其实目前自己对网站robot.txt的技巧还是有很多不知道的，还是请高人指点下吧。
评论
《 “重整WordPress博客Robots.txt的写法” 》 有 32 条评论
貌似这个我也乱写的~
@小松, 凭目前知道的真就这点了~还指望有人建议~
受教了，也就动手开始整
@3q博客, 我就稍微改了下，自己不会啊~
:嘻: 我们想到一块去了
@岸边, 哈哈，是的~
貌似我的博客还没有这个文件吧……没去管这个东西
@扯远了, 那就自己添一个吧~
以前搞过，后来觉得不搞好像也没啥影响~~
@阿修, 我把失效的部分链接屏蔽了搜索引擎的抓取~
呵呵 学习下了啊 不错
@su, :微笑: 我也刚学会的~
你好，我是http://www.segougou.com 博主。
我想跟你交换链接，不知道可以不，不换也可以互相送IP嘛。你可以加好链接到
我空间留言。
还没动过robot :纠结:
@freetstar, 影响不大~ :嘻:
这个东西必须写好~ 不然，各种类型的链接都被收录了
@集趣, 对啊，之前我那些失效的链接都被收录了，影响不好~ :嘻:
研究的还可以
我只知道要加Google的地图、百度的sitemap进去 :嘻:
@only博客, 呵呵，我也就知道这点~
不敢多写，蜘蛛很笨的会出错 。蜘蛛抓的越多越好，安全问题不考虑 :帅: 谁来黑我的小站呢
@风小, 我~ :帅:
再次围观学习
@岸边, :嘻:
其实对于个人博客来说 写不写也没什么事。、
@网络推广, 毕竟本来内容就不多吧~
这个我没有写过 :嘻:
@闲云野鹤, 不写没事，多收录几条 :嘻:
嘿嘿，我博客也写过这个东西。
@集思, :嘻: 都要接触但都弄不好啊~
学习一下也好的
对了，一直有个疑惑。那个WP的后台登陆都是域名/wp-admin，觉得好不安全~能不能改个地址的说 :瞪:
robot.txt ，我也想学习呀