重整WordPress博客Robots.txt的写法

/ 32评 / 0赞

今天改了下自己博客上Robots.txt的写法，最近看到好多博主都在自己博客的安全上下功夫，还有在seo上下功夫，有不少都谈到了robot.txt的写法，稍微有了点了解，所以我也就小修改一下，屏蔽点网址的隐私，细节决定成功。
之前我robot.txt上的内容是这样的：

User-Agent: *
Disallow: /index.php?
Disallow: /?p=*


想了一下，多加了几条，包含了sitemap.xml地址：

User-agent: *
Disallow: /wp-admin
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /wp-includes
Disallow: /index.php?
Disallow: /?p=*
Sitemap: http://www.hesiway.info/sitemap.xml

上面的目的是允许所有搜索引擎抓取，逐一列举需要限制的目录，限制抓取搜索结果。
还看到一个更强的：

User-agent: *
Disallow: /wp-*
Allow: /wp-content/uploads/
Disallow: /*.phpDisallow: /*.inc
Disallow: /*.jsDisallow: /*.css

允许所有蜘蛛访问，限制以“wp-”开头的目录及文件，限制抓取.php文件、.inc文件、.js文件、.css文件，限制抓取搜索结果。

其实目前自己对网站robot.txt的技巧还是有很多不知道的，还是请高人指点下吧。

  1. 深圳摄影工作室说道：
    2010-12-21 03:44

    robot.txt ，我也想学习呀

  2. OnC说道：
    2010-08-14 21:34

    对了，一直有个疑惑。那个WP的后台登陆都是域名/wp-admin，觉得好不安全~能不能改个地址的说 :瞪:

  3. Ygs说道：
    2010-08-14 00:57

    学习一下也好的

  4. 集思说道：
    2010-08-09 22:34

    嘿嘿，我博客也写过这个东西。

  5. 闲云野鹤说道：
    2010-08-09 21:55

    这个我没有写过 :嘻:

  6. 网络推广说道：
    2010-08-09 20:05

    其实对于个人博客来说 写不写也没什么事。、

  7. 岸边说道：
    2010-08-09 13:41

    再次围观学习

  8. 风小说道：
    2010-08-09 13:13

    不敢多写，蜘蛛很笨的会出错 。蜘蛛抓的越多越好，安全问题不考虑 :帅: 谁来黑我的小站呢

  9. only博客说道：
    2010-08-09 12:37

    研究的还可以
    我只知道要加Google的地图、百度的sitemap进去 :嘻:

  10. 集趣说道：
    2010-08-09 10:40

    这个东西必须写好~ 不然，各种类型的链接都被收录了

    • hesiway说道：
      2010-08-09 12:56

      @集趣 @集趣, 对啊，之前我那些失效的链接都被收录了，影响不好~ :嘻:

  11. freetstar说道：
    2010-08-09 10:26

    还没动过robot :纠结:

  12. 色狗狗说道：
    2010-08-09 09:23

    你好，我是http://www.segougou.com 博主。
    我想跟你交换链接，不知道可以不，不换也可以互相送IP嘛。你可以加好链接到

    我空间留言。

  13. su说道：
    2010-08-09 09:10

    呵呵 学习下了啊 不错

  14. 阿修说道：
    2010-08-09 08:06

    以前搞过，后来觉得不搞好像也没啥影响~~

    • hesiway说道：
      2010-08-09 12:54

      @阿修 @阿修, 我把失效的部分链接屏蔽了搜索引擎的抓取~

  15. 扯远了说道：
    2010-08-09 07:11

    貌似我的博客还没有这个文件吧……没去管这个东西

  16. 岸边说道：
    2010-08-09 01:41

    :嘻: 我们想到一块去了

  17. 3q博客说道：
    2010-08-09 00:02

    受教了，也就动手开始整

  18. 小松说道：
    2010-08-09 00:01

    貌似这个我也乱写的~

Comments have been closed.