重整WordPress博客Robots.txt的写法

/ 32评 / 0

今天改了下自己博客上Robots.txt的写法,最近看到好多博主都在自己博客的安全上下功夫,还有在seo上下功夫,有不少都谈到了robot.txt的写法,稍微有了点了解,所以我也就小修改一下,屏蔽点网址的隐私,细节决定成功。
之前我robot.txt上的内容是这样的:

User-Agent: *
Disallow: /index.php?
Disallow: /?p=*


想了一下,多加了几条,包含了sitemap.xml地址:

User-agent: *
Disallow: /wp-admin
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /wp-includes
Disallow: /index.php?
Disallow: /?p=*
Sitemap: http://www.hesiway.info/sitemap.xml

上面的目的是允许所有搜索引擎抓取,逐一列举需要限制的目录,限制抓取搜索结果。
还看到一个更强的:

User-agent: *
Disallow: /wp-*
Allow: /wp-content/uploads/
Disallow: /*.phpDisallow: /*.inc
Disallow: /*.jsDisallow: /*.css

允许所有蜘蛛访问,限制以“wp-”开头的目录及文件,限制抓取.php文件、.inc文件、.js文件、.css文件,限制抓取搜索结果。

其实目前自己对网站robot.txt的技巧还是有很多不知道的,还是请高人指点下吧。

  1. robot.txt ,我也想学习呀

  2. OnC说道:

    对了,一直有个疑惑。那个WP的后台登陆都是域名/wp-admin,觉得好不安全~能不能改个地址的说 :瞪:

  3. Ygs说道:

    学习一下也好的

  4. 集思说道:

    嘿嘿,我博客也写过这个东西。

  5. 闲云野鹤说道:

    这个我没有写过 :嘻:

  6. 网络推广说道:

    其实对于个人博客来说 写不写也没什么事。、

  7. 岸边说道:

    再次围观学习

  8. 风小说道:

    不敢多写,蜘蛛很笨的会出错 。蜘蛛抓的越多越好,安全问题不考虑 :帅: 谁来黑我的小站呢

  9. only博客说道:

    研究的还可以
    我只知道要加Google的地图、百度的sitemap进去 :嘻:

  10. 集趣说道:

    这个东西必须写好~ 不然,各种类型的链接都被收录了

    • hesiway说道:

      @集趣 @集趣, 对啊,之前我那些失效的链接都被收录了,影响不好~ :嘻:

  11. freetstar说道:

    还没动过robot :纠结:

  12. 色狗狗说道:

    你好,我是http://www.segougou.com 博主。
    我想跟你交换链接,不知道可以不,不换也可以互相送IP嘛。你可以加好链接到

    我空间留言。

  13. su说道:

    呵呵 学习下了啊 不错

  14. 阿修说道:

    以前搞过,后来觉得不搞好像也没啥影响~~

    • hesiway说道:

      @阿修 @阿修, 我把失效的部分链接屏蔽了搜索引擎的抓取~

  15. 扯远了说道:

    貌似我的博客还没有这个文件吧……没去管这个东西

  16. 岸边说道:

    :嘻: 我们想到一块去了

  17. 3q博客说道:

    受教了,也就动手开始整

  18. 小松说道:

    貌似这个我也乱写的~

Comments have been closed.