首页 » 闲聊时间 » 今天才发现一个大乌龙,本站搬家后,竟然忘放了robots.txt

今天才发现一个大乌龙,本站搬家后,竟然忘放了robots.txt

13989 22

早上习惯性的逛到了下一把SEO博客,看了下他的《腾讯搜搜:一个活得憋屈的搜索引擎》文中后,发现其中有提到用SOSO引擎搜索xia18.com竟然出现了N多个垃圾外链,于是根据他的配图看过去,我勒个去啊,全是www.tiandiyoyo.com,难道被人挂马了?

于是tiandi也去用soso搜索了xia18.com,赫然首页就有以下几个链接,随便点了一个进去,比如这个http://www.tiandiyoyo.com/?_=1366936732000&action=rc-ajax&page=1发现确实是千丝海阁的链接,这个链接里的内容从何而来的呢?你问我,我问谁去啊,我也纳闷着呢,只能彻底彻查一下看看。
从链接内容来看,显示的是和最近评论有关的东西,从链接的地址来看,又有ajax这个东西存在,我很自然而然地想到了主题里的最新评论插件,有了方向就好办事了,最终在该插件的js里找到了相关语句:

var url = _self.param.serverUrl;
url += '?action=rc-content';
url += '&id=' + item.id.replace(_self.config.itemIdPrefix, '');
url += '&_=' + Date.parse(new Date());

到这里,找到页面生成的原因了,确认不是被人恶意挂马之后,也就心定了。接下来tiandi尝试在google和baidu搜索同样的信息,都没有找到,于是暂时得出个结论soso对robots.txt的判定比较差,正当准备去看网站的robots.txt的内容的时候,却惊奇的发现竟然网站上没有放robots.txt文件。大乌龙啊,之前还刚刚发过一篇《wordpress下的robots.txt标准写法》,这下tiandi囧死过去了。

从另一方面来看,soso和google,baidu之间还是有点差距的,google和baidu的蜘蛛看来能自动屏蔽带有?的链接的内容,而soso还是统统爬过。

文章评分1次,平均分5.0

本文原始地址:https://www.tiandiyoyo.com/2013/05/forget-made-robots/
本站所有文章,除了特别注明外,均为本站原创,转载请注明出处来自www.tiandiyoyo.com

您可能还会对以下文章感兴趣:

    没有相关的文章

评论前先开启评论开关:


22 Comments

  1. Mooc :

    robots.txt 如果是WP 不应该自动生成了一个虚拟的吗?

  2. robots.txt在WP默认情况下没什么作用。
    google和baidu的蜘蛛看来能自动屏蔽带有?的链接的内容。这个要是真的话,那使用WP默认地址的博主情以何堪啊,默认的地址是带?的。

    还有提醒一句:
    你的写法错误。
    Disallow: /cgi-bin/ 没有必要
    Disallow: /wp- 格式错误,且没必要
    Disallow: /trackback/ 没有必要
    Disallow: /feed/ 没有必要
    Disallow: /category/*/* ——————————这个决不能禁止。你的分类目录就是用的这个格式,还禁止蜘蛛访问?难道你只许蜘蛛爬你的首页?
    Disallow: */trackback/ 没有必要
    Disallow: */feed/ 没有必要
    Disallow: /*? 没有必要
    Disallow: /mylogs.txt 没有必要
    Allow: /wp-content/uploads/ 没有必要

    • tiandi :

      确实设置得有问题,谢谢提醒。关于soso收录ajax评论链接,baidu和google没有收录的问题至今不知道正确答案。

  3. 我这边的robots.txt怎么都是自动生成的啊?

  4. 小五 :

    wp不是自带robots吗?

  5. Rilun :

    这个事是不是有点2了 你忘性大了点吧

  6. robots 改了之后就没管过了

  7. 呵呵,还很抱歉呢,以为是谁给我搞的垃圾外链呢.没事哈,处理好久OK了.有时候还真顾不了那么多细节啊!!

  8. 一开始架站的时候我也纳闷,自己有不会robots语法,所以就直接通过访问人家站点的robots文件草草修改就放上去了直到现在也没去管过。哈哈。

  9. 之前我也没有放置过,直到有一天百度发邮件说很多404的时候,我才去看了看,增加了rebots.txt

  10. 好吧我的站貌似没放robots 囧

  11. 估计是soso的问题,我的收录一直不正常。前两天甚至还出现搜索结果把只要包含www和com的都计入的情况,出现了几千万甚至上亿的结果!

  12. 海蓝 :

    SOSO啊 哎 不过也还好了 啥都收要比某度死活不收要好呀

  13. 以前还弄过这个,现在完全不管了

  14. music :

    我站里也没有,也得学习学习去放一个进去。去看看你的那个文章《wordpress下的robots.txt标准写法》。在你这学了不少东西。

  15. 小可 :

    sosoi什么东西都收录,让自己的数据库大一点,全面一点。

  16. 我刚开始的时候也忘记防了,嘿嘿

  17. 哈哈 这个一定得放的

载入分页评论...