你们的网站有被360 spider无视robots.txt地狂抓吗？

robots.txt alone is not enough

@chemhack but the spiders are supposed to follow the robots.txt, right? Some spiders, like 360, may ignore the file, and you cannot do anything about that but find out their IPs, and block them.

I would say it is not decent at all to ignore the robots.txt files. That is the very basic principle for a search engine, isn't it?

@lala 从360的角度，这种行为不会被大众骂，因为一般人连spider是啥都不懂，如果我是流氓周我也这么干。你自己做站的话应该能考虑到这些问题，不光是搜索引擎的spider，还有好多堆垃圾站的人采集器也会来爬。只是ip匹配也是不够的，那个只能事后处理，你要不看log的话就不知道了。javaeye有一套能自动屏蔽爬虫的系统，是利用行为分析来识别的。但是后来那套系统把我党的爬虫给屏蔽了，然后javaeye就被关站了。

robots协议里面水很深，不能多说～～

@cabbala 这种说法很没有意思。

try this http://perishablepress.com/6g-beta/

不能留芳百世也要遗臭万年，很显然 周垃圾做到了。
就象当年他不管3721地给人们装上3721一样，现在我们也是不管3721地排斥一切与这个周垃圾有关的东西，不管是什么，不管质量是怎么样，人品已经在那儿摆着了，我真是不明白为什么还会有投资人给这种人机会，哎，我们out了