最近写一个爬虫，根据输入的关键字抓取某电商网站的搜索结果。实际应用时估摸着请求了5、6次，然后便直接跳转到登录页面，需要登录才能进行抓取，所以就只能登录再抓了。
可是我很好奇，这种验证机制背后的原理是什么？！有大神能够解答一番嘛，不甚感激！
推荐学习书目
› Learn Python the Hard Way
Python Sites
› PyPI - Python Package Index
› http://diveintopython.org/toc/index.html
› Pocoo
值得关注的项目
› PyPy
› Celery
› Jinja2
› Read the Docs
› gevent
› pyenv
› virtualenv
› Stackless Python
› Beautiful Soup
› 结巴中文分词
› Green Unicorn
› Sentry
› Shovel
› Pyflakes
› pytest
Python 编程
› pep8 Checker
Styles
› PEP 8
› Google Python Style Guide
› Code Style from The Hitchhiker's Guide
This topic created in 4130 days ago, the information mentioned may be changed or developed.
 |
latyasJul 14, 2015
1
233 难道是淘宝
|
 |
crayygyJul 14, 2015
2
233不要测试淘宝
注意友好 |
 |
wind4Jul 14, 2015
3
referer、cookie、csrf、请求间隔……只想到这么多
|
 |
estJul 14, 2015
5
2333 最弱的反爬虫手段。
|
 |
frankzengJul 14, 2015
6
加上user-agent，然后随机暂停一下
|
 |
akiraJul 14, 2015
7
同一IP短时间内访问次数，这个限制也蛮常见的
|
 |
ljcarsenalJul 14, 2015
9
据说taobao有复杂的检测模型。。。不光是上面提到的那些
|
 |
10
|
|
11
@frankzeng 就是会有大量的请求啊。。不然我也乐意停一停，不过也太吊了，请求几次就要登录了。。
|
|
12
@est 该如何是好。。。
|
|
13
现在是14：35分，我又能搜了。。我直接F5手动刷新。。若干次后，又直接跳转登录页面了。。
|
 |
nullccJul 14, 2015
14
这种类似CC攻击的请求是有可能被拦截的，内部验证机制可能会相当复杂，user-agent，referer这些的有可能会去验证，还有就是CC攻击几乎是一些纯粹的页面攻击，大多并不会去请求这个页面所加载的一些其他文件，有一种做法是去查看某个IP在加载某页面时是否还加载了相关文件，但从防护角度来说这个方法是相当复杂的。
|
|
nullccJul 14, 2015
15
尽管有各种验证机制，就算能绕过，但同个IP过于频繁的请求还是有可能被加入黑名单
|
|
16
@nullcc 那估计只能不停换ip去访问了。但是有什么简单的办法确定何时换ip？
|
 |
pawJul 14, 2015
17
打开chrome ，右键 审查元素， 打开淘宝 搜索
然后把chrome发出请求的全部头和cookies都添加到爬虫去。。 |
|
nullccJul 14, 2015
18
@aragakiiyui 除非能知道对方的计算方式，如果不怕累的话，不断累加请求去发。。
|
 |
imn1Jul 14, 2015
19
很明显大数据检测出不是“常用设备”
|
|
latyasJul 14, 2015
20
淘宝估计是各URL有相应的单位时间访问次数限制，这个单位时间不是1s，可能是一段时间，并且全天各时间段都不一样，然后按照行为给予客户端惩罚值，超过了就要输验证码，然后这个阈值会提高，再次达到时又要输验证码，再次提高，有点像E绅士，233
|
|
estJul 14, 2015
21
@paw 没用。比如用js插入一段css加载了一个background的图片，爬虫没加载，直接封ip。
@aragakiiyui 其实对付这种只有一个办法：买ip。淘宝批发代理ip很便宜，1元钱1w个的样子。 |
|
frankzengJul 14, 2015
23
@aragakiiyui 这种事急不来的，延长时间，慢慢爬。
|
 |
t2xingzheJul 14, 2015
24
记得爬豆瓣的时候也会出现验证你是否是机器人，大概有每分钟访问次数判断
|
 |
realpgJul 14, 2015
25
我业余就是搞各种黑科技的。
反自动化、自动化识别是其中最好玩的，你在跟一大帮其他顶尖程序员战斗。 不用淘宝，就我自己都有一大把模型去判断你到底是什么东西，淘宝受限于规模过大，还不好部署一些奇葩的黑科技东西，自己弄就好多了。 识别非人类用户，半非人类用户的方法太多了，随便组合组合，随机的，再结合访问次数，就够杀掉你了。 最基础的，你用一个固定IP的服务器去抓东西，这都不用专业的反自动化引擎，基本的IP判断结合特征就把你识别透了。 |
|
27
@paw 这个都知道啊，问题是，你用chrom手动F5刷新都能被跳转。。。不信你试试，一淘网。。
|
|
28
@realpg 那除了换ip没有别的方式了？！
|
|
29
@t2xingzhe 豆瓣有次数限制的，而且也提供了API。
|
|
realpgJul 15, 2015
30
@aragakiiyui 怎能换IP这么简单？
你试图去爬淘宝，你的技术储备够么？淘宝是明确的禁止其他搜索引擎抓取的大网站，有专门的反抓取技术部门 上一份要爬淘宝的业务，技术顾问职位给我开的价是在职干三个月给120K，我都没干 既然去抓淘宝，那都是巨挣钱的项目，不是撸cb就是撸iic，哪个缺钱……找专家吧 |
Select Language