当爬虫遇到数据量巨大且防爬机制做的好的网站时，就很尴尬，爬的太快，会被封；速度降下来，进度条就不再前进了。 请教各位 V 友们，面对大型网站随时可能更改反爬策略，需要做出如何选择呢？
1、放慢速度，尽量不被发现，以时间换数量
2、全速爬取，能爬多少是多少，被封了再想办法
3、还有其他好方法吗，求教
• 请不要在回答技术问题时复制粘贴 AI 生成的内容
This topic created in 3134 days ago, the information mentioned may be changed or developed.
 |
R18Apr 15, 2018 via Android
1
代理池了解一下
|
 |
zhjitsApr 15, 2018
2
多买 IP 地址
|
 |
golmicApr 15, 2018 via Android
3
愿意付费我可以接
|
 |
4
|
 |
boom7Apr 15, 2018 via Android
5
都亿级数据了你还想着用免费代理…差这点钱？
|
 |
beforeuwaitApr 15, 2018
6
这种情况哈，多代理的是必须的。
|
|
8
@beforeuwait 多代理搞起啊，有好用的推荐一下
|
 |
16
免费不太可能。
我知道一家跟你差不多的，亿级数据，有反爬措施。不仅如此，要爬的信息还是付费的，每个付费账号只能爬几千条。 他们在公司附近租了个民房，里面拉了 N 条宽带，电信联通移动等，能拉的都拉，能装几条就装几条（本来联通限制每个地址只能装 2 条，但搞定装机师傅，可以以邻居的地址装）。房间里放个机柜，服务器上跑的全是爬虫，爬几条就重新拨号换 IP、换账号…… |
2 |
gabonApr 15, 2018 via Android
17
某代理网站买动态代理爬了一亿多的微博数据。
|
|
gabonApr 15, 2018 via Android
18
@lihongming 原来是这样。。之前买的时候还在想他们怎么搞的
|
 |
knightdfApr 16, 2018
19
@lihongming 牛逼
|
 |
simonswwApr 16, 2018
20
@lihongming 这种的话，在一个地方，不停的拨号每天能获取的 ip 也是有限的吧，就算电信+联通+移动，每天 ip 数应该有限吧。（不过我没试验过）
|
 |
AntidictatorApr 16, 2018
21
emmmmm，趁监控不注意？(看到"怎么避免惊动"，突然想皮一下)
|
|
22
@Antidictator 刚觉得它没注意你，立马就被封掉的失落感啊😣
|
 |
afproApr 16, 2018
23
现在爬人家数据都这么明目张胆的嘛
|
|
afproApr 16, 2018
24
就没考虑过发个邮件购买一份数据？
|
 |
vtwoextbApr 16, 2018
25
重启路由器 机制 源码 https://github.com/hizdm/dynamic_ip
|
|
27
总结下来，简单粗暴的方法就是买非常多的代理 IP。但是还是有问题的，同类型的服务请求数量剧增，同样会引起注意，最好能模拟用户，在用户活跃的时间点里浑水摸鱼。
|
 |
28
免费的 https://github.com/fate0/proxylist 了解一下
|
Select Language