python 用 request 库爬虫爬取淘宝详情页碰到了个奇葩问题 为了分析请求，我用的 fiddle，当开启 fiddle 代理，运行代码，无论请求多么频繁，都不会报错 拿掉代理，直接请求，稍稍频繁就报错，这是为什么呢？怎么解决? 下面是报错 requests.exceptions.ConnectionError: ('Connection aborted.', RemoteDisconnected('Remote end closed connection without response')) 代理就是个本地的代理，和 ip 没有关系，为什么有代理就行，没代理就完蛋？ fiddle 对请求做了什么处理呢
This topic created in 2410 days ago, the information mentioned may be changed or developed.
15 replies • 2020-04-01 14:03:37 +08:00
 |
jugeliziMar 31, 2020 via iPhone
1
证书吧
|
 |
2
@jugelizi 已经移除对 SSL 的认证 verify=False，如果是证书有问题的话恐怕直接请求不到吧，我这里是请求频繁就拒绝
|
 |
learningmanMar 31, 2020 via Android
3
估计是用 js 做了反爬
|
|
4
@learningman 我不太明白，如果是做了反爬，为什么加个 fiddle 代理就能开爬呢？
|
 |
None123Mar 31, 2020
5
@learningman 这 tm 和 js 有什么关系 不懂就不要瞎说
|
|
None123Mar 31, 2020
6
@changwenrui2310 改一下请求头
|
|
7
@None123 改什么呢？你的意思是每次请求都改一下？
|
 |
ArJunMar 31, 2020
8
为啥要爬淘宝详情呢，直接调淘宝接口不行吗
|
|
None123Mar 31, 2020
9
@changwenrui2310 headers
|
|
10
@None123 改 headers 的那个参数？
|
|
11
@ArJun 有些东西淘宝官方的接口没有
|
 |
dxasqwApr 1, 2020 via iPhone
12
是不是提交了 gzip 的协议头，然后没有解压处理
|
|
learningmanApr 1, 2020 via Android
13
@None123 如果说我在发送主请求的同时，js 补一个校验呢？
写爬虫第 1 步就是查 js 吧，不查你写个屁，年轻人不要太暴躁。 |
|
None123Apr 1, 2020
14
@learningman 别逗 楼主这个问题和 js 没关系的
|
|
None123Apr 1, 2020
15
@changwenrui2310 照着 游览器的该改
|
Select Language