请问下 selenium 调 geckodriver（Firefox）headless 爬网页，很慢啊，基本一秒多一页，有什么办法提高速度吗？
coolair · Sep 20, 2018 · 2465 viewsThis topic created in 2967 days ago, the information mentioned may be changed or developed.
 |
NostalgiaaaaSep 20, 2018
1
这种从根本上来说就不会快吧。。。试试不加载 js，图片这些？
|
 |
darksandSep 20, 2018
2
不用 selelnium/增加并发 /分布式
|
 |
simonliu2018Sep 20, 2018
3
1 楼的思路可以试试，如果 JS 不能禁掉，可以试试把图片，样式表禁掉。
我以前尝试过 scrapy-splash，这个比 selenium 快。 |
Select Language