代理池一找一大堆,造这个轮子是因为学了异步想实践一下,捞一波⭐。
目前在开发中,打算加个高匿性检测🙃
https://github.com/cwjokaka/ok_ip_proxy_pool
欢迎提建议
代理池一找一大堆,造这个轮子是因为学了异步想实践一下,捞一波⭐。
目前在开发中,打算加个高匿性检测🙃
https://github.com/cwjokaka/ok_ip_proxy_pool
欢迎提建议
|
1
自顶↑
|
|
2
不要只收藏啊😅
|
|
jziwenchenSep 27, 2019
3
支持 !
|
|
NorthxwSep 27, 2019
4
建议:'test_url': 'http://www.baidu.com' 这个链接改成可配的最好,搞百度么得意思~
|
|
HuberyPangSep 27, 2019
5
不错不错 验证 ip 代理类型可以看下用这个 https://github.com/pangxiaobin/proxy_ip_pool/blob/master/ProxyIPPool/utils/validator.py 这个也是参考 githup 上的一个项目 感觉不错
|
|
6
|
|
7
UP
|
|
fengshilsSep 27, 2019
8
给你支持一下
|
|
DonaidTrumpSep 27, 2019
9
学一下 rust 的异步,拿 rust 写吧
|
|
mxy940127Sep 27, 2019
10
这些免费代理 真的有用么..
|
|
vtwoextbSep 27, 2019
12
赞
|
|
13
UP
|
|
15
@sadfQED2 我弄了一个简易评分的规则,每隔一段时间验证代理,通过验证的加分,不通过的减分,0 分的代理标为不可用。虽然不能百分百杜绝代理不可用的情况,但至少可以提高请求的成功率。^O^
|
|
jiagerSep 27, 2019 via Android
16
没想到你一直在做呀,之前找代理 IP 池的时候看见过你的,那时候好像你刚开始写,最后还是选的 github 上那个 7.8kstar 的,过两天试试你这个
|
|
17
偶尔会出现 sqlite 被锁了
|
|
18
@jasonqiao36 是的😂,我查过 sqlite 是锁文件的,如果更新频率过快会有这种情况。
有没有大佬可以提出解决 /缓解方案 |
|
psychologeSep 28, 2019
21
支持一下,以后有可能需要用到。
|
|
22
@jasonqiao36 后续扩充这种方式
|
|
yangvaSep 28, 2019 via Android
23
借楼自推一波,还望楼主不要介意[嘻嘻]。同样用 python 写的 ip 代理池,有 gevent 协程、线程池、线程池+异步一共三种运行方式,相关配置文件里有说明。
https://github.com/Eeyhan/IPproxy |
|
uxffOct 2, 2019
24
有些能用有些不能用
|