推荐学习书目
› Learn Python the Hard Way
Python Sites
› PyPI - Python Package Index
› http://diveintopython.org/toc/index.html
› Pocoo
值得关注的项目
› PyPy
› Celery
› Jinja2
› Read the Docs
› gevent
› pyenv
› virtualenv
› Stackless Python
› Beautiful Soup
› 结巴中文分词
› Green Unicorn
› Sentry
› Shovel
› Pyflakes
› pytest
Python 编程
› pep8 Checker
Styles
› PEP 8
› Google Python Style Guide
› Code Style from The Hitchhiker's Guide
15399905591
V2EX  ›  Python

国外 http 代理库

  •  
  •   15399905591 · Sep 6, 2017 · 11223 views
    This topic created in 3349 days ago, the information mentioned may be changed or developed.
    公司有个爬虫项目,需要使用指定国家的 http,找了好几个服务商都不太合适,主要都是国家太少,好不容易找到一家,研究了半天,结果对方说不支持 goole 的爬虫,我这边需要抓取 goole play。求大神介绍个服务商,跪谢!!
    Supplement 1  ·  Sep 7, 2017
    需要指定国家的代理 IP,付费的也可以,每个国家至少得有几百个 IP,能支持大部分主流国家。
    34 replies  •  2020-04-03 21:40:02 +08:00
    qq583708076
    qq583708076
    Sep 6, 2017
    1
    国外的么
    yuanfnadi
    yuanfnadi
    Sep 6, 2017
    2
    google ?
    15399905591
    15399905591
    OP
    Sep 6, 2017
    3
    @qq583708076 是的,需要能指定国家的
    15399905591
    15399905591
    OP
    Sep 6, 2017
    4
    @yuanfnadi 需要使用指定国家的 IP,抓取 goole 的内容
    nazor
    nazor
    Sep 6, 2017 via iPhone
    5
    自己维护个池吧,我之前做的一个池,总计 8000 个 ip 左右,800 个可用 ip 还是有的,至于国家,那就离线 ip 库查一下,很快的。
    akafeng
    akafeng
    Sep 6, 2017
    6
    什么国家呢 ?
    Soar360
    Soar360
    Sep 6, 2017 via iPhone❤️4
    7
    google play 我爬过 而且很成功 可以拿到所有 sdk 版本的 apk 等
    代理 IP 搭车来一波
    https://proxy.coderbusy.com
    xiaozuo
    xiaozuo
    Sep 6, 2017
    8
    需要什么国家,还有预算?
    ctsed
    ctsed
    Sep 6, 2017 via Android
    9
    @Soar360 高匿普匿什么意思呢
    6IbA2bj5ip3tK49j
    6IbA2bj5ip3tK49j
    Sep 6, 2017
    10
    如果是爬 Google Play,可以选择买特定国家的账号。账号锁区了之后,无论是哪儿的 IP,都是锁区的数据。
    KentY
    KentY
    Sep 6, 2017
    11
    @Soar360 能获取中国大陆 ip 的代理吗?
    Soar360
    Soar360
    Sep 6, 2017 via iPhone
    13
    @xgfan 还是跟 IP 有关的 感觉 IP 的成本比锁区小好多
    Soar360
    Soar360
    Sep 6, 2017 via iPhone
    14
    @KentY 大部分都是国内的 地址归属地不久上线 已经在开发中了
    Soar360
    Soar360
    Sep 6, 2017 via iPhone
    15
    其实 我最初的做法是开多个 ssr,非常好用。
    KentY
    KentY
    Sep 6, 2017
    16
    @Soar360 我想用脚本获取你最快的国内代理....访问国内网站用, 如果你的代理稳定的话. 目前用的网站一个个都关了.
    dsg001
    dsg001
    Sep 6, 2017
    17
    公司项目应该有预算吧,买对应国家的 vps 或服务器,根据预算多绑些 IP
    cuebyte
    cuebyte
    Sep 6, 2017
    18
    我发现 lz 就没打对过 google 这个词
    cuebyte
    cuebyte
    Sep 6, 2017
    19
    对方当然不支持 goole 啦,你从来都没打对过(笑
    Soar360
    Soar360
    Sep 6, 2017 via iPhone
    20
    @KentY 自用的话 付费的 ssr 会好很多
    Yeungsin
    Yeungsin
    Sep 7, 2017 via iPhone
    21
    @nazor 借楼问下 ip 池初始的 IP 资源是网上公开的爬取的么?
    15399905591
    15399905591
    OP
    Sep 7, 2017
    22
    @Soar360 那你的 google play 是区别国家的吗? 不同国家的排行榜都是不同的,google play 会先根据 IP 去确认语言的~
    15399905591
    15399905591
    OP
    Sep 7, 2017
    23
    @nazor 这个量会比较少,我们这边抓取量每天至少是百万级的,这个 IP 数完全不够用,且需要大部分主流国家的 IP。
    15399905591
    15399905591
    OP
    Sep 7, 2017
    24
    @xiaozuo 大部分主流国家都是需要的,具体费用可以去申请。
    15399905591
    15399905591
    OP
    Sep 7, 2017
    25
    @xgfan 买账号肯定不行的,一个是抓取频率限制,且费用比买 IP 高多了。
    15399905591
    15399905591
    OP
    Sep 7, 2017
    26
    @cuebyte 不要在意这么多细节,哈哈
    nazor
    nazor
    Sep 7, 2017 via iPhone
    27
    @Yeungsin 是的,公开的可用率比较低,10%左右吧。
    15399905591
    15399905591
    OP
    Sep 7, 2017
    28
    @nazor 朋友,有国外的 IP 么~~
    Soar360
    Soar360
    Sep 7, 2017
    29
    @15399905591 肯定是按照 IP 区分国家的。
    Yeungsin
    Yeungsin
    Sep 7, 2017 via iPhone
    30
    @nazor 再麻烦下,剩下的 ip 是通过脚本遍历 ip 验证是不是代理找出来的?还是有什么方法啊?机密的话就算啦。多谢!
    nazor
    nazor
    Sep 7, 2017
    31
    @Yeungsin 这肯定要持续更新可用 IP 的,不过验证速度很快的,超时设置短一点即可。
    sunwei0325
    sunwei0325
    Sep 7, 2017
    32
    试过 crawlera 吗
    15399905591
    15399905591
    OP
    Sep 12, 2017
    33
    @sunwei0325 注册了没发激活邮件就没用了。。
    thomasRZ
    thomasRZ
    Apr 3, 2020
    34
    www.rola-ip.site 不错,全球 210+国家 IP,支持 http/socks 协议。全部高匿名 IP 。爬过 amazon 。。。溜
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   1539 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 47ms · UTC 08:02 · PVG 16:02 · LAX 00:02 · JFK 03:02
    ♥ Do have faith in what you're doing.