推荐学习书目
› Learn Python the Hard Way
Python Sites
› PyPI - Python Package Index
› http://diveintopython.org/toc/index.html
› Pocoo
值得关注的项目
› PyPy
› Celery
› Jinja2
› Read the Docs
› gevent
› pyenv
› virtualenv
› Stackless Python
› Beautiful Soup
› 结巴中文分词
› Green Unicorn
› Sentry
› Shovel
› Pyflakes
› pytest
Python 编程
› pep8 Checker
Styles
› PEP 8
› Google Python Style Guide
› Code Style from The Hitchhiker's Guide
cr4fun
V2EX  ›  Python

用 Python 抓取图片,用 wget 下载,那速度,让你怀疑人生

  •  
  •   cr4fun · Aug 2, 2018 · 7627 views
    This topic created in 3024 days ago, the information mentioned may be changed or developed.

    1、clone

    git clone https://github.com/pmthink/get_pic_for_4chan.git
    

    2、install

    cd get_pic_for_4chan
    
    pip3 install -r install.txt
    

    3、download

    python3 get2.py
    

    demo

    demo

    说明,本来想用多线程的,但是搞来稿去,觉得还是 wget 简单粗暴有效。

    后续,打算做成 sqlite 的,把每个图片存进去,以便日后更新时不重复下载。

    当然,为了追溯,最好能用区块链把图片的指纹给上链,哈哈哈。

    声明,本程序默认下载 diy 频道的手工制作方面的图片,你们若用这个爬虫下载其他频道的东西,毁了三观可和我无关。

    16 replies  •  2018-08-07 17:49:34 +08:00
    qsnow6
    qsnow6
    Aug 2, 2018 via iPhone
    1
    迅雷了解下
    Mogugugugu
    Mogugugugu
    Aug 2, 2018
    2
    搞出一堆下载链接,然后扔在迅雷里面不就好了么 - -
    OpenJerry
    OpenJerry
    Aug 2, 2018 via Android
    3
    楼上+1,把下载链接整理好,批量导入专门的下载工具
    imn1
    imn1
    Aug 2, 2018
    4
    1.下载工具
    2.多个 wget 一起来,我以前就是这样
    imn1
    imn1
    Aug 2, 2018
    5
    @imn1
    3.pip install wget
    import wget
    ……
    annielong
    annielong
    Aug 2, 2018
    6
    以前懒省事,也用 python 采集图床,直到下载到两三百兆大小的 GIF 文件,把 python 拖崩溃
    tomfs
    tomfs
    Aug 2, 2018
    7
    python 调用迅雷的 SDKServer 了解下?
    29EtwXn6t5wgM3fD
    29EtwXn6t5wgM3fD
    Aug 2, 2018
    8
    RPC 调用 aria2 怎么样
    cr4fun
    cr4fun
    OP
    Aug 2, 2018
    9
    @shengyu 这个比较好,至少可以丢到服务器上去下载。
    longyutao444
    longyutao444
    Aug 2, 2018
    10
    还好有最后一句,要不谁知道是 hm 还是 hc …
    RqPS6rhmP3Nyn3Tm
    RqPS6rhmP3Nyn3Tm
    Aug 2, 2018
    11
    switch fork()
    case 0: execl(blah blah)
    msg7086
    msg7086
    Aug 3, 2018
    12
    aria2 的链接文件批量下载了解一下,还能重用 HTTP 连接。
    xiaqi
    xiaqi
    Aug 3, 2018 via Android
    13
    调用 wget,还不如调用 axel,多线程,而且还不怕网络中断
    cz5424
    cz5424
    Aug 3, 2018 via Android
    14
    系统命令调用 wget &😉
    jimmyczm
    jimmyczm
    Aug 3, 2018
    15
    我用 requests。。感觉还可以
    cr4fun
    cr4fun
    OP
    Aug 7, 2018
    16
    @jimmyczm requests 很慢啊
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   2192 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 51ms · UTC 14:29 · PVG 22:29 · LAX 06:29 · JFK 09:29
    ♥ Do have faith in what you're doing.