fghfjujiber
V2EX  ›  问与答

在写爬虫,请问 https 的网站能爬嘛?

  •  
  •   fghfjujiber · Jul 2, 2015 · 7469 views
    This topic created in 4150 days ago, the information mentioned may be changed or developed.

    应该是可以的吧?还有啥叫分布式爬虫呢?

    6 replies  •  2015-07-02 20:56:32 +08:00
    Septembers
    Septembers
    Jul 2, 2015
    1
    可以
    CC @binux
    kenneth
    kenneth
    Jul 2, 2015
    2
    分布式就是不是单机的用法,多机器的来爬。这样就Elastic。
    learnshare
    learnshare
    Jul 2, 2015
    3
    对网页内容来说,HTTP 和 HTTPS 并无差异
    imlonghao
    imlonghao
    Jul 2, 2015 via Android
    4
    sivacohan
    sivacohan
    Jul 2, 2015 via Android
    5
    你的爬虫支持ssl就行,如果你用requests。
    那http和https没什么区别。当然python2可能会踩到ssl的坑,可以通过patch来解决。
    julyclyde
    julyclyde
    Jul 2, 2015
    6
    为什么会有这种问题
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   4315 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 38ms · UTC 08:24 · PVG 16:24 · LAX 00:24 · JFK 03:24
    ♥ Do have faith in what you're doing.