reloop
V2EX  ›  问与答

临时的抓取任务有什么更幸福的办法?

  •  
  •   reloop · Mar 4, 2015 · 4161 views
    This topic created in 4272 days ago, the information mentioned may be changed or developed.

    困扰很久的问题了

    比如 https://qdan.me/?from=header

    我在 firefox 用 viewXpath

    结果是这样的

    为啥不显示图片

    要一个一个复制 , 痛啊

    有什么更幸福的办法吗?

    8 replies  •  2015-03-13 10:19:59 +08:00
    shakoon
    shakoon
    Mar 4, 2015
    1
    按键精灵、易语言做这种活最高效了
    yappa
    yappa
    Mar 4, 2015
    2
    python requests BeautifulSoup
    reloop
    reloop
    OP
    Mar 4, 2015
    3
    @shakoon 能详细一点吗 , 都没用过~!~
    reloop
    reloop
    OP
    Mar 4, 2015
    4
    @yappa 这个是不是还要解决登陆的问题什么的 , 有些页面是要登陆 , 有些是 ajax 的 用这个可以完成任务?
    yappa
    yappa
    Mar 4, 2015
    5
    ajax会比较复杂,估计要用到phantomjs,还没试过。
    selenium webdriver + Beautifulsoup可以试一下。
    reloop
    reloop
    OP
    Mar 4, 2015
    6
    @yappa 谢谢!! 我了解一下
    liad
    liad
    Mar 4, 2015❤️1
    7
    控制台运行:$x('//a/@href').map(function(item){return item.value}).join('\n')
    reloop
    reloop
    OP
    Mar 13, 2015
    8
    @liad 这才是最赞的....幸福哭了
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   4388 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 28ms · UTC 08:43 · PVG 16:43 · LAX 00:43 · JFK 03:43
    ♥ Do have faith in what you're doing.