liangxuzhai
V2EX  ›  问与答

请教如何爬这个网页中的内容

  •  1
     
  •   liangxuzhai · Mar 30, 2016 · 2299 views
    This topic created in 3870 days ago, the information mentioned may be changed or developed.

    打算爬取的网址为: https://www.wunderground.com/q/zmw:00000.1.54511

    目标: 爬取页面中 “ 10-Day Weather Forecast ” 下方 ->Table ->"星期五(或者随便某一天,需要点开)" -> 抓取 "时间 气温 感觉好像 露点 湿度 状况 Precip. Liquid Precip. 风 云量 气压" 这个表格中的所有内容。

    麻烦知道的给个思路,谢谢!

    PS :常规的爬取网页源代码貌似不行(爬取不完全),源码中没有这个表格的数据,可能是我没有找对爬取方法。望各位赐教。

    8 replies  •  2016-03-31 09:16:13 +08:00
    qwjhb
    qwjhb
    Mar 30, 2016❤️1
    1
    //*[@id="horizontal-day-89"]/div[3]/table

    不就是这个 table 吗?
    jugelizi
    jugelizi
    Mar 30, 2016
    2
    异步加载 f12 看一下呗
    liangxuzhai
    liangxuzhai
    OP
    Mar 30, 2016
    3
    @qwjhb 请问这个源代码如何通过程序获得?我通过 chrome 浏览器的 F12 也是可以分析到的,但是我想通过程序自动获取每一天的天气等状况。但是我通过程序( c#或者 python )没法抓取到这部分的数据,烦请指教,谢谢!
    qwjhb
    qwjhb
    Mar 30, 2016
    4
    用无头浏览器
    liangxuzhai
    liangxuzhai
    OP
    Mar 31, 2016
    7
    @hjq98765 谢谢!
    liangxuzhai
    liangxuzhai
    OP
    Mar 31, 2016
    8
    @taurenshaman 顿悟,谢谢!
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   4473 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 30ms · UTC 01:12 · PVG 09:12 · LAX 17:12 · JFK 20:12
    ♥ Do have faith in what you're doing.