爱意满满的作品展示区。
facert

做了一个动态可配置化的 Python 爬虫工具网站

  •  1
     
  •   facert · Dec 4, 2017 · 5815 views
    This topic created in 3269 days ago, the information mentioned may be changed or developed.

    这段时间开发了一个动态可配置的爬虫网站 http://www.anycrawl.info,基于 scrapy,提供一些配置项,5 分钟就可生成一个通用爬虫,并可直接下载代码使用。

    上 demo 和 截图

    爬取豆瓣害羞组的帖子和图片: https://www.douban.com/group/haixiuzu/discussion

    项目地址: http://www.anycrawl.info/project/15/

    配置上图的选项后,即可下载爬虫源码使用

    更多教程可参考这篇文章: https://zhuanlan.zhihu.com/p/31659456

    10 replies  •  2017-12-06 19:01:32 +08:00
    Lax
    Lax
    Dec 4, 2017
    1
    宣传的例子直接 17+ 啦
    还有好多小学生,建议换个别的组 [正义脸
    zqjilove
    zqjilove
    Dec 4, 2017
    2
    今天见到最亮的产品了 。
    hwwh1999
    hwwh1999
    Dec 4, 2017
    3
    收藏一个!
    mon3
    mon3
    Dec 4, 2017
    4
    看了这个小组之后对你的爬虫没兴趣了。
    zirconium
    zirconium
    Dec 4, 2017 via iPhone
    5
    mark
    facert
    facert
    OP
    Dec 4, 2017
    6
    @Lax
    @mon3 看来我得换个正经的小组 ;-)
    fhefh
    fhefh
    Dec 4, 2017
    7
    今天看到另外一个帖子 也准备这么搞的 跟楼主想到一块去了
    哈哈哈
    Fe1Fan
    Fe1Fan
    Dec 6, 2017
    8
    看了这个小组之后对你的爬虫没兴趣了+1
    feiniu
    feiniu
    Dec 6, 2017
    9
    豆瓣还能这么玩,长见识了。看来是我太单纯啊
    bao3
    bao3
    Dec 6, 2017
    10
    我是很认真看楼主的产品,可是点开的那一刻,我一直在看豆瓣了。。。。。
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   4708 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 37ms · UTC 03:10 · PVG 11:10 · LAX 19:10 · JFK 22:10
    ♥ Do have faith in what you're doing.