如果想在 V2EX 获得更好的推广效果,欢迎了解 PRO 会员机制:
https://www.v2ex.com/pro/about

如果你经常使用铜币置顶主题,持有 V2EX Solana Token 会在每日签到时获得额外铜币:
https://www.v2ex.com/solana
GrahamCloud
V2EX  ›  推广

一个好用的爬虫应该有什么样的功能?有什么有趣的玩法?

  •  5
     
  •   GrahamCloud · Nov 25, 2016 · 28277 views
    This topic created in 3648 days ago, the information mentioned may be changed or developed.

    这两周,我们做了一个目前来看非常易用的云爬虫:

    主页在这里, zaoshu.io

    现在,我们提出了很多酷的设想,也在一步一步慢慢完善。 大家快来玩玩。 如果你也有酷的想法,愿意洗耳恭听。 期待可以一起合作。

    Supplement 1  ·  Feb 6, 2017
    我们精心制作了一个使用视频:
    http://t.cn/RJzmG8v
    Supplement 2  ·  Feb 23, 2017
    昨天更新了 ui ,也做了新的视频。
    http://www.bilibili.com/video/av8748581/
    183 replies  •  2017-04-26 11:13:45 +08:00
    1  2  
    ❮ ❯
    Lothar
    Lothar
    Feb 7, 2017❤️1
    101
    这个东西确实很厉害,不过很好奇,那些需要我隐私信息登录网站才有的数据要怎么处理呢?
    GrahamCloud
    GrahamCloud
    OP
    Feb 7, 2017
    102
    @ELLIA 求加微信 ,需要更多反馈意见!
    Zaoshuio
    每个任务是一天一次,多开任务即可。
    爬分页的功能现在在,控制面板里,年后正在上新版,会大幅变好用。
    GrahamCloud
    GrahamCloud
    OP
    Feb 7, 2017
    103
    @Lothar 这个就要分很多情况了,目前能处理好很多。
    ELLIA
    ELLIA
    Feb 7, 2017
    104
    @GrahamCloud 嗯,加了……
    Xrong
    Xrong
    Feb 7, 2017❤️1
    105
    对于小白挺好,但是真正想要特定网站数据或者自定义强的功能,又觉得隔靴搔痒还不如自己写代码来得方便。
    gongzili456
    gongzili456
    Feb 7, 2017❤️1
    106
    防抓机制怎么破的?
    GrahamCloud
    GrahamCloud
    OP
    Feb 7, 2017
    107
    @Xrong 这版确实如此,马上会上一版新的全面提升。到时欢迎更多意见
    GrahamCloud
    GrahamCloud
    OP
    Feb 7, 2017
    108
    @gongzili456 要一个一个搞定,嗯
    rickwise
    rickwise
    Feb 8, 2017 via iPhone❤️1
    109
    Ajax 分页 能搞定么?怎么做?
    catfish
    catfish
    Feb 8, 2017❤️1
    110



    怎么一个时间抓了这么多次,这个任务我是昨晚开始的。
    nomemo
    nomemo
    Feb 8, 2017❤️1
    111
    怎么说呢,非常理想
    vizards
    vizards
    Feb 8, 2017❤️1
    112
    为什么有的页面分析很久也没有出现结果啊...是学校 asp 做的站点
    GrahamCloud
    GrahamCloud
    OP
    Feb 9, 2017
    113
    @rickwise 分页可以搞,马上发布的新版欢迎玩耍,并且会做一个使用视频。
    GrahamCloud
    GrahamCloud
    OP
    Feb 9, 2017
    114
    @catfish 取消出了问题么
    GrahamCloud
    GrahamCloud
    OP
    Feb 9, 2017
    115
    @nomemo 怎么说呢,这么理想看了好开心啊! 当然有问题一定告诉我
    GrahamCloud
    GrahamCloud
    OP
    Feb 9, 2017
    116
    @vizards 求告知细节认真解决一下!
    zhucha
    zhucha
    Feb 9, 2017❤️1
    117
    如果有多个分页,有时候三个分页,有时候三十个分页,这种在设置每次都抓取三十页,会不会有问题?
    GrahamCloud
    GrahamCloud
    OP
    Feb 9, 2017
    118
    @zhucha 应该不会,如果出了问题,我可以后台帮你看看问题在哪,请放心!
    vizards
    vizards
    Feb 9, 2017❤️1
    119
    r#116 @GrahamCloud 可能是昨天你们网络又出问题了吧,今天看了下又可以了
    GrahamCloud
    GrahamCloud
    OP
    Feb 9, 2017
    120
    @vizards 恩,最近在上新版,多谅解。多提意见!
    lidream2016
    lidream2016
    Feb 9, 2017❤️1
    121
    GrahamCloud
    GrahamCloud
    OP
    Feb 9, 2017
    122
    @lidream2016 现在应该好了!
    zhucha
    zhucha
    Feb 10, 2017❤️1
    123
    假设一个页面有两列,在左键点击第一列的第一个项目时,只会自动添加第一列的其它行的相关内容,然后在 Excel 里面生成第一列。实际第二列的内容和第一列一样,但必须要再点第二列的第一个项目,然后变成 Excel 的第 N 列。
    这样查看起来非常不方便,有没有办法智能识别,或者有什么办法让第 N 列自动移到第一列的下面呢?
    GrahamCloud
    GrahamCloud
    OP
    Feb 10, 2017
    124
    @zhucha 好问题,求加微信! Zaoshuio
    x86
    x86
    Feb 10, 2017❤️1
    125
    好奇有遮罩层的怎么解决
    GrahamCloud
    GrahamCloud
    OP
    Feb 10, 2017
    126
    @x86 现在有好多点子,都在一个一个试着用
    catfish
    catfish
    Feb 11, 2017 via iPhone❤️1
    127
    @GrahamCloud 正常了,之前任务重复运行
    GrahamCloud
    GrahamCloud
    OP
    Feb 13, 2017
    128
    @catfish 多试一试,有问题随时说
    downsky
    downsky
    Feb 13, 2017❤️1
    129
    帐号似乎验不验证没有区别。
    Nat
    Nat
    Feb 13, 2017❤️1
    130
    楼主求个联系方式,我们公司对爬虫方面有业务需求
    DonxYu
    DonxYu
    Feb 13, 2017❤️1
    131
    验证码问题貌似没解决 搜狗微信
    GrahamCloud
    GrahamCloud
    OP
    Feb 13, 2017
    132
    @downsky 48 小时 不激活就有区别了
    GrahamCloud
    GrahamCloud
    OP
    Feb 13, 2017
    133
    @Nat 好啊,微信: Zaoshuio
    GrahamCloud
    GrahamCloud
    OP
    Feb 13, 2017
    134
    @DonxYu 收到,研究中。
    gabri
    gabri
    Feb 14, 2017 via Android❤️1
    135
    好像很有趣
    exoticknight
    exoticknight
    Feb 14, 2017❤️1
    136
    只用一个链接?太过简化的话就容易造成功能薄弱(当然有部分情况也是很方便
    数据结构是给 dom 结构的 class 啊 id 啊路径啊做索引?
    真正用的时候遇到的问题很多事混合的, AJAX 分页,然后爬出的链接要跟踪进去爬真正的数据,还要防反爬
    折腾过不少,最后还是学了一下 scrapy ,起码能 work ……
    GrahamCloud
    GrahamCloud
    OP
    Feb 14, 2017
    137
    @gabri 持续迭代中,求意见
    GrahamCloud
    GrahamCloud
    OP
    Feb 14, 2017
    138
    @exoticknight 通用爬虫一切为了易用吧。
    cqcn1991
    cqcn1991
    Feb 15, 2017❤️1
    139
    用了一下,还是挺好用的
    但是现在只适合抓列表页面,不适合抓详情页面。对比了一下 Import.io, 感觉完善很多,不过比国内的八爪鱼, gooseeker 都好很多了,看好你们
    GrahamCloud
    GrahamCloud
    OP
    Feb 15, 2017
    140
    @cqcn1991 详情页功能我们正在开发中,敬请期待。
    moonkiller
    moonkiller
    Feb 20, 2017❤️1
    141
    lz 你太牛了。我就要个你这样的功能=。=
    GrahamCloud
    GrahamCloud
    OP
    Feb 20, 2017
    142
    @moonkiller 真的?有问题有需要随时说啊
    moonkiller
    moonkiller
    Feb 20, 2017❤️1
    143
    @GrahamCloud 问题太多,不知道从哪儿说 ಥ_ಥ。。。。
    GrahamCloud
    GrahamCloud
    OP
    Feb 20, 2017
    144
    @moonkiller 来加微信: Zaoshuio ,慢慢说
    fhefh
    fhefh
    Feb 20, 2017
    145
    先 mark 试用中
    seiuneko
    seiuneko
    Feb 21, 2017❤️1
    146
    竖屏打开首页没有显示
    "热门数据来源 TOP 16"
    的图标 不过可以点击
    GrahamCloud
    GrahamCloud
    OP
    Feb 21, 2017
    147
    @F0nebula 感谢!
    jadetang
    jadetang
    Feb 22, 2017❤️1
    148
    好奇问一下,你们的爬取机器是只有一台吗,如果数据量过大,会爬取得很慢吗
    GrahamCloud
    GrahamCloud
    OP
    Feb 23, 2017
    149
    @jadetang 用的阿里云
    hoyixi
    hoyixi
    Feb 23, 2017❤️1
    150
    哈哈,赞一个
    GrahamCloud
    GrahamCloud
    OP
    Feb 23, 2017
    151
    @hoyixi 昨天上线了神奇功能,快来试试
    jadetang
    jadetang
    Feb 23, 2017❤️1
    152
    @GrahamCloudge 这个和阿里云没关系的啊。如果 1 万个人用,零点的时候有 100 万个爬取任务在爬取。那么你是弄一台很高配的 ecs 去跑吗
    GrahamCloud
    GrahamCloud
    OP
    Feb 24, 2017
    153
    @jadetang 肯定是分布式的啊……
    jadetang
    jadetang
    Feb 24, 2017❤️1
    154
    @GrahamCloud 那同一个任务是怎么只在一个机器上去跑的?
    GrahamCloud
    GrahamCloud
    OP
    Feb 24, 2017
    155
    @jadetang 我们有非常好的任务调度,嘛,非常好。
    YingJie
    YingJie
    Feb 25, 2017❤️1
    156
    楼主你好,请问你们的爬虫是基于 pyspider 吗?
    peesefoo
    peesefoo
    Feb 26, 2017 via Android❤️1
    157
    以后会收费吗
    GrahamCloud
    GrahamCloud
    OP
    Feb 27, 2017
    158
    @YingJie 接近了
    GrahamCloud
    GrahamCloud
    OP
    Feb 27, 2017
    159
    @peesefoo 流量成本越来越高,以后必须要收费啊
    lneoi
    lneoi
    Feb 27, 2017❤️1
    160
    注册的时候 看到“立即注册造数,获取你的数据”。犹豫了一秒,为什么我要主动贡献我的个人信息给你...然后就明白 我理解错了..
    GrahamCloud
    GrahamCloud
    OP
    Feb 27, 2017
    161
    @lneoi 哈哈哈哈
    cuebyte
    cuebyte
    Mar 7, 2017❤️1
    162
    再次推广之前应该注意一下自己的服务器是否能承载吧?

    你们连一些很简单的博客也刷不出来
    Mitt
    Mitt
    Mar 7, 2017❤️1
    163
    _(:зゝ∠)_ 表示想知道前端后端服务端用了哪些技术
    Suclogger
    Suclogger
    Mar 9, 2017
    165
    可以抓取了,有个问题就是修改网址规则之后重新抓取,用的还是修改前的网址规则?
    benbenlang
    benbenlang
    Mar 10, 2017❤️1
    166
    你们有 QQ 群吗,我想加一个,谢谢!
    GrahamCloud
    GrahamCloud
    OP
    Mar 13, 2017
    167
    @cuebyte 求告知是哪个博客,非常感谢!
    GrahamCloud
    GrahamCloud
    OP
    Mar 13, 2017
    168
    @Mitt 技术交流欢迎加微信: Zaoshuio
    GrahamCloud
    GrahamCloud
    OP
    Mar 13, 2017
    169
    @benbenlang 欢迎加微信: Zaoshuio
    cuebyte
    cuebyte
    Mar 13, 2017❤️1
    170
    @GrahamCloud 王垠的博客
    qianguozheng
    qianguozheng
    Mar 14, 2017❤️1
    171
    打不开。。。
    GrahamCloud
    GrahamCloud
    OP
    Mar 14, 2017
    172
    @qianguozheng 求告知!
    Zicoco
    Zicoco
    Mar 28, 2017 via Android❤️1
    173
    能爬商品评论吗
    Zicoco
    Zicoco
    Mar 28, 2017❤️1
    174
    淘宝的评论不行啊。。。必须先进入页面,点击才能到评论 tab,这个怎么破
    GrahamCloud
    GrahamCloud
    OP
    Mar 28, 2017
    175
    @Zicoco 求告知详情!感谢
    x86
    x86
    Mar 28, 2017❤️1
    176
    tab 页, ajax 等怎么破
    GrahamCloud
    GrahamCloud
    OP
    Mar 28, 2017
    177
    @x86 之后我们会上通用方案。
    binux
    binux
    Apr 21, 2017❤️1
    178
    半年了吧,行对其错误的问题依旧没有解决。
    sohoer
    sohoer
    Apr 21, 2017❤️1
    179
    @binux #178

    就我们两个在说,他还不知道是什么

    等我把 www.hicrawler.com 写完
    GrahamCloud
    GrahamCloud
    OP
    Apr 21, 2017
    180
    @binux 小团队,很多主要功能还在慢慢排期做,低下了羞愧的脑袋瓜儿。
    GrahamCloud
    GrahamCloud
    OP
    Apr 21, 2017
    181
    @sohoer 求加 微信: Zaoshuio
    ooTwToo
    ooTwToo
    Apr 25, 2017❤️1
    182
    服务挂了吧。
    GrahamCloud
    GrahamCloud
    OP
    Apr 26, 2017
    183
    @ooTwToo 没有没有
    1  2  
    ❮ ❯
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   1032 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 84ms · UTC 18:58 · PVG 02:58 · LAX 10:58 · JFK 13:58
    ♥ Do have faith in what you're doing.