这两周，我们做了一个目前来看非常易用的云爬虫：
现在，我们提出了很多酷的设想，也在一步一步慢慢完善。 大家快来玩玩。 如果你也有酷的想法，愿意洗耳恭听。 期待可以一起合作。
如果想在 V2EX 获得更好的推广效果，欢迎了解 PRO 会员机制：
https://www.v2ex.com/pro/about
如果你经常使用铜币置顶主题，持有 V2EX Solana Token 会在每日签到时获得额外铜币：
https://www.v2ex.com/solana
https://www.v2ex.com/pro/about
如果你经常使用铜币置顶主题，持有 V2EX Solana Token 会在每日签到时获得额外铜币：
https://www.v2ex.com/solana
This topic created in 3637 days ago, the information mentioned may be changed or developed.
Supplement 1 · Feb 6, 2017
我们精心制作了一个使用视频：
http://t.cn/RJzmG8v
http://t.cn/RJzmG8v
Supplement 2 · Feb 23, 2017
昨天更新了 ui ，也做了新的视频。
http://www.bilibili.com/video/av8748581/
http://www.bilibili.com/video/av8748581/
 |
1
能分页爬嘛？
|
1 |
2
@lins 可以啊，修改规则里面。
|
 |
3
楼主选择页面的标签的那个功能能开源吗？好喜欢。
|
 |
4
蛮酷的 主要用啥语言爬的？
|
|
5
@greatghoul 暂时不能，哈哈，还要完善。
|
 |
6
上周已经试用了
|
 |
7
感觉好牛逼，特别是交互酷炫
|
 |
8
“执行出错”，能不能把出错信息贴出来？
|
 |
9
|
 |
10
每太用明白，选择规则时候点框框是什么意思，关键词么？没点击就选上了，选上还有时候取消不了，并且一个链接很多的页面好像并没有爬其他的页面呢...并且分析报告也没看懂，有没有文档啥的额...
|
 |
11
测试了一下,被我的博客防镜像拦截了.说明有些加了保护的网站也是爬不了的.
|
|
12
@tumbzzc 如果告诉我您的邮箱，我们后台帮您排查一下
|
|
13
@wshedu 欢迎加我的微信， Zaoshuio
我们想了解能不能做到更多个性化的要求。 |
|
14
@carlding123 分页是目前最大的问题，我们争取这周能拿出一个好的方案来。
|
|
15
@misaka20038numbe 我们是模拟了一个浏览器在访问，求加微信 Zaoshuio
|
 |
billyellowNov 28, 2016
16
蛮有意思的，支持支持
|
|
17
@GrahamCloud 原来是用了框架,怪不得.我不怎么用微信.
|
|
18
@GrahamCloud 已添加微信。就是我这个帐号
|
|
19
@misaka20038numbe 给的意见非常宝贵，感谢。
|
|
20
@wshedu 白天就加，手机拉下了。
|
 |
21
说实话，真的很酷
|
|
22
不过我要的数据貌似是没获取到
|
|
23
@cougar 求问是什么数据，能帮到最好。
|
|
24
@GrahamCloud 我现在页面提示一直在执行中有一小时了，我的账号是 cougar999 ，在 gmail.com ，你应该能看到吧
|
|
25
@cougar 看到了，在解决。
|
 |
26
哦,使用示例这里有拉勾的中山区域连接的? 这个怎样实现的?
|
|
27
@kenshinhu 结合定位。
|
|
28
@cougar 方便的话加下微信或者首页客服里聊聊吧，好像还在卡。认真解决一下。
|
 |
29
邮件 token 非法
|
|
30
感谢！
|
 |
31
打算爬一下国家统计局的行政区划，感觉不大会用呢
|
|
32
@yu550461029 想爬什么样的，具体说说？
|
 |
33
支持，有空体验一下
|
 |
34
界面交互不错，爬爬微信公号
|
 |
35
页面元素只能选取,不能直接交互:
http://www.huipinzhe.com/nanzhuang?page=1 遇到有全屏遮罩的还得手动 F12...... 如果有的页面需要一系列操作 JS 拼接的数据,是不是就无法采集? |
|
36
@quericy 因为上新 ui 的缘故，完成创建的步骤今天卡住了，采集方面，应该是能支持的。
|
|
37
|
|
38
@quericy 这个坑确实是有点大，现在还在解决。欢迎加微信： Zaoshuio
|
 |
39
没有 api 吗
|
|
40
@saber000 这是这两周的安排。
|
|
41
@saber000 api 需求欢迎提交给我，微信 Zaoshuio
|
 |
42
试了试爬知乎首页
 |
|
43
@lakewong 不不，不能爬首页，对于知乎，将来可以通过 api 来搞。
首页的示例里，链家，拉钩这样的，是我们的主要应用场景。 |
 |
44
域名早熟？
|
|
45
@xvx 晚熟，晚熟。
|
 |
mingyunDec 12, 2016
46
厉害了我的哥，赶紧去看看
|
 |
47
下回节点能放在推广吗
|
 |
48
试试爬一下多看电子书，自己爬比较麻烦的是代理池、防抓取等还需要自己做
|
|
49
@baiyi 其实倒真不是推广，是诚心来探讨聊天来着。推广肯定会买广告位，现在产品不成熟还是求意见聊场景的阶段。
|
|
50
@GrahamCloud 嗯 加油做一个好产品!
|
|
51
失败了，这个失败都没有地方 debug 。。。
就一个执行失败。。。我还是老老实实的用 scrapy 吧<_< |
 |
52
指哪爬哪能做到就已经能够很好了
|
|
53
@9hills 我去后台看下啥情况。求告知邮箱
|
|
54
|
|
55
@9hills 为了易用， debug 暂时不能给使用者，现在只能我们尽量帮 debug
|
|
56
@hakulamatata 产品上问题还特别特别多
|
|
57
@hakulamatata 看哪不好随时说。
|
 |
58
没人试试高校的教务管理系统吗？ aspx 页面，某果，界面是空白的。
|
|
59
@haigeek 求告知网址！
|
|
60
@GrahamCloud http://kmustjwcxk1.kmust.edu.cn/jwweb/ 这个是登录地址，是需要账户和密码的。
http://kmustjwcxk1.kmust.edu.cn/jwweb/MAINFRM.aspx 这个是登录上去的 但是我怕你还是打不开 但是你看后缀是 aspx 的，在页面直接是没有右键选项的。这个管理系统是青果，似乎国内用的也不少，听说是便宜。可以根据信息参考下。 |
 |
61
能不能设置规则，爬完列表下钻到详细页爬其他信息
|
|
62
@iammapping 正在努力搞这个功能。
|
|
63
@haigeek 太感谢了！求加微信： Zaoshuio
|
 |
64
以前有一个国外的网站提供一样的服务，后来被收购了。。就没有服务了。。体验很不错。试用一下~
|
 |
65
试着爬链家十个页面。。不知道为什么快十分钟了还是在执行任务中。。。
任务能否有个进度条。。 还有可否增加终止任务？？ |
 |
66
恕我无理，这个东西和火车头之类的相比有什么优点？可视化吗？实际操作试了一下，好像不是很利啊。
比如 http://videos.yizhansou.com/这个站，点选下面的剧集会连上面的置顶剧集一起选择，这个怎么解。。。 |
 |
67
|
|
68
@isb 这个提议非常好
|
|
69
@siknet 现在这个站点进去没东西，现在智能识别问题是还有，谢谢发现这个问题
|
|
70
@RyuZheng 这个会作为重点帮你搞定
|
 |
71
多久才能出结果…… 随便扔了个页面地址过去，十几分钟了还在“分析页面”中……
|
|
72
@ivvei 应该是几秒钟就该分析好了，是什么网站。
|
|
73
|
|
74
@GrahamCloud http://www.zjsgat.gov.cn/jwzx/jsyw/index_1.html 这个，浙江省公安厅新闻页
|
|
75
@GrahamCloud 今天试了下，倒是可以出结果了。不知道是不是昨天网络问题……
|
|
76
@ivvei 昨天有一段时间是出现了网络问题，嗯。
|
|
77
@ivvei 这个网站需要的数据，你看都能按你要求下来不。
|
|
78
@GrahamCloud 还不错。虽然有小部分错乱，但是我要的数据还是取到了的。要是能支持翻页就好了。
|
|
79
@ivvei 翻页是支持的，在你的控制台地址设置里面。
|
 |
80
很赞！
|
 |
81
坐等开源
|
 |
83
这个怎么用呢 爬的数据能自己保存到数据库么
|
|
84
一直提示链接超时
|
 |
85
刚刚用 https://www.v2ex.com/ 试了一下，结果是 ERR_CONNECTION_RESET
|
 |
86
一直出错啊~
|
|
87
|
|
88
@haoxuexiaoyao 爬的数据可以保存到数据库
|
|
89
@isnowify 谢谢支持！
|
|
90
@cxl008 一直在上新功能，估计可预见的时间不会开源
|
|
91
@GrahamCloud 如果可以批量爬就更好了 比如某个成绩查询页面 直接枚举批量 post 准考证号得到结果
|
 |
92
@GrahamCloud http://www.whwater.com/gsfw/tstz/ 爬不动？执行出错
|
|
93
嗯，现在好像能用了……
|
 |
94
试了一下 百度新闻，失败 4 次
难道我姿势不对？ |
 |
95
@GrahamCloud 想爬取 http://xueshu.baidu.com/u/paperhelp/ 这个页面的“待应助” 下面的 “等待应助” 这个子标签页下的每一栏的文题。发现没法点击“等待应助” ，没法点进去。
|
|
97
@isnowify 这个功能马上就会上
|
|
98
|
|
99
@sphawkcn 这个分页功能这一版还不支持，之后的一版会有改进。欢迎加 微信： Zaoshuio
|
|
100
今天有数据了，不过有几个问题，第一就是只会爬一页，如果需要第二页我得手动加入网址。
其次是目前只支持定时一天爬一次是吗？还是未来也这样。 最后就是我设了邮箱，但是没有收到邮件…… |
Select Language