如果想在 V2EX 获得更好的推广效果，欢迎了解 PRO 会员机制：
https://www.v2ex.com/pro/about
如果你经常使用铜币置顶主题，持有 V2EX Solana Token 会在每日签到时获得额外铜币：
https://www.v2ex.com/solana
https://www.v2ex.com/pro/about
如果你经常使用铜币置顶主题，持有 V2EX Solana Token 会在每日签到时获得额外铜币：
https://www.v2ex.com/solana
This topic created in 3476 days ago, the information mentioned may be changed or developed.
Supplement 1 · May 10, 2017
评论区发现不错的产品，大家也可以关注一下： https://github.com/keenwon/antcolony
 |
1
自己定制爬虫 靠谱点 你这个只能给小白用...
|
1 |
2
@gamecreating 大型定制爬虫我们也做，但是很多同类网站要自己一个一个写确实不如 用我们网站（恩！）
|
 |
3
“造数的采集节点遍布全国 7 个机房上百万个 IP ”
真有怎么多 ip 么 |
|
4
@charli 这倒是真的，看得好细致啊
|
 |
5
测试了一个网站，体验比几个月前好了不少
|
|
6
@gimp 感谢关注，想讨论各种爬虫用起来的感受。
|
 |
7
我就觉得好贵啊……
|
 |
8
爬虫失败，失败原因:链接超时
|
 |
9
1 块钱 50 个页面太贵了吧
|
 |
10
造数很好，就是还不能模拟登陆状态，有些网站不登陆情况下没法爬
|
|
11
|
|
12
@kangsgo 求问具体情况
|
|
13
@GrahamCloud 好像是源网址不稳定，哎呀，最近老范这种错误，真是抱歉呀
|
 |
14
试用了下，感觉还有很大进步空间
要不然简单的爬虫真可以，另外 api 也是一个问题 |
|
15
@kchum 平时爬什么网站啊
|
 |
16
@charli 有的，类似于 www.qgvps.com 这种提供了大量地区的拨号 VPS，可以自己搭建代理 IP
|
|
17
@qwe321 老铁 666
|
 |
BiggerLongerMay 4, 2017
18
可以解決 wp protected iframe 的問題嗎
|
 |
19
不支持 api?
|
 |
21
缺乏场景，性价比极低。只能说，鼓励一下。
|
|
22
@acoder2013 这个也特别想听听大家怎么说，我们马上要推出一版。
|
|
23
@nicoljiang 感谢
|
 |
24
问个喜感的问题：抓取彩票数据能不能预测彩票？（手动滑稽，没有其他意思。。。）
|
 |
25
|
|
26
@shenfu1991 依据有限的数据啥都能预测，然而 有用没用，你懂得
|
|
27
@wuhx 学习！
|
|
28
@wuhx 求联系，微信：Zaoshuio
|
 |
29
为什么我觉得 LZ 是在 SEO 每篇帖子都带不一样描述指向同样的链接？
|
|
30
@Moker SEO 不主要，主要的是产品内容不能光靠我们自己想，得不停增加大家交流的空间。
|
 |
31
@GrahamCloud
问题太多了，直接没办法用。 举个例子吧。 http://book.sfacg.com/ 抓取每日首页推荐情况。 之前便有人反映过，页面的弹出层无法点击去除，现在这个问题还在，没有改善。 不过这个问题不太影响本次抓取，便不说了。 先选取首页的轮播图，只能得到图片的 url 和小说页面的 url，得不到小说的名称，但原始数据里头是含有小说名称的。 ``` <img data-original="http://rs.sfacg.com/web/m/images/homePush/2017/04/5c95aca9-9e5d-4301-bd83-896cf938ea17_big.jpg" alt="无敌的我选择种田" src="http://rs.sfacg.com/web/m/images/homePush/2017/04/5c95aca9-9e5d-4301-bd83-896cf938ea17_big.jpg" style="display: inline;"> ``` 然后下面的 人气风向标、最近有意思的新书，由于有重叠层，选取的数据有错误，基本不能用。 仅仅最后 封面推荐爬取的还算符合要求。 再打开小说详情页，不支持异步加载，评论数量完全无法抓取。 还有选取的数据不支持后期处理，不支持分组。 不支持图片的爬取下载，只能爬取文字资料。 就这服务水平、服务质量也好意思大言不惭的说，“所有你需要的功能”、“最好的云爬虫工具”。 价格 1 元 50 个页面，太贵了，这样的质量也好意思收费这么贵？ 对了还不支持登录爬取，这点忘了。 @Moker 我也是这样觉得，看他们隔两天上来发一次广告，真是烦人的很。 |
|
15015613May 6, 2017
32
@GrahamCloud
总体来说，和刚出来时没有多少提高，刚刚出来功能不完善可以理解，但过了这么久还没有提高，那就太…… |
|
33
@15015613 评论很中肯，说的很对，感谢花这么多时间整理意见。我们会针对你的问题做一些改进。定价 我个人也觉得高了，尝试阶段~
求加 微信：Zaoshuio |
 |
34
牛逼，我看国外有个东西，你随便给一个地址，人家就能给你爬下来
|
|
36
@buseni 说的是 import io 吧
|
|
37
@buseni 怎么看到的
|
 |
38
开的同类帖子太多，广告嫌疑
|
|
39
@tonyaiken 这个帖子不是广告，同类产品 都列出来 求探讨了。
|
 |
40
不是广告为啥要顶置。。
|
|
41
@liuxu 不置顶哪有人聊啊
|
|
42
@liuxu 这么小众的工具
|
|
43
@GrahamCloud 那你干嘛把你们网站首页放帖子第一行。。
|
 |
44
比之前体验好了很多 继续加油💪
|
|
45
@liuxu 开宗明义嘛，实际点进来的又没几个……先来用用看吧，不要讨论细枝末节的了
|
|
46
@liuxu v 站 给出的意见，价值还是远大于各种点击的。
|
|
47
@GrahamCloud
我倒是差一个爬虫管理平台，也没时间去写。 我有一些小脚本不好管理，例如登录之后签到，ss 帐号状态更新之类的，每一个功能虽小，但是数量多。。 你们的功能可不可以建立一个组，每个组管理一些实例，每个实例可以登录，抓数据，也可以帮忙签到。。 |
|
48
@liuxu 求看一看，求加微信：Zaoshuio
|
|
49
|
|
MokerMay 8, 2017
50
@shenfu1991 真的不能，如果是双色球这种的，走势图本来就是公开的，本来就是随机根本没用。另外竞彩的话，有一定可能，但是数据要全要全，当然概率也很低很低，未知因素太多，另外即使猜中，赔率早就被庄家做好，收益低风险大。
|
 |
51
到了安利一波的时候了，你猜这是什么爬虫？ https://github.com/keenwon/antcolony
|
|
52
@liuxu 比较忙不好意思没有及时回复，以后有问题再加我。
|
|
53
@am0zing 自己开发的站点么？
|
|
54
|
|
jinfeng333May 9, 2017
55
@am0zing 感谢分享 很赞的程序
|
|
56
@wujunze 继续赞一下这个，挂一个 append。
|
 |
57
用造数爬造数是什么后果？
|
|
58
@XiaoFaye 好问题，可惜爬不了。
|
|
59
@XiaoFaye 可以大胆勇敢热情的尝试一下。
|
|
60
@am0zing 给你 挂在 apend 上面了，很 nice
|
|
61
@GrahamCloud O(∩_∩)O
|
|
62
@am0zing 有没有 增加一点访问
|
|
63
|
 |
64
GrahamCloud， 看了你们的造数爬虫网站， 在这里请教一个技术问题： 左键点击表示获取与该元素类似的其他节点元素的文本，这个是基于什么算法或思路来实现的呢？
|
|
65
@xutaoding 欢迎 加微信聊这个 ：Zaoshuio
|
Select Language