我司要做一个动态比价工具，须爬取大众点评 APP 及携程 web 的酒店价格。 数量大约为 500 家，每家 2 个指定房型，频率 3 分钟。
长期。
请“实测”成功联系我，不要没试过就说我可以。
This topic created in 2707 days ago, the information mentioned may be changed or developed.
 |
1
d5 Mar 23, 2019 via iPhone
不是有大数据杀熟
|
|
2
d5 Mar 23, 2019 via iPhone  1
与其正面对刚，不如试试 airtest，用测试框架来抓取原生 app 元素内容
|
 |
3
components Mar 23, 2019 1
爬虫这种已经是法律边缘的东西了，慎入！
|
 |
4
xiaoyazi OP 不知为不知
|
 |
5
lhx2008 Mar 23, 2019 via Android
3 分钟一次，不好搞，而且 6k 一个月干啥也不清楚
|
 |
6
yepinf Mar 23, 2019 6
哈哈， 怕是公司 1-2w 招进去的的爬虫工程师，转手外包了 :doge
|
 |
8
binux Mar 23, 2019 4
给数据，不给代码，这个价格可以啊。
不然给了代码，下个月再招个 600 的维护一下就好了。 |
 |
9
luozic Mar 23, 2019 via iPhone
给数据不给代码，这种可以有
|
 |
10
hahalo Mar 23, 2019 via Android
给 api 接口不给代码，这种可以有
|
 |
11
zuoakang Mar 23, 2019 via Android
。都评论不接的吗
|
 |
12
anteros Mar 23, 2019
别人公司这么大是有原因的，稍微一点手段，比价就得人肉了，比如说优惠券玩法
|
 |
13
wangjinhui Mar 23, 2019 via Android
@d5 对，这个最简单
|
 |
16
ctro15547 Mar 23, 2019
之前玩过类似的，看了一下需求不清楚是指定酒店？，一次 1000 条，代理的钱报销吗（手动斜眼）
|
|
17
xiaoyazi OP @tabris17 我们自用的。如果在上海来公司看看就知道情况了。如果爬个几百家点评酒店价格也有法律风险，v 站多少人够进去了
|
 |
19
justin2018 Mar 23, 2019
歪个楼 有高效 可靠的 代理推荐不 😁
|
 |
20
q8164305 Mar 23, 2019 via Android
爬出来的东西不都是公司自己公布出来的数据，这也违法？
|
 |
24
airqj Mar 23, 2019
3 分钟爬一次
到后面基本就得面对各种反爬措施了 |
|
27
binux Mar 23, 2019 1
@airqj #24 反爬要做，但是最后还是靠代理。因为每月 3 千万的流量，傻子都能筛得出来，所以你至少需要有 30 万个 IP。比如 https://luminati.io/ 能提供 36M 个 IP，一个月大概要 12 万。
|
 |
28
veike Mar 23, 2019
爬虫真的法律边缘了吗？
|
 |
29
reexamine Mar 23, 2019 via iPhone
慢慢买这类服务也是法律边缘吗？
|
 |
30
gabon Mar 23, 2019 via Android
哪家公司
|
 |
31
icanfork Mar 23, 2019 via iPhone
给编译后的程序+使用说明，并且把程序做成看起来是有通用性的，这样这只是把菜刀，杀人砍肉就不关你事了
|
|
34
xiaoyazi OP 我们同时在招专职员工，boss 直聘上投应聘的有 60 多人了，无一能解。我突然在想程序爬 APP 数据靠的是破解，破解就是算法的对抗，反爬与爬虫对抗就是硬刚，如果要爬全站肯定要靠算法，但我们只是爬几百个酒店，与其正面对抗能不能模拟真人操作，买 100 台手机走 100 个进程取 100 个价格。 非技术人员，想法可能贻笑大方
|
|
36
xiaoyazi OP @binux 前两个月 200 个酒店差不多。增加服务器可以解决吗？ 500 家酒店*2 个房型呀，不也就是 1000 个价格嘛。我不是很懂，请跟我说说
|
 |
38
linhua Mar 23, 2019
|
|
42
xiaoyazi OP @binux 补充下，不需要 24 小时，销售工作时间爬即可（ 12 小时），也不是 500 个站点同时，200 个并发。
|
 |
44
woshipanghu Mar 24, 2019
前期做好 后期维护 6000 一个月 挺不错的
|
|
45
xiaoyazi OP @woshipanghu 可以签合同，保底一年
|
 |
46
tangmi Mar 24, 2019
楼主,我给你 telegram 发消息了
|
 |
47
strpbrk Mar 24, 2019
爬过点评，代码还在
|
 |
49
szpShang Mar 25, 2019
我有爬虫成套平台产品， 配置一下就能爬。公司有大量宽带账号，拨号换 ip 很轻松。私聊。
|
 |
51
lusi1990 Mar 29, 2019 via Android
找到合适人选了吗 我晚上回去试试
|
Select Language