自己有一个小爬虫网站 ( http://learnbyreading.herokuapp.com/)
但感觉 Amazon 的数据太难爬了,容易被封
所以,有没有可能把爬虫的一部分写到客户端,通过用户的浏览器去爬,然后返回一部分数据给我,这样我就不用去买 IP 了。。。。。
自己有一个小爬虫网站 ( http://learnbyreading.herokuapp.com/)
但感觉 Amazon 的数据太难爬了,容易被封
所以,有没有可能把爬虫的一部分写到客户端,通过用户的浏览器去爬,然后返回一部分数据给我,这样我就不用去买 IP 了。。。。。
|
chwhsenDec 18, 2018
1
木马爬虫?
|
|
chengxiaoDec 18, 2018
2
兄弟 你这个跟肉鸡有什么区别?
哪天 high 了 一波 DDOS 带走~ |
|
kruskalDec 18, 2018
3
醒醒,把用户当肉鸡是违法行为
|
|
freedDec 18, 2018
4
你能做到这个肯定有比较大的控制权限了,还靠他来爬东西?
啥时候开始了告诉一声啊.我看看有没有达到量刑标准,要判几年 |
|
orangeadeDec 18, 2018
6
不如先爬免费的 IP 代理池
|
|
gamexgDec 18, 2018
7
感觉比价插件是一个很好的分布式爬虫。
用户打开商品页面显示价格历史时自动将商品当前价格上传。 |
|
t6attackDec 18, 2018
8
浏览器的 跨域限制 就是针对你的。
|
|
Trim21Dec 18, 2018
9
你想问的是无头浏览器吗, 还是真的像楼上说的那样想用某些正常用户的浏览器爬数据
|
|
westoyDec 18, 2018
10
不可能, 但是可以让用户通过类似 yahoo YQL 的方法给你提供数据, 问题是验证数据真实性的成本可能比多搞一个 IP 池高......
|
|
akafengDec 19, 2018 via iPhone
12
楼主大概需要什么量级的代理池呢?
|
|
agdholeDec 19, 2018
13
京价保插件不就是这个原理吗
|
|
onedayoneappleDec 19, 2018 via iPhone
14
@orangeade 这个怎么爬
|
|
wly19960911Dec 19, 2018 via Android
16
js 的话浏览器跨域怎么解决
|
|
woshipanghuDec 19, 2018
17
electron nightmare 你去看看 可能是你要的
没什么浏览器跨域的问题,直接往页面里面注入你的 js 都行 |
|
zhchyu999Dec 19, 2018
18
有 refer 的
|
|
boweixiaobangAug 8, 2019
20
小帮软件机器人,是做客户端软件数据的自动采集和写入的。
CS 的采集和写入小帮都有优势。 |