功能:对某站进行数据爬取 + 下单 然后部署到服务器。
1. 爬虫
- 多线程抓取
- 代理 ip 池维护
- 超时重连、丢失重试
- 过程监控
- 指定格式导出到 excel
2. 下单(抢单)
破解简单验证码进行登录,提交订单。 整个提交过程需要构造多个不同的 http 请求。
3. 服务器部署
功能:开发 web ,分配账号进行运行和配置管理 爬虫+下单
前台界面:
- 登录 web (多帐号)
- 运行暂停爬虫(结果数据下载)和下单
- 运行过程实时状态监控(爬虫,下单过程)。
后台管理界面:
- 设置爬虫+模拟下单的配置
- 账号管理(增删、配置代理 ip 、账号权限控制..)
- 所有账号的数据监控及相关数据下载。
我是开发者,这个项目已经写了一段时间了,但是后面对方要求进度有点赶不少,虽然已经 12h+/天,是我太菜? 想问问大家这个活大概是什么价格,需要多长时间(可以分别计算这 3 个时间)。
