短视频爬虫需求

功能要求

• 随机并发获取视频列表，作者 key，视频 key，视频及作者基本信息
• 根据作者 id，短链接，长链接获取作者 key
• 通过视频分享 url，获取视频 key 及信息
• 作者 key，获取最新 N 条视频或全部视频
• 作者 key，获取作者基本信息
• 视频 key，获取视频作者 key，视频基本信息
• 视频 key，获取视频评论列表及详情
• 评论 key，获取子评论列表
• 关键词，获取视频列表 N 页
• 关键词，获取相关话题
• #话题，获取视频列表 N 页，热度排序 OR 时间排序

技术要求

• 可以配置代理
• 并发工作
• 信息会从 redis 列表取，结果再存入 redis

范围，一期需要采集四个 APP

• 抖 X
• 快 X
• PP 虾
• PP 搞笑

有相关经验的同学，欢迎来信报个大概的价。

邮箱： [email protected]

补充

爬取细节上，几个 APP 会有些不同，有大概价位后，如果合适，再沟通细节。 最终需要成品代码。