https://github.com/DormyMo/SpiderKeeper
主要实现 scrapy 工程的部署，抓取任务状态监控，定时启动爬虫等功能
支持多个 scrapyd 服务 ，方便爬虫集群的管理
后续等功能完善了之后 想支持更多爬虫框架来着
推荐学习书目
› Learn Python the Hard Way
Python Sites
› PyPI - Python Package Index
› http://diveintopython.org/toc/index.html
› Pocoo
值得关注的项目
› PyPy
› Celery
› Jinja2
› Read the Docs
› gevent
› pyenv
› virtualenv
› Stackless Python
› Beautiful Soup
› 结巴中文分词
› Green Unicorn
› Sentry
› Shovel
› Pyflakes
› pytest
Python 编程
› pep8 Checker
Styles
› PEP 8
› Google Python Style Guide
› Code Style from The Hitchhiker's Guide
This topic created in 3496 days ago, the information mentioned may be changed or developed.
 |
allinwonderApr 13, 2017
1
很厉害啊，用什么写的？
|
 |
2
@allinwonder flask
|
 |
xssApr 13, 2017
3
看着比 scrapyd 要好用...
|
 |
simappleApr 13, 2017
4
v2 上真是爬虫玩家多 而且高端玩家多
|
 |
yanzixuanApr 13, 2017
5
怒赞。
|
 |
qile1Apr 13, 2017 via Android
6
windows 系统可以用不？
|
 |
xrlinApr 13, 2017 via iPhone
7
第 111 个赞
|
 |
im67Apr 13, 2017
10
ui 可以的
|
 |
forever139Apr 13, 2017
11
哈哈，前排支持
|
 |
bestrenxsApr 13, 2017
12
先赞一个！
|
 |
netChenApr 14, 2017
13
楼主强大，做成了我一直想做但却做不成的事，前排支持，然后给星
|
 |
qsnow6Apr 19, 2017
14
非常好用！
作者的 Issues 回复的也很快 |
 |
diveandwatchDec 1, 2017
15
请问，上传那个 egg 是 build-egg 生成的 egg,还是 scrapyd-deploy 成功之后自己生成的那个 egg 文件
|
|
diveandwatchDec 1, 2017
16
爬出来的数据放在 dbs 里面的 sqlite 数据库了吗？可是用可视化工具读不出来数据。
|
 |
RedipsApr 24, 2018
17
不错,就是删除任务再新建,会提示达到最大工作量,而且人物也删除不掉
|
 |
baitongdaFeb 1, 2019
18
我想知道你是用了什么 python 的管理框架吗。
|
Select Language