公司爬虫刚起步，想找一个工具用来管理和维护未来写的爬虫，在此请教一下大家顺便多学一点东西。
平时写爬虫 requests 和 scrapy 都有用过。
推荐学习书目
› Learn Python the Hard Way
Python Sites
› PyPI - Python Package Index
› http://diveintopython.org/toc/index.html
› Pocoo
值得关注的项目
› PyPy
› Celery
› Jinja2
› Read the Docs
› gevent
› pyenv
› virtualenv
› Stackless Python
› Beautiful Soup
› 结巴中文分词
› Green Unicorn
› Sentry
› Shovel
› Pyflakes
› pytest
Python 编程
› pep8 Checker
Styles
› PEP 8
› Google Python Style Guide
› Code Style from The Hitchhiker's Guide
This topic created in 3139 days ago, the information mentioned may be changed or developed.
 |
samding123Apr 4, 2018
1
spiderkeeper
|
|
samding123Apr 4, 2018
2
|
 |
3
@samding123 昨天用过大神的项目，界面和功能特别棒！
但我把 egg 文件上传上去后，spider 就是显示不出来，然后暂时放下了-_- |
 |
beforeuwaitApr 4, 2018
4
我也困惑
|
 |
shuizhengqiApr 4, 2018
5
pyspider 吧
|
 |
farverfullApr 4, 2018
6
OpsPlatform
|
 |
CryseApr 4, 2018
7
同样的疑惑，目前在用 scrapyd 和 spiderkeeper, 但是感觉 scrapyd 不太好用.
|
 |
bazingaterryApr 4, 2018 via iPhone
8
我以前团队是自己写的，糅合 pyspider 和 scrapy
|
 |
qsnow6Apr 4, 2018
9
spiderkeeper
|
 |
qwertty01Apr 5, 2018
10
上架市场吧，用不了
|
|
qwertty01Apr 5, 2018
11
Sorry，回复错了 0.0
|
|
12
@shuizhengqi 打算过段时间再学 pyspider -_-
@farverfull 您说的这个 OpsPlatform 搜不到额... @bazingaterry 实在不行就打算自己写个轻量一点的爬虫平台，慢慢加功能 @qsnow6 我用 spiderkeeper 有点 bug 还没有解决 /哭 @beforeuwait 哈哈，那咱是同道中人 @Cryse scrapyd 没有 UI，但是可以自己写界面然后调用 scrapyd 文档提供的 API |
 |
my8100Oct 25, 2018
13
scrapydweb：实现 Scrapyd 集群管理，Scrapy 日志分析和可视化 https://github.com/my8100/scrapydweb
|
 |
tikazyqJan 10, 2020
15
可以试试 Crawlab，非常灵活的分布式通用爬虫管理平台，支持任何框架和语言，当然包括 scrapy、selenium、puppeteer 等等
https://github.com/crawlab-team/crawlab |
Select Language