换工作后终于名正言顺写爬虫了,团队中只有我一个人写爬虫项目, 最近有个爬虫项目持续到年底,一天爬一个网站的速度,那么, 百来个爬虫项目如何管理呢? 我不用 scrapy, 有什么 tricky 或者建议请不吝赐教.
我期望的比较好的管理方式是部署到 web, 通过 web 管理. 实在不行就只能用 excel 管理啦.
推荐学习书目
› Learn Python the Hard Way
Python Sites
› PyPI - Python Package Index
› http://diveintopython.org/toc/index.html
› Pocoo
值得关注的项目
› PyPy
› Celery
› Jinja2
› Read the Docs
› gevent
› pyenv
› virtualenv
› Stackless Python
› Beautiful Soup
› 结巴中文分词
› Green Unicorn
› Sentry
› Shovel
› Pyflakes
› pytest
Python 编程
› pep8 Checker
Styles
› PEP 8
› Google Python Style Guide
› Code Style from The Hitchhiker's Guide
This topic created in 3688 days ago, the information mentioned may be changed or developed.
 |
50vipOct 8, 2016
1
不知道是什么意思~
|
 |
wico77Oct 8, 2016
2
pyspider, 不过这个适合定时爬。
|
 |
Patrick95Oct 8, 2016
3
用 Python 再写一个爬虫项目的 Web 管理系统嘛，应该不难呀。
|
 |
wayslogOct 8, 2016 via Android
4
crontab+版本控制自动跑，考虑到迁移 ip 的事儿再用 ansible 写了个半自动化部署脚本。。。用的也挺好的
|
 |
KilerdOct 8, 2016
7
造轮子，造轮子！！！
|
 |
crayonyiOct 8, 2016
8
我是自己写了一个通用爬虫系统，后面用 django admin ，管理 10 几个爬虫的爬取规则及定时任务
|
 |
cphiloOct 8, 2016
9
所有爬虫采用配置，然后弄个消息队列用来调度爬虫任务，基本上维护起来非常方便了，生产环境中几百个站点实践过
|
 |
anyforeverOct 9, 2016
12
|
 |
zluyuerOct 9, 2016
14
推荐采用 Rundeck 调度
|
 |
brucedoneOct 9, 2016
15
执行载体暴露 api ，以 xml 或者 json 做为标准格式，执行载体要有当前执行，待跑列表，历史记录，爬虫管理，执行或者删除等核心功能，然后以此的基础上，你就欢快的脱离语言自己造轮子吧。
|
|
brucedoneOct 9, 2016
16
关于调度的，欢迎你使用这个。[调度]可视化的调度架构-Dagobah] http://brucedone.com/archives/754
|
 |
ytmsdyOct 9, 2016
18
pyspider
|
 |
tikazyqApr 8, 2020
20
crawlab
|
Select Language