Home Sign Up Sign In
推荐学习书目
› Learn Python the Hard Way
Python Sites
› PyPI - Python Package Index
› http://diveintopython.org/toc/index.html
› Pocoo
值得关注的项目
› PyPy
› Celery
› Jinja2
› Read the Docs
› gevent
› pyenv
› virtualenv
› Stackless Python
› Beautiful Soup
› 结巴中文分词
› Green Unicorn
› Sentry
› Shovel
› Pyflakes
› pytest
Python 编程
› pep8 Checker
Styles
› PEP 8
› Google Python Style Guide
› Code Style from The Hitchhiker's Guide
cevincheung
V2EX  ›  Python

python 能不能干这种工作

  •   
  •   cevincheung ·
    cevin · Mar 25, 2014 · 6331 views
    This topic created in 4612 days ago, the information mentioned may be changed or developed.
    一个http请求队列。写个daemon。 一个http rest的api调用。

    push一个url进去。 push-> url,callbackurl,post|get,postdata(optional),timeout(optional)
    然后执行完毕后回调callbackurl（一般是在同一台服务器或内网服务器）

    然后队列数量可能会有点大。N台服务器跑这个脚本。服务端随机把队列请求push到这些服务器上。


    或者把队列内容push到redis里。N台服务器上的脚本不停的拿redis（用redis做m/s好做容灾）

    python干这个能扛得住咩？



    ---
    或者现在有木有类似的已经成型的产品能用的@.@
    Supplement 1  ·  Mar 25, 2014
    补充一下，是这样的。



    比如：
    post http://127.0.0.1:py_port/create
    url=http(s)://www.domain.com
    method=post
    timeout=30s
    postdata=xxxxx
    callbackurl=http://127.0.0.1:internal_system_port/some_id

    python收到，入队列，python请求上面传递的url，根据method选择get还是post请求。然后把该服务器的输出post到callbackurl。

    或者
    redis.add:
    {url:http, method:post, timeout:30, postdata:[], callbackurl=http }
    python去读redis。
  • Push
  • 服务器
  • 队列
    25 replies  •  1970-01-01 08:00:00 +08:00
    towser
    towser
    Mar 25, 2014
    1
    有点像消息队列异步调用
    lch21
    lch21
    Mar 25, 2014
    2
    httpsqs 似乎能干这个
    lch21
    lch21
    Mar 25, 2014
    3
    httpsqs 有各种语言的客户端
    xiaozi
    xiaozi
    Mar 25, 2014
    4
    beanstalkd
    gotounix
    gotounix
    Mar 25, 2014
    5
    celery?
    ygmpkk
    ygmpkk
    Mar 25, 2014
    6
    @gotounix celery +1 这个情况就使用这工具来完成。
    cevincheung
    cevincheung
    OP
    Mar 25, 2014
    7
    @lch21 要的是一个队列+执行器（暂时这么叫他吧）。sqs只是一个队列存储，并没有“执行者”
    cevincheung
    cevincheung
    OP
    Mar 25, 2014
    8
    @gotounix
    @ygmpkk
    已补充
    gotounix
    gotounix
    Mar 25, 2014
    9
    @cevincheung celery+redis
    cevincheung
    cevincheung
    OP
    Mar 25, 2014
    10
    @gotounix 就是说python是ok的，能扛得住？
    gotounix
    gotounix
    Mar 25, 2014
    11
    @cevincheung 能不能扛住，不知道！但是，提供了可以实现你需求的方法，你可以自己尝试、测试。除了你自己，没有人能帮你测试，大家的业务需求都不一样，应用环境也不一样，不能一概而论，下结论。
    mantianyu
    mantianyu
    Mar 25, 2014
    12
    这种功能大部分语言都能实现啊
    mantianyu
    mantianyu
    Mar 25, 2014
    13
    @mantianyu 当然, 包括python
    jyz19880823
    jyz19880823
    Mar 25, 2014
    14
    功能不难啊,不过要是数据量大的话,还是用静态语言吧,试试go
    lch21
    lch21
    Mar 25, 2014
    15
    python 的优势在于编程效率高
    至于能不能扛得住，就要根据软硬件环境测试了
    我个人感觉没什么问题
    可以先做个模型测试，实在不行再改静态语言
    NCE
    NCE
    Mar 25, 2014
    16
    这和python有关系么？用php也可以。
    NCE
    NCE
    Mar 25, 2014
    17
    谈性能之前，先给个范围，N多服务器，请求数量有点大，先量化一下，同时请求数，再说吞吐量。
    cevincheung
    cevincheung
    OP
    Mar 25, 2014❤️1
    18
    @NCE 不需要多高的性能。只要能保证daemon不死就行- -#
    NCE
    NCE
    Mar 25, 2014
    19
    没问题的，这才到哪啊
    lookhi
    lookhi
    Mar 25, 2014 via Android
    20
    可以 我们队列就是py做的
    里面有大约1000多万的任务在 普通请求也没问题。
    janxin
    janxin
    Mar 25, 2014 via iPad
    21
    celery
    janxin
    janxin
    Mar 25, 2014 via iPad
    22
    +supervisor
    cevincheung
    cevincheung
    OP
    Mar 25, 2014
    23
    @lookhi 你们怎么做的
    lookhi
    lookhi
    Mar 25, 2014
    24
    @cevincheung 基于tornado的 tornado做一个Server很方便的.
    guotie
    guotie
    Mar 26, 2014
    25
    nsq
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   1033 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 42ms · UTC 22:42 · PVG 06:42 · LAX 14:42 · JFK 17:42
    ♥ Do have faith in what you're doing.