shiziwen
V2EX  ›  Django

线上环境如何部署 Django

  •  
  •   shiziwen · Sep 24, 2015 · 9578 views
    This topic created in 4065 days ago, the information mentioned may be changed or developed.

    考虑到安全和运维方面,
    请问大家是如何在线上部署 Django 项目的?( nginx + uwsgi + Django )
    编译成 pyc 文件?

    另外,结合 git ,如何做到自动化部署和回退?

    有没有相关的解决方案可以参考,多谢。

    Supplement 1  ·  Nov 17, 2015
    另外,在使用 git 的时候,一般会有 dev 和 pro 分支,一个开发一个生产。
    一般这两种情况下, setting.py 的内容会有所不同。
    这样情况如何处理,才能更好的实现自动化部署?
    29 replies  •  2016-04-07 22:24:14 +08:00
    111111111111
    111111111111
    Sep 24, 2015 via Android
    1
    期待大神分享,另外 pyc 不是第一次执行的时候自动编译吗?
    我现在 git 是手动部署和回退,一般 pull 好代码先用 runserver 开一个实际看一下有没有错误,再重启 uwsgi 进程正式上线
    ethego
    ethego
    Sep 24, 2015
    2
    我们目前项目小,就直接用 git 来实现部署, master 用来发布,是最终的生产环境版本,开发工作在 dev 分支中进行,这个分支用来发布内部测试版。远程就这两个分支,本地拉下仓库以后自己新建一个个人分支,在自己的分支上开发好以后 merge 到 dev ,经过测试以后再 merge 到 master ,最后主机拉 master 的版本。严禁个人直接合并代码到 master 。
    ethego
    ethego
    Sep 24, 2015
    3
    直接发布.py 文件就好了啊,这是常识性问题。。
    lovedboy
    lovedboy
    Sep 24, 2015
    4
    pull request .
    webhook ,当 merge 到 master 的时候,自动重启 uwsgi 。
    julyclyde
    julyclyde
    Sep 24, 2015
    5
    @111111111111 django 开头的时候好像只加载 Models 吧?很多 View 错误都是运行时才出来的
    zbing3
    zbing3
    Sep 24, 2015
    6
    用 gunicorn 啊
    virusdefender
    virusdefender
    Sep 24, 2015
    7
    nginx + gunicorn

    fabric + git
    Kilerd
    Kilerd
    Sep 24, 2015 via Android
    8
    楼上 正解,
    至少我现在就是这种部署方法
    shenqi
    shenqi
    Sep 24, 2015
    9
    说一下我厂之前一个工程的部署方式吧。

    项目结构:
    该工程下面 n 个 git 仓库,发布到外边的网站是该工程其中的一个单独的应用仓库。

    机器环境:
    内网: git 服务器。一台部署机器 A 。
    外网(和内网网络,需要 vpn 连接内网):一台生产环境机器 C (跑几个实例进行负载均衡),一台测试机 D (跑两个测试环境),数据服务器 n 个 M 。一台部署机器 B 。

    SSH 管理:
    B 能 SSH 到所有机器。在上面一堆 TMUX session 连接着进行监控等等。
    开发 /运维只能直接连接到 A/B 部署机器。

    运行方式:
    nginx + django + uwsgi + supervisor (apt-get 安装的靠谱, pip 安装的自启动有问题)

    部署方式:
    1 、部署脚本,使用 fabric 进行编写。在 B 机器上面进行运行。
    2 、部署时候, B 机器和 A 机器建立 VPN 连接,然后克隆 /更新仓库的生产分支,到 B 的代码部署临时目录。克隆完毕,进行 RSYNC (需要参数: --delete --exclude 一堆)到 C/D 不同环境的生产 /测试环境的目录。同步完毕就触发各种重启 uwsgi 等等指令。


    git branch :
    理论上只有两个分支。由于部分新加入开发人员,按照其他团队旧的方式协助,可能有时候造成多几个。
    dev 为主开发分支
    master 为主生产分支, Protected 形式。
    各种 tag 用于方便历史管理。

    怎么 git 协助?
    开发人员 fork 仓库,在自己的分支上(和其他人协助)开发,开发完毕,就创建 mr 合并到 dev 分支。这个 mr 只能使用 gitlab 的 Accept Merge Request 来合并,不能直接 push upstream 分支,使用 rebase 自己的分支进行冲突处理。

    发布测试:
    1 、 dev 是一个开发分支,每次合并了新 mr 之后都要进行测试,才能发布生产。这个第一个测试环境,为生产测试环境。
    2 、开发人员每次创建 mr ,都需要进行 mr 测试。这个第二个测试环境,为 mr 测试环境。(外界分享的所有 git 协助,基本上没有这个测试方式。)

    发布生产:
    创建 mr 将 dev 同步到 master ,通过 fab 写好的部署脚本,发布 master 到生产环境,重启进程(重启过程注意 502 问题,因此需要多个实例)

    就酱,之前写过一篇 git 协助的文章, http://blog.shenqh.com/2015/01/29/best-practices-of-git/ 贴下链接。
    huson
    huson
    Sep 24, 2015
    10
    ansible
    111111111111
    111111111111
    Sep 24, 2015 via Android
    11
    @julyclyde 启动一个非 80 端口的实例 浏览器打开也看一看
    qq12365411
    qq12365411
    Sep 24, 2015
    12
    docker
    maemual
    maemual
    Sep 24, 2015
    13
    顺路问个问题,为什么这么多人推荐 gunicorn ?和 uwsgi 相比好在哪里?
    clino
    clino
    Sep 24, 2015
    14
    virtualenv
    realityone
    realityone
    Sep 24, 2015
    15
    @maemual 因为有一个 --max-requests 23333
    maemual
    maemual
    Sep 24, 2015
    16
    @realityone 。。。。。。。 uwsgi 也有啊。
    gamexg
    gamexg
    Sep 24, 2015 via Android
    17
    @maemual 更省事了,不需要考虑 web 服务器的兼容性,直接转发即可。
    maemual
    maemual
    Sep 24, 2015
    18
    @gamexg ?什么兼容性?
    111111111111
    111111111111
    Sep 24, 2015
    19
    @gamexg 请问能否稍微详细说一下?
    max-requests 有兼容性问题吗
    julyclyde
    julyclyde
    Sep 26, 2015
    20
    @maemual uwsgi 的文档写的不知所云……
    maemual
    maemual
    Sep 26, 2015 via iPhone
    21
    @julyclyde 这个确实值得吐槽
    wushuiyong
    wushuiyong
    Oct 30, 2015
    22
    看来大家都还不知道 Walle-瓦力,一个 web 部署系统工具,可能也是个持续发布工具,配置简单、功能完善、界面流畅、开箱即用!

    支持 git 、 svn 版本管理,支持各种 web 代码发布,静态的 HTML ,动态 PHP ,需要编译的 JAVA 等。主要功能列表:
    1.用户分身份注册、登录
    2.开发者发起上线任务申请、部署
    3.管理者审核上线任务
    4.支持多项目部署
    5.支持多项目多任务并行
    6.快速回滚
    7.项目的用户权限管理
    8.部署前准备任务 pre-deploy (前置检查)
    9.代码检出后处理任务 post-deploy (如 vendor )
    10.同步后更新软链前置任务 pre-release
    11.发布完毕后收尾任务 post-release (如重启)
    12.执行 sql 构建(不要担心忘记测试环境 sql 同步)
    13.线上文件指纹确认
    14.支持 git 、 svn 版本管理

    详见 github 项目地址: https://github.com/meolu/walle-web ,官方主页介绍: http://www.huamanshu.com/walle.html
    shiziwen
    shiziwen
    OP
    Nov 13, 2015
    23
    @shenqi
    感谢分享经验。

    我这里有一个问题, dev 分支和 pro 分支,如果存在几个文件不同的情况应该如何处理?最典型的应该是配置文件。 dev 环境下和 pro 环境下的配置文件往往是不同的。

    这种情况应该处理比较好,从而结合 git 做到自动化部署和回退?
    shenqi
    shenqi
    Nov 14, 2015
    24
    @shiziwen

    product_settings.py 定义所有的 setting ,
    dev_settings.py 进行覆盖,并且这个加入 ignore ,开发时候在进行写一个出来。
    __init__.py 里面进行设置,引入 pro 的, 然后 try 引入 dev 的。
    shiziwen
    shiziwen
    OP
    Nov 17, 2015
    25
    @virusdefender
    gunicorn 的优势是什么?
    shiziwen
    shiziwen
    OP
    Nov 17, 2015
    26
    @shenqi
    多谢,
    但是这样还是会经常在两个分支上进行 setting 文件的修改呀。
    shenqi
    shenqi
    Nov 18, 2015 via iPhone
    27
    @shiziwen dev 配置本地开发的, pro 配置产品的,都很简单,你只是走歪路了
    zonghua
    zonghua
    Mar 18, 2016 via iPhone
    28
    @shiziwen 配置 jian   dan
    zonghua
    zonghua
    Apr 7, 2016 via iPhone
    29
    @shenqi 启动的时候可以设置环境变量,指定设置模块
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   1015 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 1168ms · UTC 18:59 · PVG 02:59 · LAX 10:59 · JFK 13:59
    ♥ Do have faith in what you're doing.