推荐学习书目
› Learn Python the Hard Way
Python Sites
› PyPI - Python Package Index
› http://diveintopython.org/toc/index.html
› Pocoo
值得关注的项目
› PyPy
› Celery
› Jinja2
› Read the Docs
› gevent
› pyenv
› virtualenv
› Stackless Python
› Beautiful Soup
› 结巴中文分词
› Green Unicorn
› Sentry
› Shovel
› Pyflakes
› pytest
Python 编程
› pep8 Checker
Styles
› PEP 8
› Google Python Style Guide
› Code Style from The Hitchhiker's Guide
uti6770werty
V2EX  ›  Python

Python 程序的运行过程日志,是否有轮子可以实现 C/S 或者 B/S 放出来?

  •  
  •   uti6770werty · Sep 27, 2022 · 4871 views
    This topic created in 1509 days ago, the information mentioned may be changed or developed.

    家里 homelab 的虚拟机上跑着 win ,目前是 cmd console 运行着 while true 炼丹,
    日志和状态观看,全靠 rdp 远程桌面过去看,
    日志的显示,全靠 logging 或者 print 输出到 console ,

    请教一下大家,
    有没有多种方法组合成方案实现,或者现成轮子可以把这些日志, C/S ,B/S 放出来远程浏览?
    只看最近的 500 条就可以了,
    看的人,只有我一个。

    28 replies  •  2022-09-27 19:38:12 +08:00
    julyclyde
    julyclyde
    Sep 27, 2022
    1
    试试标准库 logging 里边的 syslog handler
    xiao109
    xiao109
    Sep 27, 2022❤️4
    2
    给他来一套 ELK
    zhuweiyou
    zhuweiyou
    Sep 27, 2022
    3
    pm2 monitor

    web 界面可以看内存 CPU LOG 啥的...
    Kinnice
    Kinnice
    Sep 27, 2022❤️1
    4
    only python 即可
    1. 把你的日志输出到一个 log 文件
    2. 开一个 python 读这个 log ,每 X 行或 X 分钟,自动把新增内容推到钉钉机器人 /其他 push 服务。
    sujin190
    sujin190
    Sep 27, 2022
    5
    搞个 jenkins 之类的 job 管理器呗,然后把你这个炼丹啥的放到里边去运行就好了吧,运行状态和日志都可以看了
    Vegetable
    Vegetable
    Sep 27, 2022
    6
    supervisor 完美实现你的需求,捕获标准输出、远程控制台 tail log ,尴尬的是这玩意只支持 Unix 系统
    sidegem
    sidegem
    Sep 27, 2022
    7
    直接把日志文件用 nginx 转发出来看
    liuxingdeyu
    liuxingdeyu
    Sep 27, 2022❤️1
    8
    loguru 加一个 handler ,handler 里面往丁丁飞书推就 OK 了
    ipwx
    ipwx
    Sep 27, 2022
    9
    说起炼丹我就不困了。你需要的是 jupyter notebook

    https://jupyter.org/
    aikdong
    aikdong
    Sep 27, 2022
    10
    有个 tailon 工具可以试试
    Vegetable
    Vegetable
    Sep 27, 2022❤️1
    12
    @ipwx 裸奔的 jupyter notebook 非常危险,这个要提醒一下...
    zhoujinjing09
    zhoujinjing09
    Sep 27, 2022
    13
    logging 本身就有 httphandler
    starrys
    starrys
    Sep 27, 2022
    14
    两步搞定

    1. 日志输出到文件

    写一个批处理,示例:

    @echo off
    title CoreDNS
    coredns 1>> log.log 2>&1

    2. 将日志文件同步到本机

    可以使用 Syncthing
    vopin
    vopin
    Sep 27, 2022 via iPhone
    15
    单纯炼丹有很多 monitor 工具吧,我喜欢 wandb
    subjadeites
    subjadeites
    Sep 27, 2022 via Android
    16
    flask 写几十行代码启个 web 服务就行。。。写个方法读文件最后几百行
    ipwx
    ipwx
    Sep 27, 2022
    17
    @Vegetable 噗你公网暴露?这不是一个 vpn 解决内网访问码
    killva4624
    killva4624
    Sep 27, 2022
    18
    Loki
    qzwmjv
    qzwmjv
    Sep 27, 2022
    19
    为啥考虑换个 linux 炼丹,反正虚拟机
    Vegetable
    Vegetable
    Sep 27, 2022
    20
    @ipwx 之前一个搞算法的同事就不太懂这个,部署 FATE 结果没处理 FATE 自带的 jupyter notebook ,公司服务器被人挖了一个礼拜矿
    ipwx
    ipwx
    Sep 27, 2022
    21
    @Vegetable 我觉得你司没有一个统一的 VPN 入口就有点问题。。。
    ipwx
    ipwx
    Sep 27, 2022
    22
    @Vegetable 首先网络安全大部分东西就不该是算法工程师考虑的问题。算法工程师就该考虑什么工具做实验最快。显然 Jupyter Notebook 最快。

    VPN 接入应该是提供远程访问的公司最基础的设施。如果没有,那就应该全面禁止远程访问。我不能理解,随便谁都能暴露一个随便什么服务给公网的这种操作。。。
    lmshl
    lmshl
    Sep 27, 2022
    23
    以前用过一个远程日志服务,叫 https://www.papertrail.com/ ,日质量不大的时候可以托管着用。
    如果量大的话就应该考虑 ELK 那种托管日志方案了,比如丢给七牛日志平台或者阿里云
    SenLief
    SenLief
    Sep 27, 2022 via iPhone
    24
    不放在浏览器,而是用 email 发给自己如何?

    你是自己看的日志,应该用 email 发给自己看应该可以,notifiers 库。
    mijazz
    mijazz
    Sep 27, 2022
    25
    [logging handler - Python]( https://docs.python.org/3/library/logging.handlers.html)

    Python 的 `logging` 有`HTTPHandler` 或者 `SMTPHandler`

    按需求自己补上点缝到项目里就差不多了
    vZexc0m
    vZexc0m
    Sep 27, 2022
    26
    建议上一套 EFK
    xuelu520
    xuelu520
    Sep 27, 2022
    27
    日志写文件,然后套 ELK 或 EFK 呗。都是有现成的东西,轮子都不用写
    tfdetang
    tfdetang
    Sep 27, 2022
    28
    其实你需要的不是 看日志,需要的是记录 ML 过程? 那难道不可以 tensorboard 吗?
    或者我个人更推荐 MLflow ,基本不需要侵入太多代码,就可以把所有炼丹的过程与结果放到一个集中的平台去管理;
    除了可以远程看日志,还顺带把模型版本什么的都管理起来了
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   947 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 58ms · UTC 21:58 · PVG 05:58 · LAX 13:58 · JFK 16:58
    ♥ Do have faith in what you're doing.