cszchen

不想用 ELK 或者 EFK,有没有简单的替代方案

  •  
  •   cszchen · Jul 29, 2020 · 14049 views
    This topic created in 2291 days ago, the information mentioned may be changed or developed.

    ELK 或者 EFK 太重了,我的需求太简单,就是收集日志,能查看日志,不需要分析
    所以有没有一个更简单纯粹的工具搞定呢

    Supplement 1  ·  Jul 30, 2020
    用了 Grafana + Loki
    目前感觉还行
    51 replies  •  2025-04-25 17:02:04 +08:00
    leeleehero
    leeleehero
    Jul 29, 2020❤️2
    1
    flume+mongodb
    yc8332
    yc8332
    Jul 29, 2020❤️1
    2
    数据库啊
    cszchen
    cszchen
    OP
    Jul 29, 2020
    3
    @yc8332 那不得自己做个界面
    yc8332
    yc8332
    Jul 29, 2020
    4
    @cszchen 不介意直接拿个 mysql 客户端就能看了啊。都不用系统了
    SingeeKing
    SingeeKing
    Jul 29, 2020❤️2
    5
    这几天感觉好多公众号在推 Loki

    https://mp.weixin.qq.com/s/Ku42A8Ra13CKdaEDpKw_OQ
    tsl0922
    tsl0922
    Jul 29, 2020
    6
    有。看看 Grafana Loki:

    https://grafana.com/oss/loki/
    gz911122
    gz911122
    Jul 29, 2020
    7
    腾讯云现在日志服务免费
    jswh
    jswh
    Jul 29, 2020
    8
    量不大用 sentry 当日志也行
    xcstream
    xcstream
    Jul 29, 2020
    9
    mysql + 写个简单的 api
    w0nglend
    w0nglend
    Jul 29, 2020
    10
    @gz911122 现在免费。。上车就收费
    CoderGeek
    CoderGeek
    Jul 29, 2020
    11
    文本数据库
    Fitz
    Fitz
    Jul 29, 2020
    12
    腾讯云 8 月份就收费了, 强烈推荐 loki, 功能够用, 也足够轻量, 颜值有 grafana 保障
    sadfQED2
    sadfQED2
    Jul 29, 2020 via Android
    13
    Phpmyadmin+mysql+golang 写的日志收集器

    https://www.xjiangwei.cn/2020/07/12/serverArchitecture/
    levylll
    levylll
    Jul 29, 2020
    14
    这还重?不需要分析你不用 kibana 不就行了。
    主要搞好 es,怎么扔进去可以按照你的习惯走。
    noparking188
    noparking188
    Jul 29, 2020
    15
    我看到有一些开源命令行工具是帮助直接检索日志文件的,或许可以把日志同步到一台机器上,然后再去查看
    zzl22100048
    zzl22100048
    Jul 30, 2020 via iPhone
    16
    @levylll es 还不重么...
    dcoder
    dcoder
    Jul 30, 2020
    17
    @levylll ES 太重了,好不好
    mogita
    mogita
    Jul 30, 2020
    18
    metrics metabase
    changwei
    changwei
    Jul 30, 2020 via Android
    19
    kafka+mongodb 常用的查询 key 加上索引(比如 uid 和插入时间),也能满足一般的日志收集需求了
    rockxsj
    rockxsj
    Jul 30, 2020 via Android
    20
    果断 loki,用了几周了,同事好评
    etmad
    etmad
    Jul 30, 2020
    21
    在用 graylog
    xuanbg
    xuanbg
    Jul 30, 2020
    22
    @dcoder
    @zzl22100048
    es 找台服务器 docker 装一下就能用了,哪里重了?
    ttyn
    ttyn
    Jul 30, 2020
    23
    Graylog +1
    虽然也是 ES 封装,相对 ELK 来说,还是简单些
    关键是 ES 的查询方便
    1daydayde
    1daydayde
    Jul 30, 2020 via iPhone
    24
    这跟我 k8s 有什么关系🤔?
    lff0305
    lff0305
    Jul 30, 2020
    25
    fluentbit, 够轻量了,找个简单点的后端,比如 mongodb 之类的,或者干脆 Linux 的 syslog/windows 的 event log
    qW7bo2FbzbC0
    qW7bo2FbzbC0
    Jul 30, 2020
    26
    loki?
    qW7bo2FbzbC0
    qW7bo2FbzbC0
    Jul 30, 2020
    27
    @ttyn graylog 和 es 是什么关系,是商业版吗
    sidegem
    sidegem
    Jul 30, 2020
    28
    tail -f **.log
    janxin
    janxin
    Jul 30, 2020
    29
    promtail+loki 就很轻量呀,如果需要查询面板就到 grafana 里就可以了
    ghostwwg
    ghostwwg
    Jul 30, 2020
    30
    你的需求就是直接存日志,ELK 一点都不重。而且功能配套齐全。不知道你怎么理解重的……
    Immortal
    Immortal
    Jul 30, 2020
    31
    @ghostwwg #30
    大概指系统资源占用
    artandlol
    artandlol
    Jul 30, 2020 via Android
    32
    fitbition
    cszchen
    cszchen
    OP
    Jul 30, 2020
    33
    @ghostwwg
    @xuanbg
    @levylll
    主要 efk 对机器的配置要求有点高,我们的 这个业务也许短期都用不上 2 核 4G [/dog]
    xuanbg
    xuanbg
    Jul 30, 2020
    34
    @cszchen 我司阿里云搞了 3 台共享型 2C8G 突发性能实例做 ES3 节点集群,每月不到 300 的说
    iyaozhen
    iyaozhen
    Jul 30, 2020
    35
    @xuanbg 需要内存 需要钱
    iyaozhen
    iyaozhen
    Jul 30, 2020
    36
    @xuanbg 很多公司核心业务机器都没有 2C8G
    ttyn
    ttyn
    Jul 30, 2020
    37
    @hjahgdthab750 ES 可以理解成数据库,Graylog 是应用工具,需要连接 ES 进行读写,Graylog 是开源免费的
    今天试了一下单节点 ES+Kibana,占用内存 1G 左右,应该还好,Graylog 资源占用应该也差不多( Graylog 还额外需要 Mongodb )
    实在想精简的话,在线服务器安装 ES 进行数据存储(很多日志组件可以直接写数据到 ES ),Kibana 安装在公司开发环境进行查询,ES 单节点占用内存可以控制在 0.5G 左右,日志不要保存太长时间,过期的自动删除,应该没啥问题
    Jackeriss
    Jackeriss
    Jul 30, 2020
    38
    sentry 不用自己搭,注册个账号就可以用了
    print1024
    print1024
    Jul 30, 2020
    39
    阿里云日志服务 每月免费额度 500M
    tctc4869
    tctc4869
    Jul 30, 2020
    40
    @cszchen 首先存储和显示_收集是三个不同东西。存日志的话,数据量不大的话,又想让多人远程访问查看数据,日志存储也可以不用 e 。sql 数据库就可以。如果要显示,你找个数据可视化工具,连接数据库编写 sql 查看内容就行

    关于 sql 数据库的数据可视化工具,你可以看看这个 https://www.v2ex.com/t/692222#reply29
    GM
    GM
    Jul 30, 2020
    41
    @etmad graylog 试用的时候,怎么都收不到信息,放弃了
    qW7bo2FbzbC0
    qW7bo2FbzbC0
    Jul 30, 2020
    42
    @ttyn graylog 是把 elk 包成一个方案,还是说用的另一套技术栈
    ichou
    ichou
    Jul 30, 2020 via iPhone
    43
    @jswh 土豪 您好
    davidqhr
    davidqhr
    Jul 31, 2020
    44
    prometheus loki grafana
    Maco
    Maco
    Jul 31, 2020
    45
    loki
    ErwinCheung
    ErwinCheung
    Aug 24, 2020
    47
    @iyaozhen 这个感觉有点夸张
    kiddingU
    kiddingU
    Oct 9, 2020
    48
    loki 咯,比 efk 好用一些
    mikulch
    mikulch
    Oct 14, 2020 via iPhone
    49
    @rockxsj 大佬,https://www.v2ex.com/t/714882#reply0 请问我这个 loki 的无法搜集日志的问题是什么原因呀。
    6m7
    6m7
    Apr 25, 2025
    50
    loki 的推文真的很多啊
    如果只是和 Grafana 进行集成,看看统计数据,然后配置下超期日志自动删除,那还是很丝滑的
    但是用 loki 和现有工具集成还是有难度的,虽然轻量但是和 ELK 易用性差一些

    就比如 query 和 query_range 不支持 offset ,以至于实现分页跳查,就得想想别的办法
    loki 的 api 接口,要和配置文件绑定

    就比如默认不能使用 delete 方法,需要在配置文件中开启,(这里我折腾失败了)
    原因是,loki 只能删除 obs 中的数据,不能删内存中的数据

    还有 loki 的本地部署非常不友好(我只试过 docker 、docker-compose 部署),官方的 yaml 文件连数据持久化都不写,restart 后数据全丢。官方文档中的配置文件大部分都是让你接入云端存储,以至于本地部署的数据持久化,还是我自己写的。不得不说 Loki 可能主要的精力在于支持云端服务接入。不适合我这种拿来做本地部署的。

    也不是道是不是我操作不对,先吐槽平复心情。:-)
    6m7
    6m7
    Apr 25, 2025
    51
    @6m7
    再补充一个
    loki 官方三件套 Grafana + promtail + loki
    promtail 已经被官方 deprecated
    但是 loki 的给的 docker-compose 中默认还是要启动 promtail
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   2005 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 113ms · UTC 02:05 · PVG 10:05 · LAX 18:05 · JFK 21:05
    ♥ Do have faith in what you're doing.