shanghai1943
V2EX  ›  问与答

漏斗数据分析的技术选项

  •  
  •   shanghai1943 · Mar 11, 2021 · 1611 views
    This topic created in 2063 days ago, the information mentioned may be changed or developed.

    目前我们把埋点数据存放在了 MySQL 表中,现在行数大概是 1.6 亿,数据容量 36GB,索引容量 63GB 。漏斗数据分析是按天纬度来查询,通过 sql+Java 代码统计的方式来处理的,如果时间跨度长的话,统计起来会比较慢。

    想请教一下,该如何做优化?

    网上我查了一下,貌似 spark+hdfs 可以解决类似这样的问题,不知道各位大哥有何高见?感谢。

    6 replies  •  2021-03-12 10:05:56 +08:00
    lithiumii
    lithiumii
    Mar 11, 2021 via Android
    1
    每天定时任务,把数量都数出来,存个表
    amoia50
    amoia50
    Mar 11, 2021 via iPhone
    2
    clickhouse 适合你
    FucUrFrd
    FucUrFrd
    Mar 11, 2021 via Android
    3
    1.6 亿行,赶紧开除 dba,实操上限一千万行
    shanghai1943
    shanghai1943
    OP
    Mar 12, 2021
    4
    @lithiumii #1 目前的统计纬度是比较灵活的,相当于可以在这么多的埋点里做排列组合,可以认为统计是随机的。。所以目测定时这个不好搞。。
    shanghai1943
    shanghai1943
    OP
    Mar 12, 2021
    5
    @amoia50 #2 感谢。我这边研究一下看看
    shanghai1943
    shanghai1943
    OP
    Mar 12, 2021
    6
    @FucUrFrd #3 小公司。。木有 dba 。。
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   5255 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 31ms · UTC 02:49 · PVG 10:49 · LAX 18:49 · JFK 21:49
    ♥ Do have faith in what you're doing.