目前我们把埋点数据存放在了 MySQL 表中,现在行数大概是 1.6 亿,数据容量 36GB,索引容量 63GB 。漏斗数据分析是按天纬度来查询,通过 sql+Java 代码统计的方式来处理的,如果时间跨度长的话,统计起来会比较慢。
想请教一下,该如何做优化?
网上我查了一下,貌似 spark+hdfs 可以解决类似这样的问题,不知道各位大哥有何高见?感谢。
目前我们把埋点数据存放在了 MySQL 表中,现在行数大概是 1.6 亿,数据容量 36GB,索引容量 63GB 。漏斗数据分析是按天纬度来查询,通过 sql+Java 代码统计的方式来处理的,如果时间跨度长的话,统计起来会比较慢。
想请教一下,该如何做优化?
网上我查了一下,貌似 spark+hdfs 可以解决类似这样的问题,不知道各位大哥有何高见?感谢。