1.5 亿行数据，每天新增 10 万行左右， 5 分钟内提取新增行，请问能实现吗？

This topic created in 2030 days ago, the information mentioned may be changed or developed.

5 分钟内提取新增 10 万行左右，反正越快越好
用什么办法实现？服务器内存数据库？
多少钱能开发做到？
谢谢

7 replies

tqyq88

Jan 26, 2021

这数据量不算大，elasticsearch 就可以做到，普通配置

YouLMAO

Jan 26, 2021 via Android

提取太简单了哪需要 5 分钟，30 秒搞定

YouLMAO

Jan 26, 2021 via Android

Codis 一秒百万没问题

fourstone

Jan 26, 2021

@YouLMAO 我想要的就是每天在服务器上自动获取，自动提取，明天几亿行数据都是重复的，新的才 10 几万行

ebingtel

Jan 27, 2021

@fourstone 数据重复加生成个 hash 么？加个单表搞个唯一键记录下上次获取的最大 id ？

xcstream

Jan 28, 2021

这数据量不算大一条 sql 就能出来吧

antpi

Jan 29, 2021

YW50eDIwMDYwMQ==