google 了一下好像没什么成熟的解决方案,想问问各位大佬有没有什么推荐的?
google 了一下好像没什么成熟的解决方案,想问问各位大佬有没有什么推荐的?
|
imhererJan 6, 2022
1
需要实时么? 不需要的话定时同步就好了,clickhouse 批量写比单条写性能还要好一些
|
|
yingsunwlJan 6, 2022
2
离线:datax ,实时:canal+flink
|
|
1pointJan 6, 2022
5
mysql 物化视图就可以吧,不过还没有 GA
|
|
1pointJan 6, 2022
6
说错了,叫物化 mysql (materialized-mysql)
|
|
CRUDJan 6, 2022
7
实时增量同步推荐 canal ,我是用它同步到 ES ,适配层自己处理一下写到 clickhouse 即可。
|
|
hj24Jan 6, 2022
8
flink
|
|
forzenJan 6, 2022 via iPhone
10
我们用的 flink cdc
|
|
swullingJan 6, 2022
11
使用 mysql 的主从同步协议订阅 binlog ,然后转换为写入事件就行了。
这个有很多现成的库 |
|
lolizeppelinJan 6, 2022
12
技术名称 cdc
反正都是解析日志流丢到 kafaka 这样的实现 |
|
jenlorsJan 6, 2022
13
|
|
F281M6Dh8DXpD1g2Jan 6, 2022
14
debezium 写 kafka 那边随便找个啥消费完了往 ck 里写完事
|
|
xxxlesterJan 6, 2022
15
debezium
|
|
clfJan 6, 2022
16
MySQL 有 binlog ,解析 binlog 同步到 clickhouse 就行了。
|
|
RedisMasterNodeJan 6, 2022
17
debezium 一票,canal 社区活跃度超级低...
|
|
zibberJan 7, 2022
18
用 dts 自己消费到 clickhouse
|
|
labulaka521Feb 18, 2022
20
我们这里是订单扫表,然后批量写入 clickhouse ,clickhouse 批量写性能好点
|