monkeyWie
0.65D
V2EX  ›  数据库

老哥们, mysql 同步到 clickhouse 有没有什么好的方案啊?

  •  
  •   monkeyWie · Jan 6, 2022 · 3766 views
    This topic created in 1770 days ago, the information mentioned may be changed or developed.

    google 了一下好像没什么成熟的解决方案,想问问各位大佬有没有什么推荐的?

    Supplement 1  ·  Jan 6, 2022
    更新下,老哥们给的方案都是属于比较底层的,预研和维护成本有点高,我想的方案是那种 UI 界面配置好就能同步的那种。后来还是决定用阿里的 DTS 同步,但是 DTS 不支持 mysql 到 clickhouse ,于是换成 mysql 同步到阿里云 ADB mysql ,也满足查询需求啦。
    20 replies  •  2022-02-18 10:13:00 +08:00
    imherer
    imherer
    Jan 6, 2022
    1
    需要实时么? 不需要的话定时同步就好了,clickhouse 批量写比单条写性能还要好一些
    yingsunwl
    yingsunwl
    Jan 6, 2022
    2
    离线:datax ,实时:canal+flink
    monkeyWie
    monkeyWie
    OP
    Jan 6, 2022
    3
    @imherer 嗯,要实时的
    monkeyWie
    monkeyWie
    OP
    Jan 6, 2022
    4
    @yingsunwl #2 谢谢老哥,我等会研究下 canal
    1point
    1point
    Jan 6, 2022
    5
    mysql 物化视图就可以吧,不过还没有 GA
    1point
    1point
    Jan 6, 2022
    6
    说错了,叫物化 mysql (materialized-mysql)
    CRUD
    CRUD
    Jan 6, 2022
    7
    实时增量同步推荐 canal ,我是用它同步到 ES ,适配层自己处理一下写到 clickhouse 即可。
    hj24
    hj24
    Jan 6, 2022
    8
    flink
    monkeyWie
    monkeyWie
    OP
    Jan 6, 2022
    9
    @hj24 #8 是不是用 flink-cdc-connectors 做
    forzen
    forzen
    Jan 6, 2022 via iPhone
    10
    我们用的 flink cdc
    swulling
    swulling
    Jan 6, 2022
    11
    使用 mysql 的主从同步协议订阅 binlog ,然后转换为写入事件就行了。

    这个有很多现成的库
    lolizeppelin
    lolizeppelin
    Jan 6, 2022
    12
    技术名称 cdc

    反正都是解析日志流丢到 kafaka 这样的实现
    F281M6Dh8DXpD1g2
    F281M6Dh8DXpD1g2
    Jan 6, 2022
    14
    debezium 写 kafka 那边随便找个啥消费完了往 ck 里写完事
    xxxlester
    xxxlester
    Jan 6, 2022
    15
    debezium
    clf
    clf
    Jan 6, 2022
    16
    MySQL 有 binlog ,解析 binlog 同步到 clickhouse 就行了。
    RedisMasterNode
    RedisMasterNode
    Jan 6, 2022
    17
    debezium 一票,canal 社区活跃度超级低...
    zibber
    zibber
    Jan 7, 2022
    18
    用 dts 自己消费到 clickhouse
    hj24
    hj24
    Jan 13, 2022
    19
    @monkeyWie clickhouse 也有专门的 connector 吧
    labulaka521
    labulaka521
    Feb 18, 2022
    20
    我们这里是订单扫表,然后批量写入 clickhouse ,clickhouse 批量写性能好点
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   1130 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 52ms · UTC 23:26 · PVG 07:26 · LAX 15:26 · JFK 18:26
    ♥ Do have faith in what you're doing.