sbt
V2EX  ›  Java

关于 kafka 消息消费的一点小疑问

  •  
  •   sbt · Mar 10, 2020 · 3586 views
    This topic created in 2440 days ago, the information mentioned may be changed or developed.

    问问各位大佬在自己公司的项目中用到 kafka 的时候,都是配置一个 topic 对应一个分区 partition 吗?(是为了保证消息被顺序消费吗?) 有没有 1 个 topic 对应多个分区的应用场景?

    7 replies  •  2020-03-11 17:51:58 +08:00
    lhx2008
    lhx2008
    Mar 10, 2020 via Android
    1
    多个分区可以一个客户端并发消费,速度会快一点。如果要求发送和接收顺序一致,也一个分区。
    asAnotherJack
    asAnotherJack
    Mar 10, 2020
    2
    多个 partition 可以有多个消费者,对顺序没要求的话可以加快消费速度
    xinyewdz
    xinyewdz
    Mar 10, 2020
    3
    一个分区,那就无法横向扩展了。保证有序,可以指定 key。相同的 key 会被存储到同一个分区的。
    sbt
    sbt
    OP
    Mar 10, 2020
    4
    @lhx2008
    @asAnotherJack
    明白了,多谢两位的解惑
    lovelife1994
    lovelife1994
    Mar 10, 2020 via iPhone
    5
    单个分区也无法保证一定是有序的,最多实现单个 producer 实例在某个分区是有序的。
    lovelife1994
    lovelife1994
    Mar 10, 2020 via iPhone
    6
    @lovelife1994 1.0 之后的幂等 producer 支持在单个 producer session 单分区内有序?之前配置 in-flight request 为 1
    thinkmore
    thinkmore
    Mar 11, 2020
    7
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   1864 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 27ms · UTC 01:38 · PVG 09:38 · LAX 17:38 · JFK 20:38
    ♥ Do have faith in what you're doing.