问问各位大佬在自己公司的项目中用到 kafka 的时候,都是配置一个 topic 对应一个分区 partition 吗?(是为了保证消息被顺序消费吗?) 有没有 1 个 topic 对应多个分区的应用场景?
问问各位大佬在自己公司的项目中用到 kafka 的时候,都是配置一个 topic 对应一个分区 partition 吗?(是为了保证消息被顺序消费吗?) 有没有 1 个 topic 对应多个分区的应用场景?
|
lhx2008Mar 10, 2020 via Android
1
多个分区可以一个客户端并发消费,速度会快一点。如果要求发送和接收顺序一致,也一个分区。
|
|
asAnotherJackMar 10, 2020
2
多个 partition 可以有多个消费者,对顺序没要求的话可以加快消费速度
|
|
xinyewdzMar 10, 2020
3
一个分区,那就无法横向扩展了。保证有序,可以指定 key。相同的 key 会被存储到同一个分区的。
|
|
4
|
|
lovelife1994Mar 10, 2020 via iPhone
5
单个分区也无法保证一定是有序的,最多实现单个 producer 实例在某个分区是有序的。
|
|
lovelife1994Mar 10, 2020 via iPhone
6
@lovelife1994 1.0 之后的幂等 producer 支持在单个 producer session 单分区内有序?之前配置 in-flight request 为 1
|
|
thinkmoreMar 11, 2020
7
|