kafka面试避免重复消费？ kafka消费有几种模式？

kafka面试避免重复消费？

生产者生成主键，利用主键不能重复的特性

生产者在发kafka时往redis写标志，消费消息时判断标志是否存在，存在就删除标志，处理业务。

kafka消费有几种模式？

kafka消费有三种模式，如下所述：

at most onece模式

基本思想是保证每一条消息commit成功之后，再进行消费处理；

设置自动提交为false，接收到消息之后，首先commit，然后再进行消费

at least onece模式

基本思想是保证每一条消息处理成功之后，再进行commit；

设置自动提交为false；消息处理成功之后，手动进行commit；

采用这种模式时，最好保证消费操作的“幂等性”，防止重复消费；

exactly onece模式

核心思想是将offset作为唯一id与消息同时处理，并且保证处理的原子性；

设置自动提交为false；消息处理成功之后再提交；

比如对于关系型数据库来说，可以将id设置为消息处理结果的唯一索引，再次处理时，如果发现该索引已经存在，那么就不处理；

kafka如何设置延时消费？

无法设置延时消费，只能立即消费立即支付

kafka rebalance会停止消费吗？

Kafka rebalance会影响到consumer consumer group，它会重新分配consumer的partition分配情况，使得同一个consumer group内的consumer持有partition不能发生重复和遗漏的情况。

在rebalance过程中，Kafka会暂停所有partitions的分配，停止消费。但是Kafka会自动处理rebalance，尽快地为消费者重新分配分区，使得消费者能够恢复消费活动，并确保消费数据的一致性。需要注意的是，由于rebalance会暂停消费，所以处理rebalance的效率需要尽量高，以尽快恢复消费服务，避免影响业务应用。

kafka消费信息栏打不开？

可以刷新系统或者退出重新登录打开的

kafka消费慢解决方案？

Kafka消费慢的解决方案可以从以下几个方面入手

1. 增加消费者线程数

2. 优化消费者组的设置，例如增加分区数

3. 调整消息发布的速率

4. 改进Kafka集群的部署方式，例如增加副本数

5. 优化Kafka集群的配置，例如修改消息大小和消息压缩等。

kafka默认从头开始消费吗？

设置消费者properties的两个参数

consumer.group.id

properties.setProperty("auto.offset.reset", "earliest”) // latest

注意：只要不更改group.id，每次重新消费kafka，都是从上次消费结束的地方继续开始，不论"auto.offset.reset”属性设置的是什么

kafka消费者组如何设置？

Kafka消费者组用来将一个特定的Topic分成多个消费者，使得他们可以从每个Partition中消费消息。设置消费者组需要做以下几步：1.首先，根据需要构建一个ConsumerConfig对象，这个对象包含了所有消费者配置，例如消费者组ID、消费者分区和消息处理器等。2.然后，在创建Consumer对象时，通过传入上面创建的ConsumerConfig对象来配置消费者组。3.最后，将消费者组订阅某个Topic，即可开始消费消息。

kafka可以正常消费但超时异常？

（1）kafka每次poll可以指定批量消息数，以提高消费效率，但批量的大小要结合poll间隔超时时间和每条消息的处理时间进行权衡；

（2）一旦两次poll的间隔时间超过阈值，group会认为当前consumer可能存在故障点，会触发一次rebalance，重新分配Topic的partition；

（3）如果在commit之前进行了一次rebalance，那么本次commit将会失败，下次poll会拉取到旧的数据（重复消费），因此要保证好消息处理的幂等性；

kafka消息消费失败会重试吗？

如果同时有两批异常消息在重试。 在以上情况下,消费端就会出现无限重试。 启动debug了解spring-kafka重试原理和问题原因。