为何使用kafka和flume？ flume和kafka的区别？

为何使用kafka和flume？

Flume ：管道 ----个人认为比较适合有多个生产者场景，或者有写入Hbase、HDFS和kafka需求的场景。

　　Kafka ：消息队列-----由于Kafka是Pull模式，因此适合有多个消费者的场景。

　　目前应用场景，一台日志转发机负责产生日志。后端需要通过Strom消费日志信息，建议可以设置成log-->Kafka->Strom.如果以后有写入Hbase或者HDFS的需求可以，在Kafka后面再接上Strom，或者在日志转发机上直接日志落地，由Flume去读取日志消息。

flume和kafka的区别？

Flume和Kafka都是常用的数据采集工具，它们的主要区别在于以下几个方面：

1. 数据处理方式：Flume是一个通过管道传输数据的框架，主要负责数据的采集、加工和传输，可以将采集到的数据推送到各个目的地。而Kafka是一个分布式流平台，主要用于数据的消息传输和存储，它可以在生产者和消费者之间进行消息缓存和传递。

2. 消息的持久性：Flume将消息写入磁盘时，需要通过事务的方式来保证消息的完整性和一致性。而Kafka通过将消息保存在可配置的服务器上来保证消息的可持久化。

3. 扩展性：Flume的扩展主要通过增加其中的组件实现，例如Source（用于数据源采集）、Channel（用于缓存数据）和Sink（用于向目的地推送数据）。而Kafka的扩展主要通过增加Producer和Consumer来实现。

4. 应用场景：Flume主要适用于较为简单的数据采集场景，例如日志文件的采集和传输。Kafka则适用于大数据流处理场景，例如Hadoop的数据分析和处理、数据缓存和传输。

总的来说，Flume和Kafka都有各自的优点和适用场景，具体使用哪个工具，需要根据具体的情况来选择。

kafka消费有几种模式？

kafka消费有三种模式，如下所述：

at most onece模式

基本思想是保证每一条消息commit成功之后，再进行消费处理；

设置自动提交为false，接收到消息之后，首先commit，然后再进行消费

at least onece模式

基本思想是保证每一条消息处理成功之后，再进行commit；

设置自动提交为false；消息处理成功之后，手动进行commit；

采用这种模式时，最好保证消费操作的“幂等性”，防止重复消费；

exactly onece模式

核心思想是将offset作为唯一id与消息同时处理，并且保证处理的原子性；

设置自动提交为false；消息处理成功之后再提交；

比如对于关系型数据库来说，可以将id设置为消息处理结果的唯一索引，再次处理时，如果发现该索引已经存在，那么就不处理；

kafka如何设置延时消费？

无法设置延时消费，只能立即消费立即支付

kafka面试避免重复消费？

生产者生成主键，利用主键不能重复的特性

生产者在发kafka时往redis写标志，消费消息时判断标志是否存在，存在就删除标志，处理业务。

kafka rebalance会停止消费吗？

Kafka rebalance会影响到consumer consumer group，它会重新分配consumer的partition分配情况，使得同一个consumer group内的consumer持有partition不能发生重复和遗漏的情况。

在rebalance过程中，Kafka会暂停所有partitions的分配，停止消费。但是Kafka会自动处理rebalance，尽快地为消费者重新分配分区，使得消费者能够恢复消费活动，并确保消费数据的一致性。需要注意的是，由于rebalance会暂停消费，所以处理rebalance的效率需要尽量高，以尽快恢复消费服务，避免影响业务应用。

kafka消费信息栏打不开？

可以刷新系统或者退出重新登录打开的

kafka消费慢解决方案？

Kafka消费慢的解决方案可以从以下几个方面入手

1. 增加消费者线程数

2. 优化消费者组的设置，例如增加分区数

3. 调整消息发布的速率

4. 改进Kafka集群的部署方式，例如增加副本数

5. 优化Kafka集群的配置，例如修改消息大小和消息压缩等。

kafka默认从头开始消费吗？

设置消费者properties的两个参数

consumer.group.id

properties.setProperty("auto.offset.reset", "earliest”) // latest

注意：只要不更改group.id，每次重新消费kafka，都是从上次消费结束的地方继续开始，不论"auto.offset.reset”属性设置的是什么

kafka消费者组如何设置？

Kafka消费者组用来将一个特定的Topic分成多个消费者，使得他们可以从每个Partition中消费消息。设置消费者组需要做以下几步：1.首先，根据需要构建一个ConsumerConfig对象，这个对象包含了所有消费者配置，例如消费者组ID、消费者分区和消息处理器等。2.然后，在创建Consumer对象时，通过传入上面创建的ConsumerConfig对象来配置消费者组。3.最后，将消费者组订阅某个Topic，即可开始消费消息。