-
23.复制限流
复制限流 复制限流 在上一节中我们了解了分区重分配本质在于数据复制，先增加新的副本，然后进行数据同步，最后删除旧的副本来达到最终的目的。数据复制会占用额外的资源，如果重分配的量太大必然会严重影响整体的性能，尤其是处于业务高峰期的时候。减小重分配的粒度，以小批次的方式来操作是一种可行的解决思路。如果集群中某个主题或某个分区的流量在某段时间内特别大，那么... -
66.Kafka Producer 有哪些发送模式？
66.Kafka Producer 有哪些发送模式？ 66.Kafka Producer 有哪些发送模式？ Kafka 的发送模式由 Producer 端的配置参数 producer.type 来设置。 这个参数指定了在后台线程中消息的发送方式是同步的还是异步的，默认是同步的方式，即 producer.type=sync 。 如果设置成异步的模... -
8. 如何使用消息队列进行日志处理？
8. 如何使用消息队列进行日志处理？ 8. 如何使用消息队列进行日志处理？ 日志处理，是指将消息队列用在日志处理中，比如 Kafka 的应用，解决大量日志传输 的问题。 日志传输 日志采集客户端，负责日志数据采集，定时批量写入 Kafka 队列。 Kafka 消息队列，负责日志数据的接收，存储和转发。 日志处理应用：订阅并消费 Kafka... -
32.Kafka监控（下）
消费滞后 监控指标说明 监控模块 总结 消费滞后 消息堆积是消息中间件的一大特色，消息中间件的流量削峰、冗余存储等功能正是得益于消息中间件的消息堆积能力。然而消息堆积是一把亦正亦邪的“双刃剑”，如果应用场合不恰当，反而会对上下游的业务造成不必要的麻烦，比如消息堆积势必会影响上下游整个调用链的时效性。在某些情况下，有些中间件如 RabbitMQ ... -
57.RabbitMQ 如何保证消息的顺序性？
57.RabbitMQ 如何保证消息的顺序性？ 57.RabbitMQ 如何保证消息的顺序性？ 和 Kafka 与 RocketMQ 不同，Kafka 不存在类似类似 Topic 的概念，而是真正的一条一条队列，并且每个队列可以被多个 Consumer 拉取消息。这个，是非常大的一个差异。 ? 来看看 RabbitMQ 顺序错乱的场景 ： 一个 ... -
67.Kafka Consumer 是否可以消费指定的分区消息？
67.Kafka Consumer 是否可以消费指定的分区消息？ 67.Kafka Consumer 是否可以消费指定的分区消息？ Consumer 消费消息时，向 Broker 发出“fetch”请求去消费特定分区的消息，Consumer 指定消息在日志中的偏移量(offset)，就可以消费从这个位置开始的消息，Consumer 拥有了 offse... -
22.分区重分配
分区重分配 分区重分配 当集群中的一个节点突然宕机下线时，如果节点上的分区是单副本的，那么这些分区就变得不可用了，在节点恢复前，相应的数据也就处于丢失状态；如果节点上的分区是多副本的，那么位于这个节点上的 leader 副本的角色会转交到集群的其他 follower 副本中。总而言之，这个节点上的分区副本都已经处于功能失效的状态，Kafka 并不会将... -
20.初识KafkaAdminClient
初识KafkaAdminClient 基本使用 主题合法性验证 初识KafkaAdminClient 一般情况下，我们都习惯使用 kafka-topics.sh 脚本来管理主题，但有些时候我们希望将主题管理类的功能集成到公司内部的系统中，打造集管理、监控、运维、告警为一体的生态平台，那么就需要以程序调用 API 的方式去实现。本节主要介绍 Kaf... -
13. 如何保证生产者的发送消息的可靠性？
13. 如何保证生产者的发送消息的可靠性？ 13. 如何保证生产者的发送消息的可靠性？ 要保证生产者的发送消息的可靠性，可以从RabbitMQ、RocketMQ和Kafka三个消息队列的机制来讲： RabbitMQ ： 确认机制（ACK） ：通过开启confirm 功能，生产者在发送消息后会等待接收到确认回调，从而确保消息已经成功投递到队列中... -
65. Kafka 消息发送和消费的简化流程是什么？
65. Kafka 消息发送和消费的简化流程是什么？ 1）Producer 发送消息 2）Broker 存储消息 3）Consumer 消费消息 65. Kafka 消息发送和消费的简化流程是什么？ Kafka 消息发送和消费 1、Producer ，根据指定的 partition 方法（round-robin、hash等），将消息发布...