-
62. Kafka 的架构是怎么样的？
62. Kafka 的架构是怎么样的？ 62. Kafka 的架构是怎么样的？ Kafka 架构图 Kafka 的整体架构非常简单，是分布式架构，Producer、Broker 和Consumer 都可以有多个。 Producer，Consumer 实现 Kafka 注册的接口。 数据从 Producer 发送到 Broker 中，Brok... -
57.RabbitMQ 如何保证消息的顺序性？
57.RabbitMQ 如何保证消息的顺序性？ 57.RabbitMQ 如何保证消息的顺序性？ 和 Kafka 与 RocketMQ 不同，Kafka 不存在类似类似 Topic 的概念，而是真正的一条一条队列，并且每个队列可以被多个 Consumer 拉取消息。这个，是非常大的一个差异。 ? 来看看 RabbitMQ 顺序错乱的场景 ： 一个 ... -
8. 如何使用消息队列进行日志处理？
8. 如何使用消息队列进行日志处理？ 8. 如何使用消息队列进行日志处理？ 日志处理，是指将消息队列用在日志处理中，比如 Kafka 的应用，解决大量日志传输 的问题。 日志传输 日志采集客户端，负责日志数据采集，定时批量写入 Kafka 队列。 Kafka 消息队列，负责日志数据的接收，存储和转发。 日志处理应用：订阅并消费 Kafka... -
32.Kafka监控（下）
消费滞后 监控指标说明 监控模块 总结 消费滞后 消息堆积是消息中间件的一大特色，消息中间件的流量削峰、冗余存储等功能正是得益于消息中间件的消息堆积能力。然而消息堆积是一把亦正亦邪的“双刃剑”，如果应用场合不恰当，反而会对上下游的业务造成不必要的麻烦，比如消息堆积势必会影响上下游整个调用链的时效性。在某些情况下，有些中间件如 RabbitMQ ... -
67.Kafka Consumer 是否可以消费指定的分区消息？
67.Kafka Consumer 是否可以消费指定的分区消息？ 67.Kafka Consumer 是否可以消费指定的分区消息？ Consumer 消费消息时，向 Broker 发出“fetch”请求去消费特定分区的消息，Consumer 指定消息在日志中的偏移量(offset)，就可以消费从这个位置开始的消息，Consumer 拥有了 offse... -
61.聊聊 Kafka 的设计要点？
61.聊聊 Kafka 的设计要点？ 1）吞吐量 2）负载均衡 3）拉取系统 4）可扩展性 61.聊聊 Kafka 的设计要点？ 参考解析 1）吞吐量 高吞吐是 Kafka 需要实现的核心目标之一，为此 kafka 做了以下一些设计： 1、数据磁盘持久化：消息不在内存中 Cache ，直接写入到磁盘，充分利用磁盘的顺序读写性能。 ... -
22.分区重分配
分区重分配 分区重分配 当集群中的一个节点突然宕机下线时，如果节点上的分区是单副本的，那么这些分区就变得不可用了，在节点恢复前，相应的数据也就处于丢失状态；如果节点上的分区是多副本的，那么位于这个节点上的 leader 副本的角色会转交到集群的其他 follower 副本中。总而言之，这个节点上的分区副本都已经处于功能失效的状态，Kafka 并不会将... -
13. 如何保证生产者的发送消息的可靠性？
13. 如何保证生产者的发送消息的可靠性？ 13. 如何保证生产者的发送消息的可靠性？ 要保证生产者的发送消息的可靠性，可以从RabbitMQ、RocketMQ和Kafka三个消息队列的机制来讲： RabbitMQ ： 确认机制（ACK） ：通过开启confirm 功能，生产者在发送消息后会等待接收到确认回调，从而确保消息已经成功投递到队列中... -
20.初识KafkaAdminClient
初识KafkaAdminClient 基本使用 主题合法性验证 初识KafkaAdminClient 一般情况下，我们都习惯使用 kafka-topics.sh 脚本来管理主题，但有些时候我们希望将主题管理类的功能集成到公司内部的系统中，打造集管理、监控、运维、告警为一体的生态平台，那么就需要以程序调用 API 的方式去实现。本节主要介绍 Kaf... -
65. Kafka 消息发送和消费的简化流程是什么？
65. Kafka 消息发送和消费的简化流程是什么？ 1）Producer 发送消息 2）Broker 存储消息 3）Consumer 消费消息 65. Kafka 消息发送和消费的简化流程是什么？ Kafka 消息发送和消费 1、Producer ，根据指定的 partition 方法（round-robin、hash等），将消息发布...