-
75.Kafka 的副本机制是怎么样的？
75.Kafka 的副本机制是怎么样的？ 75.Kafka 的副本机制是怎么样的？ Kafka 的副本机制，是多个 Broker 节点对其他节点的 Topic 分区的日志进行复制。当集群中的某个节点出现故障，访问故障节点的请求会被转移到其他正常节点(这一过程通常叫 Reblance)，Kafka 每个主题的每个分区都有一个主副本以及 0 个或者多个副... -
36. 写在最后
写在最后 写在最后 学习到这里，相信读者可以应付 Kafka 绝大多数的使用场景，这里虽然是本小册《图解Kafka之实战指南》的终点，但绝不是你学习 Kafka 的终点，在学习消化完本小册之后，建议读者继续学习[《图解Kafka之核心原理》],里面有更核心的知识点等着大家去掌握。 在小册开始介绍的部分中有一处“你会学到什么？”的地方，里面笔者列举了... -
81.Broker 弄丢了数据？
81.Broker 弄丢了数据？ 81.Broker 弄丢了数据？ 这块比较常见的一个场景，就是 Kafka 某个 Broker 宕机，然后重新选举 Partition 的 leader。大家想想，要是此时其他的 follower 刚好还有些数据没有同步，结果此时 leader 挂了，然后选举某个 follower 成 leader 之后，不就少了一... -
19.配置管理
配置管理 主题端参数 配置管理 kafka-configs.sh 脚本是专门用来对配置进行操作的，这里的操作是指在运行状态下修改原有的配置，如此可以达到动态变更的目的。kafka-configs.sh 脚本包含变更配置 alter 和查看配置 describe 这两种指令类型。同使用 kafka-topics.sh 脚本变更配置的原则一样，增、删、... -
2. Kafka入门
安装与配置 1. JDK的安装与配置 2. ZooKeeper安装与配置 3. Kafka的安装与配置 生产与消费 服务端参数配置 1. zookeeper.connect 2. listeners 3. broker.id 4. log.dir和log.dirs 5. message.max.bytes 总结 安装与配置 本节... -
66.Kafka Producer 有哪些发送模式？
66.Kafka Producer 有哪些发送模式？ 66.Kafka Producer 有哪些发送模式？ Kafka 的发送模式由 Producer 端的配置参数 producer.type 来设置。 这个参数指定了在后台线程中消息的发送方式是同步的还是异步的，默认是同步的方式，即 producer.type=sync 。 如果设置成异步的模... -
17.主题与分区
主题与分区 主题的管理 创建主题 主题与分区 主题和分区是 Kafka 的两个核心概念，前面章节中讲述的生产者和消费者的设计理念所针对的都是主题和分区层面的操作。主题作为消息的归类，可以再细分为一个或多个分区，分区也可以看作对消息的二次归类。分区的划分不仅为 Kafka 提供了可伸缩性、水平扩展的功能，还通过多副本机制来为 Kafka 提供数据冗... -
29.Kafka Mirror Maker
Kafka Mirror Maker Kafka Mirror Maker Kafka Mirror Maker 是用于在两个集群之间同步数据的一个工具，其实现原理是通过从源集群中消费消息，然后将消息生产到目标集群中，也就是普通的生产和消费消息。如果了解 RabbitMQ，那么会发现这个工具和 RabbitMQ 中的数据迁移插件 Federation... -
23.复制限流
复制限流 复制限流 在上一节中我们了解了分区重分配本质在于数据复制，先增加新的副本，然后进行数据同步，最后删除旧的副本来达到最终的目的。数据复制会占用额外的资源，如果重分配的量太大必然会严重影响整体的性能，尤其是处于业务高峰期的时候。减小重分配的粒度，以小批次的方式来操作是一种可行的解决思路。如果集群中某个主题或某个分区的流量在某段时间内特别大，那么... -
24.修改副本因子
修改副本因子 修改副本因子 创建主题之后我们还可以修改分区的个数，同样可以修改副本因子（副本数）。修改副本因子的使用场景也很多，比如在创建主题时填写了错误的副本因子数而需要修改，再比如运行一段时间之后想要通过增加副本因子数来提高容错性和可靠性。 前面主要讲述了分区重分配的相关细节，本节中修改副本因子的功能也是通过重分配所使用的 kafka-reas...