-
61.聊聊 Kafka 的设计要点？
61.聊聊 Kafka 的设计要点？ 1）吞吐量 2）负载均衡 3）拉取系统 4）可扩展性 61.聊聊 Kafka 的设计要点？ 参考解析 1）吞吐量 高吞吐是 Kafka 需要实现的核心目标之一，为此 kafka 做了以下一些设计： 1、数据磁盘持久化：消息不在内存中 Cache ，直接写入到磁盘，充分利用磁盘的顺序读写性能。 ... -
10.mq技术选型
结论: (1)中小型软件公司，建议选RabbitMQ.一方面，erlang语言天生具备高并发的特性，而且他的管理界面用起来十分方便。正所谓，成也萧何，败也萧何！他的弊端也在这里，虽然RabbitMQ是开源的，然而国内有几个能定制化开发erlang的程序员呢？所幸，RabbitMQ的社区十分活跃，可以解决开发过程中遇到的bug，这点对于中小型公司来说十分... -
89.kafka常见面试题
1. 什么是 Kafka？ 2. Kafka 的主要组件有哪些？ 3. Kafka 如何保证消息的持久性？ 4. 什么是 Kafka 的副本机制？它的作用是什么？ 5. Kafka 是如何实现消息顺序性的？ 6. Kafka 的消费者组是什么？ 7. 如何处理 Kafka 中的消息重复消费？ 8. Kafka 和传统消息队列的区别是什么？ 9... -
81.Broker 弄丢了数据？
81.Broker 弄丢了数据？ 81.Broker 弄丢了数据？ 这块比较常见的一个场景，就是 Kafka 某个 Broker 宕机，然后重新选举 Partition 的 leader。大家想想，要是此时其他的 follower 刚好还有些数据没有同步，结果此时 leader 挂了，然后选举某个 follower 成 leader 之后，不就少了一... -
16.重要的消费者参数
重要的消费者参数 1. fetch.min.bytes 2. fetch.max.bytes 3. fetch.max.wait.ms 4. max.partition.fetch.bytes 5. max.poll.records 6. connections.max.idle.ms 7. exclude.internal.topics 8.... -
2. Kafka入门
安装与配置 1. JDK的安装与配置 2. ZooKeeper安装与配置 3. Kafka的安装与配置 生产与消费 服务端参数配置 1. zookeeper.connect 2. listeners 3. broker.id 4. log.dir和log.dirs 5. message.max.bytes 总结 安装与配置 本节... -
75.Kafka 的副本机制是怎么样的？
75.Kafka 的副本机制是怎么样的？ 75.Kafka 的副本机制是怎么样的？ Kafka 的副本机制，是多个 Broker 节点对其他节点的 Topic 分区的日志进行复制。当集群中的某个节点出现故障，访问故障节点的请求会被转移到其他正常节点(这一过程通常叫 Reblance)，Kafka 每个主题的每个分区都有一个主副本以及 0 个或者多个副... -
17.主题与分区
主题与分区 主题的管理 创建主题 主题与分区 主题和分区是 Kafka 的两个核心概念，前面章节中讲述的生产者和消费者的设计理念所针对的都是主题和分区层面的操作。主题作为消息的归类，可以再细分为一个或多个分区，分区也可以看作对消息的二次归类。分区的划分不仅为 Kafka 提供了可伸缩性、水平扩展的功能，还通过多副本机制来为 Kafka 提供数据冗... -
29.Kafka Mirror Maker
Kafka Mirror Maker Kafka Mirror Maker Kafka Mirror Maker 是用于在两个集群之间同步数据的一个工具，其实现原理是通过从源集群中消费消息，然后将消息生产到目标集群中，也就是普通的生产和消费消息。如果了解 RabbitMQ，那么会发现这个工具和 RabbitMQ 中的数据迁移插件 Federation... -
62. Kafka 的架构是怎么样的？
62. Kafka 的架构是怎么样的？ 62. Kafka 的架构是怎么样的？ Kafka 架构图 Kafka 的整体架构非常简单，是分布式架构，Producer、Broker 和Consumer 都可以有多个。 Producer，Consumer 实现 Kafka 注册的接口。 数据从 Producer 发送到 Broker 中，Brok...