-
63.Kafka 为什么要将 Topic 进行分区？
63.Kafka 为什么要将 Topic 进行分区？ 63.Kafka 为什么要将 Topic 进行分区？ 正如我们在 「聊聊 Kafka 的设计要点？」 问题中所看到的，是为了负载均衡，从而能够水平拓展。 Topic 只是逻辑概念，面向的是 Producer 和 Consumer ，而 Partition 则是物理概念。如果 Topic 不进... -
10.mq技术选型
结论: (1)中小型软件公司，建议选RabbitMQ.一方面，erlang语言天生具备高并发的特性，而且他的管理界面用起来十分方便。正所谓，成也萧何，败也萧何！他的弊端也在这里，虽然RabbitMQ是开源的，然而国内有几个能定制化开发erlang的程序员呢？所幸，RabbitMQ的社区十分活跃，可以解决开发过程中遇到的bug，这点对于中小型公司来说十分... -
16.重要的消费者参数
重要的消费者参数 1. fetch.min.bytes 2. fetch.max.bytes 3. fetch.max.wait.ms 4. max.partition.fetch.bytes 5. max.poll.records 6. connections.max.idle.ms 7. exclude.internal.topics 8.... -
64.Kafka 的应用场景有哪些？
64.Kafka 的应用场景有哪些？ 64.Kafka 的应用场景有哪些？ Kafka 的应用场景 1）消息队列 比起大多数的消息系统来说，Kafka 有更好的吞吐量，内置的分区，冗余及容错性，这让 Kafka 成为了一个很好的大规模消息处理应用的解决方案。消息系统一般吞吐量相对较低，但是需要更小的端到端延时，并常常依赖于 Kafka 提供的... -
5.生产者客户端原理分析
生产者客户端原理分析 整体架构 元数据的更新 生产者客户端原理分析 在前面的章节中，我们已经了解了 KafkaProducer 的具体使用方法，而本节的内容主要是对 Kafka 生产者客户端的内部原理进行分析，通过了解生产者客户端的整体脉络可以让我们更好地使用它，避免因为一些理解上的偏差而造成使用上的错误。 整体架构 在上一节中提及了消息在... -
88.为什么kafka这么快
为什么Kafka这么快？ 一、顺序IO 二、内存映射文件 三、零拷贝 四、应用层面的优化 写在后面 为什么Kafka这么快？ 很多人都知道Kafka吞吐量高，延迟低，那么为什么Kafka会这么快？如果在面试中被问到这个问题，你会回答吗？如果你一脸懵逼地看着面试官，面试官可能不会很生气，但是后果可能很严重。因为在面试官的眼里，你可能只是个会写... -
89.kafka常见面试题
1. 什么是 Kafka？ 2. Kafka 的主要组件有哪些？ 3. Kafka 如何保证消息的持久性？ 4. 什么是 Kafka 的副本机制？它的作用是什么？ 5. Kafka 是如何实现消息顺序性的？ 6. Kafka 的消费者组是什么？ 7. 如何处理 Kafka 中的消息重复消费？ 8. Kafka 和传统消息队列的区别是什么？ 9... -
1.初识Kafka
初识Kafka 基本概念 初识Kafka Kafka 起初是 由 LinkedIn 公司采用 Scala 语言开发的一个多分区、多副本且基于 ZooKeeper 协调的分布式消息系统，现已被捐献给 Apache 基金会。目前 Kafka 已经定位为一个分布式流式处理平台，它以高吞吐、可持久化、可水平扩展、支持流数据处理等多种特性而被广泛使用。目前越... -
21.优先副本的选举
优先副本的选举 优先副本的选举 分区使用多副本机制来提升可靠性，但只有 leader 副本对外提供读写服务，而 follower 副本只负责在内部进行消息的同步。如果一个分区的 leader 副本不可用，那么就意味着整个分区变得不可用，此时就需要 Kafka 从剩余的 follower 副本中挑选一个新的 leader 副本来继续对外提供服务。虽然不... -
74.Kafka 的消息格式是怎么样的？
74.Kafka 的消息格式是怎么样的？ 74.Kafka 的消息格式是怎么样的？ message 中的物理结构为： message 物理结构 参数说明： 关键字 解释说明 8 byte offset 在parition(分区)内的每条消息都有一个有序的id号，这个id号被称为偏移(offset),它可以唯一确定每条消息...