-
4.序列化-分区器-拦截器
序列化 分区器 生产者拦截器 序列化 生产者需要用序列化器（Serializer）把对象转换成字节数组才能通过网络发送给 Kafka。而在对侧，消费者需要用反序列化器（Deserializer）把从 Kafka 中收到的字节数组转换成相应的对象。在代码清单3-1中，为了方便，消息的 key 和 value 都使用了字符串，对应程序中的序列化器也使... -
19.配置管理
配置管理 主题端参数 配置管理 kafka-configs.sh 脚本是专门用来对配置进行操作的，这里的操作是指在运行状态下修改原有的配置，如此可以达到动态变更的目的。kafka-configs.sh 脚本包含变更配置 alter 和查看配置 describe 这两种指令类型。同使用 kafka-topics.sh 脚本变更配置的原则一样，增、删、... -
27.常用管理工具
消费组管理 消费位移管理 手动删除消息 消费组管理 在 Kafka 中，我们可以通过 kafka-consumer-groups.sh 脚本查看或变更消费组的信息。我们可以通过 list 这个指令类型的参数来罗列出当前集群中所有的消费组名称，示例如下（这个功能对应 KafkaAdminClient 中的 listConsumerGroups() ... -
76.ZooKeeper 在 Kafka 中起到什么作用？
76.ZooKeeper 在 Kafka 中起到什么作用？ 76.ZooKeeper 在 Kafka 中起到什么作用？ 在基于 Kafka 的分布式消息队列中，ZooKeeper 的作用有： 1、Broker 在 ZooKeeper 中的注册。 2、Topic 在 ZooKeeper 中的注册。 3、Consumer 在 ZooKeepe... -
35. Kafka与Structured Streaming的整合
Spark SQL Structured Streaming Kafka与Structured Streaming的整合 总结 Spark SQL Spark SQL 是一个用于处理结构化数据的 Spark 组件，它是在 Spark 1.0 版本开始加入 Spark 生态系统的。Spark SQL 能够利用 Spark 进行结构化数据的存储和操... -
24.修改副本因子
修改副本因子 修改副本因子 创建主题之后我们还可以修改分区的个数，同样可以修改副本因子（副本数）。修改副本因子的使用场景也很多，比如在创建主题时填写了错误的副本因子数而需要修改，再比如运行一段时间之后想要通过增加副本因子数来提高容错性和可靠性。 前面主要讲述了分区重分配的相关细节，本节中修改副本因子的功能也是通过重分配所使用的 kafka-reas... -
79.Kafka 是否会弄丢数据？
79.Kafka 是否会弄丢数据？ 79.Kafka 是否会弄丢数据？ 注意，Kafka 是否会丢数据，主要取决于我们如何使用。这点，非常重要噢。 -
18. Kafka、ActiveMQ、RabbitMQ、RocketMQ 有什么优缺点？
18. Kafka、ActiveMQ、RabbitMQ、RocketMQ 有什么优缺点？ 18. Kafka、ActiveMQ、RabbitMQ、RocketMQ 有什么优缺点？ 这四者，对比如下表格如下： 特性 ActiveMQ RabbitMQ RocketMQ Kafka 单机吞吐量 万级，比 RocketMQ、Ka... -
5.生产者客户端原理分析
生产者客户端原理分析 整体架构 元数据的更新 生产者客户端原理分析 在前面的章节中，我们已经了解了 KafkaProducer 的具体使用方法，而本节的内容主要是对 Kafka 生产者客户端的内部原理进行分析，通过了解生产者客户端的整体脉络可以让我们更好地使用它，避免因为一些理解上的偏差而造成使用上的错误。 整体架构 在上一节中提及了消息在... -
63.Kafka 为什么要将 Topic 进行分区？
63.Kafka 为什么要将 Topic 进行分区？ 63.Kafka 为什么要将 Topic 进行分区？ 正如我们在 「聊聊 Kafka 的设计要点？」 问题中所看到的，是为了负载均衡，从而能够水平拓展。 Topic 只是逻辑概念，面向的是 Producer 和 Consumer ，而 Partition 则是物理概念。如果 Topic 不进...