-
14. 如何保证消息的顺序性？
14. 如何保证消息的顺序性？ 14. 如何保证消息的顺序性？ 不同的消息队列，其架构不同，所以实现消息的顺序性的方案不同。 在保证消息顺序性方面，RabbitMQ、RocketMQ和Kafka各有其独特的实现机制： RabbitMQ ： RabbitMQ通过拆分队列（多个queue）或使用内存队列来保证消息的顺序性。 通过确认模式（ack... -
83.Kafka 如何保证消息的顺序性？
83.Kafka 如何保证消息的顺序性？ 83.Kafka 如何保证消息的顺序性？ Kafka 本身，并不像 RocketMQ 一样，提供顺序性的消息。所以，提供的方案，都是相对有损的。如下： 这里的顺序消息，我们更多指的是，单个 Partition 的消息，被顺序消费。 方式一，Consumer ，对每个 Partition 内部单线程... -
28.Kafka Connect
Kafka Connect 独立模式 REST API 分布式模式 Kafka Connect Kafka Connect 是一个工具，它为在 Kafka 和外部数据存储系统之间移动数据提供了一种可靠的且可伸缩的实现方式。Kafka Connect 可以简单快捷地将数据从 Kafka 中导入或导出，数据范围涵盖关系型数据库、日志和度量数据、Ha... -
4.序列化-分区器-拦截器
序列化 分区器 生产者拦截器 序列化 生产者需要用序列化器（Serializer）把对象转换成字节数组才能通过网络发送给 Kafka。而在对侧，消费者需要用反序列化器（Deserializer）把从 Kafka 中收到的字节数组转换成相应的对象。在代码清单3-1中，为了方便，消息的 key 和 value 都使用了字符串，对应程序中的序列化器也使... -
27.常用管理工具
消费组管理 消费位移管理 手动删除消息 消费组管理 在 Kafka 中，我们可以通过 kafka-consumer-groups.sh 脚本查看或变更消费组的信息。我们可以通过 list 这个指令类型的参数来罗列出当前集群中所有的消费组名称，示例如下（这个功能对应 KafkaAdminClient 中的 listConsumerGroups() ... -
76.ZooKeeper 在 Kafka 中起到什么作用？
76.ZooKeeper 在 Kafka 中起到什么作用？ 76.ZooKeeper 在 Kafka 中起到什么作用？ 在基于 Kafka 的分布式消息队列中，ZooKeeper 的作用有： 1、Broker 在 ZooKeeper 中的注册。 2、Topic 在 ZooKeeper 中的注册。 3、Consumer 在 ZooKeepe... -
18.查看、修改和删除主题
查看主题 修改主题 删除主题 查看主题 第16节中提及了 kafka-topics.sh 脚本有5种指令类型：create、list、describe、alter 和 delete。其中 list 和 describe 指令可以用来方便地查看主题信息，在前面的内容中我们已经接触过了 describe 指令的用法，本节会对其做更细致的讲述。 通过... -
35. Kafka与Structured Streaming的整合
Spark SQL Structured Streaming Kafka与Structured Streaming的整合 总结 Spark SQL Spark SQL 是一个用于处理结构化数据的 Spark 组件，它是在 Spark 1.0 版本开始加入 Spark 生态系统的。Spark SQL 能够利用 Spark 进行结构化数据的存储和操... -
18. Kafka、ActiveMQ、RabbitMQ、RocketMQ 有什么优缺点？
18. Kafka、ActiveMQ、RabbitMQ、RocketMQ 有什么优缺点？ 18. Kafka、ActiveMQ、RabbitMQ、RocketMQ 有什么优缺点？ 这四者，对比如下表格如下： 特性 ActiveMQ RabbitMQ RocketMQ Kafka 单机吞吐量 万级，比 RocketMQ、Ka... -
79.Kafka 是否会弄丢数据？
79.Kafka 是否会弄丢数据？ 79.Kafka 是否会弄丢数据？ 注意，Kafka 是否会丢数据，主要取决于我们如何使用。这点，非常重要噢。