-
80.消费端弄丢了数据？
80.消费端弄丢了数据？ 80.消费端弄丢了数据？ 唯一可能导致消费者弄丢数据的情况，就是说，你消费到了这个消息，然后消费者那边自动提交了 offset ，让 Broker 以为你已经消费好了这个消息，但其实你才刚准备处理这个消息，你还没处理，你自己就挂了，此时这条消息就丢咯。 这不是跟 RabbitMQ 差不多吗，大家都知道 Kafka 会自动提... -
1. 什么是消息队列？
1. 什么是消息队列？ 1. 什么是消息队列？ 消息队列，是分布式系统中重要的组件。 主要解决应用耦合，异步消息，流量削锋等问题。 可实现高性能，高可用，可伸缩和最终一致性架构，是大型分布式系统不可缺少的中间件。 目前主流的消息队列有 Kafka RabbitMQ RocketMQ ，老版本是 MetaQ 。 ActiveMQ ，目前用的人... -
10. 消息消费
消息消费 消息消费 Kafka 中的消费是基于拉模式的。消息的消费一般有两种模式：推模式和拉模式。推模式是服务端主动将消息推送给消费者，而拉模式是消费者主动向服务端发起请求来拉取消息。 从代码清单8-1中可以看出，Kafka 中的消息消费是一个不断轮询的过程，消费者所要做的就是重复地调用 poll() 方法，而 poll() 方法返回的是所订阅的主... -
9. 反序列化
反序列化 反序列化 在第4节中我们讲述了 KafkaProducer 对应的序列化器，那么与此对应的 KafkaConsumer 就会有反序列化器。Kafka 所提供的反序列化器有 ByteBufferDeserializer、ByteArrayDeserializer、BytesDeserializer、DoubleDeserializer、Flo... -
7.消费者与消费组
消费者与消费组 消费者与消费组 与生产者对应的是消费者，应用程序可以通过 KafkaConsumer 来订阅主题，并从订阅的主题中拉取消息。不过在使用 KafkaConsumer 消费消息之前需要先了解消费者和消费组的概念，否则无法理解如何使用 KafkaConsumer。本章首先讲解消费者与消费组之间的关系，进而再细致地讲解如何使用 KafkaCo... -
8.消费者客户端开发
消费者客户端开发 必要的参数配置 订阅主题和分区 消费者golang客户端开发 Go 代码实现 代码分析 消费者客户端开发 在了解了消费者与消费组之间的概念之后，我们就可以着手进行消费者客户端的开发了。在 Kafka 的历史中，消费者客户端同生产者客户端一样也经历了两个大版本：第一个是于 Kafka 开源之初使用 Scala 语言编写的客户... -
73.为什么不能以 Partition 作为存储单位？
73.为什么不能以 Partition 作为存储单位？ 73.为什么不能以 Partition 作为存储单位？ 如果就以 Partition 为最小存储单位，可以想象，当 Kafka Producer 不断发送消息，必然会引起 Partition 文件的无限扩张，将对消息文件的维护以及已消费的消息的清理带来严重的影响，因此，需以 segment 为单... -
83.Redis 有哪些数据结构？
83.Redis 有哪些数据结构？ 83.Redis 有哪些数据结构？ 如果你是 Redis 普通玩家，可能你的回答是如下五种数据结构： 字符串 String 字典Hash 列表List 集合Set 有序集合 SortedSet 如果你是 Redis 中级玩家，还需要加上下面几种数据结构： HyperLogLog Geo Bitmap 如... -
四、使用场景
计数器 缓存 查找表 消息队列 会话缓存 分布式锁实现 其它 计数器 可以对 String 进行自增自减运算，从而实现计数器功能。 Redis 这种内存型数据库的读写性能非常高，很适合存储频繁读写的计数量。 缓存 将热点数据放到内存中，设置内存的最大使用量以及淘汰策略来保证缓存的命中率。 查找表 例如 DNS 记录就很适合使... -
拓展 1：耳听八方 —— Stream
拓展 1：耳听八方 —— Stream 消息 ID 消息内容 增删改查 * 号表示服务器自动生成 ID，后面顺序跟着一堆 key/value 名字叫 laoqian，年龄 30 岁 -表示最小值 , + 表示最大值 指定最小消息 ID 的列表 指定最大消息 ID 的列表 长度不受影响 被删除的消息没了 删除整个 Stream 独立...