-
3. 生产者客户端开发
生产者-客户端开发 客户端开发 必要的参数配置 消息的发送 生产者-客户端开发 从编程的角度而言，生产者就是负责向 Kafka 发送消息的应用程序。在 Kafka 的历史变迁中，一共有两个大版本的生产者客户端：第一个是于 Kafka 开源之初使用 Scala 语言编写的客户端，我们可以称之为旧生产者客户端（Old Producer）或 Scal... -
36. 写在最后
写在最后 写在最后 学习到这里，相信读者可以应付 Kafka 绝大多数的使用场景，这里虽然是本小册《图解Kafka之实战指南》的终点，但绝不是你学习 Kafka 的终点，在学习消化完本小册之后，建议读者继续学习[《图解Kafka之核心原理》],里面有更核心的知识点等着大家去掌握。 在小册开始介绍的部分中有一处“你会学到什么？”的地方，里面笔者列举了... -
87.kafka怎么实现的高性能
kafka怎么实现的高性能 1. 高效的存储结构 2. 分布式架构 3. 高效的网络通信 4. 异步处理 5. 高效的消费者模型 6. 容错和恢复 7. 数据流量管理 总结 kafka怎么实现的高性能 Apache Kafka 是一个分布式流处理平台，以其高吞吐量和低延迟著称。Kafka 的高性能主要源于其设计和实现中的... -
5.生产者客户端原理分析
生产者客户端原理分析 整体架构 元数据的更新 生产者客户端原理分析 在前面的章节中，我们已经了解了 KafkaProducer 的具体使用方法，而本节的内容主要是对 Kafka 生产者客户端的内部原理进行分析，通过了解生产者客户端的整体脉络可以让我们更好地使用它，避免因为一些理解上的偏差而造成使用上的错误。 整体架构 在上一节中提及了消息在... -
4.序列化-分区器-拦截器
序列化 分区器 生产者拦截器 序列化 生产者需要用序列化器（Serializer）把对象转换成字节数组才能通过网络发送给 Kafka。而在对侧，消费者需要用反序列化器（Deserializer）把从 Kafka 中收到的字节数组转换成相应的对象。在代码清单3-1中，为了方便，消息的 key 和 value 都使用了字符串，对应程序中的序列化器也使... -
11.位移提交
位移提交 控制或关闭消费 位移提交 对于 Kafka 中的分区而言，它的每条消息都有唯一的 offset，用来表示消息在分区中对应的位置。对于消费者而言，它也有一个 offset 的概念，消费者使用 offset 来表示消费到分区中某个消息所在的位置。 单词“offset”可以翻译为“偏移量”，也可以翻译为“位移”，读者可能并没有过多地在意这一点... -
89.kafka常见面试题
1. 什么是 Kafka？ 2. Kafka 的主要组件有哪些？ 3. Kafka 如何保证消息的持久性？ 4. 什么是 Kafka 的副本机制？它的作用是什么？ 5. Kafka 是如何实现消息顺序性的？ 6. Kafka 的消费者组是什么？ 7. 如何处理 Kafka 中的消息重复消费？ 8. Kafka 和传统消息队列的区别是什么？ 9... -
6.重要的生产者参数
重要的生产者参数 1. acks 2. max.request.size 3. retries和retry.backoff.ms 4. compression.type 5. connections.max.idle.ms 6. linger.ms 7. receive.buffer.bytes 8. send.buffer.bytes 9.... -
31.Kafka监控（上）
Kafka监控 监控数据的来源 OneMinuteRate 获取监控指标 Kafka监控 任何应用功能再强大、性能再优越，如果没有与之匹配的监控，那么一切都是虚无缥缈的。监控不仅可以为应用提供运行时的数据作为依据参考，还可以迅速定位问题，提供预防及告警等功能，很大程度上增强了整体服务的鲁棒性。 目前的 Kafka 监控产品有很多，比如 Kaf... -
25. 如何选择合适的分区数(上)
如何选择合适的分区数 性能测试工具 分区数越多吞吐量就越高吗 如何选择合适的分区数 如何选择合适的分区数？这是很多 Kafka 的使用者经常面临的问题，不过对这个问题而言，似乎并没有非常权威的答案。而且这个问题显然也没有固定的答案，只能从某些角度来做具体的分析，最终还是要根据实际的业务场景、软件条件、硬件条件、负载情况等来做具体的考量。本节主要介...