-
78.什么是 Kafka 事务？
78.什么是 Kafka 事务？ 1. 为什么要支持事务 2. 事务语义 2.1. 多分区原子写入 2.2. 粉碎“僵尸实例” 2.3. 读事务消息 3. 事务处理Java API 4. 事务工作原理 5. 事务协调器和事务日志 6. 数据流 7. 事务实践 7.1. 如何选择事务Id 7.2. 事务性能以及如何优... -
25. 如何选择合适的分区数(上)
如何选择合适的分区数 性能测试工具 分区数越多吞吐量就越高吗 如何选择合适的分区数 如何选择合适的分区数？这是很多 Kafka 的使用者经常面临的问题，不过对这个问题而言，似乎并没有非常权威的答案。而且这个问题显然也没有固定的答案，只能从某些角度来做具体的分析，最终还是要根据实际的业务场景、软件条件、硬件条件、负载情况等来做具体的考量。本节主要介... -
68.Kafka 的 high-level API 和 low-level API 的区别？
68.Kafka 的 high-level API 和 low-level API 的区别？ 68.Kafka 的 high-level API 和 low-level API 的区别？ High Level API 屏蔽了每个 Topic 的每个 Partition 的 offset 管理（自动读取Zookeeper 中该 Consumer g... -
2.链路追踪技术选型
zipkin jaeger skywalking OpenTracing兼容 是 是 是 客户端支持语言 java,c#,go,php,python等 java,c#,go,php,python等 Java, .NET Core, NodeJS ,PHP,python 存储 ES，mysql,Cassand... -
72.简单介绍一下如何读取数据？
72.简单介绍一下如何读取数据？ 72.简单介绍一下如何读取数据？ 如果我们要读取第 911 条数据。 首先第一步，找到它是属于哪一段的，根据二分法查找到他属于的文件，找到 0000900.index 和 00000900.log 之后。 然后，去 .index 中去查找 (911-900) =11 这个索引或者小于 11 最近的索引... -
60.Kafka 的主要特点？
60.Kafka 的主要特点？ 60.Kafka 的主要特点？ 1、同时为发布和订阅提供高吞吐量。据了解，Kafka 每秒可以生产约 25 万消息（50MB），每秒处理 55 万消息（110MB）。 2、可进行持久化操作。将消息持久化到磁盘，因此可用于批量消费，例如 ETL ，以及实时应用程序。通过将数据持久化到硬盘，以及replication ... -
17. 消息队列如何实现高可用？
17. 消息队列如何实现高可用？ 17. 消息队列如何实现高可用？ 不同的消息队列，其架构不同，所以实现高可用的方案不同。所以参见如下文章： RocketMQ RabbitMQ Kafka -
3. 生产者客户端开发
生产者-客户端开发 客户端开发 必要的参数配置 消息的发送 生产者-客户端开发 从编程的角度而言，生产者就是负责向 Kafka 发送消息的应用程序。在 Kafka 的历史变迁中，一共有两个大版本的生产者客户端：第一个是于 Kafka 开源之初使用 Scala 语言编写的客户端，我们可以称之为旧生产者客户端（Old Producer）或 Scal... -
10. 消息消费
消息消费 消息消费 Kafka 中的消费是基于拉模式的。消息的消费一般有两种模式：推模式和拉模式。推模式是服务端主动将消息推送给消费者，而拉模式是消费者主动向服务端发起请求来拉取消息。 从代码清单8-1中可以看出，Kafka 中的消息消费是一个不断轮询的过程，消费者所要做的就是重复地调用 poll() 方法，而 poll() 方法返回的是所订阅的主... -
8.消费者客户端开发
消费者客户端开发 必要的参数配置 订阅主题和分区 消费者客户端开发 在了解了消费者与消费组之间的概念之后，我们就可以着手进行消费者客户端的开发了。在 Kafka 的历史中，消费者客户端同生产者客户端一样也经历了两个大版本：第一个是于 Kafka 开源之初使用 Scala 语言编写的客户端，我们可以称之为旧消费者客户端（Old Consumer）或...