-
78.什么是 Kafka 事务？
78.什么是 Kafka 事务？ 1. 为什么要支持事务 2. 事务语义 2.1. 多分区原子写入 2.2. 粉碎“僵尸实例” 2.3. 读事务消息 3. 事务处理Java API 4. 事务工作原理 5. 事务协调器和事务日志 6. 数据流 7. 事务实践 7.1. 如何选择事务Id 7.2. 事务性能以及如何优... -
25. 如何选择合适的分区数(上)
如何选择合适的分区数 性能测试工具 分区数越多吞吐量就越高吗 如何选择合适的分区数 如何选择合适的分区数？这是很多 Kafka 的使用者经常面临的问题，不过对这个问题而言，似乎并没有非常权威的答案。而且这个问题显然也没有固定的答案，只能从某些角度来做具体的分析，最终还是要根据实际的业务场景、软件条件、硬件条件、负载情况等来做具体的考量。本节主要介... -
68.Kafka 的 high-level API 和 low-level API 的区别？
68.Kafka 的 high-level API 和 low-level API 的区别？ 68.Kafka 的 high-level API 和 low-level API 的区别？ High Level API 屏蔽了每个 Topic 的每个 Partition 的 offset 管理（自动读取Zookeeper 中该 Consumer g... -
72.简单介绍一下如何读取数据？
72.简单介绍一下如何读取数据？ 72.简单介绍一下如何读取数据？ 如果我们要读取第 911 条数据。 首先第一步，找到它是属于哪一段的，根据二分法查找到他属于的文件，找到 0000900.index 和 00000900.log 之后。 然后，去 .index 中去查找 (911-900) =11 这个索引或者小于 11 最近的索引... -
60.Kafka 的主要特点？
60.Kafka 的主要特点？ 60.Kafka 的主要特点？ 1、同时为发布和订阅提供高吞吐量。据了解，Kafka 每秒可以生产约 25 万消息（50MB），每秒处理 55 万消息（110MB）。 2、可进行持久化操作。将消息持久化到磁盘，因此可用于批量消费，例如 ETL ，以及实时应用程序。通过将数据持久化到硬盘，以及replication ... -
2.链路追踪技术选型
zipkin jaeger skywalking OpenTracing兼容 是 是 是 客户端支持语言 java,c#,go,php,python等 java,c#,go,php,python等 Java, .NET Core, NodeJS ,PHP,python 存储 ES，mysql,Cassand... -
3. 生产者客户端开发
生产者-客户端开发 客户端开发 必要的参数配置 消息的发送 生产者-客户端开发 从编程的角度而言，生产者就是负责向 Kafka 发送消息的应用程序。在 Kafka 的历史变迁中，一共有两个大版本的生产者客户端：第一个是于 Kafka 开源之初使用 Scala 语言编写的客户端，我们可以称之为旧生产者客户端（Old Producer）或 Scal... -
6.重要的生产者参数
重要的生产者参数 1. acks 2. max.request.size 3. retries和retry.backoff.ms 4. compression.type 5. connections.max.idle.ms 6. linger.ms 7. receive.buffer.bytes 8. send.buffer.bytes 9.... -
17. 消息队列如何实现高可用？
17. 消息队列如何实现高可用？ 17. 消息队列如何实现高可用？ 不同的消息队列，其架构不同，所以实现高可用的方案不同。所以参见如下文章： RocketMQ RabbitMQ Kafka -
86.如何保证mysql和redis的实时性一致性
如何保证mysql和redis的实时性一致性 如何保证mysql和redis的实时性一致性 保证MySQL和Redis的实时一致性可以通过以下方法： 写入MySQL后更新Redis：在数据写入MySQL后，同步更新Redis。 使用MySQL的二进制日志（binlog）和消息队列：监控MySQL的binlog变更，然后通过消息队列将变更同步到Re...