-
30.Kafka Streams
Kafka Streams Kafka Streams Kafka 一直被认为是一个强大的消息中间件，它实现了高吞吐、高可用和低延时的消息传输能力，这让它成为流式处理系统中完美的数据来源。目前通用的一些流式处理框架如 Apache Spark、Apache Flink、Apache Storm 等都可以将 Kafka 作为可靠的数据来源。但遗憾的是，... -
26. 如何选择合适的分区数(下)
分区数的上限 考量因素 总结 分区数的上限 一味地增加分区数并不能使吞吐量一直得到提升，并且分区数也并不能一直增加，如果超过默认的配置值，还会引起 Kafka 进程的崩溃。读者可以试着在一台普通的 Linux 机器上创建包含10000个分区的主题，比如在下面示例中创建一个主题 topic-bomb： csharp 复制代码 [ root... -
59.Apache Kafka 是什么?
59.Apache Kafka 是什么? 59.Apache Kafka 是什么? Kafka 是基于发布与订阅 的消息系统 。它最初由 LinkedIn 公司开发，之后成为 Apache 项目的一部分。Kafka 是一个分布式的，可分区的，冗余备份的持久性的日志服务。它主要用于处理活跃的流式数据。 在大数据系统中，常常会碰到一个问题，整个大数据是... -
77.Kafka 如何实现高可用？
77.Kafka 如何实现高可用？ 77.Kafka 如何实现高可用？ Zookeeper 部署 2N+1 节点，形成 Zookeeper 集群，保证高可用。 Kafka Broker 部署集群。每个 Topic 的 Partition ，基于【副本机制】，在 Broker 集群中复制，形成 replica 副本，保证消息存储的可靠性。每个 r... -
34.Kafka与Spark Streaming的整合
Spark Streaming简介 Kafka与Spark Streaming的整合 Spark Streaming简介 Spark Streaming 是 Spark 提供的对实时数据进行流式计算的组件。它是 Spark 核心 API 的一个扩展，具有吞吐量高、容错能力强的实时流数据处理系统，支持包括 Kafka、Flume、Kinesis 和 ... -
28.让异常无处可逃：搭建 ELK 日志系统
一、ELK 常见的架构与其优缺点 ELK 架构一 ELK 架构二 ELK 架构三 二、Kafka 安装 三、Filebeat 简介与安装 四、Logstash 简介与安装 1、Logstash 简介 2、Logstash 安装 3、kafka input 插件 4、filter 插件 5、elasticsearch outp... -
87.kafka怎么实现的高性能
kafka怎么实现的高性能 1. 高效的存储结构 2. 分布式架构 3. 高效的网络通信 4. 异步处理 5. 高效的消费者模型 6. 容错和恢复 7. 数据流量管理 总结 kafka怎么实现的高性能 Apache Kafka 是一个分布式流处理平台，以其高吞吐量和低延迟著称。Kafka 的高性能主要源于其设计和实现中的... -
69.Kafka 的网络模型是怎么样的？
69.Kafka 的网络模型是怎么样的？ 1）KafkaClient ，单线程 Selector 模型。 2）KafkaServer ，多线程 Selector 模型。 69.Kafka 的网络模型是怎么样的？ Kafka 基于高吞吐率和效率考虑，并没有使用第三方网络框架，而且自己基于 Java NIO 封装的。 1）KafkaClient... -
31.Kafka监控（上）
Kafka监控 监控数据的来源 OneMinuteRate 获取监控指标 Kafka监控 任何应用功能再强大、性能再优越，如果没有与之匹配的监控，那么一切都是虚无缥缈的。监控不仅可以为应用提供运行时的数据作为依据参考，还可以迅速定位问题，提供预防及告警等功能，很大程度上增强了整体服务的鲁棒性。 目前的 Kafka 监控产品有很多，比如 Kaf... -
71.Kafka 的数据存储模型是怎么样的?
71.Kafka 的数据存储模型是怎么样的? 71.Kafka 的数据存储模型是怎么样的? Kafka 每个 Topic 下面的所有消息都是以 Partition 的方式分布式的存储在多个节点上。同时在 Kafka 的机器上，每个 Partition 其实都会对应一个日志目录，在目录下面会对应多个日志分段（LogSegment）。 MacBook ...