-
7.基础功能：如何设计日志包，并记录日志？
应用一般是如何记录日志的？ 使用什么方式记录日志？ 使用开源的日志包 基于开源日志包定制化 自研日志包 如何记录日志？ 如何保存日志？ miniblog 日志包定制开发 创建一个封装了 zap.Logger 的自定义 Logger。 编写创建函数，创建 zapLogger 对象 创建 *zap.Logger 对象 实现日志接口 ... -
1. 开篇词：小册简介与阅读建议
本小册的主要内容 适宜人群 行文约定 我是谁 阅读本小册的一些建议 学习 Elasticsearch 的一些建议 学习资料 其他 随着业务的增长，数据与日俱增，这时为用户带来丰富的、便捷的搜索功能就迫在眉睫了。传统的数据库在处理文本搜索、模糊查询、海量数据统计分析的时候总会力不从心，所以在处理这些复杂的搜索需求时，我们更倾向于使用 Elas... -
28.让异常无处可逃：搭建 ELK 日志系统
一、ELK 常见的架构与其优缺点 ELK 架构一 ELK 架构二 ELK 架构三 二、Kafka 安装 三、Filebeat 简介与安装 四、Logstash 简介与安装 1、Logstash 简介 2、Logstash 安装 3、kafka input 插件 4、filter 插件 5、elasticsearch outp... -
17. 词项生成器：分词器
一、分词（Analysis）与分词器 二、分词器的组成 三、ES 内置的分词器 Standard Analyzer 自定义分词器 四、中文分词器 analysis-icu 分词器 IK 分词器 五、总结 我们存储到 ES 中的数据大致可以分为以下两种： 全文本 ，例如文章内容、通知内容等； 精确值 ，如实体 ID 等。 在对这... -
3.磨刀不误砍柴工：ES 中的基本概念与名词解析
一、集群层面上的基本概念 1. 集群（Cluster） 2. 节点（Node） 3. 分片（Shard） 4. 副本（Replica） 5. 集群健康状态 二、数据层面上的基本概念 1. 索引（Index） 2. Mapping 3. 文档（Doc） 4. 字段（Field） 5. 词项（Term） 6. 倒排索引与正排索引 三、系... -
2.万事开头难：ES 的安装
一、Ubuntu 下安装 ES 1. 下载、解压 ES 安装包 2. 修改配置 3. 运行 ES 二、Ubuntu 下安装 Kibana 三、安装 Cerebro 四、安装伪集群版的 ES 服务 五、开始你的第一次搜索 六、总结 在深入了解一个系统前，我们应该先对其有一定使用经验。所有今天我们先来安装 ES 并且使用 ES 进行第一次数据... -
15. 全文搜索背后的支撑：倒排索引的实现
一、Term Index 的实现 二、Term Dictionary 的实现 三、Posting List 的实现 1. 节省存储：整型压缩 PackedBlock VIntBlock 使用 PackedBlock 与 VIntBlock 来解析 .doc 文件 使用文档 ID 差值存储来节省空间 2. 文档 ID 列表的交集求解 位图 ... -
29.源码阅读：源码阅读环境搭建
一、导入 ES 源码 安装 java 环境 下载和导入源码 配置运行 Gradle 的 JVM 配置 Gradle 的源为阿里云仓库 编译运行 ES 二、IDEA 调试工具 断点组 代码书签 三、ES 源码目录简介 四、总结 经过前面 20 多章的学习，我们已经对 ES 有个比较深刻的认识了，后面几章的内容我们主要是阅读源码。 为了... -
26.索引的生命周期：ILM
一、ILM 中相关概念的介绍与其原理 Phase（阶段） Actions Policy（策略） 二、ILM 使用实践 制定需求 修改集群设置 操作步骤 使用 Kibana 中管理 Policy 三、ILM 管理 API 简介 获取 ILM 运行状态 停止和启动 ILM 使用 explain 查看 Policy 执行状态 重新执行索引的... -
35.唯快不破：写调优
一、Mapping 设计建议 1、字段尽量少，够用即可 2、不需要的搜索的字段不要索引 3、数据扁平化，尽量避免使用 nested、parent-child 类型 4、禁用 Dynamic Mapping 5、使用合适的数据类型 6、配置合适的分词器 7、关闭 Norms 8、关闭 doc_values 二、操作系统层面的调...