2019年11月的内容

Elasticsearch删除数据操作，你必须知道的一些坑

前两天有同事打电话问我，说ES删除数据有没有什么坑？我当时就问，是删索引还是删索引里的数据？她回答说是删数据，我说查出这些数据直接删除就好了，没有什么坑。。。后来想想，关于ES数据的删除，之前确实遇到过很多删除场景，如果真要说有没有所谓的坑，细想一下，还真有。我维护过的E...

Elasticsearch是当前主流的分布式大数据存储和搜索引擎，可以为用户提供强大的全文本检索能力，广泛应用于日志检索，全站搜索等领域。Logstash作为Elasicsearch常用的实时数据采集引擎，可以采集来自不同数据源的数据，并对数据进行处理后输出到多种输出源，是Ela...

一、ELK实用知识点总结 1、编码转换问题这个问题，主要就是中文乱码。 input中的codec=>plain转码： codec => plain { charset => "GB2312" } 将G...

Kafka 基础消息系统的作用大部分小伙伴应该都清楚，这里用机油装箱举个例子：所以消息系统就是如上图我们所说的仓库，能在中间过程作为缓存，并且实现解耦合的作用。引入一个场景，我们知道中国移动，中国联通，中国电信的日志处理，是交给外包去做...

本篇文章单刀直入，会直接跟大家分享一下如何在云原生的场景下搭建一个灵活、功能强大、可靠、可扩容的日志系统。需求驱动架构设计技术架构，是将产品需求转变为技术实现的过程。对于所有的架构师而言，能够将产品需求分析透彻是非常基本也是非常重要的一点。很多系统刚建成没多久就要被推翻，最...

1、为什么要梳理学习路线图？在关注Elastic 中文社区、QQ群、星球群的过程中，多多少少都会有一些基础问题冒出。而这些问题不复杂，多半都在官方文档中都有提及，稍稍复杂的在官方英文社区、中文社区都有过类似问题的讨论。基本上通过Google、bing都能直接或间接搜索到答案...

最近生产遇到一个问题，通过scroll进行深度分页查询的时候，会导致ES的node节点内存持续升高至90%+，为了解决这个问题，引入了ingest角色。在之前的生产集群，从未用过这个角色，使用ingest也是看到网上说可以解决类似问题，就抱着试试的心态去实践了，目前效果不错，最起...