标签：ES

Elasticsearch 滞后8个小时等时区问题，一网打尽！

1、实战问题如下都是实战环节遇到的问题： logstash谁解决过时区问题，mysql是东八区shanghai 但是这玩意读完存到es就少了8小时？目前索引会比真正时间晚8小时，导致8点前的日志写到昨天索引里，大佬们有招吗？问一下 logstash输出日志到本...

熊哥club 5611℃ 0评论 1喜欢

ELK

Elasticsearch 预处理没有奇技淫巧，请先用好这一招！

1、上问题 1.1 线上实战问题 1——字符串切分 es可以根据_id字符串切分，再聚合统计吗比如：数据1、_id=C12345数据2、_id=C12456数据3、_id=C31268 通过es聚合统计C1开头的数量有2个C3开头的数据有1个这个API怎么写，有...

熊哥club 8007℃ 0评论 3喜欢

ELK

Elasticsearch和MySQL查询原理分析与对比

导语 ES 现在已经越来越火，很多公司会把 MySQL 里面的数据导入到 ES，用 ES 来做海量数据的实时查询。那为什么 MySQL 做不了海量数据的实时查询呢？为什么 E...

熊哥club 7782℃ 0评论 3喜欢

ELK

京东到家订单中心的 ES 集群架构演进之路

京东到家订单中心系统业务中，无论是外部商家的订单生产，或是内部上下游系统的依赖，订单查询的调用量都非常大，造成了订单数据读多写少的情况。我们把订单数据存储在MySQL中，但显然只通过DB来支撑大量的查询是不可取的。同时对于一些复杂的查询，MySQL支持得不够友好，所...

熊哥club 7919℃ 0评论 3喜欢

ELK

Elasticsearch存储深入详解

在本文中，我们将研究Elasticsearch的各个部分写入数据目录的文件。我们将查看节点，索引和分片级文件，并简要说明其内容，以便了解Elasticsearch写入磁盘的数据。 1、从Elasticsearch路径说起 Elasticsearch配置了多个路径： path....

熊哥club 9303℃ 1评论 3喜欢

ELK

拥抱 Elasticsearch：给 TiDB 插上全文检索的翅膀

作者介绍孙晓光，知乎技术平台负责人，与薛宁（@Inke）、黄梦龙（@PingCAP）、冯博（@知乎）组队参加了 TiDB Hackathon 2019，他们的项目 TiSearch 获得了 CTO 特别奖。 “搜索”是大家在使用各种 APP...

熊哥club 7807℃ 0评论 4喜欢

ELK

Elasticsearch删除数据操作，你必须知道的一些坑

前两天有同事打电话问我，说ES删除数据有没有什么坑？我当时就问，是删索引还是删索引里的数据？她回答说是删数据，我说查出这些数据直接删除就好了，没有什么坑。。。后来想想，关于ES数据的删除，之前确实遇到过很多删除场景，如果真要说有没有所谓的坑，细想一下，还真有。我维护过的E...

熊哥club 29808℃ 0评论 3喜欢

ELK

如何快速上手Logstash？看完本文就够了

Elasticsearch是当前主流的分布式大数据存储和搜索引擎，可以为用户提供强大的全文本检索能力，广泛应用于日志检索，全站搜索等领域。Logstash作为Elasicsearch常用的实时数据采集引擎，可以采集来自不同数据源的数据，并对数据进行处理后输出到多种输出源，是Ela...

熊哥club 8496℃ 0评论 3喜欢

ELK

你头疼的ELK难题，本文几乎都解决了

一、ELK实用知识点总结 1、编码转换问题这个问题，主要就是中文乱码。 input中的codec=>plain转码： codec => plain { charset => "GB2312" } 将G...

熊哥club 8820℃ 1评论 3喜欢

ELK

提升 elasticsearch 写入速度的案例分享

一、背景基本配置 5 台配置为 24C/125G/17T 的主机，每台主机上搭建了一个 elasticsearch 节点。采用的 elasticsearch 集群版本为 7.1.1。使用的管理工具包括 kibana 和 cerebro。数据来源数据来源为 kafka 的三个...

熊哥club 7908℃ 0评论 5喜欢

ELK

解决Skywalking对应的ES的CPU很高的问题

结论原因1：ES的新生代配置的太小，yong gc频率很高， 1s一次yonggc 解决方案：手动设置新生代、老年代比例 -XX:NewRatio=1 原因2：ES的索引没有配置为高性能写模式( 这个配置立杆见影 ) 解决方案：对skywalking对应的index添加如下配...

熊哥club 15686℃ 3评论 7喜欢

ELK

Elasticsearch常见的5个错误及解决策略

网罗Elasticsearch最佳实践，实际应用场景中常见错误要预知和避免，以最大化提升集群性能。 1、采用动态Mapping 如果不定义Mapping，Elasticsearch会根据输入的数据，创建对应的Mapping，这看起来非常完美，但是Elasticsearch的动态M...

熊哥club 17865℃ 0评论 1喜欢

大数据

elasticsearch使用7大原则，让你玩转ES

Elasticsearch是目前大数据领域最热门的技术栈之一，经过近8年的发展，已从0.0.X版升级至6.X版本，虽然增加了很多的特性和功能，但是在主体架构上，还是没有太多的变化。下面就把我对于ES使用实践的一些经验总结一下，供大家参考。一...

熊哥club 8713℃ 0评论 2喜欢

大数据

ES 5.0 集群运维命令整理

_cat命令 _cat用于查看集群当前状态,涉及到shard/node/cluster几个层次基本参数 verbose: 显示列名, 请求参数为v 示例: curl localhost:9200/_cat/master?v help: 显示当前命令的各列含义, 请求参数为he...

熊哥club 9777℃ 4评论 2喜欢

java

ELK之Elasticsearch学习（一）centOS安装启动ES

因为工作需要，最近熊哥要花点时间去研究ELK(ElasticSearch, Logstash, Kibana)。关于日志收集分析相关技术知识之前没有接触过，所以需要仔细研究一番。首先是ElasticSearch。从网上下载了一本关于ES的书籍《ElasticSearch服务器开...

熊哥club 13330℃ 15评论 6喜欢