本站提供互联网编程技术交流分享，部分技术教程不断更新中，请随时关注或联系我寻求帮助 ,同时也欢迎有兴趣的朋友进行投稿。

熊哥club的文章

一个屌丝程序猿，为了小小的梦想不断奋斗着。。。
分享

Kafka 最佳实践

Kafka 最佳实践
这是一篇关于 Kafka 实践的文章，内容来自 DataWorks Summit/Hadoop Summit（Hadoop Summit）上的一篇分享，里面讲述了很多关于 Kafka 配置、监控、优化的内容，绝对是在实践中总结出的精华，有很大的借鉴参考意义，本文主要是根据 PP...

4744℃ 0评论 1喜欢

大数据

避坑指南：Kafka集群快速扩容的方案总结

避坑指南：Kafka集群快速扩容的方案总结
导语 熟悉Apache Kafka的同学都知道，当Kafka集群负载到达瓶颈或者出现突发流量需要紧急扩容时，新加入集群的节点需要经过数据迁移才能均分集群压力。而数据迁移会因为数据堆积量，节点负载等因素的影响，导致迁移时间较长...

94757℃ 0评论 1喜欢

分享

领导给下属写周报，我看行

领导给下属写周报，我看行
今天我看得到头条的时候，发现得到公司有个特殊的管理规定，很有意思，就是向下写周报制度。 就是说，不要求员工向领导写周报，而是反过来，要求领导向下属写周报。凡是带团队的人，都要在周报中向团队成员汇报自己本周的工作进展。不但包括日常工作，还要同步自己的业务思考和行业观察。 给下属写...

6001℃ 0评论 2喜欢

ELK

Elasticsearch 滞后8个小时等时区问题，一网打尽！

Elasticsearch 滞后8个小时等时区问题，一网打尽！
1、实战问题 如下都是实战环节遇到的问题： logstash谁解决过时区问题，mysql是东八区shanghai 但是这玩意读完存到es就少了8小时？ 目前索引会比真正时间晚8小时，导致8点前的日志写到昨天索引里，大佬们有招吗？ 问一下 logstash输出日志到本...

5613℃ 0评论 1喜欢

java

API 面试四连杀：接口如何设计？安全如何保证？签名如何实现？防重如何实现？

API 面试四连杀：接口如何设计？安全如何保证？签名如何实现？防重如何实现？
API 面试四连杀：接口如何设计？安全如何保证？签名如何实现？防重如何实现？ 说明：在实际的业务中，难免会跟第三方系统进行数据的交互与传递，那么如何保证数据在传输过程中的安全呢（防窃取）？除了https的协议之外，能不能加上通用的一套算法以及规范来保证传输的安全性呢？ 下面我们...

8621℃ 2评论 5喜欢

大数据

zabbix监控kafka消费

zabbix监控kafka消费
一、Kafka监控的几个指标 1、lag：多少消息没有消费 lag=logsize-offset   2、logsize：Kafka存的消息总数 3、offset：已经消费的消息 二、查看zookeeper配置 cat /home/app/zooke...

9690℃ 0评论 5喜欢

ELK

京东到家订单中心的 ES 集群架构演进之路

京东到家订单中心的 ES 集群架构演进之路
京东到家订单中心系统业务中，无论是外部商家的订单生产，或是内部上下游系统的依赖，订单查询的调用量都非常大，造成了订单数据读多写少的情况。 我们把订单数据存储在MySQL中，但显然只通过DB来支撑大量的查询是不可取的。同时对于一些复杂的查询，MySQL支持得不够友好，所...

7921℃ 0评论 3喜欢

大数据

你真的掌握 LVS、Nginx 及 HAProxy 的工作原理吗？

你真的掌握 LVS、Nginx 及 HAProxy 的工作原理吗？
当前大多数的互联网系统都使用了服务器集群技术，集群是将相同服务部署在多台服务器上构成一个集群整体对外提供服务，这些集群可以是 Web 应用服务器集群，也可以是数据库服务器集群，还可以是分布式缓存服务器集群等等。 在实际应用中，在 Web 服务器集群之前总会有一台负载均衡...

8328℃ 0评论 5喜欢

ELK

探究 | Elasticsearch集群规模和容量规划的底层逻辑

探究 | Elasticsearch集群规模和容量规划的底层逻辑
0、引言 实战中经常遇到的问题： 问题 1：请问下大家是如何评估集群的规模？比如数据量达到百万，千万，亿万，分别需要什么级别的集群，这要怎么评估？ ps：自己搭建的测试环境很难达到这一级别。 问题 2： 问题 3：我看了很多文章关于 es 集群规划的文章，总感觉乱七八糟的，没...

9336℃ 0评论 4喜欢

ELK

Elasticsearch存储深入详解

Elasticsearch存储深入详解
在本文中，我们将研究Elasticsearch的各个部分写入数据目录的文件。我们将查看节点，索引和分片级文件，并简要说明其内容，以便了解Elasticsearch写入磁盘的数据。 1、从Elasticsearch路径说起 Elasticsearch配置了多个路径： path....

9305℃ 1评论 3喜欢

ELK

Elasticsearch删除数据操作，你必须知道的一些坑

Elasticsearch删除数据操作，你必须知道的一些坑
前两天有同事打电话问我，说ES删除数据有没有什么坑？ 我当时就问，是删索引还是删索引里的数据？她回答说是删数据，我说查出这些数据直接删除就好了，没有什么坑。。。 后来想想，关于ES数据的删除，之前确实遇到过很多删除场景，如果真要说有没有所谓的坑，细想一下，还真有。 我维护过的E...

29810℃ 0评论 3喜欢

ELK

如何快速上手Logstash？看完本文就够了

如何快速上手Logstash？看完本文就够了
Elasticsearch是当前主流的分布式大数据存储和搜索引擎，可以为用户提供强大的全文本检索能力，广泛应用于日志检索，全站搜索等领域。Logstash作为Elasicsearch常用的实时数据采集引擎，可以采集来自不同数据源的数据，并对数据进行处理后输出到多种输出源，是Ela...

8496℃ 0评论 3喜欢

大数据

面试问Kafka的相关知识，这一篇就能全搞定

面试问Kafka的相关知识，这一篇就能全搞定
Kafka 基础 消息系统的作用 大部分小伙伴应该都清楚，这里用机油装箱举个例子： 所以消息系统就是如上图我们所说的仓库，能在中间过程作为缓存，并且实现解耦合的作用。 引入一个场景，我们知道中国移动，中国联通，中国电信的日志处理，是交给外包去做...

7377℃ 0评论 4喜欢

ELK

云原生下日志方案的架构设计

云原生下日志方案的架构设计
本篇文章单刀直入，会直接跟大家分享一下如何在云原生的场景下搭建一个灵活、功能强大、可靠、可扩容的日志系统。 需求驱动架构设计 技术架构，是将产品需求转变为技术实现的过程。对于所有的架构师而言，能够将产品需求分析透彻是非常基本也是非常重要的一点。很多系统刚建成没多久就要被推翻，最...

7095℃ 0评论 3喜欢

ELK

Elasticsearch7.X学习路线图|值得收藏

Elasticsearch7.X学习路线图|值得收藏
1、为什么要梳理学习路线图？ 在关注Elastic 中文社区、QQ群、星球群的过程中，多多少少都会有一些基础问题冒出。而这些问题不复杂，多半都在官方文档中都有提及，稍稍复杂的在官方英文社区、中文社区都有过类似问题的讨论。 基本上通过Google、bing都能直接或间接搜索到答案...

21483℃ 6评论 8喜欢

ELK

Elasticsearch的Ingest节点使用在哪些场景下

Elasticsearch的Ingest节点使用在哪些场景下
最近生产遇到一个问题，通过scroll进行深度分页查询的时候，会导致ES的node节点内存持续升高至90%+，为了解决这个问题，引入了ingest角色。在之前的生产集群，从未用过这个角色，使用ingest也是看到网上说可以解决类似问题，就抱着试试的心态去实践了，目前效果不错，最起...

10275℃ 0评论 4喜欢

ELK

提升 elasticsearch 写入速度的案例分享

提升 elasticsearch 写入速度的案例分享
一、背景 基本配置 5 台配置为 24C/125G/17T 的主机，每台主机上搭建了一个 elasticsearch 节点。采用的 elasticsearch 集群版本为 7.1.1。使用的管理工具包括 kibana 和 cerebro。 数据来源 数据来源为 kafka 的三个...

7910℃ 0评论 5喜欢

ELK

解决Skywalking对应的ES的CPU很高的问题

解决Skywalking对应的ES的CPU很高的问题
结论 原因1：ES的新生代配置的太小，yong gc频率很高， 1s一次yonggc 解决方案：手动设置新生代、老年代比例 -XX:NewRatio=1 原因2：ES的索引没有配置为高性能写模式( 这个配置立杆见影 ) 解决方案：对skywalking对应的index添加如下配...

15686℃ 3评论 7喜欢

ELK

Logstash读取Kafka数据写入HDFS详解

Logstash读取Kafka数据写入HDFS详解
强大的功能，丰富的插件，让logstash在数据处理的行列中出类拔萃 通常日志数据除了要入ES提供实时展示和简单统计外，还需要写入大数据集群来提供更为深入的逻辑处理，前边几篇ELK的文章介绍过利用logstash将kafka的数据写入到elasticsearch集群，这篇文章将...

10184℃ 0评论 4喜欢

ELK

filebeat对内存 io/cpu的消耗到底有多大

filebeat对内存 io/cpu的消耗到底有多大
最近生产环境ESB的日志想接入ELK，但是业务和开发人员又担心在他们的服务器安装部署filebeat会产生性能消耗，让我给个评估，所以就网上搜索各种资料，整理一下filebeat的一些相关知识。 Filebeat工作原理 Filebeat是使用GO语言开发，工作原理如下：当Fil...

20257℃ 0评论 5喜欢

×
订阅图标按钮