熊哥club - 关注和分享互联网编程技术，分享生活。

日志采集中的关键技术分析

日志从最初面向人类演变到现在的面向机器发生了巨大的变化。最初的日志主要的消费者是软件工程师，他们通过读取日志来排查问题，如今，大量机器日夜处理日志数据以生成可读性的报告以此来帮助人类做出决策。在这个转变的过程中，日志采集Agent在其中扮演着重要的角...

熊哥club 5924℃ 0评论 1喜欢

elasticsearch使用7大原则，让你玩转ES

Elasticsearch是目前大数据领域最热门的技术栈之一，经过近8年的发展，已从0.0.X版升级至6.X版本，虽然增加了很多的特性和功能，但是在主体架构上，还是没有太多的变化。下面就把我对于ES使用实践的一些经验总结一下，供大家参考。一...

熊哥club 8713℃ 0评论 2喜欢

[parent] Data too large, data for [] would be larger than limit of

[parent] Data too large, data for [<http_request>] would be larger than limit of

Elasticsearch Data too large Error排查过程背景当时线上的kibana全都连不上，然后不管kibana还是es均在报同样的错误 [parent] Data too large, data for [<transport_req...

熊哥club 1023676℃ 5评论 2喜欢

大规模Elasticsearch集群管理心得

ElasticSearch目前在互联网公司主要用于两种应用场景，其一是用于构建业务的搜索功能模块且多是垂直领域的搜索，数据量级一般在千万至数十亿这个级别；其二用于大规模数据的实时OLAP，经典的如ELKStack，数据规模可能达到千亿或更多。这两种场景的数据索引和应用访问模式上...

熊哥club 8948℃ 5评论 1喜欢

前端

django实现zookeeper的监控

版本信息 $ python Python 2.7.5 (default, Jul 13 2018, 13:06:57) [GCC 4.8.5 20150623 (Red Hat 4.8.5-28)] on linux2 Type "help", "copyright", "cre...

熊哥club 8208℃ 0评论 1喜欢

Zookeeper详细使用说明

一、Zookeeper Zookeeper 概述 ZooKeeper是一种分布式协调服务，用于管理大型主机。在分布式环境中协调和管理服务是一个复杂的过程。ZooKeeper通过其简单的架构和API解决了这个问题。ZooKeeper允许开发人员专注于核心应用程序逻辑，而不必担心应...

熊哥club 6381℃ 0评论 2喜欢

Kafka_2.11-0.10.0.1 详细使用指南【建议收藏】

提到消息系统，目前最火热的非 Kafka 莫属，公司也打算利用 Kafka 进行各业务日志统一收集，这里结合自己的实践来分享一下具体的配置及使用。Kafka 版本 0.10.0.1 介绍作为云计算大数据的套件，Kafka 是一个分布式的、可分区的、可复制的消息系...

熊哥club 9375℃ 0评论 5喜欢

Kafka的MirrorMaker原理、使用以及性能调优实践

序言 Kakfa MirrorMaker是Kafka 官方提供的跨数据中心的流数据同步方案。其实现原理，其实就是通过从Source Cluster消费消息然后将消息生产到Target Cluster，即普通的消息生产和消费。用户只要通过简单的consumer配置和p...

熊哥club 10455℃ 0评论 1喜欢

用strings命令查看kafka-log内容过滤二进制编码

kafka的log内容格式还不没怎么了解，想快速浏览消息内容的话，除了使用它自带的kafka-console-consumer.sh脚本，还可以直接去看log文件本身，不过内容里有部分二进制字符，通过命令看的话会有乱码。 strings 命令可以过滤掉二进制编码，但默认它也会过滤...

熊哥club 8599℃ 2评论 2喜欢

elasticsearch5.X快照和还原

快照和还原快照和还原模块支持创建单独索引或整个集群的快照到远程仓库，像共享文件系统、S3或HDFS等。你可以非常方便地进行快照备份以及比较迅速地进行快照还原，但快照的还原需要Elasticsearch的版本能正确的读取索引文件。这意味着：在2.x版本中创建的索引的快照...

熊哥club 7418℃ 2评论 2喜欢

ES 5.0 集群运维命令整理

_cat命令 _cat用于查看集群当前状态,涉及到shard/node/cluster几个层次基本参数 verbose: 显示列名, 请求参数为v 示例: curl localhost:9200/_cat/master?v help: 显示当前命令的各列含义, 请求参数为he...

熊哥club 9775℃ 4评论 2喜欢

编程

elasticsearch-5.1.1使用snapshot接口备份索引

如果ES是集群，那么需要使用共享存储，支持的存储有： a、shared file system b、S3 c、HDFS 我使用的是第一种，NFS共享文件系统。这里要说一下权限问题，ES一般是使用 elasticsearch 用户启动的，要保证共享目录对 elasticsearch...

熊哥club 9509℃ 6评论 4喜欢

MySQL性能优化培训课随笔

12月1-2号熊哥参加了恩墨学院候大师的关于mysql性能优化的课程，受益匪浅啊看来我要全面发展了，开发→运维→DBA都得会啊上图是最新的数据库排行榜。排行前十的熊哥或多或少的都有接触，不过工作中最常用的还是mysql了下图是这两天培训做的笔记感谢侯院长详细认真幽默的...

熊哥club 14719℃ 18评论 5喜欢

建站

关于欲思主题本站yusi主题定制修改

最近由于工作生活比较忙一直没怎么维护自己的博客了其实玩博客的人一样都能看出来，熊哥用的是yusi的主题百度一搜就很多关于欲思主题的说明。不过欲思主题也很久没更新了当初一眼选中这个主题，是因为第一感觉很清新的样子，很适合做个人博客选择了后发现很多问题，好在自己懂点编程，都...

熊哥club 10299℃ 1评论 5喜欢

熊哥要去参加11月12号的上马了，有队友没

一票难求的上海国际马拉松赛将在本周日举行，将近4万名参赛选手会在上海（国际）赛事文化及体育用品博览会固定展区领取赛事装备包。今天，熊哥也去领取了装备。呵呵。你猜我跑的是多少公里的？猜猜哪个是我的名字。小芳死忠徒弟这名字很个性啊本届展会设在上海世博展览馆三楼，各大路跑品...

熊哥club 9021℃ 6评论 4喜欢

熊哥最近工作比较忙，下班或者周末都在带孩子，可能没那么多时间更新博客了

又是好久没有更新博客了。但是不代表不会更新了。其实在工作中有很多内容都已经记录下来，只是公司的网络环境的限制，没时间发布出来。再者儿子慢慢大了，开始懂事了，我要多花点时间陪伴他的童年。所以，最近熊哥的博客更新的少了，但是并不代表不会更新了。博友们欢迎常来哦。有空的时候我...

熊哥club 10563℃ 6评论 4喜欢

ELK之Elasticsearch学习（一）centOS安装启动ES

因为工作需要，最近熊哥要花点时间去研究ELK(ElasticSearch, Logstash, Kibana)。关于日志收集分析相关技术知识之前没有接触过，所以需要仔细研究一番。首先是ElasticSearch。从网上下载了一本关于ES的书籍《ElasticSearch服务器开...

熊哥club 13330℃ 15评论 6喜欢

阿里云

目前阿里云已对您的违法URL做屏蔽访问处理？不能在发布fan墙教程了

很不幸，今天收到阿里云的邮件和短信通知，告知熊哥的博客内容有违法互联网规定，直接给屏蔽了。收到邮件的时候，我还以为是网站被别人黑了，恶意挂马什么的。结果仔细一看，才发现，只是一篇以前的文章有涉及违规。可是阿里云直接给屏蔽了，我早已经忘记这篇文章的内容。不过我大概也能猜到，最...

熊哥club 15544℃ 6评论 4喜欢

JDK8新特性总结。

JDK9原计划17年上半年就发版，但未成功发版。才发现JDK8的特性还没总结过，特此总结。工作中一直使用的是jdk7，但是最近发现很多公司使用了jdk8，所以简单研究一下。一、十大特性。 1.Lambda表达式 2.Stream函数式操作流元素集合 3.接口新增：默认方法与静...

熊哥club 6825℃ 0评论 3喜欢

WP教程

再记一次wordpress迁移过程

今天收到一份阿里云的邮件，吓到我了。赶紧把网址又迁移回阿里云了。无奈啊未指向阿里云服务器且无访问记录，依据工信部相关法规规定属于空壳网站，请您尽快将域名解析IP地址指向阿里云的网站空间。如果3个工作日后检查不合格，我们将删除网站备案接入信息，备案号可能被注销，影响网站访问...

熊哥club 7794℃ 2评论 5喜欢

吐槽

百度联盟太难申请了，熊哥要放弃了。

您好：很抱歉！您的网站/APP/软件尚不符合百度联盟的要求，暂时不能通过审核。未通过原因：您的网站在内容方面有待完善和提高，我们暂时不能通过您的申请。联盟在审核过程中，会根据您的网站综合质量进行考量，未通过原因包括（但不限于）用户体验度、原创度、内容更新周期等因素。建议您完...

熊哥club 13490℃ 8评论 2喜欢

拒绝了一家公司的offer后，对方再次邀请该不该去？

原标题：拒绝了一家公司的offer后，他们的副总和hr总监同时打电话来询问拒绝原因并极力要求加入，我该不该去？这个标题有点长，这是我在知乎上的一个提问，本来只是希望能够有专业人士解答心中的疑惑。没想到既得到了满意的答案，也让自己的问题上了知乎热门，真是无心插柳啊。以前一直为了热...

熊哥club 13315℃ 4评论 7喜欢

大话设计模式-攀登面向对象编程高峰

《大话设计模式》是准备攀登面向对象编程高峰朋友们的引路人和提携者；《大话设计模式》是学习、体会和领悟了众多大师智慧结晶后的图书作品；《大话设计模式》是你深入理解和感受GoF的《设计模式》及其它大师作品的必备书籍；《大话设计模式》授之以“鱼”，更授之以“渔”。本文地址: ht...

熊哥club 7586℃ 3评论 7喜欢

java经验技术总结

1.引言意识到以前也有很多认识误区，比如：偏爱收集，经常收集各种资料视频塞满一个个硬盘，然后心满意足的看着容量不行动。不重基础，总觉得很多基础东西不需要再看了，其实不懂的地方很多，计算机程序方面任何一个结果都必有原因，不要只会用不知道原理，那是加工厂出来的。现在ide查看代...

熊哥club 6864℃ 1评论 0喜欢

dwr3+spring实现消息实时推送

最近项目要实现一个消息推送的功能，主要就是发送站内信或者系统主动推送消息给当前在线的用户。每次的消息内容保存数据库，方便用户下次登录后也能看到。如果当前用户在线，收到站内信就主动弹出提示。一开始想到的是前台定时轮询通过ajax查询是否有未读消息。但是这种对系统压力太大。然后网上查...

熊哥club 8140℃ 1评论 5喜欢