VC常…

VC常用功能开发汇总专栏文章列表欢迎订阅持续更新...https://blog.csdn.net/chenlycly/article/details/124272585C软件异常排查从入门到精通系列教程专栏文章列表欢迎订阅持续更新...https://blog.csdn.net/chenlycly/article/details/125529931C软件分析工具从入门到精通案例集锦专栏文章正在更新中...https://blog.csdn.net/chenlycly/article/details/131405795C/C基础与进阶专栏文章持续更新中...https://blog.csdn.net/chenlycly/category_11931267.html

ElasticsearchFluentd和KibanaEFK可以进行收集索引搜索和可视化日志数据。

Elasticsearch负责数据的存储和索引Fluentd负责数据的调整、过滤、传输Kibana负责数据的展示。

今天就来详细介绍一下使用ElasticsearchFluentd和Kibana搭建日志管理系统的详细过程。

1、EFK简介

ElasticsearchFluentd和KibanaEFK可以进行收集索引搜索和可视化日志数据。

Elasticsearch负责数据的存储和索引Fluentd负责数据的调整、过滤、传输Kibana负责数据的展示。

stream可以同时从多台server上收集大量日志易于安装有灵活的插件机制和缓冲支持日志转发。

它统一实现了每一环节的数据传输只需要关注数据处理的逻辑也不用学习各种API通过配置就可以实现实时增量数据的流出和流入。

Elasticsearch提供了一个分布式多用户能力的全文搜索引擎。

基于RESTful

web接口且提供持久存储、统计等多项功能。

可用于全文搜索、结构化搜索、分析以及将这三者混合使用通过简单的配置就可以做数据复制和分片并且它在NRTNear

Real

前端展示工具内置了各种查询和聚合操作并拥有图形化展示功能。

使用它对日志进行高效地搜索、可视化、分析等各种操作。

可以通过各种图表进行高级数据分析及展示。

2、EFK框架

具体的流程为fluentd进行日志的收集数据来源可以自己设置为容器日志或者存储在本地文件的日志文件收集之后发送给Elasticsearch进行统一的管理、搜索等操作最后kibana将结果展示在web界面上。

当考虑健壮性时需要复杂配置如图

多了一层fluentd以及备选的点这样日志收集的过程更加稳定以及可靠。

2.1、Fluentd系统架构

fluentd的数据流简单从数据源获取进行集中然后发送到输出的地方流程输入input

输出output

output输出常见的有mongodbelasticsearchkafka等只需安装相关的插件即可。

详细结构如下图所示

Elasticsearch作用fluentd将过滤后的日志内容发给全文搜索服务ElasticSearch提供检索功能。

Elasticsearch

的9200端口接受请求后传递给对应的RestAction。

RestAction做的事情很简单将rest请求转换为RPC的TransportRequest然后调用NodeClient相当于用客户端的方式请求RPC服务只不过transport层会对本节点的请求特殊处理。

2.3、Kibana系统架构

Kibana是一个强大的数据展示工具。

大多数情况下不需要开发任何代码就可以得到一个Dashboard。

使用

Kibana

2是在Kibana页面上配置报表模版或按照规则写一套报表模版。

3、Elasticsearch接口

进行通信REST请求和应答是典型的JSONJavaScript对象

符号格式。

通常情况下一个REST请求包含一个JSON文件其回复也是一个JSON文件。

Elasticsearch

PROTOCOL://HOST:PORT/PATH?QUERY_STRING

其中被

http://localhost:9200/website/blog/123

‘{...}’

首先安装JDK或者openJDK这里以openJDK为例然后安装elasticsearch最后启动elasticsearch

[rootelk

https://download.elastic.co/elasticsearch/release/org/elasticsearch/distribution/rpm/elasticsearch/2.3.3/elasticsearch-2.3.3.rpm[rootelk

elk]#

--add-port{9200/tcp,9300/tcp}[rootelk

elk]#

https://download.elastic.co/kibana/kibana/kibana-4.5.1-1.x86_64.rpm[rootelk

elk]#

打开浏览器测试访问kibana的首页http://localhost:5601/

4.3、安装fluentd

如果查看到的是1024那么这个数值是不足的则需要修改配置文件提高数值

设置值如下

执行如下命令命令将会自动安装td-agenttd-agent即为fluentd

curl

https://toolbelt.treasuredata.com/sh/install-redhat-td-agent2.sh

启动td-agent

http://localhost:8888/debug.test

install

使docker生成的日志输出到elasticsearch修改td-agent的配置

source

tag{{.ImageName}}/{{.Name}}/{{.ID}}

alpine:3.3

检查fluentd是否正常转发数据检查td-agent日志如果最后出现如下一行则表明正常连接elasticsearch。

/var/log/td-agent/td-agent.log中最后一行如下

2017-12-26

td-agent默认将配置收集来自http的日志并将日志转储到/var/log/td-agent/td-agent.log如果需要配置fluent接收docker日志则在/etc/td-agent/td-agent.conf中增加并重启tdagentsystemctl

restart

配置docker使用fluent为logdriver有两种方法指定特定的容器或者配置docker

方法1:指定容器

fluentdaddressmyhost.local:24224

方法2:

/etc/td-agent/td-agent.conf配置文件主要由以下指令组成

1source

输入源包括http和forwardhttp将fluentd转换为http端点以接收传入的http消息forward将fluentd转换为TCP端点以接受TCP包。

当然它可以同时出现。

每个源指令必须包含一个类型参数类型参数指定要使用的输入插件。

match:

告诉fluentd做什么match指令使用匹配的标记查找事件并处理它们。

最常用的匹配指令是将事件输出到其他系统。

Fluentd的标准输出插件包括文件file和转发forward。

让我们将这些添加到配置文件中。

每个匹配指令必须包含匹配模式和类型参数。

只有带有与模式匹配的标记的事件才会被发送到输出目的地.

filter

修改运行参数。

日志存储的格式根据源不同比如源是docker的syslog格式就是syslog的日志形式按配置修改主要的格式化配置都在配置文件中的

format