研系统避免每个自研系统都要建立一套自己的日志模块节约了开发时间管理起来也更加容易。

这篇文章主要介绍ELK最新版本的搭建二方包的介绍可以看小霸王的另外一篇文章。

ELK介绍Elasticsearch

Elastic

会集中存储您的数据让您飞快完成搜索并对数据进行强大的分析。

Logstash

是免费且开放的服务器端数据处理管道能够从多个来源采集数据转换数据然后将数据发送到数据库中。

Kibana

Elasticsearch

数据进行可视化从跟踪查询负载到查看应用请求的整个过程都能轻松完成。

搭建平台版本平台版本linuxcentos

stream

17elasticsearch8.6.2logstash8.6.2kibana8.6.2VMware

Workstation

Pro17安装首先在linux虚拟机上安装docker先卸载旧版本sudo

yum

lvm2使用阿里云镜像地址yum-config-manager

--add-repo

http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo安装

Docker

containerd.io设置docker开机启动并启动dockersudo

systemctl

logstash:8.6.2启动elasticsearch接着先挂载elasticsearch的配置文件方便以后修改首先创建elasticsearch.yml文件cluster.name:

docker-cluster

falsexpack.security.enrollment.enabled:

false#

xpack.security.http.ssl:enabled:

false#

xpack.security.transport.ssl:enabled:

false

/home/elasticsearch.yml:/usr/share/elasticsearch/config/elasticsearch.yml

elasticsearch:8.6.2启动elasticsearch容器docker

start

显示如下说明es启动成功kibana创建kibana容器,这里使用到汉化

run

此时kibana启动成功logstash在linux的/home目录下新建logstash.yml文件其中index是索引的名称我们使用“xiaobawang-”前缀加时间来生成每天的索引。

#

输入端

#为logstash增加tcp输入口后面springboot接入会用到tcp

{mode

输出至elasticsearch中的自定义index名称index

}然后启动logstash这里配置文件做了映射/home/logstash.yml映射到/usr/share/logstash/pipeline/logstash.ymldocker

run

/home/logstash.yml:/usr/share/logstash/pipeline/logstash.yml

logstash:8.6.2进入logstash容器docker

exec

/bin/bash安装json_lines所需的插件/usr/share/logstash/bin/logstash-plugin

install

logstash-codec-json_lines重启logstash至此elk已全部安装完成了。

docker

restart

logstashSpringboot整合logstash下面使用logstash来将日志发送到elasticsearch这里以springboot为例。

新建一个springboot项目引入如下包dependencygroupIdch.qos.logback/groupIdartifactIdlogback-classic/artifactId

/dependency

dependencygroupIdnet.logstash.logback/groupIdartifactIdlogstash-logback-encoder/artifactIdversion7.3/version

/dependency在resources文件夹下创建logback.xml?xml

version1.0

debugfalse!--获取springboot的yml配置信息--springProperty

scopecontext

defaultValuedefault/!--定义日志文件的存储地址

LogBack

classch.qos.logback.core.ConsoleAppenderfilter

classch.qos.logback.classic.filter.ThresholdFilterlevelINFO/level/filterwithJansifalse/withJansiencoder!--pattern%d

(%file:%line)-

%msg%n/patterncharsetUTF-8/charset/encoder/appender!--

日志发送至logstash

classnet.logstash.logback.appender.LogstashTcpSocketAppender!--

--destination你的虚拟机IP地址:5043/destination!--

encoder

classnet.logstash.logback.encoder.LogstashEncoder!--

在elasticsearch的index中追加applicationName字段

--customFields{applicationName:${applicationName}}/customFields/encoder/appender!--

按照每天生成日志文件

classch.qos.logback.core.rolling.RollingFileAppenderrollingPolicy

classch.qos.logback.core.rolling.TimeBasedRollingPolicy!--日志文件输出的文件名--FileNamePattern${LOG_HOME}/TestWeb.log.%d{yyyy-MM-dd}.log/FileNamePattern!--日志文件保留天数--MaxHistory30/MaxHistory/rollingPolicyencoder

classch.qos.logback.classic.encoder.PatternLayoutEncoder!--格式化输出%d表示日期%thread表示线程名%-5level级别从左显示5个字符宽度%msg日志消息%n是换行符--pattern%d{yyyy-MM-dd

HH:mm:ss.SSS}

%msg%n/pattern/encoder!--日志文件最大的大小--triggeringPolicy

classch.qos.logback.core.rolling.SizeBasedTriggeringPolicyMaxFileSize10MB/MaxFileSize/triggeringPolicy/appender!--

日志输出级别

/configuration新建一个controller请求RestControllerpublicclassTestController

{privatefinalstatic

LoggerFactory.getLogger(TestController.class);RequestMapping(/myTest)publicvoidtest(){logger.info(日志开始System.currentTimeMillis());logger.info(日志结束System.currentTimeMillis());}

访问完请求后进入Stack

Management找到索引管理可以看到springboot的3月4号日志已经生成下面进一步查看日志的内容。

点击左侧菜单选择Discover创建数据视图因为索引名称前缀是xiaobawang-所以索引模式填写xiaobawang-*就可以匹配每天生成的日志。

至此ELK已经搭建完成但kibana的功能远远不限于此还可以查看不同维度的数据视图报表有兴趣的童鞋可以研究研究。

觉得有用的话一键三连~