ELK日志分析系统简介

ELK是包含但不限于Elasticsearch简称es、Logstash、Kibana

三个开源软件的组成的一个整体。

这三个软件合成ELK。

是用于数据抽取Logstash、搜索分析Elasticsearch、数据展现Kibana的一整套解决方案所以也称作ELK

ELK是一个免费开源的日志分析架构技术栈总称官网https://www.elastic.co/cn。

包含三大基础组件分别是Elasticsearch、Logstash、Kibana。

二、Elasticsearch介绍

ElasticSearch是基于Lucene一个全文检索引擎的架构开发的分布式存储检索引擎用来存储各类日志。

Elasticsearch

Elasticsearch是一个实时的、分布式的可扩展的搜索引擎允许进行全文、结构化搜索它通常用于索引和搜索大容量的日志数据也可用于搜索许多不同类型的文档。

三、Logstash介绍

作为数据收集引擎。

它支持动态的从各种数据源搜集数据并对数据进行过滤、分析、丰富、统一格式等操作然后存储到用户指定的位置,一般会发送给

Logstash

1在所有需要收集日志的服务器上部署Logstash或者先将日志进行集中化管理在日志服务器上在日志服务器上部署

2Logstash

总结logstash作为日志搜集器从数据源采集数据并对数据进行过滤格式化处理然后交由Elasticsearch存储kibana对日志进行可视化处理。

六、部署ELK日志分析系统

Node1节点2C/4Gnode1/192.168.237.21

Elasticsearch

Node2节点2C/4Gnode2/192.168.237.22

Elasticsearch

#上传elasticsearch-5.5.0.rpm到/opt目录下

/opt

elasticsearch.service3修改elasticsearch主配置文件

/etc/elasticsearch/elasticsearch.yml

/etc/elasticsearch/elasticsearch.yml.bak

vim

/etc/elasticsearch/elasticsearch.yml

--17--取消注释指定集群名字

--23--取消注释指定节点名字Node1节点为node1Node2节点为node2

node.name:

discovery.zen.ping.unicast.hosts:

[node1,

/etc/elasticsearch/elasticsearch.yml

6.3.创建数据存放路径并授权

http://192.168.237.21:9200/_cluster/health?pretty

http://192.168.237.22:9200/_cluster/health?pretty

status

插件需要作为独立服务进行安装需要使用npm工具NodeJS的包管理工具安装。

Elasticsearch-head

的JavaScriptAPI可以理解为一个隐形的浏览器任何基于

webkit

phantomjs-2.1.1-linux-x86_64.tar.bz2

/opt

phantomjs-2.1.1-linux-x86_64.tar.bz2

/usr/local/src/

/usr/local/src/phantomjs-2.1.1-linux-x86_64/bin

phantomjs

/usr/local/src/elasticsearch-head/

npm

/etc/elasticsearch/elasticsearch.yml

......

/usr/local/src/elasticsearch-head/

npm

localhost:9200/index-demo/test/1?prettypretty

content-Type:

/usr/share/logstash/bin/logstash

/usr/local/bin/

input表示从数据源采集数据常见的数据源如Kafka、日志文件等

filter表示数据处理层包括对数据进行格式化处理、数据类型转换、数据过滤等支持正则表达式

output表示将Logstash收集的数据经由过滤器处理之后输出到Elasticsearch。

#格式如下

#在每个部分中也可以指定多个访问方式。

例如若要指定两个日志来源文件则格式如下

input

配置文件让其收集系统日志/var/log/messages并将其输出到

elasticsearch

/etc/logstash/conf.d/system.conf

input