…目录

2、在node1和node2节点安装elasticsearch

3、启动elasticsearch服务

7、logstash日志收集文件格式默认存储在/etc/logstash/conf.d

8、node1节点安装kibana

ELK是指Elasticsearch、Logstash和Kibana的组合。

它们是一套开源的日志收集、存储、搜索和可视化系统常用于集中管理和分析日志数据。

Elasticsearch一个分布式的实时搜索和分析引擎。

它能够处理大规模的数据并提供快速的搜索、聚合和数据分析功能。

Logstash一个用于日志收集、处理和传输的工具。

它支持从多种来源收集日志数据可以进行数据清洗、转换和过滤并将数据发送到Elasticsearch等目标存储。

Kibana一个用于数据可视化和分析的工具。

它可以通过图表、仪表盘和报表等方式直观地展示Elasticsearch中的数据帮助用户理解和分析日志。

Logstash配置在Logstash中配置输入插件指定日志数据的来源如文件、网络或消息队列等。

数据处理通过Logstash的过滤插件对日志数据进行清洗、转换和过滤使其符合需要然后将处理后的数据发送到Elasticsearch。

数据存储Elasticsearch将接收到的日志数据进行索引并存储以便快速搜索和分析。

数据可视化使用Kibana创建图表、仪表盘和报表等可视化组件通过搜索和聚合数据展示日志数据的统计信息和趋势。

实时搜索和分析通过Kibana提供的搜索功能可以实时搜索和分析日志数据帮助发现问题、监控系统和进行性能优化。

高效处理大规模日志数据Elasticsearch作为存储和搜索引擎能够处理大规模的日志数据。

灵活的数据处理和过滤Logstash提供了丰富的插件和过滤器可以对日志数据进行灵活的处理和转换。

直观的数据可视化Kibana提供了图形化的界面以直观的方式展示日志数据的统计信息和趋势。

实时搜索和分析ELK系统支持实时搜索和分析可以帮助快速定位和解决问题。

总之ELK日志收集系统是一个功能强大的工具组合可以帮助企业集中管理、存储、搜索和可视化大量的日志数据提高系统的监控和故障排查能力。

一、概述

1、ELK由三个组件构成Elasticsearch、Logstash和Kibana的组合

日志收集Logstash日志分析Elasticsearch日志可视化Kibana

为什么使用

日志对于分析系统、应用的状态十分重要但一般日志的量会比较大并且比较分散。

如果管理的服务器或者程序比较少的情况我们还可以逐一登录到各个服务器去查看、分析。

但如果服务器或者程序的数量比较多了之后这种方法就显得力不从心。

基于此一些集中式的日志系统也就应用而生。

目前比较有名成熟的有Splunk(商业)、FaceBook

二、组件介绍

一般工作方式为c/s架构Client端安装在需要收集日志的服务器上Server端负责将收到的各节点日志进行过滤、修改等操作再一并发往Elasticsearch上去

Inputs

-f命令Syslog在514端口上监听系统日志消息并根据RFC3164标准进行解析Redis从redis

Grok解析任意文本数据Grok

最重要的插件。

它的主要作用就是将文本格式的字符串转换成为具体的结构化的数据配合正则表达式使用。

官方提供的grok表达式logstash-patterns-core/patterns

main

logstash-plugins/logstash-patterns-core

GitHubGrok在线调试Grok

DebuggerMutate对字段进行转换。

例如对字段进行删除、替换、修改、重命名等。

Drop丢弃一部分Events不进行处理。

Clone拷贝Event这个过程中也可以添加或移除字段。

Geoip添加地理信息(为前台kibana图形化展示使用)

OUTPUTS输出

Elasticsearch可以高效的保存数据并且能够方便和简单的进行查询。

File将Event数据保存到文件中。

Graphite将Event数据发送到图形化组件中踏实一个当前较流行的开源存储图形化展示的组件。

3、kibana

为Logstash和ElasticSearch在收集、存储的日志基础上进行分析时友好的Web界面可以帮助汇总、分析和搜索重要数据日志。

三、架构类型

https://elasticsearch.cn/download/

在node1和node2设置主机名

2、在node1和node2节点安装elasticsearch

2.1、首先检查Java环境Java-version如果没有就装一个yum

install

/etc/elasticsearch/elasticsearch.yml

###进去解开注释

path.logs/var/log/elasticsearch/

#日志存放路径

discovery.zen.ping.unicast.hosts[node1node2]

###把这份配置文件传输给node2修改一下节点名字和IP就好了

scp

/etc/elasticsearch/elasticsearch.yml

192.168.115.136:/etc/elasticsearch/elasticsearch.yml3、启动elasticsearch服务

3.1、启动命令systemctl

查看集群健康状态192.168.115.131:9200/cluster/health

192.168.115.136:9200/cluster/health

Green

phantomjs-2.1.1-linux-x86_64.tar.bz2

phantomjs-2.1.1-linux-x86_64/bin

phantomjs

###修改elasticsearch配置文件node1、2都要改

vim

/etc/elasticsearch/elasticsearch.yml#

Require

#action.destructive_requires_name:true

http.cors.enabled:

elasticsearch两个节点都检查一下9200端口起来了吗

npm

192.168.115.131:9200/index-demo/test/1?prettypretty

Content-Type:

访问192.168.115.131:9100可以看到我们的测试数据

“hy

/usr/share/logstash/bin/logstash

/usr/local/bin/

OK测试完了我们去192.168.115.131:9100查看一下

elasticsearch已经在分析了这就是测得内容而且多了一个索引了

7、logstash日志收集文件格式默认存储在/etc/logstash/conf.d

7.1、介绍

Logstash配置文件基本由三部分组成input、output以及

input

在每个部分中也可以指定多个访问方式。

例如若要指定两个日志来源文件则格式如下

input

##因为要收集日志root用户可以操作其他用户是没权限的所以加个读取的权限否则是收集不到日志的

chmod

/etc/logstash/conf.d/system.conf

##system.conf是自定义的因为我搜集的是系统日志若其他的应用的话可以取对应的名字来作为区分

##插入

#在Elasticsearch中添加.kibana索引##启动kibana

systemctl

2.在此节点上配置我们的logstash来收集我们的http服务器的访问日志

http访问日志的路径/var/log/httpd/access_log

##安装logstash

/etc/logstash/conf.d/httpd.conf

###插入

/usr/share/logstash/bin/logstash

/usr/local/bin/

/etc/logstash/conf.d/httpd.conf

kibana