3、Logstash介绍

可以提高安全性集中存放日志完成更强大的用户对日志的查询、排序、统计需求。

日志处理步骤

3、对格式化后的数据进行索引和存储(ES对存储数据的类型进行分类)

总结logstash作为日志搜集器从数据源采集数据并对数据进行过滤格式化处理然后交由Elasticsearch存储kibana对日志进行可视化处理。

二、Elasticsearch

将一个或多个节点组织在一起组成一个cluster集群。

集群有一个唯一标志的名字默认Elasticasearch每个节点基于集群名字加入到集群中且在集群中使用自己的名字来身份标识。

节点node

一个索引由一个名字来标识必须全部是小写字母并且当我们要多对应这个索引中的文档进行索引、更新、删除的时候都要使用到这个名字。

类型type

在一个索引中你可以定义一个或多种类型。

比如当我们存储一个购物平台的数据时可以定义一个用户数据类型产品数据类型等。

文档document

索引存储的数据可能超过单个节点的硬件限制。

为了解决这个问题ES提供了将索引分成多个分片的功能当在创建索引时可以定义想要的分片数量每一个分片就是一个全功能独立的索引。

为什么要分片

为了健壮性高可用性可以故障切换。

es将分片复制一份或多份放在不同的节点主机上称为分片副本。

为什么要副本

高可用性以应对分片或者节点故障出于这个原因分片副本要在不同的节点上。

性能加强增强吞吐量搜索可以并行在所有副本上执行

①结构名称不同

ES支持分片和复制从而方便水平分割和扩展复制保证可es的高可用与高吞吐。

在es中当你创建一个索引数据库的时候你可以指定你想要的分片的数量每个分片本身也是一个功能完善并且独立的索引数据库索引可以被防止到集群中的任何节点上。

2、允许你在分片之上进行分布式的并行的操作进而提高性能/吞吐量

3、分片的分布它的文档怎么聚合回搜索请求完全有Elasticsearch管理

③ES采用倒排索引传统数据库采用B树索引

一款强大的数据处理工具可实现数据传输、格式处理、格式化输出数据输入、数据加工过滤、改写等以及数据输出

Plugin

Shipper(日志收集)负责监控本地日志文件的变化及时把日志文件的最新内容收集起来。

通常远程代理端agent只需要运行这个组件即可

Broker(日志Hub)负责连接多个Shipper和多个Indexer

Search

一个针对Elastcsearch的开源分析及可视化平台搜索、查看存储在ES

1、Kibana主要功能

使用Kibana可以更加方便地创建、保存、分享数据并将可视化数据快速交流。

⑤配置简单

Kibana可以非常方便地把来自Logstash、ES-Hadoop、Beats或第三方技术的数据整合到Elasticsearch支持的第三方技术包括Apache

flume、

Kibana可以方便地导出感兴趣的数据与其它数据集合并融合后快速建模分析发现新结果。

1、处理方式灵活Elasticsearch是全文索引具有强大的搜索能力

2、配置相对简单Kibana的配置非常简单Eslasticsearch则全部使用Json接口配置也不复杂Logstash的配置使用模块的方式配置也相对简单。

4、集群线性扩展Elasticsearch本身没有单点的挂念自动默认集群模式Elasticsearch和Logstash都可以

5、灵活扩展

主机名ip地址主要软件系统node1192.168.88.10ElasticSearh、Kibanacentos7.5node2192.168.88.20ElasticSearhcentos7.5apache192.168.88.30Logstash、Apachecentos7.5

ELK

#上传elasticsearch-5.5.0.rpm到/opt目录下

/opt

/etc/elasticsearch/elasticsearch.yml

/etc/elasticsearch/elasticsearch.yml.bak

vim

/etc/elasticsearch/elasticsearch.yml

--17--取消注释指定集群名字

--23--取消注释指定节点名字Node1节点为node1Node2节点为node2

node.name:

discovery.zen.ping.unicast.hosts:

[node1,

/etc/elasticsearch/elasticsearch.yml

4创建数据存放路径并授权

http://192.168.88.10:9200/_cluster/health?pretty

http://192.168.88.20:9200/_cluster/health?pretty查看群集的健康情况可以看到

status

http://192.168.88.10:9200/_cluster/state?pretty

Elasticsearch-head

插件需要作为独立服务进行安装需要使用npm工具NodeJS的包管理工具安装。

Elasticsearch-head

的JavaScriptAPI可以理解为一个隐形的浏览器任何基于

webkit

phantomjs-2.1.1-linux-x86_64.tar.bz2

到/opt/

/etc/elasticsearch/elasticsearch.yml

http.cors.enabled:

/usr/local/src/elasticsearch-head/

npm

/usr/local/src/elasticsearch-head

grunt

localhost:9200/index-demo1/test/1?prettypretty

content-Type:

/usr/share/logstash/bin/logstash

/usr/local/bin/

input表示从数据源采集数据常见的数据源如Kafka、日志文件等

filter表示数据处理层包括对数据进行格式化处理、数据类型转换、数据过滤等支持正则表达式

output表示将Logstash收集的数据经由过滤器处理之后输出到Elasticsearch。

#格式如下

#在每个部分中也可以指定多个访问方式。

例如若要指定两个日志来源文件则格式如下

input

配置文件让其收集系统日志/var/log/messages并将其输出到

elasticsearch

/etc/logstash/conf.d/system.conf

input

/etc/logstash/conf.d/apache_log.conf

input

apache_access-*并单击“Create”按钮。

在用相同的方法添加

apache_access-*

Node1节点2C/4Gnode1/192.168.88.10

Elasticsearch

Node2节点2C/4Gnode2/192.168.88.20

Elasticsearch

Filebeat节点filebeat/192.168.88.40

Filebeat

filebeat-6.2.4-linux-x86_64.tar.gz

到/opt目录

filebeat-6.2.4-linux-x86_64.tar.gz

/usr/local/filebeat

%{[fields][service_name]}-%{YYYY.MM.dd}

stdout