ana监控Elasticsearch

监控选用说明指标上报流程说明实现监控的步骤搭建elasticsearch-exporter服务搭建promethues和grafana服务

监控选用说明

虽然用Kibana来监控ES能展示一些关键指标但ES本身收集的指标并不全面还需要在ES配置文件中设置xpack.monitoring.collection.enabled:

true来开启监控指标的收集并占用额外的集群资源。

重点是当集群出故障时故障期间可能也收集不到监控指标。

所以需要使用第三方监控组件来实现对ES的监控。

目前开源监控组件最受欢迎的就是PromethuesGrafana再使用elasticsearch-exportor从ES中获取监控指标最终就可以通过Grafana来展示各种监控图表了。

指标上报流程说明

promethues、elasticsearch-exportor和grafana完成上报的流程如下图所示

elasticsearch-exportor通过elasticsearch的Rest

Api周期性获取ES集群的各项指标组装成promethues支持解析的指标数据格式并暴露http端口来支持通过http的方式获取这些指标数据promethues通过elasticsearch-exportor提供的http接口来获取指标数据grafana使用promethues上的指标数据绘图展示监控面板。

使用环境centos7.9

/home/es/elasticsearch_exporter2、编写docker-compose.yml

/home/es/elasticsearch_exporter

vim

docker-compose.ymldocker-compose.yml文件内容

version:

quay.io/prome***uscommunity/elasticsearch-exporter:latestcommand:-

--es.urihttp://192.168.8.87:9200

内网IPrestart:

表示容器退出时总是重启但是不考虑docker守护进程运行时就已经停止的容器ports:-

9114:9114

4、确认elasticsearch-exporter成功连上了es

通过http请求获取metric来验证elasticsearch-exporter是否连上了

例如http://192.168.8.87:9114/metrics

如果返回了elasticsearch_开头的相关的监控指标则说明elasticsearch-exporter成功连接了elasticsearch

1、创建目录

/home/prome2、编写docker-compose.yml

/home/prome

docker-compose.ymldocker-compose.yml文件内容

version:

2.1networks:monitor-net:driver:

{}grafana_data:

prom/prome***us:v2.37.0container_name:

prome***usvolumes:-

prome***us_data:/prome***uscommand:-

--config.file/etc/prome***us/prome***us.yml-

--storage.tsdb.path/prome***us-

--web.console.libraries/etc/prome***us/console_libraries-

--web.console.templates/etc/prome***us/consoles-

--storage.tsdb.retention.time200h-

unless-stopped

表示容器退出时总是重启但是不考虑docker守护进程运行时就已经停止的容器ports:-

9090:9090networks:-

monitor-netlabels:org.label-schema.group:

grafana/grafana:9.0.3container_name:

grafanavolumes:-

./grafana/provisioning/dashboards:/etc/grafana/provisioning/dashboards-

./grafana/provisioning/datasources:/etc/grafana/provisioning/datasourcesenvironment:-

GF_SECURITY_ADMIN_USER${ADMIN_USER:-admin}-

GF_SECURITY_ADMIN_PASSWORD${ADMIN_PASSWORD:-admin123}-

GF_USERS_ALLOW_SIGN_UPfalserestart:

3000:3000networks:-

monitor-netlabels:org.label-schema.group:

monitoring3、启动服务

./prome***us/prome***us.yml在其末尾增加elasticsearch-exporter的地址配置如下

job_name:

[192.168.1.86:9114]如图需要注意yml文件的层级关系

5、确认prome***us成功连上了elasticsearch-exporte

浏览器访问

例如http://192.168.8.87:9090/status

点击菜单栏的Graph在这个页面可以查询到prome***us获取到的指标

prome***us成功连上了elasticsearch-exporte的现象

2查询其中一个指标有如下展示

7、输入管理员账号密码(docker-compose.yml里配置的)

账号admin

grafana官网提供了elasticsearch-exportor上报指标的仪表盘包含了上报到elasticsearch相关指标的监控图可直接到官网下载后导入即可使用

下载页面为

https://grafana.com/grafana/dashboards

ps.

https://grafana.com/grafana/dashboards/17724-elasticsearch/

下载完成后回到部署的Grafana服务里在左侧展开的菜单栏中点击Dashboards下的Import