。

下面就带大家彻底搞懂监控系统#xff0c;使用Prome***us

…一、背景

完善的监控系统可以提高应用的可用性和可靠性在提供更优质服务的前提下降低运维的投入和工作量为用户带来更多的商业利益和客户体验。

下面就带大家彻底搞懂监控系统使用Prome***us

二、监控系统简介

监控系统顾名思义就是监控服务器、应用系统以及其他第三方组件运行状态的系统。

对于平台系统而言监控系统就是我们第三只眼监控系统会实时跟踪应用平台的运行状态如果有应用系统出现问题或是服务器内存爆满我们通过监控系统就可以快速定位问题所在甚至可以设置预警对一些将要出现的问题进行提前预防处理及时避免问题的发生。

1.2

监控是运维系统的基础我们衡量一个公司/部门的运维水平看他们的监控系统就可以了。

监控系统的作用不言而喻能帮我们快速定位问题减少故障容量规划性能优化等。

1定位故障在发生故障时我们可以通过查看监控系统的各项指标数据辅助故障分析和定位。

2减少故障率对于即将可能产生的故障能够及时发出预警信息做好提前预防处理。

3容量规划为服务器、中间件以及应用集群的容量规划提供数据支撑。

4性能调优JVM垃圾回收次数、接口响应时间、慢SQL等等都可以监控优化。

总而言之一个完善的监控系统可以提高应用的可用性和可靠性在提供更优质服务的前提下降低运维的投入和工作量为用户带来更多的商业利益和客户体验。

1.3

(1)指标监控主要是对一定时间段内性能指标进行测量然后再通过时间序列的方式进行处理、存储和告警。

ELK

指标监控可以说是系统监控最核心的功能。

主要有服务器资源、应用监控、数据库中间件等。

服务器资源监控CPU使用率、内存使用率、磁盘使用率、磁盘读写的吞吐量、网络出入流量等等。

数据库监控TPS、QPS、数据库连接数、慢SQL、InnoDB缓冲池命中率等。

Redis监控内存使用率、缓存命中率、key值总数、Redis响应请求时间、客户端连接数、持久性指标等。

MQ消息监控连接数、队列数、生产速率、消费速率、消息堆积量等等。

应用监控包括HTTP请求JVM线程池等。

日志监控则更能清楚的记录系统运行时的详细状态虽然指标监控可以帮助迅速定位发生瓶颈的位置不过只有指标的话往往还不够。

比如同样的一个接口当请求传入的参数不同时就可能会导致完全不同的性能问题。

所以除了指标外我们还需要对这些指标的上下文信息进行监控而日志正是这些上下文的最佳来源。

1.4

一个完整的监控系统通常由数据采集、数据传输、数据存储、数据展示、监控告警等多个模块组成。

数据采集采集的方式有很多种包括日志埋点进行采集JMX标准接口输出监控指标被监控对象提供REST

API进行数据采集如Hadoop、ES系统命令行统一的SDK进行侵入式的埋点和上报等。

数据传输将采集的数据以TCP、UDP或者HTTP协议的形式上报给监控系统有主动Push模式也有被动Pull模式。

数据存储有使用MySQL、Oracle等关系数据库存储的也有使用时序数据库RRDTool、OpentTSDB、InfluxDB存储的还有使用HBase存储的。

数据展示数据指标的图形化展示。

监控告警灵活的告警设置以及支持邮件、短信、IM等多种通知通道。

目前大部分厂商都采用自研或是基于开源组件的方式搭建自己的监控平台。

当然也有很多非常流行的开源监控系统其中最流行的莫过于Zabbix和Prome***us。

下面就对这两个监控系统进行介绍同时总结下各自的优劣势。

2.1

1998年诞生核心组件采用C语言开发Web端采用PHP开发。

它属于老牌监控系统中的优秀代表功能全面使用广泛是最优秀的监控解决方案之一。

2.1.1

产品成熟由于诞生时间长且使用广泛拥有丰富的文档资料以及各种开源的数据采集插件能覆盖绝大部分监控场景。

采集方式丰富支持Agent、SNMP、JMX、SSH等多种采集方式以及主动和被动的数据传输方式。

2.1.2

Zabbix需要在被监控主机上安装Agent所有的数据都存在数据库里产生的数据很大瓶颈主要在数据库。

2.2

随着微服务架构和容器的兴起Zabbix对容器监控显得力不从心。

为解决监控容器的问题

Prome***us

是一套开源的系统监控报警框架采用Go语言开发。

得益于Google与k8s的强力支持自带云原生的光环天然能够友好协作使得Prome***us

2.2.1

自带的时序数据库可以完成每秒千万级的数据存储不仅如此在保存大量历史数据的场景中Prome***us

OpenTSDB

方式采集时序数据只有实现了Prome***us监控数据才可以被

Prome***us

的监控不适用于日志Logs、事件(Event)、调用链(Tracing)。

由于Prome***us采用的是Pull模型拉取数据意味着所有被监控的endpoint必须是可达的需要合理规划网络的安全配置。

2.3

的成熟度更高上手更快但灵活性较差。

而且监控数据的复杂度增加后Zabbix

做进一步定制难度很高即使做好了定制也没法利用之前收集到的数据了关系型数据库造成的问题。

Prome***us

基本上是正相反上手难度大一些但由于定制灵活度高数据也有更多的聚合可能起步后的使用难度远小于

Zabbix

在传统监控系统中尤其是在服务器相关监控方面占据绝对优势但如果是云环境的话除非是

Zabbix

号称下一代监控系统已经成为主导及容器监控方面的标配并且在未来可见的时间内被广泛应用。

4.1

Prome***us需要下载prome***usProme***us主服务、node_exporter服务器监控、mysqld_exporterMysql数据库监控-可选、pushgateway数据网关-可选、alertmanager告警组件-可选

下载地址https://prome***us.io/download/

Grafana为数据展示界面下载地址https://grafana.com/grafana/download

4.2

主要负责数据的收集存储并且对外提供数据查询支持。

下面开始安装Prome***us

prome***us-2.37.0setp2启动prome***us

Server

服务。

prome***us启动非常简单只需要一个命令即可进入到/usr/local/prome***us/prome***us-2.37.0后执行如下命令

#进入prome***us目录cd

/usr/local/prome***us/prome***us-2.37.0#执行启动脚本./prome***us

--config.fileprome***us.ymlstep3验证prome***us是否启动成功prome***us默认端口为9090我们在浏览器中输入http://10.2.1.231:9090/graph进入prome***us数据展示页面说明prome***us启动成功。

4.4

就是负责服务器的资源信息同时提供了对外访问的HTTP服务地址通常是/metrics给prome***us拉取监控样本数据。

下面开始安装node_exporter。

node_exporter-1.3.1.linux-amd64

node_exporter-1.3.1step2启动node_exporler输入如下命令启动

#node_exportercd

/usr/local/prome***us/node_exporter-1.3.1#执行启动命令指定数据访问的url./node_exporter

--web.listen-address

10.2.1.231:9527step3验证node_exporler是否启动成功我们在浏览器中输入上面指定的地址http://10.2.1.231:9527/metrics可以看到当前

node_exporter

获取到的当前主机的所有监控数据。

说明node_exporler启动成功。

step4最后配置prome***us将新增加的node配置到prome***us。

修改prome***us-2.37.0

文件夹下的prome***us.yml文件。

增加新的node配置具体配置如下

scrape_configs:

[10.2.1.231:9527]修改完prome***us.yml

文件后重新启动prome***us。

再次访问prome***us数据展示页面选择status

在Graph

安装并集成成功。

prome***us虽然有自带的数据展示界面但是不够全面也不直观。

接下来集成grafana

下载地址https://grafana.com/grafana/download

下载grafanawget

https://dl.grafana.com/enterprise/release/grafana-enterprise-9.0.3.linux-amd64.tar.gz#

解压到tar

grafana-enterprise-9.0.3.linux-amd64.tar.gz

修改目录名cd

ngrafana-enterprise-9.0.3.linux-amd64

grafana-9.0.3step2启动Grafana输入如下命令

#grafanacd

/usr/local/prome***us/grafana-9.0.3/bin#执行启动命令指定数据访问的url./grafana-server

--homepath

/usr/local/prome***us/grafana-9.0.3

webstep3验证是否安装成功Grafana默认端口3000。

在浏览器中输入http://10.2.1.231:3000/

输入默认账号密码admin\admin。

能正常进入Grafana说明Grafana安装成功。

Data

的名字以及prome***us的地址http://10.2.1.231:9090/

后点击SaveTest

和自动导入Dashboard模板两种方式手动一个个添加Dashboard

比较繁琐Grafana

Dashboard通过https://grafana.com/dashboards

Grafana

接下来回到Grafana页面点击DashBoards|Import

点击Import后我们就可以看到详细的服务器资源监控数据。

如下图所示

参考文章

#告警规则位置2、添加监控Alertmanager让Prome***us去收集Alertmanager的监控指标

job_name:

alertmanager#覆盖全局配置每15秒收集一次信息scrape_interval:

15sstatic_configs:-

[192.168.94.71:9093]3、配置告警规则创建告警文件

cat

/opt/prome***us/rules/temp.rules

cat

/opt/prome***us/rules/temp.rules

groups:-

test-rulesrules:#对任何实例超过1分钟无法联系的情况发出警报-

alert:

#基于PromQL表达式告警出发条件用于计算是否有时间序列满足改条件for:

#评估等待时间用于表示只有当触发条件持续一段时间后才发送告警。

在等待期间新产生告警的状态为pending。

labels:

#自定义标签允许用户指定要附加到告警上的一组附加标签status:

warningannotations:

#用于指定一组附加信息比如用于描述告警详细信息当中内容会在告警产生时作为参数一同发送到AlertManagersummary:

has

(rate(node_cpu_seconds_total{job~.*,modeidle}[2m]))

100))

warningannotations:description:

CPU

(node_memory_MemFree_bytesnode_memory_Buffers_bytesnode_memory_Cached_bytes

100

warningannotations:description:

MEM

node_filesystem_free_bytes{fstype!rootfs,mountpoint!,mountpoint!~/(run|var|sys|dev|snap).*}

100

warningannotations:description:

Disk

warningannotations:description:

File

warningannotations:description:

Load15

warningannotations:description:

Node

warningannotations:description:

Node

(instance)(floor(irate(node_network_transmit_bytes_total{device!lo}[2m])/

1024

warningannotations:description:

Node

(floor(irate(node_network_receive_bytes_total{deviceeth0}[2m])

1024

warningannotations:description:

Node

(floor(irate(node_disk_bytes_read{}[2m])

1024

warningannotations:description:

Node

(floor(irate(node_nfsd_disk_bytes_written_total{}[2m])

1024

warningannotations:description:

Node

warningannotations:description:

域名剩余时间小于三十天请及时续费

当收到告警的时候等待group_wait配置的时间看是否还有告警如果有就一起发出去group_wait:

5s#

http://api.aiops.com/alert/api/event/prome***us/0a099b8d-49dd-403d-8c97-9878ed75fc39send_resolved:

true

/opt/alertmanager/template/*.temp

receivers:#