## Prometheus+Grafana监控MySQL - Prometheus(由go语言(golang)开发)是一套开源的监控&报警&时间序列数据库的组合。适合监控docker容器。因为kubernetes(俗称k8s)的流行带动了prometheus的发展。被很多人称为下一代监控系统。 - Grafana是一个开源的图表可视化系统，简单说图表配置比较方便、生成的图表比较漂亮，并能实现报警。支持五十多种数据源，Prometheus就是其中支持的一种。 - 下面就介绍了利用Prometheus与Grafana对Mysql服务器性能监控的方法。 ### 1 架构图 #### 祖传老图，修一修拿来用 下面是本次部署的架构图   ### 2 实验环境准备 - grafana服务器：10.0.3.112 - Prometheus服务器：10.0.3.112 - 被监控服务器：10.0.3.105/115 1.时间同步（时间同步一定要确认一下） 2.关闭防火墙，selinux ### 3 安装prometheus server 从 https://prometheus.io/download/ 下载相应版本，安装到服务器上 官网提供的是二进制版，解压就能用，不需要编译 #### 3.1 安装 ``` # 解压安装包 tar -xf prometheus-2.23.0.linux-amd64.tar.gz -C /opt # 创建链接目录 cd /opt ln -s prometheus-2.23.0.linux-amd64 prometheus # 直接使用默认配置文件启动 /opt/prometheus/prometheus --config.file="/opt/prometheus/prometheus.yml" & # 确认是否正常启动（默认端口9090） [root@server ~]# netstat -lnptu | grep 9090 tcp6 0 0 :::9090 :::* LISTEN 103006/prometheus ``` #### 3.2 prometheus界面 ##### 通过浏览器访问http://服务器IP:9090就可以访问到prometheus的主界面  ##### 点Status-->Targets-->就可以看到监控的本机  #### 3.3 监控本机数据展示 ##### 通过http://服务器IP:9090/metrics可以查看到监控的数据  ##### 在web主界面可以通过关键字查询监控项  ### 4 监控远程Linux主机 #### 4.1 在被监控端上安装node_exporter组件 下载地址: https://prometheus.io/download/ ``` # 解压安装包 tar -xf node_exporter-1.0.1.linux-amd64.tar.gz -C /opt # 创建链接目录 cd /opt ln -s node_exporter-1.0.1.linux-amd64 node_exporter # 使用nohup后台运行 nohup /opt/node_exporter/node_exporter & # 确认是否正常启动（默认端口9100） [root@mysql01 ~]# netstat -lnptu | grep 9100 tcp6 0 0 :::9100 :::* LISTEN 20716/node_exporter 扩展: nohup命令: 如果把启动node_exporter的终端给关闭,那么进程也会 随之关闭。nohup命令会帮你解决这个问题。 ``` ##### 同样操作，将所有需要被监控主机安装node_exporter组件 #### 4.2 通过浏览器访问http://被监控端IP:9100/metrics就可以查看到node_exporter在被监控端收集的监控信息  #### 4.3 回到prometheus服务器的配置文件里添加被监控机器的配置段 ``` 在主配置文件最后面添加被监控主机信息 [root@server ~]# vim /opt/prometheus/prometheus.yml - job_name: '10.0.3.105' # 给被监控主机取个名字，我这里直接填的IP static_configs: - targets: ['10.0.3.105:9100'] # 这里填写被监控主机的IP和端口 - job_name: '10.0.3.115' static_configs: - targets: ['10.0.3.115:9100'] 有多少台被监控主机就照格式添加在后面好了，我这里监控了105/115两台主机 ``` ##### 改完配置文件后，重启服务 ``` [root@server ~]# pkill prometheus [root@server ~]# /opt/prometheus/prometheus --config.file="/opt/prometheus/prometheus.yml" & [root@server ~]# netstat -lnptu | grep 9090 ``` #### 4.4 回到web管理界面，可以看到多了两台监控主机  ### 5 监控远程MySQL #### 5.1 在被管理MySQL服务器上安装mysqld_exporter组件 下载地址: https://prometheus.io/download/ ``` # 解压安装包 tar -xf mysqld_exporter-0.12.1.linux-amd64.tar.gz -C /opt # 创建链接目录 cd /opt ln -s mysqld_exporter-0.12.1.linux-amd64 mysqld_exporter # 在MySQL服务器上创建监控用户 mysql> grant select,replication client, process on *.* to 'mysql_monitor'@'localhost' identified by '123'; Query OK, 0 rows affected, 1 warning (0.00 sec) mysql> flush privileges; Query OK, 0 rows affected (0.03 sec) mysql> exit Bye # 将上面创建的mysql用户信息写入mysqld_exporter配置文件（新创建一个） [root@mysql01 ~]# vim /opt/mysqld_exporter/.my.cnf [client] user=mysql_monitor password=123 # 启动mysqld_exporter nohup /opt/mysqld_exporter/mysqld_exporter --config.my-cnf=/opt/mysqld_exporter/.my.cnf & # 确认是否正常启动（默认端口9104） [root@mysql01 ~]# netstat -lnptu | grep 9104 tcp6 0 0 :::9104 :::* LISTEN 32688/mysqld_export ``` #### 5.2 回到prometheus服务器的配置文件里添加被监控的mariadb的配置段 ``` 在主配置文件最后面添加被监控主机信息 [root@server ~]# vim /opt/prometheus/prometheus.yml - job_name: 'mysql-105' # 给被监控主机取个名字 static_configs: - targets: ['10.0.3.105:9104'] # 这里填写被监控主机的IP和端口 - job_name: 'mysql-115' static_configs: - targets: ['10.0.3.115:9104'] 有多少台被监控MySQL服务器就照格式添加在后面好了，我这里监控了105/115两台MySQL服务器 ``` ##### 改完配置文件后，重启服务 ``` [root@server ~]# pkill prometheus [root@server ~]# /opt/prometheus/prometheus --config.file="/opt/prometheus/prometheus.yml" & [root@server ~]# netstat -lnptu | grep 9090 ``` #### 5.3 回到web管理界面点Status-->Targets-->就可以看到监控的MySQL服务器了  ##### 回到主界面搜索mysql相关参数  ### 6 Grafana可视化图形工具 #### 6.1 什么是Grafana 开头已经讲过了，官网：https://grafana.com/ #### 6.2 安装grafana服务器 下载地址:https://grafana.com/grafana/download ``` 我这是使用的是CentOS系统，直接下载rpm包就好 yum localinstall grafana-7.3.5-1.x86_64.rpm 启动服务并加入开机启动 systemctl start grafana-server.service systemctl enable grafana-server.service 检查服务状态（默认使用3000端口） systemctl status grafana-server.service netstat -lnptu | grep 3000 tcp6 0 0 :::3000 :::* LISTEN 112219/grafana-serv ``` #### 6.3 登陆grafana WEB界面 ##### 通过浏览器访问 http:// grafana服务器IP:3000就到了登录界面,使用默认用户名admin，密码admin  - 登陆后会提示你修改密码，暂时不想修改话可以先跳过 ##### 至此，我们就可以看到grafana主界面了  ### 7 在Grafana上添加Prometheus数据源 ##### 我们把prometheus服务器收集的数据做为一个数据源添加到grafana,让grafana可以得到prometheus的数据    ### 8 Grafana图形显示Linux硬件信息 - Grafana官方提供模板地址：https://grafana.com/grafana/dashboards - 本次要导入的模板：https://grafana.com/grafana/dashboards/11074  #### 8.1 Grafana导入监控模板   #### 8.2 选择导入成功的模板查看   #### 8.3 即可看到逼格非常高的系统主机节点监控信息   ### 9 Grafana图形显示MySQL监控数据 #### 方式一：通过Grafana官网导入模板 - MySQL监控做的最好当属percona公司的了 - Grafana官网地址：https://grafana.com/grafana/dashboards/7362  ##### 当然，这个更新的不及时，要体验最新的我们直接去项目地址下载安装mysql监控的dashboard（包含相关json文件，这些json文件可以看作是开发人员开发的一个监控模板) ##### 下载网址: https://github.com/percona/grafana-dashboards #### 方式二：导入最新的json文件 ##### 9.2.1 下载最新json文件包  ##### 9.2.2 解压得到相关JSON文件  ##### 9.2.3 在grafana图形界面导入MySQL相关json文件    ##### 9.2.4 grafana展示MySQL相关数据 1. 没数据可能是需要等一会，让数据传过来。 2. 有些可能是Prometheus没有采集相关指标。 3. 还有就是需要安装percona公司插件解决  ### 10 监控报警 #### 具体方案有很多 - prometheus配合alertmanager这个组件报警，报警规则需要手动编写，这需要对prometheus+alertmanager有一定的了解 - grafana配合SaaS模式的云告警平台onealert报警，onealert也是需要时间熟悉的 - 这里演示最传统的grafana+email报警 #### 10.1 修改grafana配置文件，添加发件邮箱 ``` vim /etc/grafana/grafana.ini # 找到smtp关键字 #################################### SMTP / Emailing ########################## [smtp] enabled = true # 改成true host = smtp.exmail.qq.com:465 # 发送服务器地址和端口 user = # 这里填写发件邮箱 # If the password contains # or ; you have to wrap it with triple quotes. Ex """#password;""" password = # 这里填写发件邮箱密码或授权密码 ;cert_file = ;key_file = skip_verify = true # 改成true from_address = # 这里填写发件邮箱 ;from_name = Grafana # EHLO identity in SMTP dialog (defaults to instance_name) ;ehlo_identity = dashboard.example.com # SMTP startTLS policy (defaults to 'OpportunisticStartTLS') ;startTLS_policy = NoStartTLS ``` #### 10.2 在通知渠道创建收件人组   ##### 刚才操作都没问题话将测试邮件  #### 10.3 测试触发报警 ##### 这里我们以监控mysql连接数来做测试      #### 10.4 报警效果  #### 10.5 报警不成功的可能原因 - 各服务器之间时间不同步，这样时序数据会出问题，也会造成报警出问题 - 必须写通知内容，留空内容是不会发报警的 - 修改完报警配置后，记得要点右上角的保存 - 保存配置后，需要由OK状态变为alerting状态才会报警(也就是说，你配置保存后，就已经是alerting状态是不会报警的) - grafana与邮箱通信有问题 #### 因为有悔，所以披星戴月；因为有梦，所以奋不顾身！ 个人博客首发：`easydb.net` 微信公众号：`easydb` 关注我，不走丢！