[TOC] 安装好grafana并不能直接看到监控数据，需要自行设置dashboard或plugins。 展示 `kubernetes`、`ingress-nginx-controller` 和 `etcd` 三个组件的漂亮的仪表盘。 ## kubernetes 这个使用的是现成的插件(devopsprodigy-kubegraf-app)，不需要写dashboard文件内容。只需要导入证书和填写服务器信息即可。 > 要求： > 1. Grafana > 5.0.0 > 2. Prometheus + node-exporter + kube-state-metrics (version >= 1.4.0) > 3. Grafana-piechart-panel 1. 安装插件 - **在线安装** 登录容器，下载插件 grafana-cli plugins install devopsprodigy-kubegraf-app - **离线安装** 在grafana的主机，找到数据目录($PATH/plugins) kubectl -n kube-mon cp grafana-piechart-panel/ grafana-6dcb54fd8d-2zw9f:/var/lib/grafana/plugins/ kubectl -n kube-mon cp devopsprodigy-kubegraf-app grafana-6dcb54fd8d-2zw9f:/var/lib/grafana/plugins/ > 上面两种方法安装，都是需要重启grafana容器的。 > kubectl -n kube-mon delete pod -l app=grafana 2. 配置插件 Ⅰ 配置数据源     > 注意：如果promtheus有添加上下文的话，URL也需要添加上对应的上下文。 Ⅱ 启动插件    Ⅲ 配置插件      > 获取上面的数据的方法： > #URL框 > cat /root/.kube/config | grep server | awk '{print $2}' > #CA Cert框 > cat /root/.kube/config | grep certificate-authority-data | awk '{print $2}' | base64 -d > #Client Cert框 > cat /root/.kube/config | grep client-certificate-data | awk '{print $2}' | base64 -d > #Client Key框 > cat /root/.kube/config | grep client-key-data | awk '{print $2}' | base64 -d 保存完后，会跳转到配置插件页面。如果没有出现配置好的集群信息的话，重新刷新一下即可。 Ⅳ 查看仪表盘    ## ingress-nginx-controller 1. 下载官方提供的dashboard文件 下载地址：https://raw.githubusercontent.com/kubernetes/ingress-nginx/main/deploy/grafana/dashboards/nginx.json 2. 导入dashboard文件    3. 验证  ## etcd etcd官网也提供有dashboard文件，不过文件好像有些问题。不能够直接导入，这里提供一个修改好的文件。请查看附件的章节。 导入方法与 ingress-nginx-controller 的方法一致，这里就不赘述。 ## minio 参考文章：https://docs.min.io/docs/how-to-monitor-minio-using-prometheus.html 1. 将新主机添加到配置文件 ```shell $ mc config host add monitor http://192.168.31.199:9000 admin ak+JLouROYaP Added `monitor` successfully. ``` 2. 查看是否添加成功 ```shell $ mc config host list monitor monitor URL : http://192.168.31.199:9000 AccessKey : admin SecretKey : ak+JLouROYaP API : s3v4 Path : auto ``` 3. 该命令将生成 prometheus.yml 的 scrape_configs 部分 ```shell $ mc admin prometheus generate monitor scrape_configs: - job_name: minio-job bearer_token: eyJhbGciOiJIUzUxMiIsInR5cCI6IkpXVCJ9.eyJleHAiOjQ4MDkwNDgyNDksImlzcyI6InByb21ldGhldXMiLCJzdWIiOiJhZG1pbiJ9.oX7aSpbySO8LtHm3PwPQAB1EnHCTfwNY3_LH7B1-YYArCOlbd_4SUY0l2SMIW7_SjpAr_5x3qqEhHNvwOBThuQ metrics_path: /minio/v2/metrics/cluster scheme: http static_configs: - targets: ['192.168.31.199:9000'] ``` > 注意：如果是https协议的话，需要添加取消证书验证。 4. Prometheus配置添加上面信息  > 重启加载Prometheus配置文件 `curl -X POST "http://`kubectl -n kube-mon get endpoints prometheus -o jsonpath={.subsets[0].addresses[0].ip}`:9090/prometheus/-/reload"` 5. 验证  6. 添加dashboard   > 上图就是有两个相同的数据字，提供的json文件有些瑕疵。这里提供一个修改好的文件。请查看附件的章节。 ## ceph 参考文章：https://docs.ceph.com/en/nautilus/mgr/prometheus/ 1. 开通ceph mgr模块的Prometheus ```shell $ ceph mgr module enable prometheus ``` > 注意：报错提示 `Error ENOENT: module 'prometheus' reports that it cannot run on the active manager daemon: No module named 'cherrypy' (pass --force to force enablement)`。需要安装一下cherrypy模块 `sudo pip3 install cherrypy` 安装即可 2. 验证是否开启成功 ```shell $ ceph mgr module ls | grep -A5 enabled_modules "enabled_modules": [ "iostat", "prometheus", "restful" ], ``` 3. 设置Prometheus暴露地址和端口 ```shell $ ceph config set mgr mgr/prometheus/server_addr 0.0.0.0 $ ceph config set mgr mgr/prometheus/server_port 9283 ``` 4. 验证设置 ```shell ## ceph config get mgr.主机名 $ ceph config get mgr.ceph02 WHO MASK LEVEL OPTION VALUE RO mgr advanced mgr/prometheus/server_addr 0.0.0.0 * mgr advanced mgr/prometheus/server_port 9283 * $ ceph mgr services { "prometheus": "http://ceph01.ecloud.com:9283/" } ``` 5. Prometheus配置段 ```yaml - job_name: "Ceph" static_configs: - targets: # 所有mgr主机 - 192.168.31.132:9283 - 192.168.31.69:9283 - 192.168.31.177:9283 labels: cluster: production ``` 6. 验证Prometheus的target  7. grafana安装dashboard  > 使用 `2842` 的dashboard页面 8. 验证dashboard  ## 参考文档 https://grafana.com/grafana/plugins/devopsprodigy-kubegraf-app/ https://kubernetes.github.io/ingress-nginx/user-guide/monitoring/#grafana https://etcd.io/docs/v3.4/op-guide/monitoring/#grafana ## 附件文件 所需的dashboard和plugins文件都放在百度网盘上 > 链接：https://pan.baidu.com/s/1bxnNl05F97Il7pZ0sgdRuQ > 提取码：05eh