TIDB 初级课程体验 8 (文件和日志 与监控)

2021-06-27 00:00:00 数据 文件 节点 系统 监控

TIDB 是一个分布式数据库,那么与单机相比,他的文件的分布式使用与单机架构的数据库是有不同的。

一般我们的数据库包含有如下几类问题

1  数据文件

2  配置文件

3  数据日志文件

4  告警错误文件



从图中看,TIDB分布式数据库的文件的分布和其他的数据库是不同的,TIDB作为客户端来说他不具有数据文件, 而PD中的数据文件是整体系统的元数据文件存储位置。TIKV 是用户数据的存储的位置。


通过tiup cluster edit-config 命令可以打开整体集群的配置文件,其中包含

deploy_dir  和 data_dir  两个文件存放地。



在安装TIUP 的节点,我们直接使用TIDB 的TIUP 打开配置文件的命令

tiup cluster edit-config tidb-test

直接打开配置文件


配置文件的内容可以了解不少TIDB 集群的信息

global:

  user: root    #当前操作TIDB 的LINUX 账号是什么 (这里偷懒了,使用ROOT)

  ssh_port: 22 # 集群之间服务器的沟通的通道(免密)

  ssh_type: builtin 

  deploy_dir: /tidb-deploy   tidb 执行文件的部署目录

  data_dir: /tidb-data           tidb 数据文件的部署的目录

  os: linux

  arch: amd64

tidb_servers:       #tidb server 配置的信息

- host: 192.168.198.100

  ssh_port: 22

  port: 4000

  status_port: 10080

  deploy_dir: /tidb-deploy/tidb-4000

  log_dir: /tidb-deploy/tidb-4000/log

  arch: amd64

  os: linux

tikv_servers:       #tikv 配置信息

- host: 192.168.198.101

  ssh_port: 22

  port: 20160

  status_port: 20180

  deploy_dir: /tidb-deploy/tikv-20160

  data_dir: /tidb-data/tikv-20160

  log_dir: /tidb-deploy/tikv-20160/log

  arch: amd64

  os: linux

- host: 192.168.198.102

  ssh_port: 22

  port: 20160

  status_port: 20180

  deploy_dir: /tidb-deploy/tikv-20160

  data_dir: /tidb-data/tikv-20160

  log_dir: /tidb-deploy/tikv-20160/log

  arch: amd64

  os: linux

从上面的配置文件可以很清晰的看到,整体集群的信息,其中可以看到有些配置模块是没有 data_dir  但deploy 和  log 都有相关的配置.



其中tidb  的文件夹中包含, conf文件, 二进制程序文件,日志文件 ,另外在tidb_data中存放的是tidb server的监控数据。


TIKV 节点在 /tidb_deploy  与TIDB server 的文件夹一致, 而tidb_data中包含了 tikv-20160 文件夹,与TIKV 有关的数据文件等


PD节点, 与上面的节点一致,主要的不同在 tidb_data  ,  其中包含 region-meta  和整体的成员数据。


在TIDB 的节点中,我们可以在日志目录发现三类日志


分别是 tidb 日志,  tidb慢查询文件  , tidb 标准错误输出


tidb 的配置文件


也可以从脚本中看到tidb  启动的命令


TIDB 的监控通过两个组件完成,普罗米修斯的监控和grafana 展示系统

同时还包含另一个TIDB的监控系统 tidb dashboard ,这个是部署在PD节点中的,这个监控不是你愿意不愿意部署,在按住TIDB 就部署在TIDB 系统中的。

其中TIDB DASHBORAD 包含整体系统的状态,

1 集群的整体运行情况

2 组件与组件的运行状态

3 分析集群读写与写流量分布于趋势分析

4  SQL 慢查询分析

5  SQL 语句执行的信息

6  自动判断集群的状态与产生报告,并且可以汇总整体节点的日志信息,分析各个组件的性能数据。




这里两个访问的系统的地址和断开

grafana的地址在3000 断开 而 TIDB 的dashboard 在 PD 的2379端口

报警的参数设置在proetheus 中,报警系统的报警级别包含

1  警告级别:类似数据库中的warning信息

2  严重级别 :性能异常

3  紧急级别:节点可能DOWN机


在 grafana中包含常用的指标 system_info

CPU, 内存, CPU&内存使用率,网络状态

Service port status 可以查看整体系统中DOWN掉的节点


TIKV 的监控中可以查看每个节点的热度与数据的均衡性。


系统的TIDB Dashboard  是在 PD中的监控,通过监控PD来了解当前的系统的状态。


这里对TIDB的监控系统的总结


1  TIDB 的监控包含两个系统,需要单独安装,和自动就继承在系统中的系统

2  Monitor 系统包含对所有节点的数据的监控和报警选择,dashboard  是对PD 中的数据进行监控,其中可以分析整体系统的运行的情况


首先我们先确认TIDB 集群的状态

tiup cluster display tidb-test


从http://192.168.198.103:2379/dashboard  PD 节点上查看 TIDB dashboard

这里通过PD 中的信息进行一些监控如慢查询 ,系统架构信息






相关文章