POLARDB实现原理解剖

2020-05-27 00:00:00 数据 用户 节点 日志 实例

前言

POLARDB作为阿里云下一代关系型云数据库,自去年9月份公测以来,收到了不少客户的重点关注,今年5月份商业化后,许多大客户开始陆续迁移业务到POLARDB上,但是由于POLARDB的很多默认行为与RDS MySQL兼容版不一样,导致很多用户有诸多使用上的困惑,本来总结了几点,给大家答疑解惑。另外,本文提到的参数,在新版本上,用户都可以通过控制台修改,如果没有,可以联系售后服务修改。本文适合读者:阿里云售后服务,POLARDB用户,POLARDB内核开发者,需要有基本的数据库知识,好对MySQL源码有部分了解。

磁盘空间问题

RDS MySQL在购买的时候需要指定购买的磁盘大小,大为3TB。如果空间不够,需要升级磁盘空间。具体来说,如果实例所在的物理机磁盘空间充足,这个升级磁盘的任务很快就可以完成,但是如果空间不足,就需要在其他物理机上重建实例,大实例需要几天的时间。为了解决这个问题,POLARDB底层使用存储集群的方式,做到磁盘动态扩容,且磁盘扩容过程对用户无感知,具体来说,默认磁盘空间分配为规格内存的10倍,当使用了70%,系统就会自动扩容一部分空间,而且扩容不需要停止实例。

有了这种机制,POLARDB的存储可以做到按照使用量来收费,真正做到使用多少就收多少钱,计费周期是一小时。同时,由于存储按量收费,导致许多用户对存储的使用量非常敏感,在我们的控制台上,有五种空间统计,分别是磁盘空间使用量,数据空间使用量,日志空间使用量,临时空间使用量和系统文件空间使用量。

磁盘空间使用量是后四者之和,数据空间使用量包括用户创建的所有库,mysql库,test库,performance_schema库,日志空间使用量包括redolog,undolog,ibdata1,ib_checkpoint(存储checkpoint信息),innodb_repl.info(存储切换信息,物理复制信息等),临时空间使用量包括socket文件,pid文件,临时表(大查询排序用),审计日志文件,系统文件空间使用量包括错误日志,慢日志,general日志以及主库信息(用于构建复制关系)。虽然有四部分空间使用量,但大多数主要被数据空间和日志空间占用,数据空间比较好理解,主要就是表空间聚集索引和二级索引的占用量,但是这个日志空间很多用户不是很了解,常常提上来的问题是,为什么我的日志空间占了100多个G,而数据空间就几个G,这里简单解释一下。

日志空间使用量,如上所述,有很多组成部分。redolog,主要用来构建物理复制,同时也可以被当做增量日志来支持还原到时间点/克隆实例的任务,类似原生的binlog,文件名按顺序递增,主节点产生日志,只读节点/灾备节点应用日志,同时后台管控任务会定时上传redolog(只要发现新的就立即上传)并且定时删除(目前一小时触发一次删除任务),具体大小与DML总量有关。undolog,主要用来构建数据历史版本以支持MVCC机制和回滚机制,不同于RDS MySQL的undolog都在ibdata1文件中,POLARDB的undolog大部分是以独立表空间/文件存在,具体大小与用户使用习惯有关。ibdata1,主要存储系统元数据信息等系统信息,具体大小与用户表数量有关,但是一般不会太大。ib_checkpoint,这个是POLARDB特有的,用于存储checkpoint信息,大小固定。innodb_repl.info也是POLARDB独有的,存储物理复制相关的信息以及切换信息,一般不会太大。由此可见,日志空间使用量虽然也有很多组成部分,但主要是被redolog日志和undolog日志占用。

redolog日志占用

redolog日志,由于对数据的修改都会记录redolog,所以对数据修改的越快,redolog产生的速度就会越快,而且上传OSS(保留下来做增量日志)的速度有限,所以在实例导数据阶段,会导致redolog堆积,当导入完成后,redolog会慢慢上传完然后删除,这样空间就会降下来,但是不会完全降为0。具体原因需要介绍一下:目前所有规格,redolog大小都为1G,被删除的redolog不会马上被删除,而是放入一个缓冲池(rename成一个临时文件),当需要新的redolog时候,先看看缓冲池里面还有没有可用的文件,如果有直接rename成目标文件,如果没有再创建,这个优化主要是为了减少创建新文件时的io对系统的抖动,缓冲池的大小由参数loose_innodb_polar_log_file_max_reuse控制,默认是8,如果用户想减少缓存池的文件个数,就可以减少这个参数从而减少日志空间占用量,但是在压力大的情况下,性能可能会出现周期性的小幅波动。所以当写入大量数据后,即使redolog都被上传,默认也有8G的空间用作缓存。注意,调整这个参数后,缓冲池不会立刻被清空,随着dml被执行,才会慢慢减少,如果需要立即清空,建议联系售后服务

另外,POLARDB会提前创建好下一个需要写的redolog日志(每个日志都是固定的1G,即使没有被写过),主要目的是当当前的redolog被写完后,能快速的切换到下一个,因此,也会占用额外1G空间。此外,后台定时删除任务目前是一个小时清理一次(还有优化的空间),但是不会清理到后一个日志,会保留一个日志,主要用来做按时间点还原任务。

接下来,举个经典的例子,方便理解上述的策略:

mysql> show polar logs;
+-----------------+----------------+-------------+
| Log_name        | Start_lsn      | Log_version |
+-----------------+----------------+-------------+
| ib_logfile41008 | 19089701633024 | 100         |
| ib_logfile41009 | 19090775372800 | 100         |
+-----------------+----------------+-------------+
2 rows in set (0.00 sec)

mysql> show polar status\G
......
-----------------
Log File Info
-----------------
2 active ib_logfiles
The oldest log file number: 41008, start_lsn: 19089701633024
The newest log file number: 41009, start_lsn: 19090775372800
Log purge up to file number: 41008
8 free files for reallocation
Lastest(Doing) checkpoint at lsn 19091025469814(ib_logfile41009, offset 250099062)
......

相关文章