多个buffer Pool实例 (3)—Buffer Pool(五十六)

2023-02-06 00:00:00 数据 磁盘 刷新 区域 链表

前面说了lru链表,为了防止mysql的预读和全表查询刷新pool的频率太高,所以把lru链表分为young区域和old区域,但是频繁的移动lru链表也影响性能,所以当在young后半部1/4区域的时候,才会移动到前面。初始数据从磁盘刷新到内存中,先是进入old区域,当超过1S之后继续访问,则会移动到young区域。预读分为两种,种是当mysql检测到执行语句按顺序查询超过一定值,则会吧下一个区的所有页全部都预先刷新到缓存页里,第二种就是13个页在同一个区,这时候会吧这个区的数据全部刷新到缓存页。

刷新脏页到磁盘

前面说了每隔一段时间,会把修改了缓存页的脏数据,刷新到磁盘上,主要有两个刷新路径:

从冷数据刷新一部分到磁盘(BUF_FLUSH_LRU):后台线程会定时从lru链表尾部扫描一些页面,如果发现脏数据,则会刷新到磁盘。

从flush链表中刷新一部分到磁盘(BUF_FLUSH_LIST):刷新的速率取决于系统是不是很繁忙。

有时候刷新脏数据到磁盘比较慢,如果在没刷新之前,有新的查询过来,而free链表已经没有空闲缓存页,这时候需要去尾部吧数据释放,如果尾部存在脏数据,这时候则会强行吧脏数据持久化到磁盘上。这种方式称为BUF_FLUSH_SINGLE_PAGE。

当然有时候系统特别忙的时候,用户大量访问时,也会出现用户线程批量从flush链表持久化脏数据,磁盘的I/O操作慢的要死,显然这是迫不得已的行为,后面redo日志的checkpoint时说。

多个buffer pool实例

上面说过,mysql服务器启动的时候,就会根系统申请buffer pool的内存空间,在多线程的情况下,各个链表都需要加锁进行处理,但在buffer pool特别大,并且多线程访问量也别高的情况下,单一的buffer pool会影响处理速度。所以会吧buffer pool会分成各种小的buffer pool,这些称为实例,他们都是独立去申请内存空间,独立管理的链表,并且在多线程访问的情况下互不影响,可以通过innodb_buffer_pool_instance的值来修改buffer pool可以创建几个实例。


innodb_buffer_pool_instances = 2

表示我们需要两个buffer_pool实例

那么每个pool_instance占多少内存呢,其实就是我们之前的总数除一下

Innodb_buffer_pool_size / innodb_buffer_pool_instances

但因为创建多个实例管理他们也是有开销的,mysql规定,当innoDB_buffer_pool_size在1G以下的时候,默认都是一个实例,设置多个也是的,所以只有大于1G的时候才鼓励设置多个实例。

Innodb_buffer_pool_chunk_size

在mysql5.7.5之前,buffer pool只有在mysql服务器启动之前修改,在5.7.5之后,服务器运行的时候也可以修改,但有个问题,每次当我们重新调整buffer pool的值时候 ,都要重新向系统申请一块连续的内存空间,然后再将旧的数据拷贝到新的内存中(有木有类似java的数组),很显然这是极其耗时的。

一个buffer_pool_instance有两个chunk,因为有了这个概念,我们在服务器运行的时候,都是以chunk来增加或者删除,而不需要申请一大片空间,然后拷贝数据。

Chunk的值可以在服务器启动之前通过innodb_buffer_pool_chunk_Size来设置,默认值是134217728,也就是128,需要注意的是,这个chunk_Size只可以在服务器启动前指定。

(注意:为什么在服务器运行的时候不可以修改innodb_buffer_pool_chunk_size呢?还不是因为如果改了,前面数据存储的大小和新的就不一样,这样还是得把前面的数据copy到新的chunk,这样设置chunk的意义就不存在。)


配置buffer pool时的注意事项

innoDB_buffer_pool_size 必须是 innoDB buffer_pool_insatances * innoDB buffer_pool_chunk_size的倍数,这里主要想保证每个chunk是相等的,而且不会浪费内存空间,产生碎片。

mysqld --innodb-buffer-pool-size=8G --innodb-buffer-pool-instances=16

当我们吧pool_size改成8g,instances为16,因为chunk_size默认是128m,8G符合的倍数。

mysql> show variables like 'innodb_buffer_pool_size'
+-------------------------+------------+
| Variable_name           | Value      |
+-------------------------+------------+
| innodb_buffer_pool_size | 8589934592 |
+-------------------------+------------+
1 row in set (0.00 sec)

相关文章