Boltdb学习笔记之一--存储管理

磁盘和内存的管理

磁盘是持久化存储，内存是非持久化存储。当数据库执行查询时，会以page为单位的读取磁盘上的数据库文件，并同步到内存中。当数据库执行写入操作时，也会以page为单位将内存中的结果flush到磁盘中。数据库关于如何管理磁盘和内存中数据的同步，主要有两种选择

• 选择一：依赖Linux操作系统mmap系统调用，将磁盘文件映射到进程的地址空间。此时对于进程来说，读写内存即读写磁盘，此过程完全依赖操作系统。
• 选择二：数据库自行管理磁盘和内存之间的数据同步。

选择一的好处是可大大减小数据库实现的复杂度，因为何时何地读写磁盘完全由操作系统负责，对数据库应用是透明的。坏处是，操作系统是所有进程共用的，其他进程会对数据库进程有影响；另外容易发生page fault导致stall, 数据库完成query的时间不可控；另外数据库依赖操作系统的实现，影响可移植性

选择二的好处是去除了对操作系统的依赖，自行实现磁盘和内存同步使很多优化变成了可能，例如direct IO和prefetch。坏处是实现起来比较复杂，需要考虑很多细节问题，例如内存缓冲区多大，满了之后flush哪个page到磁盘等等

boltdb选择了一种折中的方案，只有读取磁盘通过mmap, 写入磁盘则由自己控制。

读磁盘

在boltdb中，用户新建db时需要指定一个数据库文件的路径（你没看错，boltdb中一个db对应一个文件）。

// Open creates and opens a database at the given path.
// If the file does not exist then it will be created automatically.
// Passing in nil options will cause Bolt to open the database with the default options.
func Open(path string, mode os.FileMode, options *Options) (*DB, error) {
 var db = &DB{opened: true}
  ...
}