# 插入缓冲 (Insert Buffer) ### Insert Buffer Insert Buffer 和数据页一样，是物理页的一个组成部分。 对于非聚集索引的插入或更新操作，不是每一次直接插入到索引页中，而是先判断插入的非聚集索引页是否在缓冲池中，若在，则直接插入；若不在，则先放入到一个Insert Buffer对象中，。然后再以一定的频率和情况进行Insert Buffer和辅助索引叶子节点的 merge(合并) 操作，这时通常能将多个插入合并到一个操作中，这就大大提高了对于非聚集索引插入的性能。 使用前提： - 索引是辅助索引（secondary index） - 索引不是 Unique 的 缺点： 如果有大量的 Insert Buffer 没有合并到实际的非聚集索引中去，恢复可能需要很长时间。 参数： - IBUF_POOL_SIZE_PER_MAX_SIZE：3，最大只能使用1/3的缓冲池内存 ### Change Buffer 和之前Insert Buffer一样，使用的对象依然是非Unique的辅助索引，可以分别对 INSERT、DELETE、UPDATE 都进行缓冲 UPDATE 操作： - Delete Buffer 对应第一个操作过程，即将记录标记位删除。 - Purge Buffer 对应 UPDATE 操作的第二个过程，即将记录真正的删除。 - Insert Buffer 对应第三个过程 参数： - innodb_change_buffering - inserts - deletes - all (默认)：inserts、deletes、purges、changes - none：都不启用 - innodb_change_buffer_max_size：最大使用的内存数量，默认25，即最多使用1/4的缓冲池内存空间，最大有效值为50 ### 查看 ```mysql SHOW ENGINE INNODB STATUS\G; ``` ``` ------------------------------------- INSERT BUFFER AND ADAPTIVE HASH INDEX ------------------------------------- Ibuf: size 1, free list len 0, seg size 2, 0 merges merged operations: insert 0, delete mark 0, delete 0 discarded operations: insert 0, delete mark 0, delete 0 Hash table size 34679, node heap has 0 buffer(s) Hash table size 34679, node heap has 0 buffer(s) Hash table size 34679, node heap has 0 buffer(s) Hash table size 34679, node heap has 0 buffer(s) Hash table size 34679, node heap has 0 buffer(s) Hash table size 34679, node heap has 0 buffer(s) Hash table size 34679, node heap has 0 buffer(s) Hash table size 34679, node heap has 0 buffer(s) 0.00 hash searches/s, 6.00 non-hash searches/s ``` - seg size：当前 Insert Buffer 的大小为 2x16KB - free list len：代表了空闲列表的长度 - size：代表了已经合并记录页的数量 - merges：代表合并的次数 - merged operations & discarded operation 合并操作 & 发生 merge 时，表已被删除，无需 merge - insert：Insert Buffer - delete mark：Delete Buffer - delete：Purge Buffer ### 原理 全局只有一棵 Insert Buffer B+ 树，负责对所有的表的辅助索引进行 Insert Buffer。而这棵树存放在共享表空间中。因此，试图通过独立表空间 ibd 文件恢复表中数据时，往往会导致 CHECK TABLE 失败。这是因为表的辅助索引中的数据可能还在 Insert Buffer 中。通过 ibd 文件进行恢复后，还需要进行 REPAIR TABLE 操作来重建表上所有的辅助索引。 因为启用 Insert Buffer 索引后，为了保证每次 Merge Insert Buffer 页必须成功，还需要有一个特殊的页来标记每个辅助索引页 (space, page_no) 的可用空间。这个页的类型为 Insert Buffer Bitmap。每个 Insert Buffer Bitmap 页用来追踪 16384 个辅助索引页，也就是 256 个区。每个 Insert Buffer Bitmap 页都在 16384 个页的第二个页中。 合并 Insert Buffer 的操作可能发生在以下几种情况： - 辅助索引页被读取到缓冲池时 在执行正常的 SELECT 查询操作时需要检查 Insert Buffer Bitmap 页，然后确认该辅助索引页是否有记录存放于 Insert Buffer B+ 树中。若有，则将 Insert Buffer B+ 树中该页的记录插入到该辅助索引页中。 - Insert Buffer Bitmap 页追踪到该辅助索引页已无可用空间时； 插入辅助索引记录时检测到插入记录后可用空间会小于 1/32 页，则会强制进行一个合并操作，即强制读取辅助索引页，将 Insert Buffer B+ 树中该页的记录及待插入的记录插入到辅助索引页中。 - Master Thread 在 Master Thread 线程中每秒或每 10 秒会进行一次 Merge Insert Buffer 的操作，不同之处在于每次进行 merge 操作的页的数量不同。 在 Insert Buffer B+ 树中，辅助索引页根据 (space, offset) 都已排序好，故可以根据 (space, offset) 的排序顺序进行页的选择。然而，对于 Insert Buffer 页的选择，它随机地选择 Insert Buffer B+ 树的一个页，读取该页中的 space 及之后所需要的数量的页。 # 两次写 (Double write)  double 由两部分组成，一部分是内存中 doublewrite buffer，大小为 2MB，另一部分是物理磁盘上共享表空间中连续的 128 个页，即 2 个区，大小同样为 2 MB。在对缓冲池的脏页进行刷新时，并不直接写磁盘，而是会通过 memcpy 函数将脏页先复制到内存中的 doublewrite buffer，之后通过 doublewrite buffer 再分两次，每次 1 MB 顺序地写入共享表空间的物理磁盘上，然后马上调用 fsync 函数，同步磁盘，避免缓冲写带来的问题。在完成 doublewrite 页的写入后，再将 doublewrite buffer 中的页写入各个表空间文件中，此时的写入则是离散的。 如果操作系统在将页写入磁盘的过程中发生了崩溃，在恢复过程中，InnoDB 存储引擎可以从共享表空间中的 doublewrite 中找到该页的一个副本，将其复制到表空间文件，再应用重做日志。 查看： ```mysql SHOW GLOBAL STATUS LIKE 'innodb_dblwr%'\G; ``` - Innodb_dblwr_pages_written：一共写了xxx页 - Innodb_dblwr_writes：操作次数为 xxx 次 基本符合 64:1。如果发现系统在高峰时的比例远小于 64:1，那么可以说明系统写入压力并不是很高。 参数： - skip_innodb_doublewrite：可以禁用 doublewrite 功能。当有多个从服务器，需要提供较快的性能时，可以考虑启用这个参数。 # 自适应哈希索引 (Adaptive Hash Index) InnoDB 存储引擎会监控对表上各索引页的查询。如果观察到建立哈希索引可以带来速度提升，则建立哈希索引，称之为自适应哈希索引。AHI 是通过缓冲池的 B+ 树页构造而来，因此建立的速度很快，而且不需要对整张表构建哈希索引。InnoDB 存储引擎会自动根据访问的频率和模式来自动地为某些热点页建立哈希索引。 使用条件 - 访问模式一样（条件一样） - 以该模式访问了 100 次 - 页通过该模式访问了 N 次，其中 N= 页中记录*1/16 - 等值查询 查看 ```mysql SHOW ENGINE INNODB STATUS ``` ``` 0.00 hash searches/s, 6.00 non-hash searches/s ``` - 每秒使用 AHI 搜索的情况 参数 - innodb_adaptive_hash_index：启用/禁用特性，默认启用 # 异步 I/O (Async IO) 参数 - innodb_use_native_aio：控制是否启用 Native AIO，Linux 操作系统下为 ON # 刷新临近页 (Flush Neighbor Page) 当刷新一个脏页时，InnoDB 存储引擎会检测该页所在区的所有页，如果是脏页，那么一起进行刷新。 参数 innodb_flush_neighbors：是否启用开特性。对于固态应按有着超高 IOPS 性能的磁盘，则建议将该参数设置为 0，即关闭此特性。