表的行格式决定了其行的物理存储方式,这反过来会影响查询和 DML 操作的性能。由于更多行可以放入单个磁盘页中,查询和索引查找可以更快,缓冲池中所需的缓存内存更少,写入更新值的 I/O 也更少。
每个表中的数据被划分为页。构成每个表的页被排列成一种称为 B 树索引的树数据结构。表数据和辅助索引都使用这种类型的结构。表示整个表的 B 树索引被称为聚簇索引,它根据主键列进行组织。聚簇索引数据结构的节点包含行中所有列的值。辅助索引数据结构的节点包含索引列和主键列的值。
可变长度列是列值存储在 B 树索引节点中的规则的一个例外。长度过长而无法放入 B 树页面的可变长度列存储在单独分配的磁盘页上,这些页被称为溢出页。这种列被称为离页列。离页列的值存储在溢出页的单链表中,每个这样的列都有自己的一个或多个溢出页的列表。根据列的长度,所有或可变长度列值的前缀都存储在 B 树中,以避免浪费存储空间并且不必读取单独的页。
InnoDB
存储引擎支持四种行格式:REDUNDANT
、COMPACT
、DYNAMIC
和 COMPRESSED
。
表 17.14 InnoDB 行格式概述
行格式 | 紧凑存储特性 | 增强型可变长度列存储 | 支持大型索引键前缀 | 压缩支持 | 支持的表空间类型 |
---|---|---|---|---|---|
REDUNDANT |
否 | 否 | 否 | 否 | 系统、每表文件、通用 |
COMPACT |
是 | 否 | 否 | 否 | 系统、每表文件、通用 |
DYNAMIC |
是 | 是 | 是 | 否 | 系统、每表文件、通用 |
COMPRESSED |
是 | 是 | 是 | 是 | 每表文件、通用 |
以下主题描述了行格式存储特性以及如何定义和确定表的行格式。
REDUNDANT
格式提供与旧版 MySQL 的兼容性。
使用 REDUNDANT
行格式的表将可变长度列值的前 768 字节 (VARCHAR
、VARBINARY
以及 BLOB
和 TEXT
类型) 存储在 B 树节点内的索引记录中,剩余部分存储在溢出页上。大于或等于 768 字节的固定长度列被编码为可变长度列,可以存储在离页。例如,如果字符集的最大字节长度大于 3,则 CHAR(255)
列可以超过 768 字节,如 utf8mb4
那样。
如果列的值为 768 字节或更少,则不会使用溢出页,并且可能会节省一些 I/O,因为该值完全存储在 B 树节点中。这对于相对较短的 BLOB
列值非常有用,但可能会导致 B 树节点填充数据而不是键值,从而降低其效率。具有许多 BLOB
列的表可能会导致 B 树节点变得太满,并且包含的行太少,这使得整个索引的效率低于行更短或列值存储在离页的情况。
REDUNDANT 行格式存储特性
REDUNDANT
行格式具有以下存储特性
每个索引记录包含一个 6 字节的头部。头部用于将连续记录链接在一起,以及进行行级锁定。
聚簇索引中的记录包含所有用户定义列的字段。此外,还有一个 6 字节的事务 ID 字段和一个 7 字节的回滚指针字段。
如果表没有定义主键,每个聚集索引记录也包含一个 6 字节的行 ID 字段。
每个二级索引记录包含为聚集索引键定义的所有不在二级索引中的主键列。
记录包含指向记录中每个字段的指针。如果记录中字段的总长度小于 128 字节,则指针为一个字节;否则为两个字节。指针数组称为记录目录。指针指向的区域是记录的数据部分。
大于或等于 768 字节的固定长度列被编码为可变长度列,可以存储在页面之外。例如,如果字符集的最大字节长度大于 3(例如
utf8mb4
),则CHAR(255)
列可能会超过 768 字节。SQL
NULL
值在记录目录中保留一个或两个字节。如果存储在可变长度列中,则 SQLNULL
值在记录的数据部分中保留零字节。对于固定长度的列,在记录的数据部分中保留列的固定长度。为NULL
值保留固定空间允许将列就地从NULL
更新为非NULL
值,而不会导致索引页面碎片。
与 REDUNDANT
行格式相比,COMPACT
行格式将行存储空间减少了约 20%,但代价是增加了一些操作的 CPU 使用率。如果您的工作负载是典型的,受缓存命中率和磁盘速度限制,COMPACT
格式可能会更快。如果工作负载受 CPU 速度限制,则紧凑格式可能会更慢。
使用 COMPACT
行格式的表将可变长度列值的前 768 字节(VARCHAR
、VARBINARY
和 BLOB
和 TEXT
类型)存储在 B 树 节点中的索引记录中,其余部分存储在溢出页面上。大于或等于 768 字节的固定长度列被编码为可变长度列,可以存储在页面之外。例如,如果字符集的最大字节长度大于 3(例如 utf8mb4
),则 CHAR(255)
列可能会超过 768 字节。
如果列的值为 768 字节或更少,则不会使用溢出页,并且可能会节省一些 I/O,因为该值完全存储在 B 树节点中。这对于相对较短的 BLOB
列值非常有用,但可能会导致 B 树节点填充数据而不是键值,从而降低其效率。具有许多 BLOB
列的表可能会导致 B 树节点变得太满,并且包含的行太少,这使得整个索引的效率低于行更短或列值存储在离页的情况。
COMPACT 行格式存储特性
COMPACT
行格式具有以下存储特性
每个索引记录包含一个 5 字节的报头,报头前面可能有一个可变长度的报头。该报头用于将连续记录链接在一起,以及用于行级锁定。
记录报头的可变长度部分包含一个位向量,用于指示
NULL
列。如果索引中可以为NULL
的列数为N
,则位向量占用CEILING(
字节。(例如,如果存在 9 到 16 个可以为N
/8)NULL
的列,则位向量使用两个字节。)为NULL
的列除了该向量中的位之外不占用空间。报头的可变长度部分还包含可变长度列的长度。每个长度占用一个或两个字节,具体取决于列的最大长度。如果索引中的所有列都为NOT NULL
且具有固定长度,则记录报头没有可变长度部分。对于每个非
NULL
可变长度字段,记录报头包含列的长度,以一个或两个字节表示。只有当列的一部分存储在溢出页面中或最大长度超过 255 字节且实际长度超过 127 字节时,才需要两个字节。对于外部存储的列,2 字节的长度指示内部存储部分的长度加上指向外部存储部分的 20 字节指针。内部部分为 768 字节,因此长度为 768+20。20 字节指针存储列的真实长度。记录报头后面是非
NULL
列的数据内容。聚簇索引中的记录包含所有用户定义列的字段。此外,还有一个 6 字节的事务 ID 字段和一个 7 字节的回滚指针字段。
如果表没有定义主键,每个聚集索引记录也包含一个 6 字节的行 ID 字段。
每个二级索引记录包含为聚集索引键定义的所有不在二级索引中的主键列。如果任何主键列是可变长度的,则每个二级索引的记录报头都有一个可变长度部分来记录它们的长度,即使二级索引是在固定长度列上定义的。
在内部,对于非可变长度字符集,固定长度的字符列,例如
CHAR(10)
,以固定长度格式存储。VARCHAR
列的尾部空格不会被截断。在内部,对于可变长度字符集(例如
utf8mb3
和utf8mb4
),InnoDB
尝试将CHAR(
存储在N
)N
字节中,方法是修剪尾部空格。如果CHAR(
列值的字节长度超过N
)N
字节,则尾部空格将被修剪,最多修剪到列值字节长度。CHAR(
列的最大长度是最大字符字节长度 ×N
)N
。为
CHAR(
保留至少N
)N
字节。在许多情况下,保留最小空间N
使得可以就地更新列,而不会导致索引页面碎片。相比之下,使用REDUNDANT
行格式时,CHAR(
列占用最大字符字节长度 ×N
)N
。大于或等于 768 字节的固定长度列被编码为可变长度字段,可以存储在页面之外。例如,如果字符集的最大字节长度大于 3(例如
utf8mb4
),则CHAR(255)
列可能会超过 768 字节。
DYNAMIC
行格式提供与 COMPACT
行格式相同的存储特性,但增加了对长可变长度列的增强存储功能,并支持大型索引键前缀。
当使用 ROW_FORMAT=DYNAMIC
创建表时,InnoDB
可以将长可变长度列值(对于 VARCHAR
、VARBINARY
和 BLOB
和 TEXT
类型)完全存储在页面之外,聚集索引记录仅包含指向溢出页面的 20 字节指针。大于或等于 768 字节的固定长度字段被编码为可变长度字段。例如,如果字符集的最大字节长度大于 3(例如 utf8mb4
),则 CHAR(255)
列可能会超过 768 字节。
列是否存储在页面之外取决于页面大小和行的总大小。当一行太长时,将选择最长的列进行页面外存储,直到聚集索引记录适合 B 树 页面。小于或等于 40 字节的 TEXT
和 BLOB
列将在线存储。
DYNAMIC
行格式保持了在索引节点中存储整个行的效率(如果它适合,COMPACT
和 REDUNDANT
格式也是如此),但 DYNAMIC
行格式避免了用大量长列的数据字节填充 B 树节点的问题。 DYNAMIC
行格式基于这样的理念:如果长数据值的一部分存储在页面之外,则通常最有效的方式是将整个值存储在页面之外。使用 DYNAMIC
格式,较短的列很可能保留在 B 树节点中,从而最大限度地减少给定行所需的溢出页面的数量。
DYNAMIC
行格式支持最大为 3072 字节的索引键前缀。
使用 DYNAMIC
行格式的表可以存储在系统表空间、每个表文件表空间和通用表空间中。要将 DYNAMIC
表存储在系统表空间中,请禁用 innodb_file_per_table
并使用常规的 CREATE TABLE
或 ALTER TABLE
语句,或者在 CREATE TABLE
或 ALTER TABLE
中使用 TABLESPACE [=] innodb_system
表选项。 innodb_file_per_table
变量不适用于通用表空间,也不适用于使用 TABLESPACE [=] innodb_system
表选项将 DYNAMIC
表存储在系统表空间中。
DYNAMIC 行格式存储特性
DYNAMIC
行格式是 COMPACT
行格式的变体。有关存储特性的详细信息,请参阅 COMPACT 行格式存储特性。
COMPRESSED
行格式提供与 DYNAMIC
行格式相同的存储特性和功能,但增加了对表和索引数据压缩的支持。
COMPRESSED
行格式使用与 DYNAMIC
行格式类似的页面外存储内部细节,但表和索引数据被压缩并使用较小的页面大小,因此在存储和性能方面有所不同。使用 COMPRESSED
行格式时, KEY_BLOCK_SIZE
选项控制在聚集索引中存储多少列数据,以及将多少数据放在溢出页面上。有关 COMPRESSED
行格式的更多信息,请参阅 第 17.9 节“InnoDB 表和页面压缩”。
COMPRESSED
行格式支持最大为 3072 字节的索引键前缀。
使用 COMPRESSED
行格式的表可以在每个表文件表空间或通用表空间中创建。系统表空间不支持 COMPRESSED
行格式。要将 COMPRESSED
表存储在每个表文件表空间中,必须启用 innodb_file_per_table
变量。 innodb_file_per_table
变量不适用于通用表空间。通用表空间支持所有行格式,但压缩表和未压缩表不能在同一个通用表空间中共存,因为它们的物理页面大小不同。有关更多信息,请参见 第 17.6.3.3 节,“通用表空间”。
压缩行格式存储特征
COMPRESSED
行格式是 COMPACT
行格式的一种变体。有关存储特征,请参见 COMPACT 行格式存储特征。
InnoDB
表的默认行格式由 innodb_default_row_format
变量定义,该变量的默认值为 DYNAMIC
。当未显式定义 ROW_FORMAT
表选项或指定 ROW_FORMAT=DEFAULT
时,使用默认行格式。
可以使用 CREATE TABLE
或 ALTER TABLE
语句中的 ROW_FORMAT
表选项显式定义表的行格式。例如
CREATE TABLE t1 (c1 INT) ROW_FORMAT=DYNAMIC;
显式定义的 ROW_FORMAT
设置会覆盖默认行格式。指定 ROW_FORMAT=DEFAULT
等同于使用隐式默认值。
innodb_default_row_format
变量可以动态设置
mysql> SET GLOBAL innodb_default_row_format=DYNAMIC;
有效的 innodb_default_row_format
选项包括 DYNAMIC
、COMPACT
和 REDUNDANT
。 COMPRESSED
行格式(系统表空间不支持)不能定义为默认值。它只能在 CREATE TABLE
或 ALTER TABLE
语句中显式指定。尝试将 innodb_default_row_format
变量设置为 COMPRESSED
会返回错误
mysql> SET GLOBAL innodb_default_row_format=COMPRESSED;
ERROR 1231 (42000): Variable 'innodb_default_row_format'
can't be set to the value of 'COMPRESSED'
当未显式指定 ROW_FORMAT
选项或使用 ROW_FORMAT=DEFAULT
时,新创建的表使用 innodb_default_row_format
变量定义的行格式。例如,以下 CREATE TABLE
语句使用 innodb_default_row_format
变量定义的行格式。
CREATE TABLE t1 (c1 INT);
CREATE TABLE t2 (c1 INT) ROW_FORMAT=DEFAULT;
当未显式指定 ROW_FORMAT
选项或使用 ROW_FORMAT=DEFAULT
时,重建表的任何操作都会将表的行格式静默更改为 innodb_default_row_format
变量定义的格式。
重建表的操作包括 ALTER TABLE
操作,这些操作使用 ALGORITHM=COPY
或 ALGORITHM=INPLACE
,其中需要重建表。有关更多信息,请参见 第 17.12.1 节,“在线 DDL 操作”。 OPTIMIZE TABLE
也是一个重建表的操作。
以下示例演示了静默更改创建时未显式定义行格式的表的行格式的重建表操作。
mysql> SELECT @@innodb_default_row_format;
+-----------------------------+
| @@innodb_default_row_format |
+-----------------------------+
| dynamic |
+-----------------------------+
mysql> CREATE TABLE t1 (c1 INT);
mysql> SELECT * FROM INFORMATION_SCHEMA.INNODB_TABLES WHERE NAME LIKE 'test/t1' \G
*************************** 1. row ***************************
TABLE_ID: 54
NAME: test/t1
FLAG: 33
N_COLS: 4
SPACE: 35
ROW_FORMAT: Dynamic
ZIP_PAGE_SIZE: 0
SPACE_TYPE: Single
mysql> SET GLOBAL innodb_default_row_format=COMPACT;
mysql> ALTER TABLE t1 ADD COLUMN (c2 INT);
mysql> SELECT * FROM INFORMATION_SCHEMA.INNODB_TABLES WHERE NAME LIKE 'test/t1' \G
*************************** 1. row ***************************
TABLE_ID: 55
NAME: test/t1
FLAG: 1
N_COLS: 5
SPACE: 36
ROW_FORMAT: Compact
ZIP_PAGE_SIZE: 0
SPACE_TYPE: Single
在将现有表的行格式从 REDUNDANT
或 COMPACT
更改为 DYNAMIC
之前,请考虑以下潜在问题。
REDUNDANT
和COMPACT
行格式支持的最大索引键前缀长度为 767 字节,而DYNAMIC
和COMPRESSED
行格式支持的最大索引键前缀长度为 3072 字节。在复制环境中,如果源上的innodb_default_row_format
变量设置为DYNAMIC
,而副本上的变量设置为COMPACT
,则以下 DDL 语句(未显式定义行格式)在源上成功但在副本上失败CREATE TABLE t1 (c1 INT PRIMARY KEY, c2 VARCHAR(5000), KEY i1(c2(3070)));
有关相关信息,请参见 第 17.21 节,“InnoDB 限制”。
如果源服务器上的
innodb_default_row_format
设置不同于目标服务器上的设置,则导入未显式定义行格式的表会导致模式不匹配错误。有关更多信息,请参见 第 17.6.1.3 节,“导入 InnoDB 表”。
要确定表的行格式,请使用 SHOW TABLE STATUS
mysql> SHOW TABLE STATUS IN test1\G
*************************** 1. row ***************************
Name: t1
Engine: InnoDB
Version: 10
Row_format: Dynamic
Rows: 0
Avg_row_length: 0
Data_length: 16384
Max_data_length: 0
Index_length: 16384
Data_free: 0
Auto_increment: 1
Create_time: 2016-09-14 16:29:38
Update_time: NULL
Check_time: NULL
Collation: utf8mb4_0900_ai_ci
Checksum: NULL
Create_options:
Comment:
或者,查询 Information Schema INNODB_TABLES
表
mysql> SELECT NAME, ROW_FORMAT FROM INFORMATION_SCHEMA.INNODB_TABLES WHERE NAME='test1/t1';
+----------+------------+
| NAME | ROW_FORMAT |
+----------+------------+
| test1/t1 | Dynamic |
+----------+------------+