聊一聊多样的长度函数

我们可以通过查询 pg_type.typlen 来确认，如下便是查询变长的数据类型

postgres=# SELECT typname FROM pg_type WHERE typlen = -1 limit 5;
  typname   
------------
 bytea
 int2vector
 text
 oidvector
 pg_type
(5 rows)

经过调试，发现 from generate_series 的方式，typlen 是 -1，因此是一个变长数据，流程是 pg_column_size → toast_datum_size → VARSIZE

 else
 {
  /*
   * Attribute is stored inline either compressed or not, just calculate
   * the size of the datum in either case.
   */
  result = VARSIZE(attr);
 }
#define VARDATA(PTR)      VARDATA_4B(PTR)
#define VARSIZE(PTR)      VARSIZE_4B(PTR)    ---4字节的header
#define VARSIZE_SHORT(PTR)     VARSIZE_1B(PTR)
#define VARDATA_SHORT(PTR)     VARDATA_1B(PTR)
/* VARSIZE_4B() should only be used on known-aligned data */
#define VARSIZE_4B(PTR) \
 ((((varattrib_4b *) (PTR))->va_4byte.va_header >> 2) & 0x3FFFFFFF)

VARSIZE 表示数据行内存储，可能被压缩过。并且可以看到，它含有一个 4 字节的变长头，可以存储不超过 1GB 的数据，之前的文章已经反复讲过，此处就不再赘述。因此这里的 14 字节 = 10 字节 + 4 字节的变长头 ( Varlena header )。

postgres=# select pg_column_size(repeat('1234567890',1));
 pg_column_size 
----------------
             14
(1 row)
postgres=# select pg_column_size('1234567890');
 pg_column_size 
----------------
             11
(1 row)

而第二种方式返回 11 字节，代码走到了 typlen = -2 的逻辑里面，加了 1 字节。

 else if (typlen == -2)
 {
  /* cstring */
  result = strlen(DatumGetCString(value)) + 1;
 }

现在，让我们建个表，插入这些相同数据

postgres=# create table test as select repeat('1234567890',(2^n)::integer) AS data FROM generate_series(0,12) n;
SELECT 13
postgres=# select octet_length(data), pg_column_size(data) FROM test;
 octet_length | pg_column_size 
--------------+----------------
           10 |             11
           20 |             21
           40 |             41
           80 |             81
          160 |            164
          320 |            324
          640 |            644
         1280 |           1284
         2560 |             51
         5120 |             79
        10240 |            138
        20480 |            254
        40960 |            488
(13 rows)

这次可以看到又有所不同了，原因想必各位已经清楚了——pg_column_size 也会计算 "toast-able" 的值，建表之后，默认 data 列是变长列，存储策略是 extended，允许压缩和行外存储。会先尝试压缩，如果还是太大，就会行外存储。这是大多数可以 TOAST 的数据类型的默认策略。

前面多了 1 个字节的都是 varattrib_1b (不超过 127 byte)，多了 4 个字节的是 varattrib_4b (不超过 1GB)，而后面的 51、79 说明是被压缩了，最简单的验证方式查询 TOAST 表即可。

postgres=# truncate table test;
TRUNCATE TABLE
postgres=# insert into test select repeat('1234567890',(2^n)::integer) FROM generate_series(8,12) n;
INSERT 0 5
postgres=# SELECT oid::regclass,                                                                   
       reltoastrelid::regclass,
       pg_relation_size(reltoastrelid) AS toast_size
FROM pg_class
WHERE relkind = 'r'
  AND reltoastrelid <> 0
 and relname = 'test' ORDER BY 3 DESC;
 oid  |      reltoastrelid      | toast_size 
------+-------------------------+------------
 test | pg_toast.pg_toast_25889 |          0
(1 row)
postgres=# select * from pg_toast.pg_toast_25889;
 chunk_id | chunk_seq | chunk_data 
----------+-----------+------------
(0 rows)

现在让我们修改列的策略是 external，允许行外存储，但不许压缩，这次 toast 表就有数据了。

postgres=# truncate table test;
TRUNCATE TABLE
postgres=# alter table test alter column data set storage external ;  
ALTER TABLE
postgres=# insert into test select repeat('1234567890',(2^n)::integer) FROM generate_series(0,12) n;
INSERT 0 13
postgres=# select octet_length(data), pg_column_size(data) FROM test ;
 octet_length | pg_column_size 
--------------+----------------
           10 |             11
           20 |             21
           40 |             41
           80 |             81
          160 |            164
          320 |            324
          640 |            644
         1280 |           1284
         2560 |           2560
         5120 |           5120
        10240 |          10240
        20480 |          20480
        40960 |          40960
(13 rows)
postgres=# select count(*) from pg_toast.pg_toast_25889;
 count 
-------
    43
(1 row)

另外，就是我们日常使用的获取表大小的函数有很多种，比如 pg_relation_size、pg_table_size

参照此图，我们可以看到：

postgres=# SELECT
   relname AS table_name,
   pg_size_pretty(pg_total_relation_size(relid)) AS total,
   pg_size_pretty(pg_relation_size(relid)) AS internal,
   pg_size_pretty(pg_table_size(relid) - pg_relation_size(relid)) AS external,
   pg_size_pretty(pg_indexes_size(relid)) AS indexes
    FROM pg_catalog.pg_statio_user_tables where relname = 'test' ORDER BY pg_total_relation_size(relid) DESC;
 table_name | total  |  internal  | external | indexes 
------------+--------+------------+----------+---------
 test       | 128 kB | 8192 bytes | 120 kB   | 0 bytes
(1 row)