Pg XLOG文件(常说的REDOLOG)名字的命名方法是在XLogFileName宏里定义的,分别由时间线ID、日志ID、段ID的八位16进制数依次构成。例如00000001000000010000008F。
#defineXLogFileName(fname,tli, log, seg) \
snprintf(fname, MAXFNAMELEN,"%08X%08X%08X", tli, log, seg)
不同的段ID对应不同的物理XLOG日志文件,日志ID是逻辑概念,有多个物理XLOG日志文件组成。
Pg XLOG文件(常说的REDOLOG)的大小初始值是在configure.in和configure文件里设置的,默认大小是16M。大小设置形式如下
wal_segsize=16
XLOG_SEG_SIZE (${wal_segsize} * 1024 * 1024)=16M
这个XLOG_SEG_SIZE是XLOG日志文件的段大小,就是一个物理的日志文件的大小。一个逻辑的XLOG日志文件大小是4Gb。
Pg XLOG文件的存储格式大致如下:
<PageHeaderData>
<XLogRecord>
<rmgr-specific data>
<BkpBlock>
<XLogRecData>里面包括<CheckPoint>等
<BkpBlock>
<XLogRecData>
<BkpBlock>
<XLogRecData>
……
1
先看<PageHeaderData>,这个根据不同情况对应XLogLongPageHeaderData或XLogPageHeaderData结构。XLOG文件头用XLogLongPageHeaderData结构和一些合适场合,XLogPageHeaderData用在文件里的页面头。结构XLogLongPageHeaderData的第一个成员是结构XLogPageHeaderData。下面是这两个结构定义:
typedefstruct XLogLongPageHeaderData
{
XLogPageHeaderDatastd; /*页头结构*/
uint64 xlp_sysid; /* 控制文件pg_control里的系统标识符*/
uint32 xlp_seg_size;/* XLOG文件大小 */
uint32 xlp_xlog_blcksz; /* XLOG文件页面大小 */
} XLogLongPageHeaderData;
XLOG文件里的页面头结构
typedefstruct XLogPageHeaderData
{
uint16 xlp_magic; /* WAL版本指示器 */
uint16 xlp_info; /* flag bits, see below */
TimeLineIDxlp_tli; /* 本页第一个记录的时间线*/
XLogRecPtrxlp_pageaddr;/* 本页XLOG位置*/
} XLogPageHeaderData;
XLOG文件里的页面头结构XLogPageHeaderData的成员xlp_magic表示WAL版本号。成员xlp_tli表示本页第一个记录的时间线,成员xlp_pageaddr表示本页的XLOG位置。成员xlp_info表示紧跟页头的记录是否是跨页记录的一部分,或者该页头结构XLogPageHeaderData是否在文件头结构XLogLongPageHeaderData里。其值定义见下面:
当记录跨页时,在后面的页头里设置标志
#defineXLP_FIRST_IS_CONTRECORD 0x0001
这个指明是长页头(多用于文件第一页)
#define XLP_LONG_HEADER 0x0002
在xlp_info中定义的所有标志位(用于头的有效性检查)
#define XLP_ALL_FLAGS 0x0003
如果成员xlp_info的值是XLP_FIRST_IS_CONTRECORD,表示页头后面跟的是一个跨页结构的一部分。
XLOG文件头结构XLogLongPageHeaderData的成员xlp_seg_size表示XLOG文件大小,默认是16M。在configure.in和configure文件里设置形式如下
wal_segsize=16
XLOG_SEG_SIZE (${wal_segsize} * 1024 * 1024)=16M
成员xlp_xlog_blcksz表示文件里的页面大小,默认是8k。
2
<XLogRecord>根据情况不同,可能是XLogRecord或XLogContRecord结构,只有在上一个页面最后一个记录是跨页的情况下,页面头的记录前面才用XLogContRecord结构,表示该记录不是一个新记录,而是上一个记录的一部分。XLogRecord结构代表一个新的XLOG/REDOLOG记录,其后跟着实际的XLOG数据,XLogRecord结构定义如下:
typedefstructXLogRecord
{
pg_crc32 xl_crc; /* 该记录的CRC */
XLogRecPtrxl_prev; /* xlog里前一个XLogRecord的指针*/
TransactionIdxl_xid; /* 该记录事务ID */
uint32 xl_tot_len; /* 整个记录长度 */
uint32 xl_len; /* XLOG资源管理器数据长度 */
uint8 xl_info; /* 标志位 */
RmgrId xl_rmid; /* 本记录的资源管理器ID */
} XLogRecord;
XLOG资源管理器时,其成员xl_info值可以是:
#defineXLOG_CHECKPOINT_SHUTDOWN 0x00
#defineXLOG_CHECKPOINT_ONLINE 0x10
#define XLOG_NOOP 0x20
#define XLOG_NEXTOID 0x30
#define XLOG_SWITCH 0x40
#define XLOG_BACKUP_END 0x50
#defineXLOG_PARAMETER_CHANGE 0x60
#define XLOG_RESTORE_POINT 0x70
XACT资源管理器时,其成员xl_info高4位储存如下信息:
#define XLOG_XACT_COMMIT 0x00
#define XLOG_XACT_PREPARE 0x10
#define XLOG_XACT_ABORT 0x20
#defineXLOG_XACT_COMMIT_PREPARED 0x30
#defineXLOG_XACT_ABORT_PREPARED 0x40
#defineXLOG_XACT_ASSIGNMENT 0x50
XLOG仅使用xl_info的低4位,高4为由资源管理器rmgr使用
#define XLR_INFO_MASK 0x0F
如果用XLOG记录备份任一磁盘块(数据文件块吧),用其成员xl_info标志位记录,支持每个XLOG记录3个磁盘块的备份,使用xl_info标志的低1、2、3位
#define XLR_BKP_BLOCK_1 XLR_SET_BKP_BLOCK(0) /* 0x08 */
#define XLR_BKP_BLOCK_2 XLR_SET_BKP_BLOCK(1) /* 0x04 */
#define XLR_BKP_BLOCK_3 XLR_SET_BKP_BLOCK(2) /* 0x02 */
如果已备份块能从XLOG的压缩版本中被安全删除,设置Xl_info的0位(这就是,备份它们仅是为了防止写部分页(partial-page-write)问题,并且不保证PITR恢复的一致性)。压缩算法将需要从这些块中解析出数据以创建一个相同的非全页XLOG记录。
#define XLR_BKP_REMOVABLE 0x01
成员xl_rmid记录资源管理器ID,就是资源种类ID,资源管理器的资源种类包括如下16种(不包含最后一个RM_MAX_ID,这个只是记录最大资源种类数):
#define RM_XLOG_ID 0
#define RM_XACT_ID 1
#define RM_SMGR_ID 2
#define RM_CLOG_ID 3
#define RM_DBASE_ID 4
#define RM_TBLSPC_ID 5
#define RM_MULTIXACT_ID 6
#define RM_RELMAP_ID 7
#define RM_STANDBY_ID 8
#define RM_HEAP2_ID 9
#define RM_HEAP_ID 10
#define RM_BTREE_ID 11
#define RM_HASH_ID 12
#define RM_GIN_ID 13
#define RM_GIST_ID 14
#define RM_SEQ_ID 15
#define RM_MAX_ID RM_SEQ_ID
当页头记录是跨页记录的一部分时,在XLogLongPageHeaderData结构的后面跟着XLogContRecord结构。原则是XLogRecord记录头从不被分到多个页,如果页尾空间小于SizeOfXLogRecord,就弃之不用,直接使用下一个页面。如果在一个记录在一个页面没写完,在下一个页头的XLogLongPageHeaderData结构后面用XLogContRecord结构,此时XLogLongPageHeaderData结构的成员xlp_info的值是XLP_FIRST_IS_CONTRECORD。
typedefstruct XLogContRecord
{
uint32 xl_rem_len; /* 记录剩余数据总长度 */
} XLogContRecord;
3
<rmgr-specificdata>可能是事务状态定义等,例如结构xl_xact_commit、xl_xact_abort等
typedefstruct xl_xact_commit
{
TimestampTzxact_time; /* 提交时间 */
uint32 xinfo; /* 信息位 */
int nrels; /* 关系文件数 */
int nsubxacts; /* 子事务XID数 */
int nmsgs; /* 共享失效信息数 */
Oid dbId; /* 数据库ID */
Oid tsId; /* 数据库表空间ID */
/*提交时要drop的关系文件节点数组*/
RelFileNodexnodes[1]; /* 变长数组 */
/*后面跟已提交子事务ID数组 */
/*后面跟共享失效消息数组*/
} xl_xact_commit;
typedefstruct xl_xact_abort
{
TimestampTzxact_time; /* 退出时间 */
int nrels; /* 关系文件节点数 */
int nsubxacts; /* 子事务XID数 */
/*退出时要drop的关系文件节点数组 */
RelFileNodexnodes[1]; /*变长数组*/
/*后面跟以退出的子事务XID数组 */
} xl_xact_abort;
4
<BkpBlock>表示BkpBlock结构,是跟在XLOG记录XLogRecord后面的备份块头信息。XLOG代码知道PG数据页面中间常常包含一个无用的“洞”(“hole”——未使用的空间),其只包含值是0的字节。如果这个洞的长度大于0(hole_length >0),实际的跟在结构BkpBlock后面的块数据量是BLCKSZ -hole_length个字节
typedefstruct BkpBlock
{
RelFileNodenode; /* 包含该块的关系文件 */
ForkNumberfork; /* 关系分支 */
BlockNumberblock; /* 块数 */
uint16 hole_offset; /* "hole"前字节数 */
uint16 hole_length; /* "hole"的字节数 */
/*实际的块数据跟在结构后面 */
} BkpBlock;
5
<XLogRecData>表示XLogRecData结构。要写入XLOG日志文件的资源管理器数据,由一或多个XLogRecData结构定义。
typedefstruct XLogRecData
{
char *data; /* 资源管理器包含数据的开始 */
uint32 len; /* 资源管理器包含数据的长度 */
Buffer buffer; /* 有相应数据的buffer,如果有的话 */
bool buffer_std; /* buffer是否有标准pd_lower/pd_upper头 */
struct XLogRecData *next; /* 链里的下一个结构 */
} XLogRecData;
pd_lower页面开始位置与未分配空间开头的字节偏移,pd_upper与未分配空间结尾的字节偏移,LSN:最后修改这个页面的 xlog 记录最后一个字节后面第一个字节。
XLogRecData结构里记录各种数据库操作数据,其中典型的,数据是一个检查点(CheckPoint struct)。根据XLogRecord的成员xl_rmid是否等于RM_XLOG_ID以及的成员xl_info是否等于XLOG_CHECKPOINT_SHUTDOWN或XLOG_CHECKPOINT_ONLINE来判定数据是检查点。检查点的定义见下面。
typedefstruct CheckPoint
{
XLogRecPtrredo; /*开始创建一个检查点时下一个XLOG记录的位置*/
TimeLineIDThisTimeLineID;/*当前时间线*/
uint32 nextXidEpoch;/*下一个事务ID的高排序位 */
TransactionIdnextXid; /* 下一个空闲事务ID */
Oid nextOid; /* 下一个空闲OID */
MultiXactIdnextMulti; /* 下一个空闲多事务ID */
MultiXactOffsetnextMultiOffset; /* next free MultiXact offset */
TransactionIdoldestXid;/* cluster-wide minimum datfrozenxid */
Oid oldestXidDB; /* database with minimum datfrozenxid*/
pg_time_t time; /* 检查点时间戳 */
/*
仍在运行的最早的事务ID(XID)。只有在从一个在线检查点初始化热备模式时才需要,以使在GUC参数wal_level是hot_standby时我们不用为在线检查点计算运行最早的XID。否则设置为常量InvalidTransactionId。
*/
TransactionIdoldestActiveXid;
} CheckPoint;
------------
转载请著明出处,来自博客:blog.csdn.net/beiigang
beigang.iteye.com