怎么從零學習PostgreSQL Page結構

這篇文章主要為大家展示了“怎么從零學習PostgreSQL Page結構”，內容簡而易懂，條理清晰，希望能夠幫助大家解決疑惑，下面讓小編帶領大家一起研究并學習一下“怎么從零學習PostgreSQL Page結構”這篇文章吧。

一、Page

pg中的page和Oracle中的數據塊一樣，指的是數據庫的塊，操作系統(tǒng)塊的整數倍個，默認是8K也就是兩個操作系統(tǒng)塊（4k的文件系統(tǒng)塊）。這個大小在pg編譯安裝configure的時候通過--with-blocksize參數指定，單位是Kb。

二、Page的內部結構

2.1 page結構

2.2 PageHeaderData數據結構 （頁頭）

可以看到一個Page有 Pager header（頁頭），后面是linp（行指針），pd_lower和pd_upper分別是空閑空間的開始位置和結束位置；后面就是行數據（pg里面的行就是tuple）和special空間。整個page的結構比Oracle的數據塊結構簡單多了。

typedef struct PageHeaderData {     /* XXX LSN is member of *any* block, not only page-organized ones */     PageXLogRecPtr pd_lsn;      /* LSN: next byte after last byte of xlog                                  * record for last change to this page */     uint16      pd_checksum;    /* checksum */     uint16      pd_flags;       /* flag bits, see below */     LocationIndex pd_lower;     /* offset to start of free space */     LocationIndex pd_upper;     /* offset to end of free space */     LocationIndex pd_special;   /* offset to start of special space */     uint16      pd_pagesize_version;     TransactionId pd_prune_xid; /* oldest prunable XID, or zero if none */     ItemIdData  pd_linp[FLEXIBLE_ARRAY_MEMBER]; /* line pointer array */ } PageHeaderData;

 具體的長度和描述也都有詳細說明：

簡單來說，pd_lsn是指最后修改過這個page的lsn（log sequence number），這個和wal（write ahead log，同oracle redo）中記錄的lsn一致。數據落盤時redo必須先刷到wal，這個pd_lsn就記錄了最后data落盤時的相關redo的lsn。

pd_checksum是校驗和，在initdb初始化實例的時候通過-k參數指定開啟，默認是關閉的，initdb之后不能修改，它基于FNV-1a hash算法，做了相應的更改。這個校驗和與Oracle的checksum一樣用于數據塊在讀入和寫出內存時的校驗。比如我們在內存中修改了一個數據塊，寫入到磁盤的時候，在內存里面先計算好checksum，數據塊寫完后再計算一遍cheksum是否和之前在內存中的一致，確保整個寫出過程沒有出錯，保護數據結構不被破壞。

pd_flags有以下的值：

/*  * pd_flags contains the following flag bits.  Undefined bits are initialized  * to zero and may be used in the future.  *  * PD_HAS_FREE_LINES is set if there are any LP_UNUSED line pointers before  * pd_lower.  This should be considered a hint rather than the truth, since  * changes to it are not WAL-logged.  *  * PD_PAGE_FULL is set if an UPDATE doesn't find enough free space in the  * page for its new tuple version; this suggests that a prune is needed.  * Again, this is just a hint.  */ #define PD_HAS_FREE_LINES   0x0001  /* are there any unused line pointers? */ #define PD_PAGE_FULL        0x0002  /* not enough free space for new tuple? */ #define PD_ALL_VISIBLE      0x0004  /* all tuples on page are visible to                                      * everyone */   #define PD_VALID_FLAG_BITS  0x0007  /* OR of all valid pd_flags bits */

pd_lower和pd_upper分別表示空閑空間起始位置和結束位置；pd_special在索引page才有效；pd_pagesize_version是page大小和page version的存儲位，在不同數據庫版本中，page version不一樣：

prune_xid表示這個page上最早刪除或者修改tuple的事務id，在vacuum操作的時候會用到。（pg沒有undo，舊的數據也在page中，用vacuum來清理）

2.3 linp結構（行指針）

lp_off是tuple的開始的偏移量；lp_flags是標志位；lp_len記錄了tuple的長度。

2.4 tuple header結構（行頭）

也有對應的長度和描述的相詳細說明：

union是共享結構體，起作用的變量是最后一次賦值的成員。來看看tuple header的結構。

在HeapTupleFields中，t_xmin是插入這行tuple的事務id；t_xmax是刪除或者鎖住tuple的事務id；union結構中的t_cid是刪除或者插入這個tuple的命令id，也就是命令序號；t_xvac是以前格式的vacuum full用到的事務id。

在DatumTupleFields中，datum_len_ 指tuple的長度；datum_typmod是記錄的type；datum_typeid是記錄的id。

頁頭HeapTupleHeaderData包含了union結構體中的兩個變量HeapTupleFields和DatumTupleFields。t_ctid是tuple id，類似oracle的rowid，形式為（塊號，行號）。

t_infomask2 表示屬性和標志位

t_infomask 是flag標志位，具體值如下：

t_hoff表示tuple header的長度

t_bits記錄了tuple中null值的列

三、實驗

3.1 安裝pageinspect

它在源碼的crontrib目錄下面

 3.2 創(chuàng)建建測試表t1，插入數據

這里可以看到1000行數據用了6個數據塊來存儲（這里數據塊從0開始），第6個數據塊包含了73條記錄（tuple）

3.3 Pageinspect查看page

這里我們通過兩個函數來查看

page_header 可以看到頁頭的數據

heap_pageitems 可以看到具體tuple的數據

3.3.1 page_header

可以看到第0個page的pd_lsn為0/1671188，checksum和flags都是0，這里沒有開啟checksum；tuple開始偏移是772（pd_lower），結束偏移是784（pd_upper），這個page是個表，所以它沒有special，我們看到的sepcial就是8192了；pagesize是8192就是8K，version是4，沒有需要清理的tuple，所以存儲需要清理的tuple的最早事務的id就是0（prune_xid）。

3.3.2 heap_page_items

我們來看一行記錄，可以看到它是第1行記錄（lp=1），tuple的開始偏移量8160（lp_off）,tuple的長度是32 bytes（lp_len為32，這個tuple是第一個插入的tuple，所以lp_off+lp_len=8160+32=8192），這行記錄的插入事務id是557（t_min），和tuple的刪除事務id是0（tmax），這里數據沒有被刪除，所以都是0。我們還可以看到t_ctid是（0,1），這里表示這個tuple是這個page中第一個塊的第一條tuple；tinfomask2是2，t_infomask為2306，十六進制就是 0x0902 ，這個我們可以根據上面提到的值去看看具體的含義，0x0902 = 0x0100 + 0x0800 +0x0002；tuple頭部結構（行頭）的長度是24（t_hoff），t_data就是16進制存儲的真正的數據了。

3.4 刪除一行數據觀察prune_xid

我們刪除一行tuple可以看到prune_xid有了值，為559，這個559就是刪除這個tuple的事務id（當前最早的刪除或更改了tuple的事務id）

同樣，我們可以看到lp為1的這個tuple的t_xmax為559，這里就是刪除這行tuple的事務id。

PostgreSQL Page的物理結構相比Oracle的數據塊來說簡單很多了，源代碼開放也便于學習和研究，pg是個很好很強大的數據庫，值得好好學習。

以上是“怎么從零學習PostgreSQL Page結構”這篇文章的所有內容，感謝各位的閱讀！相信大家都有了一定的了解，希望分享的內容對大家有所幫助，如果還想學習更多知識，歡迎關注億速云行業(yè)資訊頻道！