溫馨提示×

溫馨提示×

您好,登錄后才能下訂單哦!

密碼登錄×
登錄注冊×
其他方式登錄
點擊 登錄注冊 即表示同意《億速云用戶服務條款》

數(shù)據(jù)庫IO性能知識整理

發(fā)布時間:2020-06-30 21:23:25 來源:網絡 閱讀:378 作者:背向天堂 欄目:關系型數(shù)據(jù)庫

????????今年年初為了做一體機的性能測試以及CRM3.0的存儲性能測試,走馬觀花的對存儲相關的知識做了一些了解,并且結合Swingbench和fio,對數(shù)據(jù)庫和存儲性能做了一些測試工作。? ? ? ?

????

????????整個IO棧是一個比較復雜的流程,包含軟件和硬性相關的內容,

數(shù)據(jù)庫IO性能知識整理

圖片原始地址:http://www.ilinuxkernel.com/files/Linux.IO.stack_v1.0.pdf


????? ????受限自身的知識體系,只對基本的技術環(huán)境做了大概的了解,

數(shù)據(jù)庫IO性能知識整理

????????很可惜,找不到這張圖的原始出處,從google查詢到的,可以幫助我們了解從數(shù)據(jù)庫發(fā)起IO請求操作,到最終完成數(shù)據(jù)操作流經了那些設備。


????????數(shù)據(jù)庫相關知識內容內容整理成了《X86平臺RAC安裝最佳實踐》,在ORACLE用戶組的活動中做過分享。


????????為了便于理解設備延遲,以Intel Xeon E5 CPU為基準,整理了一份不同設備的請求延遲數(shù)據(jù)。

系統(tǒng)設備

真實延遲

縮放延遲

一個?CPU 指令

0.4 ns

1 s

CPU Level 1 緩存

0.9 ns

2 s

CPU Level 2 緩存

2.8 ns

7 s

CPU Level 3 緩存

28 ns?(10 X L2)

1 min

DDR 內存

100 ns

4 min

Intel 傲騰

<10 us

7 hrs

8GB HBA卡

50 us

1.5 days

NVMe 固態(tài)硬盤

~25 us

17 hrs

固態(tài)硬盤

50–150 μs

1.5–4 days

機械硬盤

1–10 ms

1–9 months

????????從硬件發(fā)展的趨勢來看,傳統(tǒng)的存儲性能瓶頸在NVMe設備普及的情況下,越來越淡化,同時硬件性能的提升,也促進了分布式存儲和開源數(shù)據(jù)庫的快速發(fā)展。


????????客觀的講,目前大部分的一體機,在技術層面沒有多少創(chuàng)新,只是使用了全新的硬件架構,使得數(shù)據(jù)庫性能達到了極大的提升。更多的是看對一體機本身的管理、監(jiān)控以及相關擴展功能的一些提供,比如備份以及CDP/CDM等輔助功能。


????????Linux設備發(fā)現(xiàn),多路徑管理,fio測試相關的知識,在《數(shù)據(jù)庫系統(tǒng)IO性能測試方法》中進行了整理。


主機HBA卡信息
[root@dzqddb1 disk]# lspci | grep -i hba
c1:00.0 Fibre Channel: QLogic Corp. ISP2532-based 8Gb Fibre Channel to PCI Express HBA (rev 02)

服務器HBA端口編號
[root@dzqddb1 ~]# cd /sys/class/fc_host
host3 -> ../../devices/pci0000:c0/0000:c0:03.0/0000:c1:00.0/host3/fc_host/host3

存儲前端端口編號
[root@dzqddb1 ~]# cd /sys/class/fc_remote_ports
rport-3:0-0 -> ../../devices/pci0000:c0/0000:c0:03.0/0000:c1:00.0/host3/rport-3:0-0/fc_remote_ports/rport-3:0-0

磁盤設備映射路徑
[root@dzqddb1 ~]# udevadm info --query=all --name=/dev/sdak
P: /devices/pci0000:c0/0000:c0:03.0/0000:c1:00.0/host3/rport-3:0-1/target3:0:1/3:0:1:12/block/sdak


????????包括一些磁盤參數(shù)的比對情況:


機械硬盤(HDD)

固態(tài)硬盤(SSD)

NVMe SSD

產品

希捷 ST4000DM006

INTEL SSD 545S

Intel SSD DC P4600

接口類型

SATA 6Gb/s

6 Gb/s SATA接口

PCIe NVMe 3.1 x4

容量

4TB

1.00 TB

4.00 TB

順序讀

220MB/s

550 MB/s

3200 MB/s

隨機讀

76

85000?

617500

順序寫


500 MB/s

1900 MB/s

隨機寫


75000

225000

讀延遲

9 ms

50 μs

82 μs

寫延遲

9 ms

50 μs

30 μs

價格

700¥

1500¥

19000¥


? ? ? ? 推薦一下阿里云的一套視頻,《深入解析數(shù)據(jù)存儲技術原理及發(fā)展演進》,非常精彩。https://yq.aliyun.com/promotion/689,不過視頻在線直播數(shù)據(jù)有點慢,想看下載視頻的,可以用百度網盤下載離線版本:

鏈接:https://pan.baidu.com/s/1FEq6mtD4x8e2UDqeqIs8Bg?

提取碼:kyq2?

????????另外兩個整理的文檔也在網盤中有分享。


向AI問一下細節(jié)

免責聲明:本站發(fā)布的內容(圖片、視頻和文字)以原創(chuàng)、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯(lián)系站長郵箱:is@yisu.com進行舉報,并提供相關證據(jù),一經查實,將立刻刪除涉嫌侵權內容。

AI