數(shù)據(jù)拷貝的基礎過程是什么

本篇內容主要講解“數(shù)據(jù)拷貝的基礎過程是什么”，感興趣的朋友不妨來看看。本文介紹的方法操作簡單快捷，實用性強。下面就讓小編來帶大家學習“數(shù)據(jù)拷貝的基礎過程是什么”吧!

數(shù)據(jù)拷貝基礎過程

在 Linux 系統(tǒng)內部緩存和內存容量都是有限的，更多的數(shù)據(jù)都是存儲在磁盤中。

對于 Web 服務器來說，經常需要從磁盤中讀取數(shù)據(jù)到內存，然后再通過網卡傳輸給用戶：

上述數(shù)據(jù)流轉只是大框，接下來看看幾種模式：

①僅 CPU 方式

如上圖：

• 當應用程序需要讀取磁盤數(shù)據(jù)時，調用 read() 從用戶態(tài)陷入內核態(tài)，read() 這個系統(tǒng)調用最終由 CPU 來完成。

• CPU 向磁盤發(fā)起 I/O 請求，磁盤收到之后開始準備數(shù)據(jù)。

• 磁盤將數(shù)據(jù)放到磁盤緩沖區(qū)之后，向 CPU 發(fā)起 I/O 中斷，報告 CPU 數(shù)據(jù)已經 Ready 了。

• CPU 收到磁盤控制器的 I/O 中斷之后，開始拷貝數(shù)據(jù)，完成之后 read() 返回，再從內核態(tài)切換到用戶態(tài)。

②CPU&DMA 方式

CPU 的時間寶貴，讓它做雜活就是浪費資源。

直接內存訪問(Direct Memory Access)，是一種硬件設備繞開 CPU 獨立直接訪問內存的機制。

所以 DMA 在一定程度上解放了 CPU，把之前 CPU 的雜活讓硬件直接自己做了，提高了 CPU 效率。

目前支持 DMA 的硬件包括：網卡、聲卡、顯卡、磁盤控制器等。

有了 DMA 的參與之后的流程發(fā)生了一些變化：

最主要的變化是，CPU 不再和磁盤直接交互，而是 DMA 和磁盤交互并且將數(shù)據(jù)從磁盤緩沖區(qū)拷貝到內核緩沖區(qū)，之后的過程類似。

敲黑板：無論從僅 CPU 方式和 DMA&CPU 方式，都存在多次冗余數(shù)據(jù)拷貝和內核態(tài)&用戶態(tài)的切換。

我們繼續(xù)思考 Web 服務器讀取本地磁盤文件數(shù)據(jù)再通過網絡傳輸給用戶的詳細過程。

普通模式數(shù)據(jù)交互

一次完成的數(shù)據(jù)交互包括幾個部分：系統(tǒng)調用 syscall、CPU、DMA、網卡、磁盤等。

系統(tǒng)調用 syscall 是應用程序和內核交互的橋梁，每次進行調用/返回就會產生兩次切換：

• 調用 syscall，從用戶態(tài)切換到內核態(tài)。

• syscall 返回，從內核態(tài)切換到用戶態(tài)。

來看下完整的數(shù)據(jù)拷貝過程簡圖：

讀數(shù)據(jù)過程：

• 應用程序要讀取磁盤數(shù)據(jù)，調用 read() 函數(shù)從而實現(xiàn)用戶態(tài)切換內核態(tài)，這是第 1 次狀態(tài)切換。

• DMA 控制器將數(shù)據(jù)從磁盤拷貝到內核緩沖區(qū)，這是第 1 次 DMA 拷貝。

• CPU 將數(shù)據(jù)從內核緩沖區(qū)復制到用戶緩沖區(qū)，這是第 1 次 CPU 拷貝。

• CPU 完成拷貝之后，read() 函數(shù)返回實現(xiàn)用戶態(tài)切換用戶態(tài)，這是第 2 次狀態(tài)切換。

寫數(shù)據(jù)過程：

• 應用程序要向網卡寫數(shù)據(jù)，調用 write() 函數(shù)實現(xiàn)用戶態(tài)切換內核態(tài)，這是第 1 次切換。

• CPU 將用戶緩沖區(qū)數(shù)據(jù)拷貝到內核緩沖區(qū)，這是第 1 次 CPU 拷貝。

• DMA 控制器將數(shù)據(jù)從內核緩沖區(qū)復制到 socket 緩沖區(qū)，這是第 1 次 DMA 拷貝。

• 完成拷貝之后，write() 函數(shù)返回實現(xiàn)內核態(tài)切換用戶態(tài)，這是第 2 次切換。

綜上所述：

• 讀過程涉及 2 次空間切換、1 次 DMA 拷貝、1 次 CPU 拷貝。

• 寫過程涉及 2 次空間切換、1 次 DMA 拷貝、1 次 CPU 拷貝。

可見傳統(tǒng)模式下，涉及多次空間切換和數(shù)據(jù)冗余拷貝，效率并不高，接下來就該零拷貝技術出場了。

零拷貝技術

出現(xiàn)原因

我們可以看到，如果應用程序不對數(shù)據(jù)做修改，從內核緩沖區(qū)到用戶緩沖區(qū)，再從用戶緩沖區(qū)到內核緩沖區(qū)。

兩次數(shù)據(jù)拷貝都需要 CPU 的參與，并且涉及用戶態(tài)與內核態(tài)的多次切換，加重了 CPU 負擔。

我們需要降低冗余數(shù)據(jù)拷貝、解放 CPU，這也就是零拷貝 Zero-Copy 技術。

解決思路

目前來看，零拷貝技術的幾個實現(xiàn)手段包括：mmap+write、sendfile、sendfile+DMA 收集、splice 等。

①mmap 方式

mmap 是 Linux  提供的一種內存映射文件的機制，它實現(xiàn)了將內核中讀緩沖區(qū)地址與用戶空間緩沖區(qū)地址進行映射，從而實現(xiàn)內核緩沖區(qū)與用戶緩沖區(qū)的共享。

這樣就減少了一次用戶態(tài)和內核態(tài)的 CPU 拷貝，但是在內核空間內仍然有一次 CPU 拷貝。

mmap 對大文件傳輸有一定優(yōu)勢，但是小文件可能出現(xiàn)碎片，并且在多個進程同時操作文件時可能產生引發(fā) coredump 的 signal。

②sendfile 方式

mmap+write 方式有一定改進，但是由系統(tǒng)調用引起的狀態(tài)切換并沒有減少。

sendfile 系統(tǒng)調用是在 Linux 內核 2.1 版本中被引入，它建立了兩個文件之間的傳輸通道。

sendfile 方式只使用一個函數(shù)就可以完成之前的 read+write 和 mmap+write 的功能，這樣就少了 2  次狀態(tài)切換，由于數(shù)據(jù)不經過用戶緩沖區(qū)，因此該數(shù)據(jù)無法被修改。

從圖中可以看到，應用程序只需要調用 sendfile 函數(shù)即可完成，只有 2 次狀態(tài)切換、1 次 CPU 拷貝、2 次 DMA 拷貝。

但是 sendfile 在內核緩沖區(qū)和 socket 緩沖區(qū)仍然存在一次 CPU 拷貝，或許這個還可以優(yōu)化。

③sendfile+DMA 收集

Linux 2.4 內核對 sendfile 系統(tǒng)調用進行優(yōu)化，但是需要硬件 DMA 控制器的配合。

升級后的 sendfile 將內核空間緩沖區(qū)中對應的數(shù)據(jù)描述信息(文件描述符、地址偏移量等信息)記錄到 socket 緩沖區(qū)中。

DMA 控制器根據(jù) socket 緩沖區(qū)中的地址和偏移量將數(shù)據(jù)從內核緩沖區(qū)拷貝到網卡中，從而省去了內核空間中僅剩 1 次 CPU 拷貝。

這種方式有 2 次狀態(tài)切換、0 次 CPU 拷貝、2 次 DMA 拷貝，但是仍然無法對數(shù)據(jù)進行修改，并且需要硬件層面 DMA 的支持，并且  sendfile 只能將文件數(shù)據(jù)拷貝到 socket 描述符上，有一定的局限性。

④splice 方式

splice 系統(tǒng)調用是 Linux 在 2.6 版本引入的，其不需要硬件支持，并且不再限定于 socket  上，實現(xiàn)兩個普通文件之間的數(shù)據(jù)零拷貝。

splice 系統(tǒng)調用可以在內核緩沖區(qū)和 socket 緩沖區(qū)之間建立管道來傳輸數(shù)據(jù)，避免了兩者之間的 CPU 拷貝操作。

splice 也有一些局限，它的兩個文件描述符參數(shù)中有一個必須是管道設備。

到此，相信大家對“數(shù)據(jù)拷貝的基礎過程是什么”有了更深的了解，不妨來實際操作一番吧！這里是億速云網站，更多相關內容可以進入相關頻道進行查詢，關注我們，繼續(xù)學習！