Python教程：精簡(jiǎn)概述I/O模型與I/O操作

Python教程：精簡(jiǎn)概述I/O模型與I/O操作

一. I/O 模型

1. 特指 Linux 下的網(wǎng)絡(luò) IO，一般分類:

• 阻塞IO（blocking IO）
• 非阻塞IO（non-blocking IO）
• IO多路復(fù)用（IO multiplexing）
• 信號(hào)驅(qū)動(dòng)IO（signal driven IO）
• 異步IO（asynchronous IO）

2. 一個(gè)網(wǎng)絡(luò) I/O 涉及兩個(gè)系統(tǒng)對(duì)象:

• 應(yīng)用進(jìn)程（Process/Thread）
• 系統(tǒng)內(nèi)核（Kernel）

3. 一個(gè) read 操作會(huì)經(jīng)歷兩個(gè)階段:

• 等待數(shù)據(jù)就緒（Kernel Waiting for the data to be ready）
• 拷貝數(shù)據(jù)到進(jìn)程（Copying the data from the kernel to the process）

4. 一個(gè) I/O read 操作的執(zhí)行流程：

1. Process 調(diào)用 Kernel 發(fā)出請(qǐng)求

    1.1 Kernel 等待數(shù)據(jù)準(zhǔn)備就緒（Waiting）

    1.2 Kernel 拷貝數(shù)據(jù)到用戶空間（Copying）

3. Kernel 通知 Process 拷貝完成

4. Process 接收數(shù)據(jù)，并進(jìn)行處理

5. 對(duì)應(yīng) Python 中 TCP 通信過(guò)程：

1. server 端通過(guò) recv() 調(diào)用 Kernel

    1.1 Kernel 等待接收 client 端 send() 數(shù)據(jù)并加入緩沖區(qū)

    1.2 Kernel 將緩沖區(qū)數(shù)據(jù) copy 到 server 的用戶內(nèi)存空間

2. Kernel copy 完畢之后通知 server

3. server 接收并處理數(shù)據(jù)

6. 主要四種 I/O 模型的對(duì)比及演化：

a. 默認(rèn)情況下，所有 Socket 接口都是阻塞型IO（blocking IO）

問(wèn)題：Waiting 階段、Copying 階段處于阻塞狀態(tài)，程序只能處理一個(gè)網(wǎng)絡(luò)連接

解決方案：開啟多線程/多進(jìn)程

    效果：

        每個(gè)連接都擁有獨(dú)立的線程/進(jìn)程，任一連接阻塞都不會(huì)影響其他連接

    問(wèn)題：

        遇到需要同時(shí)響應(yīng)大量的連接請(qǐng)求，多線程/多進(jìn)程會(huì)嚴(yán)重占據(jù)系統(tǒng)資源

改進(jìn)方案：連接池、線程池

    效果：

        連接池可減少創(chuàng)建/關(guān)閉連接的頻率，重用已有連接

        線程池可減少創(chuàng)建/銷毀線程的頻率，維持一定合理數(shù)量的線程

    問(wèn)題：

        “池”始終有上限，當(dāng)請(qǐng)求數(shù)量大大超過(guò)上限時(shí)，系統(tǒng)響應(yīng)效率未必更高

b. 輪詢檢測(cè) Kernel 數(shù)據(jù)是否就緒，實(shí)現(xiàn)非阻塞IO（non-blocking IO）

效果：

    程序能夠在等待數(shù)據(jù)就緒的時(shí)間里，去執(zhí)行其他工作

問(wèn)題：

    不斷循環(huán)往復(fù)地調(diào)用系統(tǒng)將，大幅度推高 CPU 占用率

    人為加入延遲降低循環(huán)速度，又會(huì)導(dǎo)致數(shù)據(jù)吞吐量降低

c. 系統(tǒng)提供單一線程即可處理多連接的 select 接口（IO multiplexing）

效果：占用資源少，不會(huì)消耗過(guò)多 CPU，能夠同時(shí)為多客戶端提供服務(wù)

問(wèn)題：對(duì)于單一客戶端的連接請(qǐng)求并不能處理得更快，不適用于單個(gè)連接

d. Python 通過(guò) asyncio 模塊實(shí)現(xiàn)了異步IO模型（asynchronous IO）

異步IO下的執(zhí)行流程：

    1. Process 調(diào)用 Kernel 發(fā)出請(qǐng)求，立刻去做其他事務(wù)

    2. Kernel 先立刻返回應(yīng)答給 Process

    3. Kernel 再準(zhǔn)備數(shù)據(jù)（Waiting）

    4. Kernel 拷貝到數(shù)據(jù)到用戶空間（Copying）

    5. Kernel 完成數(shù)據(jù)拷貝，發(fā) Signal 到 Process

    6. Process 回來(lái)繼續(xù)該 IO 操作

7. 主要四種 IO 模型總結(jié)

• blocking IO：在 Waiting 階段、Copying 階段都會(huì)阻塞
• non-blocking IO：在 Waiting 階段不阻塞，但是監(jiān)聽由應(yīng)用程序發(fā)起，必須不斷調(diào)用操作系統(tǒng)
• IO multiplexing：應(yīng)用程序本身不阻塞，但 select 會(huì)阻塞，應(yīng)用程序仍需定期查詢 select
• asynchronous IO：在 Waiting 階段、Copying 階段都不會(huì)阻塞

二. IO 操作

1. 同步I/O操作（synchronous I/O operation）

• I/O操作過(guò)程中，存在請(qǐng)求進(jìn)程阻塞的階段
• I/O模型包括：blocking IO、non-blocking IO、IO multiplexing

2. 異步I/O操作（asynchronous I/O operation）

• 整個(gè)I/O操作完成，請(qǐng)求進(jìn)程都不會(huì)阻塞
• IO模型包括：asynchronous IO

更多的Python學(xué)習(xí)教程下期繼續(xù)更新！

這里有整理視頻教程，剛好在學(xué)習(xí)的伙伴，可以回復(fù)：Python教程，領(lǐng)??！

Python 900集全套視頻教程（全家桶）https://pan.baidu.com/s/1cU5lDWq9gh0cQ7hCnXUiGA 提取: