Python之IO多路復(fù)用指的是什么

這篇文章主要介紹了Python之IO多路復(fù)用指的是什么，具有一定借鑒價(jià)值，需要的朋友可以參考下。希望大家閱讀完這篇文章后大有收獲。下面讓小編帶著大家一起了解一下。

IO multiplexing(IO多路復(fù)用)

IO多路復(fù)用，有些地方稱之為event driven IO（事件驅(qū)動(dòng)IO）。

它的好處在于單個(gè)進(jìn)程可以處理多個(gè)網(wǎng)絡(luò)IO請求。select/epoll這兩個(gè)是函數(shù)，它會(huì)不斷輪詢所有的socket，直到某個(gè)socket就緒有數(shù)據(jù)可達(dá)，就會(huì)通知用戶進(jìn)程，當(dāng)用戶進(jìn)程調(diào)用了select函數(shù)，select是一個(gè)阻塞方法，會(huì)把進(jìn)程阻塞住，同時(shí)會(huì)監(jiān)聽所有select負(fù)責(zé)的socket，當(dāng)任何一個(gè)socket中的數(shù)據(jù)準(zhǔn)備好了，select就會(huì)返回。這個(gè)時(shí)候用戶進(jìn)程再調(diào)用readRecv操作，將數(shù)據(jù)從內(nèi)核拷貝到用戶進(jìn)程。

select雖然是阻塞的，但是它的優(yōu)勢在于它可以用一個(gè)進(jìn)程處理多個(gè)連接，這個(gè)利用非阻塞的輪詢方式是無法實(shí)現(xiàn)的，當(dāng)連接數(shù)增多時(shí)優(yōu)勢就明顯，而對于單個(gè)連接則跟同步IO區(qū)別不大甚至性能還要更低。

select,poll,epoll都是IO多路復(fù)用的機(jī)制，IO多路復(fù)用就是通過機(jī)制用一個(gè)進(jìn)程監(jiān)視多個(gè)描述符，一旦某個(gè)描述符就緒（可讀或者可寫或者異常），能夠通知進(jìn)程進(jìn)行響應(yīng)的操作。但是select，poll，epoll本質(zhì)上是同步IO，因?yàn)樗麄兌夹枰谧x寫事件就緒后自己負(fù)責(zé)讀寫，這個(gè)過程是阻塞的。

下面用Python的socket編程模擬IO多路復(fù)用（IO多路復(fù)用+回調(diào)+事件循環(huán)）

class Fetcher:
    def connected(self, key):
        selector.unregister(key.fd)
        self.con.send('GET {} HTTP/1.1\r\nHost:{}\r\nConnection:close\r\n\r\n'.format(self.path,self.host).
        encode('utf-8'))
        selector.register(self.con.fileno(), EVENT_READ, self.read)
    def read(self, key):
        d = self.con.recv(1024)
        if d:
            print(d)
            self.data += d
        else:
            selector.unregister(key.fd)
            self.data = self.data.decode('utf-8')
            html_data = self.data.split('\r\n\r\n')[1]
            print(html_data)
            self.con.close()
    def get_url(self, url):
        ...
        self.con = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
        self.con.setblocking(False)
        #設(shè)置非阻塞
        try:
            self.con.connect((self.host, 80))
        except BlockingIOError as e:
            pass
        selector.register(self.con.fileno(), EVENT_WRITE, self.connected)

過程：發(fā)送一個(gè)socket請求設(shè)置為非阻塞，在select函數(shù)中注冊事件，self.con.fileno表示當(dāng)前連接在進(jìn)程中的描述符，EVENT_WRITE表示socket準(zhǔn)備是否就緒，self.connected為回調(diào)函數(shù)，準(zhǔn)備完成后就調(diào)用。selector.unregister(key.fd)取消注冊，發(fā)送HTTP請求，再調(diào)用selector.register(self.con.fileno(), EVENT_READ, self.read)注冊，若當(dāng)前請求內(nèi)容可讀，則調(diào)用read回調(diào)函數(shù)讀取出響應(yīng)內(nèi)容。

注明：在windows下會(huì)調(diào)用select函數(shù)，而在linux/unix下則會(huì)調(diào)用epoll函數(shù)。

完整代碼如下：

import socket
from urllib.parse import urlparse
from selectors import DefaultSelector, EVENT_READ, EVENT_WRITE
selector = DefaultSelector()
class Fetcher:
    def connected(self, key):
        selector.unregister(key.fd)
        self.con.send('GET {} HTTP/1.1\r\nHost:{}\r\nConnection:close\r\n\r\n'.format(self.path,self.host).
        encode('utf-8'))
        selector.register(self.con.fileno(), EVENT_READ, self.read)
    def read(self, key):
        d = self.con.recv(1024)
        if d:
            print(d)
            self.data += d
        else:
            selector.unregister(key.fd)
            self.data = self.data.decode('utf-8')
            html_data = self.data.split('\r\n\r\n')[1]
            print(html_data)
            self.con.close()
    def get_url(self, url):
        url = urlparse(url)
        self.host = url.netloc
        self.path = url.path
        self.data = b''
        if self.path == "":
            self.path = '/'
        self.con = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
        self.con.setblocking(False)
        try:
            self.con.connect((self.host, 80))
        except BlockingIOError as e:
            pass
        #注冊
        selector.register(self.con.fileno(), EVENT_WRITE, self.connected)
def loop():
    while True:
        ready = selector.select()
        for key, mask in ready:
            callback = key.data
            callback(key)
if __name__ == '__main__':
    fetcher = Fetcher()
    fetcher.get_url('http://www.baidu.com')
    loop()

感謝你能夠認(rèn)真閱讀完這篇文章，希望小編分享Python之IO多路復(fù)用指的是什么內(nèi)容對大家有幫助，同時(shí)也希望大家多多支持億速云，關(guān)注億速云行業(yè)資訊頻道，遇到問題就找億速云，詳細(xì)的解決方法等著你來學(xué)習(xí)!