Tomcat中NIO模型的示例分析

這篇文章給大家分享的是有關(guān)Tomcat中NIO模型的示例分析的內(nèi)容。小編覺(jué)得挺實(shí)用的，因此分享給大家做個(gè)參考，一起跟隨小編過(guò)來(lái)看看吧。

一、I/O復(fù)用模型解讀

Tomcat的NIO是基于I/O復(fù)用來(lái)實(shí)現(xiàn)的。對(duì)這點(diǎn)一定要清楚，不然我們的討論就不在一個(gè)邏輯線上。下面這張圖學(xué)習(xí)過(guò)I/O模型知識(shí)的一般都見(jiàn)過(guò)，出自《UNIX網(wǎng)絡(luò)編程》，I/O模型一共有阻塞式I/O，非阻塞式I/O，I/O復(fù)用(select/poll/epoll)，信號(hào)驅(qū)動(dòng)式I/O和異步I/O。這篇文章講的是I/O復(fù)用。

IO復(fù)用.png

這里先來(lái)說(shuō)下用戶(hù)態(tài)和內(nèi)核態(tài)，直白來(lái)講，如果線程執(zhí)行的是用戶(hù)代碼，當(dāng)前線程處在用戶(hù)態(tài)，如果線程執(zhí)行的是內(nèi)核里面的代碼，當(dāng)前線程處在內(nèi)核態(tài)。更深層來(lái)講，操作系統(tǒng)為代碼所處的特權(quán)級(jí)別分了4個(gè)級(jí)別。

不過(guò)現(xiàn)代操作系統(tǒng)只用到了0和3兩個(gè)級(jí)別。0和3的切換就是用戶(hù)態(tài)和內(nèi)核態(tài)的切換。更詳細(xì)的可參照《深入理解計(jì)算機(jī)操作系統(tǒng)》。I/O復(fù)用模型，是同步非阻塞，這里的非阻塞是指I/O讀寫(xiě)，對(duì)應(yīng)的是recvfrom操作，因?yàn)閿?shù)據(jù)報(bào)文已經(jīng)準(zhǔn)備好，無(wú)需阻塞。

說(shuō)它是同步，是因?yàn)?，這個(gè)執(zhí)行是在一個(gè)線程里面執(zhí)行的。有時(shí)候，還會(huì)說(shuō)它又是阻塞的，實(shí)際上是指阻塞在select上面，必須等到讀就緒、寫(xiě)就緒等網(wǎng)絡(luò)事件。有時(shí)候我們又說(shuō)I/O復(fù)用是多路復(fù)用，這里的多路是指N個(gè)連接，每一個(gè)連接對(duì)應(yīng)一個(gè)channel，或者說(shuō)多路就是多個(gè)channel。

復(fù)用，是指多個(gè)連接復(fù)用了一個(gè)線程或者少量線程(在Tomcat中是Math.min(2,Runtime.getRuntime().availableProcessors()))。

上面提到的網(wǎng)絡(luò)事件有連接就緒，接收就緒，讀就緒，寫(xiě)就緒四個(gè)網(wǎng)絡(luò)事件。I/O復(fù)用主要是通過(guò)Selector復(fù)用器來(lái)實(shí)現(xiàn)的，可以結(jié)合下面這個(gè)圖理解上面的敘述。

Selector圖解.png

二、TOMCAT對(duì)IO模型的支持

tomcat支持IO類(lèi)型圖.png

tomcat從6以后開(kāi)始支持NIO模型，實(shí)現(xiàn)是基于JDK的java.nio包。這里可以看到對(duì)read body 和response body是Blocking的。關(guān)于這點(diǎn)在第6.3節(jié)源代碼閱讀有重點(diǎn)介紹。

三、TOMCAT中NIO的配置與使用

在Connector節(jié)點(diǎn)配置protocol=”org.apache.coyote.http11.Http11NioProtocol”，Http11NioProtocol協(xié)議下默認(rèn)最大連接數(shù)是10000，也可以重新修改maxConnections的值，同時(shí)我們可以設(shè)置最大線程數(shù)maxThreads，這里設(shè)置的最大線程數(shù)就是Excutor的線程池的大小。

在BIO模式下實(shí)際上是沒(méi)有maxConnections，即使配置也不會(huì)生效，BIO模式下的maxConnections是保持跟maxThreads大小一致，因?yàn)樗且徽?qǐng)求一線程模式。

四、NioEndpoint組件關(guān)系圖解讀

tomcatnio組成.png

我們要理解tomcat的nio最主要就是對(duì)NioEndpoint的理解。它一共包含LimitLatch、Acceptor、Poller、SocketProcessor、Excutor5個(gè)部分。

LimitLatch是連接控制器，它負(fù)責(zé)維護(hù)連接數(shù)的計(jì)算，nio模式下默認(rèn)是10000，達(dá)到這個(gè)閾值后，就會(huì)拒絕連接請(qǐng)求。Acceptor負(fù)責(zé)接收連接，默認(rèn)是1個(gè)線程來(lái)執(zhí)行，將請(qǐng)求的事件注冊(cè)到事件列表。

有Poller來(lái)負(fù)責(zé)輪詢(xún)，Poller線程數(shù)量是cpu的核數(shù)Math.min(2,Runtime.getRuntime().availableProcessors())。由Poller將就緒的事件生成SocketProcessor同時(shí)交給Excutor去執(zhí)行。Excutor線程池的大小就是我們?cè)贑onnector節(jié)點(diǎn)配置的maxThreads的值。

在Excutor的線程中，會(huì)完成從socket中讀取http request，解析成HttpServletRequest對(duì)象，分派到相應(yīng)的servlet并完成邏輯，然后將response通過(guò)socket發(fā)回client。

在從socket中讀數(shù)據(jù)和往socket中寫(xiě)數(shù)據(jù)的過(guò)程，并沒(méi)有像典型的非阻塞的NIO的那樣，注冊(cè)O(shè)P_READ或OP_WRITE事件到主Selector，而是直接通過(guò)socket完成讀寫(xiě)，這時(shí)是阻塞完成的，但是在timeout控制上，使用了NIO的Selector機(jī)制，但是這個(gè)Selector并不是Poller線程維護(hù)的主Selector，而是BlockPoller線程中維護(hù)的Selector，稱(chēng)之為輔Selector。詳細(xì)源代碼可以參照 第6.3節(jié)。

五、NioEndpoint執(zhí)行序列圖

tomcatnio序列圖.png

在下一小節(jié)NioEndpoint源碼解讀中我們將對(duì)步驟1-步驟11依次找到對(duì)應(yīng)的代碼來(lái)說(shuō)明。

六、NioEndpoint源碼解讀

6.1、初始化

無(wú)論是BIO還是NIO，開(kāi)始都會(huì)初始化連接限制，不可能無(wú)限增大，NIO模式下默認(rèn)是10000。

6.2、步驟解讀

下面我們著重?cái)⑹龈鶱IO相關(guān)的流程，共分為11個(gè)步驟，分別對(duì)應(yīng)上面序列圖中的步驟。

步驟1：綁定IP地址及端口，將ServerSocketChannel設(shè)置為阻塞。

這里為什么要設(shè)置成阻塞呢，我們一直都在說(shuō)非阻塞。Tomcat的設(shè)計(jì)初衷主要是為了操作方便。這樣這里就跟BIO模式下一樣了。只不過(guò)在BIO下這里返回的是

Socket，NIO下這里返回的是SocketChannel。

步驟2：?jiǎn)?dòng)接收線程

步驟3：ServerSocketChannel.accept()接收新連接

步驟4：將接收到的鏈接通道設(shè)置為非阻塞

步驟5：構(gòu)造NioChannel對(duì)象

步驟6：register注冊(cè)到輪詢(xún)線程

步驟7：構(gòu)造PollerEvent，并添加到事件隊(duì)列

步驟8：?jiǎn)?dòng)輪詢(xún)線程

步驟9：取出隊(duì)列中新增的PollerEvent并注冊(cè)到Selector

步驟10：Selector.select()

步驟11：根據(jù)選擇的SelectionKey構(gòu)造SocketProcessor提交到請(qǐng)求處理線程

6.3、NioBlockingSelector和BlockPoller介紹

上面的序列圖有個(gè)地方我沒(méi)有描述，就是NioSelectorPool這個(gè)內(nèi)部類(lèi)，是因?yàn)樵谡w理解tomcat的nio上面在序列圖里面不包括它更好理解。

在有了上面的基礎(chǔ)后，我們?cè)趤?lái)說(shuō)下NioSelectorPool這個(gè)類(lèi)，對(duì)更深層了解Tomcat的NIO一定要知道它的作用。NioEndpoint對(duì)象中維護(hù)了一個(gè)NioSelecPool對(duì)象，這個(gè)NioSelectorPool中又維護(hù)了一個(gè)BlockPoller線程，這個(gè)線程就是基于輔Selector進(jìn)行NIO的邏輯。

以執(zhí)行servlet后，得到response，往socket中寫(xiě)數(shù)據(jù)為例，最終寫(xiě)的過(guò)程調(diào)用NioBlockingSelector的write方法。代碼如下：

也就是說(shuō)當(dāng)socket.write()返回0時(shí)，說(shuō)明網(wǎng)絡(luò)狀態(tài)不穩(wěn)定，這時(shí)將socket注冊(cè)O(shè)P_WRITE事件到輔Selector，由BlockPoller線程不斷輪詢(xún)這個(gè)輔Selector，直到發(fā)現(xiàn)這個(gè)socket的寫(xiě)狀態(tài)恢復(fù)了，通過(guò)那個(gè)倒數(shù)計(jì)數(shù)器，通知Worker線程繼續(xù)寫(xiě)socket動(dòng)作?？匆幌翨lockSelector線程的代碼邏輯：

使用這個(gè)輔Selector主要是減少線程間的切換，同時(shí)還可減輕主Selector的負(fù)擔(dān)。

七、關(guān)于性能

下面這份報(bào)告是我們壓測(cè)的一個(gè)結(jié)果，跟想象的是不是不太一樣？幾乎沒(méi)有差別，實(shí)際上NIO優(yōu)化的是I/O的讀寫(xiě)，如果瓶頸不在這里的話(huà)，比如傳輸字節(jié)數(shù)很小的情況下，BIO和NIO實(shí)際上是沒(méi)有差別的。

NIO的優(yōu)勢(shì)更在于用少量的線程hold住大量的連接。還有一點(diǎn)，我們?cè)趬簻y(cè)的過(guò)程中，遇到在NIO模式下剛開(kāi)始的一小段時(shí)間內(nèi)容，會(huì)有錯(cuò)誤，這是因?yàn)橐话愕膲簻y(cè)工具是基于一種長(zhǎng)連接，也就是說(shuō)比如模擬1000并發(fā)，那么同時(shí)建立1000個(gè)連接，下一時(shí)刻再發(fā)送請(qǐng)求就是基于先前的這1000個(gè)連接來(lái)發(fā)送，還有TOMCAT的NIO處理是有POLLER線程來(lái)接管的，它的線程數(shù)一般等于CPU的核數(shù)，如果一瞬間有大量并發(fā)過(guò)來(lái)，POLLER也會(huì)頓時(shí)處理不過(guò)來(lái)。

壓測(cè)1.jpeg

壓測(cè)2.jpeg

感謝各位的閱讀！關(guān)于“Tomcat中NIO模型的示例分析”這篇文章就分享到這里了，希望以上內(nèi)容可以對(duì)大家有一定的幫助，讓大家可以學(xué)到更多知識(shí)，如果覺(jué)得文章不錯(cuò)，可以把它分享出去讓更多的人看到吧！