Freeshell查明NFS經(jīng)常卡死問(wèn)題的示例分析

這篇文章將為大家詳細(xì)講解有關(guān)Freeshell查明NFS經(jīng)常卡死問(wèn)題的示例分析，小編覺(jué)得挺實(shí)用的，因此分享給大家做個(gè)參考，希望大家閱讀完這篇文章后可以有所收獲。

freeshell 出現(xiàn)持續(xù)兩個(gè)小時(shí)的 NFS 卡死問(wèn)題。事實(shí)上，2014 年 8 月啟用外部磁盤以來(lái)，就經(jīng)常出現(xiàn)持續(xù)幾十秒甚至幾分鐘的 NFS 卡死，卡死期間外部磁盤上的 freeshell 無(wú)法執(zhí)行任何操作，有的 freeshell 還會(huì)因?yàn)榇疟P操作超時(shí)而關(guān)機(jī)。之前一直以為是 NFS bug 導(dǎo)致了死鎖，沒(méi)有定位到故障原因，也沒(méi)能重現(xiàn)。

2 月 3 日，通過(guò) tcpdump 抓包和 strace nfsiod 進(jìn)程的方法，查明 NFS server not responding 的問(wèn)題是由于外部硬盤（一塊希捷的 2T 綠盤）過(guò)于繁忙。

在 NFS 卡死的時(shí)段，外部磁盤讀的平均延遲可達(dá) 600ms，寫的平均延遲是 1400ms。當(dāng)初設(shè)置 NFS 掛載參數(shù)的時(shí)候，我沒(méi)有考慮到磁盤繁忙的問(wèn)題，只是想到了網(wǎng)絡(luò)延遲不應(yīng)當(dāng)超過(guò) 1 秒，于是就設(shè)置了超時(shí) timeo=10，表示 1 秒超時(shí)。一個(gè) NFS 請(qǐng)求可能需要分解為多個(gè)磁盤讀請(qǐng)求，這些請(qǐng)求的時(shí)間之和很可能超過(guò) 1 秒，也就是大部分讀寫請(qǐng)求還沒(méi)來(lái)得及發(fā)給磁盤就超時(shí)了，形成了 NFS 服務(wù)器失去響應(yīng)的假象。

下面是 早先的掛載參數(shù)：
vers=3,rw,rsize=32768,wsize=32768,tcp,timeo=10,retrans=5,soft,intr,sec=sys,lookupcache=all,ac,nocto

現(xiàn)將超時(shí)修改成 30 秒（timeo=300）。
vers=3,rw,rsize=32768,wsize=32768,tcp,timeo=300,retrans=5,soft,intr,sec=sys,lookupcache=all,ac,nocto

2 月 3 日已經(jīng)修改 fstab，但由于掛載著的 NFS 不能修改掛載參數(shù)（見(jiàn) man nfs），需要關(guān)閉所有外部磁盤上的虛擬機(jī)才能重新掛載 NFS。2 月 4 日剛好 1 號(hào)節(jié)點(diǎn)掛了，于是把所有其他節(jié)點(diǎn)也重啟了一遍，NFS 參數(shù)就更新了。

關(guān)于“Freeshell查明NFS經(jīng)?？ㄋ绬?wèn)題的示例分析”這篇文章就分享到這里了，希望以上內(nèi)容可以對(duì)大家有一定的幫助，使各位可以學(xué)到更多知識(shí)，如果覺(jué)得文章不錯(cuò)，請(qǐng)把它分享出去讓更多的人看到。