溫馨提示×

溫馨提示×

您好，登錄后才能下訂單哦！

密碼登錄×
登錄注冊×
其他方式登錄
點(diǎn)擊 登錄注冊 即表示同意《億速云用戶服務(wù)條款》

HP-UX上一次Oracle軟件安裝目錄磁盤空間滿導(dǎo)致的故障

發(fā)布時(shí)間：2020-08-12 16:36:39 來源：ITPUB博客 閱讀：305 作者：abstractcyj 欄目：關(guān)系型數(shù)據(jù)庫
接到電話，告知公司負(fù)責(zé)的某維?？蛻魯?shù)據(jù)庫出現(xiàn)了故障

客戶反饋，應(yīng)用端出現(xiàn)了磁盤讀寫錯(cuò)誤：
HP-UX上一次Oracle軟件安裝目錄磁盤空間滿導(dǎo)致的故障
同時(shí)，登錄數(shù)據(jù)庫時(shí)也出現(xiàn)了錯(cuò)誤：
HP-UX上一次Oracle軟件安裝目錄磁盤空間滿導(dǎo)致的故障

同時(shí)，用戶反饋說部分業(yè)務(wù)已經(jīng)中斷
登錄操作系統(tǒng)， 通過查詢gv$instance視圖，得知是一個(gè)雙節(jié)點(diǎn)的11gR2的集群
檢查節(jié)點(diǎn)1的數(shù)據(jù)庫告警日志,ASM告警日志，CRSD日志，未發(fā)現(xiàn)近期可疑錯(cuò)誤信息
登錄節(jié)點(diǎn)2, 發(fā)現(xiàn)數(shù)據(jù)庫服務(wù)的/oracle目錄的空間占用已達(dá)到100%。檢查磁盤文件空間占用發(fā)現(xiàn)， 監(jiān)聽的產(chǎn)生的listener.log, XML文件占用了大量空間，遂清理之

從報(bào)錯(cuò)日志來看，磁盤寫入出現(xiàn)了問題，懷疑數(shù)據(jù)文件有物理壞塊。但是用dbv userid/password file='+DATA/數(shù)據(jù)庫名/datafile/system.345' 并未檢查出有壞塊

清理出oracle軟件安裝目錄之后，用戶反映業(yè)務(wù)已經(jīng)恢復(fù)正常。 但是對(duì)于這個(gè)錯(cuò)誤還是有點(diǎn)不解，為什么磁盤空間的問題會(huì)導(dǎo)致數(shù)據(jù)文件寫入的錯(cuò)誤。

繼續(xù)檢查：
ASM的告警日志中出現(xiàn)了如下的信息：
Tue Jun 12 17:00:27 2018
Non critical error DIA-48181 caught while writing to trace file "/oracle/app/diag/asm/+asm/+ASM2/trace/+ASM2_ora_5142.trc"
Error message: HPUX-ia64 Error: 28: No space left on device
Additional information: 1

Writing to the above trace file is disabled for now on...

Non critical error ORA-48113 caught while writing to trace file "/oracle/app/diag/asm/+asm/+ASM2/trace/+ASM2_ora_14098.trc"

Error message: 
Writing to the above trace file is disabled for now on...
WARNING: ASM communication error: op 0 state 0x0 (15055)
ERROR: direct connection failure with ASM
NOTE: Deferred communication with ASM instance

這里已經(jīng)出現(xiàn)了ASM連接中斷的信息。
難怪會(huì)出現(xiàn)磁盤讀寫錯(cuò)誤

清理掉日志文件之后，告警日志里也沒有新的信息寫入
檢查集群組件狀態(tài)：

 $ /oracle/grid/bin/crsctl check crs

CRS-4638: Oracle High Availability Services is online

CRS-4535: Cannot communicate with Cluster Ready Services

CRS-4529: Cluster Synchronization Services is online

CRS-4533: Event Manager is online


CRS服務(wù)已經(jīng)出現(xiàn)了問題
總結(jié)：

應(yīng)可以推斷出，/oracle目錄磁盤空間占滿，導(dǎo)致了數(shù)據(jù)庫實(shí)例通過ASM讀寫數(shù)據(jù)文件時(shí)，登錄ASM出現(xiàn)了錯(cuò)誤。 此時(shí)就出現(xiàn)了前文中所示的寫入system表空間的錯(cuò)誤

這里還有一個(gè)比較關(guān)鍵的提示：
 ORA-29701: unable to connect to Cluster Sychironization Service
    這里已經(jīng)是集群層面的進(jìn)程出現(xiàn)問題了。與數(shù)據(jù)文件本身并無聯(lián)系（清理空間后業(yè)務(wù)也恢復(fù)了正常）


同時(shí)給了客戶建議：

改善建議：

1.  建議部署crontab腳本，定期清理/oracle目錄下的監(jiān)聽日志以及日志相關(guān)的xml文件

2.  CRS集群本身已經(jīng)出現(xiàn)了問題，且經(jīng)過很久之后也未恢復(fù)，建議重啟CRS集群服務(wù)
通過
   /oracle/grid/bin/crsctl stop crs
   /oracle/grid/bin/crsctl start crs



向AI問一下細(xì)節(jié)

免責(zé)聲明：本站發(fā)布的內(nèi)容（圖片、視頻和文字）以原創(chuàng)、轉(zhuǎn)載和分享為主，文章觀點(diǎn)不代表本網(wǎng)站立場，如果涉及侵權(quán)請聯(lián)系站長郵箱：is@yisu.com進(jìn)行舉報(bào)，并提供相關(guān)證據(jù)，一經(jīng)查實(shí)，將立刻刪除涉嫌侵權(quán)內(nèi)容。

AI
助
手