1.1.1 NBU備份之Oracle問題故障的排查

1. Create debug folders under the following directories on database client:

All log directories should be created under /usr/openv/netbackup/logs with 777 permissions.
/usr/openv/netbackup/logs/bphdb
/usr/openv/netbackup/logs/bpcd
/usr/openv/netbackup/logs/dbclient

2. Attempt the backup or restore operation

3. Gather the appropriate debug information from the backup client

a. The content of all the error logs at /usr/openv/netbackup/logs
b. The backup script and the output of the backup script with exact error messages
c. /usr/openv/netbackup/bp.conf and bp.conf at home directory of oracle OS user if exists.
d. The oracle database version information 
sqlplus “ / as sysdba”
SQL> select * from v$version;
SQL> select * from v$instance;
e. In case of oracle report critical errors (e.g. ORA-0600) or backup hang for a long time without response, we also need to collect the oracle alert log at $ORACLE_BASE/admin/<SID>/bdump.

常用的命令

///////////////////////////////////////////////
Windows OS

調(diào)整master server的 log level，方法如下：
打開NBU Console界面， Host Properties > Master Servers, 右鍵master server ，點(diǎn)擊Properties，選擇 Logging, 勾選Enable robust logging ，設(shè)置Global Logging Level為 5。
創(chuàng)建log 目錄
Install_path\netbackup\logs\bptm
Install_path\netbackup\logs\bpbrm
Install_path\netbackup\logs\vnetd
Install_path\netbackup\logs\bpcd
Install_path\netbackup\logs\bprd
Install_path\netbackup\logs\bpdbm
========

調(diào)整media server的 log level，方法如下：
打開NBU Console界面， Host Properties > Media Servers, 右鍵相應(yīng)的media server ，點(diǎn)擊Properties，選擇 Logging, 勾選Enable robust logging ，設(shè)置Global Logging Level為 5。
創(chuàng)建log 目錄
Install_path\netbackup\logs\bptm
Install_path\netbackup\logs\bpbrm
Install_path\netbackup\logs\vnetd
Install_path\netbackup\logs\bpcd
========

調(diào)整client server的 log level，方法如下：
在client server上，點(diǎn)擊“開始 >所有程序>Symantec NetBackup>Backup Archive & Restore“ ，
在BAR console界面， File >  Netbackup Client Properties > Troubleshooting, 設(shè)置General level為2， Verbose level為5 。
創(chuàng)建log 目錄
Install_path\netbackup\logs\bpbkar
Install_path\netbackup\logs\bpfis
Install_path\netbackup\logs\vnetd
Install_path\netbackup\logs\bpcd
Install_path\netbackup\logs\bphdb
Install_path\netbackup\logs\dbclient
Install_path\netbackup\logs\bpdb2
Install_path\netbackup\logs\backint

///////////////////////////////////////////////
UNIX/Linux OS

調(diào)整master server的 log level，方法如下：
添加VERBOSE = 5 到 /usr/openv/netbackup/bp.conf 文件。
創(chuàng)建log 目錄
/usr/openv/netbackup/logs/bpcd
/usr/openv/netbackup/logs/vnetd
/usr/openv/netbackup/logs/bprd
/usr/openv/netbackup/logs/bpbrm
/usr/openv/netbackup/logs/bptm
/usr/openv/netbackup/logs/bpdbm

需要重啟 NetBackup的服務(wù)，
/usr/openv/netbackup/bin/goodies/netbackup stop
/opt/VRTSpbx/bin/vxpbx_exchanged stop
/usr/openv/netbackup/bin/bpps -x   （除了pbx_exchange進(jìn)程之外 ,沒有其他 NB進(jìn)程和 MM進(jìn)程 )
/opt/VRTSpbx/bin/vxpbx_exchanged start
/usr/openv/netbackup/bin/goodies/netbackup start
========

調(diào)整media server的 log level，方法如下：
添加VERBOSE = 5 到 /usr/openv/netbackup/bp.conf 文件。
創(chuàng)建log 目錄
/usr/openv/netbackup/logs/bpcd
/usr/openv/netbackup/logs/vnetd
/usr/openv/netbackup/logs/bpbrm
/usr/openv/netbackup/logs/bptm

需要重啟 NetBackup的服務(wù)，
/usr/openv/netbackup/bin/goodies/netbackup stop
/opt/VRTSpbx/bin/vxpbx_exchanged stop
/usr/openv/netbackup/bin/bpps -x   （除了pbx_exchange進(jìn)程之外 ,沒有其他 NB進(jìn)程和 MM進(jìn)程 )
/opt/VRTSpbx/bin/vxpbx_exchanged start
/usr/openv/netbackup/bin/goodies/netbackup start
========

調(diào)整client server的 log level，方法如下：
添加VERBOSE = 5 到 /usr/openv/netbackup/bp.conf 文件。
創(chuàng)建log 目錄
/usr/openv/netbackup/logs/bpbkar
/usr/openv/netbackup/logs/bpfis
/usr/openv/netbackup/logs/bpcd
/usr/openv/netbackup/logs/bpbrm
/usr/openv/netbackup/logs/bphdb
/usr/openv/netbackup/logs/dbclient
/usr/openv/netbackup/logs/bpdb2
/usr/openv/netbackup/logs/backint
/usr/openv/netbackup/logs/sybackup

///////////////////////////////////////////////
socket connection failed problem

請按照以下步驟測試 NetBackup通訊的端口是否正常，

在Master Server上，
telnet client_name 13724
telnet client_name 13782

telnet media_server_name 13724
telnet media_server_name 13782
telnet media_server_name 1556

在Media Server上，
telnet client_name 13724
telnet client_name 13782

telnet master_server_name 13724
telnet master_server_name 13782
telnet master_server_name 1556

在Client Server上，
telnet master_server_name 13724
telnet master_server_name 13782
telnet master_server_name 13720

telnet media_server_name 13724
telnet media_server_name 13782
telnet master_server_name 1556

如果端口 telnet不上，請檢查：
1.hosts文件中添加對端server的 hostname和ip 解析是否正確。
  ping server_hostname
  ping server_ip_address

2.到對端的server 上，檢查telnet的端口是否 listening。
  netstat -na
  telnet localhost port_number

3.如果telnet localhost port_number 成功，請檢查網(wǎng)絡(luò)或 OS的防火墻是否將端口 disable

///////////////////////////////////////////////
unified logs,

====windows OS=====
調(diào)整相關(guān) unified log level，
Install_path\netbackup\bin\vxlogcfg –a –p 51216 –o 111 –s DebugLevel=6 –s DiagnosticLevel=6
Install_path\netbackup\bin\vxlogcfg –a –p 51216 –o 116 –s DebugLevel=6 –s DiagnosticLevel=6
Install_path\netbackup\bin\vxlogcfg –a –p 51216 –o 117 –s DebugLevel=6 –s DiagnosticLevel=6
Install_path\netbackup\bin\vxlogcfg –a –p 51216 –o 118 –s DebugLevel=6 –s DiagnosticLevel=6

搜集log，
Install_path\netbackup\bin\vxlogview –p 51216 –o 111 –t 00:10:00 –d all > c:\111.txt

====UNIX/Linux OS=====
調(diào)整相關(guān) unified log level，
/usr/openv/netbackup/bin/vxlogcfg –a –p 51216 –o 111 –s DebugLevel=6 –s DiagnosticLevel=6

搜集log，
/usr/openv/netbackup/bin/vxlogview –p 51216 –o 111 –t 00:10:00 –d all > /tmp/111.txt

//////////////////////////////////////////////

BMR bmrsaveconfig

請?jiān)谶@臺(tái) client上，調(diào)整bmrsavecfg 的log level
Install_path\netbackup\bin\vxlogcfg –a –p 51216 –o 121 –s DebugLevel=6 –s DiagnosticLevel=6

運(yùn)行命令，如果命令報(bào)錯(cuò)，將報(bào)錯(cuò)信息也發(fā)給我。
Install_path\netbackup\bin\bmrsavecfg –infoonly

上面的命令返回提示符后，立刻運(yùn)行命令搜集 log
Install_path\netbackup\bin\vxlogview –p 51216 –o 121 –t 00:10:00 –d all > c:\121.txt

搜集該主機(jī)上以下文件，
Install_path\netbackup\BareMetal\client\data\bmrcli.xml & bundle.dat

將log級別降低，
Install_path\netbackup\bin\vxlogcfg –a –p 51216 –o 121 –s DebugLevel=1 –s DiagnosticLevel=1

=======================

/usr/openv/volmgr/bin/tpconfig -emm_dev_list > /tmp/emmdev_1.txt
/usr/openv/volmgr/bin/vmoprcmd > /tmp/vmoprcmd_1.txt
/usr/openv/netbackup/bin/admincmd/bppllist -allpolicies -L > /tmp/pol.txt
/usr/openv/netbackup/bin/admincmd/bpstulist -L > /tmp/stu.txt
/usr/openv/netbackup/bin/admincmd/bperror -U > /tmp/bperror.txt
/usr/openv/netbackup/bin/admincmd/bpdbjobs > /tmp/bpdbjobs.txt
/usr/openv/netbackup/bin/goodies/available_media > /tmp/am.txt
/usr/openv/netbackup/bin/admincmd/nbemmcmd -listmedia -allrecords > /tmp/emm_media.txt
/usr/openv/netbackup/bin/admincmd/nbemmcmd -listhosts -verbose > /tmp/nbemmcmd.txt

調(diào)整nbemm,nbrb,nbjm的 log level
/usr/openv/netbackup/bin/vxlogcfg -a -p 51216 -o 111 -s DebugLevel=6 -s DiagnosticLevel=6
/usr/openv/netbackup/bin/vxlogcfg -a -p 51216 -o 117 -s DebugLevel=6 -s DiagnosticLevel=6
/usr/openv/netbackup/bin/vxlogcfg -a -p 51216 -o 118 -s DebugLevel=6 -s DiagnosticLevel=6

同時(shí)發(fā)起 4個(gè)作業(yè)，重現(xiàn)兩個(gè)運(yùn)行 &兩個(gè)排隊(duì)的現(xiàn)象（最好這個(gè)現(xiàn)象可以持續(xù) 3分鐘以上）
在這個(gè)現(xiàn)象持續(xù)的過程中，
/usr/openv/volmgr/bin/tpconfig -emm_dev_list > /tmp/emmdev_2.txt
/usr/openv/volmgr/bin/vmoprcmd > /tmp/vmoprcmd_2.txt

搜集log
/usr/openv/netbackup/bin/vxlogview -p 51216 -o 111 -t 00:10:00 -d all > /tmp/111.txt
/usr/openv/netbackup/bin/vxlogview -p 51216 -o 117 -t 00:10:00 -d all > /tmp/117.txt
/usr/openv/netbackup/bin/vxlogview -p 51216 -o 118 -t 00:10:00 -d all > /tmp/118.txt

將以上 /tmp/下的log 和命令輸出文件發(fā)給我。
將后兩個(gè)排隊(duì)作業(yè)的 detailed status信息復(fù)制粘貼到txt文本文件發(fā)給我。
并且告訴我您同時(shí)發(fā)起的 policy的名字。

///////////////////

如果我遇到 catalog備份失敗的問題，我會(huì)按照以下流程操作
1.            向用戶確認(rèn)，之前 catalog備份是否都成功。如果成功，需要檢查這次失敗的原因，或者重啟一下 NBU，備份 catalog，看結(jié)果；如果新配置的，需要檢查 catalog policy的配置。
2.       確認(rèn)這次備份 catalog起了幾個(gè)作業(yè)，應(yīng)該是4個(gè) job。讓用戶把 catalog失敗job 的detailed status發(fā)給我們。
3.            根據(jù)status信息初步判斷問題所在，如這個(gè) case中是811

先檢查一下
Install_path\netbackup\bin\admincmd\nbrbutil -dump > c:\nbrbdump.txt
Install_path\netbackup\bin\admincmd\bppllist -allpolicies -L > c:\pol.txt
Install_path\netbackup\bin\admincmd\bpstulist -L > c:\stu.txt
Install_path\netbackup\bin\admincmd\bperror -U > c:\bperror.txt
Install_path\netbackup\bin\admincmd\nbemmcmd -listhosts -verbose > c:\nbemmcmd.txt
Install_path\netbackup\bin\admincmd\bpminlicense -list_keys -verbose > c:\nbulic.txt
Install_path\netbackup\bin\admincmd\bpdbjobs > c:\job.txt

Install_path\volmgr\bin\vmglob -listall -b > c:\vmglob.txt
Install_path\volmgr\bin\tpconfig -d > c:\tpconfig.txt
Install_path\volmgr\bin\vmoprcmd > c:\vmoprcmd.txt
Install_path\volmgr\bin\tpclean -L > c:\tpclean.txt

搜集相關(guān) log
打開NBU Console界面， Host Properties > Master Servers, 右鍵master server ，點(diǎn)擊Properties，選擇 Logging, 勾選Enable robust logging ，設(shè)置Global Logging Level為 5。
創(chuàng)建log 目錄
Install_path\netbackup\logs\bptm
Install_path\netbackup\logs\bpbrm

重啟NBU的服務(wù)，重新發(fā)起 NBU的 catalog備份，如果失敗，將bptm和 bpbrm下的log 發(fā)給我們。

仍然失敗， bptm和bpbrm 還是有811報(bào)錯(cuò)
需要搜集 unified log

/usr/openv/netbackup/bin/vxlogcfg -a -p 51216 -o 111 -s  DebugLevel=6 -s DiagnosticLevel=6

調(diào)整nbemm,nbrb,nbjm的 log level
/usr/openv/netbackup/bin/vxlogcfg -a -p 51216 -o 111 -s DebugLevel=6 -s DiagnosticLevel=6
/usr/openv/netbackup/bin/vxlogcfg -a -p 51216 -o 117 -s DebugLevel=6 -s DiagnosticLevel=6
/usr/openv/netbackup/bin/vxlogcfg -a -p 51216 -o 118 -s DebugLevel=6 -s DiagnosticLevel=6
重新發(fā)起備份，失敗后
搜集log
/usr/openv/netbackup/bin/vxlogview -p 51216 -o 111 -t 00:10:00 -d all > /tmp/111.txt
/usr/openv/netbackup/bin/vxlogview -p 51216 -o 117 -t 00:10:00 -d all > /tmp/117.txt
/usr/openv/netbackup/bin/vxlogview -p 51216 -o 118 -t 00:10:00 -d all > /tmp/118.txt

/usr/openv/netbackup/bin/admincmd/nbemmcmd -listhost -verbose > /tmp/nbemmcmd.txt
/usr/openv/netbackup/bin/admincmd/bperror -U > /tmp/bperror.txt
/usr/openv/netbackup/bin/admincmd/bppllist -allpolicies -L > /tmp/pol.txt
/usr/openv/netbackup/bin/admincmd/bpstulist -L > /tmp/stu.txt
/usr/openv/netbackup/bin/bpps -x > /tmp/bpps.txt

/usr/openv/volmgr/bin/vmoprcmd -d > /tmp/vmoprcmd_me.txt

/usr/openv/volmgr/bin/tpautoconf -t > /tmp/tpautoconf.txt
/usr/openv/volmgr/bin/tpconfig -d > /tmp/tpconfig.txt
/usr/openv/volmgr/bin/scan > /tmp/scan.txt
/usr/openv/volmgr/bin/vmglob -listall -b > /tmp/vmglob.txt

/usr/openv/netbackup/bin/admincmd/nbrbutil -dump > /tmp/nbrb.txt

/usr/openv/volmgr/bin/vmoprcmd > /tmp/vmoprcmd.txt

/usr/openv/netbackup/bin/admincmd/nbemmcmd -addhost -machinename media_server_name -machinetype media -netbackupversion 7.1 -operatingsystem hpux
/usr/openv/netbackup/bin/admincmd/nbemmcmd -deletehost -machinename media_server_name -machinetype media

nbemmcmd -deletealldevices -machinename media_server_name -machinetype media

////////////////////////

將清洗帶刪除掉，重新按照以下配置。
1.刪除清洗帶
2.重新做robot inventory ，設(shè)置清洗帶的類型，放入 NONE pool，清洗帶類型和磁帶機(jī)的類型一樣，如磁帶機(jī)是 hcart2的，那清洗帶是1/2’’ cleaning tape 2 類型
3.雙擊清洗帶，設(shè)置清洗次數(shù)， Number of cleanings remaining > new account ，輸入一個(gè)數(shù)字，如30
4.檢查清洗帶剩余清洗次數(shù) ,使用命令 install_path\volmgr\bin\vmquery -m media_id_cleaning_tape  檢查輸出想的 cleanings left 參數(shù)

///////////////////////

nbemmcmd -machinealias -getaliases -machinename server_name -machinetype master

//////////////////////////// emm startup failed//////////

1.請確認(rèn)NBU master server 所在的磁盤的剩余空間。 NBU需要剩余空間為磁盤總空間的 10%，如 C盤 40GB size, 需要有4GB 以上的剩余空間，否則 NBU工作會(huì)異常。
2.請運(yùn)行以下命令，并且將執(zhí)行的命令和輸出信息發(fā)給我。
     Install_path\netbackup\bin\nbdb_ping > c:\nbdb_ping.txt
     Install_path\netbackup\bin\bpps > c:\bpps.txt
     Install_path\netbackup\bin\ipconfig /all > c:\ip.txt

     Install_path\netbackup\bin\admincmd\bpgetconfig > c:\nbuconfig.txt
     Install_path\netbackup\bin\admincmd\bpminlicense -list_keys -verbose > c:\nbulic.txt
   
     Install_path\netbackupDB\data\dir > c:\db_dir.txt
     Install_path\netbackupDB\log\dir > c:\log_dir.txt
   
3.收集以下文件發(fā)給我。
    C:\windows\system32\drivers\etc\hosts
    Install_path\netbackupDB\log\server.log

///////////////////////////////re-configure the devices ////////////////////////////////

1.將當(dāng)前其他的備份作業(yè)取消掉，可以執(zhí)行以下命令 ,
     /usr/openv/netbackup/bin/admincmd/nbrbutil -resetAll
    /usr/openv/netbackup/bin/admincmd/nbrbutil -dump （通過這條命令確認(rèn)沒有資源信息的輸出）

2.刪除master server 上的磁帶庫設(shè)備，
     /usr/openv/netbackup/bin/admincmd/nbemmcmd -deletealldevices -machinename SZBK52SVC -machinetype media
    通過命令檢查確認(rèn)，沒有設(shè)備輸出。
    /usr/openv/volmgr/bin/tpconfig -d

3.停NBU 的服務(wù)
   /usr/openv/netbackup/bin/goodies/netbackup stop
   /usr/openv/netbackup/bin/bpps -x  （確認(rèn)除了pbx_exchange進(jìn)程，沒有 NB和 MM的進(jìn)程了）
  /usr/openv/netbackup/bin/goodies/netbackup start
  /usr/openv/netbackup/bin/bpps -x > /tmp/bpps_restart.txt

4.配置磁帶庫設(shè)備
      /usr/openv/volmgr/bin/tpautoconf -t   檢查磁帶機(jī)，應(yīng)該能 list出8 個(gè)磁帶庫的磁帶機(jī)
      /usr/openv/volmgr/bin/tpautoconf -r  檢查機(jī)械手
      /usr/openv/volmgr/bin/tpautoconf -a   將發(fā)現(xiàn)的設(shè)備配置到 NBU中

5.重啟NBU 的服務(wù)
   /usr/openv/netbackup/bin/goodies/netbackup stop
   /usr/openv/netbackup/bin/bpps -x  （確認(rèn)除了pbx_exchange進(jìn)程，沒有 NB和 MM的進(jìn)程了）
  /usr/openv/netbackup/bin/goodies/netbackup start

6.檢查磁帶機(jī)的狀態(tài)
    /usr/openv/volmgr/bin/tpconfig -d > /tmp/tpconfig.txt
    /usr/openv/volmgr/bin/vmoprcmd  > /tmp/vmoprcmd_1.txt
    /usr/openv/volmgr/bin/vmoprcmd -d > /tmp/vmoprcmd_2.txt
  
   
    ////////////////////////////////////////////////////////