terminating the instance due to error 119

RAC安裝過程一切正常，關機重啟后，GI啟動正常，實例沒起來。

[root@rac1 network-scripts]# crsctl stat res -t

--------------------------------------------------------------------------------

NAME           TARGET  STATE        SERVER                   STATE_DETAILS       

--------------------------------------------------------------------------------

Local Resources

--------------------------------------------------------------------------------

ora.DATA.dg

               ONLINE  ONLINE       rac1                                         

               ONLINE  ONLINE       rac2                                         

ora.FRA.dg

               ONLINE  ONLINE       rac1                                         

               ONLINE  ONLINE       rac2                                         

ora.LISTENER.lsnr

               ONLINE  ONLINE       rac1                                         

               ONLINE  ONLINE       rac2                                         

ora.OCR.dg

               ONLINE  ONLINE       rac1                                         

               ONLINE  ONLINE       rac2                                         

ora.asm

               ONLINE  ONLINE       rac1                     Started             

               ONLINE  ONLINE       rac2                     Started             

ora.gsd

               OFFLINE OFFLINE      rac1                                         

               OFFLINE OFFLINE      rac2                                         

ora.net1.network

               ONLINE  ONLINE       rac1                                         

               ONLINE  ONLINE       rac2                                         

ora.ons

               ONLINE  ONLINE       rac1                                         

               ONLINE  ONLINE       rac2                                         

--------------------------------------------------------------------------------

Cluster Resources

--------------------------------------------------------------------------------

ora.LISTENER_SCAN1.lsnr

      1        ONLINE  ONLINE       rac1                                         

ora.LISTENER_SCAN2.lsnr

      1        ONLINE  ONLINE       rac2                                         

ora.LISTENER_SCAN3.lsnr

      1        ONLINE  ONLINE       rac2                                         

ora.cvu

      1        ONLINE  ONLINE       rac2                                         

ora.oc4j

      1        ONLINE  ONLINE       rac2                                         

ora.rac.db

      1        ONLINE  OFFLINE                               Instance Shutdown   

      2        ONLINE  OFFLINE                               Instance Shutdown   

ora.rac1.vip

      1        ONLINE  ONLINE       rac1                                         

ora.rac2.vip

      1        ONLINE  ONLINE       rac2                                         

ora.scan1.vip

      1        ONLINE  ONLINE       rac1                                         

ora.scan2.vip

      1        ONLINE  ONLINE       rac2                                         

ora.scan3.vip

      1        ONLINE  ONLINE       rac2                                         

馬上查數(shù)據(jù)庫日志，有如下發(fā)現(xiàn)

[oracle@rac1 trace]$ tail -200f alert_RAC1.log 

USER (ospid: 3610): terminating the instance due to error 119

Instance terminated by USER, pid = 3610

強行啟動行不行呢？

[root@rac1 ~]# srvctl start database -d RAC

PRCR-1079 : 無法啟動資源 ora.rac.db

CRS-5017: The resource action "ora.rac.db start" encountered the following error: 

ORA-00119: invalid specification for system parameter REMOTE_LISTENER

ORA-00132: syntax error or unresolved network name 'rac-scan.us.oracle.com:1521'

. For details refer to "(:CLSN00107:)" in "/u01/app/11.2.0/grid/log/rac2/agent/crsd/oraagent_oracle/oraagent_oracle.log".

CRS-5017: The resource action "ora.rac.db start" encountered the following error: 

ORA-00119: invalid specification for system parameter REMOTE_LISTENER

ORA-00132: syntax error or unresolved network name 'rac-scan.us.oracle.com:1521'

. For details refer to "(:CLSN00107:)" in "/u01/app/11.2.0/grid/log/rac1/agent/crsd/oraagent_oracle/oraagent_oracle.log".

CRS-2674: Start of 'ora.rac.db' on 'rac2' failed

CRS-2674: Start of 'ora.rac.db' on 'rac1' failed

CRS-2632: There are no more servers to try to place resource 'ora.rac.db' on that would satisfy its placement policy

注意到報錯信息中提到ORA-00132: syntax error or unresolved network name 'rac-scan.us.oracle.com:1521'，是不是呢？

反正和網(wǎng)絡有關先tnsping一下

[grid@rac1 ~]$ tnsping rac2

TNS Ping Utility for Linux: Version 11.2.0.4.0 - Production on 09-DEC-2015 00:56:12

Copyright (c) 1997, 2013, Oracle.  All rights reserved.

Used parameter files:

/u01/app/11.2.0/grid/network/admin/sqlnet.ora

Used EZCONNECT adapter to resolve the alias

Attempting to contact (DESCRIPTION=(CONNECT_DATA=(SERVICE_NAME=))(ADDRESS=(PROTOCOL=TCP)(HOST=192.168.56.12)(PORT=1521)))

OK (0 msec)

看來到監(jiān)聽是沒問題的

不放心，再看一眼tnsnames.ora

[root@rac1 ~]# cat /u01/app/oracle/product/11.2.0/dbhome_1/network/admin/tnsnames.ora

# tnsnames.ora Network Configuration File: /u01/app/oracle/product/11.2.0/dbhome_1/network/admin/tnsnames.ora

# Generated by Oracle configuration tools.

RAC =

  (DESCRIPTION =

    (ADDRESS = (PROTOCOL = TCP)(HOST = rac-scan.us.oracle.com)(PORT = 1521))

    (CONNECT_DATA =

      (SERVER = DEDICATED)

      (SERVICE_NAME = RAC)

    )

  )

[root@rac1 ~]# ping rac-scan.us.oracle.com

ping: unknown host rac-scan.us.oracle.com

這就有問題了，我在DNS中配置的域名怎么會不可達呢？安裝時一切功能都正常的呀！

[root@rac1 ~]# nslookup rac-scan.us.oracle.com

Server: 192.168.1.1

Address: 192.168.1.1#53

** server can't find rac-scan.us.oracle.com: NXDOMAIN

更有問題了，DNS服務器怎么成192.168.1.1了呢？

依次對照所有的DNS配置文件，發(fā)現(xiàn)了一個異常的

[root@rac1 ~]# cat /etc/resolv.conf 

; generated by /sbin/dhclient-script

nameserver 192.168.1.1

nameserver 192.168.0.1

怎么回到了操作系統(tǒng)最初始的配置了呢？這就要提到另外一個配置文件

[root@rac2 network-scripts]# cat ifcfg-eth0

DEVICE=eth0

TYPE=Ethernet

ONBOOT=yes

NM_CONTROLLED=yes

BOOTPROTO=dhcp

DEFROUTE=yes

PEERDNS=yes

PEERROUTES=yes

IPV4_FAILURE_FATAL=yes

IPV6INIT=no

NAME="System eth0"

USERCTL=no

注意到其中的PEERDNS=yes這一項了嗎？

在5.0時代DNS服務器寫在 /etc/resolv.conf 文件中，但到了6.0時代DNS可以寫在/etc/resolv.conf但是此時需要在 /etc/sysconfig/network-scripts/ifcfg-eth0 文件中添加 PEERDNS=no 配置，不然每次重啟網(wǎng)卡就會重寫/etc/resolv.conf文件的內容。

http://blog.chinaunix.net/uid-26495963-id-3230810.html