vcenter5.5升級(jí)到6.0失敗的分析與思考--數(shù)據(jù)庫(kù)大于50G

事件：vcenter5.5升級(jí)到6.0失敗

1.升級(jí)時(shí)，有十幾個(gè)Pl (存儲(chǔ)過(guò)程）失效

2.30G temp 表空間很快就被用完，臨時(shí)擴(kuò)充表空間到99G，空間也快被用滿。

3. 檢查升級(jí)過(guò)程中執(zhí)行的SQL語(yǔ)句，發(fā)現(xiàn)如下一條語(yǔ)句執(zhí)行時(shí)間超長(zhǎng)

INSERT INTO VPX_HIST_STAT1_224 SELECT  INSERTED.COUNTER_ID,HS.TIME_ID,SUM(STAT_VAL)  FROM VPX_HIST_STAT1_224 HS INNER JOIN VPX_STAT_COUNTER SC ON HS.COUNTER_ID = SC.COUNTER_ID   INNER JOIN VPX_DEVICE D ON SC.DEVICE_ID=D.DEVICE_ID   INNER JOIN VPX_OBJECT_HIERARCHY H ON SC.ENTITY_ID = H.STAT_ENTITY_ID  INNER JOIN (SELECT SC.ENTITY_ID, SC.COUNTER_ID,  CASE WHEN SD49.NAME='swapused' AND SD49.GROUP_NAME='mem' AND SD49.ROLLUP_TYPE=0  THEN (SELECT ID FROM VPX_STAT_DEF  WHERE NAME='swapped' AND GROUP_NAME='mem' AND ROLLUP_TYPE=0)  ELSE SC.STAT_ID END MODSTAT_ID, NC.AGGR_TO, NC.AGGR_TYPE  FROM VPX_STAT_ID T  INNER JOIN VPX_STAT_COUNTER SC ON SC.ENTITY_ID=T.ID  INNER JOIN VPX_NEW_COUNTERS NC ON NC.COUNTER_ID = SC.STAT_ID  INNER JOIN VPX_STAT_DEF SD49 ON SD49.ID = SC.STAT_ID) INSERTED  ON  H.PARENT_STAT_ENTITY_ID=INSERTED.ENTITY_ID AND INSERTED.MODSTAT_ID=SC.STAT_ID  AND (INSERTED.AGGR_TYPE=H.ENTITY_TYPE OR H.ENTITY_TYPE='R' )  AND (H.ENTITY_TYPE=INSERTED.AGGR_TO OR (INSERTED.AGGR_TO='C' AND H.ENTITY_TYPE IN ('V','H')))  WHERE  D.DEVICE_NAME IS NULL GROUP BY HS.TIME_ID,SC.STAT_ID,INSERTED.COUNTER_ID 

現(xiàn)象： 此語(yǔ)句一直被執(zhí)行，temp 里空間也是被此語(yǔ)句占滿

4. 在升級(jí)界面沒(méi)有反應(yīng)一個(gè)多小時(shí)后，報(bào)升級(jí)失敗。

分析：

升級(jí)過(guò)程在同版本的其他vc上非常順利，但這個(gè)生產(chǎn)VC上卻報(bào)錯(cuò)。檢查了下庫(kù)，發(fā)現(xiàn)在這個(gè)VC上，VCTBS表空間有74G,B比其他VC上的數(shù)據(jù)庫(kù)都大。

翻看官方的KB，發(fā)現(xiàn)一個(gè)KB中提到如果數(shù)據(jù)庫(kù)過(guò)大超50G，表的行數(shù)超8億，容易出現(xiàn)升級(jí)緩慢和失敗，需要重新減小數(shù)據(jù)庫(kù)尺寸再升級(jí)。

如果vCenter Server數(shù)據(jù)庫(kù)是非常大的（50 GB或更多），在vpx_hist_stat#表的行數(shù)很高（8億以上），數(shù)據(jù)庫(kù)匯總腳本可能難以處理的數(shù)據(jù)量。要使匯總的腳本運(yùn)行速度更快，則需要減少vCenter Server數(shù)據(jù)庫(kù)的大小。

分析：

要減小 vCenter Server 數(shù)據(jù)庫(kù)的大小，可以將刪除所有歷史數(shù)據(jù)。 但為了安全，需要保留一些歷史性能數(shù)據(jù)而不是全部刪除。

解決：

1、確保已經(jīng)完好備份 vCenter Server Database。

2、關(guān)閉 VMware VirtualCenter Server 服務(wù)及任何其他使用該數(shù)據(jù)庫(kù)的服務(wù)

3、截?cái)?nbsp;VPX_HIST_STAT1 表及相應(yīng)的 VPX_SAMPLE_TIME1 表。 截?cái)嗤瓿珊螅?yàn)證匯總作業(yè)現(xiàn)在是否已成功完成。

要截?cái)啾?，?qǐng)執(zhí)行以下 SQL 語(yǔ)句：

truncate table VPX_HIST_STAT1;

注意： 在 vCenter Server 5.1 和 5.5 中，表名稱為 VPX_HIST_STAT1_n。

truncate table VPX_SAMPLE_TIME1;

注意： 要減小 vCenter Server 數(shù)據(jù)庫(kù)的大小，還可以刪除 VPX_EVENT、VPX_EVENT_ARG 和 VPX_TASK 表中的數(shù)據(jù)。 要?jiǎng)h除這些表中的數(shù)據(jù)，請(qǐng)參見(jiàn) Purging old data from the database used by vCenter Server (1025914) 或 Purging old data from the database used by VirtualCenter 2.x (1000125)。

如果匯總作業(yè)未成功完成，則您可能需要截?cái)?nbsp;VPX_HIST_STAT2 表及相應(yīng)的 VPX_SAMPLE_TIME2 表。 繼續(xù)截?cái)?nbsp;VPX_HIST_STAT[1-4] 表及相應(yīng)的VPX_SAMPLE_TIME[1-4] 表，直到匯總作業(yè)成功完成。

注意： vCenter Server 4.1 和 5.0 中的以下其他表也可以截?cái)嘁赃M(jìn)一步減小 vCenter Server 數(shù)據(jù)庫(kù)的大小。 在處理性能數(shù)據(jù)并將其移至VPX_HIST_STAT1 之前，VPX_TEMPTABLEx 表是性能數(shù)據(jù)的暫存/緩存區(qū)域。

truncate table VPX_TEMPTABLE0;
truncate table VPX_TEMPTABLE1;
truncate table VPX_TEMPTABLE2;
實(shí)際解決辦法：

按以下步驟來(lái)操作

1. 1.       https://kb.vmware.com/kb/2110031 下載ORACLE腳本

2. 2.       上傳到ORACLE服務(wù)器上

3. 3.       運(yùn)行腳本

SQL> @/2110031_Oracle_task_event_stat.sql

Table created.

…..

Enter value for 1: 1

Enter value for 2: 1

Enter value for 3: 1

-------------------------------------------------------------------

Database cleanup may take long time depends on size of VPX_TASK,

VPX_EVENT, VPX_SAMPLE_TIME1, VPX_SAMPLE_TIME2, VPX_SAMPLE_TIME3,

VPX_SAMPLE_TIME4 and all VPX_HIST_STATx_y tables.

-------------------------------------------------------------------

Staring cleanup database at 03-07-2017 09:48:41

---------------------------------------------------------------

Deleting tasks older than  03-06-2017 01:48:41

Deleting events older than  03-06-2017 01:48:54

Deleting statistics older than  03-06-2017 01:50:01

---------------------------------------------------------------

Cleanup database completed at 03-07-2017 09:50:44

Table dropped.

…

1. 4.       正常升級(jí).

2. 5.       檢查臨時(shí)表空間使用率

TABLESPACE_NAME                TOTAL_BYTES FREE_BYTES  USE_BYTES   USE

------------------------------ ----------- ----------- ----------- -------

SYSAUX                           1,670.000     208.250   1,461.750  87.53%

UNDOTBS1                         6,075.000   4,031.063   2,043.938  33.65%

VUM                              1,024.000   1,013.688      10.313   1.01%

USERS                                5.000       3.688       1.313  26.25%

SYSTEM                             820.000       9.125     810.875  98.89%

VCTBS                           73,727.984  62,865.250  10,862.734  14.73%

TEMP                            28,672.000  23,132.000   5,540.000  19.32%

然后等升級(jí)完成就可以了

關(guān)于匯總腳本

1. 要運(yùn)行匯總腳本，請(qǐng)執(zhí)行以下步驟：
   
   

   1. 使用 SQL Management Studio 連接到 vCenter Server 的 SQL 數(shù)據(jù)庫(kù)。

   2. 導(dǎo)航到 SQL Server Agent > 作業(yè)。

   3. 選擇各個(gè)匯總作業(yè)，然后右鍵單擊并選擇啟動(dòng)作業(yè)于步驟。
      
      

2. 啟動(dòng) VMware VirtualCenter Server 服務(wù)及任何其他在步驟 2 中停止的服務(wù)。

截?cái)?vCenter Server 5.1、5.5 和 6.0 中的所有性能數(shù)據(jù)

有關(guān)截?cái)?vCenter Server 和 vCenter Server Appliance 5.1、5.5 及 6.0 中數(shù)據(jù)的信息，請(qǐng)參見(jiàn) Selective deletion of tasks, events, and historical performance data in vSphere 5.x and 6.x (2110031)