nutanix超融合部署案例

1.1. 網(wǎng)絡(luò)拓撲

項目的網(wǎng)絡(luò)拓撲如下圖所示：

說明：

1.本圖重點關(guān)注于nutanix設(shè)備的接線和網(wǎng)拓撲，其他的網(wǎng)絡(luò)和設(shè)備忽略或大概示意

2.出口網(wǎng)絡(luò)是在29樓機房，設(shè)備是位于28樓機房，之間使用光纖直連，跨樓層使用光纖配線架

3.防火墻上需要新配置接口port5和port6，兩個接口的配置完全一樣，在防火墻上配置鏈路聚合模式接口綁定一起

4.交換機為華為S5720-28X，兩臺交換機使用業(yè)務(wù)口進行堆疊配置，堆疊后合并為一臺整體交換機

5.兩臺交換機的萬兆光口上行級聯(lián)到防火墻，接口配置鏈路聚合模式

6.交換機下行連接nutanix設(shè)備的四個節(jié)點的網(wǎng)卡，使用千兆電口，千兆網(wǎng)線

7.防火墻，交換機，nutanix之間的網(wǎng)絡(luò)連接都有冗余，實現(xiàn)了完全的熱備狀態(tài)，任何一個設(shè)備的單點故障都能夠及時切換，保證網(wǎng)絡(luò)和業(yè)務(wù)不會中斷。

1.2. 網(wǎng)絡(luò)冗余及可靠性

為了滿足網(wǎng)絡(luò)的冗余和可靠性的要求，網(wǎng)絡(luò)進行了雙機熱備的雙鏈路設(shè)計，采用的方式為鏈路聚合和交換機堆疊，保證在網(wǎng)絡(luò)設(shè)備單點或者單機故障后的網(wǎng)絡(luò)可靠性，保證業(yè)務(wù)不中斷。詳細的說明見下圖所示：

1.3. 接口對應(yīng)關(guān)系

各個設(shè)備的接口對應(yīng)關(guān)系如下表所示：

1.4. nutanix超融合設(shè)備安裝部署

1.4.1. 設(shè)備介紹

本次項目采購的是Nutanix1465，2U設(shè)備，4個節(jié)點，每個節(jié)點1塊480G的SSD硬盤，2塊6T的HDD硬盤，設(shè)備正面圖如下：

局部按鈕和指示燈，以A節(jié)點作為例子，具體見下圖：

背面有兩個前兆RJ45以太網(wǎng)口，兩個萬兆SFP端口，一個IPMI帶外管理口，雙電源設(shè)計，具體背面如圖：

設(shè)備背面節(jié)點各網(wǎng)口MAC 地址以及序列號，具體細節(jié)見下圖：

設(shè)備背面節(jié)點MAC地址

主機后端網(wǎng)絡(luò)端口布局示意圖

1.4.2. 安裝部署

? 環(huán)境準(zhǔn)備

1) 部署之前在維護電腦上需要安裝桌面端的虛擬化軟件，可以選擇VMware Workstation/Fusion、VirtualBox等；

2) 將Foundation 3.0的Foundation_VM-3.0.ovf.tar解壓縮，然后通過桌面端的虛擬化軟件導(dǎo)入，開啟VM；

3) 開啟虛擬機后可以再桌面看見兩個文件，一個是set_foundation_ip_address，另外一個是Nutanix Foundation； 

4) 點擊set_foundation_ip_address，設(shè)置Foundation VM的IP、子網(wǎng)掩碼、網(wǎng)關(guān)及DNS等信息，然后選擇保存； 

5) 點擊Nutanix Foundation，啟動Nutanix安裝配置過程，進入到全局配置界面，需要根據(jù)事先規(guī)劃好的網(wǎng)絡(luò)配置填寫，包括IPMI、Hypervisor和CVM信息；填寫完成點擊下一步；

備注：

所有IP設(shè)置到同一網(wǎng)段，包括Hypervisor、CVM和IPMI，因為初始化時通過IPMI的MAC地址進行二層訪問，另外后期建議不修改CVM和Hypervisor 的地址，所以建議將IPMI的地址設(shè)置為業(yè)務(wù)網(wǎng)段，初始化完成后，修改IPMI 地址即可。

注意IPMI賬戶：ADMIN（大寫）

6) 進入到Block/Node配置界面，首先Foundation會自動檢測Block/Node狀況，如果檢測不到的情況下就需要手工輸入信息；如下圖點擊增加節(jié)點Add Node；

7) 根據(jù)實際硬件情況，目前我們只有1個Block，每個Block節(jié)點數(shù)是4，然后點擊創(chuàng)建。

8) 然后需要輸入每個節(jié)點的具體信息，包括IPMI的MAC地址(在物理節(jié)點IPMI端口的下面)、IPMI的IP地址、Hypervisor IP地址和CVM IP地址；如果同時安裝4個節(jié)點，要勾選上前面的Position選項；然后點擊下一步；

9) 選擇所要安裝的Hypervisor，這里選擇KVM，然后選擇NOS的Package和Hypervisor ISO Image，點擊下一步；

注釋：NOS的安裝包需要提前將安裝包nutanix_installer_package-danube-<version>-<update>.tar上傳到Foundation的/home/nutanix/foundation/nos下面。 

10) 點擊創(chuàng)建一個Cluster，輸入Cluster Name、Cluster外部IP地址、CVM DNS服務(wù)器、CVM NTP服務(wù)器、Hypervisor NTP服務(wù)器、最大冗余數(shù)；

11) 為Cluster選擇Block和Node，在這里全選；

12) 在核對信息完成后，點擊Run Installation，然后等待安裝完成。

? 網(wǎng)絡(luò)配置

安裝完成后需要配置VLAN，分別在Hypervisor和CVM上進行配置；

1) 首先通過命令行工具SSH登錄到Hypervisor的主機上，

例如ssh root@10.120.189.8給Hypervisor設(shè)置VLAN

ovs-vsctl set port br0 tag=205

然后執(zhí)行命令查看現(xiàn)有虛擬網(wǎng)絡(luò)端口

ovs-vsctl list port br0

2) 在Hypervisor下登錄到CVM

ssh nutanix@192.168.5.254

然后執(zhí)行命令修改VLAN設(shè)置

change_cvm_vlan 205

注:以上IP地址為舉例說明，實際使用時請按照規(guī)劃修改。

1.4.3. 開關(guān)機步驟

? 關(guān)機

1）通知虛擬機所有者，關(guān)閉所有虛擬機；

2）ssh遠程登錄任意一臺CVM，執(zhí)行關(guān)閉集群命令 cluster stop；

3）節(jié)點會依次關(guān)閉，大約需要15-20分鐘；

4）四臺CVM關(guān)閉后，按節(jié)點電源鍵關(guān)機（關(guān)機鍵無順序，長按3s關(guān)機）。

? 開機

1）依次按節(jié)點電源鍵（一般A、B、C、D開機，實際節(jié)點開機順序無關(guān)）

2）3-5分鐘后，節(jié)點依次開機；

3）SSH登陸任意一臺CVM，執(zhí)行開啟集群命令：cluster start

4）群集啟動成功后，測試集群地址連通性，并觀察集群狀態(tài)：cluster status；

5）登陸Prism后，觀察告警信息，如果正常，開啟各虛擬機。

? 查看集群狀態(tài)

登陸后輸入：cluster status