云計(jì)算：大數(shù)據(jù)時(shí)代的系統(tǒng)工程

1.云計(jì)算哲學(xué)（組織資源以服務(wù)，組織技術(shù)以實(shí)現(xiàn)，組織流程以應(yīng)變）：服務(wù)和平臺(tái)

(1)定義：既是指在互聯(lián)網(wǎng)以服務(wù)形式提供應(yīng)用，也是指在數(shù)據(jù)中心提供這些服務(wù)的軟件

云：數(shù)據(jù)中心的硬件和軟件

(2)前身：超大規(guī)模分布式計(jì)算

(3)核心思想：通用、動(dòng)態(tài):、多租賃

彈性：控制損耗(群組通信:單點(diǎn)失效、冗余機(jī)制、多活體機(jī)制、消息順序機(jī)制)、

狀態(tài)感知(成員管理服務(wù)、全局視圖)、

動(dòng)態(tài)平衡(由節(jié)點(diǎn)增加而對(duì)負(fù)載進(jìn)行的動(dòng)態(tài)均衡、DHT算法)

透明：冗余等方式保證系統(tǒng)底層架構(gòu)節(jié)點(diǎn)問題，不會(huì)對(duì)整體影響

        用戶無(wú)需關(guān)心底層實(shí)現(xiàn)方式，只要專注上層的業(yè)務(wù)邏輯

        自容錯(cuò)(會(huì)話復(fù)制技術(shù)、節(jié)點(diǎn)內(nèi)存連接到全局共享內(nèi)存數(shù)據(jù)空間)、

        自管理(分布式的執(zhí)行機(jī)制、基于策略的自動(dòng)化管理、事件驅(qū)動(dòng)機(jī)制)、

        跨平臺(tái)互操作性(用戶通用、應(yīng)用通用、平臺(tái)層通用)

積木化：業(yè)務(wù)流程管理BPM、資源快速重組滿足不同業(yè)務(wù)需要

 (4)模式：商業(yè)模式（云服務(wù)）、技術(shù)（按需提供強(qiáng)大資源的云計(jì)算平臺(tái)）。

 (5)挑戰(zhàn)：大用戶、大數(shù)據(jù)、大系統(tǒng)

 (6)局限：帶寬、安全、原子操作(最小不可分割)時(shí)延問題

2. 2006年8月SES搜索引擎戰(zhàn)略谷歌CEO施密特為云計(jì)算命名

2006年亞馬遜EC2（動(dòng)態(tài)計(jì)算云）服務(wù)明確云計(jì)算商業(yè)模式

3.云商業(yè)模式：

1）SaaS軟件即服務(wù)（互聯(lián)網(wǎng)提供軟件服務(wù)）：按需求提供服務(wù)、無(wú)需購(gòu)買軟件、會(huì)員費(fèi)、不對(duì)底層云基礎(chǔ)設(shè)施進(jìn)行管理控制

2）PaaS平臺(tái)即服務(wù)（互聯(lián)網(wǎng)提供應(yīng)用程序運(yùn)行平臺(tái)服務(wù)）:以服務(wù)形式交付計(jì)算平臺(tái)和解決方案包，提供創(chuàng)建、應(yīng)用測(cè)試及應(yīng)用部署的高度集成環(huán)境，無(wú)需購(gòu)買軟硬件

      (1)不會(huì)對(duì)底層基礎(chǔ)設(shè)施管理控制：網(wǎng)絡(luò)、服務(wù)器、操作系統(tǒng)、存儲(chǔ)等

      (2)可控制所部署的應(yīng)用，服務(wù)商提供應(yīng)用服務(wù)編程接口

      (3)eg：谷歌GAE開發(fā)托管網(wǎng)絡(luò)應(yīng)用平臺(tái)

3）IaaS基礎(chǔ)實(shí)施即服務(wù)：互聯(lián)網(wǎng)提供基礎(chǔ)設(shè)施服務(wù)

  (1)消費(fèi)者獲得處理能力、存儲(chǔ)、網(wǎng)絡(luò)和其他基礎(chǔ)計(jì)算資源

  (2)可部署運(yùn)行操作系統(tǒng)和應(yīng)用等任意軟件

  (3)網(wǎng)站托管、數(shù)據(jù)存儲(chǔ)備份、電子商務(wù)、高性能計(jì)算、搜索引擎、虛擬主機(jī)服務(wù)等

      (4)eg：亞馬遜AWS(存儲(chǔ)、計(jì)算、消息傳遞（SQS）和數(shù)據(jù)采集（SimpleDB）等服務(wù))

4. SaaS面向服務(wù)對(duì)象與普通單機(jī)應(yīng)用程序的客戶無(wú)明顯區(qū)別

  PaaS用戶對(duì)象是開發(fā)人員，需了解平臺(tái)提供環(huán)境下應(yīng)用的開發(fā)和部署

  IaaS最底層的IT基礎(chǔ)設(shè)施服務(wù)，面向IT管理人員

5.部署使用方式

1）公有云Public Cloud：開放給公眾使用的云基礎(chǔ)設(shè)施

2）私有云Private Cloud：客戶單獨(dú)使用而建立的云基礎(chǔ)設(shè)施，提供對(duì)數(shù)據(jù)、安全性和務(wù)質(zhì)量最有效控制，并可控制在此基礎(chǔ)設(shè)施上部署應(yīng)用程序的方式

.【公有云和私有云區(qū)別】主要體現(xiàn)在商業(yè)應(yīng)用方面，技術(shù)上互通，但技術(shù)層面根本區(qū)別訪問權(quán)限和訪問模式的控制（可訪問范圍決定了云的業(yè)務(wù)性質(zhì)）

3）混合云Hybrid Cloud：半公半私，資源借用/租用

6.云計(jì)算技術(shù)流派

Yahu :搜索起家，門戶網(wǎng)站模式

發(fā)展大規(guī)模分布式系統(tǒng)考慮最多的是通用性（支持各種應(yīng)用、非存儲(chǔ)性問題）

未解決郵箱存儲(chǔ)和搜索效率問題推動(dòng)Hadoop

Google：搜索起家，保證大塊數(shù)據(jù)的查詢和搜索的效率和可用性

存儲(chǔ)為根，本、高效新可用性

Amazon：電子商務(wù)，底層架構(gòu)核心作用保證在線交易不中斷

存儲(chǔ)品臺(tái)Dynamo更適用存儲(chǔ)相對(duì)較小的對(duì)象

7.Hadoop：對(duì)大量數(shù)據(jù)進(jìn)行分布式處理的軟件框架，主要由HDFS（文件系統(tǒng)）、MapReduce（計(jì)算機(jī)系統(tǒng)）、Hbase（數(shù)據(jù)庫(kù)）等組成。

Yahu推動(dòng)，技術(shù)思想屬于Google

8. GFS、HDFS：一個(gè)主控服務(wù)器（Master）+多個(gè)子表服務(wù)器（Chunk Server）

9. Dynamo：采用哈希算法切分數(shù)據(jù)，將數(shù)據(jù)在一個(gè)及誒單”環(huán)”內(nèi)均勻存儲(chǔ)，分擔(dān)壓力

10.VMware：主要向企業(yè)用戶提供虛擬化技術(shù)，決定其技術(shù)路徑是自單機(jī)虛擬化做起，向上、發(fā)展處更高層面上的虛擬化技術(shù)來(lái)部署云計(jì)算平臺(tái)

  特點(diǎn)：借虛擬化技術(shù)實(shí)現(xiàn)的各種硬件資源的”池化”，在此基礎(chǔ)上晚上配置、調(diào)度和管理

11.分布式系統(tǒng)：通過網(wǎng)絡(luò)將物理上分散的計(jì)算資源連接起來(lái)解決問題

12.站來(lái)說的.數(shù)據(jù)量含義：總量、流量（并發(fā)量）

13.cebook將數(shù)據(jù)存儲(chǔ)在Hadoop分布式文件系統(tǒng)（HDFS）上，依靠Hive完成數(shù)據(jù)分析

14.系統(tǒng)由許多廉價(jià)的普通組件組成，組件失效是常態(tài)。系統(tǒng)必須時(shí)刻監(jiān)控自身狀態(tài)，迅速地偵查、承受并恢復(fù)失效組件

15.云計(jì)算快速發(fā)展的因素

   1）技術(shù)：光纖使用、寬帶普及、結(jié)點(diǎn)通信、虛擬化技術(shù)、Ajax、LAMP

2）商業(yè)模式&需求：軟件即服務(wù)

16.Ajax：Asynchronous JavaScript XML 異步的JavaScript和XML技術(shù)

   服務(wù)器對(duì)客戶端的表單反饋，不會(huì)因?yàn)椴糠指亩⑿滤许?yè)面內(nèi)容消失再出現(xiàn)的刷新，僅需返回更改必需的數(shù)據(jù)

17.XaaS一切皆可為服務(wù)。衍生商業(yè)流程即服務(wù)、數(shù)據(jù)庫(kù)即服務(wù)、安全即服務(wù)等

     服務(wù)隨時(shí)可接入、服務(wù)應(yīng)永遠(yuǎn)在線、服務(wù)擁有足夠大的用戶群

18.并行計(jì)算：同時(shí)執(zhí)行多個(gè)指令的計(jì)算模式，化大為小加快計(jì)算速度。緊耦合

    耦合：互相交互的系統(tǒng)彼此間的依賴

分布式計(jì)算：松耦合，將分布于各處的計(jì)算資源以透明、可擴(kuò)展方式連接共同解決問題

【比較】(1)分布式計(jì)算的資源分散，通過網(wǎng)絡(luò)節(jié)點(diǎn)連接表現(xiàn)出無(wú)共享的架構(gòu)

           各處處理器都有自己的存儲(chǔ)器，通過處理器之間的消息傳遞進(jìn)行信息交換

        (2)并行計(jì)算通常集中于一處，通過共享存儲(chǔ)來(lái)進(jìn)行信息交換

          所有的處理器共享一個(gè)存儲(chǔ)器，一次交換處理間信息

(3)NUMA(非一致存儲(chǔ)訪問結(jié)構(gòu))和MPP(大規(guī)模并行處理)每個(gè)節(jié)點(diǎn)都有自己的CPU、內(nèi)存和I/O,節(jié)點(diǎn)通過某些機(jī)制信息交互

19.集群(Cluster):用多個(gè)計(jì)算機(jī)，冗余互聯(lián)組成一個(gè)對(duì)用戶來(lái)說單一的高可用性的系統(tǒng)

20.網(wǎng)絡(luò)計(jì)算技術(shù)：將分散在網(wǎng)絡(luò)中的計(jì)算機(jī)節(jié)點(diǎn)(如空閑服務(wù)器、存儲(chǔ)系統(tǒng)等)連接在一起，形成一個(gè)擁有超強(qiáng)性能的虛擬計(jì)算機(jī)，為用戶提供強(qiáng)大的計(jì)算存儲(chǔ)能力

    松耦合、異構(gòu)性質(zhì)更明顯

21.網(wǎng)格計(jì)算：多個(gè)零散資源為個(gè)別任務(wù)提供運(yùn)行環(huán)境

   云計(jì)算：?jiǎn)蝹€(gè)整合資源為多個(gè)用戶提供服務(wù)

22..SOA(Service Oriented Architecture)面向服務(wù)的體系結(jié)構(gòu)，組織和利用可能處于不同所有權(quán)范圍控制下的分散功能的范式

        給定一種彼岸準(zhǔn)接口和一個(gè)約束借口的服務(wù)協(xié)議，則任何業(yè)務(wù)應(yīng)用只要滿足即可通過給定標(biāo)準(zhǔn)接口進(jìn)行通信和交互，實(shí)現(xiàn)對(duì)接。

本質(zhì)：用于交換系統(tǒng)和系統(tǒng)之間的信息的企業(yè)集成技術(shù)

23.EAI(EnterpriseApplication Intergration)企業(yè)應(yīng)用集成技術(shù)：基于消息中間件產(chǎn)品

24.虛擬化(Virtulization)：資源的邏輯表示，不收物理限制的約束

     將底層資源抽象，向上提供與真實(shí)的層相同或類似功能，屏蔽設(shè)備的差異性和兼容性

25.云計(jì)算進(jìn)行負(fù)載均衡方法：橫向切分(按工作量切分)、豎向切分(按工作流程切分)

26.業(yè)務(wù)應(yīng)用架構(gòu)：展現(xiàn)層、業(yè)務(wù)層、數(shù)據(jù)層

27.分布式數(shù)據(jù)總線：運(yùn)維管理系統(tǒng)，數(shù)據(jù)采集系統(tǒng)、數(shù)據(jù)存儲(chǔ)系統(tǒng)、數(shù)據(jù)服務(wù)系統(tǒng)、服務(wù)交付系統(tǒng)，分布式調(diào)度系統(tǒng)/分布式工作流引擎

(1)分布式調(diào)度系統(tǒng)/分布式工作流引擎：系統(tǒng)執(zhí)行者，實(shí)現(xiàn)定義、調(diào)度、協(xié)作和執(zhí)行，主要支撐大規(guī)模系統(tǒng)的自動(dòng)化運(yùn)維和分布式計(jì)算框架的實(shí)現(xiàn)

(2)運(yùn)維管理系統(tǒng)：配置控制。權(quán)限管理、監(jiān)控報(bào)警、應(yīng)用管理、故障管理，集成策略引擎、分布式工作流、資源與服務(wù)管理調(diào)度等機(jī)制

(3)數(shù)據(jù)采集系統(tǒng)(數(shù)據(jù)驅(qū)動(dòng)架構(gòu)起點(diǎn))：配置管理、數(shù)據(jù)過濾、數(shù)據(jù)預(yù)處理

(4)數(shù)據(jù)存儲(chǔ)系統(tǒng)(任何信息系統(tǒng)核心)：統(tǒng)一存儲(chǔ)系統(tǒng)

    關(guān)系型數(shù)據(jù)庫(kù)集群：海量強(qiáng)關(guān)系結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)和快速訪問

    分布式實(shí)時(shí)數(shù)據(jù)庫(kù)：用戶行為數(shù)據(jù)和系統(tǒng)日志數(shù)據(jù)等數(shù)據(jù)量特大、關(guān)聯(lián)性不強(qiáng)

    分布式文件系統(tǒng)：總數(shù)據(jù)量和總?cè)萘慷即蟮母黝悎D片、視頻等媒體文件

非結(jié)構(gòu)化數(shù)據(jù)實(shí)時(shí)高效存儲(chǔ)和訪問

(5)數(shù)據(jù)分析系統(tǒng)：分布式計(jì)算模型(數(shù)據(jù)轉(zhuǎn)換、數(shù)據(jù)聚合、數(shù)據(jù)關(guān)聯(lián)、數(shù)據(jù)挖掘)

(6)數(shù)據(jù)服務(wù)系統(tǒng)：連接企業(yè)信息系統(tǒng)支撐平臺(tái)與上層業(yè)務(wù)應(yīng)用的橋梁

    服務(wù)管理系統(tǒng)：服務(wù)注冊(cè)、注銷、變更、審核、發(fā)布、設(shè)計(jì)

    數(shù)據(jù)訪問服務(wù)---數(shù)據(jù)緩存：數(shù)據(jù)庫(kù)訪問、實(shí)時(shí)訪問、文件系統(tǒng)訪問…

    業(yè)務(wù)邏輯服務(wù)---數(shù)據(jù)緩存：推存系統(tǒng)、智能分析、統(tǒng)計(jì)報(bào)表…

(7)服務(wù)交付框架：前端服務(wù)器、交付服務(wù)器、負(fù)載均衡