第一篇:云計算總結(jié)
云計算總結(jié)
(2009-10-22 00:02:46)轉(zhuǎn)載▼
標(biāo)簽: 分類: 教育技術(shù)學(xué)基礎(chǔ)云計算 理論
云計算是在網(wǎng)格計算之后06年開始流行起來的一個名詞,以下是我針對云計算的基本內(nèi)容做一個總結(jié):
一、云計算的概念:
到目前為止,云計算還沒有一個統(tǒng)一的定義。IBM,Google,Microsoft,SUN,Amazon等研究組織和相關(guān)廠家,依據(jù)各自的利益和各自不同個的研究視角都給出了對云計算的定義和理解。
IBM公司于2007年宣布了藍云計劃,在IBM的技術(shù)白皮書中“Cloud Computing”中云計算的定義如下:“云計算一詞用來同時描述一個系統(tǒng)平臺或者一種類型的應(yīng)用程序。一個云計算的平臺按需進行動態(tài)的部署(provision)、配置(configuration)、重新配置(reconfigure)以及取消服務(wù)(deprovision)等。在云計算平臺中的服務(wù)器可以是物理的服務(wù)器或者虛擬的服務(wù)器。高級的計算云通常包含一些其他的計算資源,例如存儲區(qū)域網(wǎng)絡(luò)(SANs),網(wǎng)絡(luò)設(shè)備,防火墻以及其他安全設(shè)備等。云計算在描述應(yīng)用方面,它描述了一種可以通過互聯(lián)網(wǎng)Internet進行訪問的高擴展的應(yīng)用程序。
“云使用”是大規(guī)模的數(shù)據(jù)中心以及功能強勁的服務(wù)器來運行網(wǎng)絡(luò)應(yīng)用程序與網(wǎng)絡(luò)服務(wù)。任何一個用戶可以通過合適的互聯(lián)網(wǎng)接入設(shè)備以及一個標(biāo)準(zhǔn)的瀏覽器就能夠訪問一個云計算應(yīng)用程序。”
上面的定義給出了云計算的兩個方面的含義:一方面描述了基礎(chǔ)設(shè)施,用來構(gòu)造應(yīng)用程序,其地位相當(dāng)于PC機上的操作系統(tǒng);另一方面描述了建立在這種基礎(chǔ)設(shè)施之上的云計算應(yīng)用。
還有以下分別從模型、模式等方面對云計算的定義
云計算是一種新興的計算模型:用戶可以利用該模型在任何地方通過連接的設(shè)備訪問應(yīng)用程序,應(yīng)用程序位于可大規(guī)模伸縮的數(shù)據(jù)中心,計算資源可在其中動態(tài)部署并進行共享;或是脫離了本地計算且計算任務(wù)分配到遠(yuǎn)端大型的統(tǒng)一的計算平臺上的模型
云是由一系列相互聯(lián)系并且虛擬化的計算機組成的并行和分布式系統(tǒng)模式。基于這樣云的計算稱為云計算。簡單地說,云計算就是指基于互聯(lián)網(wǎng)絡(luò)的超級計算模式。即把存儲于個人電腦、服務(wù)器和其他設(shè)備上的大量存儲器容量和處理器資源集中在一起,統(tǒng)一管理并且協(xié)同工作。
云計算(Cloud Computing)是分布式處理(Distributed Computing)、并行處理(Parallel Computing)和網(wǎng)格計算(Grid
Computing)的發(fā)展,或者說是這些計算機科學(xué)概念的商業(yè)實現(xiàn)。
根據(jù)上面的引用內(nèi)容,我認(rèn)為云計算的功能類似于Telenet,只是Telenet中的遠(yuǎn)程計算機變成了云計算服務(wù)器,用戶只需通過PC機、筆記本或智能手機聯(lián)通網(wǎng)絡(luò),在云計算平臺上實現(xiàn)自己的要求即可。而且用戶端口只需要有基本的輸入輸出界面,網(wǎng)絡(luò)連接設(shè)備即可,不需用安裝各種各樣的軟件;用戶的數(shù)據(jù)存儲在云計算數(shù)據(jù)中心,不用再擔(dān)心如果硬盤出問題數(shù)據(jù)丟失的問題。即隨時隨地只要能上網(wǎng)就能應(yīng)用各種各樣的服務(wù),如同錢莊、銀行、發(fā)電廠等。用一個圖片來解釋如下:
二、云計算的特征
要想成為云計算,必須具備以下五個方面的特征:1)水平可擴展性,即將多片云連接并整合為一片云來工作的能力。
2)垂直可擴展性,即通過增強云中單個或多個節(jié)點的性能來提升整個云性能的能力。3)以互聯(lián)網(wǎng)為中心。云平臺運營商一互聯(lián)網(wǎng)為中心,將存儲和運算能力分布在網(wǎng)絡(luò)所連接的各個節(jié)點之中,從而弱化終端的計算能力,使互聯(lián)網(wǎng)的架構(gòu)由“服務(wù)器+客戶端”向“云服務(wù)平臺+客戶端”演進。4)虛擬化,將底層的硬件,包括服務(wù)器、存儲于網(wǎng)絡(luò)設(shè)備全面虛擬化,建立起一個共享的可以按需分配的基礎(chǔ)資源池。5)用戶透明,包括操作透明和技術(shù)透明。操作透明,即對處在云計算環(huán)境下的用戶來說,在云中進行計算操作或數(shù)據(jù)存儲操作與其在本機上進行相應(yīng)的操作是沒有區(qū)別的;技術(shù)透明,指用戶不用關(guān)心云中的節(jié)點是如何協(xié)同工作的以及怎樣擴展的。
三、云計算的應(yīng)用類型
Saas(軟件即服務(wù))——通過瀏覽器把程序傳給成千上萬的用戶。
Paas(平臺即服務(wù))——把開發(fā)環(huán)境作為一種服務(wù)來提供。Iaas(基礎(chǔ)設(shè)施即服務(wù))
1、SaaS軟件即服務(wù)
這類云計算是通過WEB瀏覽器來向成千上萬個用戶提供某種單一的軟件應(yīng)用。在用戶看來,這樣他們不需要事先購買服務(wù)器設(shè)備或是軟件授權(quán);而對于廠商來說,與常規(guī)的軟件
服務(wù)模式相比,僅提供一項應(yīng)用的成本也要低得多。一個典型的針對企業(yè)級應(yīng)用的例子就是Salesforce.com的CRM。另外,SaaS在人力資源軟件應(yīng)用中也比較普遍,甚至它已經(jīng)開始向ERP領(lǐng)域拓展,如Workday。而且,誰又能料到,GoogleApps和Zoho Office這種同樣基于SaaS的“桌面”應(yīng)用會突然火爆起來呢?
2、公用/效用計算
公用/效用計算雖已不是新穎的概念了,但如今它正被付予新的含義。Amazon的AWS、Sun的存儲云、IBM的“藍云”以及其他廠商所共同倡導(dǎo)的的云計算,正在為整個業(yè)界提供所需要的存儲資源和虛擬化服務(wù)器等應(yīng)用。早期的企業(yè)主要將公用/效用計算作為一種補充手段,不會應(yīng)用在關(guān)鍵性任務(wù)需求上。但是時至今日公用/效用計算逐漸在數(shù)據(jù)中心開始占據(jù)一席之地。一些廠商開始幫助企業(yè)用戶創(chuàng)建虛擬的數(shù)據(jù)中心,諸如3Tera的AppLogic,Cohesive Flexible Technologies的Elastic Server on Demand(可按需實現(xiàn)彈性擴展的服務(wù)器)。Liquid Computing公司的LiquidQ也有類似的服務(wù),能幫助企業(yè)將內(nèi)存、I/0、存儲和計算容量通過網(wǎng)絡(luò)集成為一個虛擬的資源池來使用。
云計算如今已成為又一風(fēng)靡的概念。與很多同行一樣,Gartner資深分析師Ben Pring認(rèn)為:“云計算就像法國大餐一
樣正被人們津津樂道。”然而,問題在于(類似Web 2.0一樣),似乎每個人對云計算的定義都有不同之處。
3、云計算領(lǐng)域的WEB服務(wù)
與SaaS有些類似,WEB服務(wù)廠商也是通過提供API讓開發(fā)人員來開發(fā)互聯(lián)網(wǎng)應(yīng)用,而不是自己來提供功能全面的應(yīng)用軟件。這種云計算的服務(wù)范圍非常廣泛,從分散的商業(yè)服務(wù)(諸如Strike Iron和Xignite),到GoogleMaps、ADP薪資處理、美國郵政服務(wù)、Bloomberg和常規(guī)信用卡處理服務(wù)等的全套API服務(wù)。
4、平臺即服務(wù)
平臺即服務(wù)(Platform as a service)是軟件即服務(wù)(SaaS)的變種,這種形式的云計算將開發(fā)環(huán)境作為服務(wù)來提供給用戶。也就是說,用戶可以在供應(yīng)商的基礎(chǔ)架構(gòu)上創(chuàng)建自己的應(yīng)用軟件來運行,然后通過網(wǎng)絡(luò)直接從供應(yīng)商的服務(wù)器上傳遞給其他用戶(例如Legos)。然而,這類服務(wù)會受到廠商的設(shè)計規(guī)定與容量限制,用戶也因此沒有足夠的自由。這類云計算服務(wù)包括Salesforce.com的Force.com、Coghead和全新的GoogleApp Engine。
5、管理服務(wù)供應(yīng)商(MSP)
管理服務(wù)(managed service)是云計算最古老的形式之一,它面向的IT管理人員而不是最終用戶,例如用于電子郵件的病
毒掃描服務(wù),還有應(yīng)用軟件監(jiān)控服務(wù)等。由SecureWorks、IBM和Verizon公司提供的管理安全服務(wù)就可歸為此類,還包括目前被Google收購的Postini以云為基礎(chǔ)的反垃圾郵件服務(wù)。MSP的其他產(chǎn)品還包含桌面管理服務(wù),諸如CenterBeam和Everdream提供的產(chǎn)品。
6、服務(wù)商業(yè)平臺
這種云計算服務(wù)融合了SaaS和MSP,它實際上為用戶提供了一種交互性服務(wù)平臺。這在日常的商業(yè)貿(mào)易領(lǐng)域是非常普遍的,比如,某種消費管理系統(tǒng)可以讓用戶從一個網(wǎng)絡(luò)平臺上訂購旅行或秘書類服務(wù),而且服務(wù)的配送實現(xiàn)方式和價格也都是由用戶事先設(shè)定好的。其非常典型的例子是Rearden Commerce和Ariba。
7、云計算集成
云計算服務(wù)的整合還只是剛剛開始。SaaS供應(yīng)商OpSource最近就推出了OpSource Services Bus,它使用了一家叫Boomi的小公司的云計算集成技術(shù)。另一家SaaS 供應(yīng)商Workday最近也收購了該領(lǐng)域的另一家公司CapeClear。CapeClear提供的是針對B2B集成的ESB(enterprise service bus,企業(yè)服務(wù)總線)。另外,2005開始興起的Grand Central,則想成為一種通用的“云計算總線”(bus in the cloud),通過把多家SaaS供應(yīng)商聯(lián)合在一起來為客戶提供完整的服務(wù)。
四、技術(shù)挑戰(zhàn)
1、高可靠的系統(tǒng)技術(shù)——大規(guī)模的集成計算機系統(tǒng);容錯技術(shù),即單節(jié)點的錯誤不應(yīng)影響系統(tǒng)運行,能夠檢查錯點,具有重啟技術(shù)。
2、可擴展的并行計算技術(shù)——云計算的核心技術(shù)
3、海量的數(shù)據(jù)挖掘存儲和管理技術(shù)——并行計算,加速數(shù)據(jù)處理,需要新的思路、方法、算法;將集群數(shù)據(jù)庫擴展到成千上萬個節(jié)點還是被類似于google文件系統(tǒng)的新技術(shù)替代?
4、數(shù)據(jù)安全技術(shù)——數(shù)據(jù)銀行;安全性,保密性,訪問權(quán)限的風(fēng)險性;隱私和可靠性。
關(guān)于云計算還有很多內(nèi)容,在以后的學(xué)習(xí)中我將慢慢補充。
第二篇:云計算第二章總結(jié)
Google云計算技術(shù)包括:
Google文件系統(tǒng) GFS、分布式計算編程模型MapReduce、分布式鎖服務(wù)Chubby、分布式結(jié)構(gòu)化數(shù)據(jù)表Bigtable。
簡述谷歌文件系統(tǒng)GFS:
GFS是一個大型的分布式文件系統(tǒng),它為Goole云計算提供海量存儲,并且與Chubby、MapReduce及Bigtable等技術(shù)結(jié)合十分緊密,處于所有 核心技術(shù)的底層。
GFS將整個系統(tǒng)的節(jié)點分為哪幾類角色:
Client(客戶端)、Master(主服務(wù)器)、Chunk Server(數(shù)據(jù)塊服務(wù)器)。
Master是GFS的管理節(jié)點,在邏輯上只有一個,他保存系統(tǒng)的元數(shù)據(jù),負(fù)責(zé)整個文件系統(tǒng)的管理,是GFS文件系統(tǒng)中的“大腦”。
Chunk Server負(fù)責(zé)具體的存儲工作。數(shù)據(jù)以文件的形式存儲在Chunk Server 的個數(shù)可以有多個,他的數(shù)目直接決定了GFS的規(guī)模。GFS將文件按照固定大小進行分塊,默認(rèn)是64MB,每一塊稱為一個Chunk(數(shù)據(jù)塊),每個Chunk都有一個對應(yīng)的索引號(Index)。
GFS具有哪些特點:
1、采用中心服務(wù)器模式:GFS采用中心服務(wù)器模式管理整個文件系統(tǒng),增加新的Chunk Server是一件非常容易的事情。
2、不緩存數(shù)據(jù):緩存機制是提升文件系統(tǒng)的性能的一個重要手段,通用文件系統(tǒng)為了提高性能,一般需要實現(xiàn)復(fù)雜的緩存機制。GFS文件系統(tǒng)根據(jù)應(yīng)用的特點,沒有實現(xiàn)緩存,因為GFS的數(shù)據(jù)在Chunk Server上是以文件的形式存儲。
3、在用戶態(tài)下實現(xiàn)
4、只提供專用接口
GFS容錯機制包含:
1、Master容錯: Master上保存了GFS文件系統(tǒng)的三種元數(shù)據(jù)。(1)、命名空間,也就是整個文件系統(tǒng)的目錄結(jié)構(gòu)。(2)、Chunk與文件名的映射表
(3)、Chunk副本的位置信息,每一個Chunk默認(rèn)有三個副本。
前兩種GFS通過操作日志來提供容錯功能。第三種直接保存各個Chunk Server上,當(dāng)master發(fā)生故障時,迅速恢復(fù)以上元數(shù)據(jù)。為了防止master徹底死機,GFS提供了master遠(yuǎn)程的實時備份。
2、Chunk Server容錯: GFS采用副本的方式實現(xiàn)其容錯。如果相關(guān)副本丟失或不可恢復(fù),master自動將副本復(fù)制到其他Chunk Server.GFS把每一個文件劃分成多個Chunk, GFS系統(tǒng)管理技術(shù):
1、大規(guī)模集群安裝技術(shù)
2、故障檢測技術(shù)
3、節(jié)點動態(tài)加入技術(shù)
4、節(jié)能技術(shù)
分布式數(shù)據(jù)處理MapReduce:
什么是MapReduce? Map(映射)Reduce(化簡)是Google提出的一個軟件架構(gòu),是一種處理海量數(shù)據(jù)的并行編程模式,用于大規(guī)模數(shù)據(jù)集的并行計算。
MapReduce封裝了并行處理、容錯處理、本地化計算、負(fù)載均衡等細(xì)節(jié),還提供了一個接口。MapReduce把對數(shù)據(jù)集的大規(guī)模操作,分發(fā)給一個主節(jié)點管理下的各分節(jié)點共同完成,通過這種方式實現(xiàn)任務(wù)的可靠執(zhí)行與容錯機制。
MapReduce的容錯機制:通過重新執(zhí)行失效的地方來實現(xiàn)容錯。
1、Master失效:master會周期性地設(shè)置檢查點,并導(dǎo)出Master的數(shù)據(jù)。一旦某個任務(wù)失效,系統(tǒng)就從最近的一個檢查點恢復(fù)并重新執(zhí)行。如果master失效終止整個MapReduce重新開始。
2、Worker失效:
Master會周期性的給worker發(fā)送Ping命令,如果沒有worker的應(yīng)答,則master認(rèn)為worker失效,終止對這個worker的任務(wù)調(diào)度,把失效的worker的任務(wù)調(diào)度到其他worker上重新執(zhí)行。
如何利用MapReduce進行數(shù)據(jù)排序:
1、對原始數(shù)據(jù)進行分割
2、對每個數(shù)據(jù)分塊都啟動一個Map進行處理。
3、對于Map之后得到的中間結(jié)果,啟動26各Reduce。
什么是分布式鎖服務(wù)Chubby:
Chubby是
1、Google設(shè)計的提供粗粒度鎖服務(wù)的一個文件系統(tǒng),2、它基于松耦合分布式系統(tǒng),3、解決了分布的一致性問題。通過使用Chubby的鎖服務(wù),用戶可以確保數(shù)據(jù)操作過程中的一致性。
4、Chubby鎖是一種建議性的鎖而不是強制性的鎖,這種選擇使系統(tǒng)具有更大的靈活性。
Paxos算法中節(jié)點被分成了三種類型:proposers、acceptors、和learners,其中proposers提出決議,acceptors批準(zhǔn)決議、learners獲取并使用已經(jīng)通過的決議。一個節(jié)點可以兼有多重類型,滿足三個條件保持?jǐn)?shù)據(jù)的一致性,(1)、決議只有在被Proposers提出后才能批準(zhǔn)(2)、每次只能批準(zhǔn)一個決議(3)、只有決議確定被批準(zhǔn)后learners才能獲取這個決議。
Chubby的設(shè)計目標(biāo)主要有:
(1)、高可用性(2)、高擴展性(3)、支持粗粒度的建議性鎖服務(wù)(4)、服務(wù)信息的直接存儲(5)、支持通報機制(6)、支持緩存機制 Chubby文件系統(tǒng):
Chubby系統(tǒng)本質(zhì)上就是一個分布式的、存儲大量小文件的文件系統(tǒng),它所有的操作都是在文件的基礎(chǔ)上完成的,系統(tǒng)規(guī)定每個節(jié)點的元數(shù)據(jù)都應(yīng)包含以下四種單調(diào)遞增的64位編號,(1)、實例號(2)、內(nèi)容生成號(3)、鎖生成號(4)、ACL生成號
Chubby采用的是ACL形式的安全保障措施,只要不被覆寫,子節(jié)點都是直接繼承父節(jié)點的ACL名。什么是分布式結(jié)構(gòu)化數(shù)據(jù)表Bigtable: Bigtable是Google開發(fā)的基于GFS和Chubby的分布式存儲系統(tǒng),它的設(shè)計應(yīng)達到以下幾個目標(biāo):(1)、廣泛的適用性(2)、很強的可擴展性(3)、高可用性(4)、簡單性
Bigtable是一個分布式多維映射表,表中的數(shù)據(jù)通過一個行關(guān)鍵字、一個列關(guān)鍵字以及一個時間戳進行索引。
在Bigtable中Chubby主要有以下幾個作用:
(1)、選取并保證同一時間內(nèi)只有一個主服務(wù)器(Master Server)(2)獲取子表的位置信息
(3)保存Bigtable的模式信息及訪問控制列表
Bigtable主要由三個部分組成:客戶端程序庫、一個主服務(wù)器和多個子表服務(wù)器
每個子表都是由多個SSTable以及日志文件構(gòu)成。
在Bigtable系統(tǒng)的內(nèi)部采用的是一種類似B+樹的三層查詢體系。
所有的子表地址都被記錄在元數(shù)據(jù)表中,元數(shù)據(jù)表也是由一個個的元數(shù)據(jù)子表組成的。為了減少訪問開銷,提高客戶訪問效率,Bigtable使用了緩存和預(yù)取技術(shù)。在Bigtable中有三種形式的數(shù)據(jù)壓縮,分別是次壓縮、合并壓縮、主壓縮。Bigtable性能優(yōu)化:
1、局部性群組
2、壓縮
3、布隆過濾器
分布式存儲系統(tǒng)Megastore的設(shè)計目標(biāo)明確,那就是設(shè)計一種介于傳統(tǒng)的關(guān)系型數(shù)據(jù)庫和NoSQL之間的存儲技術(shù),盡可能達到高可用性和高可擴展性的統(tǒng)一
第三篇:“云計算”培訓(xùn)總結(jié)
“云計算”培訓(xùn)總結(jié)
計算機自誕生開始,先后經(jīng)歷了四個階段:
1、第一代計算機(1946~1958)
電子管為基本電子器件;使用機器語言和匯編語言;主要應(yīng)用于國防和科學(xué)計算;運算速度每秒幾千次至幾萬次。
2、第二代計算機(1958~1964)
晶體管為主要器件;軟件上出現(xiàn)了操作系統(tǒng)和算法語言;運算速度每秒幾萬次至幾十萬次。
3、第三代計算機(1964~1971)
普遍采用集成電路;體積縮小;運算速度每秒幾十萬次至幾百萬次。
4、第四代計算機(1971~)
以大規(guī)模集成電路為主要器件;運算速度每秒幾百萬次至上億次。
計算機的運算速度在不斷增加,而成本卻在不斷的降低。現(xiàn)在已經(jīng)進入由第四代衍生出的一個時代,云計算時代。
云計算操作系統(tǒng),又稱云計算中心操作系統(tǒng)、云OS,是云計算后臺數(shù)據(jù)中心的整體管理運營系統(tǒng),它是指構(gòu)架于服務(wù)器、存儲、網(wǎng)絡(luò)等基礎(chǔ)硬件資源和單機操作系統(tǒng)、中間件、數(shù)據(jù)庫等基礎(chǔ)軟件管理的海量的基礎(chǔ)硬件、軟資源之上的云平臺綜合管理系統(tǒng)。
云計算(cloud computing,分布式計算技術(shù)的一種,其最基本的概念,是透過網(wǎng)絡(luò)將龐大的計算處理程序自動分拆成無數(shù)個較小的子程序,再交由多部服務(wù)器所組成的龐大系統(tǒng)經(jīng)搜尋、計算分析之后將處理結(jié)果回傳給用戶。透過這項技術(shù),網(wǎng)絡(luò)服務(wù)提供者可以在數(shù)秒之內(nèi),達成處理數(shù)以千萬計甚至億計的信息,達到和“超級計算機”同樣強大效能的網(wǎng)絡(luò)服務(wù)。
云是一種基于互聯(lián)網(wǎng)的計算新方式,通過互聯(lián)網(wǎng)上異構(gòu)、自治的服務(wù)為個人和企業(yè)用戶提供按需即取的計算。由于資源是在互聯(lián)網(wǎng)上,而在電腦流程圖中,互聯(lián)網(wǎng)常以一個云狀圖案來表示,因此可以形象地類比為云,“云”同時也是對底層基礎(chǔ)設(shè)施的一種抽象概念。云計算的資源是動態(tài)易擴展而且虛擬化的,通過互聯(lián)網(wǎng)提供。終端用戶不需要了解“云”中基礎(chǔ)設(shè)施的細(xì)節(jié),不必具有相應(yīng)的專業(yè)知識,也無需直接進行控制,只關(guān)注自己真正需要什么樣的資源以及如何通過網(wǎng)絡(luò)來得到相應(yīng)的服務(wù)。
云共分為公有云、私有云、混合云三種情況。
在實現(xiàn)面向云計算的數(shù)據(jù)中心演進過程中,隨著數(shù)據(jù)中心的高度虛擬化,在節(jié)約成本及運營效率取得顯著成果的同時,存儲、網(wǎng)絡(luò)、電源管理和安全等方面的挑戰(zhàn)仍有待解決。所以云技術(shù)可以很好的解決上面的問題。
最簡單的云計算技術(shù)在網(wǎng)絡(luò)服務(wù)中已經(jīng)隨處可見,例如搜尋引擎、網(wǎng)絡(luò)信箱等,使用者只要輸入簡單指令即能得到大量信息。未來如手機、GPS等行動裝置都可以透過云計算技術(shù),發(fā)展出更多的應(yīng)用服務(wù)。
云計算的特點總結(jié)如下:
1、超大規(guī)模。
“云”具有相當(dāng)?shù)囊?guī)模,Google云計算已經(jīng)擁有100多萬臺服務(wù)器,Amazon、IBM、微軟、Yahoo等的“云”均擁有幾十萬臺服務(wù)器。企業(yè)私有云一般擁有數(shù)百上千臺服務(wù)器。“云”能賦予用戶前所未有的計算能力。
2、虛擬化。
云計算支持用戶在任意位置、使用各種終端獲取應(yīng)用服務(wù)。所請求的資源來自“云”,而不是固定的有形的實體。應(yīng)用在“云”中某處運行,但實際上用戶無需了解、也不用擔(dān)心應(yīng)用運行的具體位置。只需要一臺筆記本或者一個手機,就可以通過網(wǎng)絡(luò)服務(wù)來實現(xiàn)我們需要的一切,甚至包括超級計算這樣的任務(wù)。
3、高可靠性。
“云”使用了數(shù)據(jù)多副本容錯、計算節(jié)點同構(gòu)可互換等措施來保障服務(wù)的高可靠性,使用云計算比使用本地計算機可靠。
4、通用性。
云計算不針對特定的應(yīng)用,在“云”的支撐下可以構(gòu)造出千變?nèi)f化的應(yīng)用,同一個“云”可以同時支撐不同的應(yīng)用運行。
5、高可擴展性。
“云”的規(guī)模可以動態(tài)伸縮,滿足應(yīng)用和用戶規(guī)模增長的需要。
6、按需服務(wù)。
“云”是一個龐大的資源池,你按需購買;云可以象自來水,電,煤氣那樣計費。
7、極其廉價。
由于“云”的特殊容錯措施可以采用極其廉價的節(jié)點來構(gòu)成云,“云”的自動化集中式管理使大量企業(yè)無需負(fù)擔(dān)日益高昂的數(shù)據(jù)中心管理成本,“云”的通用性使資源的利用率較之傳統(tǒng)系統(tǒng)大幅提升,因此用戶可以充分享受“云”的低成本優(yōu)勢,經(jīng)常只要花費幾百美元、幾天時間就能完成以前需要數(shù)萬美元、數(shù)月時間才能完成的任務(wù)。
云計算可以徹底改變?nèi)藗兾磥淼纳睿瑫r也要重視環(huán)境問題,這樣才能真正為人類進步做貢獻,而不是簡單的技術(shù)提升。
8、潛在的危險性。
云計算服務(wù)除了提供計算服務(wù)外,還必然提供了存儲服務(wù)。但是云計算服務(wù)當(dāng)前壟斷在私人機構(gòu)(企業(yè))手中,而他們僅僅能夠提供商業(yè)信用。對于政府機構(gòu)、商業(yè)機構(gòu)(特別象銀行這樣持有敏感數(shù)據(jù)的商業(yè)機構(gòu))對于選擇云計算服務(wù)應(yīng)保持足夠的警惕。一旦商業(yè)用戶大規(guī)模使用私人機構(gòu)提供的云計算服務(wù),無論其技術(shù)優(yōu)勢有多強,都不可避免地讓這些私人機構(gòu)以“數(shù)據(jù)(信息)”的重要性挾制整個社會。對于信息社會而言,“信息”是至關(guān)重要的。另一方面,云計算中的數(shù)據(jù)對于數(shù)據(jù)所有者以外的其他用戶云計算用戶是保密的,但是對于提供云計算的商業(yè)機構(gòu)而言確實毫無秘密可言。這就象常人不能監(jiān)聽別人的電話,但是在電訊公司內(nèi)部,他們可以隨時監(jiān)聽任何電話。所有這些潛在的危險,是商業(yè)機構(gòu)和政府機構(gòu)選擇云計算服務(wù)、特別是國外機構(gòu)提供的云計算服務(wù)時,不得不考慮的一個重要的前提。
云計算的幾大形式:
InfoWorld網(wǎng)站同數(shù)十家公司、分析家和IT用戶討論出了云計算的幾大形式:
1.SAAS(軟件即服務(wù))
這種類型的云計算通過瀏覽器把程序傳給成千上萬的用戶。在用戶眼中看來,這樣會省去在服務(wù)器和軟件授權(quán)上的開支;從供應(yīng)商角度來看,這樣只需要維持一個程序就夠了,這樣能夠減少成本。Salesforce.com是迄今為止這類服務(wù)最為出名的公司。SAAS在人力資源管理程序和ERP中比較常用。Google Apps和Zoho Office也是類似的服務(wù)
2.實用計算(Utility Computing)
這個主意很早就有了,但是直到最近才在Amazon.com、Sun、IBM和其它提供存儲服務(wù)和虛擬服務(wù)器的公司中新生。這種云計算是為IT行業(yè)創(chuàng)造虛擬的數(shù)據(jù)中心使得其能夠把內(nèi)存、I/O設(shè)備、存儲和計算能力集中起來成為一個虛擬的資源池來為整個網(wǎng)絡(luò)提供服務(wù)。
3.網(wǎng)絡(luò)服務(wù)
同SAAS關(guān)系密切,網(wǎng)絡(luò)服務(wù)提供者們能夠提供API讓開發(fā)者能夠開發(fā)更多基于互聯(lián)網(wǎng)的應(yīng)用,而不是提供單機程序。
4.平臺即服務(wù)
另一種SAAS,這種形式的云計算把開發(fā)環(huán)境作為一種服務(wù)來提供。你可以使用中間商的設(shè)備來開發(fā)自己的程序并通過互聯(lián)網(wǎng)和其服務(wù)器傳到用戶手中。
5.MSP(管理服務(wù)提供商)
最古老的云計算運用之一。這種應(yīng)用更多的是面向IT行業(yè)而不是終端用戶,常用于郵件病毒掃描、程序監(jiān)控等等。
6.商業(yè)服務(wù)平臺
SAAS和MSP的混合應(yīng)用,該類云計算為用戶和提供商之間的互動提供了一個平臺。比
如用戶個人開支管理系統(tǒng),能夠根據(jù)用戶的設(shè)置來管理其開支并協(xié)調(diào)其訂購的各種服務(wù)。
7.互聯(lián)網(wǎng)整合將互聯(lián)網(wǎng)上提供類似服務(wù)的公司整合起來,以便用戶能夠更方便的比較和選擇自己的服務(wù)供應(yīng)商。
云計算主要應(yīng)用:
1、亞馬遜網(wǎng)站Amazon.com
是以在線書店和電子零售業(yè)起家的,如今已在業(yè)界享有盛譽,不過它最新的業(yè)務(wù)卻與云計算有關(guān)。兩年多以前,亞馬遜作為首批進軍云計算新興市場的廠商之一,為嘗試進入該領(lǐng)域的企業(yè)開創(chuàng)了良好的開端。
2、谷歌公司Google
圍繞因特網(wǎng)搜索創(chuàng)建了一種超動力商業(yè)模式。如今,他們又以應(yīng)用托管、企業(yè)搜索以及其他更多形式向企業(yè)開放了他們的“云”。
3、Salesforce
是軟件即服務(wù)廠商的先驅(qū),它一開始提供的是可通過網(wǎng)絡(luò)訪問的銷售力量自動化應(yīng)用軟件。在該公司的帶動下,其他軟件即服務(wù)廠商已如雨后春筍般蓬勃而起。Salesforce的下一目標(biāo)是:平臺即服務(wù)。
4、微軟公司
在云計算的起步階段,微軟曾經(jīng)歷過不少周折。經(jīng)過幾年的磨合調(diào)整之后,這個軟件巨頭的云計算戰(zhàn)略終于走上了正軌。
培訓(xùn)總結(jié):
云計算現(xiàn)由于在法律方面存在問題,待相關(guān)部門出臺法律之后,對云相關(guān)數(shù)據(jù)進行法律保護,云系統(tǒng)會得到全面的推廣,下一步云計算是信息化發(fā)展的方向,云計算在節(jié)省成本合理優(yōu)化企業(yè)資源都有很大的優(yōu)勢。到時企業(yè)可以建立自己的私有云來提供服務(wù),更加方便、快捷、節(jié)約成本。
2011年11月
第四篇:云計算期末考試總結(jié)【強烈推薦】
第一章
什么是“新摩爾定律”:
每18個月全球新增信息量是計算機有史以來全部信息量的總和。
云計算具有哪些特點:
(1)、超大規(guī)模(2)、虛擬化(3)、高可靠性(4)、通用性(5)、高可伸縮性、(6)、按需服務(wù)(7)、極其廉價
云計算按照服務(wù)類型大致分為三類:
將基礎(chǔ)設(shè)施作為服務(wù)(Iaas)、將平臺作為服務(wù)(Paas)、將軟件作為服務(wù)(SaaS)什么是Iaas? 將硬件設(shè)備等基礎(chǔ)資源封裝成服務(wù)供用戶使用,如AWS的彈性計算云EC2和簡單存儲服務(wù)S3。
什么是Paas?
對資源的抽象層次更進一步,它提供用戶應(yīng)用程序的運行環(huán)境,典型的如Google App Engine。
什么是SaaS?
它的針對性更強,它將某些特定應(yīng)用軟件功能封裝成服務(wù),如Salesforce公司提供的在線客戶關(guān)系管理CRM服務(wù)。
云計算技術(shù)體系結(jié)構(gòu)分為四層:
物理資源層、資源池層、管理中間件層和SOA構(gòu)建層
(管理中間件層和資源池層是云計算技術(shù)的最關(guān)鍵部分)
物理資源層包括計算機、存儲器、網(wǎng)絡(luò)設(shè)施、數(shù)據(jù)庫和軟件。資源池層是將大量相同類型的資源構(gòu)成同構(gòu)或接近同構(gòu)的資源池,如計算資源池、數(shù)據(jù)資源池。構(gòu)建資源池更多的是物理資源的集成和管理工作。
管理中間件層負(fù)責(zé)對云計算的資源進行管理,并對眾多應(yīng)用任務(wù)進行調(diào)度,使資源能夠高效、安全地為應(yīng)用服務(wù)。
大數(shù)據(jù)具有4V+1C的特征:
(1)、數(shù)據(jù)量大(2)、多樣(3)、快速(4)、價值密度低(5)、復(fù)雜度
全球企業(yè)的IT開銷分為三部分:硬件開銷、能耗和管理成本。云計算的優(yōu)勢:
云計算有更低的硬件和網(wǎng)絡(luò)成本、更低管理成本和電力成本以及更高的資源利用率。
云計算與大數(shù)據(jù)之間的關(guān)系:
大數(shù)據(jù)是需求,云計算是手段。沒有大數(shù)據(jù),就不需要云計算。沒有云計算就無法處理大數(shù)據(jù)。
什么是云計算:
長定義:云計算是一種商業(yè)計算模型。它將計算任務(wù)分布在大量計算機構(gòu)成的資源池上,使各種應(yīng)用系統(tǒng)能夠根據(jù)需要獲取計算力、存儲空間和信息服務(wù)。短定義:云計算是通過網(wǎng)絡(luò)按需提供可動態(tài)伸縮的廉價計算服務(wù)。
云計算的管理中間件層:負(fù)責(zé)資源管理、任務(wù)管理、用戶管理、和安全管理等工作。資源管理:負(fù)責(zé)均衡地使用云資源節(jié)點,檢測節(jié)點的故障并試圖恢復(fù)或屏蔽它,并對資源的使用情況進行監(jiān)視統(tǒng)計;
任務(wù)管理:負(fù)責(zé)執(zhí)行用戶或應(yīng)用提交的任務(wù),包括完成用戶任務(wù)映像部署和管理、任務(wù)調(diào)度、任務(wù)管理、生命周期管理。簡述亞馬遜的云計算:
AWS率先在全球提供了彈性計算云EC2和簡單服務(wù)存儲服務(wù)S3,為企業(yè)提供計算和存儲服務(wù)。
亞馬遜是最大的服務(wù)商,谷歌是最大的云計算技術(shù)的使用者。
第二章
Google云計算技術(shù)包括:
Google文件系統(tǒng) GFS、分布式計算編程模型MapReduce、分布式鎖服務(wù)Chubby、分布式結(jié)構(gòu)化數(shù)據(jù)表Bigtable。
當(dāng)前主流分布式文件系統(tǒng)有哪些?各有什么優(yōu)缺點?
答:RedHat的GFS(Global File System)、IBM的GPFS、Sun的Lustre等。優(yōu)缺點:①GFS采用廉價的商品機器構(gòu)建分布式文件系統(tǒng),同時將GFS的設(shè)計與Google應(yīng)用的特點緊密結(jié)合,簡化實現(xiàn),GFS將容錯的任務(wù)交給文件系統(tǒng)完成,利用軟件的方法解決系統(tǒng)可靠性問題,使存儲成本下降;GFS將服務(wù)器故障視為正常現(xiàn)象,并采用多種方法、從多個角度,使用不同的容錯措施,確保數(shù)據(jù)存儲的安全、保證提供不間斷的數(shù)據(jù)存儲服務(wù)。
②IBM GPFS并行文件系統(tǒng)軟件在設(shè)計上不存在任何性能瓶頸,因此GPFS并行文件系統(tǒng)可以充分發(fā)揮硬件系統(tǒng)的性能。換句話說,GPFS并行文件系統(tǒng)的性能完全取決于硬件配置的好壞,而文件系統(tǒng)軟件本身對性能的影響微乎其微。IBM GPFS并行文件系統(tǒng)與其它并行文件系統(tǒng)之間最大的區(qū)別在于GPFS不需要專用的元數(shù)據(jù)(Meta Data)管理服務(wù)器,所有元數(shù)據(jù)分散在磁盤陣列中,并可以由任何I/O節(jié)點管理。這樣的設(shè)計避免了并行文件系統(tǒng)中最可能產(chǎn)生性能瓶頸的因素——Meta Data Server。
③Lustre文件系統(tǒng)為例,它只對元數(shù)據(jù)管理器MDS提供容錯解決方案,而對于具體的數(shù)據(jù)存儲節(jié)點OST來說,則依賴其自身來解決容錯的問題。例如,Lustre推薦OST節(jié)點采用RAID技術(shù)或SAN存儲區(qū)域網(wǎng)來容錯,但由于Lustre自身能提供數(shù)據(jù)存儲的容錯,一旦OST發(fā)生故障就無法恢復(fù),因此對OST的穩(wěn)定性就提出了相當(dāng)高的要求,從而大大增加了存儲的成本,而且成本會隨著規(guī)模的擴大線性增長
GFS容錯機制包含:
1、Master容錯: Master上保存了GFS文件系統(tǒng)的三種元數(shù)據(jù)。(1)、命名空間,也就是整個文件系統(tǒng)的目錄結(jié)構(gòu)。(2)、Chunk與文件名的映射表
(3)、Chunk副本的位置信息,每一個Chunk默認(rèn)有三個副本。
前兩種GFS通過操作日志來提供容錯功能。第三種直接保存各個Chunk Server上,當(dāng)master發(fā)生故障時,迅速恢復(fù)以上元數(shù)據(jù)。為了防止master徹底死機,GFS提供了master遠(yuǎn)程的實時備份。
2、Chunk Server容錯: GFS采用副本的方式實現(xiàn)其容錯。如果相關(guān)副本丟失或不可恢復(fù),master自動將副本復(fù)制到其他Chunk Server.GFS把每一個文件劃分成多個Chunk, MapReduce與傳統(tǒng)的分布式程序設(shè)計相比的優(yōu)點
答:與傳統(tǒng)的分布式程序設(shè)計相比,MapReduce封裝了并行處理、容錯處理、本地化計算、負(fù)載均衡等細(xì)節(jié),還提供了一個簡單而強大的接口。Chubby的設(shè)計目標(biāo)主要有?Paxos算法在Chubby中起什么作用?(1)、高可用性(2)、高擴展性(3)、支持粗粒度的建議性鎖服務(wù)(4)、服務(wù)信息的直接存儲(5)、支持通報機制(6)、支持緩存機制。Chubby內(nèi)部一致性問題的實現(xiàn)用到Paxos算法
什么是分布式結(jié)構(gòu)化數(shù)據(jù)表Bigtable?
Bigtable是Google開發(fā)的基于GFS和Chubby的分布式存儲系統(tǒng),它的設(shè)計應(yīng)達到以下幾個目標(biāo):(1)、廣泛的適用性(2)、很強的可擴展性(3)、高可用性(4)、簡單性 Bigtable是:一個分布式多維映射表,表中的數(shù)據(jù)通過一個行關(guān)鍵字、一個列關(guān)鍵字以及一個時間戳進行索引。
在Bigtable中Chubby主要有以下幾個作用:
(1)選取并保證同一時間內(nèi)只有一個主服務(wù)器(Master Server)(2)獲取子表的位置信息
(3)保存Bigtable的模式信息及訪問控制列表
Bigtable主要由三個部分組成:客戶端程序庫、一個主服務(wù)器和多個子表服務(wù)器
Paxos算法中節(jié)點被分成了三種類型:
proposers、acceptors、和learners,其中proposers提出決議,acceptors批準(zhǔn)決議、learners獲取并使用已經(jīng)通過的決議。一個節(jié)點可以兼有多重類型,滿足三個條件保持?jǐn)?shù)據(jù)的一致性,(1)、決議只有在被Proposers提出后才能批準(zhǔn)(2)、每次只能批準(zhǔn)一個決議(3)、只有決議確定被批準(zhǔn)后learners才能獲取這個決議。
Bigtable性能優(yōu)化:
1、局部性群組
2、壓縮
3、布隆過濾器 GFS將整個系統(tǒng)的節(jié)點分為哪幾類角色: Client(客戶端)、Master(主服務(wù)器)、Chunk Server(數(shù)據(jù)塊服務(wù)器)。
Master是GFS的管理節(jié)點,在邏輯上只有一個,他保存系統(tǒng)的元數(shù)據(jù),負(fù)責(zé)整個文件系統(tǒng)的管理,是GFS文件系統(tǒng)中的“大腦”。
Chunk Server負(fù)責(zé)具體的存儲工作。數(shù)據(jù)以文件的形式存儲在Chunk Server 的個數(shù)可以有多個,他的數(shù)目直接決定了GFS的規(guī)模。GFS將文件按照固定大小進行分塊,默認(rèn)是64MB,每一塊稱為一個Chunk(數(shù)據(jù)塊),每個Chunk都有一個對應(yīng)的索引號(Index)。GFS具有哪些特點:
1、采用中心服務(wù)器模式:GFS采用中心服務(wù)器模式管理整個文件系統(tǒng),增加新的Chunk Server是一件非常容易的事情。
2、不緩存數(shù)據(jù):緩存機制是提升文件系統(tǒng)的性能的一個重要手段,通用文件系統(tǒng)為了提高性能,一般需要實現(xiàn)復(fù)雜的緩存機制。GFS文件系統(tǒng)根據(jù)應(yīng)用的特點,沒有實現(xiàn)緩存,因為GFS的數(shù)據(jù)在Chunk Server上是以文件的形式存儲。
3、在用戶態(tài)下實現(xiàn)
4、只提供專用接口
什么是MapReduce? Map(映射)Reduce(化簡)是Google提出的一個軟件架構(gòu),是一種處理海量數(shù)據(jù)的并行編程模式,用于大規(guī)模數(shù)據(jù)集的并行計算。
第三章
AWS提供的服務(wù)包括:
彈性計算云EC2、簡單存儲服務(wù)S3、簡單數(shù)據(jù)庫服務(wù)Simple DB、簡單隊列服務(wù)SQS、彈性MapReduce服務(wù)、內(nèi)容推送服務(wù)、電子商務(wù)服務(wù)、FPS。改進的一致性哈希算法優(yōu)點:
可以減小數(shù)據(jù)分布不均衡的可能性。
采用數(shù)據(jù)分區(qū)后,在添加或刪除設(shè)備節(jié)點時,會引起嬌小的數(shù)據(jù)傳輸。可以在很小的數(shù)據(jù)傳輸代價下,保證整個系統(tǒng)數(shù)據(jù)分布的均衡性。
在Dynamo中添加一個新的節(jié)點時,原先各節(jié)點保存的數(shù)據(jù)是否需要改變?如果改變,應(yīng)該如何變化?
需要改變;原存儲在前驅(qū)節(jié)點上的那部分?jǐn)?shù)據(jù)會遷移到新的節(jié)點上。而其他節(jié)點保存的數(shù)據(jù)不變。同樣,在刪除節(jié)點時,被刪除節(jié)點的數(shù)據(jù)會遷移到其前驅(qū)節(jié)點上,而對其他節(jié)點沒有影響。
私有IP、公有IP和彈性IP的區(qū)別在哪里?
EC2的IP地址包括三大類:私有IP、公有IP和彈性IP。
EC2的實例一旦被創(chuàng)建,就會動態(tài)地分配兩個IP地址,即私有IP和公有IP。私有IP地址與實例相對應(yīng),由動態(tài)主機配置協(xié)議(DHCP)分配產(chǎn)生。公有IP地址和私有IP地址之間通過網(wǎng)絡(luò)地址轉(zhuǎn)換(NAT)技術(shù)實現(xiàn)相互之間的轉(zhuǎn)換。公共IP和特定的實例相對應(yīng),在某個實例終結(jié)或被彈性IP地址替代之前,公共IP地址會一直存在,實例通過這個公有IP地址和外界通信。實例每次啟動時,公有IP都會發(fā)生變化。彈性IP則是與用戶賬號綁定,使用時可以代替公有IP通過NAT的方式實現(xiàn)與私有IP轉(zhuǎn)換,從而連接到EC2實例。
地理區(qū)域和可用區(qū)域有哪些區(qū)別?
AWS中采用了兩種區(qū)域(Zone),地理區(qū)域(Region Zone)和可用區(qū)域(Availability Zone)。地理區(qū)域是按實際的地理位置劃分的。可用區(qū)域是根據(jù)是否有獨立的供電系統(tǒng)和冷卻系統(tǒng)劃分,通常將每個數(shù)據(jù)中心看作一個可用區(qū)域。EC2系統(tǒng)中包含多個地理區(qū)域,而每個地理區(qū)域又包含多個可用區(qū)域。Amazom云平臺中,SQS的目的及組成部分,其中“消息”的格式是什么?
簡單隊列服務(wù)(SQS)是Amazon為了解決其云計算平臺之間不同組件的通信而設(shè)計開發(fā)的。SQS由三個基本部分組成:系統(tǒng)組件、隊列、消息。系統(tǒng)組件是SQS的服務(wù)對象,而SQS則是組件之間溝通的橋梁。組件有雙重角色,既是消息的發(fā)送者,也可以是消息的接受者。
“消息”格式:消息由以下四部分組成:
消息ID:由系統(tǒng)返回給用戶,用來標(biāo)識隊列中的不同消息。
接收句柄:當(dāng) 從隊列中接收消息時就會從消息那里得到一個接收句柄,這個句柄可以用來對消息進行刪除等操作。
消息體:消息的正文部分,需要注意的是消息存放的是文本數(shù)據(jù)并且不能是URL編碼方式。消息體摘要:消息體字符串的MD5校驗和。
非關(guān)系型數(shù)據(jù)庫和傳統(tǒng)關(guān)系數(shù)據(jù)庫的區(qū)別
1.數(shù)據(jù)模型
關(guān)系數(shù)據(jù)庫對數(shù)據(jù)有嚴(yán)格的約束,包括數(shù)據(jù)之間的關(guān)系和數(shù)據(jù)的完整性。非關(guān)系數(shù)據(jù)庫的key-value存儲形式中,key和value可以使用任意的數(shù)據(jù)類型。2.數(shù)據(jù)處理:
關(guān)系數(shù)據(jù)庫滿足CAP原則的C和A,在P方面很弱,所以在可擴展性方面弱,所以導(dǎo)致其在可擴展性方面面臨很多問題。非關(guān)系型數(shù)據(jù)庫滿足CAP原則的A和P,而在C方面較弱,所以使得其無法滿足ACID要求。3.接口層
關(guān)系型數(shù)據(jù)庫都是以SQL語言對數(shù)據(jù)進行訪問的,提供了強大的查詢功能,并便于在各種關(guān)系數(shù)據(jù)庫間移植。非關(guān)系型數(shù)據(jù)庫對數(shù)據(jù)庫的操作大多通過API來實現(xiàn),支持簡單的查詢功能,且由于不同數(shù)據(jù)庫之間API的不同而造成移植性較差。
綜上所述,關(guān)系數(shù)據(jù)庫具有高一致性,在ACID方面很強,移植性很高;但在可擴展性方面能力較弱,只能通過提高服務(wù)的配置來提高處理能力。非關(guān)系型數(shù)據(jù)庫具有很高的可擴展性,可以通過增加服務(wù)器數(shù)量來不斷提高存儲規(guī)模,具有很好的并發(fā)處理能力;但由于缺乏數(shù)據(jù)的一致性保證,所以處理事務(wù)性問題能力較弱,并且難以處理跨表,跨服務(wù)器的查詢。
第四章
微軟云計算平臺包括幾部分?每部分的作用是什么?
當(dāng)前版本的Windows Azure平臺包括4 個組成部分:
(1)Windows Azure。位于云計算平臺最底層,是微軟云計算技術(shù)的核心。它作為微軟云計算操作系統(tǒng),提供了一個在微軟數(shù)據(jù)中心服務(wù)器上運行應(yīng)用程序 和存儲數(shù)據(jù)的Windows 環(huán)境。
(2)SQL Azure。它是云中的關(guān)系數(shù)據(jù)庫,為云中基于SQL Azure 的關(guān)系型 數(shù)據(jù)提供服務(wù)。
(3)Windows Azure AppFabric。為在云中或本地系統(tǒng)中的應(yīng)用提供基于云 的基礎(chǔ)架構(gòu)服務(wù)。部署和管理云基礎(chǔ)架構(gòu)的工作均由AppFabric 完成,開發(fā)者只 需關(guān)心應(yīng)用邏輯。
(4)Windows Azure Marketplace。為購買云計算環(huán)境下的數(shù)據(jù)和應(yīng)用提供 在線服務(wù)。
Windows Azure 存儲服務(wù)提供了幾種類型的存儲方式?闡述每種存儲方式主要的存儲對象。答:Windows Azure 存儲服務(wù)目前主要提供了4 種主要的數(shù)據(jù)存儲結(jié)構(gòu):
(1)Blob 類型。Blob 數(shù)據(jù)類型存儲二進制數(shù)據(jù),可以存儲大型的無結(jié)構(gòu)數(shù)據(jù),容量巨大,能夠滿足海量數(shù)據(jù)存儲需求
(2)Table 類型。Table 數(shù)據(jù)類型能夠提供更加結(jié)構(gòu)化的數(shù)據(jù)存儲,但是它不同于關(guān)系型數(shù)據(jù)庫管理系統(tǒng)中的二維關(guān)系表,查詢語言也不是大家熟悉的關(guān)系查詢語言SQL。(3)Queue 類型。Queue 類型的作用和微軟消息隊列(MSMQ)相近,用來支持在Windows Azure 應(yīng)用程序組件之間進行通信。
(4)File 類型。File 類型使用標(biāo)準(zhǔn)SMB2.1 協(xié)議支持Windows Azure 虛擬機和云服務(wù),可通過裝載的共享在應(yīng)用程序組件之間共享文件數(shù)據(jù),本地應(yīng)用程序可通過文件存儲API 來訪問共享中的文件數(shù)據(jù)。
SQL Azure 數(shù)據(jù)同步技術(shù)主要有幾種?分別如何實現(xiàn)?
答:(1)SQL Azure 數(shù)據(jù)庫與SQL Server 數(shù)據(jù)庫之間的數(shù)據(jù)同步。用戶選擇這類同步的原因有很多,除了網(wǎng)絡(luò)故障等因素外,數(shù)據(jù)調(diào)度也需要數(shù)據(jù)副本在某一區(qū)域范圍內(nèi)進行,同時需要防止某些操作失誤所帶來的數(shù)據(jù)丟失。這時用戶可以通過SQL Azure 數(shù)據(jù)庫和SQL Server 數(shù)據(jù)庫的信息同步在本地數(shù)據(jù)庫保存副本。
(2)SQL Azure 數(shù)據(jù)庫之間的同步。某些ISVs(獨立的軟件開發(fā)商)或全球化的企業(yè)需要創(chuàng)建一個應(yīng)用,為了滿足高性能的需求,應(yīng)用的創(chuàng)建者也許會選擇在三個不同的Windows Azure 數(shù)據(jù)中心運行這個應(yīng)用。如果這個應(yīng)用將數(shù)據(jù)存放在SQL Azure 數(shù)據(jù)中,需要使用SQL Azure 數(shù)據(jù)同步服務(wù)保持三個數(shù)據(jù)中心之間的信息同步。SQL Azure 數(shù)據(jù)同步服務(wù)使用“輪輻式”模型,所有的變化將會首先被復(fù)制到SQL Azure 數(shù)據(jù)庫“hub”上,然后再傳送到其他“spoke”以上。這些“spoke”成員可以是一個SQL Azure 數(shù)據(jù)庫,也可以是本地SQL Server 數(shù)據(jù)庫。上述的同步過程可以同步整個數(shù)據(jù)庫,也可以只同步有更新的數(shù)據(jù)庫表格。SQL Azure 和SQL Server 的相同點和不同點
相同點:SQL Azure是云中的關(guān)系數(shù)據(jù)庫,和本地的SQL Server數(shù)據(jù)庫有很多相識的地方。比如SQL Azure 提供了一個表格數(shù)據(jù)流(TDS)接口供基于Transact-SQL的數(shù)據(jù)庫進行訪問,這和SQL Server 中的實例訪問數(shù)據(jù)庫情況是相似的。
不同點:在SQL Azure中,由于物理管理工作是由微軟進行的,所以在管理、服務(wù)提供、Transact-SQL支持和編程方式等方面,與SQL Server有所不同。
Windows Azure最新版本包含5個部分:1.計算服務(wù),2.存儲服務(wù),3.Fabric控制器,4.內(nèi)容分發(fā)網(wǎng)絡(luò)CDN,5.Windows Azure Connect.存儲名空間被劃分為三部分:賬戶名,分區(qū)名和對象名
SQL Azure關(guān)鍵技術(shù):1.SQL Azure數(shù)據(jù)庫,2.SQL Azure報表服務(wù),3.SQL Azure數(shù)據(jù)同步
AppFabric關(guān)鍵技術(shù):1.服務(wù)總線,2.訪問控制,3.高速緩存。Windows Azure是微軟云計算戰(zhàn)略的核心:云計算操作系統(tǒng)
WAS的一個重要特征是能夠存儲和訪問達到甚至超過EB級的海量數(shù)據(jù),其產(chǎn)品系統(tǒng)由存儲域和位置服務(wù)構(gòu)成
存儲域的層次結(jié)構(gòu)包括哪三層:
1、文件流層,2、分區(qū)層,3、前段 文件流層包括流管理器和區(qū)塊節(jié)點兩大部分。
分區(qū)層包括一個分區(qū)管理器、多個分區(qū)服務(wù)器和一個鎖服務(wù)三個主要的體系結(jié)構(gòu)模塊。分區(qū)管理器:負(fù)責(zé)保存對象表到分區(qū)段的劃分和每個分區(qū)段到相應(yīng)分區(qū)服務(wù)器的分配情況。分區(qū)服務(wù)器:負(fù)責(zé)處理由分區(qū)管理器分配給它的一組分區(qū)段的請求。鎖服務(wù):Paxos鎖服務(wù)用于分區(qū)服務(wù)器的主服務(wù)器選舉。WAS 將分區(qū)B 拆成新的分區(qū)段C 和D 如何實現(xiàn)? 步驟1:分區(qū)管理器通知分區(qū)服務(wù)器將段B 拆分為C 和D。步驟2:分區(qū)服務(wù)器處理B 的檢查點,再暫停相應(yīng)的服務(wù)請求。
步驟3:分區(qū)服務(wù)器使用一種“MultiModify”的特殊流操作處理B 的每個流,并分別生成與B 中區(qū)塊順序相同的C 和D 流子集,再追加C 和D 的新分區(qū)鍵值范圍到他們的元數(shù)據(jù)流。
步驟4:分區(qū)服務(wù)器開始將服務(wù)請求發(fā)送至新的分區(qū)C 和D。
步驟5:分區(qū)服務(wù)器通知分區(qū)管理器拆分操作完成,并且分區(qū)管理器更新分區(qū)映射表和相應(yīng)的元數(shù)據(jù)信息,分區(qū)管理器將其中一個拆分的分區(qū)遷移到一個不同的分區(qū)服務(wù)器。
第七章
虛擬機遷移的步驟
步驟1:預(yù)遷移。步驟2:預(yù)定資源。步驟3:預(yù)復(fù)制。步驟4:停機復(fù)制。步驟5:提交。步驟6:啟動。
存儲虛擬化的三種實現(xiàn)方式?
(1)基于主機的存儲虛擬化:基于主機的存儲虛擬化,也稱基于服務(wù)器的存儲虛擬化或者基于系統(tǒng)卷管理器的存儲虛擬化,其一般是通過邏輯卷管理來實現(xiàn)的。
(2)基于存儲設(shè)備的存儲虛擬化:基于存儲設(shè)備的存儲虛擬化,也稱基于存儲控制器的存儲虛擬化。它主要是在存儲設(shè)備的磁盤、適配器或者控制器上實現(xiàn)虛擬化功能。
(3)基于網(wǎng)絡(luò)的存儲虛擬化:基于網(wǎng)絡(luò)的存儲虛擬化方法是在網(wǎng)絡(luò)設(shè)備上實現(xiàn)存儲虛擬化功能,它包括基于互聯(lián)設(shè)備和基于路由器兩種方式。
服務(wù)器虛擬化的底層實現(xiàn):1.CPU虛擬化,2.內(nèi)存虛擬化,3.I/O設(shè)備虛擬化 主流X86虛擬技術(shù):1.VMware威睿(VMware vSphere 5)2.Microsoft微軟(Windows2008 R2 Hyper-V)3.Citrix思杰(XenServer 6)4.Oracle甲骨文(Oracle VM 3.0)5.RedHat紅帽(Red Hat Enterprise Virtualization 3)
X86虛擬化基本功能:1.快照,2.創(chuàng)建和部署虛擬機,3.創(chuàng)建模板,4.克隆虛擬機,5.部署模板,6.配置虛擬機硬件、選項和資源
數(shù)據(jù)中心網(wǎng)絡(luò)虛擬化劃分為:核心層(主要指數(shù)據(jù)中心核心網(wǎng)絡(luò)設(shè)備的虛擬化),接入層(可以實現(xiàn)數(shù)據(jù)中心接入層的分級設(shè)計),虛擬機網(wǎng)絡(luò)虛擬化(虛擬機網(wǎng)絡(luò)交互包括物理網(wǎng)卡虛擬化和虛擬網(wǎng)絡(luò)交換機)
云計算中運用虛擬化技術(shù)主要體現(xiàn)在對數(shù)據(jù)中心的虛擬化上。
數(shù)據(jù)中心的虛擬化是通過服務(wù)器虛擬化,存儲虛擬化和網(wǎng)絡(luò)虛擬化實現(xiàn)的。服務(wù)器虛擬化分為:寄居虛擬化和裸機虛擬化
第五篇:高校云計算研究情況總結(jié)
目前,正在積極投身于云計算相關(guān)基礎(chǔ)理論與技術(shù)研究工作的高校和科研院所包括以清華大學(xué)、北京大學(xué)、武漢大學(xué)、中國科學(xué)技術(shù)大學(xué)、華中科技大學(xué)、上海交通大學(xué)、合肥工業(yè)大學(xué)、北京航空航天大學(xué)、解放軍理工大學(xué)、中科院、北京郵電大學(xué)、北京交通大學(xué)、東北大學(xué)、山東大學(xué)等為代表的諸多科研單位。另外,在工業(yè)界從事云計算相關(guān)研究的單位包括華為、百度、新浪、騰訊、金蝶軟件、中國電信、中國移動等諸多企業(yè)。
國內(nèi)高校與科研院所針對云計算的不同領(lǐng)域開展了深入的研究。例如,清華大學(xué)的云存儲平臺著力于構(gòu)建存儲云,武漢大學(xué)側(cè)重于面向云計算的互操作國際標(biāo)準(zhǔn),中科院計算所利用云計算開展數(shù)據(jù)挖掘與云安全工作,華中科技大學(xué)關(guān)注虛擬化技術(shù)與云安全,上海交通大學(xué)注重于數(shù)據(jù)的安全和隱私關(guān)鍵性技術(shù)研究,合肥工業(yè)大學(xué)側(cè)重將人工智能和信息管理研究成果遷移到云計算環(huán)境中,北京航天航空大學(xué)致力于云計算的數(shù)據(jù)安全控制理論與方法的研究,解放軍理工大學(xué)側(cè)重于云存儲研發(fā)與應(yīng)用,東北大學(xué)側(cè)重于利用云計算技術(shù)解決大規(guī)模圖數(shù)據(jù)處理問題,山東大學(xué)側(cè)重于研究SaaS軟件交付平臺的問題。
清華大學(xué)在云存儲研究方面,以分布式文件系統(tǒng)為基礎(chǔ)的云存儲平臺,為校園網(wǎng)用戶設(shè)計開發(fā)了用于數(shù)據(jù)存儲與共享的云存儲服務(wù),利用底層云存儲平臺所提供的基礎(chǔ)存儲服務(wù),提供用戶管理與目錄管理的功能,增加了文件檢索功能,并對數(shù)據(jù)傳輸進行了優(yōu)化,為用戶提供簡單實用的云存儲訪問接口。針對于越來越多的移動計算需求,基于云存儲平臺設(shè)計開發(fā)了多種手機云存儲應(yīng)用,包括基于云存儲服務(wù)的電話號碼簿應(yīng)用、可在手機上進行文件存儲與共享的文件管理應(yīng)用、基于云存儲服務(wù)的視頻點播應(yīng)用以及基于云存儲服務(wù)的相片管理應(yīng)用。在海量數(shù)據(jù)挖掘研究方面,結(jié)合云計算架構(gòu)和海量數(shù)據(jù)對象,開展基于云計算的海量數(shù)據(jù)挖掘研究,設(shè)計并實現(xiàn)面向海量數(shù)據(jù)挖掘的分布存儲和并行編程模型框架,提出基于群體智能的海量數(shù)據(jù)挖掘算法,以維基百科為載體,對維基百科及其形成的復(fù)雜社會網(wǎng)絡(luò)進行深入的分析和挖掘,提供基于維基百科的深層次知識服務(wù)。
武漢大學(xué)在面向云計算的互操作標(biāo)準(zhǔn)方面開展了一定的工作。在云計算環(huán)境中,信息資源和服務(wù)是通過即用即付的方式提供給用戶的,需要對不同的信息資源和服務(wù)進行統(tǒng)一的管理。同時,用戶需求正逐漸呈現(xiàn)出多樣性和個性化的特征,使得滿足大眾用戶需求的服務(wù)定制也需要跨領(lǐng)域/組織的資源和服務(wù)通過共享、交互、互操作等方式共同完成。隨著云計算的發(fā)展,許多企業(yè)或組織已經(jīng)構(gòu)建了云計算平臺,并提供了大量的內(nèi)部數(shù)據(jù)和服務(wù),但這些云計算平臺之間難以進行有效的信息共享和交換,造成了“孤立云”的產(chǎn)生,如何利用開放的互操作性標(biāo)準(zhǔn)實現(xiàn)云-端以及云-云之間的互操作顯得十分重要。針對這一現(xiàn)狀,國際標(biāo)準(zhǔn)化組織ISO/IEC正在研制“互操作性元模型框架”的國際標(biāo)準(zhǔn)-ISO/IEC 19763: Information
Technology-Metamodel Framework for Interoperability(簡稱MFI)。其主要目標(biāo)是為已注冊的異構(gòu)信息資源和服務(wù)提供統(tǒng)一的注冊和管理機制,促進它們之間的互操作。MFI標(biāo)準(zhǔn)從模型注冊、本體注冊、模型映射的角度對注冊信息資源的基本管理信息提供了參考,促進信息系統(tǒng)之間的互操作。武漢大學(xué)代表中國參加了該標(biāo)準(zhǔn)的研制工作,并主持了其中5項標(biāo)準(zhǔn)的研制任務(wù)。
中國科學(xué)院計算技術(shù)研究所在Hadoop基礎(chǔ)上開發(fā)實現(xiàn)了并行數(shù)據(jù)挖掘工具平臺。該平臺已經(jīng)用于中國移動TB級電信數(shù)據(jù)的挖掘,其數(shù)據(jù)處理規(guī)模遠(yuǎn)遠(yuǎn)超出商用軟件,在商用軟件能承受的相同數(shù)據(jù)規(guī)模下,采用相同方法和相同參數(shù)設(shè)置、獲得了一致的挖掘結(jié)果,實現(xiàn)了高性能、低成本的海量數(shù)據(jù)挖掘。中國科學(xué)院計算技術(shù)研究所在基于虛擬機架構(gòu)的可信計算環(huán)境與可信軟件設(shè)計方面也取得了一些成果,包括:基于虛擬機的可信計算平臺研究與設(shè)計(TRainbow);面向管理域虛擬機完整性的實時檢測技術(shù)(VMGuard);可信可控用戶虛擬計算環(huán)境構(gòu)建方法研究(TRIOB);面向虛擬存儲數(shù)據(jù)完整性的透明檢測技術(shù)(Tapwire);虛擬化全局內(nèi)存優(yōu)化技術(shù)(TMemCanal);分布化IO資源的全局可見與共享技術(shù);Xen虛擬計算環(huán)境下的可信接入控制技術(shù)。中國科學(xué)院軟件技術(shù)研究所圍繞云計算的安全問題也進行了一系列的研究,包括針對云存儲中敏感數(shù)據(jù)的機密性保護問題,在基于屬性的加密基礎(chǔ)上提出了一種密文訪問控制方法HCRE;在基于密文策略的屬性加密應(yīng)用場景下,實現(xiàn)了云存儲中高效、精細(xì)、靈活的密文訪問控制方案等。
華中科技大學(xué)也在云計算方面進行了很多實踐,包括:設(shè)計出了一個面向科學(xué)計算與企業(yè)信息化的云計算平臺GRANE;實現(xiàn)了一個面向云環(huán)境的虛擬化桌面CloudDesk,它能動態(tài)適應(yīng)用戶的需求變化,為用戶提供高效、安全、易用的云資源訪問的桌面環(huán)境;從任務(wù)并行調(diào)度,數(shù)據(jù)組織與壓縮,備份服務(wù)可信及容錯模型三方面著手,研究出了一個云備份系統(tǒng)B-Cloud;基于云模式的大規(guī)模主動安全防御系統(tǒng)CloudFence,它是采用安全檢測與防御相分離的原則,充分利用云端強大的處理能力和存儲能力。
上海交通大學(xué)針對云計算中存在的數(shù)據(jù)安全問題,利用密碼理論與技術(shù)、網(wǎng)絡(luò)與信息安全技術(shù)、編碼理論等方向所取得的成果,解決數(shù)據(jù)安全存在的一基礎(chǔ)問題,提高云計算的安全性,并開展了下一代互聯(lián)網(wǎng)安全與隱私關(guān)鍵性技術(shù)研究。另外,上海交通大學(xué)與微軟合作,共同搭建國內(nèi)高校第一個基于最新虛擬化技術(shù)和System Center的私有云,為教學(xué)與科研項目提供可伸縮的計算資源。
北京航空航天大學(xué)利用分布式環(huán)境下的訪問控制方法和可信計算信任模型方面的研究基礎(chǔ),致力于面向云計算的自含式數(shù)據(jù)安全控制理論與方法的研究,來提高云安全性。
解放軍理工大學(xué)在云計算存儲應(yīng)用方面,研發(fā)MassCloud云存儲平臺在節(jié)能與集成度上取得了階段性的突破,并在實際應(yīng)用中獲得巨大成效。目前,360公司在解放軍理工大學(xué)成立了云計算聯(lián)合實驗室。
東北大學(xué)基于BSP處理模型和系統(tǒng)實現(xiàn)了社會網(wǎng)絡(luò)中的大規(guī)模圖數(shù)據(jù)查詢與分析,研究了大規(guī)模圖數(shù)據(jù)的劃分與定位問題、大規(guī)模圖數(shù)據(jù)的磁盤存儲問題、大規(guī)模圖的分布并行查詢處理和查詢優(yōu)化問題以及云環(huán)境下的執(zhí)行保障問題,設(shè)計并實現(xiàn)了BeeGraph系統(tǒng),支持大規(guī)模圖數(shù)據(jù)的處理。
山東大學(xué)對面向多租戶的SaaS平臺開展了研究,包括支持多租戶數(shù)據(jù)隔離的存儲與索引機制,基于Chunk Folding的自適應(yīng)多租戶緩存管理機制,支持租戶業(yè)務(wù)流程定制行為建模及驗證的框架,以及面向SaaS應(yīng)用的數(shù)據(jù)組合隱私保護機制,為面向多租戶的SaaS平臺提供技術(shù)支撐。
中國科學(xué)技術(shù)大學(xué)在云計算環(huán)境下遠(yuǎn)程數(shù)據(jù)完整性和認(rèn)證技術(shù)方面,結(jié)合數(shù)論中的同態(tài)RSA驗證標(biāo)識,設(shè)計了保護用戶隱私的數(shù)據(jù)完整性驗證協(xié)議,能夠支持?jǐn)?shù)據(jù)動態(tài)更新和公開的多副本驗證,而無需第三方審計。針對已有遠(yuǎn)程身份認(rèn)證方案存在的缺陷和安全漏洞,提出了新的身份認(rèn)證方案。認(rèn)證方案結(jié)合使用智能卡、口令和電子票據(jù),既能夠為用戶和服務(wù)器提供雙向身份認(rèn)證,也通過電子票據(jù)的發(fā)放解決了限制用戶訪問次數(shù)的問題。