第一篇:云計算的安全技術綜述(改)
云計算的安全技術綜述
** 摘要:云計算是一類新興的計算方式,也是一種按使用量付費的全新交付模式,因其使快速有效處理海量的數據變為可能,從而引起社會各界的廣泛關注。本文首先論述了云計算的興起淵源,分析了算法的優越性,并介紹了該技術帶來的安全問題及其相應的技術,最后介紹了相關應有及未來的發展方向。
關鍵詞:云計算;云計算安全;安全技術及應用
Keyword:Cloud Computing,Cloud Computing Security,Security Technology and application 0 引言
云是一種并行和分布式系統組成的一組相互關聯和虛擬化的計算機,它基于服務層協議動態配置,作為一個或多個統一的計算資源,基于服務商和消費者之間通過談判建立[9]。而所謂的云計算,是通過基Internet的計算方式,把共享的軟硬件資源、信息按需供給計算機和其他設備,是一種按使用量付費的全新交付模式。
隨著社會信息化與網絡技術的快速發展,各種數據呈現出一種爆發式的增長,正是因為云計算的存在,使快速有效處理海量的數據變成可能。而云計算多用戶、虛擬化、可擴展的特性使傳統信息安全技術無法完全適用于云計算平臺。因此,云計算的存在又帶來了一個新的安全問題,它成為制約云計算發展的一大重要因素。本文首先闡述了云計算的理論依據,然后再對其帶來的安全問題、關鍵技術及其應用進行討論。1 云計算的理論依據
云計算的概念是由2006年Google提出的,它可認為是分布計算、并行計算、網格計算等多種計算模式混合的進一步演化[17]。1.1云計算的服務模型
現如今,云計算主要提供以下三個層次的服務:IaaS、SaaS和 PaaS。
基礎設施級服務(IaaS)是通過Internet向用戶提供計算機、存儲空間、網絡連接、防火墻等等的基本的計算機資源,然后用戶可以在此基礎上隨心所欲的部署和運行各種軟件,其中包括OS和應用程序,通過網絡,消費者可以從完善的計算機基礎設施獲得服務。軟件級服務(SaaS)是一種通過Internet提供軟件的模式,用戶可以直接向供應商租用基于Web的軟件,用來管理企業的運營卻不需要購買,但是,云用戶沒有管理軟件運行的基礎設施、平臺的權限,只能做一些非常有限的應用程序的設置。
平臺級服務(PaaS)是將軟件研發平臺作為一種服務以SaaS的模式交付給用戶,因此,PaaS實際上也是SaaS應用的一種,但它主要面向的是進行開發的工作人員,并為其提供在互聯網上的自主研發、檢測、在線部署應用。1.2云計算的成功優勢 云計算之所以能夠被廣泛利用,是因為它有著傳統IT服務沒有的優勢。
一、資源池化和透明化。對云服務供應者來說,云計算采用虛擬化技術對各種底層資源如計算、儲存、網絡、資源邏輯等資源進行抽象,可以被統一管理和調度,成為所謂的“資源池”,從而為用戶提供按需服務;對用戶來說,這些資源是透明、無限大的,用戶無須了解內部結構、所用資源具體物理位置,也不用參加具體的設備管理,只用關心自己的需求是否得到滿足就可以了,體現云計算資源抽象化的優點,同時降低用戶對于IT專業知識的依賴。
二、按需訪問、按需服務。云計算為用戶提供了三種不同層次的服務,因此用戶只需擁有網絡就可隨時隨地地接入云中,使用瀏覽器或其他形式的接口就可以較為方便輕松的訪問自己所需的軟件服務和資源,而所有的有關于服務管理的工作則交給云供應商完成,這樣的機制則讓用戶使用各種軟件服務和各類資源如煤氣、水電一樣取用方便且費用低廉。2 云計算的安全問題
雖然云計算可以為用戶提供最大化資源利用的、自定義的、可靠的服務,是種新的分布式計算模式,它與傳統的IT網絡服務相區別,但傳統信息安全的各種威脅都適用于計算機云平臺。而它本身的動態服務的特性,給信息界帶來一場巨大的變革,而該變革給信息安全領域帶來的沖擊是巨大的,具體表現在:(1)在云平臺中運行的各類云應用的基礎設施和安全邊界隨時隨地都在發生著改變,因此,針對于用戶的數據安全、隱私保護非常難以實現;(2)部署安全防護措施由于多個管理者共同享有云服務資源,存在必然的利益沖突,沒有辦法實現統一的規劃;(3)由于云平臺中的數據、計算高度集中的,因此,云計算的安全措施必須要滿足海量的信息的處理需求。
綜上,云計算安全問題成為發展云計算技術的重中之重。針對其復雜性,云計算的安全問題也應該是一個包括管理、技術、法律法規的綜合體,它的安全的總體框架如圖1所示:
圖1 云計算安全總體框架 數據安全
云計算的特點決定了數據要實現在“云”端的集中存儲,就必須要保障不同用戶數據的安全隔離;云端的服務器可能會“宕機”,在這種情況下,如何安全高效的進行數據遷移非常關鍵;云計算采用租賃方式向用戶提供資源,這意味著一個用戶使用過的存儲區域會被其他用戶使用,因而必須解決好數據殘留問題。3.1 云環境下的數據安全存儲面臨以下挑戰(1)數據的加密存儲
在傳統信息系統中,一般采用加密方式來保證存儲數據的安全性和隱私性。但在云中,這樣做起來卻并不容易,因為對于任何需要被云應用或程序處理的數據,都是不能被加密的,很多類似于檢索、運算這樣的操作對于加密的數據甚至無法進行。
(2)數據隔離
多租戶技術是PaaS和SaaS云用到的關鍵技術。由于云計算采用共享介質的數據存儲技術,不同用戶的數據可能會被存儲在同一物理存儲單元上。盡管云服務供應商會使用一些隔離技術(如數據標簽和訪問控制技術相結合)來防止對混合存儲數據的非授權訪問,但它依然能通過程序漏洞實現,如Google Does在09年3月就發生過不同用戶間文檔的非授權訪問。
(3)數據遷移
當云中的服務器“宕機”時,為了確保正在進行的服務器繼續進行,需要將正在工作的進程遷移到其他服務器上。為了讓用戶幾乎無法感受到“宕機”的發生,遷移必須高速進行;為了讓進程在新的機器上恢復運行,必須保證數據的完整性。
(4)數據殘留
殘留數據是指刪除數據后的殘留形式,邏輯上已經被刪除,但物理上依然存在。殘留數據可能無意中透露用戶的敏感信息,攻擊者可能捕獲這些痕跡恢復出原始數據。而在云中,殘留數據可能導致一個用戶的數據無意被透露給未授權的一方。所以在存儲空間再次分配給其他租戶之前,云服務商須向用戶保證并證明用戶儲存空間在釋放、共享或分配至其他用戶之前,空間內信息都已全部刪除[1]。3.2 云數據安全存儲技術研究
加密無疑是保護云中存儲的數據的安全性和隱私性的重要方法之一。如今我國計算機所使用的傳統加密技術主要有兩類:一種為對稱加密技術,另一種為非對稱加密技術。當前被關注的安全存儲技術包括同態加密技術、基于VMM的數據保護技術等等。3.2.1 云數據安全存儲框架
微軟研究院的Kamara等人提出了面向公有云的加密存儲框架,該框架的主要特點有兩個:數據由所有者控制:數據的安全性由密碼機制保證。該框架除了能解決數據存儲 的隱私問題和安全問題外,還能解決數據訪問的合規性、法律訴訟、電子取證等問題。不過,該框架只是一個宏觀的模型,并沒有給出具體實現方法。
文獻[7]中提到了一種分散式云存儲安全架構。該架構采用信息擴散法、分散存儲管理、數據自舉恢復等技術,分層實現數據的安全存儲管理和傳輸。該方法定期檢查數據片受損情 況,若存在受損數據,則根據互為冗余的存儲設備上的數據加以恢復,從而提高數據的可用 性。從數據存儲到傳輸,都建立了相應的保護措施,進行云存儲層與其他層間的安全防范,實現了數據的有效防護。該架構并沒有具體說明如何保證數據的完整性,數據分片難以確保數據 的隱私性和安全性。3.2.2 云數據安全存儲技術
(1)同態加密技術
運用這種加密技術可以實現明文上執行指定的代數運算,結果等同于在密文上的另一個(可能是不同運算)代數運算結果同態加密。其思想起源于私密同態,它允許在不知道解密函數的前提下對加密數據進行計算。文獻[7]中提到了一種同態加密算法,它通過運用向量和矩陣的各種運算來實現對數據的加解密,并支持對加密字符串的模糊檢索和對密文數據的加減乘除,該算法在執行加減運算時效率較高,但在執行乘除運算時效率較低,且運算代價隨向量維度的增加而增加。
(2)基于VMM的數據保護技術
有一種基于VMM的云數據機密性保護方法,它基于SSL來保證數據傳輸的安全,利用Daoli安全虛擬監控系統保護數據存儲的安全。該方法將云端的OS和分布式文件系統進行隔離,數據加密由虛擬機監控系統來完成,實現OS和用戶數據的隔離。雖然該方法保證多租戶環境下隱私數據不會泄露給其他用戶,但數據還是可能會泄露給云服務提供商。
(3)基于加解密的數據安全存儲技術
公有云中存儲的數據一般屬于外包數據,存在不少基于傳統的加解密技術的研究來確保外包數據的安全。有基于代理重加密方法的數據分布式安全存儲方案[2],但該方案存在惡意服務器和任意一個惡意用戶勾結就能計算出所有密文數據的解密密鑰的漏洞,嚴重威脅數據的安全;還有一種基于密鑰導出方法的非可信服務器數據安全存儲方案,但文件創建操作及用戶授權/撤銷的復雜性與用戶數量成線性關系,這使得系統規模難以擴展。
(4)支持查詢的云數據加密存儲技術
使用SE,用戶將查詢關鍵字或查詢條件提交給云中的查詢服務器,查詢服務器通過檢索關鍵字索引找到符合條件的數據,然后將查詢結果返回給用戶。但SE要求輸入的查詢關鍵字不能有任何錯誤且格式必須遵循規定的統一格式。針對這一問題,有一種面向云密文數據的模糊查詢方法,它可以將關鍵字和事先生成的模糊關鍵字集合進行匹配,密文無需解密,文件的安全性得到保證。
(5)基于可信平臺的數據安全存儲技術
由于軟硬件的不可信也是造成云數據存儲面臨挑戰的重要原因,文獻[7]中提到了一種針對使用數據保護提出了基于二次混淆的隱式分割機制。但該方案在使用數據存儲是進行的二次分割和矩陣運算時存儲效率低,難以擴展。4 應用安全
云計算應用為廣大用戶提供了極大方便,但是又由于其將大量的使用者、信息資源過于集中在一起,這樣一來,假設出現安全問題,它的結果是我們承擔不起的。而用戶在使用云應用的時候,信任應用程序會保護其數據,但實際上SaaS服務商對此并未作出任何承諾[3]。因此,應用安全也成為了阻礙云計算發展的非常重要的因素之一。4.1 云計算下應用安全面臨的主要問題(1)終端用戶安全
用戶在使用云計算系統過程中,應確保自身計算機能夠正常運行以及計算機的安全。目前用戶獲得云服務的主要接口就是瀏覽器,所以瀏覽器的安全與否極為重要。要實現端到端的安全,就必須采取一些措施來保護瀏覽器的安全。以免其受到入侵或破壞,從而保證數據運輸過程中的安全。
(2)SaaS應用安全
在這種服務模式下,用戶無需控制或是管理云計算系統當中的基礎設施,云計算提供商維護管理所有應用,必須保證應用程序和組件的安全性。用戶只需負責最高層面的安全問題,即用戶自己的操作安全、個人密碼等秘密信息的保管。選擇SaaS的提供商要特別慎重,因為會負擔絕大部分的安全責任,提供商要最大限度地確保提供給用戶的服務的安全性。4.2 云計算應用安全相關技術
對于終端的保護,可以采用終端控制技術,該技術的核心層面在于用戶使用防護軟件進行自身的數據保護。例如,在終端上安裝安全軟件,如殺毒軟件、防火墻、防惡意軟件等來確保計算機的安全性;與此同時,用戶應及時更新自身所使用的瀏覽器,并及時更新系統,下載系統補丁,減少計算機中的漏洞。
對于SaaS的保護,用戶應盡量了解云服務提供商所提供的云服務的虛擬數據存儲架構,云服務提供商應加強軟件的安全性管理。目前,對于提供商的評估方法是根據保密協議,要求提供商提供相關的安全實踐信息,該信息應當包括黑盒與白盒安全測試記錄。而企業所采用的安全防護手段就是及時進行云計算技術安全狀態的檢查。5 虛擬化安全
虛擬化技術可以將多個OS整合到一臺服務器上,從而簡化計算框架,降低資源管理成本,減少資金與硬件設施的投入,從而更大化、最優化地使用硬件資源和計算資源,有效地實現云服務的可擴展性和可伸縮性。5.1 云計算虛擬化安全面臨的主要問題
虛擬化技術的采用,在對云服務的提供能力上有所增強,在基礎設施和軟件層面都有所改進。然而,也面臨著一些安全問題,主要體現在:
(1)主機的損壞,隨之而來的是客戶端服務器的安全性受到威脅。(2)虛擬網絡的破壞,隨之而來的也是客戶端的損害。
(3)網絡的安全性問題將直接導致客戶端共享和主機共享的安全性能。(4)主機的功能性問題將直接引發虛擬機的問題。
總的來講,若云計算平臺上采用了虛擬技術,則其云架構提供者必須對其客戶提供安全性以及隔離保證,在應用虛擬化技術的時候歸為兩方面的風險:虛擬化軟件安全和虛擬服務器安全。5.2 云計算虛擬化安全相關技術
(1)虛擬化軟件安全
在IaaS云平臺中,軟件完全由云服務商來管理,用戶不用訪問此軟件層。因此,虛擬化軟件安全必須嚴格控制虛擬化軟件層的訪問權限, 這樣才能保障計算機同時運行多個操作系統的安全性,對于云服務提供商來說必須建立健全的訪問控制策略來保障虛擬化層次的用戶數據安全。
(2)虛擬化服務器安全
在兼顧虛擬服務器特點的前提下,物理服務器的安全原理可以移植到虛擬服務器上應用,當虛擬服務器啟動時,TPM安全模塊會去檢驗用戶密碼,若此時輸入的用戶名和密碼的Hash序列不對則虛擬服務器終止啟動[13]。最好使用可支持虛擬技術的多核處理器,這樣可以做到CPU間的物理隔離,這樣可以避免許多不必要的問題。
除此之外,文獻[13]中還提到了基于虛擬機技術實現的grid環境下的隔離執行機,核心分配可以通過緩存層次感知,和給予緩存劃分的頁染色的兩種資源管理方法實現性能和安全隔離。云計算的應用現狀
(1)在測試領域的應用
在軟件測試方面,云供應商以按需租用的方式向用戶提供SaaS、PaaS、IaaS3種層次的服務,使軟件開發者無需以高成本高買、安裝和配置本地測試環境,從而為軟件測試提供極大便利;
在硬件測試方面,云計算的“平臺級服務”的模式可以為硬件測試提供高效的解決方案,如Internet公司,采用iLab的私有云平臺,通過虛擬化、鏈式克隆、安全通道、先進的整合手段與管理技術,以自助式服務站點管理測試實驗室,可以在2min之內部署一個測試環境,將物理系統加入到虛擬測試環境中,從而有效的節省了部署測試環境的時間同時大大節省了成本;
在自動測試系統方面,文獻[14]提出了一種基于云計算技術的自動測試系統架構方案,該方案測試基礎資源由測試資源和云計算基礎設施構成,是可通過網絡訪問的、可配置的共享測試資源池,測試管理平臺是為測試開發者、使用者和管理者供的統一的服務平臺,測試服務應用則是將測試提供給用戶的最終環節,它可以比傳統的測試系統具備更強大的功能、更優良的性能、更開放的結構、更靈活的使用方式以及更自由的操作
對于未來,我們可以利用云計算建立一個統一的平臺,將大量分布式的測試資源有效管理和調用,使在開發測試系統時,不再受限于測試資源的有限性和地理位置的約束;還可以以云計算為基礎架構,結合分布式測試和并行測試等技術,在緊急情況下集中管理、調用強大的云計算資源和一切可用的測試資源。
(2)在圖書館中的應用
亞利桑那大學圖書館的IaaS應用案例,使用了Amazon Web Services,利用開源軟件 DSpace構建數字化館藏,利用開源軟件Koha構建聯合書目,采用Linode Cloud服務,利用開源軟件Joomla構建圖書館網站。
在國內,正在實施中的CALIS數字圖書館云服務平臺,將能夠提供IaaS、PaaS、SaaS服務,構建大型分布式的公共數字圖書館服務網絡,將云環境下各個圖書館的資源和服 務進行整合,為圖書館提供更多的服務。
文獻[15]提出可以利用SaaS為圖書館提供服務,SaaS模式的優點使得中小型圖書館能更多地關注工作流程和讀者服務;大型圖書館從成本的角度考慮也可以將部分分軟件系統遷移到SaaS平臺;還可以利用PaaS和IaaS為圖書館提供服務,利用開源軟件快速部署圖書館軟件應用平臺,將開源軟件與PaaS平臺緊密結合,同時把圖書館部分應該部署到IaaS平臺,以滿足圖書館實際應用需求。
(3)在云平臺中的應用
由于應用軟件缺乏成熟操作模型作為服務意味著云計算能力尚未開發和研究到充分開發的水平。因此,文獻[16]提出在云環境中,自動上傳一個新的數據框架后,適當認證和處理它們的任務(收集和共享),以檢驗正確性假設。然后檢查程序能力低于三參數,基于這三個參數可以找到更好的應用軟件作為服務的方法。
文獻[3]為了能夠對云計算服務平臺進行數據安全性的管理,提高云計算服務系統的可靠性,基于DIFC模型下,以命題邏輯為基礎設計動態信息流的控制機制與系統,從而保證數據模型的清晰性與完整性,并且提高系統的可靠性。文獻[13]提出虛擬化架構的可信云計算平臺在建立用戶與虛擬機關聯后,僅使用數字信封便能封存虛擬機,用戶訪問或使用資源時通過PKI中間件使用用戶的私鑰解密虛擬機中的數字信封,最大程度保證數據完整性和安全性。7 結語
社會發展步伐在不斷的加快,網絡環境安全與否現在已成為了推動我國發展的重要因素,同時也是現代化建設的重要體現。而隨著互聯網的快速發展,云計算的各種應用在我國使用的越來越廣泛,它的發展光景不可預測,云計算的安全問題便變成了社會各界人士關注的焦點與發展的熱點。因此,在云計算環境下,我國的云計算服務供應商必須要給予更多的關注并加強對其安全的管理,不斷的完善與提高相關的云計算的安全技術,提升云環境下的網絡安全性,讓用戶通過良好的、健康的云計算安全環境,更為放心的使用云計算系統,以此來促進云計算的發展。參考文獻
[1] 高雪瑩, 吳韶波, 陳思錦.云計算及其安全技術[J].物聯網技術, 2014(3):88-90.[2] 丁一軍, 于桂榮.云計算:安全技術問題探討[J].科技創新導報, 2015(7):58-59.[3] 肖錕, 袁俊.云計算平臺的數據安全技術分析[J].黔南民族師范學院學報, 2014, 34(6):102-105.[4] Tari Z, Yi X, Premarathne U S, et al.Security and Privacy in Cloud Computing: Vision, Trends, and Challenges[J].IEEE Cloud Computing, 2015, 2(2):30-38.[5] Mahalle S, Jaiswal R.Cloud Computing Security: A Survey[J].International Journal of Computer Applications, 2015, 115(6):21-25.[6] 閆盛, 石淼.基于云計算環境下的網絡安全技術實現[J].計算機光盤軟件與應用, 2014(23):168-168.[7]馮朝勝, 秦志光, 袁丁.云數據安全存儲技術[J].計算機學報, 2015, 38(1):150-163.[8] Dinadayalan P, Jegadeeswari S, Gnanambigai D.Data Security Issues in Cloud Environment and Solutions[C]// World Congress on Computing and Communication Technologies.2014:88-91.[9]高其勝, 陳艷峰.云計算虛擬化安全研究[J].圖書館學研究, 2015(11):46-50.[10]王笑帝, 張云勇, 劉鏑,等.云計算虛擬化安全技術研究[J].電信科學, 2015, 31(6):1-5.[11] 羅偉.基于云計算安全的關鍵技術分析[J].電腦知識與技術:學術交流, 2015, 11(2X):51-53.[12] 申璁.云計算安全的關鍵技術分析[J].科技傳播, 2016, 8(8).[13] 白堃.基于云計算環境下的數據安全保護技術分析[J].電子設計工程, 2015, 23(10):149-151.[14] 肖明清, 楊召, 薛輝輝,等.云計算及其在測試領域的應用探索[J].空軍工程大學學報·自然科學版, 2015(1):50-55.[15] 余正祥, 胡云.云計算在圖書館中的應用研究[J].圖書情報工作, 2014(S1):254-256.[16] S Kembhavi,G Singh auto upload and chi-square test on application software as a service for cloud computing encironment[J].International Journal of Advanced Technology and Engineering Exploration ISSN(Print): 2394-5443 ISSN(Online): 2394-7454 Volume-1 Issue-1 December-2014 [17] Zhao F, Li C, Liu C F.A cloud computing security solution based on fully homomorphic encryption[C]// International Conference on Advanced Communication
第二篇:云計算及其安全技術學習心得
云計算及其安全技術學習心得
作為一個云計算技術研究的工作人員,通過本課程的學習加深了我對云計算及其安全技術的認識。主要的心得體會如下:
隨著科學技術的迅速發展,現代信息化建設對信息量的要求越來越高,傳統IT技術已不能滿足要求,高效率、低成本地對海量數據進行存儲和處理的云計算技術就應運而生。云計算[1]是基于互聯網的相關服務的增加、使用和交付模式,通過互聯網來提供動態易擴展虛擬化的資源。云計算將賦予互聯網更大的內涵,更多應用能以互聯網服務的方式交付和運行;同時也擴大了IT軟硬件產品應用的外延和改變了軟硬件產品的應用模式。云計算是一種新的商業模式,帶動IT產業格局的變化,為全球信息技術產業帶來全新的發展機遇,同時也深刻影響世界經濟的發展。
我國政府高度重視對云計算的發展,把云計算列為重點發展的戰略性新興產業。2012年9月,為了加快推進云計算技術創新和產業發展,科技部發布了《中國云科技發展“十二五”專項規劃》。權威機構預測,未來三年中國云計算產業鏈的產值規模將達到2000億元。《2013-2017年中國云計算產業發展前景與投資戰略規劃分析報告》指出,近年來企業在不斷增加其云服務資產,并已經準備好開始集成工作;調查發現超過74%的企業客戶計劃用服務提供商來實現系統集成。同時,隨著我國智慧城市建設的鋪開,以及各地方的公有云和大型企業私有云建設的快速開展,中國云計算市場規模將進一步增大。
云計算技術的快速發展,用戶對其可靠性和安全性有了越來越多的需求。根據美國研究公司Gartner發布的《云計算安全風險評估》的報告稱云計算服務存在著如下七大潛在的安全風險[8],安全問題依然不容忽視:可審查性、特權用戶的接入、數據隔離和加密、數據恢復、數據位置、長期生存性以及調查支持持特定的調查。
云計算安全技術主要表現在身份的保護、基礎設施的保護和信息數據的保護三個方面。第一個方面就是身份的保護。對于身份安全來說,用戶需要強認證機制,一般考慮ID和密碼的保護。在云環境中需要身份認證技術,才能實現云服務和應用的安全遷移;第二個方面是基礎架構的安全保護。基礎架構主要包括軟硬件、網絡設備、操作系統和應用環境等。對基礎架構安全來說,要確保基礎架構的安全是一項非常大的挑戰。這就需要非常強的可信鏈條,這個可信鏈條不僅包括硬件安全,還有因特網、操作系統、虛擬化等,整個鏈條都要有非常強的可信性;第三個方面就是數據和信息的安全保護。對于數據和信息的安全保護也有兩個方面,既數據的完整性和信息的保密性。數據的完整性主要指數據在被訪問的時候,不應該被隨意篡改、增加或刪減。信息的保密性指信息只能是有權限的人才能閱讀。這方面的技術主要有分布式的密鑰管理技術、密鑰的加密技術以及DLP技術等。
云計算作為一項新興的技術,特點突出、優勢明顯,得到了眾多人的追捧。云計算技術高速發展給互聯網帶來了新的機遇與挑戰,各大IT公司加入到云計算行業,推出自己的云服務。但與此同時,云計算還面臨諸多安全隱患,尤其是云安全問題,有待云計算相關安全技術的進一步研究解決。
第三篇:云計算安全
云計算安全
前些天去聽了下“中國計算機大會”的安全專場,在杭州的“第一世界大酒店”。
我前一天晚上記錯了,告訴老婆說,我明天要去“世界第一大酒店”開會,牛B的不行,到了才知道,原來是“第一世界大酒店”。
這次大會是我們公司的主場,主會場是討論云計算、物聯網。安全有個分會場,來了許多專家,估計是出于主辦方的要求,言必出“云安全”、“云計算安全”,云來云去的,搞的我也云里霧里了。
說來慚愧,我在公司的主要工作之一就是搞云計算安全,但是搞來搞去,我發現什么都沒有改變。
要說起云計算,至今業界都沒有一個非常標準的定義。每個企業都有自己定義的云計算。主要有兩類,一個是跑在Map/Reduce框架下的計算平臺,以此為代表的有hadoop,還有一些海量存儲的,比如google的bigtable等。另一類就是虛擬機平臺,以此為代表是Amazon、VMware。
云計算的另一個特征應該就是有“數據中心”,用土話來說就是要有一個超大規模的機房,規模沒上去,也不叫云計算。所以用個三到四臺服務器搭了hadoop,這個也不能叫云計算。
至今為止,很多人都搞不明白虛擬機類的云計算平臺比起那些賣虛擬空間的有啥區別,說句老實話,我也沒搞清楚。即便是后臺調度有些區別,我認為也是有限的,不具有突破性。可能最大的區別在于,“云”的價格會便宜點,不過這不是我們這些安全工程師所關心的。
嘗試著講明白了什么是“云”,那現在就來戳穿一下所謂的“云計算安全”。先講講所謂的“云安全”,現在很多安全廠商,都跟風把自己的產品叫云安全。什么是云安全?就是建個機房,然后有桌面產品的就把產品上抓到的木馬樣本發回中心機房,有IDC流量監控的就把數據抓了發回中心機房,這個就叫做“云安全”。
我靠,這玩意不是若干年前就有的嗎?很多軟件雖然沒說,但早就這么做了。原來這就是“云安全”,一個我們用了很多年的東西,現在終于可以光明正大的說出來了!更可怕的時候,在沒有所謂云安全的時候,我們的隱私還是自己的,有了云安全,個人電腦里的數據、文件會自動發給廠商,你不擔心嗎?
所以“云安全”這個東西,和“云計算安全”完全是兩碼事,跟云計算也不搭邊。當然,你要硬說你建了數據中心,也用了hadoop,所以你的云安全是真的,那我也無話可說了。
“云計算安全”這個概念,在我看來,和以前有一個概念很像。什么呢?“電子商務”。我大學是學這個專業的,我讀了個在職研究生,也是讀這個方向。但我至今沒搞明白學了什么,至今無法講清楚電子商務的概念。記得當初畢業的時候,我們專業的所有人都很迷茫,不知道這個專業能干嗎,沒人知道。
當沒有人能夠講清楚一個大家都在用的概念時,那么,肯定是有問題的。這并不是一個只有愛因斯坦才懂相對論的時代,這是一個賣冰棍的大媽都知道云計算的時代!
什么是電子商務?在中國,是淘寶,是阿里巴巴,在美國,是ebay,是amazon。
今天的所有概念,都在隨著實踐的改變而改變。所以今天沒有人能講清楚什么是“云計算安全”,是很正常的一件事情。我們看一張MAP:
什么是云計算安全?這就是云計算安全。從這張圖上的第一個直觀印象就是,所有的安全方法、安全產品,都沒有改變。我們以前是怎么做安全的,在云計算時代,還是怎么做。
我們要做代碼review,要做防火墻,要做WAF,要做XXX,這些都沒有變。
既然你什么都沒變,那你在折騰個什么勁?因為今天“云計算”被炒的太火了,很少有人能說清楚什么叫云計算,更沒有人可以說清楚什么叫“云計算安全”。但是你不這么說,好像就會落伍了,就會被鄙視了。陋習!
從字面上看,給云計算做安全,就叫云計算安全。從某種意義上來說,“云計算安全”是另外一種屠龍術,掛羊頭賣狗肉。如果有人要開個班,培訓“云計算安全”,那一定是騙人的。因為我今天見到的任何所謂“云計算安全”,無論國內的還是國外的,都不具有突破性,不需要專門開辟一個領域,叫做“云計算安全”,我們也不需要任何的神壇。
但是云是需要安全的,云需要什么樣的安全?我們不妨叫做:“云計算的安全”。從宏觀層面來說,和傳統安全沒什么變化,還是網絡策略,代碼實現安全,數據保護等等。
真要說云時代安全的特征,我認為有兩個,一個是在云中需要執行用戶代碼的時候,比較注重虛擬機技術以及各類sandbox技術,另一個就是用戶數據的保護。不過這些技術,都沒有突破傳統安全技術的范疇。局部有創新,總體沒改變。
會有些變化的領域,應該是“基于云計算的服務安全”,上層應用會帶來各種各樣的多變性。比如賣虛擬空間啊,比如云的終端放在手機上啊,再比如一些基于云的SAAS服務啊,都會帶來非常獨特的功能,所以基于云服務的安全怎么做,才是真正需要創新和定制化的地方。
我已經厭煩了整天云來云去的,這個安全產業出于對利益的追逐,太浮躁了。
第四篇:云計算不是一種服務是一項技術
云計算不是一種服務是一項技術
在2011CENC中國企業網絡通信大會上,工信部電信研究院總工程師蔣林濤表示云不是一種服務或者服務理念,而是一種技術,而且不是一項全新的技術,是一系列技術的繼承和發展。
云計算與三種服務形態沒有直接關系
提到云計算,人們總是要列出IaaS、PaaS、SaaS這三種服務形態。但是對此,蔣林濤認為這三種個服務形態早已經存在,不是只有云才能提供,這三種服務形態和云計算并沒有直接關系。
“一臺大型計算機外接遠程終端也可以提供IaaS、PaaS、SaaS這三種服務。所以從嚴格意義上說,云與服務沒有關系,云是一種實現技術,它將分離的IT資源有序的組織起來和有效的使用起來。云的用途不會局限于提供應用,在很多平臺的建設中也可以采用云計算技術,當然只有在建設規模以上的平臺體系時才值得去做,否則僅僅是徒有虛名,而不會得到實質意義的好處。”蔣林濤警惕道。
云計算是IDC的一種補充
目前,云的最主要用途是用于建設新一代的IDC。IDC是存在已久的IT基礎設施,IDC一般有兩方面的能力:設備托管和IT資源出租。其中,IT資源出租就和云計算有著緊密的聯系。據了解,以資源出租為主的IDC有三種工作模式:集中方式、分散方式和分布方式。
蔣林濤認為分布式IDC在進入云計算前是沒有的,分布式是目前IDC缺乏的一種工作模式,而云計算正好是一種分布式技術,所以,使用云計算技術來實現IDC,正好補充了分布式IDC這種工作形式。
(飛象網)
第五篇:云計算產品及技術方案分析報告
云計算產品與技術分析
云計算產品及技術分析報告
2012年XX月XX日
云計算產品與技術分析
目錄 引言...........................................................................................................................5 2 云計算產品分類.......................................................................................................5 3 國外的主流產品.......................................................................................................5
3.1 Amazon云計算方案...................................................................................5
3.1.1 介紹......................................................................................................5 3.1.2 Amazon Web Services(AWS).....................................................5 3.1.3 彈性計算云EC2.................................................................................6 3.1.4 簡單存儲服務S3................................................................................6 3.1.5 數據庫服務SimpleDB.......................................................................7 3.2 Google云計算方案....................................................................................8
3.2.1 介紹.....................................................................................................8 3.2.2 Google App Engine.........................................................................8 3.2.3 計算服務MapReduce.......................................................................8 3.2.4 存儲服務GFS(Google File System)............................................9 3.2.5 數據庫服務Data Store.....................................................................9 3.3 Mirosoft云計算方案................................................................................10 3.3.1 介紹.................................................................................................10 3.3.2 Windows Azure.............................................................................10 3.3.3 計算服務........................................................................................10 3.3.4 存儲服務Blob/Table存儲...........................................................11
云計算產品與技術分析
3.3.5 數據庫SQL服務(SDS).............................................................12 3.4 IBM藍云...................................................................................................12 3.4.1 概述.................................................................................................12 3.4.2 云計算架構....................................................................................12 3.4.3 云計算相關產品............................................................................13 3.5 Platform云計算方案................................................................................13 3.5.1 介紹.................................................................................................13 3.5.2 Platform ISF(Infrastructure Sharing Facility)計算服務..........13 3.6 VMware(EMC)云計算方案.....................................................................15 3.6.1 介紹.................................................................................................15 3.6.2 VMware vSphere...........................................................................15 3.6.3 云存儲服務EMC Atoms...............................................................17 4 國內云存儲產品.....................................................................................................17 4.1 美地森...........................................................................................................17 4.2 友友系統....................................................................................................18 4.2.1 DataCell介紹.................................................................................18 4.2.2 DataCell FS.....................................................................................18 4.2.3 DataCell DB...................................................................................20 4.2.4 其他相關產品................................................................................21 5 幾種開源云平臺.....................................................................................................21 5.1 Hadoop(Apache基金會)....................................................................21 5.2 Ecualyptus項目(加利福尼亞大學).....................................................22 3
云計算產品與技術分析
5.3 AbiCloud(Abiquo公司)......................................................................22 5,.4 MongoDB(10gen)....................................................................................22 5.5 Enomalism彈性計算平臺........................................................................22 5.6 Nimbus(網格中間件Globus).............................................................22 6 國內外主要云計算標準化組織和論壇.................................................................23 6.1 分布式管理任務組(DMTF)...................................................................23 6.2 開放網格論壇(OGF).............................................................................23 6.3 結構化信息標準促進組織(OASIS).......................................................23 6.4 全國信息技術標準化技術委員會SOA標準化工作室............................23 6.5 其他..............................................................................................................23 7 相關對比分析.........................................................................................................23 4
云計算產品與技術分析 引言
當前,云計算技術成為IT領域的研究熱點。目前的云計算產品和技術方案層出不窮,國內外研究機構、IT軟硬件廠家、標準化組織、開源軟件組織都在十分積極的推出云計算產品和技術解決方案。本報告在學習和了解相關云計算技術資料、產品白皮書以及軟件手冊的基礎上,希望對現有產品和技術解決方案給予歸納、整理和分析,實現對各類產品的清晰認識,以便于選擇和使用。云計算產品分類
云計算產品大體分軟件和硬件產品兩大類。其中硬件產品是主要依賴于大型服務器設備的提供商實現的面向云特征的具有分布式并行計算能力的設備,代表有IBM、SUM、曙光機等。軟件產品是云計算產品的主流,包括虛擬機管理平臺、數據存儲平臺、分布式計算平臺等,主要有的平臺有Google應用軟件引擎(Google App Engine)、微軟的Azure平臺、亞馬遜網絡服務(Amazon AWS)、IBM藍云、Platform Computing的ISF以及VMware的云產品。同時,國內的友友系統和美地森公司在云存儲方面也走在了云技術發展的前沿。國外的主流產品
從Google提出云計算技術,到現在,國際上幾乎所有一線的IT企業都積極參與進入這塊新興領域,并依據自己傳統的技術領域和市場策略提出自己的云計算架構。他們通過深挖技術基礎,把大量以前的產品和技術的云計算特征挖掘出來,如軟件的虛擬化、分布式存儲系統,在此基礎上建立自己的云計算產品線。
3.1 Amazon云計算方案 3.1.1 介紹
專業IT企業提供的云計算多多少少會限制在自己提供的系統之上,亞馬遜公司不是IT系統制定者而是應用者,所以Amazon平臺是開放的。技術特征:彈性虛擬平臺 核心技術:虛擬化技術Xen 企業服務:EC2 S3 SimpleDB SQS 開源情況:開源
3.1.2 Amazon Web Services(AWS)
云計算產品與技術分析
平臺類型:PaaS IaaS SaaS 虛擬化技術:Xen 支持語言:多種語言
運行環境:位于云端的Amazon平臺
應用程序間的隔離:不同的應用運行在不同的虛擬機實現隔離 開發限制:較少(支持所有操作系統、開源代碼或商業軟件)可擴展性:手動或通過編程自動增加所需要虛擬機數量
計費方式:按實際使用量付費(EC2計算服務0.1~0.8美元/小時,S3存儲服務每GB大約0.15美元/月)
收費機制較復雜
有免費體驗(EC2 今年11月1日可以申請一年免費體驗)
服務類型:任意選擇服務組合,服務耦合度低 實現功能:較多
3.1.3 彈性計算云EC2 服務類型:IaaS 虛擬機的使用:用戶根據需要設置虛擬機的硬件配置 模型:1個AMI+若干實例(每個用戶最多20個實例)容錯機制:彈性IP地址(與用戶賬號綁定)
當正在使用的實例出現故障,用戶只需將彈性IP地址重新映射到一個新的實例
易用性:稍差(Amazon提供模塊供用戶組建自己的程序)
運行環境:用戶自行提供運行程序所需的AMI(Amazon機器映像)構建自己的服務器平臺
靈活性:很好
允許用戶對運行的實例數量和類型自行配置
允許用戶選擇實例運行的地理位置 安全性:很好
基于密鑰對機制的SSH方式訪問
可配置的防火墻機制
允許用戶對其應用程序進行監控 適用的應用程序:任意
3.1.4 簡單存儲服務S3
云計算產品與技術分析
概述:架構在Dynamo之上,提供一個字節到數GB字節的支持,大概有520億對象。
結構:桶——對象 兩級模式
擴展性:增加桶中的對象數量進行擴充
手動或編程自動擴容
容錯性:冗余存儲
數據監聽回傳
Merkle哈希樹 存儲限制:對象(<5GB)桶(<100個/用戶)
不限制桶中對象的個數
數據交互:用戶從獲得授權的對象中取得數據 數據緩存:對Master中元數據進行緩存 數據一致性:最終一致性模型
后一次操作直接覆蓋前一次操作 安全性:身份認證(基于HMAC-SHA1的數字簽名)
訪問控制列表 負載均衡 數據恢復
3.1.5 數據庫服務SimpleDB 概述:非傳統的關系模型
系統結構:域—條目—屬性—值 四級模式 查詢語言:支持有限的SQL 數據類型:結構化數據 可擴展性:超級可擴展性
查詢功能:查詢結果只包含條目名稱不包括相應的屬性值
相應時間不能超過5秒,否則報錯
安全策略:每一個容器數據在微軟數據中心有多個備份
數據更新時間:有延遲
新數據復制到其他服務器上存在延遲 其他功能:很少
沒有事務(Transaction)的概念
不支持Join操作
實際存儲的數據類型過于單一(所有的數據都以字符串形式存儲)備注:用戶相對大的數據存儲在S3中
SDB中只保存指向某個特定文件位置的指針
云計算產品與技術分析
3.2 Google云計算方案 3.2.1 介紹
建立在其搜索引擎技術的基礎上,是一個沒有“端”的系統:用戶通過一個簡單的搜索框完成對海量計算的搜索 技術特性:存儲及運算水平擴充能力
核心技術:平行分散技術MapReduce,BigTable,GFS 企業服務:Google App Engine 開源情況:不開源
3.2.2Google App Engine平臺類型:PaaS(用戶在其上開發軟件,在Google基礎設施上運行,無需服務器維護)
應用服務器:Python應用服務器群
低端服務器 虛擬化技術:沒有應用 支持語言:只支持Python、Java 運行環境:Google提供在云端的應用程序環境
功能完整的本地開發環境,開發人員可以在本地模擬Google App Engine環境
應用程序間的隔離:通過沙盒實現(同時也給程序員帶來很多限制)開發限制:較多
開發語言支持少
沙盒的使用帶來的限制
可擴展性:自動擴充所需資源并進行復雜均衡
計費方式:每一個Google賬戶有一定額度的免費流量和空間支持
存在收費項目
服務類型:所有服務捆綁在一起,耦合度高
用戶通過特定API來使用相應服務
實現功能:較少
3.2.3 計算服務MapReduce 服務類型:PaaS 虛擬機的使用:沒有應用
模型:1個Master+若干Worker(分別執行map和reduce)
云計算產品與技術分析
容錯機制:Master周期設置檢查點,任務失敗,從最近的檢查點恢復并重新執行
Master失效,整個MapReduce重新運行
Worker失效,其任務調度到其他Worker重新執行 通用性:很好
運行環境:Google自身提供,用戶無法自行調配 靈活性:稍差(現只是搜索企業的選擇)適用的應用程序:可以并行處理的程序
3.2.4 存儲服務GFS(Google File System)
概述:面向不可信服務器節點的分布式文件系統,文件分塊存儲 結構:1個Master(儲存元數據)+眾多ChunkServer(儲存文件塊)服務器:大量分散的普通廉價服務器
擴展性:動態插入節點(ChunkServer)(普通電腦),自動擴容 容錯性:ChunkServer冗余備份(3份)
Master癱瘓,有Shadow作為替補 訪問效率:高效
通過GFS上層的BigTable實現 存儲限制:無特別限制
數據交互:一般情況下,Application 和ChunkServer在同一臺服務器上
Application與ChunkServer進行數據交互
可以被多個用戶同時訪問 數據緩存:對Master中元數據進行緩存 數據一致性 負載均衡 數據恢復
備注:不完全適應海量小文件存儲
3.2.5 數據庫服務Data Store 概述:分布式存儲數據庫,隨著應用程序訪問量的增加而增加 系統結構:Model—實體組—實體 三級模式 查詢語言:GQL 數據類型:結構化和半結構化數據 可擴展性:無限擴展
查詢功能:查詢結果以Model類的實例形式來返回實體
云計算產品與技術分析
返回的結果不能超過1000條 事務功能:通過樂觀鎖定實現事務的并發控制
一個事務操作一個實體組,同一組內的實體存儲在一起(應用程序可以在實體創建時將實體分配到組)
數據庫在一個事務中執行多種操作,有一個操作失敗則回滾整個事務 數據更新時間:有延遲,但不是常態
3.3 Mirosoft云計算方案 3.3.1 介紹
“云+端”云計算構想
最新的Windows Server被設計成可讓應用在數據中心和云之間遷移,但是只有在兩者是非常相似的Windows Server環境下才可以實現。技術特性:整合其所用軟件及數據服務 核心技術:大型應用軟件開發技術 企業服務:Azure平臺 開源情況:不開源
3.3.2 Windows Azure平臺類型:PaaS 虛擬化技術:Hyper-V 支持語言:C#,.NET平臺,PHP,Python等多種語言 運行環境:支持在云中和本地系統中的應用程序 服務類型:可以任意選擇服務組合,耦合度低 應用程序間的隔離:不同的應用在不同的虛擬機上 開發限制:較少
計費方式:按實際使用量付費
存儲與計算分開計費
定價機制過于僵硬,成本過高
可擴展性:需要手動或者編程自動增加所需要的虛擬機數量
用戶也可以選擇增加虛擬機的功率 實現功能:較多
3.3.3 計算服務
云計算產品與技術分析
服務類型:PaaS 虛擬機的使用:根據用戶上傳的配置文件XML,系統自動分配、配置虛擬機
虛擬機分為Web和Worker角色
模型:若干Web(提供Wen服務,與用戶交互)+若干Worker(類似于Windows服務)
運行環境:程序運行在系統自動為用戶生成的裝有Windows Server 2008的虛擬機上
負載均衡:當有用戶請求時,根據需決定是否運行新的Web角色
根據負載大小自動擴展或減少Worker上實例運行的數量 靈活性:較好 易用性:較好
適用的應用程序:任意可在Windows Server2008上運行的程序
尤其支持運行有大量并行用戶的大型應用程序
3.3.4 存儲服務Blob/Table存儲
概述:用來存儲大型數據對象
結構:容器—Blob兩級模式(Blob中的數據再分成Block)
Table—Partition(分區)—Row(實體)擴展性:增加容器中的Blob數量進行擴充
手動或編程自動擴容 容錯性:冗余備份
只傳輸出錯的Block 訪問效率:Blob訪問控制策略
Table分成多個分區,存儲在多個服務器,提高訪問效率
存儲限制:Blob的大小有限制(<50GB)
對容器和Blob的數量沒有限制 數據交互:用戶從獲得授權的Blob中取得數據
數據緩存:Table相同分區的實體存儲在一起進行高效緩存
數據一致性:Timestamp(時間戳)
單表一致性(事務性的快照隔離)
跨表一致性
負載均衡: 數據恢復
備注:Blob適宜存儲無結構數據
Table適宜存儲結構性很強的數據
另有:Queue存儲應用程序各個部分之間的交互信息(例如Web和Worker
云計算產品與技術分析 的通信)
3.3.5 數據庫SQL服務(SDS)
概述:非傳統的關系模型
系統結構:Authority—容器—實體 三級模式(ACE模型)查詢語言:SQL 數據類型:結構化、半結構化和非結構化數據 可擴展性:全球可擴展性 查詢功能:查詢對象為容器
查詢結果返回若干數量的實體
返回的結果不能超過500頁
安全策略:每一個容器數據在微軟數據中心有多個備份
數據更新時間:沒有延遲 其他功能:很多
3.4 IBM藍云 3.4.1 概述
高端服務器戰略(X86刀片服務器)
為用戶在自己已有的IT環境中建立自己的私有云,并提供與公有云的無縫連接;同時,IBM也提供可供用戶及合作伙伴直接使用的云服務和軟件 技術特性:整合其所有軟件及硬件服務 核心技術:網格技術、分布式存儲、動態負載 企業服務:虛擬資源池提供,企業云計算整合方案 開源情況:不開源
3.4.2 云計算架構
云計算產品與技術分析
3.4.3 云計算相關產品
① IBM WebSphere CloudBurst
云環境管理工具,以物理器件形式發布,即插即用,WebSphere CloudBurst使用戶能夠在“私有云”中輕松的創建、安全的部署和管理應用環境,同時讓用戶將自己在SOA方面的投資無縫的擴展到云服務環境。② WebSphere Virtual Enterprise
軟件解決方案,對中間件和應用棧進行虛擬化,為應用創建一個共享的應用云或是共享的資源池而不必考慮特定的應用容器,并實行負載均衡和資源調度。③ XIV
IBM的新一代云存儲產品,基于網格技術,具有海量存儲設備+大容量文件系統+高吞吐量互聯網數據訪問接口+管理系統的設計特征。
內置虛擬化技術,快照功能,瞬間克隆數據卷。幫助用戶部署可靠、多用途、可用的信息基礎結構,同時可提升存儲管理、配置,以及改進的資產利用率。
3.5 Platform云計算方案 3.5.1 介紹
在HPC方面有很強的技術力量,建立在網格計算管理軟件的基礎上
3.5.2 Platform ISF(Infrastructure Sharing Facility)計算服務
云計算產品與技術分析
平臺類型:IaaS 端到端的私有云管理軟件
主要特點:可配置程度高
資源整合:將分布式和異構IT資源整合
從眾多異構服務器、存儲設備以及互聯中創建一臺共享計算機
支持主要行業的標準硬件 支持的操作系統:Linux Windows 虛擬技術:VMware ESX,Xen,Citrix XenServer,Microsoft Hyper-V和Red Hat
KVM 服務類型:很多即開即用的第三方工具(目錄服務、安全、監控和報警)交付服務:自主入口——用戶在幾分鐘(<=15min)之內請求和獲得物理服務器
和虛擬機
應用程序編程接口(API),自動調配資源
為多級商業應用程序配置模板,實現其生命周期管理的自動化
允許啟動多級應用程序的各個部分,添加或者去除一個資源,監控和
恢復故障
云計算產品與技術分析
負載調度:支持負載調度軟件(比如AutoSys和Platform LSF)
付費方式:Platform ISF收集全部資源使用數據,提供報告和生成帳單信息
云管理員可以選擇將使用數據反饋到特定場所的生成報告和索回工具之中
資源分配:單位的資源共享優先權
資源均衡和應用程序均衡
主要方式: 預約 主要針對關鍵業務請求 2 按需分配 ① 時間順序相應用戶請求
② 用戶的請求,按每次使用付費的模式分配資源
安全性:分角色用戶身份認證
審查跟蹤(Audit Trail)
支持LDAP(輕量目錄訪問協議)和活動目錄 存儲支持:Operating system image /Extra disks/Shared NFS /Post-Provision/NetApp/Amazon S3/EMC/EqualLogic
3.6 VMware(EMC)云計算方案 3.6.1 介紹
EMC——自動化網絡存儲解決方案 VMware——虛擬化技術
技術特性:信息存儲系統及虛擬化技術
核心技術:VMware的虛擬化技術,一流存儲技術 企業服務:Atoms云存儲系統,私有云解決方案 開源情況:不開源
3.6.2 VMware vSphere 業界第一個云計算操作系統
可以幫助企業構建實現數據中心資源的管理,同時實現內部云和外部云之間的無縫連接
云計算產品與技術分析
電源管理:利用DPM
集群需要的資源減少時,將工作負載整合到較少的服務器上
保證服務級別的同時最大限度的減少電力消耗 資源調度:分布式資源調度程序DRS
動態負載均衡——跨資源池動態調整計算資源
連續智能優化——基于預定義的規則智能分配資源
訪問速率:>30萬次IPOS每秒
延遲:<20微秒
數據備份:支持虛擬機集中式脫離主機備份
支持虛擬機的增量、差異和完整映像備份和恢復
為Windows和linux虛擬機提供文件級備份支持 可用性:擁有經濟有效的適用于所有應用的高可用解決方案
當服務器故障時,自動重新啟動虛擬機
容錯性:使用DRS和VMotion(在線遷移虛擬機)消除計劃內宕機
在不同的主機上同步運行相同的虛擬機
出現硬件故障,所有虛擬機均可實現零宕機時間、零數據損失故障切換 數據恢復:通過vCenter實現集中式管理
虛擬機的無代理、基于磁盤的備份和恢復
支持虛擬機、文件級別的恢復
安全性:API通過檢查與管理程序一起使用的虛擬組件來保護虛擬機
動態防火墻策略
動態安全容量
云計算產品與技術分析
安全策略自動適應網絡重新配置或升級 可擴展性:根據需要和優先級調整容量
熱添加CPU和內存
熱添加和刪除存儲設備和網絡設備
熱擴展虛擬磁盤
以零宕機時間橫向擴展虛擬機
3.6.3 云存儲服務EMC Atoms 特色:采用基于策略的管理系統來創建不同層次的云存儲
——重要數據,多份復制,分布存儲 ——不常用數據,復制份數和存儲地點較少
——不再使用的數據,壓縮,復制備份在更少的地方 為非付費用戶和付費用戶創建不同的服務級別
多樣的管理服務:復制,版本控制,壓縮,重復數據刪除,磁盤休眠等 可用性:應用程序接口包括Rest和Soap,能夠整合所有的應用程序
多租戶:支持多客戶共享功能,同一基礎架構執行多種應用程序,并被安全隔離 現有版本:120TB 240TB 360TB
基于X86服務器并支持千兆或10GbE以太網連接 國內云存儲產品 4.1 美地森
概述:分布式存儲,網絡容錯,集群存儲 結構:元數據服務器MDS+塊數據服務器CDS
文件分塊存儲(每一塊大小固定在50MB)
服務器:低成本、符合工業標準的通用硬件設備(Linux系統)擴展性:動態插入節點,無需復雜配置
自動在線擴容(幾秒)
容量與節點成線性增長關系 容錯性:CDS冗余備份(3份)
存在3~5臺MDS,保存相同元數據,同一時間只有一臺工作,一旦癱瘓,備用的立即替補
通用性:通過NAS集群網關的方式為Windows、Linux、Unix、Mac等操作系統提供NFS協議訪問接口
兼容所有操作系統平臺
云計算產品與技術分析
易用性:單一名字命名空間
所有應用服務器看到所有的文件 訪問效率:每秒數十萬個文件查詢
同時多條數據通道讀寫數據 存儲限制:PB級存儲空間
數據交互:用戶與CDS進行數據交互 數據緩存:對MDS中元數據進行緩存 負載均衡:自動進行負載均衡
數據恢復:本地數據存儲兩份,自動恢復
2TB數據恢復時間<15min 備注:不完全適應海量小文件存儲
實時性?
局域網內,100臺服務器左右,異地備份?WSS?
4.2 友友系統 4.2.1 DataCell介紹
DataCell能夠有效地解決業務系統在運營過程中收集和產生的大量實時數據以及企業在長期的業務發展過程中積累下來的海量數據的存儲和處理系列問題,尤其面對PB數量級的數據容量和上億個存儲文件的處理需求時,在降低整體成本提高系統整體可用性上可以發揮突出作用。虛擬技術:采用
擴容性:在新加入的硬件上安裝DataCell,即可加入虛擬存儲機
可移植性:DataCell軟件具有高度的可移植性,沒有實際系統軟硬件的限制 數據傳輸:結合數流平臺(Bitsflow),高效
4.2.2 DataCell FS 非結構化存儲系統——針對非結構化數據
云計算產品與技術分析
架構:1個控制節點(存儲元數據等)+ 若干的存儲節點(細分為各存儲塊)可擴展性:熱部署(TB—PB—更高級別的平滑擴展),性能線性增長 靈活性:基于業務策略自動切分數據進行存儲(存儲塊的大小是不固定的)
用戶可以通過定義策略來實現讓適當的數據在適當的時間自動保存在適當的位置
虛擬技術:將用戶所使用的各類存儲硬件無縫虛擬化 多租戶:同一存儲結構服務于多個應用程序,數據分區隔離 容錯性:冗余備份
熱備控制節點
數據恢復:自動檢測故障節點 自動恢復 訪問效率:支持并發訪問
用戶可為云服務構建自定義查詢 負載均衡:所有系統節點間透明地移動數據
自動動態調整數據備份數 安全性:訪問控制權限
應用程序訪問機制:支持NFS、HTTP、WebDAV、FTP及FUSE等多種接口
應用程序可以不做修改即可遷移數據平臺
云計算產品與技術分析
4.2.3 DataCell DB 結構化數據存儲系統——針對結構化和半結構化數據
解決了目前通用關系型數據庫在面對multi-TB或PB量級結構化數據的存儲和處理需求時出現的性能和容量瓶頸問題
不完全支持關系數據庫,但支持常用的關系操作(select、insert、delete、update)
架構:完全無中心節點的分布式系統
邏輯環
容錯性:相鄰節點互為熱備份
簡單快捷的數據導出工具
自定義冗余策略 可擴展性:熱部署
存儲機制:支持用戶自定義的各種數據格式
同時支持內存和磁盤數據庫
訪問效率:在內存存儲模式下,多進程并發隨機讀寫支持超過20萬次/秒
尤其適用于海量小文件存儲與訪問的應用場景 支持語言:C++、Java 20
云計算產品與技術分析
其他功能:
? 支持包括哈希表、樹、數組在內的多種內部結構 ? 支持包含內存、硬盤、網絡存儲等多種不同存儲機制
? 基于策略的的數據存取方式,支持包括冗余數和存儲位置等在內的自定義策略
? 支持數據表操作類似的查詢機制和簡單的條件查詢 ? 支持用戶定義的記錄類型和數據字典 ? 支持事務處理 ? 支持復雜的索引規則 ? 異步存儲拷貝,支持snapshot ? 提供binary log,支持服務器熱備和冗余 ? 完全支持多進程、多線程的高并發訪問 ? 支持分布式事務 ? 遠程圖形化管理界面
4.2.4 其他相關產品
① 數流平臺(Bitsflow)
高容錯、高性能的數據傳輸中間層工具 ② DataCell Echo 有效實現跨區域、異構分布式數據庫的實時數據同步。
它可以同時處理同一系統內的多個異構數據庫系統之間的數據交換和同步。通過對各個數據庫系統內數據的動態劃分和管理,Echo還可在一個或多個數據庫中支持多個Master和Slave并存 幾種開源云平臺
5.1 Hadoop(Apache基金會)
完全模仿Google體系架構做的一個開源項目,主要包括Map/Reduce和HDFS文件系統。Java語言開發,主從式的HDFS文件系統位于下層,主從式的Map/Reduce處理位于上層,基本思想是“計算向存儲遷移”——計算時各節點讀取存儲在自己節點的數據進行處理。Map處理過程中一般沒有數據的傳輸,只是在Reduce過程中需要向主節點傳送計算結果,有效的解決了并行計算中網絡數據傳輸的瓶頸問題。
HDFS以64MB為單位對文件分塊,對于小文件及頻繁存取的數據沒有太大的優勢。
云計算產品與技術分析
5.2 Ecualyptus項目(加利福尼亞大學)
創建了一個使企業能夠使用它們內部IT資源(包括服務器、存儲系統、網絡設備)的開源界面,來建立能夠和Amazon EC2兼容的云。
選擇Xen和KVM作為虛擬化的管理程序。基本架構:
5.3 AbiCloud(Abiquo公司)
用于公司的開源的云平臺,使公司能夠以快速、簡單和可擴展的方式創建和管理大型、復雜的IT基礎設施(包括虛擬服務器、網絡、應用、存儲設備等)
5,.4 MongoDB(10gen)高性能、開源、無模式的文檔型數據庫,在許多場景下可用于替代傳統的關系型數據庫或鍵/存儲方式
5.5 Enomalism彈性計算平臺
提供了一個功能類似于EC2的云計算框架。Enomalism基于Linux,同時支持Xen和KVM。與其他的純IaaS解決方案不同的是,Enomalism提供了一個基于Turbo Gears Web應用框架和Python的軟件棧
5.6 Nimbus(網格中間件Globus)
Nimbus面向科學計算需求,通過一組開源工具來實現IaaS的云計算解決方案
云計算產品與技術分析 國內外主要云計算標準化組織和論壇 6.1 分布式管理任務組(DMTF)
工作目標:2009年,成立DMTF開放式云標準孵化器(DMFT Open Cloud Standards Incubator),制定開放式云計算管理標準。
另有:開放式虛擬化格式(OVF),云可互操作性白皮書DMTF等 成員:AMD CISCO EMC HP IBM Microsoft Sun Redhat VMware等
6.2 開放網格論壇(OGF)
工作目標:開發管理云計算基礎設施的API,創建能與云基礎設施(IaaS)進行交互的實際可用的解決方案等。
成員:Microsoft Sun Oracle IBM Intel HP AT&T等
6.3 結構化信息標準促進組織(OASIS)
工作目標:致力于基于現存標準Web Services、SOA等建設云模型及輪廓相關標準。最近成立云技術委員會IDCloud TC,定位于云計算中的識別管理安全。
6.4 全國信息技術標準化技術委員會SOA標準化工作室
工作目標:《云計算標準研究報告》,開展云計算、相關SOA、中間件、虛擬化等技術標準的制定
成員:IBM、大唐軟件、東方通、浪潮、北郵、復旦,世紀互聯等
6.5 其他
中國云計算技術與產業聯盟
云計算互操作論壇(CCIF)
網絡存儲工業協會(SNIA)等 相關對比分析
Google App Engine沒有使用虛擬化技術,其云計算理念是與主流公司的戰略是相反的,其現階段提供的平臺雖然可以為用戶提供現成的在線的應用套件,但還受到很多的限制,其中支持的編程語言(只支持Java和Python)太少就是其很大的劣勢。而且,由于沒有本地端,應用程序只能通過提供的網址抓取和電子郵件服務訪問互聯網中的計算機,這也給用戶帶來一定的不便。
同Google一樣,Amazon的產品在國內沒有銷售。但值得一提的是Amazon作為電子商務公司,它的云平臺的安全性做的很出色,對于平臺的配置上也給了
云計算產品與技術分析
用戶更多的選擇權。另外,Amazon自己作為應用者,其平臺具有高度的開放性,支持所有的操作系統、開源代碼或者商業軟件。但是,Amazon有一些特殊的存儲要求,需要考慮應用所需的帶寬大小和計算時間。
微軟的云平臺最大的特色是它的“云+端”思想,Azure服務平臺既可以在云端下被調用,也可以被本地系統調用,也就是說用戶可以在VS.NET2008以上的版本+Cloudservice+AzureSdk下實現云計算開發。但總體上來說,微軟云平臺的軟件過于“Microsoft化”,對于其他公司產品的兼容性較差,例如不支持Java(好像)。
從應用上看,EC2主要是吸引資源密集型軟件,如企業應用等,而Azure的應用主要是服務于LAN或工作組模式的用戶群體。
VMware的云計算的核心是虛擬化,虛擬架構技術做的很好,但是開放性弱,不支持特定開發。
Platform在HPC領域有著很強的技術力量,正將自身定位從網格計算過渡到云計算,它在國內的應用有北京超算中心,但是超算中心主要以數學計算為主,數據量比較小,計算的種類也相對集中,參考性不大。
IBM的ComputingonDemand主要針對高性能計算,諸如汽車和航天工業模擬計算、生命科學領域的染色體組建模等等。并且,它的定位是高端服務器,相比與其他公司的方案,性價比難說。
從云存儲方面看,國內的兩個公司均做的很出色。但友友系統有一個明顯的優勢:它的DataCell DB尤其適用于海量小文件存儲與訪問的應用場景。這是其他的文件分塊存儲系統所不具備的。