第一篇：云計算環境下的網絡技術研究

云計算環境下的網絡技術研究

摘要：隨著互聯網的普及應用，使得人們生活內容更加豐富多彩，并且從根本上改變了人們傳統的生活習慣，網絡已經成為日常生活中不可或缺的組成部分。特別是在云計算環境下，網絡技術在國民經濟發展、社會進步中所發揮的作用更是與日俱增。如何更好的把握時代脈搏，創新研發符合世界經濟發展規律的網絡技術成為當前研究領域重要課題之一。為此，本文將針對當前云計算環境下網絡新挑戰作為切入點，深入分析并探尋未來網絡技術發展方向，以豐富現有研究成果，推動相關研究進一步發展。

關鍵詞：云計算；網絡技術；國民經濟；社會進步；時代脈搏

前言：網絡技術的發展可以說是日新月異，自從上個世紀40年代中期計算機誕生以來，網絡逐步成為日常生活中的重要娛樂方式。云計算通過虛擬化技術、分布式計算等方式將網絡信息資源整合，形成一個資源池，動態的將網絡資源分配給具有使用需求的用戶，繼而創造良好的社會效益及經濟效益的一種服務模式，并且隨著世界經濟一體化趨勢不斷發展，網絡資源在各國競爭中發揮的作用愈加明顯。因此，如何應用更新、更具前瞻性的網絡技術來搶占市場先機，壯大本國相關產業成為一個不容忽視的問題。1 云計算環境下網絡技術面臨的新挑戰解析 1.1海量數據信息對寬帶及延遲提出更高要求

隨著互聯網的普及應用，網絡經濟正以飛速發展，人們每天都可以從中感受出網絡技術的變化。特別是在云計算環境下，個人信息、企業及政府職能部門敏感數據通過云存儲技術進行保存已經成為網絡技術發展的主流趨勢。然而，由于網絡的觸角已經延伸至社會經濟生產生活的方方面面，每天互聯網中都會生成海量的數據信息，并通過網絡傳輸方式上傳至云端進行存儲。在此過程中，受到網絡延遲以及寬帶帶寬的影響，敏感數據容易發生丟失或者損害，造成用戶無法正常使用，并且相關數據恢復難度較大，造成了一定的不利影響。因此，云計算環境下，海量數據面前，網絡延遲以及寬帶帶寬問題已經成為限制網絡技術發展的重要因素，由此產生的數據安全數據存儲問題亟待解決。1.2二層網絡亟待建立

眾所周知，由于采用虛擬機動態遷移技術能夠使得數據中心的操作具有更大的靈活性及快捷性，大幅提升其工作效率而被廣泛認可及接受，成為當前網絡技術中應用范圍較廣的一種應用技術。然而，當前采用的虛擬機動態遷移技術無法改變虛擬機的IP地址、MAC地址，帶來的最明顯問題即在于當虛擬機發生遷移之后，虛擬機自身原有網絡配置將與新環境無法適應，正常通信得不到有效保障，因而最終釀成業務連續性受到影響的不利結果。因而，云計算環境下要想實現跨域場情境下的虛擬機實時運轉，就需要將所有發生動態遷移的虛擬機納入到一個統一的二層網絡中，以滿足用戶的上網需求。而二層網絡的建立在目前尚未展開，進一步降低了云計算環境下網絡技術所帶來的便利性。2 云計算環境下網絡技術研究方向

針對云計算環境下網絡技術面臨的挑戰，本文在綜合總結了國內外關于該領域及該可以的研究成果后，總結出了如下幾方面網絡技術研發應用方向，以供相關研究借鑒參考。2.1接入技術

接入技術被業界形象的稱之為“最后一公里”技術，意指本地網絡運營商與用戶之間的一段連接[1]。當前應用前景比較明朗的接入技術如下：

2.1.1ADSL ADSL又被稱作為非對稱數字用戶線，是DSL家族系列中應用范圍最廣的一種，除了ADSL外，其他DSL接入技術包括：HDSL、VDSL、IDSL等。ADSL主要是利用現有的電話雙絞線作為網絡傳輸的介質，具有成本低廉等優勢，經過不斷豐富及完善，當前ADSL傳輸峰值已經達到了115Kbps，完全能夠滿足企事業單位、政府職能部門、個人用戶的使用需求。并且ADSL的非對稱性與終端用戶的網絡訪問特點具有較為明顯的一致性：個人用戶多數應用都是以客戶方式從網上去獲取數據，如WWW、FTP，只在個別時候才向網絡大量發送數據，如發送附帶多媒體信息的電子郵件，因此下行數據量大、上行數據量小。隨著固定電話走入千家萬戶，ADSL的應用前景將會更加明顯，其技術改進方向也集中于提高網絡數據傳輸速率及穩定性等方面。

2.1.2線纜調制解調器 線纜調制解調器的客戶群體主要集中于家庭用戶，是在當前電纜基礎上將分配網絡的主干部分改為光纜通信，繼而在各個節點位置實現光電轉化，再經由通州電纜將網絡信號傳輸至用戶家里。線纜調制解調器可以廣泛應用于Internet訪問、電視節目點播、數據電話等拓展業務，其市場應用前景極其廣闊。當前現有技術條件下Internet訪問的最高峰值可以達到30Mbps，而上行速率可到到2M左右。盡管線纜調制解調器是一個共享網絡，隨著用戶的增加、寬帶及節點數量的激增而會產生網絡延遲現象，但是其較高的帶寬在目前尚可以滿足用戶使用需求，其所享受的寬帶資源仍然是所有接入技術中最高的網絡數據傳輸方式。

2.1.3無線接入技術（WLAN）

無線接入技術是近些年來隨著網絡通信技術快速發展而形成的一種新型數據傳輸、通訊方式。相較于ADSL、線纜調制解調器，無線接入技術是通過無限介質將用戶與網絡節點相連接，以實現用戶與網絡間無障礙數據惜惜傳遞的目的，其需要遵循一定的網絡協議，并且該協議內容也成為無線接入技術的核心及關鍵內容[2]。其最明顯的特征即為可以向用戶提供實時的移動接入業務，不管用戶是在鬧市區還是鄉村郊外，隨時可以將自身感觸、心得體會上傳至網絡空間，網絡共享具有極大的便利性，因而該技術成為當下網絡技術研究中的重要領域及方向，是今后網絡業務開展的重要保障之一。2.2IPv6技術

虛擬機動態遷移技術不能改變IP地址、MAC地址的問題已經困擾人們多時，該問題的存在使得移動網絡技術應用受到很大程度影響，加劇了網絡服務商與用戶之間的對立形勢。IPv6技術的出現幾乎完美的解決地址不能及時變更的問題，使得網絡連接更加快捷。當前IPv6技術為用戶提供了128位的IP地址，使得地址數量得到大幅提升，有效的解決了IP地址資源危機。并且其所使用的“可聚集全球統一計算地址”構造與當前網絡拓撲結構較為一致，使得線纜調制解調器能夠最大化發揮功用[3]。但是當前IPv6技術的應用尚無法廣泛推廣，主要原因在于其升級存在諸多困難。因此，IPv6技術今后研究的重點方向即為構建以下三種機制：兼容IPv4的IPv6地址、雙IP協議棧和基于IPv4隧道的IPv6。結論：綜上所述，云計算環境下網絡技術研究領域在當前乃至今后一段時期內主要集中于網絡數據傳輸技術及動態地址分配技術兩個方面。本文中所分析的網絡技術研究內容比較切合實際應用需求，對研究工作能夠起到一定的指導作用，希望通過本文能夠促使網絡技術研究邁上一個更高的發展階段。參考文獻：

[1]周志勇.云計算環境下網絡信息安全技術發展研究[J].中國高新技術企業，2014，12（25）:40-41.[2]宋焱宏.云計算環境下的網絡安全技術[J].網絡安全技術與應用，2014，25（08）:178-179.[3]王麗敏.云計算環境下的網絡信息資源管理[J].信息與電腦(理論版)，2014，33（10）:92-93.

第二篇：云計算環境下網絡技術研究論文

引言

云計算是一種比較全面的互聯網計算模型，其主要作用是靈活自如地調用每一種IT技能。伴隨著大數據時代的到來，云計算作為一種新興的技術，對提升、優化大數據及信息的處理有著巨大的作用，云計算環境下的網絡技術發展又向前邁進一大步。

1云計算技術的研究

云計算的計算方式是利用互聯網，在各種網絡技術（如計算機、網絡、通信技術）的綜合應用下實現的。云計算獲得數據及信息的方法主要是利用與互聯網相連接的硬件設備。“云”是對網絡的一種形象表達，多的意思。網絡技術的發展也推進著云計算技術的發展，被越來越多的人熟知和應用。云計算主要是建立一種隨時變化的信息源數據庫，主要是通過分布計算與虛擬化的手段，將許多相對分散的信息數據聚集而形成[1]。云計算形成的信息源數據庫是隨著自身所使用的網絡資源不斷變化的。云計算中轉嫁硬件設備的方法為企業極大地節約了經濟成本，同時也節約了人力成本。客戶與任務之間主要靠互聯網聯系在一起，這是信息技術發展的趨勢，云計算則適應了這一趨勢。

2云計算網絡技術體系框架

信息處理硬件負責云計算的主要工作，云計算市場呈現一種蓬勃發展的態勢，促使著處理硬件需求量的增加。互聯網信息處理的規模化、模擬化都受到信息處理硬件發展的影響。信息處理平臺基于橫向和縱向的兩種交流實現，在以前的處理平臺中主要采用縱向交流，隨著大數據時代的發展，橫向數據交流量不斷增加，云計算網絡的體系骨架進一步完善。云計算網絡骨架（從工作任務到最終的客戶）一般可以分為四種：

（1）在虛擬機之間的網絡交互；

（2）服務器之間的網絡交互；

（3）數據中心之間的網絡交互；

（4）用戶與數據信息中心之間的網絡交互。其中發生在數據信息中心內部的是服務器、虛擬機之間的兩種網絡交互方式。網絡交互是發生在虛擬機之間的，主要是在虛擬交換機中進行。網絡交互發生在服務器之間的，利用交換機進行交互，在服務器中通過縱向和橫向兩種流量交互實現。網絡交互發生在數據中心之間的，可分情況對待：同城時，可選用城域網解決；不同城時，可選用骨干網解決。數據中心可能因數據量的增多而不能及時完成操作，需要增設數據中心進行操作，由此出現二層網絡的搭架。網絡交互發生在用戶與數據信息中心的，主要通過城域網完成交互。現實生活中，升級的業務、劇增的信息數據、流量增大的用戶與信息數據中心之間，都促使著更大型、更智能的網絡寬帶的出現，從而更好地進行數據信息的傳輸。多個數據信息中心的出現也為我們帶來了新的問題，例如：如何快速地進行數據信息中心的轉換。

3云環境下的網絡新技術

3.1虛擬機本地互訪網絡

目前狀況下，對同一臺服務器內部虛擬機之間的交互連接使用虛擬交換機就可以完成。虛擬機一般單靠軟件實現網絡互聯，不需要硬件設施的運行[2]。雖然這種網絡交互發生在虛擬機之間，其互訪簡單易行，但存在不少隱患：（1）虛擬機之間的流量得不到有效的監控，傳統的系統已不能適應現有的云計算；

（2）當虛擬機通過虛擬機的流量增大時，服務器信息數據中心的負擔加大，會影響虛擬機的性能。針對以上兩個問題，現已有了解決的方案。IEEE的802.1QgbEdgeVirtualBridging和IEEE的802.1BrBridgePortExtension，就是針對這兩個問題提出來的。兩者方案各有優劣，802.1Br需要硬件的支持，802.1Qgb需要修改交換機的驅動。在具體應用中選擇哪一種方案，還需要進一步的實踐檢驗。

3.2數據中心二層互訪網絡

當前，數據中心普遍采用的是樹狀三層網絡架構，分別為接入層、匯聚層以及核心層。出現兩個服務器位于樹狀結構的不同分支時，就需借助核心層來實現運行，但在這期間耗費了大量的時間，云環境下對橫向流量增加的性能需求已完全不能得到滿足。若采用增設防火墻的方式，相當于在整個計算過程中增加了一個VLAN，但虛擬機也會因超出VLAN的范疇導致運行出現問題。解決方式是減縮樹狀結構（三層變兩層，刪除匯聚層）。對數據中心的影響是結構實現扁平化，服務器能力得到強化，從而實現虛擬機的正常運行[3]。數據中心的結構扁平化的過程中也會出現一系列的問題。多臺通過虛擬化技術虛擬出的服務器，增加了數據信息中心的網絡規模。傳統的方法通過樹狀協議繞路解決，很明顯這種方法已不適用現有的需求。控制平面和數據的平面虛擬化技術產生，解決了這個難題，同時對寬帶的利用強化。

3.3數據中心跨站點二層互訪網絡

大數據時代到來后，隨著互聯網技術及其應用的發展，如何保證數據信息的安全成為信息時代的主題。傳統方法在解決這個問題時，選擇對數據擴容以及備份，但備份的內容牽扯到數據信息中心時，就需要對數據信息中心進行備份操作。在云計算的環境下，需要構建跨數據中心的的二層互訪網絡（即進行分布式計算機以及對虛擬機跨點遷移），在目前看來，實現數據中心直連的狀況很少，主要還是選擇二層互聯（通過在IP網上打隧實現）的方式。最新的技術仍為個人私有，傳輸過程中實現數據信息中心相互獨立，確保IP互聯的永續性[4]。

3.4用戶接入網絡

在云計算環境下，數據中心二層互訪網絡的構建使得用戶在接入網絡時會遇到以下情況：

（1）多站式的分布計算，讓用戶在選擇數據信息中心時產生困惑；

（2）如何快速在業務虛擬機與數據中心之間切換、遷移。在實際具體操作中，用戶大多會選擇DNS技術，對新技術LISP使用率較低。DNS技術主要是分散IP地址，用戶與數據信息中心的交聯就是通過分散出來的IP實現的。我們可以假設一個條件：虛擬機跨數據中心轉移，IP地址保持不變。在這種情況下，NAT設備就可以發揮作用，它可讓IP地址轉化為多個虛擬IP以便用戶切換。

3.5SND技術

SND是與當前網絡技術發展相適應的技術，主要用于控制和分離的分離。傳統技術中主要通過拆分控制層實現三層架構。SDN作為最新的網絡技術受到廣泛的歡迎，當前數據中心的網絡互聯就是靠它來實現，整合信息資源，從而使得網絡虛擬化以及虛擬機之間的遷移實現[5]。

4云計算網絡發展的展望

在云計算環境下，對網絡技術的發展提出更高的要求。一種網絡技術的需求可能會出現多種解決辦法，因此在實際應用中，需要根據實際情況實際分析。目前國外通過數據中心間的光纖直連，來解決數據中心之間的數據互聯劇增的問題，這對中國來說有著相當大的借鑒意義。通過多種技術而實現不同設備之間的數據共連是網絡技術發展的新方向。

5結束語

社會的發展催促著網絡技術的更新換代，傳統技術在新形勢下逐步暴露出自身的不足。云計算環境下，需要更高層次的網絡技術做支撐，以滿足社會發展對網絡更新換代提出的要求。新的網絡技術層出不窮，如上文中提到的SND技術、虛擬網絡技術等等，以適應新的社會需求。但是要注意新的網絡技術并不成熟，還要進一步投入研究。隨著社會以及網絡技術的不斷發展，基于云環境下的網絡技術定會有新的突破，以服務于現代化建設。

第三篇：云計算中MapReduce技術研究

云計算中MapReduce技術研究

孫香花

（長江師范學院數學與計算機學院，重慶，408100）

摘要： MapReduce是云計算的核心技術之一，它為并行系統的數據處理提供了一個簡單、優雅的解決方案。其主要目的是為了大型集群的系統能在大數據集上進行并行工作，并用于大規模數據的并行運算。本文首先介紹了MapReduce的相關知識，然后對目前MapReduce的國內外研究狀況進行了介紹與評析；并總結了目前MapReduce模型的相關研究問題；最后進行總結并展望了未來發展的趨勢。

關鍵詞：MapReduce技術；云計算應用；云計算；并行計算；

MapReduce technology of cloud computing

SHUN Xiang-hua（1、College of Mathematics and Computer Science，Yangtze Normal university, Chongqing,，410081）

Abstract: MapReduce is one of the core technology of cloud computing, which is parallel data processing system provides a simple, elegant solution.Its main purpose is to a large cluster of systems in large data sets in parallel, and parallel computing for large-scale data.This paper focus on the cloud of MapReduce technologies.MapReduce first introduced the relevant knowledge, the current research situation of MapReduce are introduced and Analysis;MapReduce model put forward the current research issues;Finally, the summary text and the future trends.Key words: MapReduce technology;cloud computing applications;cloud computing;parallel computing;

1、引言

隨著數字技術和互聯網的急速發展，特別是隨著Web2.0的發展，互聯網上的數據量高速增長，也導致了互聯網數據處理能力的相對不足。由于待處理數據越來越多，多到了很難在一臺或有限數目的存儲服務器內容納，且更無法由一臺或數目有限的計算服務器就能處理這樣的海量數據。因此，如何實現資源和計算能力的分布式共享以及如何應對當前互聯網數據量高速增長的勢頭，是目前互聯網界亟待解決的問題。正是在這樣一個發展背景下，云計算應運而生[1]。

云計算是由并行計算(Parallel Computing)、分布式計算(Distributed Computing)和網格計算(Grid Computing)發展而來[2，3]。云計算的核心技術之一是MapReduce，它為并行系統的數據處理提供了一個簡單、優雅的解決方案。其主要目的是為了大型集群的系統能在大數據集上進行并行工作，并用于大規模數據的并行運算[4-6]。

近幾年來由于數據的大量增長，Mapreduce受到了較多的關注，獲得了較大的發展，但還沒有形成成熟的、系統化的理論體系[7]。目前國內外進行MapReduce分析技術研究的機構都顯示了對MapReduce的高度關注,并在不同的體系結構上都進行了實現，尤其是在開源hadoop平臺上對其所做的研究提供了更多的研究機遇。因此對MapReduce的研究不僅具有收稿日期：

基金項目：教育部“春暉”計劃科研合作項目(Z2005—1-55003)作者簡介：孫香花（1977-），女，山西朔州人，碩士,講師，主要從事數據庫、網絡方面的研究．

重要的應用價值，更具有重要的學術意義[8，9]。本文首先介紹了MapReduce的相關知識，然后對目前MapReduce的國內外研究狀況進行了介紹與評析；并總結了目前MapReduce模型的相關研究問題；最后進行總結并展望了未來發展的趨勢。2、MapReduce相關研究

目前國內外文獻中對MapReduce模型都有相應的研究。主要體現在以下幾個方面： 基于MapReduce的初等研究及改進：在Goole提出的原始模型的基礎上提出一些新的改進方法，或是對怎樣提高MapReduce算法的效率上去進行研究。如：文獻[10]提出了一種改進型的MapReduce編程模型，該模型繼承了傳統的MapReduee模型對map函數和reduce函數的定義．對map和reduce過程進行了改進優化。文獻[11]中的HPMR是建立在多核集群上的高性能計算支撐平臺。它繼承并改進了MapReduce并行編程模式，使其適合高性能計算需求。并讓并行程序的編寫和運行變得非常簡單，同時又保持很高的性能。

對大規模的數據挖掘：利用MapReduce模型對于云平臺的海量數據進行挖掘，抓取網頁相關數據，或是對網頁內容去重等到相關的大規模數據的研究等。如：文獻[12]詳細描述SPRINT并行算法在HadooP中的MapReduce編程模型上的執行流程，并利用分析出的決策樹模型對輸入數據進行分類。

基于MapReduce并行模型的一些設計方法與實現或是計算方法的實現，如：文獻[13]結合MapReduce的長處，提出研究和實現一個完整的高性能并行計算系統，以GPU為硬件基礎并配合基于MapReduce并行計算模型平臺進行大規模數據處理。文獻[14]提出了基于MapReduce架構實現分布式光線跟蹤渲染的方案。該方案基于Hadoop實現，利用MapReduee架構簡化了分布式程序設計。

MapReduce的綜述：文獻[15]重點討論了MapReduce模型的相關研究，并對采用或是實現了這些模型的相應公司的技術進行了探討，是一篇綜述類型的學位論文。MapReduce模型的研究與應用：文獻[16]介紹開源并行系統Hadoop的體系結構以及基于Hadoop的MapReduce編程框架，并在Hadoop基礎上提出一種通過多重MapReduce操作，實現海量共現矩陣的生成方法。

當前的研究中，對于云計算中并行計算模型的研究主要是針對于MapReduce模型，而對于MapReduce模型的研究主要在兩個方面展開，一個方面為對MapReduce模型的改進，但是對于改進后的模型的實現平臺沒有研究；另一個方面為MapReduce模型的應用，也是當前的主要研究方向。

3、MapReduce相關研究問題

MapReduce是由Google提出的一種并行分布式編程模型[17-19]。在MapRedcue 模型中用戶只須指定一個map函數來處理一個輸入的key/value對，產生中間結果key/value對集，再通過一個由用戶指定的reduce函數來處理中間結果中具有相同key值的value。適合用 MapReduce 來處理的數據集(或任務)有一個基本要求: 待處理的數據集可以分解成許多小的數據集，而且每一個小數據集都可以完全并行地進行處理[20-21]。

圖1說明了用 MapReduce 來處理大數據集的過程,MapReduce 的計算過程很簡單，計算利用一個輸入key/value對集，來產生一個輸出key/value對集[22]。MapReduce庫的用戶用兩個函數表達這個計算：map和reduce。首先，用戶自定義的map函數，接受一個輸入對，然后產生一個中間key/value對集。然后，MapReduce庫把所有具有相同中間key I的中間value聚合在一起，然后把它們傳遞給reduce函數。最后，用戶自定義的reduce函數，接收稿日期：

基金項目：教育部“春暉”計劃科研合作項目(Z2005—1-55003)作者簡介：孫香花（1977-），女，山西朔州人，碩士,講師，主要從事數據庫、網絡方面的研究．

受一個中間key 和相關的一個value集。它合并這些value，形成一個比較小的value集[23-25]。

圖1、Mapreduce的計算流程

隨著數字技術和互聯網的急速發展，特別是隨著Web2.0的發展，互聯網上的數據量高速增長，也導致了對MapReduce這種并行計算模式的研究變得越來越重要，由此也產生了一系列的相關研究問題，分別如下所列出[26-28]：

1、MapReduce模型只需執行簡單的計算，對于隱藏并行化、容錯、數據分布、負載均衡的那些問題是如何實現的。

2、Google的MapReduce執行流程。

3、對MapReduce模型的實現。

4、對MapReduce模型進行改進。

5、提高Mapreduce的運算效率的方法。

6、基于MapReduce模型的應用。

7、基于MapReduce模型的設計方法及實現 對于以上所列出這些研究問題，目前國內外都有相關的研究，對于這些研究問題在很大程度上仍然有可研究性。

4、未來研究趨勢

MapReduce作為一個通用可擴展的并行計算模型，它用來有效地處理海量數據,不斷地從中挖掘出有價值的信息,成為互聯網企業發展的必然選擇。很多現實世界對海量數據的處理,都可以用這種模型來表示。當前在云計算中使用的分布式并行運算基本上是采用的MapReduce計算模型，不過國內的研究仍然有點滯后，同時，當前的主要研究都放在其應用上，比如說網頁抓取等，真正去研究算法本身的并不多，尤其是在提高算法本身的效率上，以及算法的優化等都研究較少。

根據上面的論述和分析可以看出，對于云計算中并行計算模型的研究和應用主要是對于MapReduce模型的，而對MapReduce模型的應用是當前的主要研究方向。本課題在分析MapReduce模型的基礎上,提出了如下的研究內容：

1、利用MapReduce強大的計算能力，把MapReduce模型應用到一些經典的算法中。所要解決的主要問題是經典的算法的選取，即要滿足利用MapReduce模型的條件，還要解決的是兩個算法的比較及評價問題；

2、利用MapReduce強大的計算能力，把MapReduce模型應用到一些數值計算問題中去，所要解決的主要問題是數值計算問題的分解和結束條件，還要解決的是兩個算法的比較問題及新算法的評價問題。

收稿日期：

基金項目：教育部“春暉”計劃科研合作項目(Z2005—1-55003)作者簡介：孫香花（1977-），女，山西朔州人，碩士,講師，主要從事數據庫、網絡方面的研究．

4、結束語

本文首先介紹了MapReduce的相關知識，然后對目前MapReduce的國內外研究狀況進行了介紹與評析；并總結了目前MapReduce模型的相關研究問題；最后進行總結并展望了未來發展的趨勢。參考文獻 [1] [2] [3] [4] [5] 張建勛,古志民,鄭超.云計算研究進展綜述[J].計算機應用研究,2010,27(2):429-433 金海，漫談.云計算[J].中國計算機學會通訊，2009，5(6):22-25 吳吉義,平玲娣, 潘雪增等.云計算：從概念到平臺[J].電信科學,2009,12:23-30 陳康, 鄭緯民.云計算：系統實例與研究現狀[J].軟件學報.2009,20(5):1337-1348 尹國定,衛紅.云計算—實現概念計算的方法[J].東南大學學報：自然科學版,2003,33(4):502-506 [6] 武永衛，黃小猛.云存儲[J].中國計算機學會通訊，2009，5(6)：44-52 [7] Lamel.R Google’s Mapreduce Programming Model-revisited [J].Science of Computer Programming, 2008, 7(1): 208-237.[8] 萬至臻.基于Mapreduce模型的并行計算平臺的設計與實現[I].浙江大學.2008 [9] 吳曉偉.MapReduce并行編程模式的應用和研究[I].中國科學技術大學.2009.[10] 周鋒,李旭偉.一種改進的MapReduce并行編程模型[J].科協論壇.2009.2（11）：11-12 [11] 鄭啟龍,王昊,吳曉偉等.HPMR:多核集群上的高性能計算支撐平臺[J].微電子學與計算.2008，25(9)：21-23 [12] 王鄂,李銘.云計算下的海量數據挖掘研究[J].現代計算機.2009，22(11)：22-25 [13] 瞿李峰.基于GPGPU的MapReduce高性能并行計算模型研究與應用[I].桂林理工大學.2009.[14] 鄭欣杰,朱程榮,熊齊邦.基于MapReduce的分布式光線跟蹤的設計與實現[J].計算機工程.2007，33(22)：83-85 [15] 周敏.MapReduce綜述[I].暨南大學.2008.[16] 楊代慶,張智雄.基于Hadoop的海量共現矩陣生成方法[J].現代圖書情報技術.2009, 25(4)23-26 [17] Luis M V, Luis Rodero Merino, Juan Caceres, Maik Lindner.A break in the clouds: toward a cloud definition.ACM SIGCOMM Computer Communication Review, 2009,39(1):50-55 [18] Robert L G，Gu Yunhong，Michael Sabala，Zhang Wanzhi。Compute and storage clouds using wide area high performance networks。Future Generation Computer Systems，2009，25(2)：179-183 [19] Daniel J A.Data management in the cloud: limitations and opportunities.Bulletin of the IEEE Computer Society Technical Committee on Data Engineering, 2009,32(1):3-12 [20] 鄭啟龍.HPMR在并行矩陣計算中的應用[J].計算機工程.2010(8).[21] 徐志偉,廖華明,余海燕.網絡計算系統的分類研究[J].計算機學報.2008,31-9:1509—1515.[22] M.Kruijf and K.Sankaralingam.MapReduce for the Cell B.E.Architecture[J].Technical Report No.TR1625,Computer Science Department,University of Wisconsin,Madison,2007.[23] Colby Ranger,Ramanan Raghuraman,Arun Penmetsa,Gary Bradski,Christos Kozyrakis.Evaluating MapReduce for Multi-core and Multi-processor Systems,Proceedings of the 13th Intl,Symposium on High-Performance Computer Architecture(HPCA).收稿日期：

基金項目：教育部“春暉”計劃科研合作項目(Z2005—1-55003)作者簡介：孫香花（1977-），女，山西朔州人，碩士,講師，主要從事數據庫、網絡方面的研究．

Phoenix,AZ, February 2007.[24] J.Dean and S.Ghemawat.Mapreduce:Simplified data processing on large clusters.In OSDI,pages 137-150,2004.[25] D.V.Kalashnikov,S.Prabhakar,and S.E.Hambrusch.Main memory evaluation of monitoring Queries over moving objects.Distributed and Parallel Databases,15(2):117-135,2004.[26] J.Dean.Experiences with mapreduce,an abstraction for large-scale computation.In Proc.IEEEP ACT,2006.[27] 鐘偉彬，周梁月，潘軍彪等.云計算終端的現狀和發展趨勢[J].電信科學,2010,3:22-26 [28] 陳國良，孫廣中，徐云.并行計算的一體化研究現狀與發展趨勢[J].科學通報，2009，54(8)：1043-1049

地址：重慶市涪陵區李渡聚龍大道98號長江師范學院數學與計算機學院辦公室

孫香花 郵編: 408100

收稿日期：

基金項目：教育部“春暉”計劃科研合作項目(Z2005—1-55003)作者簡介：孫香花（1977-），女，山西朔州人，碩士,講師，主要從事數據庫、網絡方面的研究．

第四篇：云計算環境下的分布存儲技術研究論文

摘要：云計算是一種全新的計算模式，其在科學計算以及商業計算領域發揮的作用不可估量，當前在學術界以及企業界等都受到了非常廣泛的關注。云計算環境下的分布存儲技術?整體而言，它研究的主要內容是在數據中心上對于數據的相關管理和組織，是云計算環境的核心內容和最基礎設施。通常來說，數據中心是由上百萬級別的節點綜合組成的，因此這也就自然造成了數據失效的經常發生，這就對云計算的推廣和應用造成了向大限度的限制，基于上述一些層面，對于云計算環境下的分布存儲技術進行研究意義重大。

關鍵詞：云計算；分布存儲技術；數據

隨著信息技術的飛速發展，社會和科學也已不可估量的速度飛速行進著，與此同時，在各行各業中不斷推進和廣泛應用的信息化向信息技術發出了更新一輪的巨大挑戰，對信息技術向前發展起到了促進作用。云計算隨著存儲、通信技術以及計算等的發展而出現并得以廣泛應用，使得用戶能夠更便捷、適時地訪問云服務提供商提供的信息資源，整體來說，云計算同時具備著高可靠性、虛擬化、超大規模、價格低廉等特性，極大程度上滿足了海量數據存儲要求。在這一環境下的分布存儲技術作為云計算的基礎，雖然功能強大，然而從當前形勢看來，它面臨著巨大的挑戰，因此需要不斷地做出分析和研究。

1云計算技術

云計算是一種為了能夠更好地滿足相當數量的數據信息的計算以及存儲等相關服務，同時跟隨當下形勢呈現出非常流行趨勢的通信技術而產生的新型的、能夠為各行各業進行分享基本數據資源的一種計算模型。云計算服務提供商基本上是不參與相關流程的，云計算機能夠保證用戶實現隨時、便捷且放百度呢存儲服務、訪問網絡服務、計算服務等一系列資源。源頭上看來，云計算服務提供商是將龐大的數據節點以及相關網絡設備進行科學有效的有機結合，繼而就可以形成一個或者是一些具與一定規模的數據中心，進而由這一數據中心向有所需的用戶提供到他們需要的服務，最大程度上滿足了用戶的使用要求。

關于云計算這一方面做出的相關研究表明，云計算具有最為顯著的屬性包括高穩定性、可擴展性以及規模超大燈，因此就可以在相應的環境下很好地實現龐大數據信息的存儲操作，存儲的位置多為不同數據中心的不同節點之上，即存儲在這些節點之上的數據信息都是透明的、共享的，因此一旦用戶有哪一方面的需求，只需通過云計算服務提供商提供出的數據訪問接口就可以滿足自己需求，獲取到其中心內部存儲的數據信息。然而當前看來，基于云計算環境的分布存儲技術顯然也是遇到了一些巨大的挑戰，云計算數據中心的數據量、數據信息的規模是非常可觀的，無疑會為數據中心的相關有效成本費用、容錯性以及可擴展性等方面帶來挑戰，需要我們不斷地做出分析研究。

2云計算環境下的分布存儲技術

2.1可擴展性研究

經濟發展迅速的今天，在各行各業都會應用到數據信息處理技術以及計算機技術、通信技術等對相關數據做出一定的有效處理，當下看來，海量信息顯然單靠計算機無法滿足其處理操作，類似存儲、計算等，這一背景下，基于云計算環境的分布存儲技術研究應運而生，首先研究其可擴展性。研究之前先分析傳統的數據存儲計算，其通過冗余的磁盤實現相關要求，那種采取與流行時進行提高數據存儲可擴展性的方式雖然確實實用了一定時間，它在一定程度上實現滿足了數據的存儲空間，只是基于云計算之中的龐大的海量的數據節點，其存儲的數據規模以及相關數據中心的規模仍然處在不斷擴大的趨勢之上，不斷增長的需求存儲容量顯然不能由磁盤預留方式來實現了。因此，云計算環境下的分布存儲技術又到達了一個致高點。云服務提供商的數據中心不可能采取冗余磁盤預留的方式來擴展存儲空間，并且它也不可能在建立之初將所有的操作都完完全全規劃好，譬如說谷歌當前看來，已經在全球的數據中心就有36個，并且每一個數據中西所包含的計算機節點達到了數百萬個；再譬如微軟的數據中心，對外宣稱其將會在全球建設多余二十個數據中心，同時在九月份已經在芝加哥形成了全球最大的模塊化數據中心，其中包含了二百二十多個集裝箱，同時每一個集裝箱中機器數都在兩千作用，其服務器還會以十四個月為周期進行成倍增長，趕超摩爾定律增長速度，因此，基于數據中心的網絡可擴展性進行研究意義十分重大，以期能夠適應當下不斷增長、擴展的應用需求。

2.2容錯性研究

云計算提供商僅僅依靠傳統的提高容錯性的方法進行操作顯然滿足不了當下的需求，這是因為傳統的容錯性提高辦法是經由高性能的服務器、RAID技術或者是專用的存儲設備來進行相關操作，完成這一內容的成本十分高昂，根本無法滿足現今云計算提供商的要求，除上述之外云計算之中龐大的節點以及數據規模注定了極高的失效概率。在云計算這一大環境下，操作失效非常常見。譬如在谷歌公司中，就曾在零六年做出過一份報告，即在云計算環境的分布存儲技術的數據中心內部，平均每一個MapReduce作業的運行過程之中就包含了五個失效的節點；每一個擁有著四千個節點金星運行的MapReduce作業的相關數據中心中，幾乎平均六個小時中就有一個小時的磁盤失效時間，這無疑會給云服務的提供商和資源應用者帶來不同程度的麻煩和損失。除了上述之外，還有很多情形下會造成失效的結果。總而言之，云計算環境下分布存儲的頻頻失效必將帶來不同程度上的損失，其程度不可估量，因此當下而言，容錯成為云計算環境之下分布存儲所面臨的一項巨大挑戰，同時其亟待解決。關于云計算環境下的分布存儲，想要更為徹底有效科學的提高其容錯性，單研究節點之間的相互關聯關系，以提高在屋里拓撲結構上的容錯性是遠遠不夠的，與此同時，必須同時研究在節點上存儲著的數據的相關組織和管理操作，以提高數據容錯性，達到最終目的。

2.3成本控制方面

云計算環境下的數據存儲技術之所以需要在成本控制方面做出一定的研究，是因為傳統的分布存儲所需要管理組織的節點和數據的規模都非常顯，能耗相對也自然比較小，同時于企業而言，低消耗下他們是愿意通過成本輸入來交換可靠性能以及效率的。然而，在云計算環境下的分布存儲，其能耗是非常大的，同時為了使設備處在正常運轉的狀態之下，能耗還要增加很大一部分。在24*7的運行模式下，在數據中心的存儲開銷中非常重要的一個組成部分就是能耗。曾有研究人員作出相關研究發現，基本上每一臺服務器四年的能耗與其相關硬件的成本不相上下，而且一旦能耗有所降低，在很大程度上還可以提高磁盤等一些硬件設備的運行壽命，這些都會大幅縮減整個數據中心的成本，因此就可以說，當下云計算環境下的分布存儲面臨的又一大挑戰就是如何降低能耗進而降低成本，相繼會產生的優良效果就是能源得到節約，環境得到保護。總而言之，云計算環境下的分布存儲需要研究的重大內容即盡可能多角度的對設備的制冷消耗進行研究，從而期望在更大程度上降低云計算的成本費用。

3數據中心網絡構件技術

3.1以服務器為中心

之所以會研究到數據中心網絡構件技術，是因為數據中心是使得云計算得以正常運行的基礎所在，通常來說，它主要的包括著兩個部分，分別是軟件和硬件，軟件即數據中心提供出服務時所應用到的軟件；硬件即數據中心的相關計算機設備以及支撐系統的一些基礎設施。以服務器為中心的結構，主要即是在每一個數據中心的相關服務中都會安裝網卡，且數量較大，然后運用網線把網卡和服務器進行連接，繼而成為一個完整的網絡整體，這樣做的目的之一是增大數據中心的存儲功能。以服務器為中心的結構在結構的組成以及線路的連接兩個方面都比較簡單，從而達到確保網絡底層與服務器之間的有效數據交互，當前看來還有功能更甚強大的路由算法，然而這一結構自身也存在著一定的不足，即由于數據信息會占據相當大的服務器計算資源，就會導致存在一些鏈路無法實現功能，繼而使得服務器的數據壓力更大，服務器的計算速率自然受到一定程度的影響，成本的費用以及功能的損失兩方面來說都產生了一定的消極影響。

3.2以交換機為中心

以交換機為中心的網絡構件結構其實最主要就是對于交換機的應用，交換機將每一個服務器的數據中心有效地連接，再通過交換機進行數據包轉發，當然，云計算環境下的分布存儲，相關的服務器負責的功能有所不同，其只是對于數據信息的存儲以及處理負責。通常以交換機為中心的網絡構件被交換機分成了三層，最為主要的分別是核心層、邊緣層以及聚合層。云計算環境下的數據中心中，經由交換機作為中心的網絡構件結構具有的優點有操作簡便，穩定高效，同時還可以通過交換機的應用實現一些擴展功能，然而，這一結構也存在著一些難以避免的缺陷，比如由于交換機的使用，導致整個數據中心的操作具有不夠良好的靈活性、較低的服務器利用效率以及交換機資源的浪費等，通常而言，這一結構在傳統的數據中心網絡構件中應用較多。

3.3混合模式

混合模式顧名思義就是將上述兩種數據中心網絡結構進行有機的結合，進而形成一種功能上更加強大，實現互補的新型結構。在混合模式的結構中，主要是將交換機作為將服務器進行連接的節點，同時配合安裝在服務器中的多個網卡，除此之外，混合模式的網絡結構中實現了特定場景下的網絡結構，它綜合上述兩種結構的優勢，因此比其更加的靈活自由，同等性能的條件下，對于數據中心的成本而言有一定的降低功能。

4結束語

總而言之，云計算中龐大的數據節點以及相關的網絡設備進行有效的有機結合，進而就形成了一個或者是一些較為大規模的數據中心點，從而達到向用戶提供一些基本性質的服務，使得客戶的使用需求得到滿足。總而言之，云計算環境下的分布存儲技術使得龐大的數據信息得以存儲，存儲位置即為數據中心內部中的眾多節點中的不同節點之上，更為甚者會存儲到在不同數據中心的不同節點上。整體來說，基于云計算環境的分布存儲技術它所研究的主要內容即上述內容，如何實現有效地組織和管理在數據中心中進行存儲的大量數據信息。

參考文獻：

[1]陳全，鄧倩妮.云計算及其關鍵技術[J].計算機應用，2009（09）：56-57.[2]張莉.淺談云計算技術國內發展現狀[J].計算機光盤軟件與應用，2012（23）：78-79.

第五篇：云計算環境下大規模數據處理技術研究論文

隨著計算機技術和互聯網技術的發展和應用，網絡信息和數據量正在高速增長。傳統的并行計算、分布計算等方式由于各種限制，往往都難以滿足實際的計算要求。基于此，采用基于云計算環境下的大規模數據處理技術，能夠有效的打破這些限制，從而實現更加高效、快速的數據計算。

1云計算環境下大數據處理模式

1.1大規模廉價計算平臺

利用虛擬化技術，能夠實現大規模廉價計算平臺，將存儲、應用程序、網絡、計算等資源作為虛擬化實體。對閑散的計算資源進行抽象，使之形成相互之間完全獨立的虛擬服務器實例，從而獨立的完成數據處理和計算。通過這種方式，就能夠實現底層硬件的虛擬化。構建可擴展計算節點資源池，并在其中實現集成管理虛擬計算流程和計算節點。這樣，大規模數據子處理任務就能夠完成實時遷移、資源轉換、系統監控和任務部署。

建設大規模計算平臺的過程，也是云計算環境下大規模數據處理的一個重要步驟。具體來說，首先要對數據處理需要的資源進行參數化的配置，根據相應的要求進行定制。通過這一過程，用戶能夠獲取自己需要的資源。在不同的操作模式下為用戶提供參數服務。在設置參數完成定制之后，以此為基礎，在大規模數據處理的時候，部署存儲和計算資源，設定計算流程和數據處理方案。將相關參數設置信息在存儲和計算資源的配置文件當中進行寫入之后，以此對計算流程進行分配，從而在計算節點中啟動相關的資源，并且管理和部署計算節點的定制處理服務。

部署工具通過網絡連接到目標計算節點和計算流程，然后執行大規模數據處理方案。然后根據相應的方案，通過代碼對存儲和計算資源進行分配和執行。將部署在計算節點進行進行啟動，利用網絡在各個計算節點發送數據處理命令，從而完成調度和部署計算流程的工作。

1.2Map Reduce技術的支持

采用Map Reduce分布式和并行式編程模型，從而在模型內部對任務容錯處理、計算節點負載均衡、空間局部性優化、并行任務調度等方加以實現。在Map Reduce的開發過程中，只需對Map、Reduce兩個接口進行定義，通過計算機集群，對用戶編寫程序進行運行，拆分大規模數據集合，使之形成若干數據片段，從而得到一系列鍵值對[4]。然后向一個Map任務中分配一個數據片段，在Map Reduce框架下，向大規模計算集群中的節點進行子任務的分配。最后，結合得到的鍵值對進行計算，生成鍵值對集合，向Reduce當中進行輸出。

Reduce當中每一個Reduce任務，都會向二元組集合當中進行分配，輸入集合片段，運行Reduce函數，輸出二元組鍵值對。如果數據處理任務失敗，也能夠自動重新進行計算。在大規模數據處理當中，是高度并行操作Map的，這一步驟對于大規模數據的高效處理來說，具有不可忽視的意義。基于云計算環境下，對規模數據信息大都能夠達到TB級別或GB級別。在長時間處理大規模數據的時候，如果發生數據處理任務失敗的情況，能夠防止發生計算任務重新執行的情況。由于數據塊是被復制的，因此在容錯性方面，還會關系到負載均衡的情況。

2云計算環境下大數據處理的框架模型

在大規模數據資源和計算資源當中，對云計算技術、計算機網絡技術進行引入，建立大規模數據處理框架模型。主要包含了兩級結構，其一是虛擬資源體系、大規模廉價計算機集群，其二是大規模數據處理分析的處理監測管理體系、數據處理服務請求、以及相應的基礎架構。利用限制的計算機資源，對虛擬資源層和物理設備進行構建，從而形成最底層的物理資源，形成同構的數據處理資源池或接近于同構的數據處理資源池。在第二級結構當中，最為重要的就是軟件體系，能夠為大規模數據處理提供服務。采用Hadoop核心技術，對數據處理接口進行編寫。通過這種方式，在不同的學科和領域當中，能夠提供相應的大規模數據處理服務，從而使用戶能夠享有良好的計算平臺軟件支持。

在這一框架的設計與實現當中，對Hadoop分布式開源計算機框架進行了應用，對其中的HDFS分布式文件系統，以及Map Reduce進行應用，從而對大規模數據處理業務進行處理和協調。在計算節點當中，對放置在Map Reduce任務進行映射，對大規模數據進行劃分，使之形成若干子塊，并對數據塊的數量、規格等參數加以掌握。通過HDFS功能，可以在每一個計算節點當中，對數據塊副塊進行智能的放置，同時針對各個節點，對具體的角色進行設計。在大規模數據處理的過程當中，需要利用Reduce函數、Map函數、以及相關的程序進行分布化處理。在Hadoop當中，為了對Map Reduce進行運行，提供了一個API進行支持。

3結論

在當前信息化的時代背景當中，計算機和網絡的廣泛應用，使得各個領域中的數據量和信息量與日倶增。而對于這些海量的大規模數據來說，利用傳統的數據處理方式，往往難以取得十分理想的處理效果。基于此，可在云計算環境下，開發和利用相應的大規模數據處理技術，以此來支持社會各個領域當中的大規模數據處理需要，從而數字化的時代當中，始終保持較高的工作效率和良好的工作效果。