第一篇：云計算與大數據學習報告

“大數據與云計算”學習報告 題目：談談對“大數據與云計算”技術的理解，及這兩項技術對商業活動、社會進步帶來哪些影響.首先我想簡單談談何為云計算，何為大數據。云計算，是基于互聯網的相關服務的增加、使用和交付模式，通常涉及通過互聯網來提供動態易擴展且經常是虛擬化的資源，其側重的是計算，而大數據是需要新處理模式才能具有更強的決策力、洞察發現力和流程優化能力來適應海量、高增長率和多樣化的信息資產，本質就是利用計算機集群來處理大批量的數據，大數據的技術關注點在于如何將數據分發給不同的計算機進行存儲和處理。其側重的是計算的對象。

其次說說云計算與大數據的關系.可以說，大數據相當于海量數據的“數據庫”，而云計算作為計算資源的底層，支撐著上層的大數據處理，前者強調的是計算能力，或者看重的存儲能力。大數據需要處理大數據的能力，大數據技術是云計算技術的延伸。大數據技術涵蓋了從數據的海量存儲、處理到應用多方面的技術。

最后說說云計算與大數據對商業活動、社會發展的作用.云計算和大數據的出現，正在引發全球范圍內深刻的技術與商業變革。技術革新對信息化發展的引領與推動作用已經毋庸置疑,而新一波以云計算和大數據為代表的新技術對我國信息化的拉動作用也正日益顯現,隨著云計算服務的互聯,移動互聯網、智慧城市等領域的滲透相互促進,形成了市場需求與技術進步雙拉動的態勢，對電信運營商而言，在當前智能手機、智能設備快速增長、移動互聯網流量迅猛增加的情況下，大數據技術可以為運營商帶來新的機會。大數據在運營商中的應用可以涵蓋多個方面，包括企業管理分析如戰略分析、競爭分析，運營分析如用戶分析、業務分析、流量經營分析，網絡管理維護優化如網絡信令監測、網絡運行質量分析，營銷分析如精準營銷、個性化推薦等計算量越來越大、數據越來越多、越來越動態、越來越實時的需求背景下被催生出來的一種基礎架構和商業模式。

第二篇：大數據與云計算論文

大數據與云計算

摘 要：大數據（Big Data）這個概念近年來在越來越多的場合、被越來越多的人提及，并且經常和云計算聯系在一起，云計算與大數據之間到底是什么關系成為熱點話題。本

專題報告包含以下四個方面內容：1.大數據的價值；2.大數據帶來的挑戰;3.大數據研究成果；4.云計算是大數據挖掘的主流方式。通過本報告闡述我們對大數據的理解，以及對大數據的價值的認識，探討大數據處理與挖掘技術，大數據主要著眼于“數據”，提供數據采集、挖掘、分析的技術和方法;云計算技術主要關注“計算”，提供IT 解決方案。大數據、云計算技術可以促進持續審計方式的發展、總體審計模式的應用、審計成果的綜合應用、相關關系證據的應用、高效數據審計的發展和大數據審計師的發展。強化大數據、云計算技術審計應用的措施包括制定長遠發展戰略、加快審計法規建設、建立行業平臺、加強研發和提高利用能力。關鍵詞：大數據 云計算 數據挖掘 對審計影響 政策建議 引言

目前，大數據伴隨著云計算技術的發展，正在對全球經濟社會生活產生巨大的影響。大數據、云計算技術給現代審計提供了新的技術和方法，要求審計組織和審計人員把握大數據、云計算技術的內容與特征，促進現代審計技術和方法的進一步發展。

一、大數據、云計算的涵義與特征

隨著云計算技術的出現，大數據吸引了全世界越來越多的關注。哈佛大學社會學教授加里·金(2012)說: “這是一場革命，龐大的數據資源使得各個領域開始了量化進程，無論學術界、商界還是政府，所有領域都將開始這種進程。”(一)大數據的涵義與特征

“數據”(data)這個詞在拉丁文里是“已知”的意思，也可以理解為“事實”。2009 年，“大數據”概念才逐漸開始在社會上傳播。而“大數據”概念真正變得火爆，卻是因為美國奧巴馬政府在2012 年高調宣布了其“大數據研究和開發計劃”。這標志著“大數據”時代真正開始進入社會經濟生活中來了。“大數據”(big data)，或稱巨量資料，指的是所涉及的數據量規模大到無法利用現行主流軟件工具，在一定的時間內實現收集、分析、處理或轉化成為幫助決策者決策的可用信息。互聯網數據中心(IDC)認為“大數據”是為了更經濟、更有效地從高頻率、大容量、不同結構和類型的數據中獲取價值而設計的新一代架構和技術，用它來描述和定義信息爆炸時代產生的海量數據，并命名與之相關的技術發展與創新。大數據具有4 個特點: 第一，數據體量巨大(Volume)，從TB 級別躍升到PB 級別。第二，處理速度快(Velocity)，這與傳統的數據挖掘技術有著本質的不同。第三，數據種類多(Variety)，有圖片、地理位置信息、視頻、網絡日志等多種形式。第四，價值密度低，商業價值高(Value)。存在單一數據的價值并不大，但將相關數據聚集在一起，就會有很高的商業價值(金良，2012)。大數據時代，不僅改變了傳統的數據采集、處理和應用技術與方法，還促使人們思維方式的改變。大數據的精髓在于促使人們在采集、處理和使用數據時思維的轉變，這些轉變將改變人們理解和研究社會經濟現象的技術和方法。

(1)是在大數據時代，不依賴抽樣分析，而可以采集和處理事物整體的全部數據。19 世紀以來，當面臨大的樣本量時，人們都主要依靠抽樣來分析總體。但是，抽樣技術是在數據缺乏和取得數據受限制的條件下不得不采用的一種方法，這其實是一種人為的限制。過去，因為記錄、儲存和分析數據的工具不夠科學，只能收集少量數據進行分析。如今，科學技術條件已經有了很大的提高，雖然人類可以處理的數據依然是有限的，但是可以處理的數據量已經大量增加，而且未來會越來越多。隨著大數據分析取代抽樣分析，社會科學不再單純依賴于抽樣調查和分析實證數據，現在可以收集過去無法收集到的數據，更重要的是，現在可以不再依賴抽樣分析。

(2)是在大數據時代，不再熱衷于追求數據的精確度，而是追求利用數據的效率。當測量事物的能力受限制時，關注的是獲取最精確的結果。但是，在大數據時代，追求精確度已經既無必要又不可行，甚至變得不受歡迎。大數據紛繁多樣，優劣摻雜，精準度已不再是分析事物總體的主要手段。擁有了大數據，不再需要對一個事物的現象深究，只要掌握事物的大致發展趨勢即可，更重要的是追求數據的及時性和使用效率。與依賴于小數據和精確性的時代相比較，大數據更注重數據的完整性和混雜性，幫助人們進一步認識事物的全貌和真相。

(3)是在大數據時代，人們難以尋求事物直接的因果關系，而是深入認識和利用事物的相關關系。長期以來，尋找因果關系是人類發展過程中形成的傳統習慣。尋求因果關系即使很困難且用途不大，但人們無法擺脫認識的傳統思維。在大數據時代，人們不必將主要精力放在事物之間因果關系的分析上，而是將主要精力放在尋找事物之間的相關關系上。事物之間的相關關系可能不會準確地告知事物發生的內在原因，但是它會提醒人們事情之間的相互聯系。人們可以通過找到一個事物的良好相關關系，幫助其捕捉到事物的現在和預測未來。(二)云計算的涵義與特征

“云計算”概念產生于谷歌和IBM 等大型互聯網公司處理海量數據的實踐。2006 年8 月9 日，Google首席執行官埃里克·施密特(Eric Schmidt)在搜索引擎大會首次提出“云計算”的概念。2007 年10 月，Google 與IBM 開始在美國大學校園推廣云計算技術的計劃，這項計劃希望能降低分布式計算技術在學術研究方面的成本，并為這些大學提供相關的軟硬件設備及技術支持(Michael Mille，2009)。目前全世界關于“云計算”的定義有很多。“云計算”是基于互聯網的相關服務的增加、使用和交付模式，是通過互聯網來提供動態易擴展且經常是虛擬化的資源。美國國家標準技術研究院(NIST)2009年關于云計算的定義是: “云計算是一種按使用量付費的模式，這種模式提供可用的、便捷的、按需的網絡訪問，進入可配置的計算資源共享池(資源包括網絡、服務器、存儲、應用軟件、服務等)，這些資源能夠被快速提供，只需投入很少的管理工作，或與服務供應商進行很少的交互。”根據這一定義，云計算的特征主要表現為: 首先，云計算是一種計算模式，具有時間和網絡存儲的功能。其次，云計算是一條接入路徑，通過廣泛接入網絡以獲取計算能力，通過標準機制進行訪問。第三，云計算是一個資源池，云計算服務提供商的計算資源，通過多租戶模式為不同用戶提供服務，并根據用戶的需求動態提供不同的物理的或虛擬的資源。第四，云計算是一系列伸縮技術，在信息化和互聯網環境下的計算規模可以快速擴大或縮小，計算能力可以快速、彈性獲得。第五，云計算是一項可計量的服務，云計算資源的使用情況可以通過云計算系統檢測、控制、計量，以自動控制和優化資源使用。(三)大數據與云計算的關系

從整體上看，大數據與云計算是相輔相成的。大數據主要專注實際業務，著眼于“數據”，提供數據采集、挖掘、分析的技術和方法，強調的是數據存儲能力。云計算主要關注“計算”，關注IT 架構，提供IT 解決方案，強調的是計算能力，即數據處理能力。如果沒有大數據的數據存儲，那么云計算的計算能力再強大，也難以找到用武之地;如果沒有云計算的數據處理能力，則大數據的數據存儲再豐富，也終究難以用于實踐中去。

從技術上看，大數據依賴于云計算。海量數據存儲技術、海量數據管理技術、MapＲeduce 編程模型都是云計算的關鍵技術，也都是大數據的技術基礎。而數據之所以會變“大”，最重要的便是云計算提供的技術平臺。數據被放到“云”上之后，打破了過去那種各自分割的數據存儲，更容易被收集和獲得，大數據才能呈現在人們眼前。而巨量的數據也只能依靠云計算強大的數據處理能力，才能夠“淘盡黃沙始得金”。

從側重點看，大數據與云計算的側重點不同。大數據的側重點是各種數據，廣泛、深入挖掘巨量數據，發現數據中的價值，迫使企業從“業務驅動”轉變為“數據驅動”。而云計算主要通過互聯網廣泛獲取、擴展和管理計算及存儲資源和能力，其側重點是IT 資源、處理能力和各種應用，以幫助企業節省IT部署成本。云計算使企業的IT 部門受益，而大數據使企業的業務管理部門受益。

從結果看，大數據與云計算帶來不同的變化。大數據對社會經濟帶來的變化是巨大的，涉及到各個領域。大數據已經與資本、人力一起作為生產的主要因素影響著社會經濟的發展。數據創造價值，而挖掘數據價值、利用數據的“推動力”就是云計算。云計算將信息存儲、分享和挖掘能力極大提高，更經濟、高效地將巨量、高速、多變的終端數據存儲下來，并隨時進行計算與分析。通過云計算對大數據進行分析、總結與預測，會使得決策更可靠，釋放出更多大數據的內在價值。

二、大數據、云計算技術對審計的影響分析

審計技術和方法的發展是隨著科學和管理技術的發展而發展的。現代審計技術和方法體系是在原始的查賬基礎上從低級向高級、從不完備到比較完備發展起來的。在業務和會計處理手工操作階段，審計實施的是賬表導向的審計技術和方法;當內部控制理論和方法全面應用于業務和會計處理時，審計實施的是系統導向的審計技術和方法;當風險管理理論和方法全面應用于業務和財務管理時，審計實施的是風險導向審計技術和方法;與風險導向審計技術和方法并行的是，計算機技術廣泛應用于業務和會計處理時，審計實施的是IT 審計技術和方法。目前，面對大數據、云計算技術的產生和發展，審計人員需要應時而變來適應由此而帶來的變化，分析大數據、云計算技術對審計方式、審計抽樣技術、審計報告模式、審計證據搜集等技術和方法的影響。(一)大數據、云計算技術促進持續審計方式的發展

傳統審計中，審計人員只是在被審計單位業務完成后才進行審計，而且審計過程中并不是審計所有的數據和信息，只是抽取其中有的一部分進行審計。這種事后和有限的審計對被審計單位復雜的生產經營和管理系統來說很難及時做出正確的評價，而且對于評價日益頻繁和復雜的經營管理活動的真實性和合法性則顯得過于遲緩。隨著信息技術迅速發展，越來越多的審計組織對被審計單位開始實施持續審計方式，以解決審計結果與經濟活動的時差問題。但是，審計人員實施持續審計時，往往受目前業務條件和信息化手段的限制，取得的非結構化數據無法數據化，或者無法取得相關的明細數據，致使對問題的判斷也難以進一步具體和深入。而大數據、云計算技術可以促進持續審計方式的發展，使信息技術與大數據、云計算技術較好交叉融合，尤其對業務數據和風險控制“實時性”要求較高的特定行業，如銀行、證券、保險等行業，在這些行業中實施持續審計迫在眉睫。如審計組織對商業銀行的審計，實行與商業銀行建立業務和數據系統的接口，在開發的持續審計系統中固化了非結構化數據結構化和數據分析模塊，該模塊可以在海量貸款客戶中挖掘、分析出行業性和區域性貸款風險趨勢，實現在線的風險預警，并將發現的風險數據、超預警值指標及問題登記為疑點，并建立實時審計工作底稿，按照重要程度進行歸類、核實或下發給現場審計人員進行現場核實，以較好處理非結構化數據的利用和數據的實時分析利用問題。(二)大數據、云計算技術促進總體審計模式的應用

現時的審計模式是在評價被審計單位風險基礎上實施抽樣審計。在不可能收集和分析被審計單位全部經濟業務數據的情況下，現時的審計模式主要依賴于審計抽樣，從局部入手推斷整體，即從抽取的樣本著手進行審計，再據此推斷審計對象的整體情況。這種抽樣審計模式，由于抽取樣本的有限性，而忽視了大量和具體的業務活動，使審計人員無法完全發現和揭示被審計單位的重大舞弊行為，隱藏著重大的審計風險。而大數據、云計算技術對審計人員而言，不僅僅是一種可供采用的技術手段，這些技術和方法將給審計人員提供實施總體審計模式的可行性。利用大數據、云計算技術，對數據的跨行業、跨企業搜集和分析，可以不用隨機抽樣方法，而采用搜集和分析被審計單位所有數據的總體審計模式。利用大數據、云計算技術的總體審計模式是要分析與審計對象相關的所有數據，使得審計人員可以建立總體審計的思維模式，可以使現代審計獲得革命性的變化。審計人員實施總體審計模式，可以規避審計抽樣風險。如果能夠收集總體的所有數據，就能看到更細微、深入的信息，對數據進行多角度的深層次分析，從而發現隱藏在細節數據中的對審計問題更具價值的信息。同時，審計人員實施總體審計模式，能發現從審計抽樣模式所不能發現的問題。大數據、云計算技術給審計人員提供了一種能夠從總體把握審計對象的技術手段，從而幫助審計人員能從總體的視角發現以前難以發現的問題。

(三)大數據、云計算技術促進審計成果的綜合應用

目前，審計人員的審計成果主要是提供給被審計單位的審計報告，其格式固定，內容單一，包含的信息量較少。隨著大數據、云計算技術在審計中廣泛應用，審計人員的審計成果除了審計報告外，還有在審計過程中采集、挖掘、分析和處理的大量的資料和數據，可以提供給被審計單位用于改進經營管理，促進審計成果的綜合應用，提高審計成果的綜合應用效果。首先，審計人員通過對審計中獲取的大量數據和相關情況資料的匯總、歸納，從中找出財務、業務和經營管理等方面的內在規律、共性問題和發展趨勢，通過匯總歸納宏觀性和綜合性較強的審計信息，為被審計單位投資者和其他利益相關者提供數據證明、關聯分析和決策建議，從而促進被審計單位管理水平的提高。其次，審計人員通過應用大數據、云計算技術，可以將同一問題歸入不同的類別進行分析和處理，從不同的角度、不同的層面整合提煉以滿足不同層次的需求。再次，審計人員將審計成果進行智能化留存，通過大數據、云計算技術，將問題規則化并固化到系統中，以便于計算或判斷問題發展趨勢，向被審計單位進行預警。最后。審計人員將審計成果、被審計單位與審計問題進行關聯，并進行信息化處理，在進行下次審計時，減少實地審計的時間和工作量，提高審計工作的效率。(四)大數據、云計算技術促進相關關系證據的應用

審計人員在審計過程中，應根據充分、適當的審計證據發表審計意見，出具審計報告。但是，在大數據、云計算環境下，審計人員既面臨巨量數據篩選的考驗，又面臨搜集適當審計證據的挑戰。審計人員在搜集審計證據時，傳統的思維路徑都是基于因果關系來搜集審計證據，而大數據分析將會更多地運用相關關系分析來搜集和發現審計證據。但從審計證據發現的角度來看，由于大數據技術提供了前所未有的跨領域、可供量化的維度，使得審計問題大量的相關信息能夠得以記錄和計算分析。大數據、云計算技術沒有改變事物間的因果關系，但在大數據、云計算技術中對相關關系的開發和利用，使得數據分析對因果邏輯關系的依賴降低了，甚至更多地傾向于應用基于相關關系的數據分析，以相關關系分析為基礎的驗證是大數據、云計算技術的一項重要特征。在大數據、云計算技術環境下，審計人員能搜集到的審計證據大多是電子證據(秦榮生，2013)。電子證據本身就非常復雜，云計算技術使獲取有因果關系的證據更加困難。審計人員應從長期依賴因果關系來搜集和發現審計證據，轉變成為利用相關關系來搜集和發現審計證據。(五)大數據、云計算技術促進高效數據審計的發展

直到今天，審計人員的數字審計技術依然建立在精準的基礎上。這種思維方式適用于掌握“小數據量”的情況，因為需要分析的數據很少，所以審計人員必須盡可能精準地量化被審計單位的業務。隨著大數據、云計算技術成為日常生活中的一部分，審計人員應開始從一個比以前更大、更全面的角度來理解被審計單位，將“樣本= 總體”植入審計人員的思維中。相比依賴于小數據和精確性的時代，大數據更強調數據的完整性和混雜性，幫助審計人員進一步接近事情的真相，“局部”和“精確”將不再是審計人員追求的目標，審計人員追求的是事物的“全貌”和“高效”。圍繞大數據，一批新興的數據挖掘、數據存儲、數據處理與分析技術將不斷涌現。在實施審計時，審計人員應利用大數據、云計算技術，使用分布式拓樸結構、云數據庫、聯網審計、數據挖掘等新型的技術手段和工具，以提高審計的效率。

(六)大數據、云計算技術促進大數據審計師的發展

大數據、云計算時代，數據的真實、可靠是大數據發揮作用的前提。這客觀上要求專業人員來對大數據的真實性、可靠性進行鑒證，審計人員可以扮演這種角色，或者稱為數據審計師。能對大數據真實性、可靠性進行鑒證的數據審計師應該是計算機科學、數學、統計學和審計學領域的專家，他們應有大數據分析和預測的評估能力。數據審計師應恪守公正的立場和嚴守保密的原則，面對海量的數據和紛繁復雜的相關關系，選取分析和預測工具，以及解讀數據及數據計算結果是否真實、可靠。一旦出現爭議，數據審計師有權審查與分析結果相關的運算法則、統計方法以及數據采集、挖掘和處理過程。數據審計師的出現是為滿足以市場為導向來解決數據真實性、可靠性問題的需求，這與20 世紀初期為了處理財務信息虛假而出現的審計人員一樣，都是為了滿足新需求而出現的。

三、大數據挖掘

數據的價值只有通過數據挖掘才能從低價值密度的數據中發現其潛在價值，而大數據挖掘技術的實現離不開云計算技術。在業界，全球著名的Google、EMC、惠普、IBM、微軟等互聯網公司都已經意識到大數據挖掘的重要意義。上述IT 巨頭們紛紛通過收購大數據分析公司，進行技術整合，希望從大數據中挖掘更多的商業價值。數據挖掘通常需要遍歷訓練數據獲得相關的統計信息，用于求解或優化模型參數，在大規模數據上進行頻繁的數據訪問需要耗費大量運算時間。數據挖掘領域長期受益于并行算法和架構的使用，使得性能逐漸提升。過去15 年來，效果尤其顯著。試圖將這些進步結合起來，并且提煉。GPU平臺從并行上得到的性能提升十分顯著。這些GPU平臺由于采用并行架構，使用并行編程方法，使得計算能力呈幾何級數增長。即便是圖形處理、游戲編程是公認的復雜，它們也從并行化受益頗多。研究顯示數據挖掘、圖遍歷、有限狀態機是并行化未來的熱門方向。MapReduce 框架已經被證明是提升GPU 運行數據挖掘算法性能的重要工具。D.Luo 等提出一種非平凡的策略用來并行一系列數據挖掘與數據挖掘問題，包括一類分類SVM 和兩類分類SVM，非負最小二乘問題，及L1 正則化回歸（lasso）問題。由此得到的乘法算法，可以被直截了當地在如MapReduce 和CUDA 的并行計算環境中實現。K.Shim 在MapReduce 框架下，討論如何設計高MapReduce 算法，對當前一些基于MapReduce 的數據挖掘和數據挖掘算法進行歸納總結，以便進行大數據的分析。Junbo Zhang 等提出一種新的大數據挖掘技術，即利用MapRedue 實現并行的基于粗糙集的知識獲取算法，還提出了下一步的研究方向，即集中于用基于并行技術的粗糙集算法處理非結構化數據。F.Gao 提出了一種新的近似算法使基于核的數據挖掘算法可以有效的處理大規模數據集。當前的基于核的數據挖掘算法由于需要計算核矩陣面臨著可伸縮性問題，計算核矩陣需要O(N2)的時間和空間復雜度來計算和存儲。該算法計算核矩陣時大幅度降低計算和內存開銷，而且并沒有明顯影響結果的精確度。此外，通過折中結果的一些精度可以控制近似水平。它獨立于隨后使用的數據挖掘算法并且可以被它們使用。為了闡明近似算法的效果，在其上開發了一個變種的譜聚類算法，此外設計了一個所提出算法的基于MapReduce 的實現。在合成和真實數據集上的實驗結果顯示，所提出的算法可以獲得顯著的時間和空間節省。Christian Kaiser 等還利用MapReduce 框架分布式實現了訓練一系列核函數學習機，該方法適用于基于核的分類和回歸。Christian Kaiser 還介紹了一種擴展版的區域到點建模方法，來適應來自空間區域的大量數據。Yael Ben-Haim 研究了三種MapReduce 實現架構下并行決策樹分類算法的設計, 并在Phoenix 共享內存架構上對SPRINT 算法進行了具體的并行實現。F.Yan 考慮了潛在狄利克雷分配（LDA）的兩種推理方法——塌縮吉布斯采樣（collapsed Gibbssampling，CGS）和塌縮變分貝葉斯推理（collapsedvariational Bayesian，CVB）在GPU 上的并行化問題。為解決GPU 上的有限內存限制問題，F.Yan 提出一種能有效降低內存開銷的新穎數據劃分方案。這種劃分方案也能平衡多重處理器的計算開銷，并能容易地避免內存訪問沖突。他們使用數據流來處理超大的數據集。大量實驗表明F.Yan 的并行推理方法得到的LDA 模型一貫地具有與串行推理方法相同的預測能力；但在一個有30 個多核處理器的GPU 上，CGS 方法得到了26倍的加速，CVB 方法得到了196 倍的加速。他們提出的劃分方案和數據流方式使他們的方法在有更多多重處理器時可伸縮，而且可被作為通用技術來并行其它數據挖掘模型。Bao-Liang Lu 提出了一種并行的支持向量機，稱為最小最大模塊化網絡(M3)，它是基“分而治之”的思想解決大規模問題的有效的學習算法。針對異構云中進行大數據分析服務的并行化問題G.Jung 提出了最大覆蓋裝箱算法來決定系統中多少節點、哪些節點應該應用于大數據分析的并行執行。這種方法可以使大數據進行分配使得各個計算節點可以同步的結束計算，并且使數據塊的傳輸可以和上一個塊的計算進行重疊來節省時間。實驗表明，這種方法比其他的方法可以提高大約60% 的性能。在分布式系統方面，Cheng 等人 提出一個面向大規模可伸縮數據分析的可伸縮的分布式系統——GLADE。GLADE 通過用戶自定義聚合（UDA）接口并且在輸入數據上有效地運行來進行數據分析。文章從兩個方面來論證了系統的有效性。第一，文章展示了如何使用一系列分析功能來完成數據處理。第二，文章將GLADE 與兩種不同類型的系統進行比較：一個用UDA 進行改良的關系型數據庫（PostgreSQL）和MapReduce(Hadoop)。然后從運行結果、伸縮性以及運行時間上對不同類型的系統進行了比較。

四、總結 大數據的超大容量自然需要容量大，速度快，安全的存儲，滿足這種要求的存儲離不開云計算。高速產生的大數據只有通過云計算的方式才能在可等待的時間內對其進行處理。同時，云計算是提高對大數據的分析與理解能力的一個可行方案。大數據的價值也只有通

過數據挖掘才能從低價值密度的數據中發現其潛在價值，而大數據挖掘技術的實現離不開云計算技術。總之，云計算是大數據處理的核心支撐技術，是大數據挖掘的主流方式。沒有互聯網，就沒有虛擬化技術為核心的云計算技術，沒有云計算就沒有大數據處理的支撐技術。

參考文獻

秦榮生.大數據、云計算技術對審計的影響研究 何清.大數據與云計算

張為民.云計算: 深刻改變未來

文峰.云計算與云審計———關于未來審計的概念與框架的一些思考

Big data and cloud computing Big Data(Big Data)in recent years, more and more occasions, the concept is mentioned more and more people, And often, and cloud computing together, what is the relationship between cloud computing and big data become a hot topic.this Special report contains the following four aspects: 1.The value of big data;2.Big data challenge;3.Big data research;4.Cloud computing is the mainstream way of data mining.Through this report on our understanding of big data, as well as the understanding of the value of big data, large data processing and mining technology, large data mainly focus on “data”, provide the technology and methods of data collection, mining and analysis;Cloud computing technology focusing on “computing”, providing IT solutions.Big data and cloud computing technology can promote the development of continuous audit mode, the overall audit mode of application, the audit results of comprehensive application, the application of related evidence, the development of efficient data audit and the development of large data auditor.Strengthen big data and cloud computing technology measures of audit applications include set up long-term development strategy, accelerate the construction of the audit regulations, establish a platform, to strengthen research and development and improve the utilization ability.Keywords: big data cloud computing data mining impact on the audit policy Suggestions

第三篇：新技術—云計算與大數據

云計算與大數據

大數據時代已經悄然到來，如何應對大數據時代所帶來的挑戰與機遇，是我們當代大學生特別是我們計算機專業學生的一個必須面對的嚴峻課題。在這次課上通過陶老師的講解以及在課后查閱相關資料，我了解到什么是大數據，什么是云計算，它們都有什么用處，有什么關系。

近幾年，云計算和大數據的概念受到了學術界、商界、甚至政府的熱傳，一時間云計算無處不在。秉承著“按需服務”理念的云計算正高速發展，“數據即資源”的“大數據”時代已經來臨。大數據利用對數據處理的實時性、有效性提出來更高要求，需要根據大數據特點對傳統的常規數據處理技術進行變革，形成適用于大數據收集、存儲、管理、處理、分析、共享和可視化的技術。大數據的規模效應給數據存儲和管理以及數據分析帶來了極大的挑戰。

一、云計算概念

在課后，經過翻閱各種資料，了解到狹義的云計算是指IT基礎設施的交付和使用模式。指通過網絡以按需、易擴展的方式獲得所需的資源；廣義的云計算是指服務的交付和使用模式，指通過網絡以按需、易擴展的方式獲得所需的服務，這種服務可以是IT和軟件、互聯網相關的，也可以是任意其他的服務，它具有超大規模、虛擬化、可靠安全等獨特功能。通俗的理解是，云計算的“云”就是存在于互聯網上的服務器集群上的資源，它包括硬件資源和軟件資源，本地計算機只需要通過互聯網發送一個需求信息，遠端就會有成千上萬的計算機為你提供需要的資源并將結果返回到本地計算機。這樣，本地計算機幾乎不需要做什么，所有的處理都在云計算提供商所提供的計算機群體來完成。

Kevin Hartig：云是一個龐大的資源地，你按需購買；云是虛擬化的；云可以像自來水、電、煤氣那樣計費。

Jan Pritzker：云計算是用戶友好的網絡計算。

云計算，它是基于數據中心，強調性價比、效率、可行性的服務運營模式，這是提高高端計算利用率，同時提升低端計算事物處理能力，我們不關注本身計算機的能力，更多提供給后臺，由于后臺強大的處理能力完成。

二、云計算部署模式

根據云計算服務對象范圍的不同，云計算有四種部署模式：私有云、社區云、公有云和混合云。私有云是由一個用戶組織（例如政府、軍隊、企業）建立運維的云計算平臺，專供組織內部人員使用，不提供對外服務。社區云也稱機構云，云基礎設施由多個組織共同提供，平臺由多個組織共同管理。社區云被一些組織共享，為一個有共同關注點的社區或大機構提供服務。公有云的基礎設施由一個提供云計算服務的大型運營商組織建立和運維，該運營組織一般是擁有大量計算資源的IT巨頭，這些IT公司將云計算服務以“按需購買”的方式銷售給一般用戶或中小企業群體。用戶只需將請求提交給云計算系統，付費租用所需的資源和服務。混合云的云基礎設施是由兩種或兩種以上的云組成，每種云仍然保持獨立，但用標準的或專用的技術將它們組合起來，具有數據和應用程序的可移植性。

三、云計算服務模式

計算就要有就算環境，一般計算環境都有硬件的一層，資源組合調度的一層即操作層，以及計算任務的應用業務的軟件層。云計算提供的三種服務模式對應了計算環境的三個層面。這三種服務模式分別是基礎設施即服務IaaS、軟件即服務SaaS、平臺即服務PaaS。

IaaS即把廠商的由多臺服務器組成的“云端”基礎設施，作為計量服務提供給客戶。它的優點是用戶只需低成本硬件，按需租用相應計算能力和存儲能力，大大降低了用戶在硬件上的開銷。目前以Google云應用最具代表性，例如GoogleDocs、GoogleApps、Googlesites。SaaS服務提供商將應用軟件統一部署在自己的服務器上，用戶根據需求通過互聯網向廠商訂購應用軟件服務，服務提供商根據客戶所定軟件的數量、時間的長短等因素收費，并且通過瀏覽器像客戶提供軟件的模式。對于小型企業來說，SaaS是采用先進技術的最好途徑。PaaS把開發環境作為一種服務來提供。PaaS能夠給企業或個人提供研發的中間件平臺，提供應用程序開發、數據庫、應用服務器、試驗、托管及應用服務。

四、大數據

大數據（big data），或稱巨量資料，就是對全球各種大規模數據資料進行深度挖掘，并進行高速度及多樣式計算后，整理出來的高價值的分析結果；重點應用在國防領域建設，未來發展方向在人工智能領域，可以讓計算機自主地從經驗中進行學習和反饋。個人總結，大數據的特點主要有如下4點：

一是大量。存儲大，計算量大。

二是數據類型多樣。現在的數據類型不僅是文本形式，更多的是圖片、視頻、音頻、地理位置信息等多類型的數據，個性化數據占絕對多數。三是處理速度快。增長速度快，處理速度要求快。四是價值密度低。浪里淘沙卻彌足珍貴，數據沒有辦法在可忍受的時間下使用常規軟件方法完成存儲、管理和處理任務。

大數據已經不簡簡單單是數據大的事實了，而最重要的現實是對大數據進行分析，只有通過分析才能獲得很多智能的，深入的，有價值的信息。大數據分析普遍存在的方法理論有：可視化分析、數據挖掘算法、預測性分析、語義引擎、數據質量和數據管理。

五、云計算與大數據關系

云計算和大數據是這個時代的兩個王者，是一個硬幣的兩面，云計算是大數據的IT基礎，而大數據是云計算的一個殺手級應用。張亞勤說，云計算是大數據的驅動力，而另一方面，由于數據越來越多，越來越復雜，越來越實時，這就更加需要云計算去處理，所以二者之間是相輔相成的。

本質上，云計算和大數據的關系是靜與動的關系；云計算強調的是計算，這是動的概念；數據則是計算的對象，是靜的概念。在實際的應用中，前者強調的是計算能力，或者看重的是存儲能力；但是這樣說，并不意味著兩個概念如此涇渭分明。大數據需要處理大數據的能力如數據獲取、清潔、轉換、統計等，其實就是需要強大的計算能力，另一方面，云計算的動也好是相對而言，比如基礎設施即服務中存儲設備提供的主要是數據能力，所以可謂是動中有靜。

如果數據是財富，那么大數據就是寶藏，而云計算就是挖掘和利用寶藏的利器。沒有強大的計算能力，數據寶藏終究是鏡中花，沒有大數據的積淀，云計算也只能是殺雞用的宰牛刀。

六、心得體會

通過這次課程的學習，了解到在如此快速到來的大數據革命時代，我們還有很多知識需要學習，許多思維需要轉變，許多技術需要研究。職業規劃中，也需要充分考慮到大數據對于自身職業的未來發展所帶來的機遇和挑戰。

第四篇：大數據與云計算的安全

云計算和大數據結合的安全問題

摘要：云計算的浪潮還沒有過去，大數據時代已經到來。在對大數據的含義、特征、影響和意義進行系統總結的基礎上，分析了大數據與云計算的關系，論述大數據和云計算的安全將給消費者和電商帶來更加高效的轉型。

關鍵字：云計算，大數據，電商

所謂通信，最簡單的理解，也是最基本的理解，就是人與人溝通的方法。無論是現在的電話，還是網絡，解決的最基本的問題，實際還是人與人的溝通。現代通信技術，就是隨著科技的不斷發展，如何采用最新的技術來不斷優化通信的各種方式，讓人與人的溝通變得更為便捷，有效。隨著計算機技術的廣泛普及與計算機遠程信息處理應用的發展，云計算和大數據應運而生。、一、大數據的介紹

大數據（Big Data)，或稱巨量資料，指的是所涉及的資料量規模巨大到無法通過目前主流軟件工具，在合理時間內達到擷取、管理、處理、并整理成為幫助企業經營決策更積極目的的資訊(在維克托·邁爾-舍恩伯格及肯尼斯·庫克耶編寫的《大數據時代》中大數據指不用隨機分析法（抽樣調查）這樣的捷徑，而采用所有數據的方法）。大數據可分成大數據技術、大數據工程、大數據科學和大數據應用等領域，目前人們談論最多的是大數據技術和大數據應用。大數據技術的戰略意義不在于掌握龐大的數據信息，而在于對這些含有意義的數據進行專業化處理。換言之，如果把大數據比作一種產業，那么這種產業實現盈利的關鍵，在于提高對數據的“加工能力”，通過“加工”實現數據的“增值”。從技術上看，大數據與云計算的關系就像一枚硬幣的正反面一樣密不可分。大數據必然無法用單臺的計算機進行處理，必須采用分布式計算架構。它的特色在于對海量數據的挖掘，但它必須依托云計算的分布式處理、分布式數據庫、云存儲和或虛擬化技術。

二、云計算的介紹

云計算是一種基于互聯網的計算方式，通過這種方式，共享的軟硬件資源和信息可以按需求提供給計算機和其他設備。云是網絡、互聯網的一種比喻說法。過去在圖中往往用云來表示電信網，后來也用來表示互聯網和底層基礎設施的抽象。幾年之內,云計算已從新興技術發展成為當今的熱點技術。云計算從節約成本的工具到盈利的推動器，從ISP（網絡服務提供商）到電信企業，已然成功地從內置的IT 系統演變成公共的服務。然而人們擔心他們在云端的數據安全。正因為此，用戶應該期待看到更安全的應用程序和技術上來。許多新的加密技術，安全協議，在未來會越來越多的呈現出來。其中的安全性和遵從性的問題仍然是阻礙云計算發展的重要原因。三、二者聯系和安全策略

近幾年由于科技的不斷發展，3G網絡視頻通話，移動互聯網、物聯網、智能手機，這些科技產品都一一涌現，充斥著我們的生活，確實互聯網給我們的生活帶來了方便，但同時惡意軟件，黑客入侵電腦，這些人為的破壞，也影響著個人或者企業的信息安全。在這個時候新技術云計算的出現，就給傳統互聯網信息安全帶來了希望，但同時也面臨解決新的安全挑戰。

多種方式應對云計算安全挑戰—云計算給信息安全帶來的挑戰包括：第一，傳統安全產品無法應對云計算環境下的網絡結構和協議。在云計算環境中，可能前端的Web服務器和后端的數據庫都處在一個物理服務器上，這樣它們之間的網絡交互直接用虛擬交換機就可以了，數據根本不經過物理交換機，如果不到物理交換機，則信息安全設備拿不到它的數據，導致對其訪問控制、審計、攻擊的檢測，都沒辦法實現。第二，云計算技術特性帶來一些新的安全需求。云安全架構的一個關鍵特點是云服務提供商所在的等級越低，云服務用戶自己所要承擔的安全能力和管理職責就越多。數據安全包括：數據傳輸、數據隔離、數據殘留。應用安全包括：終端用戶安全、SaaS安全、PaaS安全、IaaS安全。虛擬化安全包括：虛擬化軟件、虛擬服務器等。第三，云計算環境對安全產品的計算性能提出了非常大的挑戰。目前保護信息安全產品的性能已經遠遠落后于網絡設備。大數據將會化解APT(高級持續威脅)危機—近一兩年，APT攻擊是非常熱門的話題。簡單的說就是黑客組織針對一個有價值的目標，進行長期、緩慢的，但是非常有技術含量的攻擊。我們知道未來大數據和云計算將推動下一代安全數據的創新。大數據和云計算擴展了整個IT領域的計算和存儲資源，給信息安全提供了信息平臺和大數據處理的技術支撐，為整個信息安全產品的革新創造了一個更大的可能性。其中數據加密就是對數據信息的重新組合，只有在收發雙方的基礎上才能夠還原網絡信息，數據加密技術能夠確保校園網內部信息數據的安全性與完整性，并具有一定的保密作用，從某種意義上來說它是其他安全技術的基本保證，經過加密的網絡數據能夠確保數據在收錄、傳輸、使用及轉換中不被第三方得知數據信息內容。

綜上所述：大數據是本，云計算是術，移動互聯網是用。三者緊密結合在一起才能讓整個信息安全系統更有效的服務現代人們的生活。在大數據環境下，即高流量、巨大海量數據、高可靠性。更多需要通過檢測、分析、發現及預警的安全保障體系，實現可靠性、可用性與安全性的完美結合；利用大數據分析，可提前、精確、有效地發現已知或未知的安全威脅；可實現數據訪問的記錄、分析及取證；可實現有效、精確地發現隱私數據的檢測分析與防護。安全檢測與大數據技術結合，利用云計算能力及大數據處理機制實現信息訪問和審計，安全威脅智能的發現，隱私數據的保護。

參考文獻：《大數據時代》--[英]維克托·邁爾-舍恩伯格（ViktorMayer-Sch?nberger）--浙江人民出版社

電子圖書：《云計算安全指南》--Ronald L.Krutz，Russell Dean Vines（著）張立強(譯)

姓名：孫飛龍

學號：12901337

學院：信息工程學院

第五篇：云計算報告

淺談云計算

一、云計算的概念

什么是云計算？云計算是一種基于因特網的超級計算模式，在遠程的數據中心，幾萬甚至幾千萬臺電腦和服務器連接成一片。因此，云計算甚至可以讓你體驗每秒超過10萬億次的運算能力，如此強大的運算能力幾乎無所不能。用戶通過電腦、筆記本、手機等方式接入數據中心，按各自的需求進行存儲和運算。

關于云計算維基百科的定義是：云計算是一種通過Internet以服務的方式提供動態可伸縮的虛擬化的資源的計算模式。而美國國家標準與技術研究院（NIST）給出了更加詳細的定義：云計算是一種按使用量付費的模式，這種模式提供可用的、便捷的、按需的網絡訪問，進入可配置的計算資源共享池（資源包括網絡，服務器，存儲，應用軟件，服務），這些資源能夠被快速提供，只需投入很少的管理工作，或與服務供應商進行很少的交互。

狹義的云計算和廣義的云計算

狹義的云計算是指IT基礎設施的交付和使用模式，指通過網絡以按需、易擴展的方式獲得所需的資源(硬件、平臺、軟件)。提供資源的網絡被稱為“云”。“云”中的資源在使用者看來是可以無限擴展的，并且可以隨時獲取，按需使用，隨時擴展，按使用付費。這種特性經常被稱為像水電一樣使用IT基礎設施。廣義的云計算是指服務的交付和使用模式，指通過網絡以按需、易擴展的方式獲得所需的服務。這種服務可以是IT和軟件、互聯網相關的，也可以是任意其他的服務。

云計算（Cloud Computing）是分布式計算（Distributed Computing）、并行計算（Parallel Computing）、效用計算（Utility Computing）、網絡存儲（Network Storage Technologies）、虛擬化（Virtualization）、負載均衡（Load Balance）等傳統計算機和網絡技術發展融合的產物。

二、云計算的發展

云計算的發展可以分為以下5個階段：

一是萌芽期（Technology Trigger）又稱感知期，人們對新技術產品和概念開始感知，并且表現出興趣；

二是過熱期(Peak of Inflated Expectations)，人們一擁而上，紛紛采用這種新技術，討論這種新技術。典型成功的案例往往會把人們的這種熱情加上把催化劑；

三是低谷期(Trough of Disillusionment)，又稱幻想破滅期。過度的預期，嚴峻的現實，往往會把人們心理的一把火澆滅；

四是復蘇期(Slope of Enlightenment)，又稱恢復期。人們開始反思問題，并從實際出發考慮技術的價值。相比之前冷靜不少；

五是成熟期(Plateau ofProductivity)，又稱高原期。該技術已經成為一種平常。”。

三、云計算的結構 云計算可以認為包括以下幾個層次的服務：基礎設施即服務（IaaS），平臺即服務（PaaS）和軟件即服務（SaaS）。這里所謂的層次，是分層體系架構意義上的“層次”。IaaS，PaaS，SaaS分別在基礎設施層，軟件開放運行平臺層，應用軟件層實現。

四、云計算的特征

云計算具有以下幾個主要特征：

(1)資源配置動態化。根據消費者的需求動態劃分或釋放不同的物理和虛擬資源，當增加一個需求時，可通過增加可用的資源進行匹配，實現資源的快速彈性提供；如果用戶不再使用這部分資源時，可釋放這些資源。云計算為客戶提供的這種能力是無限的，實現了IT資源利用的可擴展性。

(2)需求服務自助化。云計算為客戶提供自助化的資源服務，用戶無需同提供商交互就可自動得到自助的計算資源能力。同時云系統為客戶提供一定的應用服務目錄，客戶可采用自助方式選擇滿足自身需求的服務項目和內容。

(3)以網絡為中心——云計算的組件和整體構架由網絡連接在一起并存在于網絡中，同時通過網絡向用戶提供服務。而客戶可借助不同的終端設備，通過標準的應用實現對網絡的訪問，從而使得云計算的服務無處不在。

(4)服務可計量化。在提供云服務過程中，針對客戶不同的服務類型，通過計量的方法來自動控制和優化資源配置。即資源的使用可被監測和控制，是一種即付即用的服務模式。

(5)資源的池化和透明化——對云服務的提供者而言，各種底層資源（計算、儲存、網絡、資源邏輯等）的異構性（如果存在某種異構性）被屏蔽，邊界被打破，所有的資源可以被統一管理和調度，成為所謂的“資源池”，從而為用戶提供按需服務；對用戶而言，這些資源是透明的，無限大的，用戶無須了解內部結構，只關心自己的需求是否得到滿足即可。

五、云計算的應用

理論上講在全部的領域都有應用，它就像是一個在遠端的服務器，我們想用上面的資源或運算能力，只需即時購買，即時享受服務。但是，就目前來講，我個人覺得主要還是在兩個方面。

一是我們已經在享受的，但是我們很少關注的云應用。比方說apple的Icloud那些擁有iphone手機，Itunes的用戶就可以通過網絡從apple的APP store下載歌曲、電影、軟件等等，但是在這強調的是，云應用遠不止這些普通意義上上同步。

二是IaaS業務，比較常見的像陽光云、盛大云，均是云計算服務器供應商。不論是企業用戶，還是散戶均可以通過網上購買來享受服務。

六、云計算的發展趨勢

云計算發展的總體趨勢是終將成為整個社會信息化的基礎設施。

1、標準化

現階段，云計算的技術和服務尚未成熟。標準化是云計算快速發展、走進大眾的助推器。

2、開放性

云計算的開發性，包括對云計算互操作性的要求、對云計算計算和產品的開放性接口的要求、對云計算服務的開放性和互聯互通要求等許多方面。

3、“純云”和“云+端”共存

鑒于海量用戶的海量需求得到滿足，這兩種模式都將并行不悖地發展。一直以來，處于各自的利益考慮，不同廠商對云計算給出的定義并不一樣。微軟提出了“云+端”的概念，即“云”和“端”都具備很強的計算能力；Google則認為未來幾乎所有的軟件都可以搬上網，以服務取代軟件，云計算將使終端性能極度被削弱，因此強調“純云”。但在現階段，即使Google也不得不承認“端”存在的必要性，并在客戶端方面開始了一些實質性的工作，以便更好地連接到“云”上。