第一篇：大數(shù)據(jù)與云計算的安全

云計算和大數(shù)據(jù)結(jié)合的安全問題

摘要：云計算的浪潮還沒有過去，大數(shù)據(jù)時代已經(jīng)到來。在對大數(shù)據(jù)的含義、特征、影響和意義進(jìn)行系統(tǒng)總結(jié)的基礎(chǔ)上，分析了大數(shù)據(jù)與云計算的關(guān)系，論述大數(shù)據(jù)和云計算的安全將給消費(fèi)者和電商帶來更加高效的轉(zhuǎn)型。

關(guān)鍵字：云計算，大數(shù)據(jù)，電商

所謂通信，最簡單的理解，也是最基本的理解，就是人與人溝通的方法。無論是現(xiàn)在的電話，還是網(wǎng)絡(luò)，解決的最基本的問題，實(shí)際還是人與人的溝通。現(xiàn)代通信技術(shù)，就是隨著科技的不斷發(fā)展，如何采用最新的技術(shù)來不斷優(yōu)化通信的各種方式，讓人與人的溝通變得更為便捷，有效。隨著計算機(jī)技術(shù)的廣泛普及與計算機(jī)遠(yuǎn)程信息處理應(yīng)用的發(fā)展，云計算和大數(shù)據(jù)應(yīng)運(yùn)而生。、一、大數(shù)據(jù)的介紹

大數(shù)據(jù)（Big Data)，或稱巨量資料，指的是所涉及的資料量規(guī)模巨大到無法通過目前主流軟件工具，在合理時間內(nèi)達(dá)到擷取、管理、處理、并整理成為幫助企業(yè)經(jīng)營決策更積極目的的資訊(在維克托·邁爾-舍恩伯格及肯尼斯·庫克耶編寫的《大數(shù)據(jù)時代》中大數(shù)據(jù)指不用隨機(jī)分析法（抽樣調(diào)查）這樣的捷徑，而采用所有數(shù)據(jù)的方法）。大數(shù)據(jù)可分成大數(shù)據(jù)技術(shù)、大數(shù)據(jù)工程、大數(shù)據(jù)科學(xué)和大數(shù)據(jù)應(yīng)用等領(lǐng)域，目前人們談?wù)撟疃嗟氖谴髷?shù)據(jù)技術(shù)和大數(shù)據(jù)應(yīng)用。大數(shù)據(jù)技術(shù)的戰(zhàn)略意義不在于掌握龐大的數(shù)據(jù)信息，而在于對這些含有意義的數(shù)據(jù)進(jìn)行專業(yè)化處理。換言之，如果把大數(shù)據(jù)比作一種產(chǎn)業(yè)，那么這種產(chǎn)業(yè)實(shí)現(xiàn)盈利的關(guān)鍵，在于提高對數(shù)據(jù)的“加工能力”，通過“加工”實(shí)現(xiàn)數(shù)據(jù)的“增值”。從技術(shù)上看，大數(shù)據(jù)與云計算的關(guān)系就像一枚硬幣的正反面一樣密不可分。大數(shù)據(jù)必然無法用單臺的計算機(jī)進(jìn)行處理，必須采用分布式計算架構(gòu)。它的特色在于對海量數(shù)據(jù)的挖掘，但它必須依托云計算的分布式處理、分布式數(shù)據(jù)庫、云存儲和或虛擬化技術(shù)。

二、云計算的介紹

云計算是一種基于互聯(lián)網(wǎng)的計算方式，通過這種方式，共享的軟硬件資源和信息可以按需求提供給計算機(jī)和其他設(shè)備。云是網(wǎng)絡(luò)、互聯(lián)網(wǎng)的一種比喻說法。過去在圖中往往用云來表示電信網(wǎng)，后來也用來表示互聯(lián)網(wǎng)和底層基礎(chǔ)設(shè)施的抽象。幾年之內(nèi),云計算已從新興技術(shù)發(fā)展成為當(dāng)今的熱點(diǎn)技術(shù)。云計算從節(jié)約成本的工具到盈利的推動器，從ISP（網(wǎng)絡(luò)服務(wù)提供商）到電信企業(yè)，已然成功地從內(nèi)置的IT 系統(tǒng)演變成公共的服務(wù)。然而人們擔(dān)心他們在云端的數(shù)據(jù)安全。正因為此，用戶應(yīng)該期待看到更安全的應(yīng)用程序和技術(shù)上來。許多新的加密技術(shù)，安全協(xié)議，在未來會越來越多的呈現(xiàn)出來。其中的安全性和遵從性的問題仍然是阻礙云計算發(fā)展的重要原因。三、二者聯(lián)系和安全策略

近幾年由于科技的不斷發(fā)展，3G網(wǎng)絡(luò)視頻通話，移動互聯(lián)網(wǎng)、物聯(lián)網(wǎng)、智能手機(jī)，這些科技產(chǎn)品都一一涌現(xiàn)，充斥著我們的生活，確實(shí)互聯(lián)網(wǎng)給我們的生活帶來了方便，但同時惡意軟件，黑客入侵電腦，這些人為的破壞，也影響著個人或者企業(yè)的信息安全。在這個時候新技術(shù)云計算的出現(xiàn)，就給傳統(tǒng)互聯(lián)網(wǎng)信息安全帶來了希望，但同時也面臨解決新的安全挑戰(zhàn)。

多種方式應(yīng)對云計算安全挑戰(zhàn)—云計算給信息安全帶來的挑戰(zhàn)包括：第一，傳統(tǒng)安全產(chǎn)品無法應(yīng)對云計算環(huán)境下的網(wǎng)絡(luò)結(jié)構(gòu)和協(xié)議。在云計算環(huán)境中，可能前端的Web服務(wù)器和后端的數(shù)據(jù)庫都處在一個物理服務(wù)器上，這樣它們之間的網(wǎng)絡(luò)交互直接用虛擬交換機(jī)就可以了，數(shù)據(jù)根本不經(jīng)過物理交換機(jī)，如果不到物理交換機(jī)，則信息安全設(shè)備拿不到它的數(shù)據(jù)，導(dǎo)致對其訪問控制、審計、攻擊的檢測，都沒辦法實(shí)現(xiàn)。第二，云計算技術(shù)特性帶來一些新的安全需求。云安全架構(gòu)的一個關(guān)鍵特點(diǎn)是云服務(wù)提供商所在的等級越低，云服務(wù)用戶自己所要承擔(dān)的安全能力和管理職責(zé)就越多。數(shù)據(jù)安全包括：數(shù)據(jù)傳輸、數(shù)據(jù)隔離、數(shù)據(jù)殘留。應(yīng)用安全包括：終端用戶安全、SaaS安全、PaaS安全、IaaS安全。虛擬化安全包括：虛擬化軟件、虛擬服務(wù)器等。第三，云計算環(huán)境對安全產(chǎn)品的計算性能提出了非常大的挑戰(zhàn)。目前保護(hù)信息安全產(chǎn)品的性能已經(jīng)遠(yuǎn)遠(yuǎn)落后于網(wǎng)絡(luò)設(shè)備。大數(shù)據(jù)將會化解APT(高級持續(xù)威脅)危機(jī)—近一兩年，APT攻擊是非常熱門的話題。簡單的說就是黑客組織針對一個有價值的目標(biāo)，進(jìn)行長期、緩慢的，但是非常有技術(shù)含量的攻擊。我們知道未來大數(shù)據(jù)和云計算將推動下一代安全數(shù)據(jù)的創(chuàng)新。大數(shù)據(jù)和云計算擴(kuò)展了整個IT領(lǐng)域的計算和存儲資源，給信息安全提供了信息平臺和大數(shù)據(jù)處理的技術(shù)支撐，為整個信息安全產(chǎn)品的革新創(chuàng)造了一個更大的可能性。其中數(shù)據(jù)加密就是對數(shù)據(jù)信息的重新組合，只有在收發(fā)雙方的基礎(chǔ)上才能夠還原網(wǎng)絡(luò)信息，數(shù)據(jù)加密技術(shù)能夠確保校園網(wǎng)內(nèi)部信息數(shù)據(jù)的安全性與完整性，并具有一定的保密作用，從某種意義上來說它是其他安全技術(shù)的基本保證，經(jīng)過加密的網(wǎng)絡(luò)數(shù)據(jù)能夠確保數(shù)據(jù)在收錄、傳輸、使用及轉(zhuǎn)換中不被第三方得知數(shù)據(jù)信息內(nèi)容。

綜上所述：大數(shù)據(jù)是本，云計算是術(shù)，移動互聯(lián)網(wǎng)是用。三者緊密結(jié)合在一起才能讓整個信息安全系統(tǒng)更有效的服務(wù)現(xiàn)代人們的生活。在大數(shù)據(jù)環(huán)境下，即高流量、巨大海量數(shù)據(jù)、高可靠性。更多需要通過檢測、分析、發(fā)現(xiàn)及預(yù)警的安全保障體系，實(shí)現(xiàn)可靠性、可用性與安全性的完美結(jié)合；利用大數(shù)據(jù)分析，可提前、精確、有效地發(fā)現(xiàn)已知或未知的安全威脅；可實(shí)現(xiàn)數(shù)據(jù)訪問的記錄、分析及取證；可實(shí)現(xiàn)有效、精確地發(fā)現(xiàn)隱私數(shù)據(jù)的檢測分析與防護(hù)。安全檢測與大數(shù)據(jù)技術(shù)結(jié)合，利用云計算能力及大數(shù)據(jù)處理機(jī)制實(shí)現(xiàn)信息訪問和審計，安全威脅智能的發(fā)現(xiàn)，隱私數(shù)據(jù)的保護(hù)。

參考文獻(xiàn)：《大數(shù)據(jù)時代》--[英]維克托·邁爾-舍恩伯格（ViktorMayer-Sch?nberger）--浙江人民出版社

電子圖書：《云計算安全指南》--Ronald L.Krutz，Russell Dean Vines（著）張立強(qiáng)(譯)

姓名：孫飛龍

學(xué)號：12901337

學(xué)院：信息工程學(xué)院

第二篇：大數(shù)據(jù)與云計算論文

大數(shù)據(jù)與云計算

摘 要：大數(shù)據(jù)（Big Data）這個概念近年來在越來越多的場合、被越來越多的人提及，并且經(jīng)常和云計算聯(lián)系在一起，云計算與大數(shù)據(jù)之間到底是什么關(guān)系成為熱點(diǎn)話題。本

專題報告包含以下四個方面內(nèi)容：1.大數(shù)據(jù)的價值；2.大數(shù)據(jù)帶來的挑戰(zhàn);3.大數(shù)據(jù)研究成果；4.云計算是大數(shù)據(jù)挖掘的主流方式。通過本報告闡述我們對大數(shù)據(jù)的理解，以及對大數(shù)據(jù)的價值的認(rèn)識，探討大數(shù)據(jù)處理與挖掘技術(shù)，大數(shù)據(jù)主要著眼于“數(shù)據(jù)”，提供數(shù)據(jù)采集、挖掘、分析的技術(shù)和方法;云計算技術(shù)主要關(guān)注“計算”，提供IT 解決方案。大數(shù)據(jù)、云計算技術(shù)可以促進(jìn)持續(xù)審計方式的發(fā)展、總體審計模式的應(yīng)用、審計成果的綜合應(yīng)用、相關(guān)關(guān)系證據(jù)的應(yīng)用、高效數(shù)據(jù)審計的發(fā)展和大數(shù)據(jù)審計師的發(fā)展。強(qiáng)化大數(shù)據(jù)、云計算技術(shù)審計應(yīng)用的措施包括制定長遠(yuǎn)發(fā)展戰(zhàn)略、加快審計法規(guī)建設(shè)、建立行業(yè)平臺、加強(qiáng)研發(fā)和提高利用能力。關(guān)鍵詞：大數(shù)據(jù) 云計算 數(shù)據(jù)挖掘 對審計影響 政策建議 引言

目前，大數(shù)據(jù)伴隨著云計算技術(shù)的發(fā)展，正在對全球經(jīng)濟(jì)社會生活產(chǎn)生巨大的影響。大數(shù)據(jù)、云計算技術(shù)給現(xiàn)代審計提供了新的技術(shù)和方法，要求審計組織和審計人員把握大數(shù)據(jù)、云計算技術(shù)的內(nèi)容與特征，促進(jìn)現(xiàn)代審計技術(shù)和方法的進(jìn)一步發(fā)展。

一、大數(shù)據(jù)、云計算的涵義與特征

隨著云計算技術(shù)的出現(xiàn)，大數(shù)據(jù)吸引了全世界越來越多的關(guān)注。哈佛大學(xué)社會學(xué)教授加里·金(2012)說: “這是一場革命，龐大的數(shù)據(jù)資源使得各個領(lǐng)域開始了量化進(jìn)程，無論學(xué)術(shù)界、商界還是政府，所有領(lǐng)域都將開始這種進(jìn)程。”(一)大數(shù)據(jù)的涵義與特征

“數(shù)據(jù)”(data)這個詞在拉丁文里是“已知”的意思，也可以理解為“事實(shí)”。2009 年，“大數(shù)據(jù)”概念才逐漸開始在社會上傳播。而“大數(shù)據(jù)”概念真正變得火爆，卻是因為美國奧巴馬政府在2012 年高調(diào)宣布了其“大數(shù)據(jù)研究和開發(fā)計劃”。這標(biāo)志著“大數(shù)據(jù)”時代真正開始進(jìn)入社會經(jīng)濟(jì)生活中來了。“大數(shù)據(jù)”(big data)，或稱巨量資料，指的是所涉及的數(shù)據(jù)量規(guī)模大到無法利用現(xiàn)行主流軟件工具，在一定的時間內(nèi)實(shí)現(xiàn)收集、分析、處理或轉(zhuǎn)化成為幫助決策者決策的可用信息。互聯(lián)網(wǎng)數(shù)據(jù)中心(IDC)認(rèn)為“大數(shù)據(jù)”是為了更經(jīng)濟(jì)、更有效地從高頻率、大容量、不同結(jié)構(gòu)和類型的數(shù)據(jù)中獲取價值而設(shè)計的新一代架構(gòu)和技術(shù)，用它來描述和定義信息爆炸時代產(chǎn)生的海量數(shù)據(jù)，并命名與之相關(guān)的技術(shù)發(fā)展與創(chuàng)新。大數(shù)據(jù)具有4 個特點(diǎn): 第一，數(shù)據(jù)體量巨大(Volume)，從TB 級別躍升到PB 級別。第二，處理速度快(Velocity)，這與傳統(tǒng)的數(shù)據(jù)挖掘技術(shù)有著本質(zhì)的不同。第三，數(shù)據(jù)種類多(Variety)，有圖片、地理位置信息、視頻、網(wǎng)絡(luò)日志等多種形式。第四，價值密度低，商業(yè)價值高(Value)。存在單一數(shù)據(jù)的價值并不大，但將相關(guān)數(shù)據(jù)聚集在一起，就會有很高的商業(yè)價值(金良，2012)。大數(shù)據(jù)時代，不僅改變了傳統(tǒng)的數(shù)據(jù)采集、處理和應(yīng)用技術(shù)與方法，還促使人們思維方式的改變。大數(shù)據(jù)的精髓在于促使人們在采集、處理和使用數(shù)據(jù)時思維的轉(zhuǎn)變，這些轉(zhuǎn)變將改變?nèi)藗兝斫夂脱芯可鐣?jīng)濟(jì)現(xiàn)象的技術(shù)和方法。

(1)是在大數(shù)據(jù)時代，不依賴抽樣分析，而可以采集和處理事物整體的全部數(shù)據(jù)。19 世紀(jì)以來，當(dāng)面臨大的樣本量時，人們都主要依靠抽樣來分析總體。但是，抽樣技術(shù)是在數(shù)據(jù)缺乏和取得數(shù)據(jù)受限制的條件下不得不采用的一種方法，這其實(shí)是一種人為的限制。過去，因為記錄、儲存和分析數(shù)據(jù)的工具不夠科學(xué)，只能收集少量數(shù)據(jù)進(jìn)行分析。如今，科學(xué)技術(shù)條件已經(jīng)有了很大的提高，雖然人類可以處理的數(shù)據(jù)依然是有限的，但是可以處理的數(shù)據(jù)量已經(jīng)大量增加，而且未來會越來越多。隨著大數(shù)據(jù)分析取代抽樣分析，社會科學(xué)不再單純依賴于抽樣調(diào)查和分析實(shí)證數(shù)據(jù)，現(xiàn)在可以收集過去無法收集到的數(shù)據(jù)，更重要的是，現(xiàn)在可以不再依賴抽樣分析。

(2)是在大數(shù)據(jù)時代，不再熱衷于追求數(shù)據(jù)的精確度，而是追求利用數(shù)據(jù)的效率。當(dāng)測量事物的能力受限制時，關(guān)注的是獲取最精確的結(jié)果。但是，在大數(shù)據(jù)時代，追求精確度已經(jīng)既無必要又不可行，甚至變得不受歡迎。大數(shù)據(jù)紛繁多樣，優(yōu)劣摻雜，精準(zhǔn)度已不再是分析事物總體的主要手段。擁有了大數(shù)據(jù)，不再需要對一個事物的現(xiàn)象深究，只要掌握事物的大致發(fā)展趨勢即可，更重要的是追求數(shù)據(jù)的及時性和使用效率。與依賴于小數(shù)據(jù)和精確性的時代相比較，大數(shù)據(jù)更注重數(shù)據(jù)的完整性和混雜性，幫助人們進(jìn)一步認(rèn)識事物的全貌和真相。

(3)是在大數(shù)據(jù)時代，人們難以尋求事物直接的因果關(guān)系，而是深入認(rèn)識和利用事物的相關(guān)關(guān)系。長期以來，尋找因果關(guān)系是人類發(fā)展過程中形成的傳統(tǒng)習(xí)慣。尋求因果關(guān)系即使很困難且用途不大，但人們無法擺脫認(rèn)識的傳統(tǒng)思維。在大數(shù)據(jù)時代，人們不必將主要精力放在事物之間因果關(guān)系的分析上，而是將主要精力放在尋找事物之間的相關(guān)關(guān)系上。事物之間的相關(guān)關(guān)系可能不會準(zhǔn)確地告知事物發(fā)生的內(nèi)在原因，但是它會提醒人們事情之間的相互聯(lián)系。人們可以通過找到一個事物的良好相關(guān)關(guān)系，幫助其捕捉到事物的現(xiàn)在和預(yù)測未來。(二)云計算的涵義與特征

“云計算”概念產(chǎn)生于谷歌和IBM 等大型互聯(lián)網(wǎng)公司處理海量數(shù)據(jù)的實(shí)踐。2006 年8 月9 日，Google首席執(zhí)行官埃里克·施密特(Eric Schmidt)在搜索引擎大會首次提出“云計算”的概念。2007 年10 月，Google 與IBM 開始在美國大學(xué)校園推廣云計算技術(shù)的計劃，這項計劃希望能降低分布式計算技術(shù)在學(xué)術(shù)研究方面的成本，并為這些大學(xué)提供相關(guān)的軟硬件設(shè)備及技術(shù)支持(Michael Mille，2009)。目前全世界關(guān)于“云計算”的定義有很多。“云計算”是基于互聯(lián)網(wǎng)的相關(guān)服務(wù)的增加、使用和交付模式，是通過互聯(lián)網(wǎng)來提供動態(tài)易擴(kuò)展且經(jīng)常是虛擬化的資源。美國國家標(biāo)準(zhǔn)技術(shù)研究院(NIST)2009年關(guān)于云計算的定義是: “云計算是一種按使用量付費(fèi)的模式，這種模式提供可用的、便捷的、按需的網(wǎng)絡(luò)訪問，進(jìn)入可配置的計算資源共享池(資源包括網(wǎng)絡(luò)、服務(wù)器、存儲、應(yīng)用軟件、服務(wù)等)，這些資源能夠被快速提供，只需投入很少的管理工作，或與服務(wù)供應(yīng)商進(jìn)行很少的交互。”根據(jù)這一定義，云計算的特征主要表現(xiàn)為: 首先，云計算是一種計算模式，具有時間和網(wǎng)絡(luò)存儲的功能。其次，云計算是一條接入路徑，通過廣泛接入網(wǎng)絡(luò)以獲取計算能力，通過標(biāo)準(zhǔn)機(jī)制進(jìn)行訪問。第三，云計算是一個資源池，云計算服務(wù)提供商的計算資源，通過多租戶模式為不同用戶提供服務(wù)，并根據(jù)用戶的需求動態(tài)提供不同的物理的或虛擬的資源。第四，云計算是一系列伸縮技術(shù)，在信息化和互聯(lián)網(wǎng)環(huán)境下的計算規(guī)模可以快速擴(kuò)大或縮小，計算能力可以快速、彈性獲得。第五，云計算是一項可計量的服務(wù)，云計算資源的使用情況可以通過云計算系統(tǒng)檢測、控制、計量，以自動控制和優(yōu)化資源使用。(三)大數(shù)據(jù)與云計算的關(guān)系

從整體上看，大數(shù)據(jù)與云計算是相輔相成的。大數(shù)據(jù)主要專注實(shí)際業(yè)務(wù)，著眼于“數(shù)據(jù)”，提供數(shù)據(jù)采集、挖掘、分析的技術(shù)和方法，強(qiáng)調(diào)的是數(shù)據(jù)存儲能力。云計算主要關(guān)注“計算”，關(guān)注IT 架構(gòu)，提供IT 解決方案，強(qiáng)調(diào)的是計算能力，即數(shù)據(jù)處理能力。如果沒有大數(shù)據(jù)的數(shù)據(jù)存儲，那么云計算的計算能力再強(qiáng)大，也難以找到用武之地;如果沒有云計算的數(shù)據(jù)處理能力，則大數(shù)據(jù)的數(shù)據(jù)存儲再豐富，也終究難以用于實(shí)踐中去。

從技術(shù)上看，大數(shù)據(jù)依賴于云計算。海量數(shù)據(jù)存儲技術(shù)、海量數(shù)據(jù)管理技術(shù)、MapＲeduce 編程模型都是云計算的關(guān)鍵技術(shù)，也都是大數(shù)據(jù)的技術(shù)基礎(chǔ)。而數(shù)據(jù)之所以會變“大”，最重要的便是云計算提供的技術(shù)平臺。數(shù)據(jù)被放到“云”上之后，打破了過去那種各自分割的數(shù)據(jù)存儲，更容易被收集和獲得，大數(shù)據(jù)才能呈現(xiàn)在人們眼前。而巨量的數(shù)據(jù)也只能依靠云計算強(qiáng)大的數(shù)據(jù)處理能力，才能夠“淘盡黃沙始得金”。

從側(cè)重點(diǎn)看，大數(shù)據(jù)與云計算的側(cè)重點(diǎn)不同。大數(shù)據(jù)的側(cè)重點(diǎn)是各種數(shù)據(jù)，廣泛、深入挖掘巨量數(shù)據(jù)，發(fā)現(xiàn)數(shù)據(jù)中的價值，迫使企業(yè)從“業(yè)務(wù)驅(qū)動”轉(zhuǎn)變?yōu)椤皵?shù)據(jù)驅(qū)動”。而云計算主要通過互聯(lián)網(wǎng)廣泛獲取、擴(kuò)展和管理計算及存儲資源和能力，其側(cè)重點(diǎn)是IT 資源、處理能力和各種應(yīng)用，以幫助企業(yè)節(jié)省IT部署成本。云計算使企業(yè)的IT 部門受益，而大數(shù)據(jù)使企業(yè)的業(yè)務(wù)管理部門受益。

從結(jié)果看，大數(shù)據(jù)與云計算帶來不同的變化。大數(shù)據(jù)對社會經(jīng)濟(jì)帶來的變化是巨大的，涉及到各個領(lǐng)域。大數(shù)據(jù)已經(jīng)與資本、人力一起作為生產(chǎn)的主要因素影響著社會經(jīng)濟(jì)的發(fā)展。數(shù)據(jù)創(chuàng)造價值，而挖掘數(shù)據(jù)價值、利用數(shù)據(jù)的“推動力”就是云計算。云計算將信息存儲、分享和挖掘能力極大提高，更經(jīng)濟(jì)、高效地將巨量、高速、多變的終端數(shù)據(jù)存儲下來，并隨時進(jìn)行計算與分析。通過云計算對大數(shù)據(jù)進(jìn)行分析、總結(jié)與預(yù)測，會使得決策更可靠，釋放出更多大數(shù)據(jù)的內(nèi)在價值。

二、大數(shù)據(jù)、云計算技術(shù)對審計的影響分析

審計技術(shù)和方法的發(fā)展是隨著科學(xué)和管理技術(shù)的發(fā)展而發(fā)展的。現(xiàn)代審計技術(shù)和方法體系是在原始的查賬基礎(chǔ)上從低級向高級、從不完備到比較完備發(fā)展起來的。在業(yè)務(wù)和會計處理手工操作階段，審計實(shí)施的是賬表導(dǎo)向的審計技術(shù)和方法;當(dāng)內(nèi)部控制理論和方法全面應(yīng)用于業(yè)務(wù)和會計處理時，審計實(shí)施的是系統(tǒng)導(dǎo)向的審計技術(shù)和方法;當(dāng)風(fēng)險管理理論和方法全面應(yīng)用于業(yè)務(wù)和財務(wù)管理時，審計實(shí)施的是風(fēng)險導(dǎo)向?qū)徲嫾夹g(shù)和方法;與風(fēng)險導(dǎo)向?qū)徲嫾夹g(shù)和方法并行的是，計算機(jī)技術(shù)廣泛應(yīng)用于業(yè)務(wù)和會計處理時，審計實(shí)施的是IT 審計技術(shù)和方法。目前，面對大數(shù)據(jù)、云計算技術(shù)的產(chǎn)生和發(fā)展，審計人員需要應(yīng)時而變來適應(yīng)由此而帶來的變化，分析大數(shù)據(jù)、云計算技術(shù)對審計方式、審計抽樣技術(shù)、審計報告模式、審計證據(jù)搜集等技術(shù)和方法的影響。(一)大數(shù)據(jù)、云計算技術(shù)促進(jìn)持續(xù)審計方式的發(fā)展

傳統(tǒng)審計中，審計人員只是在被審計單位業(yè)務(wù)完成后才進(jìn)行審計，而且審計過程中并不是審計所有的數(shù)據(jù)和信息，只是抽取其中有的一部分進(jìn)行審計。這種事后和有限的審計對被審計單位復(fù)雜的生產(chǎn)經(jīng)營和管理系統(tǒng)來說很難及時做出正確的評價，而且對于評價日益頻繁和復(fù)雜的經(jīng)營管理活動的真實(shí)性和合法性則顯得過于遲緩。隨著信息技術(shù)迅速發(fā)展，越來越多的審計組織對被審計單位開始實(shí)施持續(xù)審計方式，以解決審計結(jié)果與經(jīng)濟(jì)活動的時差問題。但是，審計人員實(shí)施持續(xù)審計時，往往受目前業(yè)務(wù)條件和信息化手段的限制，取得的非結(jié)構(gòu)化數(shù)據(jù)無法數(shù)據(jù)化，或者無法取得相關(guān)的明細(xì)數(shù)據(jù)，致使對問題的判斷也難以進(jìn)一步具體和深入。而大數(shù)據(jù)、云計算技術(shù)可以促進(jìn)持續(xù)審計方式的發(fā)展，使信息技術(shù)與大數(shù)據(jù)、云計算技術(shù)較好交叉融合，尤其對業(yè)務(wù)數(shù)據(jù)和風(fēng)險控制“實(shí)時性”要求較高的特定行業(yè)，如銀行、證券、保險等行業(yè)，在這些行業(yè)中實(shí)施持續(xù)審計迫在眉睫。如審計組織對商業(yè)銀行的審計，實(shí)行與商業(yè)銀行建立業(yè)務(wù)和數(shù)據(jù)系統(tǒng)的接口，在開發(fā)的持續(xù)審計系統(tǒng)中固化了非結(jié)構(gòu)化數(shù)據(jù)結(jié)構(gòu)化和數(shù)據(jù)分析模塊，該模塊可以在海量貸款客戶中挖掘、分析出行業(yè)性和區(qū)域性貸款風(fēng)險趨勢，實(shí)現(xiàn)在線的風(fēng)險預(yù)警，并將發(fā)現(xiàn)的風(fēng)險數(shù)據(jù)、超預(yù)警值指標(biāo)及問題登記為疑點(diǎn)，并建立實(shí)時審計工作底稿，按照重要程度進(jìn)行歸類、核實(shí)或下發(fā)給現(xiàn)場審計人員進(jìn)行現(xiàn)場核實(shí)，以較好處理非結(jié)構(gòu)化數(shù)據(jù)的利用和數(shù)據(jù)的實(shí)時分析利用問題。(二)大數(shù)據(jù)、云計算技術(shù)促進(jìn)總體審計模式的應(yīng)用

現(xiàn)時的審計模式是在評價被審計單位風(fēng)險基礎(chǔ)上實(shí)施抽樣審計。在不可能收集和分析被審計單位全部經(jīng)濟(jì)業(yè)務(wù)數(shù)據(jù)的情況下，現(xiàn)時的審計模式主要依賴于審計抽樣，從局部入手推斷整體，即從抽取的樣本著手進(jìn)行審計，再據(jù)此推斷審計對象的整體情況。這種抽樣審計模式，由于抽取樣本的有限性，而忽視了大量和具體的業(yè)務(wù)活動，使審計人員無法完全發(fā)現(xiàn)和揭示被審計單位的重大舞弊行為，隱藏著重大的審計風(fēng)險。而大數(shù)據(jù)、云計算技術(shù)對審計人員而言，不僅僅是一種可供采用的技術(shù)手段，這些技術(shù)和方法將給審計人員提供實(shí)施總體審計模式的可行性。利用大數(shù)據(jù)、云計算技術(shù)，對數(shù)據(jù)的跨行業(yè)、跨企業(yè)搜集和分析，可以不用隨機(jī)抽樣方法，而采用搜集和分析被審計單位所有數(shù)據(jù)的總體審計模式。利用大數(shù)據(jù)、云計算技術(shù)的總體審計模式是要分析與審計對象相關(guān)的所有數(shù)據(jù)，使得審計人員可以建立總體審計的思維模式，可以使現(xiàn)代審計獲得革命性的變化。審計人員實(shí)施總體審計模式，可以規(guī)避審計抽樣風(fēng)險。如果能夠收集總體的所有數(shù)據(jù)，就能看到更細(xì)微、深入的信息，對數(shù)據(jù)進(jìn)行多角度的深層次分析，從而發(fā)現(xiàn)隱藏在細(xì)節(jié)數(shù)據(jù)中的對審計問題更具價值的信息。同時，審計人員實(shí)施總體審計模式，能發(fā)現(xiàn)從審計抽樣模式所不能發(fā)現(xiàn)的問題。大數(shù)據(jù)、云計算技術(shù)給審計人員提供了一種能夠從總體把握審計對象的技術(shù)手段，從而幫助審計人員能從總體的視角發(fā)現(xiàn)以前難以發(fā)現(xiàn)的問題。

(三)大數(shù)據(jù)、云計算技術(shù)促進(jìn)審計成果的綜合應(yīng)用

目前，審計人員的審計成果主要是提供給被審計單位的審計報告，其格式固定，內(nèi)容單一，包含的信息量較少。隨著大數(shù)據(jù)、云計算技術(shù)在審計中廣泛應(yīng)用，審計人員的審計成果除了審計報告外，還有在審計過程中采集、挖掘、分析和處理的大量的資料和數(shù)據(jù)，可以提供給被審計單位用于改進(jìn)經(jīng)營管理，促進(jìn)審計成果的綜合應(yīng)用，提高審計成果的綜合應(yīng)用效果。首先，審計人員通過對審計中獲取的大量數(shù)據(jù)和相關(guān)情況資料的匯總、歸納，從中找出財務(wù)、業(yè)務(wù)和經(jīng)營管理等方面的內(nèi)在規(guī)律、共性問題和發(fā)展趨勢，通過匯總歸納宏觀性和綜合性較強(qiáng)的審計信息，為被審計單位投資者和其他利益相關(guān)者提供數(shù)據(jù)證明、關(guān)聯(lián)分析和決策建議，從而促進(jìn)被審計單位管理水平的提高。其次，審計人員通過應(yīng)用大數(shù)據(jù)、云計算技術(shù)，可以將同一問題歸入不同的類別進(jìn)行分析和處理，從不同的角度、不同的層面整合提煉以滿足不同層次的需求。再次，審計人員將審計成果進(jìn)行智能化留存，通過大數(shù)據(jù)、云計算技術(shù)，將問題規(guī)則化并固化到系統(tǒng)中，以便于計算或判斷問題發(fā)展趨勢，向被審計單位進(jìn)行預(yù)警。最后。審計人員將審計成果、被審計單位與審計問題進(jìn)行關(guān)聯(lián)，并進(jìn)行信息化處理，在進(jìn)行下次審計時，減少實(shí)地審計的時間和工作量，提高審計工作的效率。(四)大數(shù)據(jù)、云計算技術(shù)促進(jìn)相關(guān)關(guān)系證據(jù)的應(yīng)用

審計人員在審計過程中，應(yīng)根據(jù)充分、適當(dāng)?shù)膶徲嬜C據(jù)發(fā)表審計意見，出具審計報告。但是，在大數(shù)據(jù)、云計算環(huán)境下，審計人員既面臨巨量數(shù)據(jù)篩選的考驗，又面臨搜集適當(dāng)審計證據(jù)的挑戰(zhàn)。審計人員在搜集審計證據(jù)時，傳統(tǒng)的思維路徑都是基于因果關(guān)系來搜集審計證據(jù)，而大數(shù)據(jù)分析將會更多地運(yùn)用相關(guān)關(guān)系分析來搜集和發(fā)現(xiàn)審計證據(jù)。但從審計證據(jù)發(fā)現(xiàn)的角度來看，由于大數(shù)據(jù)技術(shù)提供了前所未有的跨領(lǐng)域、可供量化的維度，使得審計問題大量的相關(guān)信息能夠得以記錄和計算分析。大數(shù)據(jù)、云計算技術(shù)沒有改變事物間的因果關(guān)系，但在大數(shù)據(jù)、云計算技術(shù)中對相關(guān)關(guān)系的開發(fā)和利用，使得數(shù)據(jù)分析對因果邏輯關(guān)系的依賴降低了，甚至更多地傾向于應(yīng)用基于相關(guān)關(guān)系的數(shù)據(jù)分析，以相關(guān)關(guān)系分析為基礎(chǔ)的驗證是大數(shù)據(jù)、云計算技術(shù)的一項重要特征。在大數(shù)據(jù)、云計算技術(shù)環(huán)境下，審計人員能搜集到的審計證據(jù)大多是電子證據(jù)(秦榮生，2013)。電子證據(jù)本身就非常復(fù)雜，云計算技術(shù)使獲取有因果關(guān)系的證據(jù)更加困難。審計人員應(yīng)從長期依賴因果關(guān)系來搜集和發(fā)現(xiàn)審計證據(jù)，轉(zhuǎn)變成為利用相關(guān)關(guān)系來搜集和發(fā)現(xiàn)審計證據(jù)。(五)大數(shù)據(jù)、云計算技術(shù)促進(jìn)高效數(shù)據(jù)審計的發(fā)展

直到今天，審計人員的數(shù)字審計技術(shù)依然建立在精準(zhǔn)的基礎(chǔ)上。這種思維方式適用于掌握“小數(shù)據(jù)量”的情況，因為需要分析的數(shù)據(jù)很少，所以審計人員必須盡可能精準(zhǔn)地量化被審計單位的業(yè)務(wù)。隨著大數(shù)據(jù)、云計算技術(shù)成為日常生活中的一部分，審計人員應(yīng)開始從一個比以前更大、更全面的角度來理解被審計單位，將“樣本= 總體”植入審計人員的思維中。相比依賴于小數(shù)據(jù)和精確性的時代，大數(shù)據(jù)更強(qiáng)調(diào)數(shù)據(jù)的完整性和混雜性，幫助審計人員進(jìn)一步接近事情的真相，“局部”和“精確”將不再是審計人員追求的目標(biāo)，審計人員追求的是事物的“全貌”和“高效”。圍繞大數(shù)據(jù)，一批新興的數(shù)據(jù)挖掘、數(shù)據(jù)存儲、數(shù)據(jù)處理與分析技術(shù)將不斷涌現(xiàn)。在實(shí)施審計時，審計人員應(yīng)利用大數(shù)據(jù)、云計算技術(shù)，使用分布式拓樸結(jié)構(gòu)、云數(shù)據(jù)庫、聯(lián)網(wǎng)審計、數(shù)據(jù)挖掘等新型的技術(shù)手段和工具，以提高審計的效率。

(六)大數(shù)據(jù)、云計算技術(shù)促進(jìn)大數(shù)據(jù)審計師的發(fā)展

大數(shù)據(jù)、云計算時代，數(shù)據(jù)的真實(shí)、可靠是大數(shù)據(jù)發(fā)揮作用的前提。這客觀上要求專業(yè)人員來對大數(shù)據(jù)的真實(shí)性、可靠性進(jìn)行鑒證，審計人員可以扮演這種角色，或者稱為數(shù)據(jù)審計師。能對大數(shù)據(jù)真實(shí)性、可靠性進(jìn)行鑒證的數(shù)據(jù)審計師應(yīng)該是計算機(jī)科學(xué)、數(shù)學(xué)、統(tǒng)計學(xué)和審計學(xué)領(lǐng)域的專家，他們應(yīng)有大數(shù)據(jù)分析和預(yù)測的評估能力。數(shù)據(jù)審計師應(yīng)恪守公正的立場和嚴(yán)守保密的原則，面對海量的數(shù)據(jù)和紛繁復(fù)雜的相關(guān)關(guān)系，選取分析和預(yù)測工具，以及解讀數(shù)據(jù)及數(shù)據(jù)計算結(jié)果是否真實(shí)、可靠。一旦出現(xiàn)爭議，數(shù)據(jù)審計師有權(quán)審查與分析結(jié)果相關(guān)的運(yùn)算法則、統(tǒng)計方法以及數(shù)據(jù)采集、挖掘和處理過程。數(shù)據(jù)審計師的出現(xiàn)是為滿足以市場為導(dǎo)向來解決數(shù)據(jù)真實(shí)性、可靠性問題的需求，這與20 世紀(jì)初期為了處理財務(wù)信息虛假而出現(xiàn)的審計人員一樣，都是為了滿足新需求而出現(xiàn)的。

三、大數(shù)據(jù)挖掘

數(shù)據(jù)的價值只有通過數(shù)據(jù)挖掘才能從低價值密度的數(shù)據(jù)中發(fā)現(xiàn)其潛在價值，而大數(shù)據(jù)挖掘技術(shù)的實(shí)現(xiàn)離不開云計算技術(shù)。在業(yè)界，全球著名的Google、EMC、惠普、IBM、微軟等互聯(lián)網(wǎng)公司都已經(jīng)意識到大數(shù)據(jù)挖掘的重要意義。上述IT 巨頭們紛紛通過收購大數(shù)據(jù)分析公司，進(jìn)行技術(shù)整合，希望從大數(shù)據(jù)中挖掘更多的商業(yè)價值。數(shù)據(jù)挖掘通常需要遍歷訓(xùn)練數(shù)據(jù)獲得相關(guān)的統(tǒng)計信息，用于求解或優(yōu)化模型參數(shù)，在大規(guī)模數(shù)據(jù)上進(jìn)行頻繁的數(shù)據(jù)訪問需要耗費(fèi)大量運(yùn)算時間。數(shù)據(jù)挖掘領(lǐng)域長期受益于并行算法和架構(gòu)的使用，使得性能逐漸提升。過去15 年來，效果尤其顯著。試圖將這些進(jìn)步結(jié)合起來，并且提煉。GPU平臺從并行上得到的性能提升十分顯著。這些GPU平臺由于采用并行架構(gòu)，使用并行編程方法，使得計算能力呈幾何級數(shù)增長。即便是圖形處理、游戲編程是公認(rèn)的復(fù)雜，它們也從并行化受益頗多。研究顯示數(shù)據(jù)挖掘、圖遍歷、有限狀態(tài)機(jī)是并行化未來的熱門方向。MapReduce 框架已經(jīng)被證明是提升GPU 運(yùn)行數(shù)據(jù)挖掘算法性能的重要工具。D.Luo 等提出一種非平凡的策略用來并行一系列數(shù)據(jù)挖掘與數(shù)據(jù)挖掘問題，包括一類分類SVM 和兩類分類SVM，非負(fù)最小二乘問題，及L1 正則化回歸（lasso）問題。由此得到的乘法算法，可以被直截了當(dāng)?shù)卦谌鏜apReduce 和CUDA 的并行計算環(huán)境中實(shí)現(xiàn)。K.Shim 在MapReduce 框架下，討論如何設(shè)計高M(jìn)apReduce 算法，對當(dāng)前一些基于MapReduce 的數(shù)據(jù)挖掘和數(shù)據(jù)挖掘算法進(jìn)行歸納總結(jié)，以便進(jìn)行大數(shù)據(jù)的分析。Junbo Zhang 等提出一種新的大數(shù)據(jù)挖掘技術(shù)，即利用MapRedue 實(shí)現(xiàn)并行的基于粗糙集的知識獲取算法，還提出了下一步的研究方向，即集中于用基于并行技術(shù)的粗糙集算法處理非結(jié)構(gòu)化數(shù)據(jù)。F.Gao 提出了一種新的近似算法使基于核的數(shù)據(jù)挖掘算法可以有效的處理大規(guī)模數(shù)據(jù)集。當(dāng)前的基于核的數(shù)據(jù)挖掘算法由于需要計算核矩陣面臨著可伸縮性問題，計算核矩陣需要O(N2)的時間和空間復(fù)雜度來計算和存儲。該算法計算核矩陣時大幅度降低計算和內(nèi)存開銷，而且并沒有明顯影響結(jié)果的精確度。此外，通過折中結(jié)果的一些精度可以控制近似水平。它獨(dú)立于隨后使用的數(shù)據(jù)挖掘算法并且可以被它們使用。為了闡明近似算法的效果，在其上開發(fā)了一個變種的譜聚類算法，此外設(shè)計了一個所提出算法的基于MapReduce 的實(shí)現(xiàn)。在合成和真實(shí)數(shù)據(jù)集上的實(shí)驗結(jié)果顯示，所提出的算法可以獲得顯著的時間和空間節(jié)省。Christian Kaiser 等還利用MapReduce 框架分布式實(shí)現(xiàn)了訓(xùn)練一系列核函數(shù)學(xué)習(xí)機(jī)，該方法適用于基于核的分類和回歸。Christian Kaiser 還介紹了一種擴(kuò)展版的區(qū)域到點(diǎn)建模方法，來適應(yīng)來自空間區(qū)域的大量數(shù)據(jù)。Yael Ben-Haim 研究了三種MapReduce 實(shí)現(xiàn)架構(gòu)下并行決策樹分類算法的設(shè)計, 并在Phoenix 共享內(nèi)存架構(gòu)上對SPRINT 算法進(jìn)行了具體的并行實(shí)現(xiàn)。F.Yan 考慮了潛在狄利克雷分配（LDA）的兩種推理方法——塌縮吉布斯采樣（collapsed Gibbssampling，CGS）和塌縮變分貝葉斯推理（collapsedvariational Bayesian，CVB）在GPU 上的并行化問題。為解決GPU 上的有限內(nèi)存限制問題，F(xiàn).Yan 提出一種能有效降低內(nèi)存開銷的新穎數(shù)據(jù)劃分方案。這種劃分方案也能平衡多重處理器的計算開銷，并能容易地避免內(nèi)存訪問沖突。他們使用數(shù)據(jù)流來處理超大的數(shù)據(jù)集。大量實(shí)驗表明F.Yan 的并行推理方法得到的LDA 模型一貫地具有與串行推理方法相同的預(yù)測能力；但在一個有30 個多核處理器的GPU 上，CGS 方法得到了26倍的加速，CVB 方法得到了196 倍的加速。他們提出的劃分方案和數(shù)據(jù)流方式使他們的方法在有更多多重處理器時可伸縮，而且可被作為通用技術(shù)來并行其它數(shù)據(jù)挖掘模型。Bao-Liang Lu 提出了一種并行的支持向量機(jī)，稱為最小最大模塊化網(wǎng)絡(luò)(M3)，它是基“分而治之”的思想解決大規(guī)模問題的有效的學(xué)習(xí)算法。針對異構(gòu)云中進(jìn)行大數(shù)據(jù)分析服務(wù)的并行化問題G.Jung 提出了最大覆蓋裝箱算法來決定系統(tǒng)中多少節(jié)點(diǎn)、哪些節(jié)點(diǎn)應(yīng)該應(yīng)用于大數(shù)據(jù)分析的并行執(zhí)行。這種方法可以使大數(shù)據(jù)進(jìn)行分配使得各個計算節(jié)點(diǎn)可以同步的結(jié)束計算，并且使數(shù)據(jù)塊的傳輸可以和上一個塊的計算進(jìn)行重疊來節(jié)省時間。實(shí)驗表明，這種方法比其他的方法可以提高大約60% 的性能。在分布式系統(tǒng)方面，Cheng 等人 提出一個面向大規(guī)模可伸縮數(shù)據(jù)分析的可伸縮的分布式系統(tǒng)——GLADE。GLADE 通過用戶自定義聚合（UDA）接口并且在輸入數(shù)據(jù)上有效地運(yùn)行來進(jìn)行數(shù)據(jù)分析。文章從兩個方面來論證了系統(tǒng)的有效性。第一，文章展示了如何使用一系列分析功能來完成數(shù)據(jù)處理。第二，文章將GLADE 與兩種不同類型的系統(tǒng)進(jìn)行比較：一個用UDA 進(jìn)行改良的關(guān)系型數(shù)據(jù)庫（PostgreSQL）和MapReduce(Hadoop)。然后從運(yùn)行結(jié)果、伸縮性以及運(yùn)行時間上對不同類型的系統(tǒng)進(jìn)行了比較。

四、總結(jié) 大數(shù)據(jù)的超大容量自然需要容量大，速度快，安全的存儲，滿足這種要求的存儲離不開云計算。高速產(chǎn)生的大數(shù)據(jù)只有通過云計算的方式才能在可等待的時間內(nèi)對其進(jìn)行處理。同時，云計算是提高對大數(shù)據(jù)的分析與理解能力的一個可行方案。大數(shù)據(jù)的價值也只有通

過數(shù)據(jù)挖掘才能從低價值密度的數(shù)據(jù)中發(fā)現(xiàn)其潛在價值，而大數(shù)據(jù)挖掘技術(shù)的實(shí)現(xiàn)離不開云計算技術(shù)。總之，云計算是大數(shù)據(jù)處理的核心支撐技術(shù)，是大數(shù)據(jù)挖掘的主流方式。沒有互聯(lián)網(wǎng)，就沒有虛擬化技術(shù)為核心的云計算技術(shù)，沒有云計算就沒有大數(shù)據(jù)處理的支撐技術(shù)。

參考文獻(xiàn)

秦榮生.大數(shù)據(jù)、云計算技術(shù)對審計的影響研究 何清.大數(shù)據(jù)與云計算

張為民.云計算: 深刻改變未來

文峰.云計算與云審計———關(guān)于未來審計的概念與框架的一些思考

Big data and cloud computing Big Data(Big Data)in recent years, more and more occasions, the concept is mentioned more and more people, And often, and cloud computing together, what is the relationship between cloud computing and big data become a hot topic.this Special report contains the following four aspects: 1.The value of big data;2.Big data challenge;3.Big data research;4.Cloud computing is the mainstream way of data mining.Through this report on our understanding of big data, as well as the understanding of the value of big data, large data processing and mining technology, large data mainly focus on “data”, provide the technology and methods of data collection, mining and analysis;Cloud computing technology focusing on “computing”, providing IT solutions.Big data and cloud computing technology can promote the development of continuous audit mode, the overall audit mode of application, the audit results of comprehensive application, the application of related evidence, the development of efficient data audit and the development of large data auditor.Strengthen big data and cloud computing technology measures of audit applications include set up long-term development strategy, accelerate the construction of the audit regulations, establish a platform, to strengthen research and development and improve the utilization ability.Keywords: big data cloud computing data mining impact on the audit policy Suggestions

第三篇：新技術(shù)—云計算與大數(shù)據(jù)

云計算與大數(shù)據(jù)

大數(shù)據(jù)時代已經(jīng)悄然到來，如何應(yīng)對大數(shù)據(jù)時代所帶來的挑戰(zhàn)與機(jī)遇，是我們當(dāng)代大學(xué)生特別是我們計算機(jī)專業(yè)學(xué)生的一個必須面對的嚴(yán)峻課題。在這次課上通過陶老師的講解以及在課后查閱相關(guān)資料，我了解到什么是大數(shù)據(jù)，什么是云計算，它們都有什么用處，有什么關(guān)系。

近幾年，云計算和大數(shù)據(jù)的概念受到了學(xué)術(shù)界、商界、甚至政府的熱傳，一時間云計算無處不在。秉承著“按需服務(wù)”理念的云計算正高速發(fā)展，“數(shù)據(jù)即資源”的“大數(shù)據(jù)”時代已經(jīng)來臨。大數(shù)據(jù)利用對數(shù)據(jù)處理的實(shí)時性、有效性提出來更高要求，需要根據(jù)大數(shù)據(jù)特點(diǎn)對傳統(tǒng)的常規(guī)數(shù)據(jù)處理技術(shù)進(jìn)行變革，形成適用于大數(shù)據(jù)收集、存儲、管理、處理、分析、共享和可視化的技術(shù)。大數(shù)據(jù)的規(guī)模效應(yīng)給數(shù)據(jù)存儲和管理以及數(shù)據(jù)分析帶來了極大的挑戰(zhàn)。

一、云計算概念

在課后，經(jīng)過翻閱各種資料，了解到狹義的云計算是指IT基礎(chǔ)設(shè)施的交付和使用模式。指通過網(wǎng)絡(luò)以按需、易擴(kuò)展的方式獲得所需的資源；廣義的云計算是指服務(wù)的交付和使用模式，指通過網(wǎng)絡(luò)以按需、易擴(kuò)展的方式獲得所需的服務(wù)，這種服務(wù)可以是IT和軟件、互聯(lián)網(wǎng)相關(guān)的，也可以是任意其他的服務(wù)，它具有超大規(guī)模、虛擬化、可靠安全等獨(dú)特功能。通俗的理解是，云計算的“云”就是存在于互聯(lián)網(wǎng)上的服務(wù)器集群上的資源，它包括硬件資源和軟件資源，本地計算機(jī)只需要通過互聯(lián)網(wǎng)發(fā)送一個需求信息，遠(yuǎn)端就會有成千上萬的計算機(jī)為你提供需要的資源并將結(jié)果返回到本地計算機(jī)。這樣，本地計算機(jī)幾乎不需要做什么，所有的處理都在云計算提供商所提供的計算機(jī)群體來完成。

Kevin Hartig：云是一個龐大的資源地，你按需購買；云是虛擬化的；云可以像自來水、電、煤氣那樣計費(fèi)。

Jan Pritzker：云計算是用戶友好的網(wǎng)絡(luò)計算。

云計算，它是基于數(shù)據(jù)中心，強(qiáng)調(diào)性價比、效率、可行性的服務(wù)運(yùn)營模式，這是提高高端計算利用率，同時提升低端計算事物處理能力，我們不關(guān)注本身計算機(jī)的能力，更多提供給后臺，由于后臺強(qiáng)大的處理能力完成。

二、云計算部署模式

根據(jù)云計算服務(wù)對象范圍的不同，云計算有四種部署模式：私有云、社區(qū)云、公有云和混合云。私有云是由一個用戶組織（例如政府、軍隊、企業(yè)）建立運(yùn)維的云計算平臺，專供組織內(nèi)部人員使用，不提供對外服務(wù)。社區(qū)云也稱機(jī)構(gòu)云，云基礎(chǔ)設(shè)施由多個組織共同提供，平臺由多個組織共同管理。社區(qū)云被一些組織共享，為一個有共同關(guān)注點(diǎn)的社區(qū)或大機(jī)構(gòu)提供服務(wù)。公有云的基礎(chǔ)設(shè)施由一個提供云計算服務(wù)的大型運(yùn)營商組織建立和運(yùn)維，該運(yùn)營組織一般是擁有大量計算資源的IT巨頭，這些IT公司將云計算服務(wù)以“按需購買”的方式銷售給一般用戶或中小企業(yè)群體。用戶只需將請求提交給云計算系統(tǒng)，付費(fèi)租用所需的資源和服務(wù)。混合云的云基礎(chǔ)設(shè)施是由兩種或兩種以上的云組成，每種云仍然保持獨(dú)立，但用標(biāo)準(zhǔn)的或?qū)Ｓ玫募夹g(shù)將它們組合起來，具有數(shù)據(jù)和應(yīng)用程序的可移植性。

三、云計算服務(wù)模式

計算就要有就算環(huán)境，一般計算環(huán)境都有硬件的一層，資源組合調(diào)度的一層即操作層，以及計算任務(wù)的應(yīng)用業(yè)務(wù)的軟件層。云計算提供的三種服務(wù)模式對應(yīng)了計算環(huán)境的三個層面。這三種服務(wù)模式分別是基礎(chǔ)設(shè)施即服務(wù)IaaS、軟件即服務(wù)SaaS、平臺即服務(wù)PaaS。

IaaS即把廠商的由多臺服務(wù)器組成的“云端”基礎(chǔ)設(shè)施，作為計量服務(wù)提供給客戶。它的優(yōu)點(diǎn)是用戶只需低成本硬件，按需租用相應(yīng)計算能力和存儲能力，大大降低了用戶在硬件上的開銷。目前以Google云應(yīng)用最具代表性，例如GoogleDocs、GoogleApps、Googlesites。SaaS服務(wù)提供商將應(yīng)用軟件統(tǒng)一部署在自己的服務(wù)器上，用戶根據(jù)需求通過互聯(lián)網(wǎng)向廠商訂購應(yīng)用軟件服務(wù)，服務(wù)提供商根據(jù)客戶所定軟件的數(shù)量、時間的長短等因素收費(fèi)，并且通過瀏覽器像客戶提供軟件的模式。對于小型企業(yè)來說，SaaS是采用先進(jìn)技術(shù)的最好途徑。PaaS把開發(fā)環(huán)境作為一種服務(wù)來提供。PaaS能夠給企業(yè)或個人提供研發(fā)的中間件平臺，提供應(yīng)用程序開發(fā)、數(shù)據(jù)庫、應(yīng)用服務(wù)器、試驗、托管及應(yīng)用服務(wù)。

四、大數(shù)據(jù)

大數(shù)據(jù)（big data），或稱巨量資料，就是對全球各種大規(guī)模數(shù)據(jù)資料進(jìn)行深度挖掘，并進(jìn)行高速度及多樣式計算后，整理出來的高價值的分析結(jié)果；重點(diǎn)應(yīng)用在國防領(lǐng)域建設(shè)，未來發(fā)展方向在人工智能領(lǐng)域，可以讓計算機(jī)自主地從經(jīng)驗中進(jìn)行學(xué)習(xí)和反饋。個人總結(jié)，大數(shù)據(jù)的特點(diǎn)主要有如下4點(diǎn)：

一是大量。存儲大，計算量大。

二是數(shù)據(jù)類型多樣。現(xiàn)在的數(shù)據(jù)類型不僅是文本形式，更多的是圖片、視頻、音頻、地理位置信息等多類型的數(shù)據(jù)，個性化數(shù)據(jù)占絕對多數(shù)。三是處理速度快。增長速度快，處理速度要求快。四是價值密度低。浪里淘沙卻彌足珍貴，數(shù)據(jù)沒有辦法在可忍受的時間下使用常規(guī)軟件方法完成存儲、管理和處理任務(wù)。

大數(shù)據(jù)已經(jīng)不簡簡單單是數(shù)據(jù)大的事實(shí)了，而最重要的現(xiàn)實(shí)是對大數(shù)據(jù)進(jìn)行分析，只有通過分析才能獲得很多智能的，深入的，有價值的信息。大數(shù)據(jù)分析普遍存在的方法理論有：可視化分析、數(shù)據(jù)挖掘算法、預(yù)測性分析、語義引擎、數(shù)據(jù)質(zhì)量和數(shù)據(jù)管理。

五、云計算與大數(shù)據(jù)關(guān)系

云計算和大數(shù)據(jù)是這個時代的兩個王者，是一個硬幣的兩面，云計算是大數(shù)據(jù)的IT基礎(chǔ)，而大數(shù)據(jù)是云計算的一個殺手級應(yīng)用。張亞勤說，云計算是大數(shù)據(jù)的驅(qū)動力，而另一方面，由于數(shù)據(jù)越來越多，越來越復(fù)雜，越來越實(shí)時，這就更加需要云計算去處理，所以二者之間是相輔相成的。

本質(zhì)上，云計算和大數(shù)據(jù)的關(guān)系是靜與動的關(guān)系；云計算強(qiáng)調(diào)的是計算，這是動的概念；數(shù)據(jù)則是計算的對象，是靜的概念。在實(shí)際的應(yīng)用中，前者強(qiáng)調(diào)的是計算能力，或者看重的是存儲能力；但是這樣說，并不意味著兩個概念如此涇渭分明。大數(shù)據(jù)需要處理大數(shù)據(jù)的能力如數(shù)據(jù)獲取、清潔、轉(zhuǎn)換、統(tǒng)計等，其實(shí)就是需要強(qiáng)大的計算能力，另一方面，云計算的動也好是相對而言，比如基礎(chǔ)設(shè)施即服務(wù)中存儲設(shè)備提供的主要是數(shù)據(jù)能力，所以可謂是動中有靜。

如果數(shù)據(jù)是財富，那么大數(shù)據(jù)就是寶藏，而云計算就是挖掘和利用寶藏的利器。沒有強(qiáng)大的計算能力，數(shù)據(jù)寶藏終究是鏡中花，沒有大數(shù)據(jù)的積淀，云計算也只能是殺雞用的宰牛刀。

六、心得體會

通過這次課程的學(xué)習(xí)，了解到在如此快速到來的大數(shù)據(jù)革命時代，我們還有很多知識需要學(xué)習(xí)，許多思維需要轉(zhuǎn)變，許多技術(shù)需要研究。職業(yè)規(guī)劃中，也需要充分考慮到大數(shù)據(jù)對于自身職業(yè)的未來發(fā)展所帶來的機(jī)遇和挑戰(zhàn)。

第四篇：云計算與大數(shù)據(jù)學(xué)習(xí)報告

“大數(shù)據(jù)與云計算”學(xué)習(xí)報告 題目：談?wù)剬Α按髷?shù)據(jù)與云計算”技術(shù)的理解，及這兩項技術(shù)對商業(yè)活動、社會進(jìn)步帶來哪些影響.首先我想簡單談?wù)労螢樵朴嬎悖螢榇髷?shù)據(jù)。云計算，是基于互聯(lián)網(wǎng)的相關(guān)服務(wù)的增加、使用和交付模式，通常涉及通過互聯(lián)網(wǎng)來提供動態(tài)易擴(kuò)展且經(jīng)常是虛擬化的資源，其側(cè)重的是計算，而大數(shù)據(jù)是需要新處理模式才能具有更強(qiáng)的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力來適應(yīng)海量、高增長率和多樣化的信息資產(chǎn)，本質(zhì)就是利用計算機(jī)集群來處理大批量的數(shù)據(jù)，大數(shù)據(jù)的技術(shù)關(guān)注點(diǎn)在于如何將數(shù)據(jù)分發(fā)給不同的計算機(jī)進(jìn)行存儲和處理。其側(cè)重的是計算的對象。

其次說說云計算與大數(shù)據(jù)的關(guān)系.可以說，大數(shù)據(jù)相當(dāng)于海量數(shù)據(jù)的“數(shù)據(jù)庫”，而云計算作為計算資源的底層，支撐著上層的大數(shù)據(jù)處理，前者強(qiáng)調(diào)的是計算能力，或者看重的存儲能力。大數(shù)據(jù)需要處理大數(shù)據(jù)的能力，大數(shù)據(jù)技術(shù)是云計算技術(shù)的延伸。大數(shù)據(jù)技術(shù)涵蓋了從數(shù)據(jù)的海量存儲、處理到應(yīng)用多方面的技術(shù)。

最后說說云計算與大數(shù)據(jù)對商業(yè)活動、社會發(fā)展的作用.云計算和大數(shù)據(jù)的出現(xiàn)，正在引發(fā)全球范圍內(nèi)深刻的技術(shù)與商業(yè)變革。技術(shù)革新對信息化發(fā)展的引領(lǐng)與推動作用已經(jīng)毋庸置疑,而新一波以云計算和大數(shù)據(jù)為代表的新技術(shù)對我國信息化的拉動作用也正日益顯現(xiàn),隨著云計算服務(wù)的互聯(lián),移動互聯(lián)網(wǎng)、智慧城市等領(lǐng)域的滲透相互促進(jìn),形成了市場需求與技術(shù)進(jìn)步雙拉動的態(tài)勢，對電信運(yùn)營商而言，在當(dāng)前智能手機(jī)、智能設(shè)備快速增長、移動互聯(lián)網(wǎng)流量迅猛增加的情況下，大數(shù)據(jù)技術(shù)可以為運(yùn)營商帶來新的機(jī)會。大數(shù)據(jù)在運(yùn)營商中的應(yīng)用可以涵蓋多個方面，包括企業(yè)管理分析如戰(zhàn)略分析、競爭分析，運(yùn)營分析如用戶分析、業(yè)務(wù)分析、流量經(jīng)營分析，網(wǎng)絡(luò)管理維護(hù)優(yōu)化如網(wǎng)絡(luò)信令監(jiān)測、網(wǎng)絡(luò)運(yùn)行質(zhì)量分析，營銷分析如精準(zhǔn)營銷、個性化推薦等計算量越來越大、數(shù)據(jù)越來越多、越來越動態(tài)、越來越實(shí)時的需求背景下被催生出來的一種基礎(chǔ)架構(gòu)和商業(yè)模式。

第五篇：云計算安全

云計算安全

前些天去聽了下“中國計算機(jī)大會”的安全專場，在杭州的“第一世界大酒店”。

我前一天晚上記錯了，告訴老婆說，我明天要去“世界第一大酒店”開會，牛B的不行，到了才知道，原來是“第一世界大酒店”。

這次大會是我們公司的主場，主會場是討論云計算、物聯(lián)網(wǎng)。安全有個分會場，來了許多專家，估計是出于主辦方的要求，言必出“云安全”、“云計算安全”，云來云去的，搞的我也云里霧里了。

說來慚愧，我在公司的主要工作之一就是搞云計算安全，但是搞來搞去，我發(fā)現(xiàn)什么都沒有改變。

要說起云計算，至今業(yè)界都沒有一個非常標(biāo)準(zhǔn)的定義。每個企業(yè)都有自己定義的云計算。主要有兩類，一個是跑在Map/Reduce框架下的計算平臺，以此為代表的有hadoop，還有一些海量存儲的，比如google的bigtable等。另一類就是虛擬機(jī)平臺，以此為代表是Amazon、VMware。

云計算的另一個特征應(yīng)該就是有“數(shù)據(jù)中心”，用土話來說就是要有一個超大規(guī)模的機(jī)房，規(guī)模沒上去，也不叫云計算。所以用個三到四臺服務(wù)器搭了hadoop，這個也不能叫云計算。

至今為止，很多人都搞不明白虛擬機(jī)類的云計算平臺比起那些賣虛擬空間的有啥區(qū)別，說句老實(shí)話，我也沒搞清楚。即便是后臺調(diào)度有些區(qū)別，我認(rèn)為也是有限的，不具有突破性。可能最大的區(qū)別在于，“云”的價格會便宜點(diǎn)，不過這不是我們這些安全工程師所關(guān)心的。

嘗試著講明白了什么是“云”，那現(xiàn)在就來戳穿一下所謂的“云計算安全”。先講講所謂的“云安全”，現(xiàn)在很多安全廠商，都跟風(fēng)把自己的產(chǎn)品叫云安全。什么是云安全？就是建個機(jī)房，然后有桌面產(chǎn)品的就把產(chǎn)品上抓到的木馬樣本發(fā)回中心機(jī)房，有IDC流量監(jiān)控的就把數(shù)據(jù)抓了發(fā)回中心機(jī)房，這個就叫做“云安全”。

我靠，這玩意不是若干年前就有的嗎？很多軟件雖然沒說，但早就這么做了。原來這就是“云安全”，一個我們用了很多年的東西，現(xiàn)在終于可以光明正大的說出來了！更可怕的時候，在沒有所謂云安全的時候，我們的隱私還是自己的，有了云安全，個人電腦里的數(shù)據(jù)、文件會自動發(fā)給廠商，你不擔(dān)心嗎？

所以“云安全”這個東西，和“云計算安全”完全是兩碼事，跟云計算也不搭邊。當(dāng)然，你要硬說你建了數(shù)據(jù)中心，也用了hadoop，所以你的云安全是真的，那我也無話可說了。

“云計算安全”這個概念，在我看來，和以前有一個概念很像。什么呢？“電子商務(wù)”。我大學(xué)是學(xué)這個專業(yè)的，我讀了個在職研究生，也是讀這個方向。但我至今沒搞明白學(xué)了什么，至今無法講清楚電子商務(wù)的概念。記得當(dāng)初畢業(yè)的時候，我們專業(yè)的所有人都很迷茫，不知道這個專業(yè)能干嗎，沒人知道。

當(dāng)沒有人能夠講清楚一個大家都在用的概念時，那么，肯定是有問題的。這并不是一個只有愛因斯坦才懂相對論的時代，這是一個賣冰棍的大媽都知道云計算的時代！

什么是電子商務(wù)？在中國，是淘寶，是阿里巴巴，在美國，是ebay，是amazon。

今天的所有概念，都在隨著實(shí)踐的改變而改變。所以今天沒有人能講清楚什么是“云計算安全”，是很正常的一件事情。我們看一張MAP：

什么是云計算安全？這就是云計算安全。從這張圖上的第一個直觀印象就是，所有的安全方法、安全產(chǎn)品，都沒有改變。我們以前是怎么做安全的，在云計算時代，還是怎么做。

我們要做代碼review，要做防火墻，要做WAF，要做XXX，這些都沒有變。

既然你什么都沒變，那你在折騰個什么勁？因為今天“云計算”被炒的太火了，很少有人能說清楚什么叫云計算，更沒有人可以說清楚什么叫“云計算安全”。但是你不這么說，好像就會落伍了，就會被鄙視了。陋習(xí)！

從字面上看，給云計算做安全，就叫云計算安全。從某種意義上來說，“云計算安全”是另外一種屠龍術(shù)，掛羊頭賣狗肉。如果有人要開個班，培訓(xùn)“云計算安全”，那一定是騙人的。因為我今天見到的任何所謂“云計算安全”，無論國內(nèi)的還是國外的，都不具有突破性，不需要專門開辟一個領(lǐng)域，叫做“云計算安全”，我們也不需要任何的神壇。

但是云是需要安全的，云需要什么樣的安全？我們不妨叫做：“云計算的安全”。從宏觀層面來說，和傳統(tǒng)安全沒什么變化，還是網(wǎng)絡(luò)策略，代碼實(shí)現(xiàn)安全，數(shù)據(jù)保護(hù)等等。

真要說云時代安全的特征，我認(rèn)為有兩個，一個是在云中需要執(zhí)行用戶代碼的時候，比較注重虛擬機(jī)技術(shù)以及各類sandbox技術(shù)，另一個就是用戶數(shù)據(jù)的保護(hù)。不過這些技術(shù)，都沒有突破傳統(tǒng)安全技術(shù)的范疇。局部有創(chuàng)新，總體沒改變。

會有些變化的領(lǐng)域，應(yīng)該是“基于云計算的服務(wù)安全”，上層應(yīng)用會帶來各種各樣的多變性。比如賣虛擬空間啊，比如云的終端放在手機(jī)上啊，再比如一些基于云的SAAS服務(wù)啊，都會帶來非常獨(dú)特的功能，所以基于云服務(wù)的安全怎么做，才是真正需要創(chuàng)新和定制化的地方。

我已經(jīng)厭煩了整天云來云去的，這個安全產(chǎn)業(yè)出于對利益的追逐，太浮躁了。