第一篇:云計算環境數據安全研究論文
云計算是網格計算、分布式計算、效用計算等技術發展融合的產物,如今普及速度非常快。亞馬遜、谷歌、微軟等企業向用戶提供了在云環境中開發應用和遠程訪問應用的功能。由于云環境的數據托管給服務商存儲在遠程服務器中,且應用數據通過互聯網傳輸,數據存儲和傳輸安全是一個重要的問題。在實現云計算之前,首先應該解決由此帶來的安全問題。論文描述了云計算中數據安全相關的挑戰,研究了對于數據安全不同層面的解決方案。引言
云計算是基于下一代互聯網的計算系統,提供了方便和可定制的服務供用戶訪問或者與其他云應用協同工作。云計算通過互聯網將云應用連接在一起,向用戶提供了在任意地點通過網絡訪問和存儲數據的服務。
通過選擇云服務,用戶能夠將本地數據副本存儲在遠端云環境中。在云環境中存儲的數據能通過云服務提供商提供的服務進行存取。在云計算帶來方便的同時,必須考慮數據存儲的安全性。如今云計算安全是一個值得注意的問題。如果對數據的傳輸和存儲不采取合適的手段,那么數據處于高風險的環境中,關鍵數據泄露可能造成非常大的損失。由于云服務向公共用戶群提供了訪問數據的功能,數據存儲可能存在高風險問題。在后續章節中,本文首先介紹了云計算模型,然后針對云計算本身的屬性帶來的信息安全問題,研究了已有數據安全解決方案的應用范圍。云計算應用模式
云計算的應用模式主要有軟件即服務(SaaS)、平臺即服務(PaaS)、基礎設施即服務(IaaS)等。在SaaS中,廠商提供服務供客戶使用,客戶使用服務在云基礎架構中運行應用。SaaS相對比較簡單,不需要購買任何硬件,使用容易。但是數據全部保存在云端,且存放方式不受用戶控制,存在安全隱患。PaaS則通過使用云計算服務商提供的中間件平臺開發和測試應用,例如谷歌的App Engine。由于不同的中間件平臺提供的API不一樣,同一個應用不能再不同的平臺通用,存在一定的兼容性問題。在IaaS模型中,用戶可以控制存儲設備、網絡設備等基礎計算架構,或者直接使用服務商提供的虛擬機去滿足特定的軟件需求,靈活性高但是使用難度也比較大。
隨著云計算的蓬勃發展,云計算安全作為不能忽視的層面,應該引起足夠的重視。如果對數據的傳輸和存儲不采取合適的手段,那么數據將處于高風險的環境中。由于云計算向用戶群提供了訪問數據的功能,不論采用三種主要應用模式的任意一種,數據都存儲在公共平臺中,由此帶來了數據存儲和傳輸的安全問題。數據安全挑戰
3.1 數據保障
當多個用戶共享同一個資源的時候存在資源誤用的風險。為了避免這個風險,有必要對數據存儲、數據傳輸、數據處理等過程實施安全方面的措施。數據的保護是在云計算中最重要的挑戰。為了加強云計算的安全,有必要提供認證授權和訪問控制的手段確保數據存儲的安全。數據安全的主要幾個方面:健壯性——使用測試工具檢查數據的安全脆弱性,查看云計算應用是否有常見的漏洞,比如跨站腳本、SQL注入漏洞等;保密性——為了保護客戶端數據的安全,應當使用資源消耗少的瘦客戶端,盡量將客戶端的功能精簡,將數據的運算放置在云服務端完成;可用性——數據安全中最重要的部分,具體實施情況由廠商和客戶直接協商決定。以上措施決定了數據的可用性、可靠性和安全性。
3.2 數據正確性
在保證數據安全的同時也要保證數據的正確性。每個在云計算中的事務必須遵守ACID準則保持數據的正確性。否則會造成數據的“臟讀”,“幻讀”等現象,造成數據的不準確,事后排查花費的代價高。大多數Web服務使用HTTP協議都面臨著事物管理的問題。HTTP協議本身并不提供事務的功能,事務的功能可以使用程序內部的機制解決。
3.3 數據訪問
數據訪問主要是指數據安全訪問管理機制。在一個公司中,應根據公司的安全條例,給予不同崗位職工特定數據的訪問權限,保證該數據不能被公司的其他員工訪問。可以使用加密技術保證數據傳輸安全,采取令牌管理手段提升用戶密碼的猜解復雜程度。
3.4 保密性
由于在云環境中,用戶將文本、視頻等數據存儲在云端,數據保密性成為了一個重要的需求。用戶應該了解保密數據的存放情況和數據的訪問控制實施情況。
3.5 數據隔離
云計算的重要特征之一是多用戶租用公共服務或設備。由于公用云向所有用戶提供服務的特點,存在數據入侵的可能。通過注入代碼等手段,可能造成云端存儲的數據被非授權獲取。所以有必要將用戶數據和程序數據分開存儲,增加數據被非授權獲取的難度。通常可以通過SQL注入、數據驗證等方式驗證潛在的漏洞是否存在。
3.6 數據備份
云端數據備份主要目的是在數據意外丟失的情況下找。數據丟失是一個很普遍的問題,一份2009年的調查表明,66%的被訪者聲稱個人電腦的文件存在丟失情況。云端數據備份還可以方便將數據恢復到某個時期的版本。云計算作為公用服務,已有大量用戶使用網盤將數據副本存儲在云端,但是還有很多應用的業務數據未在用戶本地設備中存儲。無論云端存儲數據的性質,云端都應定時將存儲的數據備份,保障云服務的正常運行。
3.7 法律法規風險
在云計算中,數據有可能分布存儲在不同的國家和地區中。當數據被轉移到其他的國家和地區中后,必須遵守當地的法律法規。所以在云計算中,存在數據放置地理位置的問題,客戶應當知曉數據存儲的地理位置防范風險。數據安全解決方案
對于數據安全問題,需要方案解決云環境中數據潛在的風險。其中由于云環境的公用特性,數據保密應當作為主要解決目標。針對上節的數據保障、正確性、訪問等問題,多位云計算安全專家在不同層面已先后提出了幾套完整的解決方案,其目標主要是保證云環境中數據共享的安全性。在不可信的公共云環境中,數據共享的同時保證數據對第三方的保密性。
4.1 基本方案
數據加密是一個比較好的保證數據安全的方案。在云端存儲數據之前最好能先加密數據。數據的擁有者能將數據的訪問權給予特定的用戶群體。應當設計一個包括認證、數據加密、數據正確性、數據恢復等功能的模型去保證數據在云端的安全。
為了保證數據不能被非授權訪問,將數據加密使其完全對于其他用戶無法解析是一個比較好的方法。在上傳數據到云端之前,建議用戶驗證數據是否在本地有完整的備份,可以通過計算文件的哈希值來驗證數據是否一致。數據傳輸應當采用加密方式,防止敏感信息被中間人監聽。SaaS要求必須在物理層面和應用層面將不同用戶的數據隔離。可以使用采用基于角色的訪問控制或者是自主訪問控制,以及分布式的訪問控制架構控制云計算中的數據訪問。一個設計良好的訪問控制機制可以極大地保護數據的安全,還可以采用入侵防御系統實時監測網絡入侵。入侵防御系統主要功能為識別可疑行為,記錄行為的詳細信息并試圖阻止。
上述基本方案可以解決數據保障、數據正確性、數據訪問及保密性等問題。但是,在實際應用中沒有考慮效率,僅僅作為基本手段不能滿足用戶云環境數據共享的特定需求。
4.2 屬性基加密
屬性基加密(Attribute-based Encryption)相對于傳統的公用密鑰加密具有很大的優勢。傳統的公用密鑰加密采用公私鑰對,公鑰加密的信息只能用私鑰解密,保證了僅有接收人能得到明文;私鑰加密的信息只能用公鑰解密,保證了信息的來源。公鑰基礎設施體系和對稱加密方式相比,解決了信息的保密性、完整性、不可否認性問題。屬性基加密則在公用密鑰加密的基礎上,更多考慮了數據共享和訪問控制的問題。在屬性基加密系統中,密鑰由屬性集合標識。僅當公私鑰對指定的屬性相同或者具有規定的包含關系時,才能完成解密密文。例如,用戶如果為了數據安全將文檔加密,但是需要同公司的人能解密該密文,那么可以設置密鑰的屬性位“組織”,只有屬性位“組織”為該用戶公司的密鑰才能將該密文解密,不滿足條件的密鑰則不能解密,如圖1所示。
屬性基加密分為密鑰策略(KP-ABE)和密文策略(CP-ABE)。KP-ABE模式中,密文具有屬性集合,解密密鑰則和訪問控制策略關聯。加密方定義了能成功解密密文的密鑰需要滿足的屬性集合。KP-ABE模式適用于用戶查詢類應用,例如搜索、視頻點播等。CP-ABE模式中,加密方定義了訪問控制策略,訪問控制策略被包含在密文內,而密鑰僅僅是屬性的集合。CP-ABE模式主要適用于訪問控制類應用,例如社交網站、電子醫療等。
屬性基加密方式,不僅可以應用在云存儲共享中,在審計日志共享方面也有很廣泛的應用。審計日志共享大都存在時間段的限制,屬性基加密方式可以在密文中添加時間屬性位和用戶屬性,提供對不同用戶共享不同時間段日志的功能。屬性基加密緊密結合了訪問控制的特性,在傳統公用密鑰的基礎上,提高了數據共享的方便程度。
屬性基加密雖然提高了數據共享的方便程度,但是沒有從根本上解決云環境數據加解密過程中,解密為明文導致的敏感數據泄露問題。
4.3 代理重加密
由于云環境是公用的,用戶無法確定服務提供商是否嚴格的將用戶資料保存,不泄露給第三方。所以,當用戶之間有在云環境中共享資料的需求時,必須考慮資料的保密性問題。
用戶A希望和用戶B共享自己的數據,但是不希望直接將自己的私鑰Pa給B,否則B能直接用Pa解密自己采用私鑰加密的其他數據。對于這種情況,有一些解決方案。
(1)用戶A將加密數據從云端取回,解密后通過安全方式(例如采用用戶B的公鑰加密)發送給用戶B。這種方式要求用戶A必須一直在線,存在一定的局限性,并且數據量比較大時,本地耗費的計算量可能非常大。
(2)用戶A可以將自己的私鑰給云服務提供商,要求提供數據共享的服務。在這種情況中,用戶A必須相信云端不會將私鑰泄露。
(3)用戶A可以采用一對一加密機制。A將解密密鑰分發給每個想共享數據的用戶,A必須針對每個用戶生成并存儲不同的加密密鑰和密文。當新用戶數量很多時,這個方案造成了磁盤空間的大量占用,存儲數據冗余度高。
代理重加密(Proxy Re-Encryption)手段可以很好的解決云環境數據共享的問題。代理重加密手段設立了一個解密代理。首選A由私鑰Pa和B的公鑰Pb計算出轉換密鑰Rk。轉換密鑰可以直接將由私鑰Pa加密的密文轉加密為由公鑰Pb加密的密文。在轉換過程中,A的原始密文不會解密為明文,而轉加密后的密文也只能由用戶B解密。當用戶B想訪問A共享的資料時,只需要解密代理使用Rk將A的密文轉換為只有B能解密的密文即可。這種機制保證了包括云在內的所有第三方都不能獲取A共享給B的明文,如圖2所示。
代理重加密解決了云環境中數據共享而不泄露明文的基本問題,側重于數據的保密。該技術手段關注數據的保密性,未考慮實際應用中數據共享方便程度等其他問題。
4.4 基于代理重加密的屬性基加密方法
代理重加密技術可以和在云存儲中使用的屬性基加密機制結合,屬性基加密側重于加密方面的訪問控制,而代理重加密從加密手段上保證了數據的隱秘性。通過將這兩種機制結合,用戶可以更加高效的分享數據。數據擁有者可以根據新的訪問控制規則生成轉換密鑰,然后將轉換密鑰上傳至云服務器,服務器將原有的密文轉加密為新的密文。新的密文在不影響原有用戶解密的情況下,可以使新用戶成功解密。而在轉換原有密文的整個過程中,服務器無法將密文解密為明文。
該類加密方法既保證了轉換效率,又保證了數據的保密性。此類方法中,不考慮抗選擇密文攻擊的算法計算轉換密鑰的資源消耗相對較小,考慮了抗選擇密文攻擊的算法資源消耗量和密鑰屬性基的大小正相關。結束語
雖然云計算是一個帶來了很多益處給用戶的新興技術,但它也同時面臨著很多安全方面的挑戰。本文說明了云計算方面的安全挑戰和對應的解決方案,從而降低云計算可能帶來的安全風險。為了保證云存儲的安全訪問,在技術層面,可以采用健壯的數據加密機制;在管理層面,采用合適的令牌管理機制,分發令牌給用戶從而保證數據只能被授權的訪問。隨著云計算的普及,相信云服務提供商和用戶對于云環境數據安全方面會越來越重視。在相關安全策略實施后,云計算能在提供良好服務的同時,讓用戶使用更加放心。
第二篇:大數據與云計算論文
大數據與云計算
摘 要:大數據(Big Data)這個概念近年來在越來越多的場合、被越來越多的人提及,并且經常和云計算聯系在一起,云計算與大數據之間到底是什么關系成為熱點話題。本
專題報告包含以下四個方面內容:1.大數據的價值;2.大數據帶來的挑戰;3.大數據研究成果;4.云計算是大數據挖掘的主流方式。通過本報告闡述我們對大數據的理解,以及對大數據的價值的認識,探討大數據處理與挖掘技術,大數據主要著眼于“數據”,提供數據采集、挖掘、分析的技術和方法;云計算技術主要關注“計算”,提供IT 解決方案。大數據、云計算技術可以促進持續審計方式的發展、總體審計模式的應用、審計成果的綜合應用、相關關系證據的應用、高效數據審計的發展和大數據審計師的發展。強化大數據、云計算技術審計應用的措施包括制定長遠發展戰略、加快審計法規建設、建立行業平臺、加強研發和提高利用能力。關鍵詞:大數據 云計算 數據挖掘 對審計影響 政策建議 引言
目前,大數據伴隨著云計算技術的發展,正在對全球經濟社會生活產生巨大的影響。大數據、云計算技術給現代審計提供了新的技術和方法,要求審計組織和審計人員把握大數據、云計算技術的內容與特征,促進現代審計技術和方法的進一步發展。
一、大數據、云計算的涵義與特征
隨著云計算技術的出現,大數據吸引了全世界越來越多的關注。哈佛大學社會學教授加里·金(2012)說: “這是一場革命,龐大的數據資源使得各個領域開始了量化進程,無論學術界、商界還是政府,所有領域都將開始這種進程。”(一)大數據的涵義與特征
“數據”(data)這個詞在拉丁文里是“已知”的意思,也可以理解為“事實”。2009 年,“大數據”概念才逐漸開始在社會上傳播。而“大數據”概念真正變得火爆,卻是因為美國奧巴馬政府在2012 年高調宣布了其“大數據研究和開發計劃”。這標志著“大數據”時代真正開始進入社會經濟生活中來了。“大數據”(big data),或稱巨量資料,指的是所涉及的數據量規模大到無法利用現行主流軟件工具,在一定的時間內實現收集、分析、處理或轉化成為幫助決策者決策的可用信息。互聯網數據中心(IDC)認為“大數據”是為了更經濟、更有效地從高頻率、大容量、不同結構和類型的數據中獲取價值而設計的新一代架構和技術,用它來描述和定義信息爆炸時代產生的海量數據,并命名與之相關的技術發展與創新。大數據具有4 個特點: 第一,數據體量巨大(Volume),從TB 級別躍升到PB 級別。第二,處理速度快(Velocity),這與傳統的數據挖掘技術有著本質的不同。第三,數據種類多(Variety),有圖片、地理位置信息、視頻、網絡日志等多種形式。第四,價值密度低,商業價值高(Value)。存在單一數據的價值并不大,但將相關數據聚集在一起,就會有很高的商業價值(金良,2012)。大數據時代,不僅改變了傳統的數據采集、處理和應用技術與方法,還促使人們思維方式的改變。大數據的精髓在于促使人們在采集、處理和使用數據時思維的轉變,這些轉變將改變人們理解和研究社會經濟現象的技術和方法。
(1)是在大數據時代,不依賴抽樣分析,而可以采集和處理事物整體的全部數據。19 世紀以來,當面臨大的樣本量時,人們都主要依靠抽樣來分析總體。但是,抽樣技術是在數據缺乏和取得數據受限制的條件下不得不采用的一種方法,這其實是一種人為的限制。過去,因為記錄、儲存和分析數據的工具不夠科學,只能收集少量數據進行分析。如今,科學技術條件已經有了很大的提高,雖然人類可以處理的數據依然是有限的,但是可以處理的數據量已經大量增加,而且未來會越來越多。隨著大數據分析取代抽樣分析,社會科學不再單純依賴于抽樣調查和分析實證數據,現在可以收集過去無法收集到的數據,更重要的是,現在可以不再依賴抽樣分析。
(2)是在大數據時代,不再熱衷于追求數據的精確度,而是追求利用數據的效率。當測量事物的能力受限制時,關注的是獲取最精確的結果。但是,在大數據時代,追求精確度已經既無必要又不可行,甚至變得不受歡迎。大數據紛繁多樣,優劣摻雜,精準度已不再是分析事物總體的主要手段。擁有了大數據,不再需要對一個事物的現象深究,只要掌握事物的大致發展趨勢即可,更重要的是追求數據的及時性和使用效率。與依賴于小數據和精確性的時代相比較,大數據更注重數據的完整性和混雜性,幫助人們進一步認識事物的全貌和真相。
(3)是在大數據時代,人們難以尋求事物直接的因果關系,而是深入認識和利用事物的相關關系。長期以來,尋找因果關系是人類發展過程中形成的傳統習慣。尋求因果關系即使很困難且用途不大,但人們無法擺脫認識的傳統思維。在大數據時代,人們不必將主要精力放在事物之間因果關系的分析上,而是將主要精力放在尋找事物之間的相關關系上。事物之間的相關關系可能不會準確地告知事物發生的內在原因,但是它會提醒人們事情之間的相互聯系。人們可以通過找到一個事物的良好相關關系,幫助其捕捉到事物的現在和預測未來。(二)云計算的涵義與特征
“云計算”概念產生于谷歌和IBM 等大型互聯網公司處理海量數據的實踐。2006 年8 月9 日,Google首席執行官埃里克·施密特(Eric Schmidt)在搜索引擎大會首次提出“云計算”的概念。2007 年10 月,Google 與IBM 開始在美國大學校園推廣云計算技術的計劃,這項計劃希望能降低分布式計算技術在學術研究方面的成本,并為這些大學提供相關的軟硬件設備及技術支持(Michael Mille,2009)。目前全世界關于“云計算”的定義有很多。“云計算”是基于互聯網的相關服務的增加、使用和交付模式,是通過互聯網來提供動態易擴展且經常是虛擬化的資源。美國國家標準技術研究院(NIST)2009年關于云計算的定義是: “云計算是一種按使用量付費的模式,這種模式提供可用的、便捷的、按需的網絡訪問,進入可配置的計算資源共享池(資源包括網絡、服務器、存儲、應用軟件、服務等),這些資源能夠被快速提供,只需投入很少的管理工作,或與服務供應商進行很少的交互。”根據這一定義,云計算的特征主要表現為: 首先,云計算是一種計算模式,具有時間和網絡存儲的功能。其次,云計算是一條接入路徑,通過廣泛接入網絡以獲取計算能力,通過標準機制進行訪問。第三,云計算是一個資源池,云計算服務提供商的計算資源,通過多租戶模式為不同用戶提供服務,并根據用戶的需求動態提供不同的物理的或虛擬的資源。第四,云計算是一系列伸縮技術,在信息化和互聯網環境下的計算規模可以快速擴大或縮小,計算能力可以快速、彈性獲得。第五,云計算是一項可計量的服務,云計算資源的使用情況可以通過云計算系統檢測、控制、計量,以自動控制和優化資源使用。(三)大數據與云計算的關系
從整體上看,大數據與云計算是相輔相成的。大數據主要專注實際業務,著眼于“數據”,提供數據采集、挖掘、分析的技術和方法,強調的是數據存儲能力。云計算主要關注“計算”,關注IT 架構,提供IT 解決方案,強調的是計算能力,即數據處理能力。如果沒有大數據的數據存儲,那么云計算的計算能力再強大,也難以找到用武之地;如果沒有云計算的數據處理能力,則大數據的數據存儲再豐富,也終究難以用于實踐中去。
從技術上看,大數據依賴于云計算。海量數據存儲技術、海量數據管理技術、MapReduce 編程模型都是云計算的關鍵技術,也都是大數據的技術基礎。而數據之所以會變“大”,最重要的便是云計算提供的技術平臺。數據被放到“云”上之后,打破了過去那種各自分割的數據存儲,更容易被收集和獲得,大數據才能呈現在人們眼前。而巨量的數據也只能依靠云計算強大的數據處理能力,才能夠“淘盡黃沙始得金”。
從側重點看,大數據與云計算的側重點不同。大數據的側重點是各種數據,廣泛、深入挖掘巨量數據,發現數據中的價值,迫使企業從“業務驅動”轉變為“數據驅動”。而云計算主要通過互聯網廣泛獲取、擴展和管理計算及存儲資源和能力,其側重點是IT 資源、處理能力和各種應用,以幫助企業節省IT部署成本。云計算使企業的IT 部門受益,而大數據使企業的業務管理部門受益。
從結果看,大數據與云計算帶來不同的變化。大數據對社會經濟帶來的變化是巨大的,涉及到各個領域。大數據已經與資本、人力一起作為生產的主要因素影響著社會經濟的發展。數據創造價值,而挖掘數據價值、利用數據的“推動力”就是云計算。云計算將信息存儲、分享和挖掘能力極大提高,更經濟、高效地將巨量、高速、多變的終端數據存儲下來,并隨時進行計算與分析。通過云計算對大數據進行分析、總結與預測,會使得決策更可靠,釋放出更多大數據的內在價值。
二、大數據、云計算技術對審計的影響分析
審計技術和方法的發展是隨著科學和管理技術的發展而發展的。現代審計技術和方法體系是在原始的查賬基礎上從低級向高級、從不完備到比較完備發展起來的。在業務和會計處理手工操作階段,審計實施的是賬表導向的審計技術和方法;當內部控制理論和方法全面應用于業務和會計處理時,審計實施的是系統導向的審計技術和方法;當風險管理理論和方法全面應用于業務和財務管理時,審計實施的是風險導向審計技術和方法;與風險導向審計技術和方法并行的是,計算機技術廣泛應用于業務和會計處理時,審計實施的是IT 審計技術和方法。目前,面對大數據、云計算技術的產生和發展,審計人員需要應時而變來適應由此而帶來的變化,分析大數據、云計算技術對審計方式、審計抽樣技術、審計報告模式、審計證據搜集等技術和方法的影響。(一)大數據、云計算技術促進持續審計方式的發展
傳統審計中,審計人員只是在被審計單位業務完成后才進行審計,而且審計過程中并不是審計所有的數據和信息,只是抽取其中有的一部分進行審計。這種事后和有限的審計對被審計單位復雜的生產經營和管理系統來說很難及時做出正確的評價,而且對于評價日益頻繁和復雜的經營管理活動的真實性和合法性則顯得過于遲緩。隨著信息技術迅速發展,越來越多的審計組織對被審計單位開始實施持續審計方式,以解決審計結果與經濟活動的時差問題。但是,審計人員實施持續審計時,往往受目前業務條件和信息化手段的限制,取得的非結構化數據無法數據化,或者無法取得相關的明細數據,致使對問題的判斷也難以進一步具體和深入。而大數據、云計算技術可以促進持續審計方式的發展,使信息技術與大數據、云計算技術較好交叉融合,尤其對業務數據和風險控制“實時性”要求較高的特定行業,如銀行、證券、保險等行業,在這些行業中實施持續審計迫在眉睫。如審計組織對商業銀行的審計,實行與商業銀行建立業務和數據系統的接口,在開發的持續審計系統中固化了非結構化數據結構化和數據分析模塊,該模塊可以在海量貸款客戶中挖掘、分析出行業性和區域性貸款風險趨勢,實現在線的風險預警,并將發現的風險數據、超預警值指標及問題登記為疑點,并建立實時審計工作底稿,按照重要程度進行歸類、核實或下發給現場審計人員進行現場核實,以較好處理非結構化數據的利用和數據的實時分析利用問題。(二)大數據、云計算技術促進總體審計模式的應用
現時的審計模式是在評價被審計單位風險基礎上實施抽樣審計。在不可能收集和分析被審計單位全部經濟業務數據的情況下,現時的審計模式主要依賴于審計抽樣,從局部入手推斷整體,即從抽取的樣本著手進行審計,再據此推斷審計對象的整體情況。這種抽樣審計模式,由于抽取樣本的有限性,而忽視了大量和具體的業務活動,使審計人員無法完全發現和揭示被審計單位的重大舞弊行為,隱藏著重大的審計風險。而大數據、云計算技術對審計人員而言,不僅僅是一種可供采用的技術手段,這些技術和方法將給審計人員提供實施總體審計模式的可行性。利用大數據、云計算技術,對數據的跨行業、跨企業搜集和分析,可以不用隨機抽樣方法,而采用搜集和分析被審計單位所有數據的總體審計模式。利用大數據、云計算技術的總體審計模式是要分析與審計對象相關的所有數據,使得審計人員可以建立總體審計的思維模式,可以使現代審計獲得革命性的變化。審計人員實施總體審計模式,可以規避審計抽樣風險。如果能夠收集總體的所有數據,就能看到更細微、深入的信息,對數據進行多角度的深層次分析,從而發現隱藏在細節數據中的對審計問題更具價值的信息。同時,審計人員實施總體審計模式,能發現從審計抽樣模式所不能發現的問題。大數據、云計算技術給審計人員提供了一種能夠從總體把握審計對象的技術手段,從而幫助審計人員能從總體的視角發現以前難以發現的問題。
(三)大數據、云計算技術促進審計成果的綜合應用
目前,審計人員的審計成果主要是提供給被審計單位的審計報告,其格式固定,內容單一,包含的信息量較少。隨著大數據、云計算技術在審計中廣泛應用,審計人員的審計成果除了審計報告外,還有在審計過程中采集、挖掘、分析和處理的大量的資料和數據,可以提供給被審計單位用于改進經營管理,促進審計成果的綜合應用,提高審計成果的綜合應用效果。首先,審計人員通過對審計中獲取的大量數據和相關情況資料的匯總、歸納,從中找出財務、業務和經營管理等方面的內在規律、共性問題和發展趨勢,通過匯總歸納宏觀性和綜合性較強的審計信息,為被審計單位投資者和其他利益相關者提供數據證明、關聯分析和決策建議,從而促進被審計單位管理水平的提高。其次,審計人員通過應用大數據、云計算技術,可以將同一問題歸入不同的類別進行分析和處理,從不同的角度、不同的層面整合提煉以滿足不同層次的需求。再次,審計人員將審計成果進行智能化留存,通過大數據、云計算技術,將問題規則化并固化到系統中,以便于計算或判斷問題發展趨勢,向被審計單位進行預警。最后。審計人員將審計成果、被審計單位與審計問題進行關聯,并進行信息化處理,在進行下次審計時,減少實地審計的時間和工作量,提高審計工作的效率。(四)大數據、云計算技術促進相關關系證據的應用
審計人員在審計過程中,應根據充分、適當的審計證據發表審計意見,出具審計報告。但是,在大數據、云計算環境下,審計人員既面臨巨量數據篩選的考驗,又面臨搜集適當審計證據的挑戰。審計人員在搜集審計證據時,傳統的思維路徑都是基于因果關系來搜集審計證據,而大數據分析將會更多地運用相關關系分析來搜集和發現審計證據。但從審計證據發現的角度來看,由于大數據技術提供了前所未有的跨領域、可供量化的維度,使得審計問題大量的相關信息能夠得以記錄和計算分析。大數據、云計算技術沒有改變事物間的因果關系,但在大數據、云計算技術中對相關關系的開發和利用,使得數據分析對因果邏輯關系的依賴降低了,甚至更多地傾向于應用基于相關關系的數據分析,以相關關系分析為基礎的驗證是大數據、云計算技術的一項重要特征。在大數據、云計算技術環境下,審計人員能搜集到的審計證據大多是電子證據(秦榮生,2013)。電子證據本身就非常復雜,云計算技術使獲取有因果關系的證據更加困難。審計人員應從長期依賴因果關系來搜集和發現審計證據,轉變成為利用相關關系來搜集和發現審計證據。(五)大數據、云計算技術促進高效數據審計的發展
直到今天,審計人員的數字審計技術依然建立在精準的基礎上。這種思維方式適用于掌握“小數據量”的情況,因為需要分析的數據很少,所以審計人員必須盡可能精準地量化被審計單位的業務。隨著大數據、云計算技術成為日常生活中的一部分,審計人員應開始從一個比以前更大、更全面的角度來理解被審計單位,將“樣本= 總體”植入審計人員的思維中。相比依賴于小數據和精確性的時代,大數據更強調數據的完整性和混雜性,幫助審計人員進一步接近事情的真相,“局部”和“精確”將不再是審計人員追求的目標,審計人員追求的是事物的“全貌”和“高效”。圍繞大數據,一批新興的數據挖掘、數據存儲、數據處理與分析技術將不斷涌現。在實施審計時,審計人員應利用大數據、云計算技術,使用分布式拓樸結構、云數據庫、聯網審計、數據挖掘等新型的技術手段和工具,以提高審計的效率。
(六)大數據、云計算技術促進大數據審計師的發展
大數據、云計算時代,數據的真實、可靠是大數據發揮作用的前提。這客觀上要求專業人員來對大數據的真實性、可靠性進行鑒證,審計人員可以扮演這種角色,或者稱為數據審計師。能對大數據真實性、可靠性進行鑒證的數據審計師應該是計算機科學、數學、統計學和審計學領域的專家,他們應有大數據分析和預測的評估能力。數據審計師應恪守公正的立場和嚴守保密的原則,面對海量的數據和紛繁復雜的相關關系,選取分析和預測工具,以及解讀數據及數據計算結果是否真實、可靠。一旦出現爭議,數據審計師有權審查與分析結果相關的運算法則、統計方法以及數據采集、挖掘和處理過程。數據審計師的出現是為滿足以市場為導向來解決數據真實性、可靠性問題的需求,這與20 世紀初期為了處理財務信息虛假而出現的審計人員一樣,都是為了滿足新需求而出現的。
三、大數據挖掘
數據的價值只有通過數據挖掘才能從低價值密度的數據中發現其潛在價值,而大數據挖掘技術的實現離不開云計算技術。在業界,全球著名的Google、EMC、惠普、IBM、微軟等互聯網公司都已經意識到大數據挖掘的重要意義。上述IT 巨頭們紛紛通過收購大數據分析公司,進行技術整合,希望從大數據中挖掘更多的商業價值。數據挖掘通常需要遍歷訓練數據獲得相關的統計信息,用于求解或優化模型參數,在大規模數據上進行頻繁的數據訪問需要耗費大量運算時間。數據挖掘領域長期受益于并行算法和架構的使用,使得性能逐漸提升。過去15 年來,效果尤其顯著。試圖將這些進步結合起來,并且提煉。GPU平臺從并行上得到的性能提升十分顯著。這些GPU平臺由于采用并行架構,使用并行編程方法,使得計算能力呈幾何級數增長。即便是圖形處理、游戲編程是公認的復雜,它們也從并行化受益頗多。研究顯示數據挖掘、圖遍歷、有限狀態機是并行化未來的熱門方向。MapReduce 框架已經被證明是提升GPU 運行數據挖掘算法性能的重要工具。D.Luo 等提出一種非平凡的策略用來并行一系列數據挖掘與數據挖掘問題,包括一類分類SVM 和兩類分類SVM,非負最小二乘問題,及L1 正則化回歸(lasso)問題。由此得到的乘法算法,可以被直截了當地在如MapReduce 和CUDA 的并行計算環境中實現。K.Shim 在MapReduce 框架下,討論如何設計高MapReduce 算法,對當前一些基于MapReduce 的數據挖掘和數據挖掘算法進行歸納總結,以便進行大數據的分析。Junbo Zhang 等提出一種新的大數據挖掘技術,即利用MapRedue 實現并行的基于粗糙集的知識獲取算法,還提出了下一步的研究方向,即集中于用基于并行技術的粗糙集算法處理非結構化數據。F.Gao 提出了一種新的近似算法使基于核的數據挖掘算法可以有效的處理大規模數據集。當前的基于核的數據挖掘算法由于需要計算核矩陣面臨著可伸縮性問題,計算核矩陣需要O(N2)的時間和空間復雜度來計算和存儲。該算法計算核矩陣時大幅度降低計算和內存開銷,而且并沒有明顯影響結果的精確度。此外,通過折中結果的一些精度可以控制近似水平。它獨立于隨后使用的數據挖掘算法并且可以被它們使用。為了闡明近似算法的效果,在其上開發了一個變種的譜聚類算法,此外設計了一個所提出算法的基于MapReduce 的實現。在合成和真實數據集上的實驗結果顯示,所提出的算法可以獲得顯著的時間和空間節省。Christian Kaiser 等還利用MapReduce 框架分布式實現了訓練一系列核函數學習機,該方法適用于基于核的分類和回歸。Christian Kaiser 還介紹了一種擴展版的區域到點建模方法,來適應來自空間區域的大量數據。Yael Ben-Haim 研究了三種MapReduce 實現架構下并行決策樹分類算法的設計, 并在Phoenix 共享內存架構上對SPRINT 算法進行了具體的并行實現。F.Yan 考慮了潛在狄利克雷分配(LDA)的兩種推理方法——塌縮吉布斯采樣(collapsed Gibbssampling,CGS)和塌縮變分貝葉斯推理(collapsedvariational Bayesian,CVB)在GPU 上的并行化問題。為解決GPU 上的有限內存限制問題,F.Yan 提出一種能有效降低內存開銷的新穎數據劃分方案。這種劃分方案也能平衡多重處理器的計算開銷,并能容易地避免內存訪問沖突。他們使用數據流來處理超大的數據集。大量實驗表明F.Yan 的并行推理方法得到的LDA 模型一貫地具有與串行推理方法相同的預測能力;但在一個有30 個多核處理器的GPU 上,CGS 方法得到了26倍的加速,CVB 方法得到了196 倍的加速。他們提出的劃分方案和數據流方式使他們的方法在有更多多重處理器時可伸縮,而且可被作為通用技術來并行其它數據挖掘模型。Bao-Liang Lu 提出了一種并行的支持向量機,稱為最小最大模塊化網絡(M3),它是基“分而治之”的思想解決大規模問題的有效的學習算法。針對異構云中進行大數據分析服務的并行化問題G.Jung 提出了最大覆蓋裝箱算法來決定系統中多少節點、哪些節點應該應用于大數據分析的并行執行。這種方法可以使大數據進行分配使得各個計算節點可以同步的結束計算,并且使數據塊的傳輸可以和上一個塊的計算進行重疊來節省時間。實驗表明,這種方法比其他的方法可以提高大約60% 的性能。在分布式系統方面,Cheng 等人 提出一個面向大規模可伸縮數據分析的可伸縮的分布式系統——GLADE。GLADE 通過用戶自定義聚合(UDA)接口并且在輸入數據上有效地運行來進行數據分析。文章從兩個方面來論證了系統的有效性。第一,文章展示了如何使用一系列分析功能來完成數據處理。第二,文章將GLADE 與兩種不同類型的系統進行比較:一個用UDA 進行改良的關系型數據庫(PostgreSQL)和MapReduce(Hadoop)。然后從運行結果、伸縮性以及運行時間上對不同類型的系統進行了比較。
四、總結 大數據的超大容量自然需要容量大,速度快,安全的存儲,滿足這種要求的存儲離不開云計算。高速產生的大數據只有通過云計算的方式才能在可等待的時間內對其進行處理。同時,云計算是提高對大數據的分析與理解能力的一個可行方案。大數據的價值也只有通
過數據挖掘才能從低價值密度的數據中發現其潛在價值,而大數據挖掘技術的實現離不開云計算技術。總之,云計算是大數據處理的核心支撐技術,是大數據挖掘的主流方式。沒有互聯網,就沒有虛擬化技術為核心的云計算技術,沒有云計算就沒有大數據處理的支撐技術。
參考文獻
秦榮生.大數據、云計算技術對審計的影響研究 何清.大數據與云計算
張為民.云計算: 深刻改變未來
文峰.云計算與云審計———關于未來審計的概念與框架的一些思考
Big data and cloud computing Big Data(Big Data)in recent years, more and more occasions, the concept is mentioned more and more people, And often, and cloud computing together, what is the relationship between cloud computing and big data become a hot topic.this Special report contains the following four aspects: 1.The value of big data;2.Big data challenge;3.Big data research;4.Cloud computing is the mainstream way of data mining.Through this report on our understanding of big data, as well as the understanding of the value of big data, large data processing and mining technology, large data mainly focus on “data”, provide the technology and methods of data collection, mining and analysis;Cloud computing technology focusing on “computing”, providing IT solutions.Big data and cloud computing technology can promote the development of continuous audit mode, the overall audit mode of application, the audit results of comprehensive application, the application of related evidence, the development of efficient data audit and the development of large data auditor.Strengthen big data and cloud computing technology measures of audit applications include set up long-term development strategy, accelerate the construction of the audit regulations, establish a platform, to strengthen research and development and improve the utilization ability.Keywords: big data cloud computing data mining impact on the audit policy Suggestions
第三篇:大數據與云計算的安全
云計算和大數據結合的安全問題
摘要:云計算的浪潮還沒有過去,大數據時代已經到來。在對大數據的含義、特征、影響和意義進行系統總結的基礎上,分析了大數據與云計算的關系,論述大數據和云計算的安全將給消費者和電商帶來更加高效的轉型。
關鍵字:云計算,大數據,電商
所謂通信,最簡單的理解,也是最基本的理解,就是人與人溝通的方法。無論是現在的電話,還是網絡,解決的最基本的問題,實際還是人與人的溝通。現代通信技術,就是隨著科技的不斷發展,如何采用最新的技術來不斷優化通信的各種方式,讓人與人的溝通變得更為便捷,有效。隨著計算機技術的廣泛普及與計算機遠程信息處理應用的發展,云計算和大數據應運而生。、一、大數據的介紹
大數據(Big Data),或稱巨量資料,指的是所涉及的資料量規模巨大到無法通過目前主流軟件工具,在合理時間內達到擷取、管理、處理、并整理成為幫助企業經營決策更積極目的的資訊(在維克托·邁爾-舍恩伯格及肯尼斯·庫克耶編寫的《大數據時代》中大數據指不用隨機分析法(抽樣調查)這樣的捷徑,而采用所有數據的方法)。大數據可分成大數據技術、大數據工程、大數據科學和大數據應用等領域,目前人們談論最多的是大數據技術和大數據應用。大數據技術的戰略意義不在于掌握龐大的數據信息,而在于對這些含有意義的數據進行專業化處理。換言之,如果把大數據比作一種產業,那么這種產業實現盈利的關鍵,在于提高對數據的“加工能力”,通過“加工”實現數據的“增值”。從技術上看,大數據與云計算的關系就像一枚硬幣的正反面一樣密不可分。大數據必然無法用單臺的計算機進行處理,必須采用分布式計算架構。它的特色在于對海量數據的挖掘,但它必須依托云計算的分布式處理、分布式數據庫、云存儲和或虛擬化技術。
二、云計算的介紹
云計算是一種基于互聯網的計算方式,通過這種方式,共享的軟硬件資源和信息可以按需求提供給計算機和其他設備。云是網絡、互聯網的一種比喻說法。過去在圖中往往用云來表示電信網,后來也用來表示互聯網和底層基礎設施的抽象。幾年之內,云計算已從新興技術發展成為當今的熱點技術。云計算從節約成本的工具到盈利的推動器,從ISP(網絡服務提供商)到電信企業,已然成功地從內置的IT 系統演變成公共的服務。然而人們擔心他們在云端的數據安全。正因為此,用戶應該期待看到更安全的應用程序和技術上來。許多新的加密技術,安全協議,在未來會越來越多的呈現出來。其中的安全性和遵從性的問題仍然是阻礙云計算發展的重要原因。三、二者聯系和安全策略
近幾年由于科技的不斷發展,3G網絡視頻通話,移動互聯網、物聯網、智能手機,這些科技產品都一一涌現,充斥著我們的生活,確實互聯網給我們的生活帶來了方便,但同時惡意軟件,黑客入侵電腦,這些人為的破壞,也影響著個人或者企業的信息安全。在這個時候新技術云計算的出現,就給傳統互聯網信息安全帶來了希望,但同時也面臨解決新的安全挑戰。
多種方式應對云計算安全挑戰—云計算給信息安全帶來的挑戰包括:第一,傳統安全產品無法應對云計算環境下的網絡結構和協議。在云計算環境中,可能前端的Web服務器和后端的數據庫都處在一個物理服務器上,這樣它們之間的網絡交互直接用虛擬交換機就可以了,數據根本不經過物理交換機,如果不到物理交換機,則信息安全設備拿不到它的數據,導致對其訪問控制、審計、攻擊的檢測,都沒辦法實現。第二,云計算技術特性帶來一些新的安全需求。云安全架構的一個關鍵特點是云服務提供商所在的等級越低,云服務用戶自己所要承擔的安全能力和管理職責就越多。數據安全包括:數據傳輸、數據隔離、數據殘留。應用安全包括:終端用戶安全、SaaS安全、PaaS安全、IaaS安全。虛擬化安全包括:虛擬化軟件、虛擬服務器等。第三,云計算環境對安全產品的計算性能提出了非常大的挑戰。目前保護信息安全產品的性能已經遠遠落后于網絡設備。大數據將會化解APT(高級持續威脅)危機—近一兩年,APT攻擊是非常熱門的話題。簡單的說就是黑客組織針對一個有價值的目標,進行長期、緩慢的,但是非常有技術含量的攻擊。我們知道未來大數據和云計算將推動下一代安全數據的創新。大數據和云計算擴展了整個IT領域的計算和存儲資源,給信息安全提供了信息平臺和大數據處理的技術支撐,為整個信息安全產品的革新創造了一個更大的可能性。其中數據加密就是對數據信息的重新組合,只有在收發雙方的基礎上才能夠還原網絡信息,數據加密技術能夠確保校園網內部信息數據的安全性與完整性,并具有一定的保密作用,從某種意義上來說它是其他安全技術的基本保證,經過加密的網絡數據能夠確保數據在收錄、傳輸、使用及轉換中不被第三方得知數據信息內容。
綜上所述:大數據是本,云計算是術,移動互聯網是用。三者緊密結合在一起才能讓整個信息安全系統更有效的服務現代人們的生活。在大數據環境下,即高流量、巨大海量數據、高可靠性。更多需要通過檢測、分析、發現及預警的安全保障體系,實現可靠性、可用性與安全性的完美結合;利用大數據分析,可提前、精確、有效地發現已知或未知的安全威脅;可實現數據訪問的記錄、分析及取證;可實現有效、精確地發現隱私數據的檢測分析與防護。安全檢測與大數據技術結合,利用云計算能力及大數據處理機制實現信息訪問和審計,安全威脅智能的發現,隱私數據的保護。
參考文獻:《大數據時代》--[英]維克托·邁爾-舍恩伯格(ViktorMayer-Sch?nberger)--浙江人民出版社
電子圖書:《云計算安全指南》--Ronald L.Krutz,Russell Dean Vines(著)張立強(譯)
姓名:孫飛龍
學號:12901337
學院:信息工程學院
第四篇:云計算論文
淺談云計算
白娟
(運城學院 信息管理與信息系統 1106)
【摘要】云計算是當前計算機領域的一個熱點。它的出現宣告了低成本提供超級計算時代的到來。云計算
將改變人們獲取信息、分享內容和互相溝通的方式。此文闡述了云計算的簡史、概念、特點、保護和發展前景,并對云計算的發展及前景進行了分析。
【關鍵詞】云計算特點,云計算保護,云計算發展前景
1.云計算相關知識
1.1簡史
1983年,太陽電腦(Sun Microsystems)提出“網絡是電腦”(“The Network is the Computer”),2006年3月,亞馬遜(Amazon)推出彈性計算云(Elastic Compute Cloud;EC2)服務。
2006年8月9日,Google首席執行官埃里克·施密特(Eric Schmidt)在搜索引擎大會(SES San Jose 2006)首次提出“云計算”(Cloud Computing)的概念。Google“云端計算”源于Google工程師克里斯托弗·比希利亞所做的“Google 101”項目。
2007年10月,Google與IBM開始在美國大學校園,包括卡內基梅隆大學、麻省理工學院、斯坦福大學、加州大學柏克萊分校及馬里蘭大學等,推廣云計算的計劃,這項計劃希望能降低分布式計算技術在學術研究方面的成本,并為這些大學提供相關的軟硬件設備及技術支持(包括數百臺個人電腦及BladeCenter與System x服務器,這些計算平臺將提供1600個處理器,支持包括Linux、Xen、Hadoop等開放源代碼平臺)。而學生則可以通過網絡開發各項以大規模計算為基礎的研究計劃。
2008年1月30日,Google宣布在臺灣啟動“云計算學術計劃”,將與臺灣臺大、交大等學校合作,將這種先進的大規模、快速將云計算技術推廣到校園。
2008年2月1日,IBM(NYSE: IBM)宣布將在中國無錫太湖新城科教產業園為中國的軟件公司建立全球第一個云計算中心(Cloud Computing Center)。
2008年7月29日,雅虎、惠普和英特爾宣布一項涵蓋美國、德國和新加坡的聯合研究計劃,推出云計算研究測試床,推進云計算。該計劃要與合作伙伴創建6個數據中心作為研究試驗平臺,每個數據中心配置1400個至4000個處理器。這些合作伙伴包括新加坡資訊通信發展管理局、德國卡爾斯魯厄大學Steinbuch計算中心、美國伊利諾伊大學香賓分校、英特爾研究院、惠普實驗室和雅虎。
2008年8月3日,美國專利商標局網站信息顯示,戴爾正在申請“云計算”(Cloud Computing)商標,此舉旨在加強對這一未來可能重塑技術架構的術語的控制權。
2010年3月5日,Novell與云安全聯盟(CSA)共同宣布一項供應商中立計劃,名為“可信任云計算計劃(Trusted Cloud Initiative)”。
2010年7月,美國國家航空航天局和包括Rackspace、AMD、Intel、戴爾等支持廠商共同宣布“OpenStack”開放源代碼計劃,微軟在2010年10月表示支持OpenStack與Windows Server 2008 R2的集成;而Ubuntu已把OpenStack加至11.04版本中。2011年2月,思科系統正式加入OpenStack,重點研制OpenStack的網絡服務。1.2概念
狹義云計算是指計算機基礎設施的交付和使用模式,指通過網絡以按需、易擴展的方式獲得所需的資源(硬件、平臺、軟件)。提供資源的網絡被稱為“云”。“云”中的資源在使用者看來是可以無限擴展的,并且可以隨時獲取,按需使用,隨時擴展,按使用付費。
廣義云計算是指服務的交付和使用模式,指通過網絡以按需、易擴展的方式獲得所需的服務。這種服務可以是計算機和軟件、互聯網相關的,也可以是其他的服務。云計算是并行計算(Parallel Computing)、分布式計算(Distributed Computing)和網格計算(Grid Computing)的發展,或者說是這些計算機科學概念的商業實現。云計算是虛擬化(Virtualization)、效用計算(Utility Computing)、IaaS(基礎設施即服務)、PaaS(平臺即服務)、SaaS(軟件即服務)等概念混合演進并躍升的結果。1.3云計算特點
被普遍接受的云計算特點如下:(1)超大規模
“云”具有相當的規模,Google云計算已經擁有100多萬臺服務器,Amazon、IBM、微軟、Yahoo等的“云”均擁有幾十萬臺服務器。企業私有云一般擁有數百上千臺服務器。“云”能賦予用戶前所未有的計算能力。
(2)虛擬化
云計算支持用戶在任意位置、使用各種終端獲取應用服務。所請求的資源來自“云”,而不是固定的有形的實體。應用在“云”中某處運行,但實際上用戶無需了解、也不用擔心應用運行的具體位置。只需要一臺筆記本或者一個手機,就可以通過網絡服務來實現我們需要的一切,甚至包括超級計算這樣的任務。
(3)高可靠性
“云”使用了數據多副本容錯、計算節點同構可互換等措施來保障服務的高可靠性,使用云計算比使用本地計算機可靠。
(4)通用性
云計算不針對特定的應用,在“云”的支撐下可以構造出千變萬化的應用,同一個“云”可以同時支撐不同的應用運行。
(5)高可擴展性
“云”的規模可以動態伸縮,滿足應用和用戶規模增長的需要。(6)按需服務
“云”是一個龐大的資源池,你按需購買;云可以像自來水,電,煤氣那樣計費。(7)極其廉價
由于“云”的特殊容錯措施可以采用極其廉價的節點來構成云,“云”的自動化集中式管理使大量企業無需負擔日益高昂的數據中心管理成本,“云”的通用性使資源的利用率較之傳統系統大幅提升,因此用戶可以充分享受“云”的低成本優勢,經常只要花費幾百美元、幾天時間就能完成以前需要數萬美元、數月時間才能完成的任務。
云計算可以徹底改變人們未來的生活,但同時也要重視環境問題,這樣才能真正為人類進步做貢獻,而不是簡單的技術提升。
(8)潛在的危險性
云計算服務除了提供計算服務外,還必然提供了存儲服務。但是云計算服務當前壟斷在私人機構(企業)手中,而他們僅僅能夠提供商業信用。對于政府機構、商業機構(特別象銀行這樣持有敏感數據的商業機構)對于選擇云計算服務應保持足夠的警惕。一旦商業用戶大規模使用私人機構提供的云計算服務,無論其技術優勢有多強,都不可避免地讓這些私人機構以“數據(信息)”的重要性挾制整個社會。對于信息社會而言,“信息”是至關重要的。另一方面,云計算中的數據對于數據所有者以外的其他用戶云計算用戶是保密的,但是對于提供云計算的商業機構而言確實毫無秘密可言。所有這些潛在的危險,是商業機構和政府機構選擇云計算服務、特別是國外機構提供的云計算服務時,不得不考慮的一個重要的前提。
2.云計算的隱私保護和發展前景
2.1淺談云計算環境下的隱私權保護
目前,云計算受到產業界的極大推崇并推出了一系列基于云計算平臺的服務。但在已經實現的云計算服務中,安全問題一直令人擔憂,以至于使得安全和隱私問題成為云計算普及過程中面臨的一個巨大挑戰。文章主要探討云計算的隱私問題。在概述網絡隱私權特點的基礎上,指出了云計算環境下隱私的特殊性,分別從客戶端、網絡傳輸、服務器端三個方面闡述了網絡隱私權存在的安全隱患。最后,從法律、技術、監管等方面分析了云計算環境下隱私權保護的方案。
互聯網以及與之相關的產業發展日新月異,云計算(Cloud Computing)作為一種新的服務模式,受到各方的關注,特別是在產業界受到極大的推崇。目前,幾乎所有著名IT公司的戰略重點中都涉及了云計算,并推出了一系列基于云計算平臺的服務。Amazon的EC2和Google的Google App Engine都是典型的云計算服務,它們使用Internet來連接外部用戶,把大量的軟件和IT基礎設施作為一種服務對外提供。此外,還有微軟的Live Meeting、Cisco的WebEx、IBM的“藍云”等等。
但是,目前的云計算有其“先天性”不足,對于廣大網民來說,首當其沖的就是隱私保護問題。正如美國軍事安全專家格雷格?康蒂(GregConti)所擔心的:云計算在給人們帶來巨大便利的同時,該服務中所存在的不足也將危及企業用戶和普通網民的隱私安全。據世界隱私論壇近日發布的一份報告聲稱,如果企業期望通過利用云計算服務來降低IT成本
和復雜性,那么首先應保證這個過程中不會帶來任何潛在的隱私問題。IDC對CIO和IT主管的調查也顯示,安全仍是云計算主要關注的問題,大約75%的人表示他們擔心云計算安全問題(包括隱私安全)。由此可見,隱私安全問題是云計算發展的最主要障礙之一。2.2云計算的發展前景
云計算被視為科技業的下一次革命,它將帶來工作方式和商業模式的根本性改變。首先,對中小企業和創業者來說,云計算意味著巨大的商業機遇,他們可以借助云計算在更高的層面上和大企業競爭。自1989年微軟推出Office辦公軟件以來,我們的工作方式已經發生了極大變化,而云計算則帶來了云端的辦公室——更強的計算能力但無須購買軟件,省卻本地安裝和維護。
其次,從某種意義上說,云計算意味著那些對計算需求量越來越大的中小企業,不再試圖去買價格高昂的硬件,而是從云計算供應商那里租用計算能力。在避免了硬件投資的同時,公司的技術部門可以節省大量的技術維護時間。以亞馬遜為例,其云計算產品價格便宜,吸引了大批中小企業,甚至《紐約時報》、紅帽等大型公司。
[6] 云計算對商業模式的影響體現在對市場空間的創新上。Google Apps是關于創新的理論中的新市場創新。當互聯網變得越來越快和可依賴,用戶正從桌面電腦上的軟件應用轉向基于互聯網的應用。同時,云計算開發新產品拓展新市場的成本非常低。比如,如果用戶對Gmail的需求突然出現猛增,谷歌的云計算系統會自動為Gmail增加容量和處理器的數量,無需人工干預,而且增加和調整都不增加成本。依賴云計算,谷歌能以幾乎可以忽略不計的成本增加新的服務。有觀點認為,云計算受到熱捧的背后,還反應了超級計算機市場的角力。超級計算機應用一度因需要非常昂貴的硬件投入而面臨極高的推廣門檻,云計算卻宣告了低成本提供超級計算服務的可能,一旦云計算得到了廣泛的推廣,可以樂觀地估計,超級計算機市場的春天即將到來。參 考 文 獻
[1]武星,王旻超,張武,李青.云計算研究綜述[J].科技創新與生產力,2011,06:49-55.[2]劉曉樂.計算機云計算及其實現技術分析[J].電子科技.2009(12)[3]葉曉勇.簡述云計算[J].黑龍江科技信息.2009(24)[4] 王麗安.Internet云計算技術[J].科協論壇(下半月).2011(10)[5]狄明遠,周鐵城.云計算淺析[J].科技風.2009(13)社,2004年9月出版; [6] 張亞東.淺談云計算發展現狀與趨勢[J].科技致富向導.2011(12)[7] 唐紅,徐光俠.云計算研究與發展綜述[J].數字通信.2010(03)
[8] 李曉偉,沈艷秋.云計算及其發展進程[J].科技信息.2011(15)
第五篇:云計算和大數據下在線教育研究
云計算和大數據環境下的在線教育研究
1.引言
當前云計算和大數據技術的出現,面對在線教育交互中產生的大量復雜數據,可以實現識別、分析、挖掘并組織隱含在學習者交互過程中的結構化、非結構化數據信息,開發交互過程數據的價值,發現其隱性訴求并預測學習支持服務趨勢,并以其為導向改進和拓寬在線教育服務,達到在線教育服務與學習者需求的雙向平衡。本文就是立足于對在線教育的交互瓶頸和需求分析,構建基于大數據和云計算支持的在線教育交互平臺模型。重點研究交互平臺功能實現,使在線的學習者和教師可以實現完美的在線交互活動,并且對交互的數據進行深入挖掘分析,解決目前在線教育所面臨的弊端。
2.在線教育交互平臺現狀分析
在線教育交互分為個別化交互和社會性交互,前者是學習者和學習資料之問的交互,后者是學習者和教師或者學習者之問的交互,社會性交互是提高在線教育交互水平的關鍵因素。隨著在線教育的交互信息資源增加,在線學習者和在線教師的需求不斷發展和提高,在線教育出現了許多問題。
針對服務應用。目前在線教育的交互平臺缺乏統一身份認證體系,需要進行身份重復驗證,給用戶造成不便同時給系統增加安全隱患;缺乏統一的應用展現,用戶信息分散在各個應用中,且服務功能重復,堆砌浪費;使用方法、界面和質量不統一,給平臺使用和維護管理造成不便。在線學習時間的碎片化趨勢對學習者的終端設備要求很高,造成學習質量下降;缺乏跨終端的資源共享系統,影響學習效率和滿意度,改變終端學習,增加數據丟失、病毒入侵等安全問題。
針對信息資源的存儲和分析挖掘。隨著在線學習者和在線教師的服務需求日益個性化和專業化,對于服務質量也越來越看重,在線教育交互平臺必須根據在線學習者和在線教師的需求作出相應的策略改變,以適應服務需求的不斷改變和提高。由于在線教育是基于互聯網的學習方式,學生和學習資源、教師與學生、學生與學生之間的交流是通過網絡全方位進行,所以需要通過對學習交流的分析挖掘出在線學習者和教師的需求。在線教育的信息資源總量日益增大,主要的數據資源包括結構化和非結構化信息,以及在線教育平臺內部以異構化數據為主的相關信息,且每天以大量的非結構化數據和異構性數據資源為主。但是目前對于這些異構性數據和非結構化數據的記錄、存儲和統計技術,完全不能滿足在線教育交互平臺的數據需求。因此對平臺產生的結構化、非結構化、異構性大量數據進行分析和深度挖掘潛在價值成為必然,為在線學習者和教師反饋快速、及時、高效、安全的信息分析結果。3.在線教育交互平臺應用云計算和大數據
3.1 云計算和大數據與在線教育交互平臺
云計算是通過互聯網絡龐大的計算處理能力,將待處理程序自動分拆成無數個較小的子程序,再交由多部服務器所組成的龐大系統經搜尋、計算和分析,最后將處理結果回傳給用戶。大數據技術是數據分析的前沿技術,需要從各種各樣類型的數據中,快速獲得有價值信息的能力,是需要新處理模式才能實現更強的決策力、洞察發現力和流程優化能力的海量、高增長率和多樣化的信息資產。云計算強調的是動態計算能力,大數據注重的是靜態的計算對象。云計算彌補了目前大數據的存儲和運行的最大問題,就是提供了運算平臺,而大數據則運用分布式處理手段應用于這個平臺之上,兩者是相輔相成的關系。
云計算與大數據結合應用,前者強調計算能力,后者看重存儲能力。大數據需要處理大量復雜數據的能力,包括數據獲取、整理、轉換、統計,即強大的計算能力,而云計算需要大量數據作為運算的基礎,所以兩者的結合是必然趨勢。實際應用中,云計算的出現和興起促進了大數據的廣泛應用,而大數據和云計算的結合應用更是出現在許多領域,現已擴展到公共問題領域。但是目前還沒有進入在線教育行業。
借助云計算的優勢,在線教育交互平臺上的用戶無需考慮在線學習時終端設備的運算、存儲和負載能力的問題,可以更好的實現教育資源共享和教育網絡協同工作,大幅度提高教育資源的利用率和運行效率。云存儲屏蔽了數據丟失、病毒入侵等問題,保障了數據安全和用戶信息私密,是在線教育交互平臺最安全可靠的數據存儲中心。用戶使用終端設備訪問教育資源進行在線學習和交流,都會產生并積累大量結構化和非結構化數據,不僅體量大而且增長速度很快。其中非結構化數據已占數據總量的八成以上,但目前的數據分析處理算法和軟件不能達到對非結構化數據的處理要求。大數據技術的應用卻可以高速實時處理在線教育平臺產生的復雜海量數據,為在線教育平臺實時洞察學習者的變化、把握學習者的需求、提高教育質量提供支持。對在線教育平臺上大量的不相關信息,進行深度復雜分析,為未來教育需求趨勢提供預測分析,這是應用大數據的在線教育與傳統在線教育本質的不同。
3.2 基于云計算和大數據的在線教育交互平臺應用模型分析
根據上述分析,隨著在線教育日益同質化,在線教育機構需要在保障教育資源豐富和高質量的同時,更好的分析在線學習者和教師的偏好,為平臺的每個用戶提供有針對性的個性化服務。下面將利用云計算和大數據的優勢構建符合學習者和教師需求的高質量在線教育交互平臺模型,如圖1所示。
應用云計算和大數據技術的在線教育交互平臺主要分為用戶應用服務層、數據資源處理層、基礎設施硬件層三部分,依次分析三部分功能實現。
3.2.1用戶服務應用層
在線教育交互平臺的用戶主要為兩類,即在線教師和在線學習者。針對不同的用戶,訪問的授權和界面不同,盡可能為用戶提供個性化的精準服務,主要表現為屬于用戶自己的展現網頁。服務應用內容主要分為四類,包括在線教學內容、教學管理、交流互動和學習管理,如圖2所示。
服務應用層是資源對外交互的窗口,是用戶使用資源的橋梁,與用戶體驗的便捷性有很大關系。因此應用服務層是根據用戶需求,對信息資源請求重構和提供,實現信息資源的服務分類,用戶享受個性化的服務資源。
平臺對每個用戶展現的內容是不相同的。針對教師,平臺實時反饋在線學習者的情況和分析結果,尤其是對學習者的學習風格和偏好的分析,實時跟蹤學生在課前、課中和課后的情況,完成課程反饋,對學生在平臺上的行為、學習記錄智能跟蹤記錄分析。針對學習者,構成學習、答疑、測評、互動四位一體的學習模式,運用豐富的學習資源,根據后臺的數據挖掘。提供學習進度安排和個性化的學習方案。實現以學生為中心的在線教育方式。實現自主個性化學習、個性化即時筆記、針對性課程復習和測評,多方式在線交互的方式。
在線教育交互平臺的用戶看到的是良好的服務交互界面,無需知道后臺數據資源整合過程,完全由平臺的數據資源處理層完成,所以擁有更好的用戶體驗。平臺是所有教學資源的集散地,整合資源方便統一管理和使用,同一份資源,只需保存一份,通過資源關聯,可以在任意系統中快速調用。同時避免數據庫急劇增長,極大地減輕網絡負荷,減少用戶和平臺的工作時間,維持資源唯一性,資源發生更改時所有使用該資源的應用均自動更新。
3.2.2數據資源處理層
中問層是數據資源處理層,主要為三部分。第一部分是對數據進行標準化處理,第二部分是進行數據挖掘分析整合。第三部分是數據庫。中問層的核心是第二部分,也是在線教育交互平臺的核心。如圖3所示。
面對迅速增加的復雜數據,在線教育交互平臺利用云計算和大數據進行現代數據管理,支持所有數據類型,如文件、圖片、視頻、博客、點擊流和地理空問數據等,并以“云存儲”持久存儲于數據中心,保持數據實時更新,實現數據共享、分析、發現、整合和優化數據,提升數據價值。
利用負載平衡優勢,有效透明地擴展網絡設備和服務器的帶寬、增加在線教育交互平臺的吞葉量、加強平臺網絡數據處理能力、提高服務的靈活性和可用性。面對用戶大量的并發訪問或數據流量,可以分擔到多臺設備上處理,減少教師和學習者的等待響應的時間;同時做并行處理,處理結果匯總返回到在線交互平臺,平臺系統處理能力得到大幅度提高。
離線數據是用戶訪問的各種數據庫中的信息資源,是從服務器端、客戶端、代理服務器端中采集的用戶訪問信息和行為信息。利用大數據技術進行數據處理,清除不需要的數據,用聚類、分類等算法對處理之后的數據進行模式分析,成立樣本數據資源為數據流挖掘分析作準備。在線數據是由于數據流的動態性和流量大的特點,在實現數據流挖掘時,對流入的數據流,利用云計算做到占用內存少,處理速度快,實現關聯規則、分類和聚類的挖掘。
整合數據是將離線數據作為樣本庫的參考,對在線數據進行分析,及時有效的反饋結果,并且隨著時間的推移和用戶對信息資源的需求改變,及時更新資源分析結果。通過數據挖掘過程,對數據過濾、分析和整合,建立多資源分類結果,按照用戶的不同需求進行決策,形成索引為用戶訪問和使用服務提供便利。整合數據主要是為整合用戶做準備,將用戶的信息資源進行相似度分析,對于類似的用戶歸類,進行同類信息資源的分配。根據在線學習者的基本信息、學習風格、學習滿意度和學習感知四維度的服務需求,可實現用戶的定制服務、個性化服務、精準服務,便于用戶方便提取自己需要的資源。最后將用戶需要的資源根據授權不同。做統一標準化處理。上傳至服務應用層,展現于用戶的界面。
4.基于云計算和大數據的在線教育交互平臺應用優勢
云計算和大數據結合對在線教育的發展具有巨大的促進作用,不僅是針對提供的服務,更是對教育發展的促進,增強在線教育的核心競爭力,保持在線教育的健康發展。4.1實現針對不同用戶的個性化精準服務
在從以資源為核心的在線教育平臺建設到以用戶為核心的個性化在線教育平臺建設過程中,最主要的變化的就是針對不同用戶提供不同的個性化服務。而云計算和大數據的應用就在于加強對在線教育的平臺用戶研究與交互數據的分析利用。并基于分析結果。改善服務內容,提升個性化服務的質量,完成平臺對用戶的跟蹤服務、精準服務、知識關聯服務和宣傳推廣服務。面對平臺快速增長的數據,從中提取有價值的信息,實時分析反饋,建立不同類別的用戶模型,達到針對不同用戶提供針對性服務、增強用戶體驗、提高服務質量的目標。即使分析的數據源相同,但是由于提供對象不同,分析結果會不同,提供的服務也不同,做到精準服務。即使是同類用戶,針對不同的個體,分析數據源不同,結果不同,提供的服務也不盡相同,做到個性化服務。
4.2提供教育發展動向以及熱點的變化
通過大數據和云計算技術,改變了被動更新教學資源的情況,變成根據在線學習者的需求主動更新資源,提升了在線教育平臺的作用。不僅為在線學習者提供了需要的學習資源,也為在線教師提供更有質量的教學資源和研究依據。在線教育交互平臺通過對用戶數據的收集、整理、分析、深度挖掘和匯總,在宏觀上分析相關教育領域的發展動向和熱點變化,更快地洞察最新的學習者興趣走向,以及相關領域的內容進展,更新在線平臺的學習資源,并且保證學習內容的實時性和前沿性。同時通過匯總結果有效評估在線學習者對各種教學資源的使用情況,并且根據熱點分析和目前已有教學資源交叉對比,可以有效評估教學資源的質量,利于在線教育交互平臺持久發展。4.3提供無限量的數據存儲能力和更可靠的數據安全性
隨著在線教育交互的發展,信息數據量迅猛增長,產生出大量的半結構化、非結構化信息數據,對存儲的要求愈加嚴格。云計算的出現使得海量數據的存儲與運算得到了解決,分布式存儲的方式可以持續收集大量數據,不會造成存儲空問的不足。在線教育交互平臺應用“云存儲”方式,保證存儲數據的可靠性,并能夠實時更新,有效解決海量數據資源的查詢、管理等問題。云計算使用數據多副本容錯、設備同構可互換等手段來保障平臺的數據存儲安全。數據存儲到“云”中,不會受到計算機病毒或硬盤損壞造成的數據丟失。同時解放了用戶對終端設備能力的要求。4.4提高在線教育交互平臺管理能力
應用云計算和大數據的在線教育交互平臺,能夠面向具體應用的數據需求,做到快速、及時和有效地響應。根據需求的變化和增長,平臺具有很好的性能擴展空問和擴容時穩定和可靠的支持,高效處理多種類型數據。在線教育機構以此平臺為基礎利用云計算技術和大數據的優勢,充分挖掘自身數據價值,實現數據資產從成本中心到利潤中心的轉變。通過整合數據資產,對數據資產進行標準化,形成靈活可擴展、易于更新、可管控的、可隔離、綠色環保的高效分析型數據管理交互平臺,實現支持標準開發、用戶自服務、多元化開發多種應用支持模式,形成松禍合、可異構的基礎數據和應用數據兩級數據管理層次。同時,在線教育機構可以駕馭自身數據資產,全面提升平臺的數據信息管理能力,盡力獲取對在線學習者和在線教師的洞察,以數據驅動在線教育的發展。
5.結論
對于在線教育交互這個重要研究領域而言,云計算和大數據技術的出現不僅影響著在線教育交互的形態,也為交互信息分析提供了新的思路和手段。一方面,新的技術使交互行為不斷向著實時化和碎片化的方向發展,使交互過程日益復雜;另一方面,新的技術又使獲得大量交互數據、特別是行為數據成為了可能,從而有更多了解在線學習過程和進行教學決策的依據。在線教育交互作為信息服務,盡管在線教育交互平臺有資源的優勢,但在技術等方面的劣勢也限制了其本身的發展。本文構建基于大數據和云計算支持的在線教育交互平臺模型,分析平臺的功能實現,使在線的學習者和教師可以實現完美的在線交互活動,總結出利用云計算和大數據的在線教育交互平臺的特點優勢。因此,在線教育交互平臺的快速發展需要利用云計算和大數據創新提升在線教育交互的核心競爭力。