大數據時代的挑戰、價值與應對策略

【摘要】在社會的發展之下，人們已經全面進入了大數據時代，在這一時代中，人們的生活與工作方式發生了極大的改變，本文主要分析大數據時代的挑戰、價值以及相關的應對策略。

【關鍵詞】大數據時代；挑戰；價值；應對策略

當今社會，互聯網、物聯網、云計算等技術高速發展，視頻監控技術、智能終端系統、手機應用等也快速進入人們的視線，普及量日益見長。隨之而來，全球數據量也呈現出指數式的增加，以太字節為單位的數據時代已經到來了。

面對以太字節為單位的大數據時代，電信運營商的網絡擴容每秒都在無限量的增加，但其收益卻沒有因此而增加多少。一些公司為了提高其生產力，采用“數據驅動型決策”模式取得了顯著成效。

那么在大數據時代，人們可以做什么呢？人們可以通過技術對海量的數據進行分析，得到用戶的喜好和行為，例如，在因材施教方面，學校和老師可以通過大數據來分析學生的個性和愛好，以此來進行教學，增強老師的教育工作能力，同時也提高了學生的學習效率，事半功倍。在公司管理方面，公司可以通過對公司各項數據的分析，開源節流，建立起精細型管理模式，提高公司發展水平。在產品生產方面，通過對大數據的分析，優化產品生產結構，合理規劃生產流程，提高產品生產能力。

一、大數據時代的特征。

全球知名的咨詢公司麥肯錫最早提出了

“大數據時代”。現在人們用“大數據”來定義信息爆炸時代產生的海量數據。關于多少的數據量可以稱得上是“大數據”，到目前為止，還尚未達成共識。一般認為，大數據應該在10TB至1PB（P為T的1024被）以上。其特征主要有四個。

（一）數據量大——核心特征

大數據時代之所以稱之為“大”，就是其量大。數據量已經進入以太字節為單位了，其包含數量之廣是我們難以相信和預測的。據統計，2009年，全球信息量已經達到了80萬PB（1021字節），2010年比2009年增加了40萬PB，達到了120萬PB。120萬PB是什么概念呢？就是把這些字節刻錄在DVD上面，再把這些刻錄了120萬PB數據的DVD疊放在一起，可以從地球到月球疊放一個來回。

（二）種類繁多

這里的“多”指的是數據形式的多樣性。在這個時代，網頁，圖片，視頻，音頻，文字等各種形式的數據承載方式，數據結構繁多，在2012年半結構化和非結構化的數據占全球網絡數據量的85%左右。

（三）速度快

大數據時代的一個基本特征就是傳播速度之“快”，現在不僅僅是傳播速度，就是處理數據的速度因為軟件工程的日新月異和人工智能的發展，也在急速增加。

（四）價值密度低

因為過多的數據和無處不在的信息感知，信息的價值密度相對較低，如何從海量的數據中提取出我們確實需要的數據，成為了大數據時代的一大難題。

二、大數據時代的挑戰

（一）數據洪流的急速發展使得運營商的帶寬能力更不上，適應能力亟待提高。

運營商的帶寬雖然也在不停的發展，但遠遠比不上數據的指數式增長，因此目前日益增長的數據傳輸能力和現有的帶寬承載能力無法相匹配。

（二）數據量大、形式多樣以及快速等特征也對數據的處理和存儲提出了全新的要求。

那么多的數據，那么多樣化的數據，快速更新的數據要求更加寬大，更加便利的軟件工程和人工智能來處理和存儲，單單的人腦已經無法滿足數據的需求。

（三）在大數據時代，海量的數據往往為網絡罪犯和黑客提供了可乘之機。

他們利用海量的數據作為反追蹤的利器。海量的數據也為他們的作案工具和作案手法提供了新思路。例如我們熟知的APT（高級持續性安全威脅），一些小團體就是利用了先進的數據攻擊手段對特定目標進行長期的持續性網絡攻擊。

（四）一些個人或者企業通過非法手段竊取了某些用戶的私人數據，并用這些數據非法分析用戶的行為和愛好，一些企業的商業機密也在海量的數據中被泄露出去。

因此個人隱私和企業利益在大數據時代中受到了重大的沖擊和損害。如何保護個人和企業的利益成為關鍵。

（五）在海量的數據面前，數據是否真實，這點顯得有些撲朔迷離。

“去偽存真”就成了十分重要的一項工作。但其方法和過程之分復雜。我們首先需要了解需要數據的基本特點，根據其特點來對已有的數據進行篩選，接著把已經篩選出來的數據進行分析和清理，通常是用相關工具和分析模型賴進行評估，看看結果是否符合我們需要的數據的基本特點。最后把已經分析出來的我們需要的數據進行整理和呈現。

三、大數據時代的應對策略

面對上述五個挑戰，我們需要措施來應對以適應更好的大數據時代的發展。

（一）面對帶寬不足的問題，電信運營商已經想出了初步的解決辦法，它們將以智能管道與聚合平臺作為基礎，將擴大流量規模、提升流量層次和豐富流量內涵三者并駕齊驅，把釋放流量價值作為導向，實現大數據和云計算的深層次結合。

（二）面對大數據時代的特征帶來的挑戰，這需要惠普、IBM、微軟等IT巨頭們攜手共進，全方面加強科技創新，通過軟件工程和人工智能的創新發展來擴大數據存儲容量，增加數據存儲方式，提高數據分析效率，讓海量的數據更好的為我們服務。

（三）面對APT帶來的安全威脅，政府需要借助大數據來創新處理技術。

針對APT的的單點隱蔽強、攻擊路徑不定等特點，在全流量審計方面，需要加強事時流量監測能力和事后回溯的能力，并且提高安全工作人員的分析素質，把計算機存儲和運算能力相結合，運做出一套完整的解決反APT方案。

（四）面的個人隱私安全，最主要的是加強信息加密的可靠性，防止信息被盜。

用戶在登錄網頁時填寫的用戶名和密碼在存儲和傳輸時的路徑都需要加密。同時網站不能用用戶信息作為謀取私利的工具。另外，還需要對存儲信息的硬盤進行加密和保護，防止因硬盤被盜而資料外泄。除此以外，國家也可以通過加強立法來規范數據安全，保護個人隱私和商業機密。

（五）面對“去偽存真”的冗雜工作，一方面我們需要建立有效的分析模型，提高分析數據的能力和效率，節省數據分析時間。

另一方面，在輸入數據的時候，提高篩選能力，利用人工智能自動篩選數據，節省人力成本。另外，也需要提高工作人員的數據分析能力，盡可能掌握好大數據的存儲、分類、挖掘能力，以應變各種可能的情況。

大數據時代已經到來，各行各業乃至我們自身都在不斷的積累數據、運用數據、產生數據、傳輸數據。Gary

King作為哈佛量化社會科學研究所主任，他提出：“我們的確正在起航。在龐大的新數據來源的支持下，量化的前進步伐將會踏遍學術、商業和政府領域。沒有一個領域可以不被觸及。”既然大數據時代已經避無可避，作為大數據的擁有者和統計人，我們所要做的就是順應時代，跟上時代，懂得什么是大數據，如何運用大數據。用大數據來提高企業發展，支撐社會進入，振興中華民族。

參考文獻：

[1]程蓮娟.美國推進大數據的應用實踐及其有益借鑒——基于圖書館視角的分析[J].情報資料工作.2013(05)

[2]程開明,陳龍.大數據時代的統計挑戰與應對[J].中國統計.2013(08)

[3]沈曉雨.大數據時代下的服務需求管理新思路[J].商場現代化.2013(20)