“大數(shù)據(jù)”時(shí)代計(jì)算機(jī)信息處理技術(shù)探索

現(xiàn)代社會(huì)中無論是計(jì)算機(jī)的硬件設(shè)施還是軟件的技術(shù)水平的提升不斷更新?lián)Q代，大量數(shù)據(jù)應(yīng)運(yùn)而生，數(shù)據(jù)機(jī)構(gòu)和數(shù)據(jù)的儲(chǔ)存不斷的發(fā)生著巨大的改變。創(chuàng)新的數(shù)據(jù)的不斷升級(jí)為計(jì)算機(jī)信息處理技術(shù)提出了更高的要求，同時(shí)帶來了更大的機(jī)遇和挑戰(zhàn)。對(duì)于數(shù)據(jù)處理的精確性和高效性，提供了關(guān)心，進(jìn)而使他被運(yùn)用的數(shù)量和重視的程度都特別高。

1“大數(shù)據(jù)〞的概念與特點(diǎn)

1．1大數(shù)據(jù)的概念

大數(shù)據(jù)時(shí)代，信息的數(shù)據(jù)量不斷的上漲，這樣等待處理的數(shù)據(jù)十分浩大，目前的計(jì)算機(jī)主流軟件在短時(shí)間內(nèi)無法實(shí)現(xiàn)對(duì)其進(jìn)行獲取、處理、存儲(chǔ)、傳輸、管理等方面的功能，它不僅包括數(shù)據(jù)量大，同時(shí)還包括數(shù)據(jù)比較難以處理、冗雜多樣，同時(shí)在處理的過程中，還會(huì)出現(xiàn)數(shù)據(jù)處理的重復(fù)性。對(duì)于大數(shù)據(jù)的數(shù)據(jù)量大到什么程度，目前還沒有一個(gè)統(tǒng)一的標(biāo)準(zhǔn)，一般認(rèn)為數(shù)據(jù)量在10tB－1pB(1tB=1024gB，1pB=1024tB)以上的數(shù)據(jù)為大數(shù)據(jù)。

1．2大數(shù)據(jù)的特點(diǎn)

1．2．1數(shù)量大

大數(shù)據(jù)的產(chǎn)生是基于大量數(shù)據(jù)信息處理而產(chǎn)生的，需要運(yùn)用計(jì)算機(jī)技術(shù)處理數(shù)據(jù)的量越來越大，從tB及已經(jīng)進(jìn)展到pB技術(shù)的數(shù)據(jù)處理。

1．2．2速度快

海量的數(shù)據(jù)，就需要高速度的對(duì)數(shù)據(jù)進(jìn)行處理，這樣才能滿足使用者對(duì)信息數(shù)據(jù)的需求，假如大數(shù)據(jù)的處理出現(xiàn)滯后，將不利于信息的傳播與擴(kuò)大。

1．2．3種類多

隨著信息技術(shù)在生活應(yīng)用中普及，現(xiàn)代人們對(duì)信息的需求日益多樣化，信息數(shù)據(jù)的來源也越來越多樣化，結(jié)構(gòu)化和半結(jié)構(gòu)化的原始數(shù)據(jù)也出現(xiàn)了多樣化，使得大數(shù)據(jù)呈現(xiàn)出多樣化的進(jìn)展趨勢(shì)。

2“大數(shù)據(jù)〞時(shí)代的計(jì)算機(jī)信息處理技術(shù)要點(diǎn)

2．1分布式處理技術(shù)

分布式數(shù)據(jù)處理，主要是為了實(shí)現(xiàn)數(shù)據(jù)的分布式存儲(chǔ)和處理的一種方式，它是由谷歌公司提出的gFs技術(shù)。它采納了存儲(chǔ)列的概念，對(duì)數(shù)據(jù)進(jìn)行存儲(chǔ)后以列為單位，這種技術(shù)特點(diǎn)是，循環(huán)利用的效率比較高，數(shù)據(jù)信息的壓縮比較快，這種存儲(chǔ)結(jié)構(gòu)是采納了行列混合的方式，能夠快速的縮短數(shù)據(jù)的查詢時(shí)間和加載海量數(shù)據(jù)的實(shí)際，更加能夠把利用磁盤空間提升到最高。目前，分布式處理技術(shù)在百度、iBm得到了廣泛的應(yīng)用。

2．2信息安全處理技術(shù)

數(shù)據(jù)飛速進(jìn)展的時(shí)代，互相關(guān)聯(lián)的數(shù)據(jù)結(jié)構(gòu)從各種數(shù)據(jù)信息原來獨(dú)立的形式中脫穎而出，也正是由于關(guān)聯(lián)結(jié)構(gòu)的影響，無論是那一個(gè)數(shù)據(jù)出現(xiàn)問題，伴隨其他數(shù)據(jù)也會(huì)受影響而改變。硬件性能在計(jì)算機(jī)處理技術(shù)中常常會(huì)起到干擾問題，在大數(shù)據(jù)安全管理工作的性能中沒有完全得到需求，與此同時(shí)，這種方式卻為計(jì)算機(jī)網(wǎng)絡(luò)技術(shù)的進(jìn)展制造了良好條件。不斷的進(jìn)展的信息安全技術(shù)為保證大數(shù)據(jù)信息的安全提供了前提。單個(gè)數(shù)據(jù)或者是單個(gè)數(shù)據(jù)的基礎(chǔ)之上不適合建立對(duì)信息的安全管理，最重要的是對(duì)整個(gè)全面的信息系統(tǒng)進(jìn)行有效管理，正是這種方式，為計(jì)算機(jī)信息處理技術(shù)帶來了很大的進(jìn)展機(jī)遇，與此同時(shí)也有肯定的挑戰(zhàn)。

2．3大數(shù)據(jù)中的數(shù)據(jù)存儲(chǔ)處理技術(shù)

隨著網(wǎng)絡(luò)的日益普及越來越多的內(nèi)容諸如視頻、影像以及虛擬化等等，他們的數(shù)據(jù)不斷的上漲，這是一個(gè)巨大的挑戰(zhàn)對(duì)于存儲(chǔ)數(shù)據(jù)技術(shù)而言。在以往的一般數(shù)據(jù)存儲(chǔ)過程中對(duì)于計(jì)算機(jī)網(wǎng)絡(luò)性能要求并不是很高，因?yàn)樗拇鎯?chǔ)量是普遍比較小的，一般的計(jì)算機(jī)就可以滿足這些數(shù)據(jù)的需求的要求，但是對(duì)于出現(xiàn)的特別大的數(shù)據(jù)而言這樣的性能就很難保證存儲(chǔ)的效率和容量了。但是假如大數(shù)據(jù)的存儲(chǔ)中應(yīng)用了一般數(shù)據(jù)存儲(chǔ)技術(shù)，那就會(huì)造成資源的浪費(fèi)，所以需要結(jié)合當(dāng)前大數(shù)據(jù)中的性質(zhì)特點(diǎn)，對(duì)于大數(shù)據(jù)的存儲(chǔ)應(yīng)當(dāng)實(shí)行新的存儲(chǔ)方法大大提升大數(shù)據(jù)信息的存儲(chǔ)中的穩(wěn)定性和存儲(chǔ)信息的快捷性。

2．4聚類分析技術(shù)和分類分析技術(shù)的特點(diǎn)

在沒有明確數(shù)據(jù)點(diǎn)的前提下，將數(shù)據(jù)集中在一起分為許多個(gè)對(duì)象組，然后對(duì)每一組對(duì)象進(jìn)行數(shù)據(jù)分析，進(jìn)行實(shí)現(xiàn)綜合去查詢數(shù)據(jù)，這就是聚類分析技術(shù)。類分析和聚類分析技術(shù)在數(shù)據(jù)挖掘方面應(yīng)用的比較廣泛。把信息的數(shù)據(jù)點(diǎn)進(jìn)行歸類總結(jié)，在綜合數(shù)據(jù)點(diǎn)之后形成新的數(shù)據(jù)點(diǎn)，在對(duì)他們進(jìn)行明確的假設(shè)和客觀結(jié)構(gòu)預(yù)報(bào)，最終大大預(yù)報(bào)將來信息的進(jìn)展的要求，這就是分類分析技術(shù)。

2．5數(shù)據(jù)分析技術(shù)

數(shù)據(jù)分析技術(shù)在大數(shù)據(jù)處理中具有十分重要作用，它是一種應(yīng)用比較廣泛的數(shù)據(jù)處理技術(shù)主要包括了網(wǎng)絡(luò)的分析技術(shù)、空間的分析技術(shù)、數(shù)據(jù)時(shí)域的序列分析技術(shù)、數(shù)據(jù)回來的分析技術(shù)以及情感的分析技術(shù)等等。在這些數(shù)據(jù)分析技術(shù)當(dāng)中，對(duì)自然語言進(jìn)行編碼分析的技術(shù)是情感分析技術(shù);在網(wǎng)絡(luò)的特征基礎(chǔ)之上對(duì)數(shù)據(jù)的特征進(jìn)行分析的技術(shù)是網(wǎng)絡(luò)分析技術(shù)。將網(wǎng)絡(luò)拓?fù)洹⒌乩砗蛶缀萎?dāng)中的數(shù)據(jù)編碼技術(shù)有機(jī)的融合在一起，對(duì)數(shù)據(jù)進(jìn)行綜合分析的統(tǒng)計(jì)技術(shù)是空間分析技術(shù)。

2．6大數(shù)據(jù)時(shí)代，云計(jì)算被廣泛認(rèn)可

大數(shù)據(jù)時(shí)代日益進(jìn)展，云計(jì)算也被大家普遍認(rèn)可和接受，不斷被普及與人，這樣就讓云服務(wù)的浪潮趨勢(shì)不斷上漲。云計(jì)算把傳遞過來的信息數(shù)據(jù)，擬定云平臺(tái)，互通電子數(shù)據(jù)進(jìn)行整合管理。在云平臺(tái)上可上傳信息、下載必要信息等任意操作。云計(jì)算具有打破常規(guī)，不斷提升自身服務(wù)，對(duì)自身成長不斷的挖掘，遵循自主創(chuàng)新的原則，不斷的提高日常中常用的流程性能，進(jìn)行創(chuàng)新性的整合。

2．7新穎的數(shù)據(jù)挖掘。在搜尋過程中提煉出大量的數(shù)據(jù)，對(duì)于這類數(shù)據(jù)進(jìn)行分別解析，查找內(nèi)在的規(guī)律性。這就是數(shù)據(jù)挖掘涵蓋的范疇。目前大部分企業(yè)自身擁有的數(shù)據(jù)庫單純只能進(jìn)行錄入數(shù)值、查驗(yàn)并且統(tǒng)計(jì)這些功能。很難在大量搜集得出的數(shù)值當(dāng)中提煉出有價(jià)值必備的信息，更難總結(jié)出查找規(guī)律的潛在信息。遵循這種進(jìn)展很難把深層次的規(guī)律進(jìn)行深挖，也就很難進(jìn)行規(guī)律的表達(dá)。總體上來看，數(shù)據(jù)挖掘可以分為初始預(yù)備階段、探求潛在規(guī)律、表示這一規(guī)律等這三個(gè)時(shí)段。數(shù)據(jù)挖掘?yàn)闆Q策流程內(nèi)增添了的更多的便利。當(dāng)在大量數(shù)據(jù)中，又缺失了信息，這種狀況下就可以求救于這樣的數(shù)據(jù)挖掘。緣由是因?yàn)椋偃缒軌蚓珳?zhǔn)的區(qū)分出信息的要點(diǎn)，就可以很快的挖掘出潛藏深處的必要信息，這樣就更能進(jìn)行正確的選擇。綜上所述，當(dāng)今時(shí)代的大數(shù)據(jù)處理技術(shù)，對(duì)計(jì)算機(jī)信息處理技術(shù)提出了更高的挑戰(zhàn)和更高的要求，需要實(shí)行比較冗雜的信息技術(shù)對(duì)海量的技術(shù)進(jìn)行分析，需要運(yùn)用計(jì)算機(jī)技術(shù)建立真正適應(yīng)大數(shù)據(jù)時(shí)代的網(wǎng)絡(luò)系統(tǒng)和信息處理系統(tǒng)。

作者:童建

單位:云南工商學(xué)院

參考文獻(xiàn):

［1］崔杰，李陶深，蘭紅星．基于Hadoop的海量數(shù)據(jù)存儲(chǔ)平臺(tái)設(shè)計(jì)與開發(fā)［J］．計(jì)算機(jī)討論與進(jìn)展，2022，49(zl):12～18．

［2］耿秋，孟劍．大數(shù)據(jù)時(shí)代機(jī)遇和挑戰(zhàn)［J］．中國新時(shí)代，2022:172．

本文來源：網(wǎng)絡(luò)收集與整理，如有侵權(quán)，請(qǐng)聯(lián)系作者刪除，謝謝！