第一篇：大數(shù)據(jù)信息檢索論文
大數(shù)據(jù)的概念、技術(shù)與挑戰(zhàn)
學(xué) 院： 專(zhuān)業(yè)名稱(chēng)：
學(xué) 號(hào)： 姓 名：
信息科學(xué)與技術(shù)學(xué)院 計(jì)算機(jī)應(yīng)用技術(shù)
指導(dǎo)教師： 時(shí) 間：
大數(shù)據(jù)的概念、技術(shù)與挑戰(zhàn)
【摘要】計(jì)算、物聯(lián)網(wǎng)、社交網(wǎng)絡(luò)等新興服務(wù)促使人類(lèi)社會(huì)的數(shù)據(jù)種類(lèi)和規(guī)模正以前所未有的速度增長(zhǎng)，大數(shù)據(jù)時(shí)代正式到來(lái)．?dāng)?shù)據(jù)從簡(jiǎn)單的處理對(duì)象開(kāi)始轉(zhuǎn)變?yōu)橐环N基礎(chǔ)性資源，如何更好地管理和利用大數(shù)據(jù)已經(jīng)成為普遍關(guān)注的話題．大數(shù)據(jù)的規(guī)模效應(yīng)給數(shù)據(jù)存儲(chǔ)、管理以及數(shù)據(jù)分析帶來(lái)了極大的挑戰(zhàn)，數(shù)據(jù)管理方式上的變革正在醞釀和發(fā)生．對(duì)大數(shù)據(jù)的基本概念進(jìn)行剖析，并對(duì)大數(shù)據(jù)的主要應(yīng)用作簡(jiǎn)單對(duì)比．在此基礎(chǔ)上，闡述大數(shù)據(jù)處理的基本框架，并就云計(jì)算技術(shù)對(duì)于大數(shù)據(jù)時(shí)代數(shù)據(jù)管理所產(chǎn)生的作用進(jìn)行分析．最后歸納總結(jié)大數(shù)據(jù)時(shí)代所面臨的新挑戰(zhàn)．
【關(guān)鍵詞】大數(shù)據(jù)，技術(shù)，挑戰(zhàn)，數(shù)據(jù)分析，云計(jì)算
近年來(lái)，伴隨著物聯(lián)網(wǎng)、云計(jì)算、移動(dòng)互聯(lián)網(wǎng)等新技術(shù)的迅猛發(fā)展，數(shù)據(jù)正以前所未有的速度不斷增長(zhǎng)和積累，大數(shù)據(jù)時(shí)代已經(jīng)到來(lái)，這引起了產(chǎn)業(yè)界 學(xué)術(shù)界 科技界和政府機(jī)構(gòu)的廣泛關(guān)注。
大數(shù)據(jù)的火熱并不意味著對(duì)于大數(shù)據(jù)的了解深入，反而表明大數(shù)據(jù)存在過(guò)度炒作的危險(xiǎn)．大數(shù)據(jù)的基本概念、關(guān)鍵技術(shù)以及對(duì)其利用上均存在很多的疑問(wèn)和爭(zhēng)議。
一、大數(shù)據(jù)的基本概念及大數(shù)據(jù)時(shí)代產(chǎn)生的必然
數(shù)據(jù)是云計(jì)算技術(shù)的延伸，更是社會(huì)進(jìn)步和發(fā)展的必然結(jié)果，大數(shù)據(jù)時(shí)代的到來(lái)引領(lǐng)了未來(lái)IT技術(shù)發(fā)展的戰(zhàn)略走向。在信息和網(wǎng)絡(luò)技術(shù)飛速發(fā)展的今天，越來(lái)越多的企業(yè)業(yè)務(wù)及社會(huì)活動(dòng)實(shí)現(xiàn)了數(shù)字化，特別是隨著數(shù)據(jù)生成的自動(dòng)化及數(shù)據(jù)生成速度的加快，數(shù)據(jù)量也隨之快速增長(zhǎng)。同時(shí)，隨著存儲(chǔ)設(shè)備、內(nèi)存、處理器等電腦元件成本的穩(wěn)定下降，使得之前較昂貴的大規(guī)模數(shù)據(jù)存儲(chǔ)和處理變得十分經(jīng)濟(jì)，也使得大數(shù)據(jù)的存在成為可能。傳感器數(shù)據(jù)也是大數(shù)據(jù)的主要來(lái)源之一。在物聯(lián)網(wǎng)時(shí)代，成萬(wàn)上億計(jì)的網(wǎng)絡(luò)傳感器嵌入在數(shù)量不斷增長(zhǎng)的智能電表、移動(dòng)電話、汽車(chē)等物理設(shè)備中，不斷感知、生成并傳輸超大規(guī)模的有關(guān)地理位置、振動(dòng)、溫度、濕度等新型數(shù)據(jù)。
二、大數(shù)據(jù)的特點(diǎn)及關(guān)鍵技術(shù)分析
1.大數(shù)據(jù)的特點(diǎn)
大數(shù)據(jù)不是一種新技術(shù)，也不是一種新產(chǎn)品，而是一種新現(xiàn)象，是近來(lái)研究的一個(gè)技術(shù)熱點(diǎn) 大數(shù)據(jù)具有以下4個(gè)特點(diǎn)，即4個(gè)V:(1)數(shù)據(jù)體量(Volumes)巨大大型數(shù)據(jù)集，從TB級(jí)別，躍升到PB級(jí)別；(2)數(shù)據(jù)類(lèi)別(Variety)繁多 數(shù)據(jù)來(lái)自多種數(shù)據(jù)源，數(shù)據(jù)種類(lèi)和格式?jīng)_破了以前所限定的結(jié)構(gòu)化數(shù)據(jù)范疇，囊括了半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)；
(3)價(jià)值(Value)密度低 以視頻為例，連續(xù)不間斷監(jiān)控過(guò)程中，可能有用的數(shù)據(jù)僅僅一兩秒鐘；
(4)處理速度(Velocity)快 包含大量在線或?qū)崟r(shí)數(shù)據(jù)分析處理的需求，1秒定律。
隨著互聯(lián)網(wǎng)技術(shù)的不斷發(fā)展，數(shù)據(jù)本身就是資產(chǎn)云計(jì)算為數(shù)據(jù)資產(chǎn)提供了保管訪問(wèn)的場(chǎng)所和渠道，但如何盤(pán)活數(shù)據(jù)資產(chǎn)，使其為國(guó)家治理企業(yè)決策乃至個(gè)人生活服務(wù)，是大數(shù)據(jù)的核心議題，也是云計(jì)算的靈魂和必然的升級(jí)方向。
2.關(guān)鍵技術(shù)
2.1云計(jì)算;大數(shù)據(jù)的基礎(chǔ)平臺(tái)與支撐技術(shù)
如果將各種大數(shù)據(jù)的應(yīng)用比作一輛輛“汽車(chē)”，支撐起這些“汽車(chē)”運(yùn)行的“高速公路”就是云計(jì)算．正是云計(jì)算技術(shù)在數(shù)據(jù)存儲(chǔ)、管理與分析等方面的支撐，才使得大數(shù)據(jù)有用武之地．文件系統(tǒng)是支撐上層應(yīng)用的基礎(chǔ)。原始的數(shù)據(jù)存儲(chǔ)在文件系統(tǒng)之中，但是用戶(hù)習(xí)慣通過(guò)數(shù)據(jù)庫(kù)系統(tǒng)來(lái)存取文件．因?yàn)檫@樣會(huì)屏蔽掉底層的細(xì)節(jié)，且方便數(shù)據(jù)管理．直接采用關(guān)系模型的分布式數(shù)據(jù)庫(kù)并不能適應(yīng)大數(shù)據(jù)時(shí)代的數(shù)據(jù)存儲(chǔ)。據(jù)查詢(xún)是數(shù)據(jù)庫(kù)最重要的應(yīng)用之一，而索引則是解決數(shù)據(jù)查詢(xún)問(wèn)題的有效方案。而數(shù)據(jù)分析技術(shù)是最核心的業(yè)務(wù)。
2.2大數(shù)據(jù)處理工具
關(guān)系數(shù)據(jù)庫(kù)在很長(zhǎng)的時(shí)間里成為數(shù)據(jù)管理的最佳選擇，但是在大數(shù)據(jù)時(shí)代，數(shù)據(jù)管理、分析等的需求多樣化使得關(guān)系數(shù)據(jù)庫(kù)在很多場(chǎng)景不再適用．而HadOop是目前最為流行的大數(shù)據(jù)處理平臺(tái)．而Hadoop最先是Doug Cutting模仿GFS，MapReduce實(shí)現(xiàn)的一個(gè)云計(jì)算開(kāi)源平臺(tái)，后貢獻(xiàn)給Apache．Hadoop已經(jīng)發(fā)展成為包括文件系統(tǒng)(HDFS)、數(shù)據(jù)庫(kù)(HBase、Cassandra)、數(shù)據(jù)處理(MapReduce)等功能模塊在內(nèi)的完整生態(tài)系統(tǒng)(Ecosystem)．某種程度上可以說(shuō)Hadoop已經(jīng)成為
大數(shù)據(jù)處理工具事實(shí)上的標(biāo)準(zhǔn)．
三、大數(shù)據(jù)時(shí)代面臨的機(jī)遇與挑戰(zhàn)
綜上所述，大數(shù)據(jù)時(shí)代的數(shù)據(jù)存在著如下幾個(gè)特點(diǎn)：多源異構(gòu)；分布廣泛；動(dòng)態(tài)增長(zhǎng)；先有數(shù)據(jù)后有模式．正是這些與傳統(tǒng)數(shù)據(jù)管理迥然不同的特點(diǎn)，使得大數(shù)據(jù)時(shí)代的數(shù)據(jù)管理面臨著新的機(jī)遇與挑戰(zhàn)。
（一）大數(shù)據(jù)帶來(lái)的機(jī)遇
1.大數(shù)據(jù)的挖掘和應(yīng)用成為核心，將從多個(gè)方面創(chuàng)造價(jià)值。
大數(shù)據(jù)的重心將從存儲(chǔ)和傳輸，過(guò)渡到數(shù)據(jù)的挖掘和應(yīng)用，這將深刻影響企業(yè)的商業(yè)模式 據(jù)麥肯錫測(cè)算，大數(shù)據(jù)的應(yīng)用每年潛在可為美國(guó)醫(yī)療健康業(yè)和歐洲政府分別節(jié)省3000億美元和1000億歐元，利用個(gè)人位置信息潛在可創(chuàng)造出6000億美元價(jià)值，因此大數(shù)據(jù)應(yīng)用具有遠(yuǎn)超萬(wàn)億美元的大市場(chǎng)。
2.大數(shù)據(jù)利用中安全更加重要，為信息安全帶來(lái)發(fā)展契機(jī)。
隨著移動(dòng)互聯(lián)網(wǎng)物聯(lián)網(wǎng)等新興IT技術(shù)逐漸步入主流，大數(shù)據(jù)使得數(shù)據(jù)價(jià)值極大提高，無(wú)處不在的數(shù)據(jù)，對(duì)信息安全提出了更高要求 同時(shí)，大數(shù)據(jù)領(lǐng)域出現(xiàn)的許多新興技術(shù)與產(chǎn)品將為安全分析提供新的可能性;信息安全和云計(jì)算貫穿于大數(shù)據(jù)產(chǎn)業(yè)鏈的各個(gè)環(huán)節(jié)，云安全等關(guān)鍵技術(shù)將更安全地保護(hù)數(shù)據(jù) 大數(shù)據(jù)對(duì)信息安全的要求和促進(jìn)將推動(dòng)信息安全產(chǎn)業(yè)的大發(fā)展。
3.大數(shù)據(jù)時(shí)代來(lái)臨，使商業(yè)智能信息安全和云計(jì)算具有更大潛力。大數(shù)據(jù)產(chǎn)業(yè)鏈按產(chǎn)品形態(tài)分為硬件基礎(chǔ)軟件和應(yīng)用軟件三大領(lǐng)域，商業(yè)智能信息安全和云計(jì)算主題橫跨三大領(lǐng)域，將構(gòu)成產(chǎn)業(yè)鏈中快速發(fā)展的三駕馬車(chē)就國(guó)內(nèi)而言，商業(yè)智能市場(chǎng)已步入成長(zhǎng)期，預(yù)計(jì)未來(lái)3年復(fù)合年均增長(zhǎng)率(CAGR)為35%，十二五期間潛在產(chǎn)值將超300億元;信息安全預(yù)計(jì)未來(lái)3年CAGR有望保持35%～40%的快速增長(zhǎng)，十二五期間潛在產(chǎn)值將超4000億元;云計(jì)算剛進(jìn)入
成長(zhǎng)期，預(yù)計(jì)未來(lái)5年CAGR將超50%，2015年產(chǎn)業(yè)規(guī)模預(yù)計(jì)將達(dá)1萬(wàn)億元。
（二）面臨的挑戰(zhàn) 1.大數(shù)據(jù)集成
數(shù)據(jù)的廣泛存在性使得數(shù)據(jù)越來(lái)越多地散布于不同的數(shù)據(jù)管理系統(tǒng)中，為了便于進(jìn)行數(shù)據(jù)分析需要進(jìn)行數(shù)據(jù)的集成．?dāng)?shù)據(jù)集成看起來(lái)并不是一個(gè)新的問(wèn)題，但是大數(shù)據(jù)時(shí)代的數(shù)據(jù)集成卻有了新的需求，因此也面臨著新的挑戰(zhàn)．
1)廣泛的異構(gòu)性．傳統(tǒng)的數(shù)據(jù)集成中也會(huì)面對(duì)數(shù)據(jù)異構(gòu)的問(wèn)題，但是在大數(shù)據(jù)時(shí)代這種異構(gòu)性出現(xiàn)了新的變化，大量出現(xiàn)的各種數(shù)據(jù)本身是非結(jié)構(gòu)化的或弱結(jié)構(gòu)化的，如留言、博客、圖像、視頻數(shù)據(jù)等，如何將這些數(shù)據(jù)轉(zhuǎn)化成一個(gè)結(jié)構(gòu)化的格式是研究者面臨的一項(xiàng)重大挑戰(zhàn)．
2)數(shù)據(jù)質(zhì)量．?dāng)?shù)據(jù)量大不一定就代表信息量或者數(shù)據(jù)價(jià)值的增大，相反很多時(shí)候意味著信息垃圾的泛濫.2.大數(shù)據(jù)分析
大數(shù)據(jù)最為嚴(yán)重的風(fēng)險(xiǎn)存在于數(shù)據(jù)分析層面。數(shù)據(jù)量的增大會(huì)帶來(lái)規(guī)律的喪失和嚴(yán)重失真。傳統(tǒng)意義上的數(shù)據(jù)分析主要針對(duì)結(jié)構(gòu)化數(shù)據(jù)展開(kāi)，且已經(jīng)形成了一整套行之有效的分析體系．首先利用數(shù)據(jù)庫(kù)來(lái)存儲(chǔ)結(jié)構(gòu)化數(shù)據(jù)，在此基礎(chǔ)上構(gòu)建數(shù)據(jù)倉(cāng)庫(kù)，根據(jù)需要構(gòu)建數(shù)據(jù)立方體進(jìn)行聯(lián)機(jī)分析處理(online analytical processing，OI。AP)，可以進(jìn)行多個(gè)維度的下鉆(drill一down)或上卷(roll—up)操作．對(duì)于從數(shù)據(jù)中提煉更深層次的知識(shí)的需求促使數(shù)據(jù)挖掘技術(shù)的產(chǎn)生，并發(fā)明了聚類(lèi)、關(guān)聯(lián)分析等一系列在實(shí)踐中行之有效的方法．這一整套處理流程在處理相對(duì)較少的結(jié)構(gòu)化數(shù)據(jù)時(shí)極為高效．但是隨著大數(shù)據(jù)時(shí)代的到來(lái)，半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)量的迅猛增長(zhǎng)，給傳統(tǒng)的分析技術(shù)帶來(lái)了巨大的沖擊和挑戰(zhàn)。據(jù)阿里巴巴稱(chēng)，雖然其各類(lèi)業(yè)務(wù)產(chǎn)生的數(shù)據(jù)為數(shù)據(jù)分析創(chuàng)造了非常好的基礎(chǔ)條件，然而卻招聘不到合適的數(shù)據(jù)科學(xué)家而影響了研發(fā)進(jìn)展。
3.大數(shù)據(jù)的隱私問(wèn)題
隱私問(wèn)題由來(lái)已久，這基本也是大家最關(guān)心的問(wèn)題。計(jì)算機(jī)的出現(xiàn)使得越來(lái)越多的數(shù)據(jù)以數(shù)字化的形式存儲(chǔ)在電腦中，互聯(lián)網(wǎng)的發(fā)展則使數(shù)據(jù)更加容易產(chǎn)生和傳播，數(shù)據(jù)隱私問(wèn)題越來(lái)越嚴(yán)重．
大數(shù)據(jù)高度依賴(lài)數(shù)據(jù)存儲(chǔ)與共享，必須考慮尋求更好的方法消除各種隱患與漏洞，才能有效地管控安全風(fēng)險(xiǎn)。數(shù)據(jù)的隱私保護(hù)是大數(shù)據(jù)分析和處理面臨的重要問(wèn)題，既是技術(shù)問(wèn)題也是社會(huì)學(xué)問(wèn)題。如果對(duì)私人數(shù)據(jù)使用不當(dāng)，尤其是泄漏有一定關(guān)聯(lián)的多組數(shù)據(jù)，將導(dǎo)致用戶(hù)的隱私泄漏。
4.大數(shù)據(jù)能耗問(wèn)題
在能源價(jià)格上漲、數(shù)據(jù)中心存儲(chǔ)規(guī)模不斷擴(kuò)大的今天，高能耗已逐漸成為制約大數(shù)據(jù)快速發(fā)展的一個(gè)主要瓶頸．從小型集群到大規(guī)模數(shù)據(jù)中心都面臨著降低能耗的問(wèn)題，但是尚未引起足夠多的重視，相關(guān)的研究成果也較少．在大數(shù)據(jù)管理系統(tǒng)中，能耗主要由兩大部分組成：硬件能耗和軟件能耗，二者之中又以硬件能耗為主．理想狀態(tài)下，整個(gè)大數(shù)據(jù)管理系統(tǒng)的能耗應(yīng)該和系統(tǒng)利用率成正比．但是實(shí)際情況并不像預(yù)期情況，系統(tǒng)利用率為0時(shí)仍然有能量消耗。
5.大數(shù)據(jù)處理與硬件的協(xié)同
硬件的快速升級(jí)換代有力地促進(jìn)了大數(shù)據(jù)的發(fā)展，但是這也在一定程度上造成了大量不同架構(gòu)硬件共存的局面.大數(shù)據(jù)處理必須要有舍才有得。可以通過(guò)舍棄一些不必要的性能和精確性來(lái)獲取更為重要的性能和精確性。．
6.大數(shù)據(jù)管理易用性問(wèn)題
從數(shù)據(jù)集成到數(shù)據(jù)分析，直到最后的數(shù)據(jù)解釋?zhuān)子眯詰?yīng)當(dāng)貫穿整個(gè)大數(shù)據(jù)的流程．易用性的挑戰(zhàn)突出體現(xiàn)在兩個(gè)方面：首先大數(shù)據(jù)時(shí)代的數(shù)據(jù)量大，分析更復(fù)雜，得到的結(jié)果形式更加多樣化．其復(fù)雜程度已經(jīng)遠(yuǎn)遠(yuǎn)超出傳統(tǒng)的關(guān)系數(shù)據(jù)庫(kù)．其次大數(shù)據(jù)已經(jīng)廣泛滲透到人們生活的各個(gè)方面，很多行業(yè)都開(kāi)始有了大數(shù)據(jù)分析的需求．
7.性能測(cè)試基準(zhǔn)
數(shù)據(jù)庫(kù)產(chǎn)品的成功離不開(kāi)以TPC系列為代表的測(cè)試基準(zhǔn)的產(chǎn)生．正是有了這些測(cè)試基準(zhǔn)，才能夠準(zhǔn)確地衡量不同數(shù)據(jù)庫(kù)產(chǎn)品的性能，并對(duì)其存在的問(wèn)題進(jìn)行改進(jìn)。在過(guò)去20年里，產(chǎn)業(yè)基準(zhǔn)起到了很大的作用。在制定行業(yè)的標(biāo)準(zhǔn)時(shí)，性能、持有成本和能源效率是成功的三大關(guān)鍵。產(chǎn)業(yè)界標(biāo)準(zhǔn)的基準(zhǔn)都扮演了非常重要的作用，進(jìn)一步推動(dòng)了計(jì)算機(jī)產(chǎn)業(yè)科學(xué)的發(fā)展【33】。
四、結(jié)果和結(jié)論關(guān)系
像互聯(lián)網(wǎng)、云計(jì)算以及物聯(lián)網(wǎng)等技術(shù)一樣，大數(shù)據(jù)時(shí)代的到來(lái)勢(shì)必會(huì)再次讓
信息技術(shù)領(lǐng)域煥然一新。大數(shù)據(jù)時(shí)代下，每個(gè)個(gè)體都是數(shù)據(jù)的產(chǎn)生者，企業(yè)的任何一項(xiàng)業(yè)務(wù)活動(dòng)都可以用數(shù)據(jù)來(lái)表示，如何保證大數(shù)據(jù)的質(zhì)量，如何建模、提取并利用隱藏在大數(shù)據(jù)中的信息以提升企業(yè)信息系統(tǒng)績(jī)效、提升企業(yè)決策能力，成為擺在業(yè)界和學(xué)術(shù)界面前的重大難題。
總的來(lái)說(shuō)，目前對(duì)于大數(shù)據(jù)的研究仍處于一個(gè)非常初步的階段，還有很多基礎(chǔ)性的問(wèn)題有待解決．大數(shù)據(jù)的幾個(gè)特征中究竟哪個(gè)最重要?面對(duì)大數(shù)據(jù)管理我們需要的是簡(jiǎn)單的技術(shù)上的演變(evo1ution)還是徹底的變革(revoIution)?不同學(xué)科的研究者之間怎樣協(xié)作才能更有利于大數(shù)據(jù)問(wèn)題的解決?諸如此類(lèi)的問(wèn)題還有許多，要解決大數(shù)據(jù)問(wèn)題仍有很長(zhǎng)的路要走。
感謝：
郭彥紅老師給予的的指導(dǎo)和提供的課件，以及所參考的文獻(xiàn)的所有作者。
【參考文獻(xiàn)】
[1]孟小峰，慈祥: 大數(shù)據(jù)管理：概念、技術(shù)與挑戰(zhàn)。計(jì)算機(jī)研究與發(fā)展[146-169,2013] [2]朱志軍，閏蕾，等．大數(shù)據(jù)——大價(jià)值、大機(jī)遇、大變革[M】．電子工業(yè)出版社，2012．
[3]大數(shù)據(jù)分析技術(shù)的發(fā)展［EB/OL］． 2012－05－16． http: //tech． ccidnet． com/art/32963/20120516/3859799_1． html．
第二篇：大數(shù)據(jù)-信息檢索論文（范文）
淺談大數(shù)據(jù)的概念、技術(shù)與挑戰(zhàn)
王濤（信管110502220）
摘要：計(jì)算、物聯(lián)網(wǎng)、社交網(wǎng)絡(luò)等新興服務(wù)促使人類(lèi)社會(huì)的數(shù)據(jù)種類(lèi)和規(guī)模正以前所未有的速度增長(zhǎng)，大數(shù)據(jù)時(shí)代正式到來(lái)．?dāng)?shù)據(jù)從簡(jiǎn)單的處理對(duì)象開(kāi)始轉(zhuǎn)變?yōu)橐环N基礎(chǔ)性資源，如何更好地管理和利用大數(shù)據(jù)就云計(jì)算技術(shù)對(duì)于大數(shù)據(jù)時(shí)代數(shù)據(jù)管理所產(chǎn)生的作用進(jìn)行分析．最后歸納總結(jié)大數(shù)據(jù)時(shí)代所面臨的新挑戰(zhàn)．
關(guān)鍵詞：大數(shù)據(jù)；技術(shù)；挑戰(zhàn)；數(shù)據(jù)分析；云計(jì)算
Abstract： Data type and amount in human society is growing in amazing speed which is caused by emerging new services such as cloud computing，internet of things and social network，the era of big data has come． Data has been fundamental resource from simple dealing object，and how to manage and utilize big data better has attracted much attention．
key words：big data;technology;Challenge;data analysis;cloud computing
引言
近年來(lái)，伴隨著物聯(lián)網(wǎng)、云計(jì)算、移動(dòng)互聯(lián)網(wǎng)等新技術(shù)的迅猛發(fā)展，數(shù)據(jù)正以前所未有的速度不斷增長(zhǎng)和積累，大數(shù)據(jù)時(shí)代已經(jīng)成為普遍關(guān)注的話題．大數(shù)據(jù)的規(guī)模效應(yīng)給數(shù)據(jù)存儲(chǔ)、管理以及數(shù)據(jù)分析帶來(lái)了極大的挑戰(zhàn)，數(shù)據(jù)管理方式上的變革正在醞釀和發(fā)生．對(duì)大數(shù)據(jù)的基本概念進(jìn)行剖析，并對(duì)大數(shù)據(jù)的主要應(yīng)用作簡(jiǎn)單對(duì)比．在此基礎(chǔ)上，闡述大數(shù)據(jù)處理的基本框架。這引起了產(chǎn)業(yè)界、學(xué)術(shù)界、科技界和政府機(jī)構(gòu)的廣泛關(guān)注。
大數(shù)據(jù)的火熱并不意味著對(duì)于大數(shù)據(jù)的了解深入，反而表明大數(shù)據(jù)存在過(guò)度炒作的危險(xiǎn)．大數(shù)據(jù)的基本概念、關(guān)鍵技術(shù)以及對(duì)其利用上均存在很多的疑問(wèn)和爭(zhēng)議【1】。
一、大數(shù)據(jù)的基本概念及大數(shù)據(jù)時(shí)代產(chǎn)生的必然
早在1980年，美國(guó)著名未來(lái)學(xué)家阿爾溫托夫勒(AlvinToffler)在 第三次浪潮 一書(shū)中就提出了 大數(shù)據(jù)(BigData)的概念，并將其贊頌為 第三次浪潮的華 彩樂(lè)章［2］著名的數(shù)據(jù)庫(kù)專(zhuān)家 圖靈獎(jiǎng)獲得者吉姆 格雷(JimGray)認(rèn)為傳統(tǒng)的實(shí)驗(yàn) 理論和計(jì)算機(jī)3大范式在科學(xué)研究，特別是一些新的研究領(lǐng)域已經(jīng)無(wú)法很好地發(fā)揮作用，于是，其在2007年提出當(dāng)前科學(xué)研究已發(fā)展到了 第4種范式(The FourthParadigm)［3］，即以大數(shù)據(jù)為代表的數(shù)據(jù)密集型科學(xué)近幾年，一些國(guó)際頂級(jí)學(xué)術(shù)刊物也相繼出版專(zhuān)刊對(duì)大數(shù)據(jù)進(jìn)行探討研究 2008 年9 月，Nature推出了 Big Data 專(zhuān)刊［4］，從互聯(lián)網(wǎng)技術(shù)環(huán)境科學(xué) 生物醫(yī)藥等多個(gè)方面介紹了海量數(shù)據(jù)帶來(lái)的挑戰(zhàn) 2011年2月，Science出版關(guān)于數(shù)據(jù)處理的專(zhuān)刊 Dealing with data［5］，討論了數(shù)據(jù)洪流(Data Deluge)所帶來(lái)的挑戰(zhàn)，并闡明了大數(shù)據(jù)對(duì)于科學(xué)研究的重要性 2012年4月，歐洲信息學(xué)與數(shù)學(xué)研究協(xié)會(huì)會(huì)刊ERCIM News出版專(zhuān)刊 Big Data［6］，討論了有關(guān)大數(shù)據(jù)時(shí)代的數(shù)據(jù)管理 數(shù)據(jù)密集型研究的創(chuàng)新技術(shù)等問(wèn)題，并介紹了歐洲科研機(jī)構(gòu)開(kāi)展的研究活動(dòng)和進(jìn)展情況最早提出大數(shù)據(jù)時(shí)代已經(jīng)到來(lái)的是全球知名咨 詢(xún) 公 司 麥 肯 錫，其下屬機(jī)構(gòu)全球研究所(Mckinsey Global Institute)于2011年6月份發(fā)布的一份專(zhuān)門(mén)的研究報(bào)告，將 大數(shù)據(jù) 視為全世界 下一個(gè)創(chuàng)新競(jìng)爭(zhēng)和生產(chǎn)力提高的前沿領(lǐng)域［7］，并指出，數(shù)據(jù)已經(jīng)滲透到每一個(gè)行業(yè)和業(yè)務(wù)職能領(lǐng)域，逐漸成為重要的生產(chǎn)因素;而人們對(duì)于海量數(shù)據(jù)的運(yùn)用將預(yù)示著新一波生產(chǎn)率增長(zhǎng)和消費(fèi)者盈余浪潮的到來(lái) 著名的市場(chǎng)調(diào)研機(jī)構(gòu)IDC(International Data Corporation，國(guó)際數(shù)據(jù)公司)在同年的報(bào)告中指出，全球數(shù)據(jù)總量在2011年已達(dá)到1.8ZB(1ZB=240GB)，而這個(gè)數(shù)據(jù)大約以每?jī)赡攴环乃俣仍鲩L(zhǎng)，預(yù)計(jì)至2020年全球擁有的數(shù)據(jù)量將達(dá)35ZB［8］。《華爾街日?qǐng)?bào)》更是將大數(shù)據(jù)時(shí)代 智能化生產(chǎn)和無(wú)線網(wǎng)絡(luò)革命稱(chēng)為引領(lǐng)未來(lái)繁榮的三大技術(shù)變革 此外，Gartner、埃森哲、普華永道等咨詢(xún)公司，以及財(cái)富周刊 福布斯 紐約時(shí)報(bào) 等商業(yè)管理刊物也對(duì)大數(shù)據(jù)進(jìn)行了大量的介紹與研究縱觀國(guó)際形勢(shì)，對(duì)大數(shù)據(jù)的研究與應(yīng)用已引起各國(guó)政府部門(mén)的高度重視，成為重要的戰(zhàn)略布局方向． 各國(guó)陸續(xù)出臺(tái)有關(guān)大數(shù)據(jù)的國(guó)家政策和戰(zhàn)略2012年3月，美國(guó)奧巴馬政府宣布將投資2億美元用于啟動(dòng) 大數(shù)據(jù)研發(fā)倡議(Big Data Researchand Development Initiative)［9］，旨在提高從海量和復(fù)雜的數(shù)據(jù)中分析萃取信息的能力，這是繼1993年美國(guó)宣布 信息高速公路 計(jì)劃后的又一次重大科技發(fā)展部署 繼美國(guó)率先開(kāi)啟大數(shù)據(jù)國(guó)家戰(zhàn)略先河之后，其他各國(guó)也隨后跟進(jìn)，已經(jīng)或者即將出臺(tái)相應(yīng)的戰(zhàn)略舉措 日本政府重新啟動(dòng)2011年日本大地震后一度擱置的政府ICT戰(zhàn)略研究，于2012年7月推出新的綜合戰(zhàn)略 活力ICT日本，重點(diǎn)關(guān)注大數(shù)據(jù)應(yīng)用所需的云計(jì)算 傳感器社會(huì)化媒體等智能技術(shù)開(kāi)發(fā)2013年1月，英國(guó)政府宣布將注資6億英鎊，發(fā)展大數(shù)據(jù) 合成生物等8類(lèi)高新技術(shù)，其中信息行業(yè)新興的大數(shù)據(jù)技術(shù)將獲得1.89億英鎊，占據(jù)總投資的近三分之一 澳大利亞政府在同年3月表示，澳聯(lián)邦政府大數(shù)據(jù)戰(zhàn)略草案有望在5月份出臺(tái)，預(yù)計(jì)會(huì)在6 7月間正式頒布一些區(qū)域性或全球性組織也對(duì)大數(shù)據(jù)予以高度關(guān)注 在過(guò)去幾年，歐盟 已對(duì)科學(xué)數(shù)據(jù)信息化基礎(chǔ)設(shè)施投資1億多歐元，并將數(shù)據(jù)信息化基礎(chǔ)設(shè)施作為Horizon2020計(jì)劃的優(yōu)先領(lǐng)域之一［6］2012年初，世界經(jīng)濟(jì)論壇一份題為 大數(shù)據(jù)，大影響(BigData，BigImpact)的報(bào)告宣稱(chēng)，數(shù)據(jù)已經(jīng)成為一種新的經(jīng)濟(jì)資產(chǎn)類(lèi)別，就像貨幣或黃金一樣聯(lián)合國(guó)也推出了全球脈動(dòng)(GlobalPulse)［10］倡議項(xiàng)目，希望利用大數(shù)據(jù)來(lái)促進(jìn)全球經(jīng)濟(jì)發(fā)展。
盡管各界 各地區(qū) 各機(jī)構(gòu)對(duì)大數(shù)據(jù)廣泛關(guān)注，進(jìn)行了大量研究，但目前對(duì)于大數(shù)據(jù)尚未形成公認(rèn)的定義 信息管理專(zhuān)家涂子沛在大數(shù)據(jù): 正在到來(lái)的數(shù)據(jù)革命 中這樣定義大數(shù)據(jù):指那些大小已經(jīng)超出了傳統(tǒng)意義上的尺度，一般的軟件工
［11］具難以捕捉 存儲(chǔ)管理和分析的數(shù)據(jù)，一般以 太字節(jié)(TB)為單位 這一定義基本上簡(jiǎn)單明了地闡述了大數(shù)據(jù)的內(nèi)涵。
數(shù)據(jù)是云計(jì)算技術(shù)的延伸，更是社會(huì)進(jìn)步和發(fā)展的必然結(jié)果，大數(shù)據(jù)時(shí)代的到來(lái)引領(lǐng)了未來(lái)IT技術(shù)發(fā)展的戰(zhàn)略走向。在信息和網(wǎng)絡(luò)技術(shù)飛速發(fā)展的今天，越來(lái)越多的企業(yè)業(yè)務(wù)及社會(huì)活動(dòng)實(shí)現(xiàn)了數(shù)字化，特別是隨著數(shù)據(jù)生成的自動(dòng)化及數(shù)據(jù)生成速度的加快，數(shù)據(jù)量也隨之快速增長(zhǎng)【12】。同時(shí)，隨著存儲(chǔ)設(shè)備、內(nèi)存、處理器等電腦元件成本的穩(wěn)定下降，使得之前較昂貴的大規(guī)模數(shù)據(jù)存儲(chǔ)和處理變得十分經(jīng)濟(jì)【13】，也使得大數(shù)據(jù)的存在成為可能。傳感器數(shù)據(jù)也是大數(shù)據(jù)的主要來(lái)源之一。在物聯(lián)網(wǎng)時(shí)代，成萬(wàn)上億計(jì)的網(wǎng)絡(luò)傳感器嵌入在數(shù)量不斷增長(zhǎng)的智能電表、移動(dòng)電話、汽車(chē)等物理設(shè)備中，不斷感知、生成并傳輸超大規(guī)模的有關(guān)地理位置、振動(dòng)、溫度、濕度等新型數(shù)據(jù)。此外，移動(dòng)互聯(lián)網(wǎng)、三網(wǎng)融合、Web 2.0技術(shù)和電子商務(wù)技術(shù)的飛速發(fā)展，也促進(jìn)了大數(shù)據(jù)時(shí)代的產(chǎn)生和發(fā)展。可以發(fā)現(xiàn)，數(shù)字化已經(jīng)成為社會(huì)發(fā)展的必然趨勢(shì)。與生產(chǎn)過(guò)程必須依賴(lài)硬件設(shè)備和人力資本一樣，企業(yè)的業(yè)務(wù)活動(dòng)、創(chuàng)新、成長(zhǎng)也越來(lái)越離不開(kāi)大量數(shù)據(jù)的支持【14】。也就是說(shuō)，企業(yè)的任何一項(xiàng)業(yè)務(wù)活動(dòng)都與大量的數(shù)據(jù)緊密相聯(lián)，而我們每一個(gè)人都是數(shù)據(jù)的產(chǎn)生者，數(shù)據(jù)量與日俱增，數(shù)據(jù)結(jié)構(gòu)繁雜多變，數(shù)據(jù)產(chǎn)生速度非常之快，我們已經(jīng)進(jìn)入了大數(shù)據(jù)的時(shí)代【15】。
二、大數(shù)據(jù)的特點(diǎn)及關(guān)鍵技術(shù)分析
1.大數(shù)據(jù)的特點(diǎn)
大數(shù)據(jù)不是一種新技術(shù)，也不是一種新產(chǎn)品，而是一種新現(xiàn)象，是近來(lái)研究的一個(gè)技術(shù)熱點(diǎn) 大數(shù)據(jù)具有以下4個(gè)特點(diǎn)，即4個(gè)V［16］:(1)數(shù)據(jù)體量(Volumes)巨大大型數(shù)據(jù)集，從TB級(jí)別，躍升到PB級(jí)別；(2)數(shù)據(jù)類(lèi)別(Variety)繁多 數(shù)據(jù)來(lái)自多種數(shù)據(jù)源，數(shù)據(jù)種類(lèi)和格式?jīng)_破了以前所限定的結(jié)構(gòu)化數(shù)據(jù)范疇，囊括了半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)；
(3)價(jià)值(Value)密度低 以視頻為例，連續(xù)不間斷監(jiān)控過(guò)程中，可能有用的數(shù)據(jù)僅僅一兩秒鐘；
(4)處理速度(Velocity)快 包含大量在線或?qū)崟r(shí)數(shù)據(jù)分析處理的需求，1秒 定律。
隨著互聯(lián)網(wǎng)技術(shù)的不斷發(fā)展，數(shù)據(jù)本身就是資產(chǎn)云計(jì)算為數(shù)據(jù)資產(chǎn)提供了保管訪問(wèn)的場(chǎng)所和渠道，但如何盤(pán)活數(shù)據(jù)資產(chǎn)，使其為國(guó)家治理企業(yè)決策乃至個(gè)人生活服務(wù)，是大數(shù)據(jù)的核心議題，也是云計(jì)算的靈魂和必然的升級(jí)方向。
大數(shù)據(jù)已經(jīng)出現(xiàn) IDC多年的研究結(jié)果告訴我們: 全球數(shù)據(jù)量大約每?jī)赡攴环磕戤a(chǎn)生的數(shù)據(jù)量按指數(shù)增長(zhǎng)，數(shù)據(jù)增速基本符合摩爾定律 全球有46億移動(dòng)電話用戶(hù)，有20億人訪問(wèn)互聯(lián)網(wǎng)，人們以比以往任何時(shí)候都高得多的熱情在與數(shù)據(jù)或信息交互 思科公司預(yù)計(jì)，到2013年，在互聯(lián)網(wǎng)上流動(dòng)的數(shù)據(jù)量將達(dá)到每年667艾字節(jié)［17］。
關(guān)鍵技術(shù)
2.1云計(jì)算;大數(shù)據(jù)的基礎(chǔ)平臺(tái)與支撐技術(shù)
如果將各種大數(shù)據(jù)的應(yīng)用比作一輛輛“汽車(chē)”，支撐起這些“汽車(chē)”運(yùn)行的“高速公路”就是云計(jì)算．正是云計(jì)算技術(shù)在數(shù)據(jù)存儲(chǔ)、管理與分析等方面的支撐，才使得大數(shù)據(jù)有用武之地．文件系統(tǒng)是支撐上層應(yīng)用的基礎(chǔ)。原始的數(shù)據(jù)存儲(chǔ)在文件系統(tǒng)之中，但是用戶(hù)習(xí)慣通過(guò)數(shù)據(jù)庫(kù)系統(tǒng)來(lái)存取文件．因?yàn)檫@樣會(huì)屏蔽掉底層的細(xì)節(jié)，且方便數(shù)據(jù)管理．直接采用關(guān)系模型的分布式數(shù)據(jù)庫(kù)并不能適應(yīng)大數(shù)據(jù)時(shí)代的數(shù)據(jù)存儲(chǔ)。據(jù)查詢(xún)是數(shù)據(jù)庫(kù)最重要的應(yīng)用之一，而索引則是解決數(shù)據(jù)查詢(xún)問(wèn)題的有效方案。而數(shù)據(jù)分析技術(shù)是最核心的業(yè)務(wù)【18】。
2.2大數(shù)據(jù)處理工具
關(guān)系數(shù)據(jù)庫(kù)在很長(zhǎng)的時(shí)間里成為數(shù)據(jù)管理的最佳選擇，但是在大數(shù)據(jù)時(shí)代，數(shù)據(jù)管理、分析等的需求多樣化使得關(guān)系數(shù)據(jù)庫(kù)在很多場(chǎng)景不再適用．而HadOop
【19】是目前最為流行的大數(shù)據(jù)處理平臺(tái)．而Hadoop最先是Doug Cutting模仿GFS，MapReduce實(shí)現(xiàn)的一個(gè)云計(jì)算開(kāi)源平臺(tái)，后貢獻(xiàn)給Apache．Hadoop已經(jīng)發(fā)展成為包括文件系統(tǒng)(HDFS)、數(shù)據(jù)庫(kù)(HBase、Cassandra)、數(shù)據(jù)處理(MapReduce)等功能模塊在內(nèi)的完整生態(tài)系統(tǒng)(Ecosystem)【20】．某種程度上可以說(shuō)Hadoop已經(jīng)成為大數(shù)據(jù)處理工具事實(shí)上的標(biāo)準(zhǔn)【21】．
三、大數(shù)據(jù)時(shí)代面臨的機(jī)遇與挑戰(zhàn)
綜上所述，大數(shù)據(jù)時(shí)代的數(shù)據(jù)存在著如下幾個(gè)特點(diǎn)：多源異構(gòu)；分布廣泛；動(dòng)態(tài)增長(zhǎng)；先有數(shù)據(jù)后有模式．正是這些與傳統(tǒng)數(shù)據(jù)管理迥然不同的特點(diǎn)，使得大數(shù)據(jù)時(shí)代的數(shù)據(jù)管理面臨著新的機(jī)遇與挑戰(zhàn)。
大數(shù)據(jù)帶來(lái)的機(jī)遇【22】
1.大數(shù)據(jù)的挖掘和應(yīng)用成為核心，將從多個(gè)方面創(chuàng)造價(jià)值。
大數(shù)據(jù)的重心將從存儲(chǔ)和傳輸，過(guò)渡到數(shù)據(jù)的挖掘和應(yīng)用，這將深刻影響企業(yè)的商業(yè)模式 據(jù)麥肯錫測(cè)算，大數(shù)據(jù)的應(yīng)用每年潛在可為美國(guó)醫(yī)療健康業(yè)和歐洲政府分別節(jié)省3000億美元和1000億歐元，利用個(gè)人位置信息潛在可創(chuàng)造出
【23】6000億美元價(jià)值，因此大數(shù)據(jù)應(yīng)用具有遠(yuǎn)超萬(wàn)億美元的大市場(chǎng)。
2.大數(shù)據(jù)利用中安全更加重要，為信息安全帶來(lái)發(fā)展契機(jī)。
隨著移動(dòng)互聯(lián)網(wǎng)物聯(lián)網(wǎng)等新興IT技術(shù)逐漸步入主流，大數(shù)據(jù)使得數(shù)據(jù)價(jià)值極大提高，無(wú)處不在的數(shù)據(jù)，對(duì)信息安全提出了更高要求 同時(shí)，大數(shù)據(jù)領(lǐng)域出現(xiàn)的許多新興技術(shù)與產(chǎn)品將為安全分析提供新的可能性;信息安全和云計(jì)算貫穿于大數(shù)據(jù)產(chǎn)業(yè)鏈的各個(gè)環(huán)節(jié)，云安全等關(guān)鍵技術(shù)將更安全地保護(hù)數(shù)據(jù) 大數(shù)據(jù)對(duì)信息安全的要求和促進(jìn)將推動(dòng)信息安全產(chǎn)業(yè)的大發(fā)展。
3.大數(shù)據(jù)時(shí)代來(lái)臨，使商業(yè)智能信息安全和云計(jì)算具有更大潛力。大數(shù)據(jù)產(chǎn)業(yè)鏈按產(chǎn)品形態(tài)分為硬件基礎(chǔ)軟件和應(yīng)用軟件三大領(lǐng)域，商業(yè)智能信息安全和云計(jì)算主題橫跨三大領(lǐng)域，將構(gòu)成產(chǎn)業(yè)鏈中快速發(fā)展的三駕馬車(chē)就國(guó)內(nèi)而言，商業(yè)智能市場(chǎng)已步入成長(zhǎng)期，預(yù)計(jì)未來(lái)3年復(fù)合年均增長(zhǎng)率(CAGR)為35%，十二五期間潛在產(chǎn)值將超300億元;信息安全預(yù)計(jì)未來(lái)3年CAGR有望保持35%～40%的快速增長(zhǎng)，十二五期間潛在產(chǎn)值將超4000億元;云計(jì)算剛進(jìn)入成長(zhǎng)期，預(yù)計(jì)未來(lái)5年CAGR將超50%，2015年產(chǎn)業(yè)規(guī)模預(yù)計(jì)將達(dá)1萬(wàn)億元。
（一）面臨的挑戰(zhàn) 1.大數(shù)據(jù)集成
數(shù)據(jù)的廣泛存在性使得數(shù)據(jù)越來(lái)越多地散布于不同的數(shù)據(jù)管理系統(tǒng)中，為了便于進(jìn)行數(shù)據(jù)分析需要進(jìn)行數(shù)據(jù)的集成．?dāng)?shù)據(jù)集成看起來(lái)并不是一個(gè)新的問(wèn)題，但是大數(shù)據(jù)時(shí)代的數(shù)據(jù)集成卻有了新的需求，因此也面臨著新的挑戰(zhàn)．
1)廣泛的異構(gòu)性．傳統(tǒng)的數(shù)據(jù)集成中也會(huì)面對(duì)數(shù)據(jù)異構(gòu)的問(wèn)題，但是在大數(shù)據(jù)時(shí)代這種異構(gòu)性出現(xiàn)了新的變化，大量出現(xiàn)的各種數(shù)據(jù)本身是非結(jié)構(gòu)化的或弱結(jié)構(gòu)化的，如留言、博客、圖像、視頻數(shù)據(jù)等，如何將這些數(shù)據(jù)轉(zhuǎn)化成一個(gè)結(jié)構(gòu)化的格式是研究者面臨的一項(xiàng)重大挑戰(zhàn)【25】．
2)數(shù)據(jù)質(zhì)量．?dāng)?shù)據(jù)量大不一定就代表信息量或者數(shù)據(jù)價(jià)值的增大，相反很多時(shí)候意味著信息垃圾的泛濫.2.大數(shù)據(jù)分析
大數(shù)據(jù)最為嚴(yán)重的風(fēng)險(xiǎn)存在于數(shù)據(jù)分析層面。數(shù)據(jù)量的增大會(huì)帶來(lái)規(guī)律的喪【26】失和嚴(yán)重失真。傳統(tǒng)意義上的數(shù)據(jù)分析主要針對(duì)結(jié)構(gòu)化數(shù)據(jù)展開(kāi)，且已經(jīng)形成了一整套行之有效的分析體系．首先利用數(shù)據(jù)庫(kù)來(lái)存儲(chǔ)結(jié)構(gòu)化數(shù)據(jù)，在此基礎(chǔ)上構(gòu)建數(shù)據(jù)倉(cāng)庫(kù)，根據(jù)需要構(gòu)建數(shù)據(jù)立方體進(jìn)行聯(lián)機(jī)分析處理(online analytical processing，OI。AP)，可以進(jìn)行多個(gè)維度的下鉆(drill一down)或上卷(roll—up)操作．對(duì)于從數(shù)據(jù)中提煉更深層次的知識(shí)的需求促使數(shù)據(jù)挖掘技術(shù)的產(chǎn)生，并發(fā)明了聚類(lèi)、關(guān)聯(lián)分析等一系列在實(shí)踐中行之有效的方法．這一整套處理流程在處理相對(duì)較少的結(jié)構(gòu)化數(shù)據(jù)時(shí)極為高效．但是隨著大數(shù)據(jù)時(shí)代的到來(lái)，半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)量的迅猛增長(zhǎng)，給傳統(tǒng)的分析技術(shù)帶來(lái)了巨大的沖擊和挑戰(zhàn)。據(jù)阿里巴巴稱(chēng)，雖然其各類(lèi)業(yè)務(wù)產(chǎn)生的數(shù)據(jù)為數(shù)據(jù)分析創(chuàng)造了非常好的基礎(chǔ)條件，然而卻招聘不到合適的數(shù)據(jù)科學(xué)家而影響了研發(fā)進(jìn)展【27】。
3.大數(shù)據(jù)的隱私問(wèn)題
隱私問(wèn)題由來(lái)已久，這基本也是大家最關(guān)心的問(wèn)題。計(jì)算機(jī)的出現(xiàn)使得越來(lái)越多的數(shù)據(jù)以數(shù)字化的形式存儲(chǔ)在電腦中，互聯(lián)網(wǎng)的發(fā)展則使數(shù)據(jù)更加容易產(chǎn)生和傳播，數(shù)據(jù)隱私問(wèn)題越來(lái)越嚴(yán)重．
大數(shù)據(jù)高度依賴(lài)數(shù)據(jù)存儲(chǔ)與共享，必須考慮尋求更好的方法消除各種隱患與漏洞，才能有效地管控安全風(fēng)險(xiǎn)。數(shù)據(jù)的隱私保護(hù)是大數(shù)據(jù)分析和處理面臨的重要問(wèn)題，既是技術(shù)問(wèn)題也是社會(huì)學(xué)問(wèn)題。如果對(duì)私人數(shù)據(jù)使用不當(dāng)，尤其是泄漏有一定關(guān)聯(lián)的多組數(shù)據(jù)，將導(dǎo)致用戶(hù)的隱私泄漏【28】。
當(dāng)前，數(shù)據(jù)安全形勢(shì)不容樂(lè)觀，需要保護(hù)的數(shù)據(jù)量增長(zhǎng)已超過(guò)了數(shù)據(jù)總量的增長(zhǎng) 據(jù)IDC統(tǒng)計(jì)【29】:2010年僅有不到1/3的數(shù)據(jù)需要保護(hù)，到2020年這一比例將超過(guò)2/5;2012年的統(tǒng)計(jì)顯示，雖然有35%的信息需要保護(hù)，但實(shí)際得到保護(hù)的不到20% 在亞洲 南美等新興市場(chǎng)，數(shù)據(jù)保護(hù)的缺失更加嚴(yán)重 首先個(gè)人隱私更容易通過(guò)網(wǎng)絡(luò)泄露，隨著電子商務(wù) 社交網(wǎng)絡(luò)的興起，人們通過(guò)網(wǎng)絡(luò)聯(lián)系的日益緊密，將個(gè)人的相關(guān)數(shù)據(jù)足跡聚集起來(lái)分析，可以很容易獲取個(gè)人的相關(guān)信息，隱私數(shù)據(jù)就可能暴露，而數(shù)據(jù)在網(wǎng)絡(luò)上的發(fā)布機(jī)制使得這種暴露似乎防不勝防;在國(guó)家層面，大數(shù)據(jù)可能給國(guó)家安全帶來(lái)隱患，如果在大數(shù)據(jù)處理方面落后，就可能導(dǎo)致數(shù)據(jù)的單向透明。信息安全戰(zhàn)略是國(guó)家戰(zhàn)略不可分割的重要組成部分，其必要性體現(xiàn)在其從上而下，而非從下而上的推動(dòng)作用。30美國(guó)發(fā)布大數(shù)
【
】據(jù)研發(fā)計(jì)劃，大力發(fā)展大大數(shù)據(jù)技術(shù)就有增強(qiáng)國(guó)家安全方面的戰(zhàn)略考量.4.大數(shù)據(jù)能耗問(wèn)題
在能源價(jià)格上漲、數(shù)據(jù)中心存儲(chǔ)規(guī)模不斷擴(kuò)大的今天，高能耗已逐漸成為制約大數(shù)據(jù)快速發(fā)展的一個(gè)主要瓶頸．從小型集群到大規(guī)模數(shù)據(jù)中心都面臨著降低能耗的問(wèn)題，但是尚未引起足夠多的重視，相關(guān)的研究成果也較少．在大數(shù)據(jù)管 理系統(tǒng)中，能耗主要由兩大部分組成：硬件能耗和軟件能耗，二者之中又以硬件能耗為主．理想狀態(tài)下，整個(gè)大數(shù)據(jù)管理系統(tǒng)的能耗應(yīng)該和系統(tǒng)利用率成正比．但是實(shí)際情況并不像預(yù)期情況，系統(tǒng)利用率為0時(shí)仍然有能量消耗【31】。
5.大數(shù)據(jù)處理與硬件的協(xié)同
硬件的快速升級(jí)換代有力地促進(jìn)了大數(shù)據(jù)的發(fā)展，但是這也在一定程度上造成了大量不同架構(gòu)硬件共存的局面.大數(shù)據(jù)處理必須要有舍才有得。可以通過(guò)舍
【32】棄一些不必要的性能和精確性來(lái)獲取更為重要的性能和精確性。
6.大數(shù)據(jù)管理易用性問(wèn)題
從數(shù)據(jù)集成到數(shù)據(jù)分析，直到最后的數(shù)據(jù)解釋?zhuān)子眯詰?yīng)當(dāng)貫穿整個(gè)大數(shù)據(jù)的流程．易用性的挑戰(zhàn)突出體現(xiàn)在兩個(gè)方面：首先大數(shù)據(jù)時(shí)代的數(shù)據(jù)量大，分析更復(fù)雜，得到的結(jié)果形式更加多樣化．其復(fù)雜程度已經(jīng)遠(yuǎn)遠(yuǎn)超出傳統(tǒng)的關(guān)系數(shù)據(jù)庫(kù)．其次大數(shù)據(jù)已經(jīng)廣泛滲透到人們生活的各個(gè)方面，很多行業(yè)都開(kāi)始有了大數(shù)據(jù)分析的需求．但是這些行業(yè)的絕大部分從業(yè)者都不是數(shù)據(jù)分析的專(zhuān)家，在復(fù)雜的大數(shù)據(jù)工具面前，他們只是初級(jí)的使用者(naIve users)．復(fù)雜的分析過(guò)程和難以理解的分析結(jié)果限制了他們從大數(shù)據(jù)中獲取知識(shí)的能力．這兩個(gè)原因?qū)е乱子眯猿蔀榇髷?shù)據(jù)時(shí)代軟件工具設(shè)計(jì)的一個(gè)巨大挑戰(zhàn)．關(guān)于大數(shù)據(jù)易用性的研究仍處于一個(gè)起步階段．從設(shè)計(jì)學(xué)的角度來(lái)看易用性表現(xiàn)為易見(jiàn)(easy to discover)、易學(xué)(easy to learn)和易用(easy to use)。
7.性能測(cè)試基準(zhǔn)
數(shù)據(jù)庫(kù)產(chǎn)品的成功離不開(kāi)以TPC系列為代表的測(cè)試基準(zhǔn)的產(chǎn)生．正是有了這些測(cè)試基準(zhǔn)，才能夠準(zhǔn)確地衡量不同數(shù)據(jù)庫(kù)產(chǎn)品的性能，并對(duì)其存在的問(wèn)題進(jìn)行改進(jìn)。在過(guò)去20年里，產(chǎn)業(yè)基準(zhǔn)起到了很大的作用。在制定行業(yè)的標(biāo)準(zhǔn)時(shí)，性能、持有成本和能源效率是成功的三大關(guān)鍵。產(chǎn)業(yè)界標(biāo)準(zhǔn)的基準(zhǔn)都扮演了非常重要的作用，進(jìn)一步推動(dòng)了計(jì)算機(jī)產(chǎn)業(yè)科學(xué)的發(fā)展
四、結(jié)果和結(jié)論關(guān)系
像互聯(lián)網(wǎng)、云計(jì)算以及物聯(lián)網(wǎng)等技術(shù)一樣，大數(shù)據(jù)時(shí)代的到來(lái)勢(shì)必會(huì)再次讓信息技術(shù)領(lǐng)域煥然一新。大數(shù)據(jù)時(shí)代下，每個(gè)個(gè)體都是數(shù)據(jù)的產(chǎn)生者，企業(yè)的任何一項(xiàng)業(yè)務(wù)活動(dòng)都可以用數(shù)據(jù)來(lái)表示，如何保證大數(shù)據(jù)的質(zhì)量，如何建模、提取并利用隱藏在大數(shù)據(jù)中的信息以提升企業(yè)信息系統(tǒng)績(jī)效、提升企業(yè)決策能力，成
【33】
。為擺在業(yè)界和學(xué)術(shù)界面前的重大難題。
總的來(lái)說(shuō)，目前對(duì)于大數(shù)據(jù)的研究仍處于一個(gè)非常初步的階段，還有很多基礎(chǔ)性的問(wèn)題有待解決．大數(shù)據(jù)的幾個(gè)特征中究竟哪個(gè)最重要?面對(duì)大數(shù)據(jù)管理我們需要的是簡(jiǎn)單的技術(shù)上的演變(evo1ution)還是徹底的變革(revoIution)?不同學(xué)科的研究者之間怎樣協(xié)作才能更有利于大數(shù)據(jù)問(wèn)題的解決?諸如此類(lèi)的問(wèn)題還有許多，要解決大數(shù)據(jù)問(wèn)題仍有很長(zhǎng)的路要走。
[參考文獻(xiàn)]
[1]孟小峰，慈祥: 大數(shù)據(jù)管理：概念、技術(shù)與挑戰(zhàn)。計(jì)算機(jī)研究與發(fā)展[146-169,2013] [2]阿爾溫 托夫勒． 第三次浪潮［M］． 北京: 三聯(lián)書(shū)店出版社，1984．
[3]Jim Gray． One Science A transformed scientific method[C]//Tony H，Stewart T，Kirstin T． The fourth paradigm: Data－intensive scientific discovery．Redmond，WA: Microsoft Research，2009: 19－33．
[4]Nature.BigData[EB/OL].http://www.tmdps.cn 【2013年10月31日】
[33]CSDN:大數(shù)據(jù)：基準(zhǔn)測(cè)試是一把尚未完成的尺子。IT專(zhuān)家網(wǎng)數(shù)據(jù)中心，【2013年12月10日】
第三篇：信息檢索論文
應(yīng)用化學(xué)
化學(xué)與化工信息檢索論文
題目:造紙污水處理技術(shù)現(xiàn)狀及進(jìn)展
學(xué)生姓名------學(xué)號(hào)--------專(zhuān)業(yè)應(yīng)用化學(xué)指導(dǎo)教師----
2010年12月 25日
造紙污水處理技術(shù)現(xiàn)狀及進(jìn)展
摘要：本文在查閱相關(guān)資料的基礎(chǔ)上，介紹了國(guó)內(nèi)外的造紙廢水處理的常用方法，并對(duì)各種方法進(jìn)行了評(píng)價(jià)和分析，綜述了造紙廢水處理研究的現(xiàn)狀和進(jìn)展。
關(guān)鍵詞:造紙；廢水處理；治理技術(shù)
隨著造紙工業(yè)的迅速發(fā)展，造紙工業(yè)廢水已經(jīng)成為水環(huán)境的重要污染源之一。在造紙過(guò)程中，除纖維素和部分半纖維素之外的大量有機(jī)物要進(jìn)入廢水中，并且即使經(jīng)過(guò)充分的廢液回收利用，也還是或多或少地會(huì)有一些纖維素和半纖維素流失進(jìn)入廢水中。含有大量有機(jī)物的造紙廢水排入水體，對(duì)水體會(huì)造成不同程度的污染。同時(shí)造紙過(guò)程中通常還需要加入一些必要的化學(xué)藥劑和化學(xué)助劑，這些物質(zhì)流失進(jìn)入水體中更是加重了水體污染[1]。造紙工業(yè)的漂白工段通常是采用含氯化合物漂白，導(dǎo)致排出的漂白廢水中含有大量的氯化有機(jī)物，其中的氯苯酚、氯化脂肪酸、氯化樹(shù)脂酸、dioxin等有毒且難以處理的氯化有 機(jī)物，對(duì)環(huán)境中的生物具有強(qiáng)烈的毒害、致畸、致多發(fā)性腦神經(jīng)病變作用[2]，因此如何有效地去除造紙廢 水中的含氯有機(jī)物已經(jīng)成為廢水處理的一大難題。本文在查閱大量文獻(xiàn)資料的基礎(chǔ)上主要介紹國(guó)內(nèi)外處理造紙廢水的方法和新技術(shù)，并就國(guó)內(nèi)外治理造紙廢水的現(xiàn)狀和未來(lái)的發(fā)展前景加以評(píng)述。
1概況
據(jù)經(jīng)貿(mào)委粗略估計(jì)，目前我國(guó)大小造紙廠約有近萬(wàn)家。造紙工業(yè)總的特點(diǎn)是：使用原料種類(lèi)多、生產(chǎn)工藝類(lèi)型多、中小企業(yè)多、技術(shù)裝備落后者多。調(diào)查統(tǒng)計(jì)表明，造紙工業(yè)廢水年排放總量達(dá)17億t，占工業(yè)廢 水總排放量的10以上。造 紙工業(yè)廢水主要包括黑液或紅液(蒸煮制漿廢水)、中段廢水(制漿洗滌、篩選、漂白廢水)、造紙 白水(抄紙廢水)三大類(lèi)，其中蒸煮黑液的環(huán)境污染最為嚴(yán)重，占整個(gè)造紙工業(yè)污染的90%。制漿廢水 BOD、COD、SS、pH、色度、濁度等均嚴(yán)重超標(biāo)；中段廢水成分與制漿廢水相近，但濃度低，富含漂白工段產(chǎn)生的對(duì)環(huán)境危害最大的有機(jī)氯化物；抄紙廢水中主要含有細(xì)小纖維、填料(高嶺土等)和膠料(松香等)，BOD值較低。造紙工業(yè)廢水的治理是國(guó)內(nèi)外造紙行業(yè)亟待解決的難題[3]。
2治理方法
2.1物理化學(xué)法
物理化學(xué)法是通過(guò)物理或者化學(xué)反應(yīng)的作用來(lái)達(dá)到去除廢水中的污染物的目的，主
要有以下方法：
2.1.1臭氧法
臭氧氧化技術(shù)已問(wèn)世多年，近年來(lái)，由于低成本的臭氧發(fā)生裝置和臭氧處理裝置的出現(xiàn)而重新成為研究熱點(diǎn)。臭氧(O3)是一種強(qiáng)氧化劑，O3作為兩性離子，能選擇性地分解發(fā)色基團(tuán)。安郁琴[4]將經(jīng)過(guò)化學(xué)混凝處理后和經(jīng)過(guò)化學(xué)混凝過(guò)濾吸附處理后的麥革漿黑液利用臭氧法處理，處理 20分鐘后脫色率可以達(dá)到 82．1％，但 CODCr去除率僅 15．8％，BOD5去除率為24．8％，F(xiàn)f1此可見(jiàn)，臭氧脫色效果顯著，但對(duì) CODCr和 BOD5的去除效果不明顯。臭氧在水中的溶解度較低，如何更有效地使臭氧溶解于水中從而提高其利用率已經(jīng)成為該技術(shù)研究的熱點(diǎn)。使用臭氧法也會(huì)產(chǎn)生其它副產(chǎn)物，其中最受關(guān)注的是羰基化合物中的醛類(lèi)，比如甲醛、乙醛，這些物質(zhì)具有急性毒性和慢性毒性，并具有一定的致畸、致癌、致突性。
2.1.2光催化氧化
光催化氧化技術(shù)是近年來(lái)比較活躍的研究領(lǐng)域，光催化氧化技術(shù)是在光化學(xué)氧化技術(shù)的基礎(chǔ)上發(fā)展起來(lái)的。張志軍等[5]利用中壓汞燈作光源，研究了氯代二苯并一對(duì)一二啞英(CDDS、包括DCCD、PcDD和OCDD)在 TiO2催化下的光解反應(yīng)，在室溫下，4h內(nèi)DCCD、PCDD和OCDD分別降解87．2％、84．6％和91．2％。M．Cristina Yeber等
[6]將 TiO2、Zno同定在玻璃上，對(duì)漂白廢水進(jìn)行了光催化氯化處理，處理 120min后，廢水的色度可完全去除，總酚含量減少了85％，TOC減少了50％，處理后殘留有機(jī)物的急性毒性和AOX比處理前大為減少，高分子化合物幾乎全部降解。
2.1.3混凝法
混凝法是目前國(guó)內(nèi)外重點(diǎn)研究的方向之一，該法適應(yīng)性強(qiáng)、基建投資低、管理簡(jiǎn)單，是水處理常用的方法，在造紙行業(yè)的廢水處理中使用普遍。造紙廢水中由于含有大量纖維和化學(xué)藥劑，所以一般在處理造紙廢水時(shí)首先要用混凝法除去這些物質(zhì)。張學(xué)洪、解慶林[9]等利用聚合氯化鋁處理廣西某造紙廠的造紙終端廢水(CODcf=400mg／L)，處理后可以達(dá)到國(guó)家污水排放標(biāo)準(zhǔn)(CODcf<100 mg／L)。黃國(guó)林、樂(lè)長(zhǎng)高等[1O]利用水溶性酚醛樹(shù)脂和硫酸反應(yīng)得到的聚合物處理?yè)嶂菽吃旒垙S制漿車(chē)間排污口的廢水，在最佳工藝條件下反應(yīng)時(shí)，CODc和ss去除率分別可以達(dá)到80％一85％和 90％ 一95％，處理水可以達(dá)到排放標(biāo)準(zhǔn)。
2.2 生物法
廢水的生物處理方法就是利用微生物的新陳代謝功能使廢水中呈溶解狀和膠體狀的有機(jī)污染物被降解并轉(zhuǎn)化成無(wú)害穩(wěn)定的物質(zhì)，使廢水得到凈化。生物法處理廢水因其運(yùn)行成本低，效果較好而在廢水處理中得到了廣泛應(yīng)用。造紙廢水中含有大量有機(jī)物質(zhì)，廢水的可生化性較好，可以為生物法的微生物提供大量的營(yíng)養(yǎng)物質(zhì)，從而能保證微生物的正常生長(zhǎng)繁殖和生物法處理廢水的正常運(yùn)行。利用生物法對(duì)造紙廢水進(jìn)行二級(jí)處理可有效去除BOD、COD。造紙廢水生物處理法主要有以下幾種：
2.2.1好氧生物處理法
利用好氧微生物(主要為好氧菌)的新陳代謝作用來(lái)降解污染物，其中應(yīng)用最多的主要是活性污泥法，我國(guó)的科研人員對(duì)活性污泥法處理造紙廢水進(jìn)行了大量的研究，取得了許多成功的經(jīng)驗(yàn)。造紙廢水中的木素是不易生物降解的物質(zhì)，活性污泥對(duì)木素具有極好的吸附性能，通過(guò)生物降解和活性污泥吸附作用，可達(dá)到除去木素的目的，從而降低溶解木素的濃度。芬蘭OULU紙漿廠[11]利用活性污泥法加污泥曝氣再生處理漂白硫酸鹽紙漿廢水，可使BOD去除率達(dá) 90％，COD去除率達(dá)84％。活性污泥法由于其處理成本低、易于管理、處理效果較好而在廢水處理中的應(yīng)用越來(lái)越多。
2.2.2生物膜法
相對(duì)于活性污泥系統(tǒng)而言，生物膜系統(tǒng)具有如下顯著優(yōu)點(diǎn)：高容積負(fù)荷、更強(qiáng)的抗毒能力和耐負(fù)荷沖擊能力、無(wú)須污泥回流且處理設(shè)施緊湊。朱光燦、呂錫武等[12]研究了采用脫木素—缺氧—好氧生物膜工藝處理造紙廢水。其中的脫木素工藝可有效地將黑液中堿木素脫穩(wěn)析出，并提高廢水的可生化性，當(dāng)廢水 pH=5，絕干纖維污泥與廢水 COD質(zhì)量之比為 1．1，硫酸鋁投加量為 160m g／L時(shí)，COD去除率大于 63％。生物法在利用微生物處理造紙廢水時(shí)候，如果造紙廢水中含有大量不利于微生物生長(zhǎng)的物質(zhì)時(shí)候，生物法處理效果較差，因此在制漿造紙過(guò)程中可以通過(guò)改變漂白劑的種類(lèi)，提高造紙廢水的可生化性，使其更利于生物法處理。
2.3 其他方法
2.3.1電化學(xué)法
利用電化學(xué)法進(jìn)行廢水的處理是電化學(xué)法獲得應(yīng)用的典型領(lǐng)域。通過(guò)電化學(xué)反應(yīng)中的直接或者間接氧化和還原作用，可以破壞有毒或難降解有機(jī)物的結(jié)構(gòu)，去除其生物毒性，提高其可生化性。電化學(xué)法處理廢水一般無(wú)需加入化學(xué)藥品，后處理簡(jiǎn)單，占地面積小，管理方便，被稱(chēng)為清潔處理法。景峰、王耀新、朱文菊等將電化學(xué)和凝聚沉淀法兩種方法聯(lián)合起來(lái)處理造紙廢水，使造紙廢水COD去除率達(dá)到55％～70％，色度去除，率達(dá)90％～95％[13]。目前關(guān)于電化學(xué)法的許多問(wèn)題特別是降解機(jī)理、處理速度和經(jīng)濟(jì)
性問(wèn)題尚未完全解決，電化學(xué)處理廢水電耗較高，使該方法的工業(yè)應(yīng)用受到限制。
2.3.2濕式空氣氧化法
濕式空氣氧化法是目前研究較多的新型處理方法，即在高溫、高壓下在液相中利用空氣或者氧氣作為氧化劑，將廢水中的有機(jī)物氧化成二氧化碳和水，從而達(dá)到去除污染物的目的。國(guó)內(nèi)從80年代開(kāi)始進(jìn)行濕式空氣氧化法的研究，先后進(jìn)行了造紙黑液、含硫廢水、酚水及煤制氣廢水、農(nóng)藥廢水、印染廢水等的實(shí)驗(yàn)研究，目前，濕式空氣氧化法在國(guó)內(nèi)尚處于試驗(yàn)階段。與常規(guī)方法相比，濕式空氣氧化法具有適用范圍廣、處理效率高等優(yōu)點(diǎn)。但由于濕式空氣氧化法一般要求在高溫高壓的條件下進(jìn)行，對(duì)設(shè)備材料的要求較高，須耐高溫、高壓并耐腐蝕，因此設(shè)備費(fèi)用高，系統(tǒng)的一次性投資大，在實(shí)際推廣應(yīng)用方面仍存在著一定的局限性。
2.3.3超臨界水氧化法
在處理難降解有機(jī)廢水方面，超臨界水氧化技術(shù)是目前研究較為活躍的新技術(shù)。由于超臨界水氣液 相界面消失．成為一均相體系，因而超臨界水中的有機(jī)物反應(yīng)速度極快。Model等[14]對(duì)有機(jī)炭含量達(dá) 27．33 g/L的廢水進(jìn)行超臨界水氧化處理，在實(shí)驗(yàn)條件下，1分鐘內(nèi)就使有機(jī)氯和有機(jī)炭的去除率分別達(dá)到99．99％和99．97％。超臨界水氧化技術(shù)具有良好的工業(yè)應(yīng)用前景，但是由于對(duì)反應(yīng)條件要求較為苛刻(高溫、高壓)，對(duì)設(shè)備要求偏高，因此還有一些實(shí)際的技術(shù)問(wèn)題需要解決。造紙廢水治理技術(shù)展望
隨著全球可持續(xù)發(fā)展戰(zhàn)略的實(shí)施，循環(huán)經(jīng)濟(jì)和 清潔生產(chǎn)技術(shù)越來(lái)越受到人們的關(guān)注，造紙工業(yè)廢水治理從末端治理向清潔生產(chǎn)工藝、物質(zhì)循環(huán)利用、廢水回用綜合防治方向發(fā)展。未來(lái)造紙工業(yè)廢水治理將突出以下幾個(gè)方面：
(1)貫徹循環(huán)經(jīng)濟(jì)理念、重視清潔生產(chǎn)技術(shù)的開(kāi)發(fā)與應(yīng)用，提高物質(zhì)的轉(zhuǎn)化率和循環(huán)使用率，從源頭上削減各污染物的產(chǎn)生量并在廠內(nèi)將大量廢水循環(huán)回用，實(shí)現(xiàn)封閉循環(huán)，結(jié)合廢水綜合治理，最終實(shí)現(xiàn)廢水零排放。
(2)綜合目前國(guó)內(nèi)外技術(shù)發(fā)展情況，應(yīng)重視開(kāi)發(fā)和引進(jìn)先進(jìn)的治理技術(shù)：重視黑液 處理技術(shù)(主要為堿 回收 技術(shù))、重 視 SS、BOD、COD 的去除技術(shù)及脫色技術(shù)。
(3)應(yīng)重視 生物處理方法在造紙工業(yè)廢水處理中的應(yīng)用，生物技術(shù)具有成本低、效益高、與其他方法組合可大大提高造紙廢水的處理率，隨著分子生物學(xué)技術(shù)、物種微生物技術(shù)的發(fā)展和應(yīng)用，具有高效、耐毒性的菌種不斷培育成功，為生物技術(shù)的廣泛應(yīng)用提供了前提條件。
(4)人工濕地處理系統(tǒng)作為一種成本低廉、節(jié)能降耗、簡(jiǎn)單易行、效果顯著、無(wú)二次污染的廢水處理技術(shù)，是造紙廢水處理的新方法[15]。
(5)廢紙?jiān)旒埰髽I(yè)均存在諸多設(shè)計(jì)、建造、管理問(wèn)題，阻礙廢水回用現(xiàn)狀的進(jìn)一步改善。節(jié)水空間仍然很大。生產(chǎn)過(guò)程中，應(yīng)加強(qiáng)管理，培養(yǎng)員工節(jié)水意識(shí)。調(diào)動(dòng)員工積極性，根據(jù)實(shí)際生產(chǎn)經(jīng)驗(yàn)，提出合理的回改進(jìn)措施[16]。
參考文獻(xiàn)
[1] 張 珂，陳仁銳。丁明秀，等．造紙工業(yè)污染防治技術(shù)與環(huán)境管理[M]．北京：輕工業(yè)出版社，1988．14-15．
[2] 謝 澄，陳中豪，疏明君，等．生物流化床～化學(xué)絮凝法處理紙漿漂白廢水[J]．工業(yè)用水與廢
水，2002，33(I)：27-30．
[3] 黃夏銀，馮彬．造紙廢水處理技術(shù)研究現(xiàn)狀及展望[J]．污染防治技術(shù)，2004，12：17（4）:9-11．
[4] 劉全校，安郁琴．臭氧 用于治理造紙廢水．紙和造紙，2000，7：44．
[5] 張志軍，包志成，王克歐．二氧化鈦催化下的氯代二苯并一對(duì)一二啞英光解反應(yīng)[J]．環(huán)境化學(xué)，1996，15(1)：47．
[6] M Cfistina Yeber,Jaime Rodrlguez,Juanita Freer,et a1．Photocatalytic Degradation of
C：ellulose Bleaching Effiuent by supportedTiO2 andZ 0．C卜lEM0sPERE2000，41：1193．
[9] 張學(xué)洪，解慶林，李金城，等，造紙廢水的混凝處理研究[J]．桂林工學(xué)院學(xué)報(bào)，2000，(4)：
189-191．
[10] 黃國(guó)林，樂(lè)長(zhǎng)高，粱平．利用聚合物處理造紙廢水的研究[J，環(huán)境科學(xué)與技術(shù)，1997，(1)：
24—26.[11] 范懋功．活性 污泥法處理造紙廢水…．給水排水，1996，22(12)：29—31．
[12] 朱光燦，呂錫武，宋海亮，等，脫木素一缺氧一好氧生物膜工藝處理造紙廢水試驗(yàn)研究[J]，給水排水，2004．30(1)：56—59．
[13] 景 峰，王耀新，宋文菊，試論電化學(xué)一凝聚法處理造紙廢水[J]．黑龍江環(huán)境通報(bào)，2000，24(2)：
81—82．
[14] Model M．Processing Methods for the Oxidation ofOrganics in Supercritical Water『P1．US
Patent：4543(9)．1 985.09.24．
[15] 朱光燦，呂錫武，宋海亮，等，造紙廢水治理技術(shù)研究現(xiàn)狀及展望[J]，污染防治技術(shù)，2004．17(4)：14．
[16] 張金紅，廢紙?jiān)旒垙U水回用工藝現(xiàn)狀及改造實(shí)例[J]，湖北造紙，2010．3：38．
第四篇：信息檢索論文
關(guān)于數(shù)字化學(xué)習(xí)資源利用的思考
人資1W 學(xué)號(hào)：10213103
姓名：陳磊 班級(jí)：10摘 要：隨著教育信息化工程的整體推進(jìn)，要求數(shù)字化學(xué)習(xí)資源的建設(shè)也要同步地向前發(fā)展。正確認(rèn)識(shí)數(shù)字化學(xué)習(xí)資源建設(shè)的現(xiàn)狀，并提出正確有效的舉措與做法，對(duì)于數(shù)字化學(xué)習(xí)資源的建設(shè)具有重要的指導(dǎo)作用。
關(guān) 鍵 詞：數(shù)字化學(xué)習(xí)資源、發(fā)展趨勢(shì)、應(yīng)用與開(kāi)發(fā)、質(zhì)量監(jiān)控
一、關(guān)于數(shù)字化學(xué)習(xí)資源的內(nèi)容———要關(guān)注國(guó)際上教育思想的轉(zhuǎn)變
1.1在考慮數(shù)字化學(xué)習(xí)資源建設(shè)的過(guò)程中，首先應(yīng)當(dāng)看到，從上世紀(jì)90年代末到本世紀(jì)初這幾年間，整個(gè)國(guó)際教育界的教育思想有一個(gè)大的轉(zhuǎn)變。[1] 由于在網(wǎng)絡(luò)環(huán)境下既有豐富的學(xué)習(xí)資源，又有很強(qiáng)的交互性，便于自主學(xué)習(xí)、自主探究，所以，隨著網(wǎng)絡(luò)的普及，在建構(gòu)主義理論的支持下，基于網(wǎng)絡(luò)的“以學(xué)生為中心”的教育思想在上世紀(jì)90年代初期、中期甚至到90年代末都一直很流行，而傳統(tǒng)的“以教師為中心”的教育思想則受到嚴(yán)厲的批判。與此同時(shí)，在教學(xué)過(guò)程中教師必不可少的主導(dǎo)作用（如正確的啟發(fā)引導(dǎo)、重點(diǎn)與難點(diǎn)的分析把握、促進(jìn)新知與舊知之間的聯(lián)系等等）也被當(dāng)作糟粕扔掉了。
與國(guó)際教育界上述教育思想觀念的轉(zhuǎn)變相適應(yīng)，數(shù)字化學(xué)習(xí)資源建設(shè)的內(nèi)容也要相應(yīng)地實(shí)現(xiàn)由支持“以教為主”或“以學(xué)為主”，轉(zhuǎn)變?yōu)橹С帧皩W(xué)教并重”。1.2 支持“以教為主”的數(shù)字化學(xué)習(xí)資源，由于其主要關(guān)注點(diǎn)是輔助教師解決教學(xué)中的重點(diǎn)、難點(diǎn)，提高教學(xué)效率，更好地向?qū)W生傳授知識(shí)（而對(duì)學(xué)生自主學(xué)習(xí)、自主探究等活動(dòng)則缺乏相應(yīng)的關(guān)注與支持），故其內(nèi)容強(qiáng)調(diào)要為一線教師的學(xué)科教學(xué)提供多媒體課件、CAI課件、典型課例、教學(xué)設(shè)計(jì)方案和各類(lèi)試題等資源；支持“以學(xué)為主”的數(shù)字化學(xué)習(xí)資源，由于其主要關(guān)注點(diǎn)是要促進(jìn)學(xué)者的自主學(xué)習(xí)、自主探究活動(dòng)和小組的協(xié)作學(xué)習(xí)、協(xié)作探究活動(dòng)（而對(duì)如何輔助教師的“教”，則缺乏相應(yīng)的關(guān)注與支持），故其內(nèi)容應(yīng)是能起認(rèn)知探究工具作用與協(xié)作交流工具作用的數(shù)字化學(xué)習(xí)資源。
二、關(guān)于數(shù)字化學(xué)習(xí)資源的管理———要關(guān)注兩個(gè)新的發(fā)展趨勢(shì)
關(guān)于數(shù)字化學(xué)習(xí)資源的管理，有兩個(gè)新的發(fā)展趨勢(shì)值得我們關(guān)注。
2.1目前對(duì)數(shù)字化學(xué)習(xí)資源的管理，主要考慮的問(wèn)題是如何通過(guò)數(shù)據(jù)庫(kù)存儲(chǔ)方式對(duì)學(xué)習(xí)資源的數(shù)據(jù)內(nèi)容進(jìn)行有效的管理,但管理數(shù)字化學(xué)習(xí)資源的最終目的，是為了能在教學(xué)過(guò)程中充分地利用這些資源。所以，我們?cè)诮ㄔO(shè)數(shù)字化學(xué)習(xí)資源的過(guò)程中不僅應(yīng)當(dāng)關(guān)注學(xué)習(xí)資源的數(shù)據(jù)內(nèi)容管理，同時(shí)也應(yīng)當(dāng)關(guān)注（甚至更應(yīng)當(dāng)關(guān)注）學(xué)習(xí)資源應(yīng)用環(huán)境的支持與管理。
學(xué)科群資源網(wǎng)站是以不同學(xué)科的數(shù)字化學(xué)習(xí)資源為核心，建設(shè)起一個(gè)集資源共建共享、在線課件開(kāi)發(fā)、聯(lián)機(jī)備課、學(xué)科信息發(fā)布、互動(dòng)交流等功能于一體的多學(xué)科、多層次的學(xué)科網(wǎng)站群，目的是使數(shù)字化學(xué)習(xí)資源的利用能更加符合教師和學(xué)生的思維方式與行為習(xí)慣。
2.2目前，絕大部分省、市或地區(qū)的數(shù)字化學(xué)習(xí)資源都是分散存儲(chǔ)于該省、市的各個(gè)學(xué)校或該地區(qū)的不同學(xué)習(xí)資源網(wǎng)站上，應(yīng)當(dāng)采用何種機(jī)制才能對(duì)分散存儲(chǔ)的資源進(jìn)行有效管理并進(jìn)行共建、共享，這是數(shù)字化學(xué)習(xí)資源建設(shè)關(guān)注的焦點(diǎn)之一。我們認(rèn)為，建立“區(qū)域內(nèi)分布式資源網(wǎng)絡(luò)管理系統(tǒng)”是有效解決大范圍數(shù)字化學(xué)習(xí)資源整合與共享問(wèn)題的較佳方案。建設(shè)區(qū)域內(nèi)分布式資源網(wǎng)絡(luò)管理系統(tǒng)的核心技術(shù)包括兩項(xiàng)內(nèi)容：
2.2.1對(duì)資源目錄的集中管理
本地區(qū)的學(xué)習(xí)資源中心（例如省電教館）要為廣大用戶(hù)提供一個(gè)能覆蓋本地區(qū)所有數(shù)字化學(xué)習(xí)資源網(wǎng)站的資源目錄管理系統(tǒng)，以便本地區(qū)不同學(xué)習(xí)資源網(wǎng)站之間的互相訪問(wèn)與資源共享。而且，還要有專(zhuān)人對(duì)該資源目錄系統(tǒng)進(jìn)行經(jīng)常性維護(hù)，從而達(dá)到本地區(qū)范圍內(nèi)各資源站點(diǎn)目錄的同步更新與統(tǒng)一管理。與此同時(shí)，系統(tǒng)還應(yīng)提供專(zhuān)用的教學(xué)搜索引擎，以實(shí)現(xiàn)對(duì)不同資源站點(diǎn)上相關(guān)信息的快速查詢(xún)與檢索；當(dāng)用戶(hù)需要打開(kāi)某個(gè)資源時(shí)，資源目錄管理系統(tǒng)應(yīng)提供重定向功能 2.2.2對(duì)資源數(shù)據(jù)的分布式存儲(chǔ)
數(shù)字化學(xué)習(xí)資源網(wǎng)絡(luò)系統(tǒng)是由多個(gè)資源站點(diǎn)組成的，資源網(wǎng)內(nèi)每一個(gè)提供資源信息服務(wù)的站點(diǎn)都是資源網(wǎng)中的一個(gè)節(jié)點(diǎn)———用于存儲(chǔ)實(shí)際的物理資源，資源節(jié)點(diǎn)之間基于一定的信任授權(quán)關(guān)系進(jìn)行資源互訪，資源元數(shù)據(jù)信息與本地區(qū)學(xué)習(xí)資源中心目錄管理系統(tǒng)中的目錄信息保持同步，因此可以實(shí)現(xiàn)網(wǎng)絡(luò)系統(tǒng)內(nèi)數(shù)字化學(xué)習(xí)資源的分布式存儲(chǔ)和集中式管理，并在本地區(qū)范圍內(nèi)提供廣泛的基于共享的數(shù)字化學(xué)習(xí)資源服務(wù)。
三、關(guān)于數(shù)字化學(xué)習(xí)資源的質(zhì)量監(jiān)控———評(píng)審機(jī)制的建立和實(shí)施
3.1當(dāng)前數(shù)字化學(xué)習(xí)資源的建設(shè)呈無(wú)序狀態(tài)，很多單位在組織資源建設(shè)時(shí)，只注重?cái)?shù)量而忽視質(zhì)量。應(yīng)該通過(guò)建立有效的數(shù)字化學(xué)習(xí)資源評(píng)審機(jī)制，并提高評(píng)審結(jié)果的科學(xué)性和權(quán)威性來(lái)規(guī)范資源建設(shè)行為。與此同時(shí)，還應(yīng)制定具有可操作性的數(shù)字化學(xué)習(xí)資源評(píng)價(jià)指標(biāo)體系，這種評(píng)價(jià)指標(biāo)的制定要突出數(shù)字化學(xué)習(xí)資源的教育特性和新課程標(biāo)準(zhǔn)對(duì)學(xué)習(xí)資源的要求，并要以素質(zhì)教育和創(chuàng)新教育為基本出發(fā)點(diǎn)。3.2 為了保證數(shù)字化學(xué)習(xí)資源評(píng)審的科學(xué)性與有效性，應(yīng)當(dāng)采用專(zhuān)家評(píng)審與群眾（用戶(hù)）評(píng)價(jià)相結(jié)合的方式。
專(zhuān)家評(píng)審應(yīng)建立包括幾方面專(zhuān)業(yè)人員的評(píng)審小組，通常應(yīng)該包括學(xué)科教學(xué)專(zhuān)家、教育技術(shù)專(zhuān)家、信息技術(shù)人員、統(tǒng)計(jì)人員（對(duì)資源評(píng)審結(jié)果進(jìn)行統(tǒng)計(jì)）等。在整個(gè)評(píng)審過(guò)程中每個(gè)成員應(yīng)各司其職，把好相應(yīng)環(huán)節(jié)的質(zhì)量關(guān)。
群眾（用戶(hù)）評(píng)價(jià)從時(shí)間上看，分為使用前評(píng)價(jià)和使用后評(píng)價(jià)兩種。使用前評(píng)價(jià)是根據(jù)事先制定的數(shù)字化學(xué)習(xí)資源評(píng)價(jià)指標(biāo)體系，為不同用戶(hù)編寫(xiě)不同的問(wèn)卷來(lái)獲取評(píng)價(jià)信息及相應(yīng)的得分———使用前的評(píng)價(jià)得分。使用后評(píng)價(jià)則主要依據(jù)公開(kāi)發(fā)布該資源后被引用情況的統(tǒng)計(jì)信息（如被點(diǎn)擊次數(shù)、被下載次數(shù)、被引用次數(shù)等）以及用戶(hù)使用該資源后在網(wǎng)上的評(píng)論信息，把二者結(jié)合起來(lái)（即把被引用情況的統(tǒng)計(jì)信息和網(wǎng)上的評(píng)論信息結(jié)合起來(lái)）進(jìn)行綜合評(píng)價(jià)，才能得出相應(yīng)的得分———使用后的評(píng)價(jià)得分。再對(duì)使用前評(píng)價(jià)和使用后評(píng)價(jià)所產(chǎn)生的兩種得分作加權(quán)統(tǒng)計(jì)———由此即可得出群眾（用戶(hù)）評(píng)價(jià)的總得分。
最后，將專(zhuān)家評(píng)審的結(jié)果與群眾（用戶(hù)）評(píng)價(jià)的總得分二者結(jié)合起來(lái)，這才是能夠保證數(shù)字化學(xué)習(xí)資源評(píng)審科學(xué)性與有效性的最終結(jié)果，并可以此作為確定該數(shù)字化學(xué)習(xí)資源評(píng)價(jià)等級(jí)以及收費(fèi)標(biāo)準(zhǔn)的主要依據(jù)。
【參考文獻(xiàn)】
[1]何克抗，從Blending Learning看教育技術(shù)理論的新發(fā)展[J].電化教育研究，2004,（3）:1~6.2
第五篇：信息檢索論文
居民用電遠(yuǎn)程抄表系統(tǒng)
長(zhǎng)期以來(lái)，供電企業(yè)電能數(shù)據(jù)的抄算都是基于電能表的手工作業(yè)方式，即每月定期派人到各用戶(hù)那里抄錄電能表的用電數(shù)據(jù)作為電費(fèi)計(jì)算和收繳的依據(jù)。隨著電力負(fù)荷的急劇增長(zhǎng)，一戶(hù)一表和直供到戶(hù)等營(yíng)銷(xiāo)舉措的不斷深入，用電企業(yè)紛紛將家屬宿舍的用電治理業(yè)務(wù)交還供電企業(yè)，致使供電企業(yè)的電量抄錄的工作量急劇膨脹。白銀供電公司在城網(wǎng)農(nóng)網(wǎng)改造結(jié)束后，僅市區(qū)居民直供用戶(hù)將達(dá)到9萬(wàn)戶(hù)，就地分散的手工抄表根本無(wú)法適應(yīng)用電治理的需要。因此，遠(yuǎn)程抄表系統(tǒng)的技術(shù)研究和產(chǎn)品開(kāi)發(fā)勢(shì)在必行。
1遠(yuǎn)程自動(dòng)抄表系統(tǒng)的現(xiàn)狀及其特點(diǎn)
一般情況下，一個(gè)家屬樓單元有14～18塊低壓電能表，單元子區(qū)數(shù)據(jù)采集器負(fù)責(zé)采集其下屬的電能表電量數(shù)據(jù)，配變集中器則負(fù)責(zé)收集配電變壓器下面的所有單元子區(qū)采集器的數(shù)據(jù)。從數(shù)據(jù)傳輸?shù)慕嵌瓤矗浣M網(wǎng)方式有：兩級(jí)純專(zhuān)線組網(wǎng)方式、兩級(jí)混合組網(wǎng)方式、兩級(jí)載波組網(wǎng)方式。
從組網(wǎng)拓?fù)涞慕嵌戎v，只要在用戶(hù)電能表、單元子區(qū)采集器、配變集中器采用專(zhuān)用信道通信，遠(yuǎn)程自動(dòng)抄表系統(tǒng)的纜線工程量就非常大，有線專(zhuān)用信道的維護(hù)也有一定困難。鑒于這種情況，各科研單位和廠商都在努力做到取消單元子區(qū)采集器，實(shí)現(xiàn)用戶(hù)電能表與配變集中器的直接低壓電力線載波通信，這樣就大大減少了纜線工程量，而且數(shù)據(jù)遠(yuǎn)程傳輸?shù)慕M網(wǎng)拓?fù)渑c低壓配電網(wǎng)保持一致，有利于系統(tǒng)的運(yùn)行維護(hù)和用戶(hù)數(shù)量的模數(shù)化擴(kuò)展。這種拓?fù)湟笠粋€(gè)用戶(hù)終端，不但要實(shí)現(xiàn)電能計(jì)量，還要實(shí)現(xiàn)數(shù)據(jù)信息的編碼、解碼、載波收發(fā)等功能。可以構(gòu)成完全基于低壓電力線信道的載波電能表 配變集中器 營(yíng)業(yè)站主機(jī)的組網(wǎng)拓?fù)洹?shí)踐證實(shí)：目前市場(chǎng)上已經(jīng)開(kāi)發(fā)出來(lái)的窄帶調(diào)制的低壓載波表和配變集中器很難保證電量或控制數(shù)據(jù)的可靠傳輸。主要原因是低壓電力線載波信道的特性隨機(jī)性、時(shí)變性很大，非常地不穩(wěn)定。因此，低壓電力線載波技術(shù)是直接通過(guò)電力線組網(wǎng)的遠(yuǎn)程抄表系統(tǒng)進(jìn)一步推廣應(yīng)用的瓶頸。
2試點(diǎn)居民小區(qū)遠(yuǎn)程抄表系統(tǒng)方案
在為試點(diǎn)居民小區(qū)遠(yuǎn)程抄表系統(tǒng)做的總體技術(shù)方案設(shè)計(jì)時(shí)，本文遵循三條基本原則：
（1）在試點(diǎn)小區(qū)的配電變壓器和小區(qū)住戶(hù)之間不敷設(shè)任何專(zhuān)用有線信道，數(shù)據(jù)的上行或下行傳送必須使用現(xiàn)成的低壓電力線作為數(shù)據(jù)媒介。
（2）只在配電變壓器和住戶(hù)地點(diǎn)對(duì)應(yīng)安裝數(shù)據(jù)的收發(fā)裝置，建立起各用戶(hù)電能表終端與配變集中器的直接數(shù)據(jù)鏈路，中間不安裝任何硬件上的中繼或第二級(jí)集中轉(zhuǎn)發(fā)裝置。
（3）用戶(hù)電能表終端除了記錄電量外，它還應(yīng)該執(zhí)行就地保護(hù)和遠(yuǎn)方監(jiān)控功能。
2.1系統(tǒng)組成結(jié)構(gòu)
系統(tǒng)由營(yíng)業(yè)站用電治理主機(jī)、配電變壓器集中器、接在配電變壓器低壓電力線上的多個(gè)用戶(hù)電能表終端（接于A相的A1～Ap終端、接于B相的B1～Bm終端、接于C相的C1～Cn終端）和通信信道組成。配電變壓器集中器和用戶(hù)電能表終端分別與配電變壓器、用戶(hù)一一對(duì)應(yīng)并就地分布式安裝。用電治理信息只能在系統(tǒng)的上下級(jí)之間傳輸。其中用電治理主機(jī)到配電變壓器集中器的信息傳輸媒介采用擴(kuò)頻無(wú)線信道或公共電話網(wǎng)（第一級(jí)信道），配電變壓器集中器到用戶(hù)電能表終端的信息傳輸媒介利用低壓電力線載波信道（第二級(jí)信道）。顯然，整個(gè)系統(tǒng)與配電變壓器下面的電壓電力網(wǎng)一樣呈樹(shù)形分布結(jié)構(gòu)，可隨用戶(hù)發(fā)展和負(fù)荷增長(zhǎng)任意擴(kuò)展。
本系統(tǒng)的任務(wù)在于實(shí)現(xiàn)低壓用戶(hù)電量數(shù)據(jù)的遠(yuǎn)程傳輸和抄算，對(duì)低壓電力用戶(hù)的負(fù)荷和用電進(jìn)行遠(yuǎn)程監(jiān)控。
由于使用了分布式安裝結(jié)構(gòu)，在系統(tǒng)建設(shè)上與集中抄表箱用電系統(tǒng)相比，無(wú)須龐大繁瑣的纜線工程，施工難度將會(huì)大幅下降。系統(tǒng)的擴(kuò)展將隨用戶(hù)或配變數(shù)量的遞增而模數(shù)化擴(kuò)展，就象增加一個(gè)用戶(hù)增加一塊電能表那樣簡(jiǎn)單。因此，系統(tǒng)擴(kuò)展極具伸縮性，不會(huì)象集中式系統(tǒng)那樣新建時(shí)資源閑置，用戶(hù)發(fā)展時(shí)容量又不夠。應(yīng)該說(shuō)，這個(gè)系統(tǒng)比較符合營(yíng)業(yè)用電治理系統(tǒng)發(fā)展的主流方向。
2.2網(wǎng)絡(luò)通信協(xié)議的選擇與研究
在計(jì)算機(jī)網(wǎng)絡(luò)中，信道共享技術(shù)已經(jīng)比較成熟。一般可分為兩類(lèi)，即受控接入和隨機(jī)接入。
隨機(jī)接入共享信道的特點(diǎn)是所有用戶(hù)都可以根據(jù)自己的意愿隨機(jī)地發(fā)送信息。實(shí)際上就是爭(zhēng)用接入，征用勝利者才能獲得總線，從而發(fā)送自己的信息。典型的隨機(jī)接入是載體偵聽(tīng)多重訪問(wèn)/沖突檢測(cè)（CSMA/CD）網(wǎng)絡(luò)，其為總線型結(jié)構(gòu)，如圖2所示。后文重點(diǎn)介紹的基于CEbus的擴(kuò)頻載波線性掃頻信號(hào)（Chirp）由于具有自相關(guān)性，所以適用于CSMA網(wǎng)絡(luò)。結(jié)合電力線的傳輸特性，綜合比較各種網(wǎng)絡(luò)，在本文所要開(kāi)發(fā)的遠(yuǎn)抄系統(tǒng)中選用CSMA協(xié)議應(yīng)該是比較合適的。CSMA協(xié)議網(wǎng)絡(luò)的缺點(diǎn)，如時(shí)延不確定、重載時(shí)效率下降，對(duì)數(shù)據(jù)傳輸量較小的遠(yuǎn)程抄表系統(tǒng)來(lái)講，并不是值得考慮的問(wèn)題。
2.3用戶(hù)電能表終端的總體設(shè)計(jì)
用戶(hù)電能表終端由AC/DC開(kāi)關(guān)電源模塊、電量傳感器模塊、故障保護(hù)模塊、計(jì)量模塊、負(fù)荷控制模塊、LED顯示模塊、MCU系統(tǒng)模塊、低壓擴(kuò)頻載波通信模塊構(gòu)成。
多輸出開(kāi)關(guān)電源負(fù)責(zé)為用戶(hù)電能表終端供電，它輸出DC 5V0.5A和DC±15V0.5A電源各一組，其交流輸入的設(shè)計(jì)范圍為AC220V±20。為了降低電源模塊的體積，采用TOP2XX脈寬調(diào)制功率開(kāi)關(guān)為核心器件，構(gòu)成單端反激式電路。
故障保護(hù)模塊負(fù)責(zé)監(jiān)視低壓用戶(hù)的負(fù)荷電器的運(yùn)行情況，當(dāng)發(fā)生短路、過(guò)流、漏電或電網(wǎng)電壓超標(biāo)時(shí)，向MCU系統(tǒng)模塊發(fā)出信號(hào)請(qǐng)求執(zhí)行斷電控制程序。
計(jì)量模塊負(fù)責(zé)把用戶(hù)的用電功率轉(zhuǎn)化為頻率正比于功率大小的脈沖串，提供給MCU系統(tǒng)模塊進(jìn)行電量計(jì)算。即使用戶(hù)實(shí)施了竊電行為，它仍然可以輸出正確的電量計(jì)算脈沖串，并向MCU系統(tǒng)發(fā)出竊電信號(hào)。
負(fù)荷控制模塊是一個(gè)受MCU系統(tǒng)輸出的TTL電平控制的大功率交流無(wú)觸點(diǎn)開(kāi)關(guān)，能夠過(guò)零關(guān)斷或開(kāi)啟6kW的負(fù)荷功率。
MCU系統(tǒng)由AT89C528位單片機(jī)、X5045看門(mén)狗芯片和DS1302時(shí)鐘日歷芯片構(gòu)成。它是用戶(hù)電能表終端的計(jì)算監(jiān)控中心，主要負(fù)責(zé)對(duì)電量脈沖串進(jìn)行計(jì)算或處理，執(zhí)行就地或遠(yuǎn)方的負(fù)荷控制程序，與低壓擴(kuò)頻載波通信模塊進(jìn)行數(shù)據(jù)交換并控制其收發(fā)信。
顯示模塊由一個(gè)8位LED及其動(dòng)態(tài)掃描控制芯片構(gòu)成，主要完成電量數(shù)據(jù)的舊的查詢(xún)顯示，便于用戶(hù)了解自己的電量或電費(fèi)情況。
低壓擴(kuò)頻載波模塊主要由SSCP200低壓電力線擴(kuò)頻載波網(wǎng)絡(luò)控制器、前置功放和電力線耦合電路構(gòu)成，負(fù)責(zé)對(duì)MCU系統(tǒng)送來(lái)的數(shù)據(jù)進(jìn)行線性掃頻調(diào)制，放大后耦合到電力線上，對(duì)通過(guò)電力線送來(lái)的載波信號(hào)進(jìn)行掃頻解調(diào)后送給MCU系統(tǒng)。這種數(shù)據(jù)通信采用了收發(fā)分時(shí)控制的半雙工通信。該模塊與配變集中器的設(shè)計(jì)通信距離為1000m。在信道特性最?lèi)毫拥那闆r下，也要保證不小于600m。
2.4配電變壓器集中器的總體設(shè)計(jì)
配變集中器主要由三個(gè)分相耦合的低壓擴(kuò)頻通信模塊、三個(gè)按相配置的電能表模塊、MCU單片機(jī)系統(tǒng)、3個(gè)雙口RAM和一個(gè)工控機(jī)系統(tǒng)及電話線調(diào)制解調(diào)器構(gòu)成。
低壓擴(kuò)頻載波通信模塊分相配置，是為了杜絕跨相耦合載波信號(hào)，電能表和MCU電路按相配置是為了使集中器能夠并行處理各相的用戶(hù)終端數(shù)據(jù)，增加數(shù)據(jù)傳輸和處理速度。以上電路基本上與用戶(hù)終端類(lèi)似，只是不具備故障保護(hù)、竊電偵測(cè)和負(fù)荷控制電路而已。
在配變集中器內(nèi)設(shè)置電能表模塊便于對(duì)每一相的總電量進(jìn)行計(jì)量和統(tǒng)計(jì)分析，以作為用電治理部門(mén)考核線損和平衡3相負(fù)荷的依據(jù)。
工控機(jī)完成與每一相的MCU系統(tǒng)交換數(shù)據(jù)，并通過(guò)Modem和公用電話網(wǎng)與營(yíng)業(yè)站抄算主機(jī)交換數(shù)據(jù)信號(hào)。上行和下行數(shù)據(jù)要經(jīng)過(guò)工控機(jī)的處理，并在不需要數(shù)據(jù)通信的時(shí)候儲(chǔ)存在工控機(jī)的磁盤(pán)中。鑒于數(shù)據(jù)處理量不是很大，選用486工控機(jī)就能滿(mǎn)足要求。
2.5營(yíng)業(yè)站抄算主站的總體設(shè)計(jì)
營(yíng)業(yè)站抄算主機(jī)主要由PC機(jī)、電話線Modem及其軟件構(gòu)成。主要負(fù)責(zé)營(yíng)業(yè)站到配電變壓器集中器之間的數(shù)據(jù)指令的調(diào)制發(fā)送、解調(diào)接受及綜合分析處理。另外，電話線Modem還可以將營(yíng)業(yè)站用電治理主機(jī)與電費(fèi)托收銀行聯(lián)機(jī)。
PC微機(jī)主要完成用戶(hù)用電數(shù)據(jù)的采集，送電能表參數(shù)、用電信息、欠費(fèi)警告及斷電控制，不安全和違章用電監(jiān)視報(bào)警，用戶(hù)用電治理及查詢(xún)，報(bào)表輸出等功能。
其中，用電采集程序可以進(jìn)行定時(shí)統(tǒng)抄、不定時(shí)統(tǒng)抄及單用戶(hù)隨時(shí)查抄；用電量可按地址統(tǒng)計(jì)，也可按相位統(tǒng)計(jì)，以便合理地調(diào)整配電變壓器A、B、C三相負(fù)載的配置，使供電系統(tǒng)的性能發(fā)揮得更好；在電費(fèi)結(jié)算時(shí)，可通過(guò)分時(shí)計(jì)費(fèi)，合理定價(jià)，使負(fù)載基本恒定；電表參數(shù)、用電信息可送到用戶(hù)終端，從而非常方便地修改電能表參數(shù)，顯示用戶(hù)的用電量及結(jié)算電費(fèi)；欠費(fèi)警告及斷電控制功能可督促用戶(hù)按時(shí)交費(fèi)；不安全和違章用電監(jiān)視報(bào)警功能可使用電監(jiān)察人員迅速準(zhǔn)確地維護(hù)用電秩序；日?qǐng)?bào)表、月報(bào)表、年報(bào)表的形成和輸出方便而快捷。
3結(jié)論與展望
3.1研究結(jié)論
我們?cè)趲追N不同的環(huán)境下對(duì)用戶(hù)電能表終端和配變集中器進(jìn)行了測(cè)試，取得了比較滿(mǎn)足的結(jié)果。依照CEBus標(biāo)準(zhǔn)編制的程序，在傳輸過(guò)程中，沒(méi)有發(fā)現(xiàn)誤碼的存在。不同的測(cè)試環(huán)境下，干擾強(qiáng)度與信道輸入阻抗的波動(dòng)范圍是影響擴(kuò)頻載波可靠通信距離的兩個(gè)主要因素，數(shù)據(jù)通信成功的平均幀延遲時(shí)間與平均通信距離的關(guān)系較大。
戶(hù)表采集器的性能指標(biāo)如下：
·載波通信距離：架空網(wǎng)或電纜電網(wǎng)均可達(dá)1000m；
·抄表成功率：可達(dá)99.7；
·抄表正確率：100；
·讀數(shù)準(zhǔn)確度：計(jì)數(shù)精度達(dá)到小數(shù)點(diǎn)后兩位，用戶(hù)電能表讀數(shù)與標(biāo)準(zhǔn)電能表的誤差不大于1個(gè)字(即0.5kWh)；
·時(shí)鐘誤差：天天小于 1s；
·用戶(hù)電能表功耗：待機(jī)時(shí)≤200mW，發(fā)送數(shù)據(jù)時(shí)≤700mW，發(fā)送時(shí)間≤25ms，接收靈敏度≤2mW；
·采用工業(yè)級(jí)芯片，環(huán)境溫度：-20～ 85℃；
·工作電壓：AC165～260V；
·掉電保護(hù)：電源斷電情況下，數(shù)據(jù)可保存10年；
3.2總結(jié)與展望
電能直供到戶(hù)是供電企業(yè)最重要的營(yíng)銷(xiāo)舉措，這使得電能營(yíng)銷(xiāo)部門(mén)的電能抄算業(yè)務(wù)量成倍增長(zhǎng)。采用新的遠(yuǎn)程抄表技術(shù)來(lái)改善用電治理和電能營(yíng)銷(xiāo)的裝備水平、優(yōu)化電能市場(chǎng)服務(wù)的技術(shù)手段是供電企業(yè)最緊迫的需求。
我國(guó)的低壓電能供給都是以配電變壓器為一個(gè)臺(tái)區(qū)單元，在配電變壓器和用戶(hù)之間不使用任何獨(dú)立的中繼通信設(shè)備或?qū)Ｓ眯诺溃苯永玫蛪弘娏€構(gòu)成與低壓電網(wǎng)系統(tǒng)結(jié)構(gòu)相對(duì)應(yīng)的用戶(hù)電能表終端＋配變集中器＋營(yíng)業(yè)站電能抄算主機(jī)組網(wǎng)的遠(yuǎn)程抄表系統(tǒng)，我們認(rèn)為這符合低壓遠(yuǎn)抄系統(tǒng)的主流發(fā)展方向，因而具有推廣應(yīng)用前景。
具有低壓擴(kuò)頻載波數(shù)據(jù)遠(yuǎn)傳功能的用戶(hù)電能表終端和配變集中器是構(gòu)成本文所提出的遠(yuǎn)程抄表方案的核心裝置。最終的技術(shù)目的的實(shí)現(xiàn)必須建立在成功地開(kāi)發(fā)用戶(hù)電表終端和配變集中器的基礎(chǔ)之上，還要做營(yíng)業(yè)站抄算主機(jī)的軟件編制和數(shù)據(jù)庫(kù)編制。顯然本文所做的工作還離這一目標(biāo)有相當(dāng)長(zhǎng)的一段距離。本文只是對(duì)用戶(hù)電能表終端及其擴(kuò)頻載波通信模塊作了實(shí)用化開(kāi)發(fā)設(shè)計(jì)和樣機(jī)試制，并且通過(guò)樣機(jī)的現(xiàn)場(chǎng)測(cè)試。配變集中器、軟件只作了一個(gè)方案性的設(shè)計(jì)。
本文所取得的另一個(gè)成果就是，把用戶(hù)電能表終端設(shè)計(jì)成一個(gè)智能化的綜合性終端，除了完成電能的記錄和計(jì)量外，它還具有用戶(hù)現(xiàn)場(chǎng)防竊電、防誤接線、故障保護(hù)、遠(yuǎn)方停送電、遠(yuǎn)方修改電能表參數(shù)和負(fù)荷控制功能，這些技術(shù)手段對(duì)提高供電企業(yè)的用電治理水平無(wú)疑具有積極的意義。
參考文獻(xiàn)
[1]邵源,鐘炬,等.關(guān)于低壓用戶(hù)集中抄表系統(tǒng)綜述.電力系統(tǒng)自動(dòng)化,1999(9).[2]徐平平,邱玉春.電力集中抄表中的通信技術(shù).電力系統(tǒng)通信,1999(4).[3]楊士中.靜電無(wú)繩廣播方法.[4]周世煒,張紹卿,洪文學(xué).一種基于電力配電網(wǎng)絡(luò)的雙向工頻通信技術(shù).電子技術(shù),1999(8).[5]邱玉春.利用電力線組網(wǎng)的監(jiān)控網(wǎng)絡(luò)協(xié)議選擇.現(xiàn)代通信,2000(1).[6]邱玉春,徐平平.低壓電力線載波通信特性分析.電力系統(tǒng)通信,1998:6(48).
點(diǎn)擊咨詢(xún) 