第一篇：數據網學習心得體會

數據通信技術與維護管理學習心得體會

在我們的仔細聆聽中，我們期盼已久的培訓學習在我們的戀戀不舍中敲響了結尾的鐘聲。對于一個月的培訓課程，我想我只能用受益匪淺這四個字來形容了。老師們的博文廣識、生動講解、精彩案例無不在我的腦海里留下了深刻的印象，我只恨自己才疏學淺、文筆糟糕，不能夠將所有的感觸都通過文字顯然于紙上。但是我還是盡力絞盡腦汁，以祈求能將培訓完后心中所想所獲能表達出來。

此次精彩的培訓學習主要心得有以下幾個方面：

一、讓自己更加了解數據通信系統，了解數據通信原理，了解局域網技術和網絡協議。

通過這次的培訓學習，我知道了是一個由分布在各地的數據終端設備、數據交換設備和數據傳輸鏈路構成的網絡，其功能是在網絡協議支持下，實現數據終端間的數據傳輸和交換。數據通信網的組成包括:數據終端設備；數據交換設備；數據傳輸鏈路；通信協議。此外還掌握了網絡協議分析軟件的基本操作，并對ARP、TCP和UDP協議等做了基本的實作分析。

二、了解了綜合視頻監控、會議電視等數據通信業務 綜合視頻監控采用網絡化、數字化視頻監控技術和IP傳輸方式構建的視頻監控系統，提供鐵路各業務部門和信息系統所需的視頻信息，實現網絡和視頻信息資源共享。全路現有視頻系統達500多個，安裝攝像機18524套。包括模擬和數字系統，除近年來建設的有青藏線路視頻監視系統、客運專線、編組站及大站視頻監視系統等，早期建設的視頻系統大部分沒有經過聯網，僅為本地區單業務部門用戶服務。

視頻會議（會議電視）是視訊傳輸技術的典型應用之一，一種在不同地點的用戶以電視的方式舉行會議，傳輸圖像、聲音和文件的通信方式。視頻會議具有節省時間、縮短空間、提高效率等優點。視頻會議是現代計算機技術、通信技術和視頻技術完美結合的產物。

三、學習了綜合網管，數據網組網及相關技術規章，并了解了數據網常見故障分析及維護策略

網絡管理功能可概括為OAM﹠P，即網絡的操作(Operation)、管理(Administration)、維護(Maintenance)、服務提供(Provisioning)等所需要的各種活動。有時也只考慮前三種，即把網絡管理功能歸結為OAM.數據網網管的主要功能：對網絡中的設備進行配置管理，以利于運營維護；實現網絡的運行狀況監控，包括：故障監視、告警等功能；實現網絡的計費，例如：流量統計等；實現網絡的安全管理，例如：相關安全設置、用戶設置等。

鐵路IP數據網分為專用IP數據網和綜合IP數據網。專用IP數據網指獨立組網的信息網絡，包括：客票網、CTC/TDCS網、公安網、機要網等；鐵路數據通信網是綜合IP數據網（以下簡稱數據網），是鐵路信息業務及通信系統數據通信業務共用的數據通信基礎網絡平臺。

數據網應承載鐵路信息化發展總體規劃中的客貨運營銷、經營管理和部分運輸組織的信息應用系統（包括：旅客信息服務信息系統、辦公信息化、運輸生產及調度指揮信息系統、各類監測系統等），以及通信系統數據通信業務（包括：鐵路綜合視頻監控系統、GSM-R GPRS、會議電視系統、網管系統、SIM卡管理等系統）。

四、最后我們學員間還進行了工作交流

通過交流我們互相之間了解了各鐵路局數據網的使用情況，并通過交流我們互相學習數據網的維護，從而提高了我對數據網維護工作的技術水平。以便以后能夠更好的進行工作。

學習是可貴的，培訓是精彩的。通過這次可貴而精彩的培訓學習，我們向鐵路數據通信更進了一步。感嘆與憧憬之余，我想我們只有靠自己的聰明與才智、努力與勤奮去建設好鐵路，為我們的鐵路數據通信更好的發展貢獻自己微薄的力量。

太原通信段技術支持中心

武威

2013年12月13日

第二篇：大數據心得體會

大數據時代的信息分析平臺搭建安裝報告

一、平臺搭建

描述小組在完成平臺安裝時候遇到的問題以及如何解決這些問題的，要求截圖加文字描述。

問題一：在決定選擇網站綁定時，當時未找到網站綁定的地方。解決辦法：之后小組討論后，最終找到網站綁定的地方，點擊后解決了這個問題。

問題二：當時未找到TCP/IP屬性這一欄

解決辦法：當時未找到TCP/IP屬性這一欄，通過老師的幫助和指導，順利的點擊找到了該屬性途徑，啟用了這一屬性，完成了這一步的安裝步驟。

問題三：在數據庫這一欄中，當時未找到“foodmartsaleDW”這個文件

解決辦法：在數據庫這一欄中，當時未找到“foodmartsaleDW”這個文件，后來詢問老師后，得知該文件在第三周的文件里，所以很快的找到了該文件，順利的進行了下一步

問題四：在此處的SQL server的導入和導出向導，這個過程非常的長。

解決辦法：在此處的SQL server的導入和導出向導，這個過程非常的長，當時一直延遲到了下課的時間，小組成員經討論，懷疑是否是電腦不兼容或其他問題，后來經問老師，老師說此處的加載這樣長的時間是正常的，直到下課后，我們將電腦一直開著到寢室直到軟件安裝完為止。

問題五：問題二：.不知道維度等概念，不知道怎么設置表間關系的數據源。關系方向不對

解決辦法：百度維度概念，設置好維度表和事實表之間的關系，關系有時候是反的——點擊反向，最后成功得到設置好表間關系后的數據源視圖。（如圖所示）

這個大圖當時完全不知道怎么做，后來問的老師，老師邊講邊幫我們操作完成的。

問題六：由于發生以下連接問題，無法將項目部署到“localhost”服務器:無法建立連接。請確保該服務器正在運行。若要驗證或更新目標服務器的名稱，請在解決方案資源管理器中右鍵單擊相應的項目、選擇“項目屬性”、單擊“部署”選項卡，然后輸入服務器的名稱。”因為我在配置數據源的時候就無法識別“localhost”，所以我就打開數據庫屬性頁面：圖1-圖2 圖一：

圖二：

解決辦法：解決辦法: 圖2步驟1：從圖1到圖2后，將目標下的“服務器” 成自己的SQL SERVER服務器名稱行SQL ServerManagement Studio可以）步驟2：點確定后，選擇“處理”，就可以成功部署了。

問題七：無法登陸界面如圖：

解決方法：嘗試了其他用戶登陸，就好了

二、心得體會

（1）在幾周的學習中，通過老師課堂上耐心細致的講解，耐心的指導我們如何一步一步的安裝軟件，以及老師那些簡單清晰明了的課件，是我了解了SQL的基礎知識，學會了如何創建數據庫，以及一些基本的數據應用。陌生到熟悉的過程，從中經歷了也體會到了很多感受，面臨不同的知識組織，我們也遇到不同困難。

數據隱藏著有價值的模式和信息，在以往的時間才能提取這些信息。如今的各種資源，如硬件、云結構和開源軟件使得大數據的處理方法更為方便和廉價。大數據的規模是傳統IT架構所面臨的直接挑戰。要求可擴展的儲存和分布方式來完成查詢。傳統的關系數據庫無法處

理大數據的規模。大數據進修學習內容模板：

LINUX安裝，文件系統，系統性能分析 HAdoop學習原理

大數據飛速發展時代，做一個合格的大數據開發工程師，只有不斷完善自己，不斷提高自己技術水平，這是一門神奇的課程。

2、在學習SQL的過程中，讓我們明白了原來自己的電腦可以成為一個數據庫，也可以做很多意想不到的事。以及在學習的過程中讓我的動手能力增強了，也讓我更加懂得了原來電腦的世界是如此的博大精深，如此的神秘。通過這次的學習鍛煉了我們的動手能力，上網查閱的能力。改善了我只會用電腦上網的尷尬處境，是電腦的用處更大。讓我們的小組更加的團結，每個人對自己的分工更加的明確，也鍛煉了我們的團結協作，互幫互助的能力。

3、如果再有機會進行平臺搭建，會比這一次的安裝更加順手。而在導入數據庫和報表等方面也可以避免再犯相同的錯誤，在安裝lls時可以做的更好。相信報表分析也會做的更加簡單明了有條理。

總結，大數據時代是信息化社會發展必然趨勢，在大學的最后一學期里學習了這門課程是我們受益匪淺。讓我們知道了大數據大量的存在于現代社會生活中，隨著新興技術的發展與互聯網底層技術的革新，數據正在呈指數級增長，所有數據的產生形式，都是數字化。如何收集、管理和分析海量數據對于企業從事的一切商業活動都顯得尤為重要。

大數據時代是信息化社會發展必然趨勢，我們只有緊緊跟隨時代的發展才能在以后的工作生活中中獲得更多的知識和經驗。

三、結語

敘述小組內每個組員在這次的項目里各自分工和完成情況，組長需給組員打分，10分為滿分

第三篇：大數據心得體會

大數據心得體會

早在2007年，人類制造的信息量有史以來第一次在理論上超過可用存儲空間總量，近幾年兩者的剪刀差越來越大。2010年，全球數字規模首次達到了“ZB”（1ZB＝1024TB）級別。2012年，淘寶網每天在線商品數超過8億件。2013年底，中國手機網民超過6億戶。隨著互聯網、移動互聯網、傳感器、物聯網、社交網站、云計算等的興起，我們這個社會的幾乎所有方面都已數字化，產生了大量新型、實時的數據。無疑，我們已身處在大數據的海洋。

有兩個重要的趨勢使得目前的這個時代（大數據時代）與之前有顯著的差別：其一，社會生活的廣泛數字化，其產生數據的規模、復雜性及速度都已遠遠超過此前的任何時代；其二，人類的數據分析技術和工藝使得各機構、組織和企業能夠以從前無法達到的復雜度、速度和精準度從龐雜的數據中獲得史無前例的洞察力和預見性。

大數據是技術進步的產物，而其中的關鍵是云技術的進步。在云技術中，虛擬化技術乃最基本、最核心的組成部份。計算虛擬化、存儲虛擬化和網絡虛擬化技術，使得大數據在數據存儲、挖掘、分析和應用分享等方面不僅在技術上可行，在經濟上也可接受。

在人類文明史上，人類一直執著探索我們處的世界以及人類自身，一直試圖測量、計量這個世界以及人類自身，試圖找到隱藏其中的深刻關聯、運行規律及終極答案。大數據以其人類史上從未有過的龐大容量、極大的復雜性、快速的生產及經濟可得性，使人類第一次試圖從總體而非樣本，從混雜性而非精確性，從相關關系而非因果關系來測量、計量我們這個世界。人類的思維方式、行為方式及社會生活的諸多形態（當然包括商業活動）正在開始發生新的變化。或許是一場革命性、顛覆性的變化。從這個意義上講，大數據不僅是一場技術運動，更是一次哲學創新。1 大數據的概述

1.1 大數據的概念

大數據（Big Data）是指那些超過傳統數據庫系統處理能力的數據。它的數據規模和轉輸速度要求很高，或者其結構不適合原本的數據庫系統。為了獲取大數據中的價值，我們必須選擇另一種方式來處理它。

數據中隱藏著有價值的模式和信息，在以往需要相當的時間和成本才能提取這些信息。如沃爾瑪或谷歌這類領先企業都要付高昂的代價才能從大數據中挖掘信息。而當今的各種資源，如硬件、云架構和開源軟件使得大數據的處理更為方便和廉價。即使是在車庫中創業的公司也可以用較低的價格租用云服務時間了。

對于企業組織來講，大數據的價值體現在兩個方面：分析使用和二次開發。對大數據進行分析能揭示隱藏其中的信息，例如零售業中對門店銷售、地理和社會信息的分析能提升對客戶的理解。對大數據的二次開發則是那些成功的網絡公司的長項。例如Facebook通過結合大量用戶信息，定制出高度個性化的用戶體驗，并創造出一種新的廣告模式。這種通過大數據創造出新產品和服務的商業行為并非巧合，谷歌、雅虎、亞馬遜和Facebook，它們都是大數據時代的創新者。

1.2 大數據的三層關系

第一層關系：數據與機器的關系。大數據紀元剛開始，產業界碰到的第一個核心問題就是“大”的問題。做了幾十年的數據倉庫甚至海量并行處理的數據庫都不能處理那么大的數據，怎么辦？需要范式切換。主要有三個方面，新型的數據與機器關系當中的第一條就是重新考慮架構與算法，重新考慮舍得，有舍才能得，天下沒有免費的午餐，所以必須要舍棄一些，得到一些新的。必須舍棄貴族化的高端小型機和UNIX服務器，得到平民化的更大量的X86服務器。通過這樣一種可橫向、可水平擴展服務器處理每兩年翻番的數據量的挑戰。第二個舍得是舍棄硬件的可靠性和可用性，得到軟件的可靠性和可用性。這也就是谷歌三大論文以及Hadoop的核心重點。第三個舍得是舍棄傳統數據庫的強一致性，獲得更放松一致性、可擴展架構，如NoSQL。第四個舍得是傳統算法強調非常嚴格的精確性，現在要放棄一些精確性，通過近似、采樣這種方式來獲得更好的擴展性。

最早大數據的處理范式是Mapreduce的批量處理，英特爾慢慢有其他的需求，實時的流處理、多迭代的處理、圖計算、即時查詢等等新的范式百花齊放，最后萬法歸宗。剛才王斌老師將講的SAP的HANA本身就是數據管理和分析的融合，現在非常流行的Hadoop之后的SPARK，就是把前面的各種范式進行了融合。存儲與內存的消長，大數據第一個要解決把數據存儲下來，后來發現要把它放到大的內存里進行處理，獲得實時性，接著在存儲和內存之間現在又出現了閃存，有閃存化甚至全閃存的存儲，也有閃存化的內存，把所有的計算在閃存里面處理，已經被微軟、Facebook等等大量使用。大家可以預期，兩年以后出現新的非易失性的閃存，它的速度可能要比閃存快幾百倍，和內存相似，這又會極大地顛覆數據與機器的關系。

第二層關系：數據與人的關系。主要是價值的覺醒，如果數據不能產生價值它可能是負面資產。數據怎么能夠給人帶來價值？我們介紹一下它的價值維度，把它映射到二維的時空象限里，用六個關鍵詞來描述它。第一是“Volume”，兩個關鍵詞，小數據見微對個人進行刻劃，大數據知著能夠了解宏觀規律，它是空間概念，同時也是時間概念，數據剛剛產生的時候，它的個性化價值、見微的價值最大，而隨著時間的推移，它漸漸退化到只有集合價值。第二是Velocity，時間軸的原點是當下實時價值，副軸是過往，正軸是預測未來，如果知道知前后就能夠做到萬物的皆明。第三是Variety，多源異質的數據，能夠過濾噪聲、查漏補缺、去偽存真，就是辯訛。還有曉意，能夠從大量的非結構化數據中獲得語意，從而能夠使機器窺探人的思維境界，這六個價值維度怎么去實現？主要是兩部分人，一是數據科學家要洞察數據，另外一個是終端用戶和領域專家要去解讀數據并利用數據。首先看洞察數據，數據科學，人和機器作用發生了消長，講個例子，機器學習大家覺得是機器的問題，其實人在里面起到很重要的作用，尤其是機器學習是模型加特征，而特征工程是一個人力工程，你要有經驗非常豐富的特征團隊去死磕特征，找出更好、更多的特征，才能夠使機器學習的效果更好。但是現在深度學習這些新技術出來，能夠用機器學習特征，能夠在大量非結構化數據中找到豐富的信息維度用特征表達出來，這遠遠超出了人的能力。大家知道黑客帝國描述了一個場景，人腦袋后面插一個插頭，給機器提供營養，我可能不會那么悲觀，但是像這樣的互動關系以一種更良性的方式出現了，現在人的一言一行、社交行為、金融行為都已經成為機器的養料、機器的數據，使得機器獲得更好的洞察。

終端用戶需要更好地、更傻瓜化的分析工具和可視化工具，兩年前我去參加大數據的會，基本上都是Hadoop和NoSQL現在大家參加大數據會可以看到清一色的分析工具和可視化工具。大數據跟各行各業的化學作用正在發生。如果馬化騰說“互聯網+”是互聯網與各行各業的加法效應，那么大數據將與各行各業產生乘法效應。

第三個關系，數據與數據的關系。現在只有海面平的數據是搜索引擎可以檢索到，深海的數據可能是黑暗的數據，在政府、在企業里大家看不到。我們怎么辦呢？必須讓數據發現數據。只有讓數據能夠發現數據、遇到數據，才能產生金風玉露一相逢、便勝卻人間無數的效果。這里有三個重要的觀念，需要法律、技術、經濟理論和實踐上配合。法律上要明確數據的權利，數據所有權，數據的隱私權，什么數據不能給你看；數據的許可權，什么數據是可以給你看的；數據的審計權，我給你看了以后，你是不是按照許可的范圍去看；數據的分紅權。數據像原油又不同于原油，原油用完了就沒有了，數據可以反復地產生價值，因此數據的擁有者應該得到分紅。我們要保證數據的開放、共享、交易。公共數據和部分科研數據要開放，開放過程中注意保護隱私。企業之間可以進行數據的點對點共享，最高境界是不丟失數據的所有權和隱私權的前提下共享，這里有多方安全計算的概念。1982年姚期智老先生提出了百萬富翁的窘境的問題，兩個百萬富翁他們想要比誰更富，但是誰都不愿意說出來自己都多少錢，在我們的數據共享當中要通過各種各樣的技術達到這樣的效果。還有數據交易，建立多邊多邊平臺來支持數據交易。

互聯網能發展起來經濟學理論和實踐是很重要的支撐，梅特卡夫定律決定了一個互聯網公司的價值，跟它用戶數的平方成正比，又比如說谷歌請最好的經濟學家，它的一個廣告業務的核心就是建立在一個非常先進的拍賣經濟學的模型基礎上。數據經濟也需要這樣一些基礎的理論，比如數據定價和信息定價不一樣，信息做一個咨詢報告5000美金賣給你，可以賣給所有人。但數據對不同的單位價值不一樣，可能我之毒藥是彼之蜜糖。另外估值，一個企業擁有大量的數據，是無形資產的一部分，對于企業的市場價值帶來了多大的增長。

1.3 大數據的四個特性

大數據是需要新處理模式才能具有更強的決策力、洞察發現力和流程優化能力的海量、高增長率和多樣化的信息資產。這也是一個描述性的定義，在對數據描述的基礎上加入了處理此類數據的一些特征，用這些特征來描述大數據。當前，較為統一的認識是大數據有四個基本特征: 數據規模大(Volume)，數據種類多(Variety)，數據要求處理速度快(Velocity)，數據價值密度低(Value)，即所謂的四V 特性。

數據規模大(Volume)：企業面臨著數據量的大規模增長。例如，IDC最近的報告預測稱，到2020年，全球數據量將擴大50倍。目前，大數據的規模尚是一個不斷變化的指標，單一數據集的規模范圍從幾十TB到數PB不等。簡而言之，存儲1PB數據將需要兩萬臺配備50GB硬盤的個人電腦。此外，各種意想不到的來源都能產生數據。

數據種類多(Variety)：一個普遍觀點認為，人們使用互聯網搜索是形成數據多樣性的主要原因，這一看法部分正確。然而，數據多樣性的增加主要是由于新型多結構數據，以及包括網絡日志、社交媒體、互聯網搜索、手機通話記錄及傳感器網絡等數據類型造成。其中，部分傳感器安裝在火車、汽車和飛機上，每個傳感器都增加了數據的多樣性。

處理速度快(Velocity)：高速描述的是數據被創建和移動的速度。在高速網絡時代，通過基于實現軟件性能優化的高速電腦處理器和服務器，創建實時數據流已成為流行趨勢。企業不僅需要了解如何快速創建數據，還必須知道如何快速處理、分析并返回給用戶，以滿足他們的實時需求。根據IMS Research關于數據創建速度的調查，據預測，到2020年全球將擁有220億部互聯網連接設備。

數據價值密度低(Value)：大數據具有多層結構，這意味著大數據會呈現出多變的形式和類型。相較傳統的業務數據，大數據存在不規則和模糊不清的特性，造成很難甚至無法使用傳統的應用軟件進行分析。傳統業務數據隨時間演變已擁有標準的格式，能夠被標準的商務智能軟件識別。目前，企業面臨的挑戰是處理并從各種形式呈現的復雜數據中挖掘價值。

1.4 大數據的三個特征

除了有四個特性之外，大數據時代的數據還呈現出其他三個特征。

第一個特征是數據類型繁多。包括網絡日志、音頻、視頻、圖片、地理位置信息等等，多類型的數據對數據的處理能力提出了更高的要求.第二個特征是數據價值密度相對較低。如隨著物聯網的廣泛應用，信息感知無處不在，信息海量，但價值密度較低，如何通過強大的機器算法更迅速地完成數據的價值“提純”，是大數據時代亟待解決的難題。

第三個特征是處理速度快，時效性要求高。這是大數據區分于傳統數據挖掘最顯著的特征。大數據的技術與處理

2.1 大數據的技術

1.數據采集：ETL工具負責將分布的、異構數據源中的數據如關系數據、平面數據文件等抽取到臨時中間層后進行清洗、轉換、集成，最后加載到數據倉庫或數據集市中，成為聯機分析處理、數據挖掘的基礎。

2.數據存取：關系數據庫、NOSQL、SQL等。

3.基礎架構：云存儲、分布式文件存儲等。

4.數據處理：自然語言處理(NLP，NaturalLanguageProcessing)是研究人與計算機交互的語言問題的一門學科。處理自然語言的關鍵是要讓計算機“理解”自然語言，所以自然語言處理又叫做自然語言理解(NLU，NaturalLanguage Understanding)，也

稱

為

計

算

語

言

學(Computational Linguistics。一方面它是語言信息處理的一個分支，另一方面它是人工智能(AI, Artificial Intelligence)的核心課題之一。

5.統計分析：假設檢驗、顯著性檢驗、差異分析、相關分析、T檢驗、方差分析、卡方分析、偏相關分析、距離分析、回歸分析、簡單回歸分析、多元回歸分析、逐步回歸、回歸預測與殘差分析、嶺回歸、logistic回歸分析、曲線估計、因子分析、聚類分析、主成分分析、因子分析、快速聚類法與聚類法、判別分析、對應分析、多元對應分析（最優尺度分析）、bootstrap技術等等。

6.數據挖掘：分類（Classification）、估計（Estimation）、預測（Prediction）、相

關

性

分

組

或

關

聯

規

則（Affinity grouping or association rules）、聚類（Clustering）、描述和可視化、Description and Visualization）、復雜數據類型挖掘(Text, Web ,圖形圖像，視頻，音頻等)。

7.模型預測：預測模型、機器學習、建模仿真。

8.結果呈現：云計算、標簽云、關系圖等。

2.2 大數據的處理

1.采集 大數據的采集是指利用多個數據庫來接收發自客戶端（Web、App或者傳感器形式等）的數據，并且用戶可以通過這些數據庫來進行簡單的查詢和處理工作。比如，電商會使用傳統的關系型數據庫MySQL和Oracle等來存儲每一筆事務數據，除此之外，Redis和MongoDB這樣的NoSQL數據庫也常用于數據的采集。

在大數據的采集過程中，其主要特點和挑戰是并發數高，因為同時有可能會有成千上萬的用戶來進行訪問和操作，比如火車票售票網站和淘寶，它們并發的訪問量在峰值時達到上百萬，所以需要在采集端部署大量數據庫才能支撐。并且如何在這些數據庫之間進行負載均衡和分片的確是需要深入的思考和設計。

2.導入/預處理

雖然采集端本身會有很多數據庫，但是如果要對這些海量數據進行有效的分析，還是應該將這些來自前端的數據導入到一個集中的大型分布式數據庫，或者分布式存儲集群，并且可以在導入基礎上做一些簡單的清洗和預處理工作。也有一些用戶會在導入時使用來自Twitter的Storm來對數據進行流式計算，來滿足部分業務的實時計算需求。導入與預處理過程的特點和挑戰主要是導入的數據量大，每秒鐘的導入量經常會達到百兆，甚至千兆級別。

3.統計/分析

統計與分析主要利用分布式數據庫，或者分布式計算集群來對存儲于其內的海量數據進行普通的分析和分類匯總等，以滿足大多數常見的分析需求，在這方面，一些實時性需求會用到EMC的GreenPlum、Oracle的Exadata，以及基于MySQL的列式存儲Infobright等，而一些批處理，或者基于半結構化數據的需求可以使用Hadoop。統計與分析這部分的主要特點和挑戰是分析涉及的數據量大，其對系統資源，特別是I/O會有極大的占用。

4.挖掘

與前面統計和分析過程不同的是，數據挖掘一般沒有什么預先設定好的主題，主要是在現有數據上面進行基于各種算法的計算，從而起到預測（Predict）的效果，從而實現一些高級別數據分析的需求。比較典型算法有用于聚類的Kmeans、用于統計學習的SVM和用于分類的NaiveBayes，主要使用的工具有Hadoop的Mahout等。該過程的特點和挑戰主要是用于挖掘的算法很復雜，并且計算涉及的數據量和計算量都很大，常用數據挖掘算法都以單線程為主。

整個大數據處理的普遍流程至少應該滿足這四個方面的步驟，才能算得上是一個比較完整的大數據處理。大數據的應用

正如諸多文獻所談到的，大數據對許多行業的影響和沖擊已經呈現。例如，商零售、物流、醫藥、文化產業等。金融，作為現代經濟中樞，其實也已透出了大數據金融的曙光。

過去的2013年，中國金融界熱議最多的或許是互聯網金融，更有人指出2013年是中國互聯網金融元年。確實，第三方支付、P2P、網貸、眾籌融資、余額寶、微信支付等發展迅速。眾多傳統金融業者也或推出自己的電商平臺，或與互聯網企業聯手提供相應的金融產品和服務。

互聯網金融，無論是業界、監管者或理論界，都在試圖給出自己的理解和定義。但到目前為止，尚未有一個統一的、規范的概念。在我看來，互聯網金融本來就是一個不確切的概念，也不可能有一個明確的定義。嚴格說來，所謂互聯網金融只是大數據金融的一種展現或形態。換言之，前者是表，后者是里。

這是因為，無論是互聯網還是金融業，其實質都是大數據（信息）。首先，對互聯網企業而言，流量、客戶等數據（信息）是其涉足金融業的基石。對金融企業而言，提供中介服務，撮合金融交易也是以數據（信息）為基礎。其次，沒有大數據技術的支撐，所謂互聯網金融也難以快速、持續成長。20世紀90年代互聯網浪潮的蓬勃興起，至今已近二十年。但從世界范圍看，所謂互聯網金融卻發展緩慢。當然，其中原因很多，但其主要原因則是大數據技術是近幾年才快速發展起來的。最后，從金融企業來看，在數據中心建設，軟硬件系統建設，數據（信息）挖掘、分析等方面也是做得有聲有色，其龐大的客戶數據、海量交易記錄及眾多信息源，使其在大數據應用方面也做了許多積極探索。因此，要準確反映近年新金融趨勢，“大數據金融”比“互聯網金融”更為貼切。大數據應用中的三大難題 近年來，大數據這個詞成為互聯網領域關注度最高的詞匯，時至今日，大數據已經不再是IT圈的“專利”了，從去年的春晚，到剛剛過去的兩會，都能見到它的身影，但實際上春晚與兩會的數據都只能叫做小數據，它與真正的大數據還相差甚遠。即便如此，數據所產生的價值已經被人們所認知。

就大數據來說，它的發展可以分成三個階段，第一個階段是組織內部的數據，這些數據通常都是結構化的數據，我們一般將這些數據進行分類、排序等操作，將相同類型的數據進行對比、分析、挖掘，總而言之基本上都是統計工作。到了第二階段，數據的范圍擴大到行業內，各種各樣的應用數據出現，數據量大規模增長，尤其是非結構化數據的出現。典型的像視頻、圖片這一類的數據，在這一階段的特點就是非結構化和結構化數據并存，且數據量巨大，要對這些數據進行分析是我們目前現階段所處在的狀態。

第三階段則是未來大數據發展的理想化狀態，首先它一定是跨行業的，且數據的范圍是整個社會。通過對這些數據進行分析加以使用，將直接改變我們的生活方式，這也是現在很多企業所設想的未來交通、醫療、教育等領域的發展方向。

1.大數據太大不敢用

第三個階段是我們所憧憬的，但在我們所處的第二階段面對的更多是問題。其中的一個問題就是“大”。大數據給人最直觀的感受就是大，它所帶來的問題不僅僅是存儲，更多的是龐大的數據沒辦法使用，以交通為例，從2001年開始在北京的主干道上都增設了一些卡口設備，到了今天基本上大街小巷都能看到。這些設備每天所拍攝的視頻及照片產生的數據量是驚人的，僅照片每天就能產生2千萬張，而解決這些數據的存儲只是最基本的任務，我們更需要的是使用這些數據。例如對套牌車輛的檢查，對嫌疑車輛的監控，當你想要使用這些數據的時候，傳統的數據庫以及系統架構，放進這么龐大的數據，是根本跑不動的。這一問題導致很多企業對大數據望而卻步。

2.大數據太難不會用

說到大數據的使用，自然離不開Hadoop，Hadoop本身提供了分布式系統中兩個最重要的東西：分布式存儲（HDFS）和分布式計算（Mapreduce）。這兩者解決了處理大數據面臨的計算和存儲問題，但更為重要的是，為開發大數據應用開辟了道路。Hadoop是目前解決大數據問題最流行的一種方式，但其仍然有不成熟的地方，曾作為雅虎云計算以及Facebook軟件工程師的Jonathan Gray就表示：“Hadoop實施難度大，且復雜，如果不解決技術復雜性問題，Hadoop將被自己終結。”正是由于這樣的原因，Gray創辦了自己的公司——Continuuity，這家公司的目標就是在Hadoop和Hbase基礎上創建一個抽象層，屏蔽掉Hadoop底層技術的復雜性。由此可見想要用好大數據又是一大考驗。

3.大數據太貴用不起

Hadoop的特點就是讓你可以使用廉價的x86設備來完成大數據的業務，但事實上如果你真想要用它來完成某些商業任務你還得是個“土豪”。在國外那些使用大數據的成功案例里，亞馬遜曾給出過這樣一組數字，NASA需要為45天的數據存儲服務支付超過100萬美元。像Quant___cast這樣的數字廣告公司，同樣也是花費了巨額的資金用在Hadoop技術上，來根據自己的需求定制系統。從上面兩個案例來看用于商業用途的大數據現階段還是很費錢的，隨著大數據軟件環境逐漸成熟，開發工具增多，價格在未來會逐漸降低。

從上面羅列的這三點困難，其實并不是要給大數據潑冷水，而是想說大數據想要淘金并不簡單，首先在做大數據之前，好好盤點一下自己擁有的資源，不僅僅是數據資源，還包括知識與技能。確定了自己的能力之后，選擇一個能夠發揮你現有資源最大價值的項目。如果你需要幫手，應先考慮商業顧問，再考慮技術人才。為了解答一個生意上的困惑花下的錢，叫作投資，而把錢投到一個擁有特殊技能的IT人才身上，那就叫沉沒成本。當你有了這些之后，選擇更靈活且可擴展的工具，為以后的擴充打好基礎。更重要的是——從小規模做起。大數據創新的驅動力

計算機科學與技術的發展使得大規模信息處理基礎設施產生重要改變。在過去的30年中，經典的數據庫管理系統（DBMS）在處理大規模數據方面與時俱進，在企業數據處理等方面得到廣泛應用。數據庫研究和技術進展主要集中在數據建模、描述性查詢語言、事務處理和數據庫可靠性等。在這個過程中，相關的數據倉庫和數據挖掘分析技術也成為一個熱點研究方向；人們認識到數據處理過程中的信息可以被有效整理和分析來支持以數據為中心的決策支持。數據庫管理系統在目前的互聯網時代繼續占據了重要地位。在一個典型的互聯網服務系統架構中，數據庫管理系統和Web服務器及應用服務共同作用，為互聯網用戶提供各類信息和服務。在這個系統架構中，人們期望系統能支持無限次和高速的互聯網用戶訪問，這個時候數據庫層由于在硬件可擴展性上面的不足可能成為系統性能瓶頸。這個挑戰我們稱為大數據問題（big data problem）。大數據系統期望能對大規模異構復雜數據建模，進行實時分析；傳統的商用數據庫系統很難提供良好的解決方案。另一個大數據相關的挑戰是服務器端數據中心的數據維護及安全隱私問題。近年來云計算技術已經成為大數據中心的一種可靠解決方案，Google, Yahoo and Microsoft等公司也紛紛開發自己的云計算系統。盡管云計算在互聯網應用中已經體現出很多優越性，其在系統成熟性、可用性等方面還有很大提高空間。

顯而易見，大數據領域的大規模數據管理和復雜數據分析已經成為新的研究前沿。目前的各類大數據應用正是大數據研究的驅動力，比如社會網絡、移動計算、科學應用等等。這些應用產生的大數據往往具有海量、時序動態性、多樣等特性，給數據庫領域的各項技術帶來巨大挑戰，涵蓋包括數據獲取、組織管理、分析處理和應用呈現等整個數據管理生命周期。針對數據管理和分析不同系統應用，各類大數據處理技術在也不斷發展。MapReduce作為一種分布式的數據處理框架由于其靈活性、可擴展性、高效和容錯等特性其近年來得到了廣泛應用。此外，也有多類其他分布式數據處理系統用來解決MapReduce不擅長的問題，比如交互式分析、圖計算和分析、實時和流處理、通用數據處理等等。大數據不但給數據庫研究領域，同時也給體系結構、存儲系統、系統軟件和軟件工程等計算機多個學科帶來了很多機會和挑戰。大數據正是目前很多計算機科學問題的根本，并驅動眾多新科技的發展。大數據的發展前景

大數據的概念來源于、發展于美國，并向全球擴展，必將給我國未來的科技與經濟發展帶來深遠影響。根據IDC 統計，目前數據量在全球比例為: 美國32%、西歐19%、中國13%，預計到2020 年中國將產生全球21% 的數據，我國是僅次于美國的數據大國，而我國大數據方面的研究尚處在起步階段，如何開發、利用保護好大數據這一重要的戰略資源，是我國當前亟待解決的問題。

而大數據未來的發展趨勢則從以下幾個方面進行：

（1）開放源代碼

大數據獲得動力，關鍵在于開放源代碼，幫助分解和分析數據。Hadoop 和NoSQL 數據庫便是其中的贏家，他們讓其他技術商望而卻步、處境很被動。畢竟，我們需要清楚怎樣創建一個平臺，既能解開所有的數據，克服數據相互獨立的障礙，又能將數據重新上鎖。

（2）市場細分

當今，許多通用的大數據分析平臺已投入市場，人們同時期望更多平臺的出現，可以運用在特殊領域，如藥物創新、客戶關系管理、應用性能的監控和使用。若市場逐步成熟，在通用分析平臺之上，開發特定的垂直應用將會實現。但現在的技術有限，除非考慮利用潛在的數據庫技術作為通用平臺(如Hadoop、NoSQL)。人們期望更多特定的垂直應用出現，把目標定為特定領域的數據分析，這些特定領域包括航運業、銷售業、網上購物、社交媒體用戶的情緒分析等。同時，其他公司正在研發小規模分析引擎的軟件套件。比如，社交媒體管理工具，這些工具以數據分析做為基礎。

（3）預測分析

建模、機器學習、統計分析和大數據經常被聯系起來，用以預測即將發生的事情和行為。有些事情是很容易被預測的，比如壞天氣可以影響選民的投票率，但是有些卻很難被準確預測。例如，中間選民改變投票決定的決定性因素。但是，當數據累加時，我們基本上有能力可以大規模嘗試一個連續的基礎。網上零售商重新設計購物車，來探索何種設計方式能使銷售利潤最大化。根據病人的飲食、家族史和每天的運動量，醫生有能力預測未來疾病的風險。當然，在人類歷史的開端，我們就已經有各種預測。但是，在過去，許多預測都是基于直覺，沒有依靠完整的數據集，或者單單靠的是常識。當然，即便有大量數據支撐你的預測，也不表明那些預測都是準確的。2007 年和2008 年，許多對沖基金經理和華爾街買賣商分析市場數據，認為房地產泡沫將不會破滅。根據歷史的數據，可以預測出房地產泡沫即將破裂，但是許多分析家堅持原有的觀點。另一方面，預測分析在許多領域流行起來，例如欺詐發現(比如在外省使用信用卡時會接到的詐騙電話)，保險公司和顧客維系的風險管理。7 結語

大數據正在以不可阻攔的磅礴氣勢，與當代同樣具有革命意義的最新科技進步(如納米技術、生物工程、全球化等)一起，揭開人類新世紀的序幕。可以簡單地說，以往人類社會基本處于蒙昧狀態中的不發展階段，即自然發展階段。現在，這一不發展階段隨著2012年的所謂“世界末日”之說而永遠成為了過去。大數據宣告了21世紀是人類自主發展的時代，是不以所謂“上帝”的意志為轉移的時代，是“上帝”失業的時代。

對于地球上每一個普通居民而言，大數據有什么應用價值呢?只要看看周圍正在變化的一切，你就可以知道，大數據對每個人的重要性不亞于人類初期對火的使用。大數據讓人類對一切事物的認識回歸本源;大數據通過影響經濟生活、政治博弈、社會管理、文化教育科研、醫療保健休閑等等行業，與每個人產生密切的聯系。

大數據技術離你我都并不遙遠，它已經來到我們身邊，滲透進入我們每個人的日常生活消費之中，時時刻刻，事事處處，我們無法逃遁，因為它無微不至：它提供了光怪陸離的全媒體，難以琢磨的云計算，無法抵御的仿真環境。大數據依仗于無處不在的傳感器，比如手機、發帶，甚至是能夠收集司機身體數據的汽車，或是能夠監控老人下床和行走速度與壓力的“魔毯”(由GE與Intel聯合開發)，洞察了一切。通過大數據技術，人們能夠在醫院之外得悉自己的健康情況;而通過收集普通家庭的能耗數據，大數據技術給出人們切實可用的節能提醒;通過對城市交通的數據收集處理，大數據技術能夠實現城市交通的優化。隨著科學技術的發展，人類必將實現數千年的機器人夢想。早在古希臘、古羅馬的神話中就有冶煉之神用黃金制造機械仆人的故事。《論衡》中也記載有魯班曾為其母巧公制作一臺木馬車，“機關具備，一驅不還”。而到現代，人類對于機器人的向往，從機器人頻繁出現在科幻小說和電影中已不難看出。公元2035年，智能型機器人已被人類廣泛利用，送快遞、遛狗、打掃衛生……這是電影《我，機器人》里描繪的場景。事實上，今天人們已經享受到了部分家用智能機器人給生活帶來的便利。比如，智能吸塵器以及廣泛應用于汽車工業領域的機器手等等。有意思的是，2010年松下公司專門為老年人開發了“洗發機器人”，它可以自動完成從涂抹洗發水、按摩到用清水洗凈頭發的全過程。未來的智能機器人不會是電影《變形金剛》中的龐然大物，而會越來越小。目前，科學家研發出的智能微型計算機只和雪花一樣大，卻能夠執行復雜的計算任務，將來可以把這些微型計算機安裝在任何物件上用以監測環境和發號施令。隨著大數據時代的到來和技術的發展，科技最終會將我們帶進神奇的智能機器人時代。

在大數據時代，人腦信息轉換為電腦信息成為可能。科學家們通過各種途徑模擬人腦，試圖解密人腦活動，最終用電腦代替人腦發出指令。正如今天人們可以從電腦上下載所需的知識和技能一樣，將來也可以實現人腦中的信息直接轉換為電腦中的圖片和文字，用電腦施展讀心術。2011年，美國軍方啟動了“讀心頭盔”計劃，憑借讀心頭盔，士兵無需語言和手勢就可以互相“閱讀”彼此的腦部活動，在戰場上依靠“心靈感應”，用意念與戰友互通訊息。目前，“讀心頭盔”已經能正確“解讀”45%的命令。隨著這項“讀心術”的發展，人們不僅可以用意念寫微博、打電話，甚至連夢中所見都可以轉化為電腦圖像。據美國《紐約時報》報道，奧巴馬政府將繪制完整的人腦活動地圖，全面解開人類大腦如何思考、如何儲存和檢索記憶等思維密碼作為美國科技發展的重點，美國科學家已經成功繪出鼠腦的三維圖譜。2012年，美國IBM計算機專家用運算速度最快的96臺計算機，制造了世界上第一個“人造大腦”，電腦精確模擬大腦不再是癡人說夢。試想一下，如果人類大腦實現了數據模擬，或許你的下一個BOSS是機器人也不一定。

總而言之，大數據技術的發展有可能解開宇宙起源的奧秘。因為，計算機技術將一切信息無論是有與無、正與負，都歸結為0與1，原來一切存在都在于數的排列組合，在于大數據。

第四篇：段考數據分析學習心得體會

段考成績分析會學習心得

柯賢軍

2016-12-11

周五，在教務處的組織下，我校全體老師就“段考”質量召開了分析會。本次分析會共有三個議程：

1、公布教學質量獎罰；

2、成績分析與教學建議；

3、整改措施。我感覺本次會議的每個議程都給了我很大的觸動和鼓舞。

首先，公布教學質量獎罰，學校拿出巨額獎金對一學學習上取得成就的老師進行表彰和鼓勵，罰也起到了督促老師的作用。極大地促進了老師們教書育人，傳道授業解惑的積極性。

第二個環節，成績的分析。這個，我很頭疼，很內疚。不管是在集團的排名，還是在教育局幾十所學校的排名都不夠理想，九年級語文平均分81.7分，離我的目標還差很遠，優秀率過于偏低不具備中考整體的競爭；還有發展不均衡最高分102分，最低是56分，高低落差太大；但是值得慶幸的是沒有低分率。造成這個結果，學校從管理層到老師都在尋找原因，最終培優輔差重視不夠，力度不大；備課不精心，習題不精練；習慣養成不到位成為最突出的因素。

第三個議程，針對于目前現狀，我們打算加大培優力度，關注學困生；加強針對性練習，讓學生通過方法形成技能。

我們說教學，離不開兩個字：教師的教和學生的學。從現在課堂教學改革和教育形勢來說，學生的學所占的地位越來越重要。各種學習任務最終要靠我們同學們落實和完成的，積極學和被動的學，效果是截然不同的。因此，對于每一位任課老師來說，都要加強對學生學習主動性的培養。課前認真預習、課堂上認真聽講，積極開動腦筋思考，課后進行鞏固，遇有疑難問題積極和同學們探討，和老師交流，尤其是要加強師生之間的交流。面對我們學校的學生現狀，我們的班主任和任課老師要協助學生清楚的知道自己的優勢學科和弱勢學科。應該說我們學校每個學生都有差科，差科補不起來，我們的成績就不能達到真正的理想狀態。那么，如何補。（1）、前提是靠自己，這個自己即是我們的學生也是我們的老師，訂好計劃，慢慢來，爭取逐步提高。（2）、內容是從基礎抓起。對于差科以教材為重點，強化基礎，不追求偏難題。考試能將基礎題的分數得住即可。（3）、適當傾斜，各任課老師在班主任的協調之下，每天擠出固定時間讓學生傾斜薄弱學科。對于薄弱學科，一定要盯住不放，不能松懈。、讓學生充滿信心，相信自己 我們的孩子們由于種種原因，缺乏信心，總認為自己不行，有很強的自卑感。天生我才必有用，成績差一點不要怕，要有信心去改變。有句格言：心態決定習慣，習慣決定性格，性格決定人生。要不斷激勵學生，鼓舞學生，要讓孩子們知道“我們不是最優秀的，但我們是最執著的”，我覺得只有發自內心的設身處地的為他好，他才會真正的悅納你，靠近你，追隨你，我們需要做的只是給他們一點找到自信的機會和條件。4、注意勞逸適度，提高效率 學習是一個積累的過程，成績靠的不是一時的激情。從態度上要端正，從方法上要講究效率，向課堂 45 分鐘要質量。應該說，我們大多數同學在課堂上的表現是積極的，大多數老師在課堂上是投入的；但個別同學在課堂上睡覺，沒有把黃金時間把握好，個別老師的投入不僅已經占用了學生僅有的課間 10 分鐘，甚至還影響到了下一節課。我們倡導老師們積極的生活，當然也希望自己能將這種積極地心態傳遞給我們的孩子們。學習時積極投入地學，該活動時放開地玩。我們師生都要學會合理利用時間，從而才能提高教與學的效率。“不為失敗找理由，要為成功找方法”，讓我們共同努力，采用有效措施，為我們整個學校的成功而奮斗！

第五篇：大數據學習路線

大數據學習路線

年薪30W大數據學習路線圖：

一、Hadoop入門，了解什么是Hadoop

1、Hadoop產生背景

2、Hadoop在大數據、云計算中的位置和關系

3、國內外Hadoop應用案例介紹

4、國內Hadoop的就業情況分析及課程大綱介紹

5、分布式系統概述

6、Hadoop生態圈以及各組成部分的簡介

7、Hadoop核心MapReduce例子說明

二、分布式文件系統HDFS，是數據庫管理員的基礎課程

1、分布式文件系統HDFS簡介

2、HDFS的系統組成介紹

3、HDFS的組成部分詳解

4、副本存放策略及路由規則

5、NameNode Federation

6、命令行接口

7、Java接口

8、客戶端與HDFS的數據流講解

9、HDFS的可用性（HA）

三、初級MapReduce，成為Hadoop開發人員的基礎課程

1、如何理解map、reduce計算模型

2、剖析偽分布式下MapReduce作業的執行過程

3、Yarn模型

4、序列化

5、MapReduce的類型與格式

6、MapReduce開發環境搭建

7、MapReduce應用開發

8、更多示例講解，熟悉MapReduce算法原理

四、高級MapReduce，高級Hadoop開發人員的關鍵課程

1、使用壓縮分隔減少輸入規模

2、利用Combiner減少中間數據

3、編寫Partitioner優化負載均衡

4、如何自定義排序規則

5、如何自定義分組規則

6、MapReduce優化

7、編程實戰

五、Hadoop集群與管理，是數據庫管理員的高級課程

1、Hadoop集群的搭建

2、Hadoop集群的監控

3、Hadoop集群的管理

4、集群下運行MapReduce程序

六、ZooKeeper基礎知識，構建分布式系統的基礎框架

1、ZooKeeper體現結構

2、ZooKeeper集群的安裝

3、操作ZooKeeper

七、HBase基礎知識，面向列的實時分布式數據庫

1、HBase定義

2、HBase與RDBMS的對比

3、數據模型

4、系統架構

5、HBase上的MapReduce

6、表的設計

八、HBase集群及其管理

1、集群的搭建過程講解

2、集群的監控

3、集群的管理

九、HBase客戶端

1、HBase Shell以及演示

2、Java客戶端以及代碼演示

十、Pig基礎知識，進行Hadoop計算的另一種框架

1、Pig概述

2、安裝Pig

3、使用Pig完成手機流量統計業務

十一、Hive，使用SQL進行計算的Hadoop框架

1、數據倉庫基礎知識

2、Hive定義

3、Hive體系結構簡介

4、Hive集群

5、客戶端簡介

6、HiveQL定義

7、HiveQL與SQL的比較

8、數據類型

9、表與表分區概念

10、表的操作與CLI客戶端演示

11、數據導入與CLI客戶端演示

12、查詢數據與CLI客戶端演示

13、數據的連接與CLI客戶端演示

14、用戶自定義函數（UDF）的開發與演示

十二、Sqoop，Hadoop與rdbms進行數據轉換的框架

1、配置Sqoop

2、使用Sqoop把數據從MySQL導入到HDFS中

3、使用Sqoop把數據從HDFS導出到MySQL中

十三、Storm

1、Storm基礎知識：包括Storm的基本概念和Storm應用

場景，體系結構與基本原理，Storm和Hadoop的對比

2、Storm集群搭建：詳細講述Storm集群的安裝和安裝時常見問題

3、Storm組件介紹: spout、bolt、stream groupings等

4、Storm消息可靠性：消息失敗的重發

5、Hadoop 2.0和Storm的整合：Storm on YARN

6、Storm編程實戰