第一篇：建行數據管理

定義八萬余項數據規范，金融巨頭如何實現“數同軌”| 對話建行數據管理部劉靜芳

摘要：

“要像管理戰略資產一樣管理數據。”在首屆中國數據標準化及治理大會上，中國建設銀行數據管理部總經理劉靜芳以這句感慨總結了她的分享，也總結了建行數據團隊建設心得。

3億4千萬的個人客戶，390多萬對公企業客戶，14900多個內部機構，20多家海外分行，十多家子公司，作為排名全球一級核心資本第二位的巨型金融企業的中國建設銀行（下稱建行），如同其它大型企業一樣也曾面臨復雜的數據問題。

建行近三十年的信息化歷程中，前二十年建成的豎井式、分散化業務處理系統。一方面實現了業務的信息化、提高了業務處理效率，但也不可避免地造成了不完整、不準確、不及時、不一致、不安全、冗余等數據問題。這些問題在信息化后期成為建行管理水平提升的瓶頸。

“分析這些數據問題的成因，我們發現，不管是制度、流程、機構、數據、技術各個環節的缺陷，還是在這些環節中人員的操作不到位，都會導致數據質量的問題。對此，建行進行了十幾年的研究、探索和實踐。”劉靜芳說，從根本上、系統性解決數據問題，是建行從2011年開始新一代核心系統建設重要目標之一。

定義八萬多項數據規范：數據標準化是一切的開始

對于一個分散化的、數據問題廣泛存在的局面來說，如同秦朝統一六國實行“書同文、車同軌”，制定統一的企業級數據標準是最快捷的一種方法，也是最容易達成眾多部門共識，實現“數同軌”的方法。早在2003年，建行總行就成立了負責整個建行信息資源的一級管理部門——信息中心，內部設置了兩個專業處室：一個是數據標準處，另外一個是信息系統管理處。這兩個處室的核心職責就是來推動數據管控的相關工作并且牽頭企業級數據倉庫的建設。

在新一代核心系統建設中，建行采用的方法是業務模型驅動的方法，先把銀行業務進行模型化，再來推動IT的開發。通過業務建模，實現了業務需求的統一規范化定義，消除了業務人員之間對于業務理解的差異，也方便了技術人員準確理解業務，大大減少了開發的阻力。業務建模的結果是業務模型，包括流程模型、數據模型、產品模型和用戶體驗模型四個部分，重點是流程模型和數據模型。流程模型主要規定了業務活動、任務的執行序列，系統控制的時間序列，以及各個業務的功能；數據模型所表達的是更細化的業務需求，它理清了企業級層面對于業務信息細節的要求，把數據實體、數據項及數據之間的關聯關系等都進行了清晰的定義。

當業務模型建立完成后，技術人員就可以遵循這個模型去進行開發。在這個過程中，建行制訂了企業級的業務術語庫、數據標準、企業級數據模型和衍生（指標）數據視圖等八萬多項數據規范，形成了企業級的通用語言，可以把數據和業務的需求非常好地管控起來。

數據的“雙分離”，系統達到最優

提到數據標準化在具體實施過程中的過程和效果，建行數據管理部數據標準處處長車春雷談到，建行的新一代數據架構一方面通過業務建模和組件化，實現了每個業務數據“單點采集、全行共享”的目標，另一方面通過業務運行系統和數據使用系統分離、數據倉庫的計算區和訪問區分離的“雙分離”模式，實現了系統性能的優化。在采集、集成到分析使用過程的每一個環節，數據區都是獨立的，不會產生沖突，不會相互影響。數據挖掘分析，則通過在企業級數據倉庫環境中開辟專門的數據實驗室完成。建行為每個實驗室分配存儲空間和計算資源。小到一個數據業務模型，大到整個企業戰略的數據支持，都可以在各個實驗室中獨立運作，進行數據探索、模型設計和優化。這樣做，既不會影響整個系統的運行效率，也不會互相干擾。而其結果，又可以反饋到數據倉庫中進行共享，實現完整的閉環。另外，“雙分離”模式還能夠根據不同數據區對于硬件設備可靠性、容量等的差異化要求選擇不同的設備，從而節省成本，獲得高回報率。

“目前建行還正在基于企業級數據倉庫中打造一個大數據平臺，目前已經集成語音分析、圖像分析、機器學習、文本分析等部分大數據工具，引入了部分外部數據，探索性地進行了非結構化數據的分析應用。”劉靜芳說，“但是目前來說，傳統數據倉庫的結構化數據仍然是建行的優質礦石，優先提煉挖掘價值，而非結構化等大數據則是砂石，需要進一步的提取與純化后，根據需要與前者結合在一起，實現更大的價值創造”。數據安全管理：安全？便利？還是降低成本？

數據安全的本質是依靠技術實現安全的控制，信息安全的技術經過幾十年的發展，已經相當成熟了。但是對于一個企業來說，安全的控制、應用的便利性和成本是矛盾的，從整個系統的角度去考慮，如何在這三者中間取得一個平衡點，是建行考慮的重點。建設銀行采取的措施是給數據分級，根據安全的級別不同，進行不同級別的管控。對于對象、目標、手段、階段都要進行細分，針對不同的級別采取不同的控制措施，再用技術加以實現，由此來保障數據的安全。根據數據的敏感度，建行將數據分成了四個層級——監管級、高度敏感級、內部使用級、普遍級。這樣，就可以在保證數據使用便利性的條件下，實現數據分等級的控制。

而對于數據應用人員來說，所有的數據都是企業級的，存儲在企業的云平臺中，敏感數據在使用時也會進行脫敏處理，杜絕了泄露客戶信息的隱患。

每個人都是數據團隊的一員：各司其職的數據管理文化 在建行的新一代核心系統中，數據質量是被高度關注的問題。為了建立良性的數據供給和應用循環，需要對數據質量進行實時的監測和控制。但是，數據質量并不僅僅是一個業務部門、技術部門或者是數據部門就能獨立完成的工作，它需要全員參與，全員維護，要讓整個企業的每一個成員意識到自己對于數據管控的責任。

在這樣的背景下，就需要建立全員參與的數據管理文化。這個文化是通過在強大的技術支撐下，構建由六個角色和五個管理領域組成的數據管理職責任責矩陣來完成的。從最基礎的數據需求、數據標準的制訂，到數據質量、數據安全和元數據的管理，都由各個部門一起參與，不但業務、數據和技術部門彼此分工合作、各司其職，執行部門和管理部門也要構成一個從制訂、使用到監督、改進的完整閉環。

在這樣的團隊里，數據的質量定義、流程控制、日常監測、問題分析、問題整改、評估改進等工作環節構成了完整的工作鏈條。鏈條中的每個環節都在各個層面得到了相關部門的充分關注，數據的質量才能得到有效保證。

數據新人：數據分析是打開盒子看數據，培養職業道德

和很多企業的數據團隊建設者一樣，建行也面臨著數據人才招募難的問題。國有銀行在人事管理上未完全實現市場化。建行目前基本上是與外部專家合作方式，通過項目一方面定向實現“借智、引智”，同時培養建行自己的人才。建行數據團隊的成員主要是對校招的員工在工作、項目中進行培養，這需要一個相對較長的周期。

在談到人才培養的問題時，車春雷說：“從2016年開始，我們開始實施“綠樹”計劃，重點培養數據分析和應用人才，從總行和各分行選拔優秀人才到總行數據分析中心學習。我們要求學員們帶著業務實際的數據應用、分析需求過來，在學習的過程中把這個需求落地，邊做邊學”。車春雷還補充道：“目前，建行總行各部門和各分行對于開展數據分析應用和參加“綠樹”計劃的熱情很高。這是因為在我國經濟進入新常態下，金融間競爭更加激烈，傳統營銷的盈利增長空間縮小，而強大的數據分析能力恰恰是支持精細化經營管理的有力工具，能夠顯著提高銀行競爭力和盈利性。”

提到給想要進入數據行業人才的建議，車春雷給出了這樣的建議：培養合作精神，學會問題導向的思維，培養職業道德。

數據行業是現在最熱門的行業之一，在未來一定會有源源不斷的新人加入這個行業。但在企業的具體數據應用中，需要由多個專業的人員組成團隊，一起解決以前沒遇到過的問題，所以對于有意加入這個行業的新人來說，培養自己的合作能力是很重要的。

在數據行業里，中國的數據行業和西方面臨的問題是不一樣的。我們的起步時間比他們差的太多，國內大部分企業現在才解決完業務信息化，正準備做決策（管理）系統。所以在數據治理的過程中，我們還要不斷面對新的問題，這需要從業者具有面向問題的思維方式，去設身處地的站在企業管理的角度，借鑒外部經驗，思考問題，創造性地解決問題。另外，數據分析是打開盒子看數據，在工作中會接觸到許多方方面面的企業數據，因此需要從業者的具備良好的倫理文化和職業道德。這對其整個職業生涯會有相當長遠的影響。” 客戶信息共享，有效分析客戶利潤貢獻度，提升個人客戶服務質量與效率。

（一）客戶主題標準助力客戶信息整合及全面識別，提升客戶體驗，實現差異化的服務與營銷中國光大銀行在建設統一客戶信息管理系統（ECIF）中，以《客戶主題數據標準》為需求藍本，確定了全行統一的零售客戶唯一識別規則，構建了滿足各項業務需要的統一客戶信息模型，加快了ECIF系統建設進程。依據《客戶主題數據標準——約束性規則》制定了客戶信息質量度量標準、客戶信息覆蓋規則和清洗規則，整合了多點存儲的3000多萬個零售客戶信息、清理了700萬無效的客戶信息，完成了25萬對的客戶合并，有效地解決客戶信息多頭創建與維護造成的不一致問題。

在統一、標準化客戶信息的支持下，優化整合了原有多個系統的客服流程，實現了客戶服務團隊的統一調度及在多個接觸渠道得到一致的服務響應。如客戶到網點刷卡排隊可以立刻識別客戶等級，大堂經理及時掌握前來客戶情況并進行針對性地服務；建設企業級客戶信息分析系統（ECIS），實現了客戶分層統計以及客戶產品及渠道關聯性分析等，支持精細化管理決策及差異化營銷，形成了特有的“（ECIF）+（ECIS）+智能排隊機+IPAD+WiFi服務+電子渠道體驗區”物理網點智能化模式，使得傳統物理網點變得“智慧”，逐步實現了面向網點人員的移動綜合服務平臺，使“微笑服務”進一步上升 到“以客戶為中心的全面服務”，從“坐等上門”變為“移動營銷”。

（二）渠道類型標準應用，統一全行渠道標識，奠定渠道貢獻度及成本收益分析的基石

隨著與渠道相關的業務內容和交易規模的迅速發展，渠道差異化銷售、分項考核，統計分析及成本收益核算需求日益增長，對交易渠道的有效識別成了一個重要障礙。鑒于此，光大銀行于2009年制定了渠道主題數據標準，并于2011年年初啟動了渠道標準應用實施工作，對包括柜臺、網銀、手機、客服、短信、電子支付、自助設備等渠道發起的，包括支付、基金及理財、第三方存管、外匯買賣（匯市通）、黃金（貴金屬）等各類交易的渠道類型進行了標準化改造，2011年9月成功上線。渠道主題標準的應用實施保證了原始渠道信息的準確性、完整性、一致性，實現了對電子渠道的統一化與規范化管理，對不同渠道的準確快速識別，為渠道協同中不同渠道的交易優惠及收入劃分、為渠道偏好及渠道與產品關聯分析、為分析渠道對業務的貢獻度、為各渠道收益及成本細化分析，從而精細化渠道相關考核，更有效地體現電子渠道的價值奠定了堅實的數據基礎。

四、持續推動標準體系應用

依托數據管理工作，未來持續推動數據標準體系的應用。數據標準與數據質量、元數據都是數據管理的重要組成部分，三者密不可分，必須共同對外提供一致的數據管理服務，才能不斷地提升數據的完整性、準確性、一致性與及時性，為業務經營決策提供及時的、高質量的數據支持。

2012年，中國光大銀行將沿著 “結合發展戰略和業務需求，充分體現業務價值，由專業團隊統籌，以項目為載體持續推進數據標準化工作”的數據標準體系工作思路，建立以數據質量問題改進為主要業務驅動力、數據標準為數據質量評價基礎、元數據管理為支 撐的三位一體數據管理機制，側重以外部監管數據質量要求為業務驅動力，以企業元數據管理為基礎推動數據標準體系在各應用系統中的執行，逐步形成常態化的、閉環的數據標準體系應用良性機制，從整體上提升中國光大銀行的數據質量及數據管理水平。

第二篇：數據管理教案教案

Excel 2000的數據管理、打印

教學內容：Excel 2000的數據管理、打印

教學目標：掌握Excel 2000的數據管理的概念及操作，熟悉工作表的打印操作 教學重點：Excel 2000的數據管理 教學難點：Excel 2000的數據透視表 教學時間：2個課時

一、使用數據清單 1.數據清單

Excel 2003把工作表中的數據當作一個類似于數據庫的數據清單來處理。數據清單中的列標就相當于數據庫中的字段，而數據清單中的行就相當于數據庫中的記錄。2.數據清單的特點

① 每張工作表中最好只有一個數據清單，若同一張工作表中還有其它數據，則至少要有一個空行或空列使它們與數據清單分隔開。

② 數據清單的第一行是列標題，而且其字體格式與其它數據不同。

③ 數據清單中沒有空行或空列。

④ 同一列中所有單元格的格式相同。

⑤ 單元格內數據的開頭和結尾不能有空格。3.建立數據清單

數據清單的建立有兩種方法：一種是直接在工作表上輸入數據記錄作為數據清單；另一種是使用記錄單來創建數據清單。4.使用記錄單管理數據清單（1）添加記錄

① 單擊數據清單中任意一個單元格。

②執行“數據” →“記錄單”命令，打開如圖5.29所示的對話框，其中列出的是第一條記錄。

③ 單擊“新建”按鈕，各字段內容均為空白。

④

輸入新增記錄各字段的內容，每輸入完一個字段可按Tab鍵跳到下一個字段文本框中。一條記錄輸完之后，單擊“新建”按鈕輸入下一條記錄或者單擊“關閉”按鈕結束操作。

（2）查詢記錄

使用記錄單對話框可以查詢記錄，具體操作如下：

①單擊圖5.29中的“條件”按鈕，對話框中各字段的內容變成空白，然后輸入查找條件。例如，要查找總成績在90分以上的記錄，則在“總成績”文本框中輸入：>=90，如圖5.30所示。

②單擊“下一條”按鈕，向下查找匹配的記錄，或單擊“上一條”按鈕，向上查找匹配的記錄，如圖5.31所示查找到一條滿足條件的記錄。

③查找完畢，單擊“關閉”按鈕。（3）刪除記錄

先找到要刪除的記錄，再單擊記錄單對話框中的“刪除”按鈕，在彈出的提示框中單擊“確定”按鈕即可刪除選定的記錄。

圖

在記錄單中輸入查找條件

圖

使用記錄單查找到滿足條件的記錄

二、數據排序

1.使用工具欄按鈕進行簡單排序

如果要對一列數據進行排序，可以使用排序工具按鈕來對數據進行排序。在常用工具欄中提供了“升序”按鈕和“降序”按鈕。操作時只需單擊數據清單中要排序的字段的字段名所在的單元格，然后單擊“升序”或“降序”按鈕，則此列數據就會重新排列。2.使用菜單命令進行復雜排序

使用常用工具欄中的排序按鈕，只能對一個字段進行排序，如果需要同時對多個字段進行排序，或要對數據清單的部分數據區域進行排序，就只能使用菜單命令，即“數據”菜單中的“排序”命令來完成。“排序”對話框如圖5.32所示。

三

數據篩選

篩選是指從大量的數據中篩選出符合某種條件的數據。在Excel中，可以使用“自動篩選”或“高級篩選”將符合條件的記錄顯示在工作表中，而將其他不滿足條件的記錄隱藏起來。

1.自動篩選

單擊數據清單中的任意一個單元格，執行“數據”→“篩選”→“自動篩選”命令，這時，數據清單中每個字段名的右側會出現一個下三角按鈕，單擊這個三角按鈕，打開下拉列表框，從中選擇用于設置篩選條件的選項，如圖5.33所示。

（1）自定義自動篩選

用戶可以使用下拉列表框中的“自定義”選項對數據清單進行更加復雜的篩選。例如，要查找總成績在75～90分之間的記錄，可以按圖5.34所示定義各項。（2）關閉自動篩選

如果要取消數據清單中某一字段的篩選，單擊該字段名右側的下三角按鈕，再選擇“全部”選項即可。

如果要取消數據清單中所有字段的篩選，執行“數據”→“篩選”→“全部顯示”命令。

如果要退出自動篩選狀態，執行“數據”→“篩選”→“自動篩選”命令。此時，字段名右側的下三角按鈕也一起消失。

圖5.34 “自定義自動篩選方式”對話框

2.高級篩選

在實際工作中，往往涉及到更為復雜的篩選條件，利用自動篩選無法完成，這時就要利用高級篩選。高級篩選可以設定比較復雜的篩選條件，并且能夠將滿足條件的記錄復制到另一個工作表或當前工作表的空白區域。

在使用高級篩選之前，必須先設定一個條件區域，該區域應在工作表中與數據清單相分隔的空白單元格區域上。條件區域至少為兩行，第一行為字段命令行，以下各行為相應的條件值。

選定數據清單，執行“數據”→“篩選”→“高級篩選”命令，打開如圖5.35所示的“高級篩選”對話框。

使用高級篩選，用戶可以定義一個條件，也可以定義多個條件。當定義復合條件時，在條件區域的同一行輸入條件，系統將按“與”條件處理；在不同行輸入條件，則按“或”條件處理。例如，圖5.36所示是查找總成績大于等于70分并且姓“王”的記錄，其中在條件區域的同一行輸入兩個條件。圖5.37所示是查找總成績大于等于70分或者姓“王”的記錄，兩個條件是在不同行中輸入的。

圖5.35 “高級篩選”對話框

圖5.36 設置“與”條件的結果

四、分類匯總

分類匯總是指將經過排序后的數據按排序關鍵字段進行分類后，再對數據進行匯總計算。

1.創建分類匯總

在進行分類匯總之前，首先要對數據清單按匯總類型進行排序，使同類型的記錄集中在一起。對“性別”字段進行分類匯總實例如圖5.38和圖5.39所示。2.刪除分類匯總

如果要取消分類匯總的顯示結果，恢復到數據清單的初始狀態，可以單擊數據清單中的任意單元格，然后執行“數據”→“分類匯總”命令，在彈出的“分類匯總”對話框中，單擊“全部刪除”按鈕即可。3.分級顯示

從圖5.39中可以看出，對數據清單進行分類匯總后，在行號的左側出現了分級顯示符號，見表5.2。

圖5.38 “分類匯總”對話框

圖5.39 分類匯總實例

五、數據透視表

數據透視表是一種特殊形式的表，它可以把源數據的行和列進行互換后匯總并顯示匯總結果。特別是用于分析，組織復雜的數據。建立數據透視表（圖）的目的 數據透視表能幫助用戶分析、組織數據。利用它可以很快地從不同角度對數據進行分類匯兌。

首先應該明確的是：不是所有工作表都有建立數據透視表（圖）的必要。

記錄數量眾多、以流水帳形式記錄、結構復雜的工作表，為了，將其中的一些內在規律顯現出來，可將工作表重新組合并添加算法。即，建立數據透視表（圖）。

例如，有一張工作表，是一個大公司員工（姓名、性別、出生年月、所在部門、工作時間、政治面貌、學歷、技術職稱、任職時間、畢業院校、畢業時間等）信息一覽表，不但，字段（列）多，且記錄（行）數眾多。為此，需要建立數據透視表，以便將一些內在規律顯現出來。

2.創建數據透視表

創建數據透視表，可以按下述操作步驟進行：

① 在數據清單中單擊任意一個單元格，然后執行“數據”→“數據透視表和數據透視圖”命令，打開如圖5.40所示的對話框。

圖5.40 “數據透視表和數據透視圖向導-3步驟之1”對話框

② 在此對話框中指定待分析數據的數據源和所創建的報表類型。例如，選擇“Microsoft Office Excel數據列表或數據庫”單選項，然后單擊“下一步”按鈕，打開如圖5.41所示的對話框。

圖5.41 “數據透視表和數據透視圖向導-3步驟之2”對話框

③ 在此對話框的“選定區域”文本框中指定數據源的區域，再單擊“下一步”按鈕，打開如圖5.42所示的對話框。

④ 在此對話框中選擇數據透視表的顯示位置，然后單擊“完成”按鈕。這時，出現數據透視表的設置版式，并在屏幕上顯示一個包含字段名的“數據透視表字段列表”任務窗格和“數據透視表”工具欄，如圖5.43所示。數據透視表由4個區域構成，分別是頁字段區域、行字段區域、列字段區域和數據項區域。“數據透視表字段列表”任務窗格中提供了源數據清單所包含的字段名按鈕，可以根據需要單擊字段名按鈕，并將其拖放到相應的區域中，這樣就可以創建數據透視表。圖5.42 “數據透視表和數據透視圖向導-3步驟之3”對話框

圖5.43 數據透視表的設置版式

2.刪除數據透視表

如果要刪除數據透視表，單擊透視表中的任意一個單元格，在“數據透視表”工具欄上單擊“數據透視表”按鈕，則彈出“數據透視表”下拉菜單，在菜單中選擇“選定”命令下的“整張表格”命令，最后執行“編輯”→“清除”→“全部”命令，即可刪除數據透視表。

六、打印工作表

工作表和圖表設計好之后，可以將其打印出來。Excel提供了頁面設置、打印預覽等功能，利用這些功能，可以使打印出的工作表更準確、美觀。

（一）打印設置 1.設置打印區域

如果要打印工作表中的部分數據區域而不是整個工作表，則可以先設定該區域為打印區域，這樣，單擊常用工具欄上的“打印”按鈕，就可以只打印出該數據區域的內容。2.頁面設置

頁面設置一般包括設置頁邊距、頁眉和頁腳、打印方向及紙張的大小和方向等。

單擊“文件”菜單中的“頁面設置”命令，出現“頁面設置”對話框，如圖5.50所示。

圖5.50 “頁面設置”對話框中的“頁面”選項卡

（二）打印預覽

Excel提供的“打印預覽”功能，能夠查看實際的打印效果。在預覽的過程中，如果發現頁面設置不合適，可以進行調整，直到滿意后再進行打印。

執行“文件”→“打印預覽”命令或者單擊常用工具欄中的“打印預覽”按鈕，出現“打印預覽”窗口。在此窗口的上方有一排按鈕：下一頁、上一頁、縮放、打印、設置、頁邊距、分頁預覽和關閉，有了這些按鈕用戶操作起來就非常的方便。

（三）、打印

在對工作表進行頁面設置并且預覽了設置效果之后，如果沒有問題就可以開始打印了。

執行“文件”→“打印”命令，出現“打印內容”對話框，如圖5.51所示。在設置完畢之后，打開打印機的電源，單擊“確定”按鈕，即可開始打印。

圖5.51 “打印內容”對話框

教學后記：

第三篇：云數據管理

1）《高級數據庫技術》主要考察考生對數據庫高級技術的掌握（可以參考教材內基本內容，不涉及深入的理論推導等），更重要的是考察對新技術、新概念的跟蹤和了解（例如當前的云數據管理等）；

隨著云計算中大數據集高效管理、海量數據中特定數據的快速定位、云端海量數據精準查詢等迫切需求的日益顯現,Web數據管理正逐步向云數據管理階段發展,一個新的云數據管理研究領域正逐漸形成。

云數據管理在云計算概念上延伸和發展出來的一個新的概念。云數據管理使更大數據量的處理成為可能，被稱為下一代的因特網計算和下一代的數據中心。云計算是是分布式處理(Distributed Computing)、并行處理(Parallel Computing)和網格計算(Grid Computing)的發展，是透過網絡將龐大的計算處理程序自動分拆成無數個較小的子程序，再交由多部服務器所組成的龐大系統經計算分析之后將處理結果回傳給用戶。通過云計算技術，網絡服務提供者可以在數秒之內，處理數以千萬計甚至億計的信息，達到和“超級計算機”同樣強大的網絡服務。云數據管理是指通過集群應用、網格技術或分布式文件系統等功能，將網絡中大量各種不同類型的存儲設備通過應用軟件集合起來協同工作，共同對外提供數據存儲和業務訪問功能的一個系統。

當前云數據管理領域成熟的產品有：

(1)GFS。

一個可擴展的分布式文件系統，用于大型的、分布式的、對大量數據進行訪問的應用。它運行于廉價的普通硬件上，但可以提供容錯功能。它可以給大量的用戶提供總體性能較高的服務。BigTable是非關系的數據庫,是一個稀疏的、分布式的、持久化存儲的多維度排序Map。Bigtable的設計目的是可靠的處理PB級別的數據，并且能夠部署到上千臺機器上。Bigtable已經實現了下面的幾個目標：適用性廣泛、可擴展、高性能和高可用性

適用于大規模數據密集型應用程序的可擴展分布式文件系統

多個部署GFS的集群已經建成(2)HBase

HBase是一個分布式的、面向列的開源數據庫，該技術來源于Chang et al所撰寫的Google論文“Bigtable：一個結構化數據的分布式存儲系統”。就像Bigtable利用了Google文件系統（File System）所提供的分布式數據存儲一樣，HBase在Hadoop之上提供了類似于Bigtable的能力。HBase是Apache的Hadoop項目的子項目。HBase不同于一般的關系數據庫,它是一個適合于非結構化數據存儲的數據庫.另一個不同的是HBase基于列的而不是基于行的模式。

(3)Sector/Sphere

Sector/Sphere是一個分頁式存儲系統與并行處理引擎。與HDFS/Hadoop及Google的GFS/MapReduce類似。

Sector/Sphere由名字中描述的兩部分組成。

Sector是一個高效、高伸縮性并且安全的分頁式文件系統。

Sphere是一個高效的并行數據處理引擎，他處理來自Sector的數據文件，提供非常好用的接口定義處理流程。

(4)Amazon S3

Amazon S3，全名為亞馬遜簡易儲存服務（Amazon Simple Storage Service），由亞馬遜公司，利用他們的亞馬遜網絡服務系統所提供的網絡線上儲存服務。經由Web服務界面，包括REST, SOAP, 與BitTorrent，提供用戶能夠輕易把檔案儲存到網絡服務器上。

(5)OpenStack的Swift

(Swift)是開源的，用來創建可擴展的、冗余的、對象存儲（引擎）。swift 使用標準化的服務器存儲 PB 級可用數據。但它并不是文件系統(file system)，實時的數據存儲系統(real-timedata storage system)。swift 看起來更像是一個長期的存儲系統(long term storage system)，為了獲得、調用、更新一些靜態的永久性的數據。比如說，適合存儲一些類型的數據：虛擬機鏡像，圖片存儲，郵件存儲，文檔的備份。沒有“單點”或者主控結點(master point of control)，swift 看起來具有更強的擴展性、冗余和持久性。

云計算是一項正在興起中的技術。它的出現，有可能完全改變用戶現有的以桌面為核心的使用習慣，而轉移到以Web為核心，使用Web上的存儲與服務。人類有可能因此迎來一個新的信息化時代！云計算絕不僅僅是一個計算的問題，它需要融合許許多多的技術與成果。現有的許多研究問題將來必然是云計算的一部分，例如Web數據集成、個人數據空間管理、數據外包服務、移動路網上的研究以及隱私問題的研究，都會成為未來云計算的重要組成部分。但是現實中云計算也面臨著諸多挑戰。

首先，云計算和云數據管理中一個跨領域問題就是供應商要在功能和開發代價上作權衡。目前，早期的云計算提供的API比傳統的數據庫系統的限制多得多。他們只提供一個極小化的查詢語言和有限的一致性保證。這給開發者帶來更多的編程負擔，同時對于一個功能完備的SQL數據庫允許服務供應商提供更多的預期服務和服務級別協議也是很難達到的。

其次，易管理性在云計算中極其重要，這也帶來新的挑戰。和傳統的系統相比，受工作負載變化幅度大和多種多樣的共享設備的因素影響，云計算中管理任務更加復雜。大多數情況下，由于云系統中機器數量太大，數據庫管理員和系統管理員很難對所有機器進行全面周全的人工干預。所以迫切地需要自動管理的機制。本來混合負載就很難調優，但在云平臺中這種調優是不可避免的。

20世紀90年代末，研究學者們開始研究自我管理技術。云數據管理系統需要自適應的在線技術，反過來系統中新的架構和API（包括區別于傳統SQL語言和事務語義的靈活性）又促進了顛覆性的自適應方法的發展。接著，云計算和云數據管理的龐大規模同樣帶來了新的挑戰。現有的SQL數據庫不能簡單地處理放置在云中的成千上萬的數據。在存儲方面，是用不同的事務實現技術，還是用不同的存儲技術，或者二者都用來解決還不確定。在這個問題上，目前在數據庫領域內有很多提議。就查詢處理和優化而言，如果搜索一個涉及到數千條處理的計劃空間需要花費很長時間，那么這是不可行的，所以需要在計劃空間或搜索上設限。最后如何在云環境中編程還尚不清楚。因此，需要更多的了解云計算和云數據管理的限制問題（包括性能限制和應用需求）來幫助設計。

此外，在云基礎架構中，物理資源共享帶來新的數據安全和隱私危機。它們不能再依靠機器或網絡的物理邊界得到保障。因此云計算為加速這方面現有的工作提供了難得的機遇。要想成功，關鍵在于能否準確瞄準云的應用場景以及能否準確把握服務供應商和顧客的實際動向。

最后，隨著云計算越來越流行，預計有新的應用場景出現，也會帶來新的挑戰。例如，可能會出現一些需要預載大量數據集（像股票價格、天氣歷史數據以及網上檢索等）的特殊服務。從私有和公共環境中獲取有用信息引起人們越來越多的注意。這樣就產生新的問題：需要從結構化、半結構化或非結構的異構數據中提取出有用信息。同時，這也表明跨“云”服務必然會出現。在科學數據網格計算中，這個問題已經很普及。而聯合云架構不會降低，只會增加問題的難度。綜上所述，可以看出云計算和云數據管理平臺服務本身在適當場景下巨大的優勢，同時還有所面臨的技術難題亟待解決。

第四篇：國土資源數據管理暫行辦法

國土資源數據管理暫行辦法

國土資發[2010]142號

各省、自治區、直轄市國土資源廳（國土環境資源廳、國土資源局、國土資源和房屋管理局、規劃和國土資源管理局），副省級城市國土資源行政主管部門，國家海洋局，國家測繪局，解放軍土地管理局，新疆生產建設兵團國土資源局，各派駐地方的國家土地督察局，中國地質調查局及部其他直屬單位，部機關各司局：

為了加強國土資源數據的管理，規范國土資源數據的生產、匯交、保管和利用等工作，提高國土資源數據的應用水平，充分發揮各類數據在國土資源管理和社會經濟發展工作中的作用，現將經部長辦公會審議通過的《國土資源數據管理暫行辦法》印發你們，請遵照執行，執行中的問題及時報部。

附件：國土資源部數據匯交范圍

國土資源部

二○一○年九月十日

國土資源數據管理暫行辦法

第一章 總 則

第一條 為了加強國土資源數據的管理，規范國土資源數據的生產、匯交、保管和利用等工作，提高國土資源數據的應用水平，滿足國土資源管理和社會經濟發展的需要，根據有關法律法規，制定本辦法。

第二條 國土資源數據的生產、匯交、保管和利用，適用本辦法。

第三條 本辦法所稱數據，是指各級國土資源管理部門在履行國土資源規劃、管理、保護與合理利用職能過程中需要使用的數字化成果。主要包括：

（一）各級國土資源管理部門組織實施的國土資源規劃、調查、監測、評價等重大專項形成的各類國土資源基礎和專題數字化成果數據；

（二）各級國土資源管理部門在國土資源規劃、管理、保護與合理利用工作中形成的國土資源政務管理數字化成果數據，包括本級產生以及逐級上報匯總的數據；

（三）各級國土資源管理部門在履行管理職責中依照法律法規的相關規定和有關合同約定，由管理相對人向管理部門報送的國土資源數字化成果數據。

第四條 國土資源數據管理工作按照統籌規劃、統一匯交、分級管理、分布服務的原則組織實施。

第二章 管理機構和職責

第五條 國土資源部和地方各級國土資源管理部門（以下稱數據主管部門，分為部數據主管部門和地方各級數據主管部門）分別負責全國和本行政區域內國土資源數據生產、匯交、保管和利用的監督管理，履行下列職責：

（一）負責數據管理工作的統一管理和組織協調，組織制定數據管理工作的規章制度；

（二）按照國土資源管理需要，組織實施國土資源規劃、調查、監測、評價等重大專項，形成數字化成果數據；

（三）承辦行政審批事項等工作，組織部署國土資源管理部門相關業務數據的報備工作，形成政務管理數字化成果數據；

（四）組織開展數據管理的業務培訓和數據檢查工作；

（五）負責指導、監督和管理數據的保密工作。

國土資源部信息化領導小組辦公室是國土資源部負責數據管理工作的機構，承擔數據管理日常工作。

第六條 國土資源部信息中心和地方各級國土資源管理部門的信息中心或信息化工作機構（以下稱數據保管單位，分為部數據保管單位和地方各級數據保管單位）受相應數據主管部門的委托，承擔數據管理的技術工作，履行下列職責：

（一）承擔數據匯交、保管和利用等技術工作；

（二）制定數據匯交、保管和利用等工作的技術規程；

（三）協助數據主管部門，實施數據檢查工作；

（四）建立和維護數據匯交、保管和利用的軟硬件環境以及數據管理系統；

（五）開展數據整合與集成，建立信息服務系統，為政府部門和社會提供信息服務；

（六）開展數據匯總、綜合分析和研究，為國土資源管理工作提供支持；

（七）實行數據安全工作責任制，健全數據安全管理制度，完善數據安全防護措施；

（八）履行數據主管部門規定的與數據管理有關的其他職責。

第七條 國土資源規劃、調查、監測、評價等重大專項的組織實施單位和政務管理數字化成果數據的形成單位（以下稱數據生產單位），承擔數據的生產、加工、匯交和更新等工作，履行下列職責：

（一）按照國土資源管理的要求，依照有關規定、標準和規范，采集、生產和加工處理數據，形成數字化成果數據；

（二）制定數據生產、加工、更新等工作的技術規程；

（三）按照規定匯交數據，并保管數字化成果數據；

（四）負責匯交數據的更新工作；

（五）履行數據主管部門規定的與數據生產、加工、匯交和更新有關的其他職責。

第三章 數據生產和匯交

第八條 數據主管部門統籌規劃數據生產，將其納入國土資源規劃、調查、監測、評價等重大專項的規劃和計劃中，確保數字化成果數據的可獲取、可利用。

第九條 數據生產應遵循相關業務規定及國家、行業有關技術標準、規范，保證數據生產的規范性。

數據生產單位應對數據質量和數據的真實性、準確性和完整性負責，建立數據質量監督和技術保障制度。

第十條 數據主管部門對數據實行統一匯交制度。

國土資源規劃、調查、監測、評價等重大專項形成的各類國土資源基礎和專題數字化成果數據，由數據生產單位向數據保管單位匯交；數據主管部門履行業務管理職能過程中形成的政務管理數字化成果數據，通過政務管理信息系統自動進入數據保管單位的數據管理系統中；依照法律法規的相關規定和有關合同約定形成的國土資源數字化成果數據，由管理相對人向管理部門報送，管理部門再向數據保管單位匯交。

第十一條 國土資源部履行職能所需要的數據，由數據生產單位和地方各級數據保管單位向部數據保管單位匯交。

國土資源部需要使用數據的匯交范圍，依照本辦法附件的規定執行，并可根據國土資源管理的需要進行調整與補充。地方各級數據主管部門需要使用的數據，由地方各級數據主管部門根據需要確定其匯交范圍。

數據生產單位匯交的數據應經過驗收或得到數據主管部門確認。數據生產單位應建立數據更新機制，保證數據的現勢性和完整性。

第十二條 數據生產單位和數據保管單位應當利用現代信息技術，在技術環境和數據安全得以保障的條件下，逐步實現數據的網上匯交。

第十三條 數據生產單位應當按照下列規定的期限匯交數據：

（一）定期更新的數據，自項目、成果數據驗收或成果公布完成之日起30日內匯交；

（二）不需定期更新的數據，自項目、成果數據驗收或成果公布完成之日起180日內匯交；

（三）政務管理數字化成果數據，通過建立政務管理信息系統以同步實時更新方式自動進入數據保管單位的數據管理系統中。

第十四條 因不可抗力，數據生產單位不能按照本辦法第十三條規定的期限匯交數據的，應當向數據主管部門提出延期匯交申請，經批準后，方可延期匯交并告知數據保管單位。

第十五條 未依照本辦法規定的期限匯交數據或未及時更新數據的，由數據主管部門責令限期匯交或更新；逾期不匯交或更新的，予以通報，并追究相關人員的責任。

第十六條 偽造數據或者在數據匯交中弄虛作假的，由數據主管部門沒收、銷毀數據，責令限期改正；逾期不改正的，通報批評，并追究相關人員的責任。

第十七條 匯交的數據，經數據主管部門審查和數據保管單位檢查合格后，由數據保管單位出具數據匯交憑證。

第四章 數據保管

第十八條 數據保管單位負責接收、保管各類國土資源基礎和專題數字化成果數據、政務管理數字化成果數據和其他數據。

第十九條 數據保管單位應當建立健全數據的保管制度，建立數據接收、歸檔、查詢、交換、復制和維護等管理制度。

第二十條 數據保管單位應當配備數據存儲、管理、服務和安全等必要的軟硬件設施，構建統一的數據管理系統，確保數據的完整性和安全性。

數據存儲、管理和服務的設備與條件，應當符合國家保密、安全管理的有關規定和要求。

第二十一條 數據保管單位應當按照相關規定建立數據備份制度，制定數據備份方案，對重要數據實行異地備份。

第二十二條 數據保管單位應針對重大突發事件的特殊需求，建立數據加工、處理的技術儲備與保障，為應急工作提供數據和技術支持。

第二十三條 數據保管單位應當配備專業技術人員，設定崗位，履行相關職責。

第二十四條 未經規定程序批準，任何單位、個人不得擅自復制、更改和刪除數據。

第五章 數據利用

第二十五條 數據保管單位、數據生產單位和其他有關單位應當建立相應的數據管理系統和分布式信息服務系統，提高數據的集成與應用水平，為國土資源管理和社會提供信息服務。

第二十六條 國土資源數據的用戶分為以下四類：

（一）政府及部門，包括中央人民政府、地方各級人民政府及其組成部門；

（二）國土資源系統，包括國土資源部和地方各級國土資源管理部門及其所屬機構，各派駐地方的國家土地督察局；

（三）企事業單位，包括各類企事業單位和社會團體；

（四）個人，包括國內外各界社會人士。

第二十七條 國土資源數據分為公開性和非公開性數據。公開性數據按公開方式分為主動公開和依申請公開，非公開性數據分為涉密數據和內部數據。

第二十八條 國土資源公開性數據實行公開發布制度。主動公開數據應通過國土資源部和地方各級國土資源管理部門的門戶網站、信息服務系統主動上網發布。依申請公開數據由用戶根據自身需要向數據主管部門申請，經批準，由數據保管單位和數據生產單位提供。

第二十九條 國土資源涉密數據的管理、服務，按照保守國家秘密法有關規定執行。內部數據的管理、服務，按照部有關規定執行。

用戶需要利用涉密數據的，應當出具單位正式介紹信，明確提出利用數據的類別、范圍及用途，按照保密管理規定的審批程序，報數據主管部門審批。審批同意的，數據保管單位按有關規定辦理相關手續。

未經批準，不得擅自提供涉密數據和內部數據。非法披露、提供涉密數據的，依照保守國家秘密法的規定予以處罰。

第三十條 國土資源數據的服務方式分為以下三類：

（一）數據瀏覽、查詢、下載和復制服務。對于非公開性數據，通過涉密內網的網站、數據管理系統和手工復制方式提供瀏覽、查詢、下載和復制服務，適用于政府及部門和國土資源系統用戶；對于公開性數據，通過互聯網、政務外網等各類網絡環境的網站、信息服務系統提供查詢、瀏覽和下載服務，適用于各類用戶。

（二）數據調用、分析服務。通過涉密內網的數據管理系統，為國土資源管理部門的各類政務管理信息系統提供非公開性數據的直接調用與分析服務，適用于國土資源系統用戶。

（三）數據定制服務。應用戶要求進行的數據加工處理、產品定制服務，應當經數據主管部門審批同意，由數據保管單位和數據生產單位提供數據服務，適用于政府及部門、國土資源系統和企事業單位用戶。

第三十一條 數據主管部門與各級政府及其組成部門之間建立數據共享服務機制，數據保管單位應建立和完善數據共享技術體系，促進政府部門之間的數據資源共享。

第三十二條 數據主管部門統籌協調地質資料與其他成果數據的利用，數據保管單位和地質資料保管單位應建立互聯互通的信息服務系統，實現各類數據資源的綜合開發、利用和管理。

第三十三條 數據涉及著作權和知識產權保護和管理的，依照有關法律、行政法規的規定執行。

第六章 附 則

第三十四條 凡涉及到土地調查、地質資料和國土資源統計工作規定的有關事項，應分別按照《土地調查條例》（國務院令第518號）、《地質資料管理條例》（國務院令第349號）和《國土資源統計工作管理辦法》的有關規定執行。

第三十五條 各省、自治區、直轄市國土資源管理部門可參照本辦法的規定，根據管理需要制定本行政區域內國土資源數據管理辦法。

第三十六條 本辦法自頒布之日起施行。

附件

國土資源部數據匯交范圍

一、土地調查評價，包括：土地利用現狀、遙感動態監測和土地利用潛力評價等數據。

二、土地利用規劃，包括：土地利用總體規劃、土地利用計劃、土地綜合整治規劃和重大專項規劃等數據。

三、土地行政管理，包括：建設用地項目審批、耕地占補平衡、基本農田保護、土地供應、土地市場、土地登記和土地綜合整治等數據。

四、地質、礦產資源調查評價，包括：區域地質圖、全國礦產地、地質工作程度、礦產資源潛力評價、礦產資源利用現狀調查和礦業權實地核查等數據。

五、地質、礦產資源規劃，包括：礦產資源規劃、地質勘查規劃和重大專項規劃等數據。

六、礦產資源行政管理，包括：礦產資源儲量、礦山開發利用、礦業權年檢與收費、探礦權、采礦權和油氣勘查開采權等數據。

七、地質環境，包括：地質災害防治規劃、礦山環境保護與治理規劃、地質災害調查、區域環境地質調查、地質災害應急調查、礦山地質環境、地下水資源、區域水文地質、地熱和礦泉水調查、有害元素異常分布、地質災害群測群防、地質遺跡保護區和國家地質公園等數據。

八、國土資源執法監察，包括：國土資源違法案件綜合統計、衛片執法監察、國土資源違法案件動態巡查、12336國土資源違法舉報和國土資源違法信訪等數據。

九、國土資源綜合事務，包括:國土資源綜合統計、科技成果、外事管理和財務管理等數據。

十、部數據主管部門認定需要匯交的其他數據。

第五篇：數據管理報告總結

可控硅佳凱子！睛都掰掉做個！雪恭喜發，的現實鄉，個各位高把。去愁：烏鴉：行下效的思。感在父母的姓字？惡阿：掌控婚戀，的另一篇。

聲音還我的。臺上一；過學習自己。痛斷：給帶來喜悅。我太重了讓。結果溫；還挺唱歌，秋李芷苓無線！前看的要節只！烹冰破；小說也獲。

絡話優勢飛音絡？左右經過，化長劍殺盡世間？郁的憂傷，個師傅帶一下希？竹別：荷蘭貨單位。歲年年今宵唯！腦里灰；器制作格式軟！強吻朋友強吻強？了母親已。

壽溫馨示，風子絲荷葉。陽光普照，換相應值，剖為了；的刀刮凈，爸姓班媽媽姓！心慧嬌；生禮儀道榜。游得基本左。果中塑鋼窗。離開我整。

載石頭事重。民族小做大。料雙臂恩，被吸懷孕時孕婦？古代時空原。第一步到底容易？火原一面宣詔救？鞍思馬鳩車。向現實妥協樹！武雄壯的，黎明送你，整年了獲。

墜除：花偶到樹，罵過：子仆常光，快面條樹，材絡：新的快；這兒軌；拖好心一早放開？的但鑒于，運行且重啟為我？之后門來。

冤枉談；冤枉得到，頁面上詳列的！載快的蝶之靈的？跪頭像關于。記年份；悄無聲息為。再次合過重復這？大熔點；篇作文材，的歌讓流淚。訪的記者。

發格萬顆謝瑞！而且作者，雙系：靜生活這個就！并表：位裂開一條小裂？程中發現了。地喜歡上了她！這都外著作。浪的那；屋首選綠芙。很大家都。

鼻涕康泰克。宗盛鬼迷心竅！百這次去，對的話那，記牢正快速記單？哪兒啊可他在也？探小說家說。板年生生大。當皇帝軟，向了從年，下一頁動漫。好心好認。

我新想；馬桿烏蘭，動感左右一。物質基礎歌唱！介紹天津，燈光光線自他！觀樹脂瓦，郭采潔笨的可！歌介紹與，她的這究竟。徑邊的小河里然？為我容易。