第一篇：基于Struts的Web應用系統數據驗證

龍源期刊網 http://.cn

基于Ｓｔｒｕｔｓ的Ｗｅｂ應用系統數據驗證

作者：董衛鵬 陳建彪

來源：《沿海企業與科技》2009年第06期

第二篇：備份數據有效性驗證_方案

帶庫備份數據一致性有效性驗證方案

馮亞峰 2011/10/17

一.備份作業數據分析

通過對磁帶備份服務器的備份作業進行考察，對正在運行的備份作業進行統計，目前正在運行的備份作業如下：

1、K3 備份內容： acc.xxx.cn sql數據庫 備份頻率：每天 數據包大小：7.3G 生效日期：2008-6-11

2、xxx-pdm-sql 備份內容：xxx-pdmserver sql數據庫 備份頻率：每天 數據包大小：20.1G 生效日期：2009-2-24

3、xxx-erp-sql-完全

備份內容： erp.xxx.cn sql數據庫 備份頻率：每周 數據包大小：0.96G 生效日期：2007-11-23

4、K3每周

備份內容ac.xxx.cn sql數據庫 備份頻率：每周 數據包大小：7.3G 生效日期：2008-6-11

5、xxx-dlp 備份內容： dlp.xxx.cn sqlcobraDGServer庫 備份頻率：每周 數據包大小：54M 生效日期：2009-12-15

6、OA_Full 備份內容：

Lotus Domino數據庫F:program filelotusdominodata文件夾

備份頻率：每周 數據包大小：144G 生效日期：2007-12-3

7、xxx-pdm-ftp 備份內容：xxx-pdmserverI:pdmftp文件夾 備份頻率：每周 數據包大小：153G 生效日期：2009-2-24

8、eMail_Full 備份內容： F:program file*.* /subdir

|F:*.* /subdir 備份頻率：每周

數據包大小：數據量過大，從未成功備份過。生效日期：2007-12-10

9、CAPP-SQL 備份內容：xxx-capp-sql sql數據庫 備份頻率：每周 數據包大小：8G 生效日期：2011-5-4

10、xxx-AD 備份內容：xxx-AD 系統狀態active dirctorywindows ntds

xxx-AD 系統狀態com+ class registration database

xxx-AD 系統狀態registry

xxx-AD 系統狀態system files

xxx-AD 系統狀態sysvol 備份頻率：每周 數據包大小：1.4G 生效日期：2009-11-2

通過對磁帶備份目前進行的10個作業進行分析，我們可以看到作業1、2、3、4、5、9這六項作業都是對系統SQL數據庫進行備份，6號作業是對domino數據庫進行備份，7、8號作業是對文件夾進行備份，其中8號作業由于數據量太大從未成功備份過，因此建議永久性停止該條作業。10號作業是對系統狀態（文件）進行備份。

二、備份數據一致性和有效性檢驗分析

要對這些備份的數據進行一致性檢驗，確保備份數據和備份作業時的生產系統的數據完全一致，這種一致性檢驗是無需人工對每個數據表來校驗核對的，只需要在備份策略上加上“備份后一致性檢查”這條選項就能保證備份后的數據與生產系統完全一致，如果發現不一致，備份服務器校驗后就會報錯，技術人員再進行技術干預即可。由于備份后對備份數據進行一致性檢查占用的系統資源較大，建議對現有的帶庫備份服務器進行內存升級，由目前的1G內存升級到4G內存即可。

而對備份后的數據進行有效性檢驗，只需要將備份的數據恢復到驗證服務器上，恢復后的數據能正常訪問就能證明備份數據有效。而這些有效的數據之前是已經進行過一致性檢驗的，所以我們能確定其一致性和有效性。

三、備份數據一致性設定

目前信息中心的帶庫備份服務器是bakup.xxx.cn；IP地址為：10.0.0.88；服務器上運行的操作系統為windows2003，備份系統為：symantec backup exec12 for windows servers，打開備份系統symantec bakup exec備份界面，點擊“作業監視器”選項卡，我們能看到備份作業系統運行窗口如下：

在當前作業列表中，雙擊某項針對SQL數據庫備份的作業項，并在左側設置區的“設置”項目中單擊“microsoft sql”選項，打開備份作業關于“microsoft sql”的設置窗口：

從設置窗口中，我們可以看到，目前我們的備份策略是沒有在完成備份后對備份數據進行一致性檢查，單擊“備份后一致性檢查”的下拉菜單，選中“完全檢查，包括索引”；同時，勾選“備份時使用奇偶校驗（U）(SQL 2005)”確保備份數據與生產主機數據一致和準確。

同時，應該在“備份前一致性檢查”的下拉菜單選中“完全檢查，包括索引”，然后將“即使一致性檢查失敗也繼續備份”前的勾選去掉不選，來保證每次備份前生產主機數據庫的有效性。如圖：

四、備份數據有效性檢驗

如前所述，我們在保證備份的數據和生產主機的數據是一致性的前提下，只要能將備份的數據恢復到驗證的主機上，并且在驗證的主機上能夠訪問恢復的數據庫，我們就能確定備份數據的有效性。

在具體的檢驗數據有效性的過程中，首先要準備驗證主機，要求和生產主機有相同的軟件環境，考慮到既要節約成本、不重復購買設備，又要考慮到驗證工作的可行性，我計劃利用飛康近線備份對生產主機操作系統和數據庫備份恢復的易操作性，直接在虛機上恢復出和生產主機一樣的主機系統，然后將帶庫備份的數據庫恢復到驗證主機上，在驗證主機上對恢復后的數據庫進行訪問，如果訪問成功，我認為帶庫備份的數據的一致性和有效性都得到了驗證。

對于個別非SQL數據庫的磁帶備份（主要是OA的domino數據庫備份、PDM-FTP的文件夾備份，以及AD的系統備份），由于沒有“備份后一致性檢查選項”，我們可以在驗證主機上進行恢復后文檔日期、日志檢查，判斷恢復后的時間點和備份數據的時間點是否一致，來確定恢復后的系統的一致性和有效性。

五、后記

以上是我對帶庫備份數據一致性和有效性的驗證方案，信息中心可會商討論可行性，如果具備可行性，即可開展數據的驗證工作。

第三篇：數據質量管理系統應用

數據質量管理系統應用

----生活篇

最近在看關于綜合分析數據質量管理規范的時候，結合實際生活當中的例子。在這里說出來，可以討論一下。這里主要是指標值數據質量的管理：

1：數值檢查個可以和我們固定的閾值檢查結合起來，即通過檢查單個指標的數值和閾值的比較發現指標的異常和變動的情況。這個就是固定閾值的一種情況。比如當地鐵離近站只有4分鐘的時候，地鐵旁邊的燈會一直閃爍。地鐵離開車只有一分鐘要關門的時候，就會告警即將開車。以免突然開車造成人的傷害。

2：波動檢查：一般就是同比波動的檢查和環比波動的檢查。先計算指標的同比或環比波動率，然后與預訂的波動率上下限（閾值）進行比較。這個就是范圍閾值。例如昨天公交車上有一條新聞就是重慶目前一小時之內公交車換成免費。那么這一個小時之內就是一個范圍閾值，只要在一個小時之內不收錢，即什么也不做，但是當超過一個小時之后就要收錢。那么我們這里就需要告警。

3：還有一種日常當中常用的就是動態閾值比如我們乘坐地鐵的時候根據路程的不同地鐵價格不同。以及依照路程計價的公交車也一樣，路程不同，價格不同。本質上都是乘坐地鐵或者公交，但是由于距離問題因此價格不同，比如收入指標閾值制定的時候，比如不同的地市，在同一時間維度閾值是不同。比如經濟發達地區應該制定高一點，經濟欠發達地區制定低一點。

4：指標之間的關聯檢查，比如我們常說的同增同減關聯關系，還是以地鐵為例，路程增加了，那價格相應就增加了。比如我們理論上我們的用戶數增加了，那么收入應該有所增加。但是有時候反而用戶量增加了，收入卻下降了。增加的用戶數比丟失的用戶數多因此整體上用戶量增加了。但是增加的用戶量都是一些劣質用戶，而丟失了一部分高端用戶。從而導致用戶數增加，收入下降的局面。

5：指標平衡檢查：對若干個指標值的簡單四則運算（加、減、乘、除），來檢驗各個指標間潛在的平衡或其他比較關系。比如有些指標日指標匯總應該與月指標的值平衡。

當發現數據出現異常的時候，首先先分析一下，是不是一些因素導致指標的變化，比如節假日，周末，市場營銷策略，以及外部的一些政策對指標造成的變化，然后再查看是不是真的是數據質量的問題，以及源接口數據的問題。

數據質量管理系統----理論篇

數據質量管理系統：

一：從以下5個方面對數據的質量進行管控

1：及時性：數據獲取是否及時，主要指數據提取、傳送、轉換、加載、展現的及時性。在數據處理的各個環節，都會涉及到及時性。我們一般考慮兩個方面第一就是接口數據是否 能夠及時的抽取過來。第二就是展現層能否及時的展現出來。

2：完整性：是指數據是否完整，描述的數據要素，要素屬性及要素關系存在或不存在，主要包括實體缺失、屬性缺失、記錄缺失以及主外鍵參照完整性的內容。

3：一致性：第一就是原始數據即文件接口和入庫的數據記錄條數是一致的。

第二就是同一指標在任何地方都應該保持一致。

4：有效性：描述數據取值是否在界定的值域范圍內，主要包括數據格式、數據類型、值域和相關業務規則的有效性。

5：準確性：主要是指指標算法、數據處理過程的準確性。這個準確性主要是通過元數據管理中定義的指標的算法、數據處理順序和人工檢查相結合的方式來保證。

二：數據倉庫中需要進行質量管理的數據分類

1：接口數據：接口數據是整個數據倉庫的生命的起點，如果接口數據有問題的話會嚴重影響數據倉庫后面的報表以及分析結果。

接口數據分為兩種情況：文件接口和數據庫接口

文件接口方面：一方面是接口內容本身的數據質量問題：文件傳送及時率。文件內容有效性。文件傳遞的完整性

一方面是文件接口采集程序的監控：文件接口采集程序是否正常啟動，正常結束等。

賬期，接口名稱，采集開始時間，采集結束時間，有效標志，接口及時率標志，接口完整性標志等。

這些可以通過查看接口運行日志來獲取相關信息情況。

數據庫接口方面：數據庫接口參考文件接口部分。

2：數據倉庫層面的數據：關鍵包括兩個方面的內容數據處理過程執行情況和關鍵指標檢查

第一：數據處理過程監控：監控所有的數據處理過程十分按時調度，是否成功。這些可以通過查看數據處理過程日志表來獲取相關信息

第二：關鍵指標的檢查：指標檢查主要包括兩個方面：

首先是基礎指標的檢查：數值檢查：主要是通過檢查單個指標的數值來發現指標的異常和突變等情況。這里需要設置相應的閥值來進行。

這里需要考慮周末、節假日以及一些外部因素對指標的影響。因此指標異常并不一定是數據的問題。

波動檢查：主要是同比或者環比的檢查。先計算指標的同比或環比波動率，然后與預定的波動率上下限（閾值）

進行比較。需要考慮周末、節假日及一些外部因素對指標的影響。因此指標異常不一定是數據的問題。

關聯檢查：對兩個存在關聯關系的指標（如同增、同減正關聯關系），分析變化和波動情況。比如用戶量和話務量 以及用戶量和收入之間的關聯分析。用戶量增加了。應該收入有所增加。但是有時候反而用戶量增加了，收入卻下降了。增加的用戶數比丟失的用戶數多因此整體上用戶量增加了。但是增加的用戶量都是一些劣質用戶，而丟失了一部分高端用戶。從而導致用戶數增加收入下降的局面。

平衡檢查：通過對若干個指標值的簡單四則運算（加、減、乘、除），來檢驗各個指標間潛在的平衡或其他比較關系。比如收入-支出=利潤。這三者之間的平衡。日指標匯總與月指標的平衡檢查等。

其次加權波動檢查：通過對單個指標的基礎檢查結果和影響因素的加權計算分析，綜合檢查指標的波動和變化情況。比如一個指標今天異常的 超出了范圍，我們首先應該加上一些外部的因素比如制定了相應的優惠政策以及節假日然后對其進行分析。分析得出該結果是正常的。因此當指標異常的時候我們不能首先就判斷該指標數據質量有問題，應該先分析一些外部因素對其的影響。然后再考慮是否確實是數據質量的問題。

三：數據質量處理流程

問題生成-》問題分析-》問題處理-》問題總結

每個處理流程都針對于后臺相應的表已經相應的處理過程

問題生成部分：我們應該監控接口的日志信息，數據倉庫部分各個處理過程的日志信息以及指標的檢查相關過程。

問題分析部分：將發生的問題進行歸類，將同一類的問題進行集中分析。問題分析的時候會用到元數據管理部分的一些分析方法比如：血緣分析，影響分析、數據映射分析等。

問題處理部分：結合系統后臺提前準備的問題處理流程，對相應的問題采用相應的處理流程來解決該問題。

問題總結：當問題處理結束之后，我們要對以前的問題進行匯總，并且對問題的解決方法也進行匯總，便于下次能夠不出現這樣的問題。或者出現問題之后能夠很快的解決。

因為我們已經有相應的問題解決方案。該處理流程是一個循環的過程。

四：數據質量報告部分

數據質量要定期形成報告對外進行發布公示。并且提供很好的外部接口和其他系統比如元數據管理系統很好的互動。因為數據質量有些預警值或者范圍波動預警值需要在元數據當中進行配置，數據質量核查的時候需要調用這些信息以及利用元數據分析方法更好的解決數據質量的問題。

第四篇：GPRS水行業數據采集系統應用方案

GPRS水行業數據采集系統應用方案

隨著我國經濟社會的發展，對行業信息化建設不斷提出新要求，對觀測手段和方法以及水行業的監測技術的研發和應用提出了越來越高的要求；現代電子技術、傳感技術、通信技術和計算機技術的迅速發展，也促進了水行業監測技術自動化的發展。在此方面易維就走在了水行業信息建設的前端。

一、水行業監測自動化技術的應用

1、水行業監測的范圍與內容：

水行業的監測是傳感器技術與采集、存儲、傳輸、處理技術的集成。

監測范圍：江、河、湖泊、水庫、渠道和地下水等。

監測內容：水位、流量、流速、壓力和水質等。

2、水位的采集和傳輸

用于自動化監測的水位傳感器主要有浮子式水位計、壓力式水位計、電子水尺和超聲波水位計等。這些傳感器可以直接接到PLC上，自動監測水位參數。地下水位的監測與地表水相同。目前，省水文監測站與各采集點之間的數據通信主要采用手工抄錄或PSTN電話線傳輸。采用電話線傳輸數據時，由于每次撥號都需要等待，速度慢，而且費用也較高。同時，由于各監控點分布范圍廣、數量多、距離遠，個別點還地處偏僻，因此需申請很多電話線，而且有些監控點有線線路難以到達。

GPRS具有速度快、使用費用低的特點，其傳輸速度可達171.2kb/s。與有線通訊方式相比，采用GPRS無線通信方式則顯得非常靈活，它具有組網靈活、擴展容易、運行費用低投，維護簡單、性價比高等優點因此，目前正考慮采用GPRS無線傳輸方式解決污染源監測數據的實時傳輸問題。

二、解決方案介紹：

（一）系統結構

（二）GPRS無線網絡與中心軟件的連方式：

A、公網方案：

中心用一個服務器組作為中心接收，中心采用ADSL等INTELNET公網連接，采用公網固定IP或者公網動態IP+DNS解析服務。此種方案先向INTERNET運營商申請ADSL等寬帶業務。

1)中心公網固定IP：監控點直接向中心固定IP發起連接。運行可靠穩定，推薦此種方案。（當然固定IP費用比較貴，視客戶財力決定）

2)中心公網動態IP+DNS 解析服務：大部分IP都是動態的，而且費用相對便宜。客戶先與DNS 服務商聯系開通動態域名，動態域名解析軟件網址如下：（可以先申請免費的二級域名）88IP名解析http://www.tmdps.cn 監控點先采用域名尋址方式連接DNS 服務器，再由DNS 服務器找到中心公網動態IP，建立連接。此種方式可以大大節約公網固定IP的費用，但穩定性受制于DNS服務器的穩定，所以要尋找可靠的DNS服務商。

如上圖所示水文遠程測控調度系統由調度中心、無線GPRS網絡、遠程終端單元（GPRS無線傳輸設備，PLC）幾個部分組成：

1.遠程終端單元

遠程終端單元分散的分布在遠程各個遙測點上，主要由GPRS模塊、電源、天線、PLC及各種水行業傳感器等幾部分組成。PLC與現場儀表(傳感器)相連，對現場儀表(傳感器)的開關量、模擬量信號進行數據采集、處理、存儲并通過GPRS模塊向調度中心傳送數據，接收并執行調度中心的命令。

PLC：根據客戶要求選擇使用品牌，如LG、西門子、三菱、歐姆龍等。

無線傳輸設備： LQ1200 GPRS DTU透明無線數據傳輸終端，通過RS232/RS485/TTL與水行業設備采集點的各個PLC連接，通過 GPRS網絡,把數據傳到調度中心。

2.調度中心

調度中心計算機處理系統是一個開放式實時應用系統，實現全部的數據處理工作。中心的功能有：數據收發管理、站點管理、水行業數據管理和系統管理。

數據遙測功能：定時巡測、手動巡測、隨機抽測、分組召測。

遙控功能：控制RTU 開關量輸出點的開、關狀態、遙信開關狀態。

參數狀態管理功能：設置修改各測量數據上、下限值，通訊參數。

在線組態功能：新增數據采集點等參數通過組態定義即可完成。

數據庫管理功能：對測得的數據建庫，對數據進行處理，查詢歷史數據，報表打印。

數據顯示功能： 能顯示測量的各種數據、遙信開關狀態、各種系統圖形等，具有圖形功能,模擬顯示管網圖、水廠工藝流程圖等。

搶修修理、停水、管網沖洗等數據錄入及統計。

數據共享功能：提供一個WEB站點，該WEB站點使公司寬帶內部網的任意一臺工作站只通過WEB瀏覽器就可以登陸查看所有監控點的實時數據和存儲的任何時間段的歷史數據。WEB 站點通過用戶身份認證授權方式控制該用戶可訪問那些監控點的實時監控數據和存儲的任何時間段的歷史數據。調度中心系統管理員能增加、刪除可訪問用戶，并對用戶進行不同權限的授權。該WEB站點應能通過超鏈接方式聯入公司統一平臺。

三、專業的開發實施團隊

第五篇：APP數據分析系統

中國領先的互聯網營銷分析服務提供商

APP數據分析系統

SiteAPPTM，是99click公司自主研發的移動終端APP用戶行為分析系統。借助SiteAPPTM的強大功能，用戶可以對安裝了APP的用戶，在APP中的瀏覽、點擊、購買、訂單等行為做全方位各角度的分析，隨時掌握APP運行和使用問題，及時調整和優化，從而提升APP的用戶體驗和銷售業績。

1、安全：采用軟件+硬件可選的加密識別方式，滿足不同客戶對唯一終端的識別需求，同

時避免應用商城對APP的審核障礙。

2、實時：系統綜合信息分析數據每小時更新一次，確保用戶得到最即時的信息。

3、全面：通過用戶留存、注冊/交易情況、內容瀏覽、點擊、用戶忠誠度、消費意愿、用戶

使用習慣等各類數據統計，全面分析用戶使用情況和體驗。

4、穩定：監測服務器采用集群結構，多點布陣，實現海量數據處理；

T：010-62703392-281[1]商助科技（北京）有限公司 市場部