第一篇：資源數據采集技術方案

資源數據采集

技術方案

公司名稱 2011年7月

二O一一年七月

目錄

第 1 部分 概述...............................................................................................................................3

1.1 項目概況............................................................................................................................3 1.2 系統建設目標....................................................................................................................3 1.3 建設的原則........................................................................................................................4

1.3.1 建設原則.................................................................................................................4 1.4 參考資料和標準................................................................................................................5 第 2 部分 系統總體框架與技術路線...........................................................................................5

2.1 系統應用架構....................................................................................................................6 2.2 系統層次架構....................................................................................................................6 2.3 關鍵技術與路線................................................................................................................7 第 3 部分 系統設計規范...............................................................................................................9 第 4 部分 系統詳細設計...............................................................................................................9

第 1 部分 概述

1.1 項目概況

Internet已經發展成為當今世界上最大的信息庫和全球范圍內傳播知識的主要渠道，站點遍布全球的巨大信息服務網，為用戶提供了一個極具價值的信息源。無論是個人的發展還是企業競爭力的提升都越來越多地依賴對網上信息資源的利用。

現在是信息時代，信息是一種重要的資源，它在人們的生活和工作中起著重要的作用。計算機和現代信息技術的迅速發展，使Internet成為人們傳遞信息的一個重要的橋梁。網絡的不斷發展，伴隨著大量信息的產生，如何在海量的信息源中查找搜集所需的信息資源成為了我們今后建設在線預訂類旅游網重要的組成部分。

因此，在當今高度信息化的社會里，信息的獲取和信息的及時性。而Web數據采集可以通過一系列方法，依據用戶興趣，自動搜取網上特定種類的信息，去除無關數據和垃圾數據，篩選虛假數據和遲滯數據，過濾重復數據。直接將信息按照用戶的要求呈現給用戶。可以大大減輕用戶的信息過載和信息迷失。

1.2 系統建設目標

在線預訂類旅游網是在線提供機票、酒店、旅游線路等旅游商品為主，涉及食、住、行、游、購、娛等多方面的綜合資訊信息、全方位的旅行信息和預訂服務的網站。

如果用戶要搜集這一類網站的相關數據，通常的做法是人工瀏覽網站，查看最近更新的信息。然后再將之復制粘貼到Excel文檔或已有資源系統中。這種做法不僅費時費力，而且在查找的過程中可能還會遺漏，數據轉移的過程中會出錯。針對這種情況，在線預訂類旅游網信息自動采集的系統可以實現數據采集的高效化和自動化。1.3 建設的原則 1.3.1 建設原則

由于在線預訂類旅游網的數據采集涉及的方面多、數據量大、采集源數據結構多樣化的特點。因此，在進行項目建設的過程中，應該遵循以下原則：

可擴充性

根據實際的要求，系統可被方便地載減和靈活的擴展，使系統能適應變化和新情況。可以實現模塊級別的動態擴展，而且是運行時的。所謂運行時模塊的動態擴展，比如說你需要增加一些新的功能，你可以將新開發的類和文件按照Bundle進行組織，然后直接扔到運行時環境下，這些功能就可以用了。因此系統不會受技術改造而重新做出調整。

創新性

軟件的投資要考慮到今后的發展，不能使用落后的產品與技術，避免投資的浪費；在系統軟件選型、開發技術上，達到國內外先進水平。

規范性和標準性

整個設計方案從網絡協議、操作系統到各個設計細節，應該全部遵循通用的國際或行業標準，符合國家有關標準規范的。

低耦合性

采集系統與其它系統彼此間相對獨立，直接進行數據庫入庫、sql同步或者基于txt/xml的數據交換，保證整體系統的低耦合性。

高效性

在底層的技術實現上采用java語言，跨平臺，跨數據庫，運行效率卓越。

安全、穩定、準確、及時性

采用先進的算法，采用多個子系統和工具組成一個安全、穩定、準確、及時的解決方案。方案在總體設計上遵循穩定、開放、可擴展、經濟、安全的原則，從而使整個方案組成合理，技術先進，易于擴展，既能滿足當前的業務數據處理要求，又能符合長期發展的需要。易操作和易維護原則

整個系統易于維護，容易操作，易學，易用，完全通過WEB方式完成，降低維護的技術難度，也減少了人為隱患的發生。

1.4 參考資料和標準

主要參閱并依據以下一些參考資料及標準：

? 《中國項目管理知識體系》（C-PMBOK），2001.5

? GB/T 1526-1989《信息處理

數據流程圖、程序流程圖、系統流程圖、程序網絡圖、系統資源圖的文件編制符號及約定》 ? GB/T 8566-1995《信息技術

軟件生存期過程》 ? GB/T 8567-1988《計算機軟件產品開發文件編制指南》 ? GB/T 9385-1988《計算機軟件需求說明編制指南》 ? GB/T 13702-1992《計算機件分類與代碼》 ? GB/T 11457-1995《軟件工程術語》

第 2 部分 系統總體框架與技術路線

網絡信息資源采集系統是一套功能強大的網絡信息資源開發利用與整合系統，可用于定制跟蹤和監控互聯網實時信息，建立可再利用的信息服務系統。能夠從各種網絡信息源，包括網頁、BLOG、論壇等采集用戶感興趣的特定信息，經自動分類處理后,以多種形式提供給最終用戶使用。2.1 系統應用架構

數據流控制流采集應用服務互聯網網絡蜘蛛數據分析網絡蜘蛛數據解析分組分析數據庫資源發布系統客戶端

? 網絡蜘蛛：按照指定規則抓取網站數據。

? 數據分析：分析從網絡蜘蛛來的數據，過濾掉我們不需要的信息。? 數據解析：根據指定資源格式(字段)的定義，進行數據庫字段級別的解析。? 分組分析：根據不同的網絡資源類型進行分類，并以多種存儲方式進行存儲。

2.2 系統層次架構

瀏覽器網絡資源采集數據轉換數據導出數據發布網絡請求表現層應用層采集監控數據分析消息通知登錄驗證數據處理任務計劃常用腳本庫認證碼識別WEB服務器關系數據應用服務器規范接口其他圖片視頻數據支撐層數據層

文本文件數據整個系統分為四層，分別為：

? 數據層：數據層負責存儲抓取來的各種信息及數據，這里面包括網頁、文檔、關系型數據、多媒體數據等。? 支撐層：支撐層提供了關鍵的硬、軟件支撐系統，包括應用服務器、WEB服務器、規范接口等規范支撐系統。

? 應用層：在應用層主要提供網絡資源采集、數據轉換、分析、處理、導出、發布、采集監控、消息通知、登錄驗證、任務計劃、認證碼識別等服務。? 表現層：表現層通過瀏覽器等方式，為用戶提供多樣化的信息服務。

2.3 關鍵技術與路線

為了充分滿足本項目的建設：我們采用先進、主流、可靠、實用、性價比好的三層架構體系，充分考慮今后縱向、橫向擴張能力。采用構件化和面向對象技術，使系統具有靈活的擴展性和良好的移植性。

2.3.1 J2EE規范體系

從軟件層次上看，我們采用了典型的J2EE三層架構體系，即應用—支撐—數據三層。簡單地說，J2EE（Java[tm] 2 Platform Enterprise Edition）是一個標準中間件體系結構，旨在簡化和規范多層分布式應用系統的開發和部署，有了它，開發者只需要集中精力編寫代碼來表達應用的商業邏輯和表示邏輯，至于其他系統問題，如內存管理，多線程，資源分布和垃圾收集等，都將由J2EE自動完成。

J2EE已經被證明是一個穩定的、可擴展的、成熟的平臺，在國內外擁有眾多成功的應用實例。J2EE 應用服務器（Application Server）采用目前國際最先進的開發理念、擁有許多適合基于Internet應用需求的特點：

? 三層結構體系——最適合Internet環境，可以使系統有很強的可擴展性和可管理性。

? 面向對象、組件化設計——2EE是一種組件技術，已完成的模塊能方便的移植到其它地方，可以提高開發速度，降低開發成本。

? 基于JAVA完全跨平臺特性——與平臺無關，適應Internet需要，并能得到大多數廠商支持，用戶可根據需要選擇合適的服務器硬件和數據庫。并且如果需要更換系統平臺時，J2EE也能方便的進行移植。

把J2EE三層架構軟件體系引用到資源采集系統，將大大提高系統的可移植性、可伸縮性和可擴展性。

2.3.2 XML技術

XML（eXtensible Markup Language，可擴展標記語言），是當前最熱門的網絡技術之一，被稱為“第二代Web語言”、“下一代網絡應用的基石”。自它被提出以來，幾乎得到了業界所有大公司的支持。XML具有卓越的性能，它具有四大特點：

? 優良的數據存儲格式 ? 可擴展性 ? 高度結構化 ? 方便的網絡傳輸

以XML技術作為支持，為用戶自定義應用界面和業務數據結構，并將其與底層數據庫定義格式、界面標準輸入、輸出的接口轉換作了實現，可實現分布式、異構應用系統之間的數據交換。

我們將在本項目中主要以XML為存儲方式，方便擴展和數據分析。

2.3.3 WEB2.0技術

Web2.0，是相對Web1.0（2003年以前的互聯網模式）的新的一類互聯網應用的統稱，是一次從核心內容到外部應用的革命，是依據“六度分隔”(注：由美國哈佛大學社會心理學教授斯坦利·米爾格蘭姆發現的，你和任何一個陌生人之間所間隔的人不會超過六個，也就是說，最多通過六個人你就能夠認識任何一個陌生人。)、XML、AJAX等新理論和技術實現的互聯網新一代模式。由Web1.0單純通過網絡瀏覽器瀏覽html網頁模式向內容更豐富、聯系性更強、工具性更強的Web2.0互聯網模式的發展已經成為互聯網新的發展趨勢。Web1.0到Web2.0的轉變，具體的說，從模式上是單純的“讀”向“寫”、“共同建設”發展；由被動地接收互聯網信息向主動創造網絡信息邁進。運行機制上，由“Client Server”向“Web Services”轉變；作者由程序員等專業人士向全部普通用戶發展；應用上由初級的“滑稽”的應用向全面大量應用發展。采用創新的Ajax技術，同等網絡環境下，頁面響應時間最高減少90％。

2.3.4 系統集成API XML文檔結構在很多方面可以方便地反映對象的結構，這也是其適合面向對象的軟件技術的一個關鍵點。使用XML對數據源的數據進行處理，它起著接口層或者封裝的作用，這樣不同的應用程序之間，不同的操作系統之間，不同的數據庫之間都可以交換數據。使用XML作為數據交換工具還可以解決異構數據庫之間的集成。

對本項目中涉及到的數據采集、轉換、分析、處理等問題，我們將開發專用的數據接口，采用XML技術作為數據交換的頁面描述規范。

XStream是一個Java和XML相互轉換的工具。使用非常的簡單，并且可以自定義轉換的過程，但是這個組件僅能做的就是這些最基本的工作，有了這個組件，我們可以不用考慮具體一個Java對象和XML之間問題了。

第 3 部分 系統設計規范

第 4 部分 系統詳細設計

4.1 應用功能設計 4.1.1 資源采集

我們可以使用采集，對網絡上的各種資源進行挖掘。a)采集工程：采集工作的詳細設置文件，包含了要采集的資源鏈接。

1.精確：根據指定資源格式(字段)的定義，進行數據庫字段級別的采集。2.蜘蛛/爬蟲：根據指定的文件匹配表達式，自動對指定網站的資源進行全面分析和采集。

b)字段：各種資源的最小單位，譬如您要采集某個網站的多個帖子，那么每個帖子可能包含以下字段：作者、標題、日期、內容等。

c)鏈頁：一些帖子在多頁面里的，這種情況下您可以為帖子的內容字段設置鏈頁屬性，自動把多個分頁的內容合并到內容字段。

d)追蹤：一些資源是要從列表頁面中，通過點擊多個頁面才顯示的，這種情況下，您可以為內容自動設置跟蹤屬性，自動獲取最終的內容。

e)登錄驗證：一些資源網站需要您登錄后才可以訪問內容，這種情況下下，您可以為整個網站、每個鏈接甚至每個資源單獨定義登錄驗證以滿足具體需求。1.參數：這是模擬登錄需要的參數，譬如用戶名、密碼等。

2.登錄采集工程：一些網站的登錄認證相當復雜，往往會采用一些動態參數/值，如果用固定的參數是無法滿足登錄需求的，這個時候，您可以使用采集工程來自動獲取登錄參數的值。

3.登錄腳本：如果即便使用采集工程仍然無法滿足一些特別網站的登錄需求，您可以使用自定義的登錄腳本來實現相應的登錄認證。

f)數據處理：

1.臟字過濾：對符合國家規定的敏感字符的過濾，還可以自定義要過濾的字符，以確保采集到的內容符合相關法律法規。

2.垃圾內容過濾：使用貝葉斯概率模型對已采集的內容自動分析判定是否為垃圾內容，您可以自行對各種垃圾內容進行過濾。

3.內容嗅探：對于Flash/Silverlight播放器，會在頁面加載之后才從后臺獲取實際的文件(.FLV/MP3/.XAP等)，您可以使用內容嗅探實現對這些實際內容的采集。

4.關鍵字/標簽(Tag)自動分析：利用全文分詞對采集的內容進行分析，自動獲取內容的關鍵字/標簽列表。

5.文件格式批量轉換：對大量文件的快速轉換，改變圖片或視頻的大小/添加水印/改變格式，抽取壓縮文件，Office系列文檔轉換為HTML，以多種方式修改文件名稱和內容，修改圖片文件屬性，文本排版，文本混淆，文本簡繁大小寫編碼互轉，文本切分合并，網頁文本互轉，不良圖片過濾，數據轉換等。

g)圖片轉換：改變圖片大小和格式，添加水印，支持jpg、bmp、png、gif、icl、jpeg等。

h)壓縮文檔：抽取/轉換/生成壓縮文檔，支持zip、rar等。i)j)Office文檔支持：支持doc、docx、xls、xlsx、xml、pdf、rtf等。

文本排版：段落智能修正、去掉干擾符、修正段落首尾空格、修正標點符號，支持txt,htm,eml。

k)文本切分合并：按大小、行數或段落數剪切文本內容、和并內容，支持txt,htm,eml。l)不良圖片過濾：識別并過濾不良圖片，支持所有圖片。

m)數據轉換：使用自定義腳本轉換數據和文件，支持采集工程、各種數據庫和各種文件。n)快速下載：

1.鏈接分析：復制要下載各種資源(如圖片等)的鏈接或網頁內容，全自動分析并下載到本地磁盤。

2.嗅探：復制視頻地址或內容，全自動分析并下載視頻，特有嗅探功能，支持所有視頻網站。

o)通過多線程并行采集，加快采集速度。

4.1.2 數據導出

a)導出數據庫：把采集后的數據導出到各大數據庫/數據文件中。b)以Excel、XML等文件形式導出。c)可以把文件導出到FTP。d)自定義導出腳本。

4.1.3 資源信息發布

a)采集后的數據：可以把采集后的數據，發布到指定網站或系統。b)網絡請求：可以自定義請求，譬如網絡投票等。4.1.4 任務計劃

可以指定采集、轉換、導出、發布、請求等各種任務定時執行。

a)可啟用多個線程來完成同一個采集任務。

b)可自由設定采集網頁數和暫停的時間，此功能主要解決采集過快而被屏閉或禁止訪問等問題。

c)可以在采集當中隨身暫停、啟動或停止任務。

4.1.5 消息通知

能夠自動通過多種方式（郵件、系統日志、系統聲音等）通知采集發布情況。

a)在各種任務完成之后，如采集，發布，計劃任務等。b)監控指定網站并在數據改變時。

4.1.6 監控設置

當網絡資源更新或采集到新的資源信息時，通過各種通知方式，隨時提醒。

4.1.7 腳本定義

腳本是對各種功能的自定義擴展，支持JavaScript語言編寫。

a)采集腳本：在采集工程中，如果遇到一些特殊的資源，正常的采集方式無法勝任的時候，可以通過腳本來進行自定義的采集。b)發布腳本：可以針對特殊的網站進行發送請求。

c)常用腳本：系統內置的常用的腳本，如對專用鏈的解釋/編碼、條形碼的生成、敏感字符的過濾、中文分詞/Tag識別、計算數學表達式、RSS解釋與生成、消息通知等。4.1.8 認證碼識別

系統自動識別各種登錄頁面的認證碼、驗證碼等。

a)默認識別：全自動識別各種常見的認證碼。b)智能識別：自定義識別各種特殊的認證碼。

4.1.9 系統擴展

系統提供以下豐富的程序接口，方便系統進行二次開發。

a)消息通知：編寫各種特定的消息通知方式以滿足需求。b)中文分詞/Tag識別。

c)數據轉換：轉換各種采集后的數據到系統當中。

d)功能擴展：對各種功能(采集、發布、腳本、消息通知、計劃任務等)進行自定義設置并應用到實際的系統運行中。

4.1.10 任務管理

可以對采集、發布、請求、計劃任務、腳本、消息通知等各種任務進行全面管理。

4.1.11 地圖周邊資源采集

可根據采集到的數據在地圖上顯示，以該點為中心，在指定的搜索范圍內搜索其周邊的所有資源信息，并采集到系統當中。

以酒店為例：以酒店為中心的5公里范圍內，在這范圍內的所有酒店、旅行社、小吃、旅游景點、購物場所、公交信息等都可以搜索到并采集下來。

第二篇：遙感應用方面技術質量匯報-數據采集

生產質量和技術工作會議匯報材料

黑龍江第三測繪工程院 2015年1月26日

黑龍江第三測繪工程院生產質量和技術工作會議匯報材料

1.資

三、高分一號等遙感影像處理及應用

為實現大范圍海量遙感數據的快速處理，我院應用GXL、COLORMAPPING等大型軟件，硬件上購置刀片機，搭建局域萬兆網，使用48核工作站采用分布集群式和單機作業結合的方式，在基礎資料方面，除了根據我院生產項目積攢的控制和DOM資料外，我院一直較為重視在2012年完成的基于SPOT影像建成的黑龍江省控制點影像庫（此項目我院隨國家局衛星中心一起獲得測繪科技進步獎特等獎）。

基于軟硬件配合和傳統DOM、DEM制作的流程，并且結合控制點影像庫，研究和優化了海量遙感數據快速處理技術流程和方法，在區域網平差、自動匹配DSM、影像糾正、配準、融合、調色、裁切等工序上實現自動化程度高的作業模式，減少人工干預，實現快速、高效的遙感數據處理流程，完成了多項遙感應用項目。

在介紹具體的生產項目前，要說明的四點，一是在DOM和DSM的制作上，因為我院在制作“全國一版圖”的項目時，較為注重對原始資料的收集（包括下視和立體相對），所以在處理大范圍海量遙感數據時，我院采取在原有DEM和資三相對新匹配的DSM數據相結合的方式，保證地形信息的準確性。二是在我院具備擁有較新較全的影像資料的基礎上，注意收集各個分環節的數據成果，以備應用到應急保障的工作中，當出現應急需求時，我們能夠根據要求按需提供高分、資三等衛星傳感器的遙感數據成果，在此基礎上，我院考慮在條件允許的情況下，引入無人機及處理軟件，增強應急測繪的能力。三是在精度保障上，無控時，以資三為基礎資料時，平面中誤差可達到8米左右（完全滿足1：25000的精度需求），高程中誤差在考慮加入似大地水準面差值改正，平地高程精度可達到1米；丘陵地高程精度可達到2米，完全滿足應急需求。有控時平面中誤差可達到2.7米左右（滿足1：10000精度指標），有控時高程可達到0.6米左右（滿足丘陵地、山地1：10000的精度指標）。四是在分析資源三號衛星數據精度后，其可應用于一些不可到達區或者不利于開展航攝地區的地貌、地形要素的獲取，而且在實際外業控制點的需求上，一景資三影像的范圍可能只需要一個或兩個外業控制點，大大減少了外業工作量，基于資三的這些特點，可應用到邊境測繪等類型的項目。

基于衛星傳感器的遙感應用可應用于邊境測繪。具體的項目完成：

首先是利用衛星自帶參數類的（無控）

（1）天地圖產業化項目，我院完成新疆、黑龍江、吉林、遼寧、內蒙古東部近280萬平方公里的資源三號公眾服務正射影像的制作，今年7月15日項目順利通過驗收。今年我們又在去年五個省的基礎上承接了臺灣、海南、廣西三個省的影像制作任務，并且承接了新的“全國一版圖”任務。

（2）長江水利委員會項目，完成長江流域前后三期共7.2萬平方公里，資三和高分一號數據源的DOM制作。

（3）海河水利委員會項目，完成河南、河北、山西三省交界處6600平方公里資三數據源的DOM、DEM制作。

（4）廣州電力項目，完成西藏瓊結縣2500平方公里DSM、DOM制作以及三維展示。

（5）完成陜西2000多平方千米的DSM、DOM制作。

（6）完成珠峰主峰地區1萬平方公里范圍三維展示任務，云南大理地區6000平方公里三維展示任務，陜西全境的DOM、DEM修改、接邊和裁切。

（7）幾個國外或者邊境地區小范圍DOM、DSM制作。第二是基于控制點影像庫完成的項目

（1）武漢國土督察局項目，完成鄂、湘、黔三省共1.1萬平方公里的DOM制作。

（2）黃河水利委員會項目，完成黃河流域兩期共8萬平方公里DOM數據制作。

（3）雙城規劃局項目，完成雙城市轄區2景QB影像的快速制作； 第三是比較突出的其它的遙感應用項目：

2014年6月，我院協助合作單位做了一個路網項目的實驗，9月以路網實驗為基礎，我院承擔來自國家審計署的全國重點城市閑置用地采集任務，完成全國220個城市的閑置用地采集工作，從工作區搭建、技術路線研究、網絡機頂盒調試，人員培訓，到最后的成果提交，一共20多天的時間。這些項目均順利提交，成果質量也得到甲方好評。2.“機頂盒”的研發與應用

受路網實驗和重點城市閑置用地采集項目啟發，從11月開始，我院開始研制“便攜式影像機頂盒”，利用瓦片技術形成影像切片，通過自主研發，實現影像的發布與快速更新，完成了“多源遙感影像輔助系統”的研發。目前已經應用到我院外業中隊和檢查科，實現了影像的便攜式快速訪問和統一管理，使用效果良好，提高了我院整體的生產工作效率，也解決了整體質量控制的關鍵問題；同時該系統也是我院信息化測繪體系建設的一部分，計劃通過進一步研發，實現“電子調繪”和“電子控制”，甚至“網絡化作業”等工作模式；接下來也計劃通過進一步的開發推廣，獲得更廣泛的應用和經濟價值。3.引入“適宜質量”的概念

現階段，市場上遙感應用方面項目的需求，更多的是側重實際應用效果，并且生產周期較短。在這些項目的完成過程中我院按照甲方的實際要求，制定項目生產方案提高生產效率，縮短工期，實現成果的快速提交，成果提交后均順利通過驗收并獲得甲方的好評。通過這種項目完成方式，也逐漸摸索出了應對不同需求下的遙感數據生產的流程、質檢方式及管理模式，能夠更好的應對測繪應急服務需求。

4.針對地理國、省情項目生產的具體需求、有針對性的進行軟件開發工作

在地里國情、省情生產中開發編寫了部分程序。總的來說可分為以下兩個大類：

（1）國情數據批處理程序集

地理國情普查項目覆蓋面積廣，涉及的行政單元較多，生產作業過程中需要對數據庫進行拼接、拆分等一些處理。由于數據處理量大、人為生產耗時長。針對此問題，我院開發了“國情數據批處理程序集”，主要包含數據轉換、數據處理、數據檢查、數據拼接、數據分離等功能模塊。該程序的每個功能模塊在具體的生產中又都經過了進一步優化和調整，最終程序穩定可靠。例如：“數據轉換”模塊加入了GDB數據與MDB數據相互批量轉換的兩種方式，“數據處理”模塊，針對國情數據屬性賦默認值、賦空值、賦特定值進行優化；“數據拼接”模塊更新了有關MDB與GDB數據混合合并的方法。在完善國情數據批處理程序集的基礎上，又編寫了一些輔助功能程序，主要有查找文件、數據庫管理系統、生成錯誤檢查記錄、生成time文件等。

查找文件程序主要是將選擇路徑下的相同后綴名的文件按文件名和含完整路徑的方式提取出來，生成TXT文件，該功能可以對路徑下的子文件夾進行深度搜索，方便對數據進行整合、查缺。數據管理系統，通過數據借記記錄、歸還記錄、數據狀態等信息監測達到數據管理的一致性。（2）樣本管理程序集

由于省情樣本數據采集量大；照片、樣本庫出現的問題較多；為了控制遙感解譯樣本數據的質量和外業實際需求，開發了樣本管理程序集。

其實現了對樣本庫中記錄進行逐條查看、修改、刪除、檢查操作；并集成了批量刪除、批量修改、合并樣本庫、樣本檢查等方便、實用的工具；該程序在樣本處理工序提高兩倍以上工作效率。

在實際工作中，隨著樣本量不斷增大、在樣本制作過程中出現的照片坐標、方位角偏移等問題越來越凸顯。對于此，又相繼開發了①通過矢量文件給對應樣本賦值程序；②根據矢量文件的記錄提取樣本庫數據的分離程序；③根據展點文件和鑲嵌線景號的關系挑選每個樣本對應所裁影像的影像挑選程序；④根據照片號、照片經緯度、照片方位角批量改照片信息的照片修改程序。應用上述些程序，并配合“交互式樣本處理”和“樣本批量加描述”等我院自己總結的方法，能有效的修改、編輯、檢查樣本相關項，在大量減少人工工作量的同時，避免了人為錯誤的出現，即保證了質量，又提高了生產效率。

第三篇：視頻監控和試驗室數據采集方案

視頻監控和試驗室數據采集方案

2018年，集團公司在建項目11個，總里程1045公里，計劃總投資180多億，建設規模大、投資金額多、安全質量風險高，工程項目安全質量管理面臨復雜艱巨的任務，為及時準確的掌握工程項目的安全質量情況，集成管理工程項目的動態信息，亟需實施“視頻監控和試驗室數據采集”措施，實現項目的有效管理。

1.視頻監控方案

1.1 創建目的

項目現場存在施工地點分散、工序復雜、人員流動頻繁等特點，無法單純依靠人員巡防和盯守管理工地，實施視頻監控措施，可以有效解決項目管理人員移動辦公等要求，及時掌控施工現場的工程進度、安全管理和施工質量等情況。1.2 創建原則

（1）充分考慮實際應用的具體情況，用最優的技術方案完成視頻監控任務；

（2）保證圖像清晰，網絡信號傳輸準確可靠、播放流暢；（3）保證整個系統穩定，視頻數據備份及時，控制可靠；（4）系統具有一定的擴展冗余，可隨時擴展和升級。1.3 方案總體構架

1.4 監控范圍 1.4.1試驗室操作監控

對工地試驗室的土工室、力學室、瀝青室、瀝青混合料室、水泥室、水泥混凝土室、化學室等主要功能室安裝攝像頭，實時監控相應試驗的操作過程。

圖1 試驗室操作監控

1.4.2重要場站監控

對預制梁場、小型構件預制場、拌和站、鋼筋加工場等重要場站安裝攝像頭，實時監控場站的規范化管理。

圖2 重要場站監控

1.4.3橋梁、隧道施工關鍵部位監控

對大橋、特大橋的兩端、隧道洞口等部位安裝攝像頭，實時監控施工流程，規范現場作業行為。

圖3 橋梁、隧道施工關鍵部位監控

1.4.4重大危險源的監控

對梁場龍門架、現澆梁支架、高墩施工等重大危險源的部位安裝攝像頭，實時監控重大危險源的作業。

圖4 重大危險源的監控

1.4.5隱蔽工程的監控

對粉噴樁、攪拌樁等隱蔽工程，采用拍攝圖像或錄制視頻方式存儲，并體現錄制部位、樁號、時間等信息，48小時內上傳至“建設工程管理系統”。1.4.6安全和技術交底

施工單位應最少留存包含每天班前培訓人員信息在內的照片兩張和不少于2min的視頻一段，并在48小時內上傳至“建設工程管理系統-安全管理-班前培訓交底”存檔。1.5 監控方案布設

（1）監控設備選型

監控設備選型應根據監控對象的特點，在試驗室、重要場站及重大危險源的位置建議選擇拍攝角度范圍較大的半球攝像機；在橋梁兩端及隧道洞口為保證拍攝質量，建議選擇槍式攝像機。經過咨詢考察已安裝視頻的單位，螢石云方案在網絡接口、存儲和性價比方面比較合適，建議各單位自行聯系安裝。

（2）監控點的立桿和基礎要求 現場監控點的立桿和基礎要求應按實際情況而定，一般可選擇5～6米高的優質無縫鋼管制作而成的主桿，立桿預埋件混凝土強度不低于C25。（4）監控點的機箱要求

監控點機箱尺寸應便于電源設備等設備的安裝，箱體采用不銹鋼噴塑，厚度為0.8mm～1 mm，底部進線設計，箱體防護等級為IP54。

（5）監控點的供電要求

監控點可采用區域內就近供電方式，盡量接入穩定性較高的電源。整個供電系統應穩定可靠、擴展方便、易維護管理、全天候24小時確保前端設備的供電等特點。（6）網絡帶寬要求

視頻監控傳輸網絡帶寬設計應能滿足網絡播放流暢的要求，并留有余量。（7）存儲系統

各單位自行安裝的監控設備，圖像上傳至自己攝像頭的網絡服務器，供自己內部人員查看；所有視頻采用網絡云端存儲方式，室內攝像頭應設置為采用移動偵測錄像技術，存儲的視頻確保是有人員活動的有效視頻，存儲時間不小于60天。為實現與集團的“建設工程管理系統”對接，攝像頭安裝方需提供相應視頻數據接口和基于云平臺的LSS直播服務。與項目管理系統進行集成后，可登錄PC端系統根據權限查看相關視頻。

2.試驗室數據采集

2.1 創建目的 為強化公路工程質量監督管理，規范公路試驗檢測機構及建設項目工地試驗室的試驗檢測和信息化建設工作，提高檢測設備自動化水平及試驗檢測工作質量，保證試驗檢測工作科學、真實、有序的開展，有效遏制質量事故發生，結合建設項目的工地試驗室信息化建設，制定試驗室數據采集方案。

對試驗室的數據監控，不僅可有效檢查是否按頻率要求進行相關試驗，而且可以有效杜絕數據造假，并提供各種分析服務，使管理人員實時了解諸如壓力機、萬能材料試驗機、瀝青針入度、軟化點、延度、瀝青混合料馬歇爾穩定度、瀝青混合料瀝青含量、車轍試驗、標養室參數及不合格情況等，把控試驗室的工作開展情況。2.2 創建原則

（1）試驗操作正確規范，隨時監控；（2）試驗數據真實可靠、實時上傳；

（3）試驗設備維護及時，試驗人員持證上崗。2.3 技術原理

（1）數據采集

利用試驗室現有設備，不符合數據采集要求的加以改造，在試驗人員試驗過程中，實時完成試驗數據采集，獨立于試驗人員操作過程，試驗數據不被造假，真實有效。

（2）數據傳輸

數據采集完成后，數據自動保存到本地PC上，數據利用Internet網絡，同步上傳至管理平臺，不干擾試驗室工作的進行，支持斷點續傳。

（3）互聯網技術 平臺采用J2EE技術開發，存儲采集到的數據，建立工程質量數據庫，為質量分析、質量評定和質量追溯提供依據。2.4 方案總體構架

2.5 數據采集方案

“試驗室數據采集”的主要功能如下：

（1）查詢各項目工地試驗室名稱、所屬標段、人員、設備等基本信息；

（2）管理各項目工地試驗室人員、儀器設備臺賬；

（3）實時采集及上傳檢測數據，并預留實時采集其它試驗指標的擴展功能；

（4）預留統計處理和統計試驗檢測數據的接口；

“試驗室數據采集”統一在管理平臺上實現，數據采集根據上述功能可分為試驗人員信息采集、試驗設備信息采集、試驗數據采集、試驗頻率統計等4個模塊。（1）試驗人員信息采集

各工地試驗室按合同要求配備足夠的試驗人員，并將工地試驗室名稱、所屬標段、試驗人員基本信息等錄入管理平臺，項目管理人員可通過管理平臺按照“職稱、學歷、證書”等方式隨時查詢試驗人員基本信息。

圖5 試驗人員查詢界面（示意圖）

（2）試驗設備信息采集

各工地試驗室按合同要求配備足夠的試驗設備，并將試驗設備信息錄入管理平臺，項目管理人員通過管理平臺可隨時查詢試驗設備信息。

圖6 試驗設備查詢界面（示意圖）

（3）試驗數據采集

壓力試驗機（試件編號、試件尺寸、破壞荷載、抗壓強度、最大力值；生成力值-時間曲線）

萬能材料試驗機（試件編號、試件尺寸、屈服力、屈服強度、拉斷最大力、斷口位置、伸長率、最大力值；生成力值-時間曲線）

車轍試驗儀（采集車轍試件的變形值、動穩定度）馬歇爾穩定度儀（采集馬歇爾試件的流值、穩定度）燃燒爐（采集瀝青混合料的瀝青用量）瀝青軟化點儀、延度儀和針入度儀（采集瀝青的三大指標）標養室控制器（采集標養室溫、濕度）

對上述9個儀器的試驗數據或控制參數實時采集，并上傳至管理平臺，項目管理人員通過管理平臺可隨時查詢試驗數據，不合格試驗數據將同步于手機短信發送至項目管理人員。

圖7 試驗數據采集界面（示意圖）

（4）試驗頻率統計

工地試驗室、監理分別統計各時間段（一般以“月”為單位）自檢、抽簽情況，每月25號錄入管理平臺，項目管理人員通過管理平臺可隨時查詢試驗檢測頻率情況。

圖8 試驗頻率統計界面（示意圖）

2.6 試驗設備要求

2.6.1 壓力試驗機、萬能材料試驗機（1）試驗儀器要求

新型的壓力試驗機、萬能材料試驗機一般均具備數據接口和自配的數據保存軟件，能夠將接口數據采集至PC系統軟件內，并實現數據上傳功能，一般不需要儀器改造。（2）網絡要求

壓力試驗機、萬能材料試驗機的電腦主機應有網絡連接，以便隨時上傳試驗數據。（3）視頻監控要求

壓力試驗機、萬能材料試驗機的視頻監控應能清晰采集試驗人員操作圖像，項目管理人員可隨時視頻監控，嚴禁試件造假；此外，公司將不定期的抽查“視頻監控、數據上傳、儀器使用記錄”三者的“三對應”。

2.6.2 馬歇爾穩定度儀、車轍試驗儀、燃燒爐 馬歇爾穩定度儀、車轍試驗儀、燃燒爐一般均具有串行數據接口，能夠將試驗數據采集至PC系統，但管理平臺與儀器自帶數據采集系統可能存在匹配的問題，儀器購置時通過與廠家聯系，對方提供或開發相應的接口協議，再進行相關數據的采集。2.6.3 軟化點儀、延度儀、針入度儀

軟化點儀、延度儀、針入度儀等盡量選擇市場上功能較為齊全，技術手段較為先進的主流品牌，儀器應自帶RS232以上信息數據接口，可進行儀器的PC數據采集。上述儀器盡量選擇同一廠家，以便于廠家提供或開發相應的接口協議，實現與管理平臺對接。

圖9 瀝青延度儀試驗數據采集界面（示意圖）

2.6.4 標養室

標養室環境參數可以通過加裝溫、濕度傳感器，實時監測并回傳溫度、濕度等指標。

聯系人：張磊，電話：***

第四篇：數據資源策劃書

甘肅政法學院圖書館

數據庫資源講座

策

劃

書

主辦單位：甘肅政法學院圖書館承辦單位：圖書館讀者管理委員會二O一三年九月二十三日

一、活動目的旨在提高同學們的圖書館資源的使用，增強本校學生的讀書熱情，弘揚“書香政法”的理念，進一步推動圖書館的信息化發展，面向甘肅。

二、活動主題

新的大學，新的讀書資源，新的夢想

三、主辦單位

甘肅政法學院圖書館

四、承辦單位

圖書館讀者管理委員會

五、活動對象

每次由2個二級學院分配2-3個班來參加

六、活動時間、地點

2013年10月份每周四 19:00-20：30

圖書館五樓學術報告廳

七、人員安排

1.文化宣傳部負責本次講座的宣傳工作，具體工作由分管主席安排；

2.學習實踐部負責參加講座的班級的引導并安排入座的工作；

3.秘書處負責學術報告廳的申請及布置工作；

4.讀者服務部負責本次活動的秩序工作；

5.信息技術部主管本次活動的所有工作，配合各部門完成此次活動；

八、前期的準備

1.由圖書館領導向各二級學院下達書面通知，由各二級學院準時的通知該學院的班級來參加講座，保證人員充足；

2.前期宣傳必須產生一定影響力，保證后期工作的順利開展；

3.學術報告廳的使用申請必須是按時、固定，要保證每次講座都能按時按地點的舉行；

4.參加講座的入場及退場安排必須井然有序，不能出現擁堵現象；

九、活動預算

宣傳的各項費用50元

第五篇：GPRS水行業數據采集系統應用方案

GPRS水行業數據采集系統應用方案

隨著我國經濟社會的發展，對行業信息化建設不斷提出新要求，對觀測手段和方法以及水行業的監測技術的研發和應用提出了越來越高的要求；現代電子技術、傳感技術、通信技術和計算機技術的迅速發展，也促進了水行業監測技術自動化的發展。在此方面易維就走在了水行業信息建設的前端。

一、水行業監測自動化技術的應用

1、水行業監測的范圍與內容：

水行業的監測是傳感器技術與采集、存儲、傳輸、處理技術的集成。

監測范圍：江、河、湖泊、水庫、渠道和地下水等。

監測內容：水位、流量、流速、壓力和水質等。

2、水位的采集和傳輸

用于自動化監測的水位傳感器主要有浮子式水位計、壓力式水位計、電子水尺和超聲波水位計等。這些傳感器可以直接接到PLC上，自動監測水位參數。地下水位的監測與地表水相同。目前，省水文監測站與各采集點之間的數據通信主要采用手工抄錄或PSTN電話線傳輸。采用電話線傳輸數據時，由于每次撥號都需要等待，速度慢，而且費用也較高。同時，由于各監控點分布范圍廣、數量多、距離遠，個別點還地處偏僻，因此需申請很多電話線，而且有些監控點有線線路難以到達。

GPRS具有速度快、使用費用低的特點，其傳輸速度可達171.2kb/s。與有線通訊方式相比，采用GPRS無線通信方式則顯得非常靈活，它具有組網靈活、擴展容易、運行費用低投，維護簡單、性價比高等優點因此，目前正考慮采用GPRS無線傳輸方式解決污染源監測數據的實時傳輸問題。

二、解決方案介紹：

（一）系統結構

（二）GPRS無線網絡與中心軟件的連方式：

A、公網方案：

中心用一個服務器組作為中心接收，中心采用ADSL等INTELNET公網連接，采用公網固定IP或者公網動態IP+DNS解析服務。此種方案先向INTERNET運營商申請ADSL等寬帶業務。

1)中心公網固定IP：監控點直接向中心固定IP發起連接。運行可靠穩定，推薦此種方案。（當然固定IP費用比較貴，視客戶財力決定）

2)中心公網動態IP+DNS 解析服務：大部分IP都是動態的，而且費用相對便宜。客戶先與DNS 服務商聯系開通動態域名，動態域名解析軟件網址如下：（可以先申請免費的二級域名）88IP名解析http://www.tmdps.cn 監控點先采用域名尋址方式連接DNS 服務器，再由DNS 服務器找到中心公網動態IP，建立連接。此種方式可以大大節約公網固定IP的費用，但穩定性受制于DNS服務器的穩定，所以要尋找可靠的DNS服務商。

如上圖所示水文遠程測控調度系統由調度中心、無線GPRS網絡、遠程終端單元（GPRS無線傳輸設備，PLC）幾個部分組成：

1.遠程終端單元

遠程終端單元分散的分布在遠程各個遙測點上，主要由GPRS模塊、電源、天線、PLC及各種水行業傳感器等幾部分組成。PLC與現場儀表(傳感器)相連，對現場儀表(傳感器)的開關量、模擬量信號進行數據采集、處理、存儲并通過GPRS模塊向調度中心傳送數據，接收并執行調度中心的命令。

PLC：根據客戶要求選擇使用品牌，如LG、西門子、三菱、歐姆龍等。

無線傳輸設備： LQ1200 GPRS DTU透明無線數據傳輸終端，通過RS232/RS485/TTL與水行業設備采集點的各個PLC連接，通過 GPRS網絡,把數據傳到調度中心。

2.調度中心

調度中心計算機處理系統是一個開放式實時應用系統，實現全部的數據處理工作。中心的功能有：數據收發管理、站點管理、水行業數據管理和系統管理。

數據遙測功能：定時巡測、手動巡測、隨機抽測、分組召測。

遙控功能：控制RTU 開關量輸出點的開、關狀態、遙信開關狀態。

參數狀態管理功能：設置修改各測量數據上、下限值，通訊參數。

在線組態功能：新增數據采集點等參數通過組態定義即可完成。

數據庫管理功能：對測得的數據建庫，對數據進行處理，查詢歷史數據，報表打印。

數據顯示功能： 能顯示測量的各種數據、遙信開關狀態、各種系統圖形等，具有圖形功能,模擬顯示管網圖、水廠工藝流程圖等。

搶修修理、停水、管網沖洗等數據錄入及統計。

數據共享功能：提供一個WEB站點，該WEB站點使公司寬帶內部網的任意一臺工作站只通過WEB瀏覽器就可以登陸查看所有監控點的實時數據和存儲的任何時間段的歷史數據。WEB 站點通過用戶身份認證授權方式控制該用戶可訪問那些監控點的實時監控數據和存儲的任何時間段的歷史數據。調度中心系統管理員能增加、刪除可訪問用戶，并對用戶進行不同權限的授權。該WEB站點應能通過超鏈接方式聯入公司統一平臺。

三、專業的開發實施團隊