第一篇：輿情監測系統在金融行業中的應用

輿情監測系統在金融行業中的應用

網絡輿情技術是有效掌控網絡、促進社會主義和諧社會建設的重要技術手段。目前，網絡輿情技術主要包括：話題檢測、話題跟蹤、自動摘要、自動分類、爆發趨勢分析、輿情預警等。

1)熱話題檢測：可以根據新聞來源的權重、發言時間的集中程度等參數，發現指定時間段內的熱門話題。并可以根據主題關鍵詞和回帖數進行整體語義分析，識別出所有敏感話題。

2)話題跟蹤：可以對文章進行聚類，分析新發表文章、帖子是否和已有文章主題是同一話題。

3)自動摘要：可以對所有文章、話題傾向自動分析，形成摘要。

4)輿情趨勢分析：可以針對某個主題分析人們在不同的時間段內的熱度。

5)突發事件分析：可以對突發事件進行跨時空的全面分析，得出整個事件發生的全貌并對事件的下一步的趨勢進行預測。

6)輿情報警：可以對突發事件、涉及內容安全的敏感話題進行及時發現并產生報警。7)輿情統計報告：根據輿情分析引擎處理后得到的數據生成相應報告，用戶可通過瀏覽器進行瀏覽，并提供了檢索功能，可以根據指定條件對熱點話題、傾向性等自己感興趣的話題進行查詢，得到話題信息的詳細內容，提供決策支持。

網絡輿情技術在金融行業中的應用

網 絡輿情技術從誕生起就顯示出巨大的威力，涉足面也愈來愈廣，已經從單純的社會領域走入了專業性更強的金融投資領域。由于信息通訊技術和互聯網的發展，互聯 網金融信息對金融市場的影響已經越來越不容忽視。這些信息關乎著整個金融行業的發展和穩定。網絡輿情技術在金融行業中的應用主要體現在3個方面：

1.輔助投資工具 目前很多人把網絡輿情技術視為新的理財工具，并不夸張，某一個新事件的發生或者是網絡上對某支股票的熱議都在很大程度上左右著金融實踐者們的行為，同時進一步影響著股市變化的趨勢。

申銀萬國研究所首席經濟學家楊成長認為，網絡輿情技術在我國的逐步推廣，將對金融創新、衍生產品等有促進作用。他表示，“未來的資本市場將逐漸轉型為市場股民化、股民網絡化。”

中科精誠總經理梁正之則表示，“目前網絡輿情這一技術僅為一些監管部門運用，未來我們將研究如何逐步向機構投資者和中小投資者推廣應用。”

中 科院計算技術研究所網絡重點實驗室副主任余智華表示網絡輿情技術是基于內容的智能分析技術，金融行業可以建立一個與當前流行的股票軟件和金融市場信息采集 分析系統功能定位完全不同的信息跟蹤分析技術。并且通過系統監測互聯網上的相關新聞報道、相關評論等，跟蹤分析這些信息與金融市場之間的關聯關系，將這些 信息按照知識模型體系進行分析與組織，為投資者及相關機構提供便于分析利用的、相互關聯的信息來源。

2.聲譽風險管理

近年來，我國各金融機構按照國家有關金融監管制度，初步建立了金融穩定工作協調機制，制訂了應對突發事件的相關應急預案。然而，隨著社會的不斷發展，互聯網 已經成為思想、文化、信息的集散地和社會輿論的放大器。同時由于中央和地方政府對網絡輿情的高度重視及積極回應，互聯網業已成為政府治國理政、了解社情民 意的新平臺。金融機構如何建立有效的聲譽風險管理體系，實施有效輿情監控成為當務之急。尤其是近兩年來，金融行業的“聲譽危機事件”屢見不鮮，致使相關金 融機構形象受損、信用度滑坡，并嚴重影響了金融安全和社會穩定。

為 更好地凈化網絡輿論環境，維護金融穩定，進一步幫助金融機構樹立品牌形象、加強聲譽風險管理，網絡輿情技術在金融行業中的應用必不可少。它能有效防止負面 信息的肆意傳播和輿情失控，協助金融機構提高網絡輿論引導能力，營造積極向上的輿論環境，為金融機構快速健康發展提供強有力的輿論保障。

3.輔助決策管理

輔 助決策管理系統主要作為相關管理機構的輔助決策工具，通過網絡輿情技術，收集分析金融市場信息，并與傳統的金融分析數據相結合，以決策主題為重心，以傳統 金融分析方法為基礎，網絡輿情技術為輔助，構建決策主題研究相關知識庫、政策分析模型庫和情報研究方法庫，建設并不斷完善輔助決策系統，為決策主題提供全 方位、多層次的決策支持和知識服務。為金融管理研究機構以及政府部門提供決策依據，起到幫助、協助和輔助決策者的目的。

軟件監測的必要性

1.金融行業信息呈“浪涌”態勢，出現時間段相對集中、信息交互量大，交互次數頻繁人工搜集到的信息猶如杯水車薪，傳統的搜索引擎根本無法滿足搜索要求。

2.金融市場行情多變，投資易因重大事件影響而變動、消費者思路易受外界影響，要求金融業要具有前瞻性。然而信息以光速傳播，人工搜索到的許多信息已過期，無使用價值，導致投資決策的滯后，輕則延誤商機，重則全盤受損。

3.互聯網上海量信息中包含海量垃圾，要浪費大量時間去鑒別。

4.對于可用信息尋根溯源，了解傳播途徑，辨別官方信息還是民間發布，人工監測太過繁瑣。

5.所有找到的信息，都需要一篇篇保存，效率低。

6.找到的信息零碎不成系統，無法預測其未來走勢。7.需要大量的人力物力，效果卻事倍功半。

第二篇：金融行業輿情監測

金融行業輿情監測：P2P爆雷潮 是誰惹的禍？

新浪輿情通-政務輿情大數據服務平臺，為政企用戶提供輿情監測、預警、分析、報告等服務。

近期，P2P行業可謂“天雷滾滾”，僅7月23日一天，就有九斗魚、合盤金服、禮德財富等十家平臺接連爆雷，而這僅僅是冰山一角。據第三方數據不完全統計，在6月1日—7月20日期間，P2P行業出現了爆雷潮，全國共有252家P2P網貸爆雷，其中229家倒閉，23家出現逾期或提現困難；4家交易規模超過百億的平臺——錢爸爸、牛板金、銀票網和投融家全部倒閉；4大高返現平臺——錢寶網、雅堂金融、唐小僧、聯璧金融也全軍覆沒。

根據網貸之家數據顯示，自2018年以來，P2P平臺數量的確呈現出逐漸遞減趨勢，其中，6月環比降幅達1.6%，超過之前任何一個月。同時，P2P行業的敏感信息占比也逐漸走高，6月突破30%，7月還未結束，就已超過40%。由此可見，在爆雷潮的沖擊下，輿論對P2P行業的質疑在與日俱增。

四大高返現平臺坍塌

錢寶網、雅堂金融、唐小僧和聯璧金融一度被稱為民間四大高額返利平臺，收益率均在40%以上，有的項目收益率甚至高達120%，然而自2017年11月，錢寶網被查開始，四家平臺相繼坍塌，無一幸免，負責人不是自首，就是“跑路”。

據新浪輿情通統計，對比四家平臺爆雷后7天內的熱度，可以看出，錢寶網爆雷引發了較高的關注，7天內熱度指數達6.91。唐小僧和聯璧金融爆雷也頗具關注度，7天內熱度指數均超過4。雅堂金融爆雷的關注度則較低，7天內熱度指數不足1。

自2017年11月至2018年7月，以上四個平臺爆雷相關輿情信息達30.6萬，其中唐小僧產生的輿情信息最多，達9.8萬；聯璧金融、錢寶網緊隨其后，分別為9.6萬和8.4萬。

四大高返平臺全部“涼涼”，也造成了眾多投資者損失慘重。有媒體表示，對于慘遭“跑路”的投資人來講，首先，要及時保存證據；其次，要向公安機關報案。不論最終能否拿回本息，提供證據非常重要。P2P爆雷波及小米

P2P爆雷潮不但波及了投資者，這把火也燒到了第三方平臺。例如，近期，小米金融主推的“米粉專享”P2P平臺接連出現延期兌付、失聯、跑路等情況，引來眾多米粉的不滿，直呼“心寒”。

據了解，自2017年開始，小米通過手機系統內置的會員vip任務系統和小米運動APP推薦P2P理財平臺廣告，各平臺均對米粉給予了“直接返現”、“返還小米手機、小米電視”等優惠。小米也對注冊或投資這些APP的用戶給予了“投10萬返26000”等獎勵。

然而在2018年6月底，相繼有米粉反應小米推薦的P2P平臺出現爆雷，截至目前，據不完全統計，在小米中進行投放的秋田財富、百榮金服、小灰熊金服、金柚金服、吆雞理財等均已爆雷，更有小米用戶自稱，此前投資的15個平臺中，已有11個爆雷。一時間剛剛敲鐘上市的小米，再次站上了輿論的風口浪尖。據統計，在2018年6月、7月，小米與P2P相關信息的敏感占比較前幾個月出現了大幅的上漲，6月超過20%，環比增幅66.32%；7月還未結束，就高達44.47%，環比增幅98.79%。由此可見，P2P平臺爆雷正在侵蝕小米的口碑。

與此同時，媒體也將聚光燈轉向小米，據統計，在2018年6月-7月，全網有關“小米+P2P”的信息達3.6萬條，其中媒體報道量1.4萬條，占比37.35%，其中，部分報道深挖了米粉的“踩雷”經歷；部分報道追問被坑的米粉誰來負責；部分報道跟進了小米的最新回應及處理辦法。

相對媒體的多元化報道，網友和米粉的不滿情緒則較為突出。很多小米用戶“粉”轉“黑”，直指小米“殺熟”。在網友關于該事件的評論中，指責小米和雷軍者更是比比皆是；甚至在小米官博@小米公司 發布的新機型宣傳博文下，也有不少網友和米粉談及P2P事件，希望小米給出說法。

面對此起彼伏的追問和指責，小米沒有坐以待斃，采取了積極回應。小米有關負責人向媒體表示，接受投訴反饋后，小米第一時間下線了所有P2P推廣廣告，統計了解用戶受損情況，幫助用戶向涉事P2P平臺追索維權，同時，其應用商店已決定不再收錄新增的P2P理財類應用。

經初步統計，向小米投訴相關P2P平臺風險的用戶數量累計429人，涉及金額約4000萬元（用戶涉及的款項，并不是已經確定損失的）。其應對措施也獲得了一些輿論的肯定，例如，微博大V@老譚電商 就表示，雖然小米“恐難辭其咎”但曝光后馬上下架做法也是“有擔當”。但也有輿論仍不相信小米會對此事件負責。

“爆雷潮”與“擠兌潮”交織

隨著爆雷潮不斷掀起大浪，投資者的信心也開始逐漸下降，甚至出現恐慌心理，引發了更多正常經營平臺的“擠兌”風險。例如，7月13日，貝米錢包發布P2P良性退出公告，稱從7月1日開始，在輿論環境和用戶恐慌等因素的合力下，出現每日凈流出3倍于以往情況，遠高于正常回款與債權轉讓兩種方式所能提供的兌付金額，平臺還增加了“部分借款人提前還款”這一特殊方式兌付，但即使如此這三種方式仍無法滿足全部的兌付需求，于是只能選擇良性清盤。

7月24日，國資控股P2P平臺首投理財在官網上發布清盤公告稱，由于最近行業大環境影響，導致平臺產生嚴重擠兌，特別是近期來整個行業大量資金凈流出，連鎖反應引發了部分借款人還款出現逾期。經公司管理層慎重討論，平臺充值及投資業務將暫停，及時清理對接資產，追討逾期債權，良性退出。

于此相呼應，“P2P擠兌”的熱度在2018年6月末開始逐漸走高，并在7月下旬出現連續爆發的趨勢，并于7月18日達到了11.81的最高峰值。

同時，“P2P擠兌”關鍵詞云中出現的“風險”、“貪婪”、“危機”、“恐懼”、“自危”等詞匯也反應出，P2P爆雷潮確實給投資者帶來了不小的恐慌感。

7月16日，銀保監會召開了網貸會議，表示有關部門要嚴格監管，盡快明確監管政策，同時將擬出臺3項具體措施。

7月17日，媒體報道稱，全國性的網貸備案細則或將于近期落地，涉及187條內容。

7月22日前后，北京、上海、深圳、廣州四地宣布啟動新一輪P2P網貸機構現場檢查。

7月23日前后，北京、杭州接連下發“P2P平臺退出指引”，指導、規范網貸機構主動退出網貸業務，保護出借人、借款人、網貸機構及其他網貸業務參與人的合法權益。

雖然以上政策的發布被業界普遍解讀為行業利好，但監管密集出臺相關政策能否救P2P于水火之中，還需時間來驗證。

P2P爆雷潮原因何在?

對于P2P行業慘烈爆雷的原因，業內人士給出眾多分析，大多數觀點均認為此次危機是在內外因綜合作用下產生的。例如，蘇寧金融研究院互聯網金融中心主任薛洪言表示，“近期網貸平臺頻頻爆雷是受內外因素的綜合影響。內因就是宏觀經濟去杠桿導致底層資產不良率上升，再加之平臺自身經營方面的問題，使得行業的抗風險能力變得非常脆弱。外因是從6月份以來，網貸行業頻繁的爆雷潮造成了市場恐慌情緒蔓延，投資者緊急提現給網貸平臺的流動性造成沖擊，承受能力較差的平臺就開始陸續出現問題。”

中國人民大學重陽金融研究院高級研究員董希淼則分析了四點原因，“首先，從網貸平臺本身來看，很多平臺并不合規，經過幾年的運轉，風險逐漸積聚，進入頻繁爆發的階段。其次，從監管方面來看，隨著互聯網金融風險專項整治工作的不斷深入，監管政策逐步收緊，再加之網貸備案延期，也導致了平臺的投資者減少。再次，從投資者的角度來說，投資者的風險意識有所提升，相當一部分投資者開始從高風險的平臺退出。最后，從近期市場流動性來看，今年以來，盡管央行實施了三次定向降準，但整個市場的流動性仍然偏緊，由此可能間接誘發部分平臺的后續資金不足，進而爆雷出事。”

伴隨著天雷滾滾，不少投資者或網友都發出了“爆雷潮究竟何時會結束？“P2P行業將如何發展？”的疑問。對此，業內人士也紛紛作出一定的預測，其中，中金公司發布報告稱，“P2P網貸平臺關停數量還會不斷增加，預計關停潮仍將持續2~3年，3年后正常運轉的平臺將不超過200家。”

也有業內人士認為，爆雷潮能夠淘汰一些不合規的平臺和業務，有助于加速行業的市場出清，進入良性發展階段。投資人既要理性看待當前的局勢，也要充分做足投前調研和投后管理的工作，避免盲目投資。

第三篇：云輿情監測系統

云輿情監測系統

隨著網絡日益的發達，網絡媒體已被公認為是繼報紙、廣播、電視之后的“第四媒體”，網絡成為反映社會輿情的主要載體之一，網絡輿情的重要性凸顯出來。網絡輿論熱點層出不窮，各種突發性事件都是通過互聯網第一時間擴大傳播。網絡輿情信息主要來源是新聞評論、bbs、博客等，這些成為政府了解社情民意的直接渠道，也是新形勢下政府的重要輿論陣地。因此，網絡輿論一旦被錯誤地控制和引導，將成為影響社會穩定的重大隱患。

輿情監測系統在這樣的環境下產生，它可以通過采集各大門戶網站信息內容來知曉最新的社情民意，民眾的輿論導向。

系統工作流程

采集新聞、論壇網站內容→通過監測系統網站分析、輿情分析第一時間發現敏感、熱點話題→由專家學者、評論員或是新聞發言人分析報告、進行及時的輿論引導。

系統介紹

系統對所需信息進行過濾、分析、聚合和數據挖掘，以傳播力和影響力作為分析指標，及時發現信息，分析并追蹤傳播及演變過程，并對指定重點敏感事件進行專項監測與分析。

云輿情監測系統提供對互聯網信息（新聞、論壇、博客、貼吧、微博客等）實時采集、內容提取及排重；并且對獲取的信息進行全面檢索、主題檢測、話題聚焦、相關信息推薦；按需求定制主題分類；為輿情研判提供時間趨勢、傳播路徑、話題演化等工具，統計輿情信息，生成輿情報告。

全面實時監測網絡輿情

采用定向采集為主、全網監控為輔的方式，自動對新聞（新聞跟帖、新聞評論、RSS）、論壇（回帖、點擊數、回復數等）、博客、貼吧、微博客等網絡媒體進行全面實時監測。智能處理輿情信息

對互聯網輿情信息自動提取關鍵詞、摘要、分類、聚類、主題檢測、關聯分析、情感分析。

完善的輿情監控業務

自動監測敏感信息，自動聚焦熱點話題，自動追蹤潛在輿情事件。可預置審核流程，逐級審核、上報輿情信息。自動探測頁面刪除狀態，統計研判網絡輿情，生成可定制輿情報告。提供對本地網站的屬地化管理，支持違規網站信息統計管理。

行業特色功能

支持實現對網絡輿論導向的全面掌控、效果評估。

第四篇：多媒體在礦山監測監控系統中應用

多媒體在礦山監測監控系統中應用

中國礦業大學機電工程學院 羅雪

【摘要】本文章主要介紹多媒體在礦山監測監控系統中應用。主題詞 多媒體

礦山

監測

監控

The use of multimedia in the mine monitoring &supervision [Abstract]The paper briefly introduce The use of multimedia in the mine monitoring &supervision。

Key words multimedia mine monitoring supervision 1 引言

眾所周知，安全是煤礦山產中的頭等大事；高效是一切生產活動所追求的重要目標。及時準確無誤的監測監控井下井上生產環境和設備工況，工人的安全，所在位置，生產情況，確保安全實現自動化管理是煤礦檢測系統必備的條件。基于這種要求，采用多媒體進行監控監測日益普及，今天就來談談多媒體在礦山監測監控系統中應用。正文

一般所說的多媒體技術是指,即將文本、圖形、圖像、音頻、視頻、動畫等單媒體通過計算機進行綜合處理后形成復合信息傳播媒體。對于礦山礦井的特殊環境來說，對多媒體的技術要求相對來說比一般的要高。具體要求如下： 1）實用性和經濟性，如防弧，防濕度過大，由于礦井深度帶來的信號減弱，信號不穩定等。礦山監測監控對多媒體的要求； 多媒體系統應始終堅持面向應用，堅持使用經濟原則。

2）先進性和成熟性 應采用先進的技術方法，又要注意結構設備的相對成熟，抑郁應用到實際操作中，可操作性要強

3）開放性和標準性 為了滿足形同選不用的多媒體設備同時協調運行，在長期的使用中可方面便維新更好換，遵循統一的國際標準，設備來源更加豐富。4）可靠性和穩定性 必須保證實時的不間斷的監測監控活動的進行，必須擁有較高的的穩定性和可靠性，以取得最佳的使用效果。5）可操作性要強 易于普通工人的監測報告 多媒體的應用可分為四個部分組成；

采集端：負責所需金控監測對象的數據的采集。如使用GPS定位礦井下工作人員所處的工作面工作位置，濕度傳感器采集礦井中濕度的數量值，瓦斯傳感器監測井道中瓦斯的含量，氧氣的含量，傳輸段：將采集的數據通過一定的形式傳送到下一階段。比如將瓦斯傳感器采集的數據傳輸到計算機系統中。

中繼處理段：如果傳輸段的距離太遠，此時信號已經十分微弱，此時可使用中繼處理段來接受數據，放大后傳送給下一個端口。比如無線視頻的傳送距離是很有限的，為了加大傳輸的距離，因此，家中繼段很有必要。

接收端處理段：接受傳送段和中繼段傳送的數據，并進行處理，如輸出此時瓦斯的濃度值，是否在安全得范圍內。

薛萬強;曾波;全球定位系統(GPS)在礦山滑坡監測中的應用 三晉測繪

第五篇：最新輿情監測系統采集技術分享

輿情系統原理-參考

輿情調查軟件就從輿情監測系統的架構說起是：

1、輿情采集系統：

一、只要是互聯網上發生的與“我”相關的輿情信息，都可以第一時間監測到，并且以最直觀的方式顯示出來，“一網打盡，一目了然”。監測網站類型包括：新聞、論壇、博客、貼吧、微博、電子報、搜索引擎等。

二、對于重點輿情以及負面信息通過手機短信等方式及時預警，不需要有專人值守就可以隨時掌握輿情。

三、自動分析輿情信息的發展變化趨勢、輿情信息的首發網站、作者、轉載情況、熱度變化、評估干預處理之后的效果等。

四、自動生成各種統計分析報表和輿情報告，助力輿情工作。配合相應的工作機制，可以有效提升輿情監管的質量和效率，提升輿情應對水平。

五、除了提供系統級7*24小時的運維服務，還配備專門的輿情分析師協助監測，人工預警。系統建設目標是整合互聯網信息渠道，形成系統、有效的輿情監測機制。實現系統運行，監控互聯網信息、新浪、騰訊等主要微博微博，對其進行實時數據采集、全網監控、分析、檢索，對敏感信息進行預警，防止負面信息傳播，對重大事件做出最及時的反應和相應處理建議。并對近一段時期的熱點問題、敏感詞句進行搜索，從而掌握網絡輿情，輔助領導決策服務。

主要的門戶網站，主要的報紙、主要的大型網絡論壇、社區、貼吧、博客、微博。例如新浪新聞、各大報紙的電子報、天涯論壇、新浪微博、百度貼吧等。各類與我相關的以及區域內有影響力的網站。百度、谷歌、360搜索等搜索引擎。論論壇搜索，博客搜索、微博搜索等專業搜索引擎。重點網站提供的站內搜索等。

2、輿情分析系統：

分析引擎是本系統的關鍵組成部分。其主要作用是對采集系統采集的數據，自動進行智能分析。分析引擎的主要功能包括：自定分析輿情級別、自動生成熱點、負面輿情研判、自動分類、自動生成專題、轉載計算、自動抽取輿情要素和關鍵詞、自動摘要、自動預警、自動生成統計圖表等功能。例如：多瑞科輿情數據分析站系統引擎內置了政府輿情模型、企業輿情模型和垂直監控模型，這些分析模型，是在多年輿情行業中按照客戶的實際需求，不斷重構和完善起來的，具有良好的實際應用效果。在實際項目中，不用通過二次開發就可以全面滿足政府、企業單獨應用。或者通過SAAS平臺完成從上到下的垂直監測需求。對于特殊的應用需要，分析引擎還支持擴展插件，用于快速完成二次開發，支持各種需求定制。

3、輿情服務平臺：

主要是用戶進行日常輿情管理的平臺，能夠及時接受輿情信息，進行一些常規的輿情管理工作。4.輿情系統原理: 全網輿情監測的手段：數據源的獲取是做輿情監測的第一步，有了米才能做粥嘛。從獲取的方法上有簡單的取巧辦法，也有復雜到需要應對各類網站難題的情況。方法大致如下： 使用搜索入口作為捷徑

搜索入口有兩類：一類是搜索引擎的入口，一類是網站的站內搜索。做輿情監測往往是有主題、有定向的去做，所以很容易就可以找到監測對象相關的關鍵字，然后利用這些關鍵字去各類搜索入口爬取數據。

當然也會遇到反扒的問題，例如你長時間、高頻次的爬取搜索引擎的結果頁面，網站的反扒策略就會被觸發，讓你輸入驗證碼來核實是否是人類行為。使用搜索入口作為捷徑也會帶來一些好處，除了爬取門檻低，不需要自己收錄各類網站信息外，另一個特別明顯的好處是可驗證性非常好，程序搜索跟人搜索的結果會是一致的，所以人很難驗證出你獲取的數據有偏頗。爬蟲根據網站入口遍歷爬取網站內容

第一步要規劃好待爬取的網站有哪些？ 根據不同的業務場景梳理不同的網站列表，例如主題中談到的只要監測熱門的話題，這部分最容易的就是找門戶類、熱門類網站，爬取他們的首頁推薦，做文章的聚合，這樣就知道哪類是最熱門的了。思路很簡單，大家都關注的就是熱門。至于內容網站怎么判斷熱門，這個是可以有反饋機制的：一類是編輯推薦；一類是用戶行為點擊收集，然后反饋排序到首頁。

第二步是使用爬蟲獲取數據。爬蟲怎么寫是個非常大的話題，在這里不展開說明，需要提一嘴的是，爬蟲是個門檻很低但是上升曲線極高的技術。難度在于：網站五花八門；反扒策略各有不同；數據獲取后怎么提取到想要的內容。數據檢索與聚合

數據獲取下來后哪些是你關心的、哪些是垃圾噪聲，需要用一些NLP處理算法來解決這些問題。這方面門檻高、難度大。首先大規模的數據如何被有效的檢索使用就是個難題。比如一天收錄一百萬個頁面（真實環境往往比這個數量級高很多），上百G的數據如何存儲、如何檢索都是難題。值得高興的是業內已經有一些成熟的方案，比如使用solr或者es來做存儲檢索，但隨著數據量的增多、增大，這些也會面臨著各種問題。

通常對熱門的判斷邏輯是被各家網站轉載、報道的多，所以使用NLP的手段來做相似性計算是必須的，業內常用的方法有Simhash或者計算相似性余弦夾角。有些場景不單單是文章相似，還需要把類似談及的文章都做聚合，這時就需要用到一些聚類算法，例如LDA算法。從實踐經驗來看，聚類算法的效果良莠不齊，需要根據文本特征的情況來測試。

目前輿情監測的現狀存在很多待改進的地方。首先，手工監測存在天然局限性。通過安排固定人手24小時值班，不間斷地瀏覽目標站點并搜索目標關鍵詞，是在缺少自動化系統時最直接也是最初級的輿情監測方式。由于受到每個人主觀思想的限制，手工監測總會有觀察盲區，總會有覺得不重要但事后被證明很嚴重的地方，且手工無法察覺到一些站點或者一些偏僻的網頁內容發生改變；同時，人不是機器，長期反復監測容易導致疲勞，經常會使得該判斷出來的輿情，一不留神就漏掉了。這些都會在實時性和準確性上存在很大波動。

其次是過度依賴搜索引擎。人們往往認為在網絡輿情的大海里也只有搜索引擎才可能具備撈針的本領。但是，搜索引擎仍然具有不少局限性。除了搜索結果受關鍵詞影響很大外，搜索引擎返回的結果往往來自不受任何訪問限制的網站，而諸如論壇等需要登錄的網站則完全被排除在外。但是網民發表意見最多的地方，恰恰是這些提供互動功能的網站。更進一步的，搜索引擎的網絡爬蟲具有一定的時延性，因此不能實時搜索到最新的網頁更新。因此，搜索引擎不能為我們提供問題的全貌，因為它只針對關鍵詞而不針對問題，所以談不上全面性；搜索引擎也不能在第一時間得到我們所想要的結果，因為不僅是它的內容更新不夠快，而且它也不能提供針對時效性的服務，所以談不上及時性；搜索引擎只能在海量網頁中返回另一個海量的結果，而且是以雜亂無章的形式，對于我們關心什么，它一無所知，所以它給出的結果是所有人都關心的，而非我關心的，因此也談不上準確性。可見，我們不能完全依賴搜索引擎來監測網絡輿情，需要提出全新的技術手段來獲知網絡輿情，并跟蹤和分析輿情。

因此，要想保證輿情監測的實時性、全面性和準確性，最可靠的辦法就是使用自動化的多瑞科輿情數據分析站系統輿情監測系統，依靠軟件系統來消除人工方式的不足，依靠軟件系統來定點的監測目標站點及整個網絡，跟蹤分析各個輿情主題的發展軌跡，并自動地整理生成日報/周報等報告，將輿情與政府的日常工作業務有機整合在一起.