第一篇：輿情監測系統建設方案

突發公共事件發生前、中、后均可進行輿情監測，對網絡輿情進行實時關注，及時發生社會穩定的不利因素。

常態和非常態，自動搜索關注量較大的新聞和熱點，通過對新聞及相關數據的挖掘、分析，及時發現社會安全隱患，及時發出預警信號，達到早發現、早報告、早處置的目的，做好社會安定防控工作。

輿情監測系統通過對熱點問題和重點領域比較集中的網站信息，如：網頁、論壇、博客等進行24小時監控，隨時下載最新的消息和意見。下載后完成對數據格式的轉換及元數據的標引。對下載本地的信息，進行初步的過濾和預處理，減少智能分析的工作量。對熱點問題和重要領域實施監控，前提是必須通過人機交互建立輿情監測的知識庫，用來指導智能分析的過程。對熱點問題的智能分析，首先基于傳統基于向量空間的特征分析技術上，對抓取的內容做分類、聚類和摘要分析，對信息完成初步的再組織。然后在監控知識庫的指導下進行基于輿情的語義分析、傾向性分析，使管理者看到的民情民意更有效，更符合現實。最后將監控的結果，分別推送到不同的職能部門，供制定對策使用。

1.1 互聯網輿情監控系統 1.1.1 需求分析

通過對網頁、論壇、博客、新聞評論信息的深度搜索和挖掘，實時對突發公共衛生事件的媒體報道和公眾輿論信息進行匯聚和統計分析，使市衛生局應急辦人員能夠隨時了解社會公眾的聲音，每天自動生成輿情監測專報，上報相關領導，為領導決策提供準確、全面的信息。

1.1.2 建設方案 1.1.2.1 網絡輿情抓取

自動采集網絡媒體發布的網絡新聞、BBS論壇信息、博客內容信息，輿情采集用戶只需輸入一個待采集的目標網址即可實現圖文結合采集到本地。網頁采集模塊在互聯網上不斷采集新聞信息，并對這些信息統一加工過濾、自動分類，保存新聞的標題、出處、發布時間、正文、新聞相關圖片等信息，經過手工配置還可以獲得本條新聞的點擊次數。以網絡論壇BBS為代表的交互性網絡站點，往往是一些突發事件的網絡輿情爆發點。

1.1.2.2 網絡輿情熱點自動發現

對重要的熱點新聞信息進行分析和追蹤，對于突發事件引起的網絡輿情，可以及時掌握輿情爆發點和事態。系統會根據新聞文章數及文章在各大網站和社區的傳播鏈進行自動跟蹤統計，提供不同時間段（1天、3天、7天、10天）的熱點新聞。對每條熱點新聞還可以查看新聞相關傳播鏈，了解在某一時間段該熱點新聞在哪些站點的傳播數量。同樣也提供熱點帖子、熱點專題等功能。

1.1.2.3 多維度關聯的輿情展現

自動對每天采集的海量的、無類別的輿情進行歸類，把內容相近的文檔歸為一類，并自動為該類生成主題詞。可支持自動生成新聞專題、重大新聞事件追蹤、情報的可視化分析等諸多應用。

1.1.2.4 輿情分析和統計

1、熱點專題統計

熱點專題總體分布、重點預警事件總分布、各類重點預警事件分布。

2、站點統計

可統計各采集站點的采集文章數、統計各論壇站點的采集文章數。

3、熱點人名

系統自動抽取文章中的人名，并按該人名出現的文章次數進行統計，可查看熱點人名的傳播趨勢。可按日期查詢熱點詞語。

4、熱點地名

系統自動抽取文章中的地名，并按該地名出現的文章次數進行統計，可查看熱點地名的傳播趨勢。可按日期查詢熱點地名。

5、熱點機構

系統自動抽取文章中的機構名，并按該機構名出現的文章次數進行統計，可查看熱點機構的傳播趨勢。可按日期查詢熱點機構。

6、熱點詞語

系統自動抽取文章中的熱點詞語，并按該詞語出現的文章次數進行統計，可查看熱點詞語的傳播趨勢。可按日期查詢熱點詞語。1.1.2.5 輿情專報生成

根據配置的關鍵詞信息，自動定時生成要求格式的輿情專報，提供給領導進行參考。

第二篇：云輿情監測系統

云輿情監測系統

隨著網絡日益的發達，網絡媒體已被公認為是繼報紙、廣播、電視之后的“第四媒體”，網絡成為反映社會輿情的主要載體之一，網絡輿情的重要性凸顯出來。網絡輿論熱點層出不窮，各種突發性事件都是通過互聯網第一時間擴大傳播。網絡輿情信息主要來源是新聞評論、bbs、博客等，這些成為政府了解社情民意的直接渠道，也是新形勢下政府的重要輿論陣地。因此，網絡輿論一旦被錯誤地控制和引導，將成為影響社會穩定的重大隱患。

輿情監測系統在這樣的環境下產生，它可以通過采集各大門戶網站信息內容來知曉最新的社情民意，民眾的輿論導向。

系統工作流程

采集新聞、論壇網站內容→通過監測系統網站分析、輿情分析第一時間發現敏感、熱點話題→由專家學者、評論員或是新聞發言人分析報告、進行及時的輿論引導。

系統介紹

系統對所需信息進行過濾、分析、聚合和數據挖掘，以傳播力和影響力作為分析指標，及時發現信息，分析并追蹤傳播及演變過程，并對指定重點敏感事件進行專項監測與分析。

云輿情監測系統提供對互聯網信息（新聞、論壇、博客、貼吧、微博客等）實時采集、內容提取及排重；并且對獲取的信息進行全面檢索、主題檢測、話題聚焦、相關信息推薦；按需求定制主題分類；為輿情研判提供時間趨勢、傳播路徑、話題演化等工具，統計輿情信息，生成輿情報告。

全面實時監測網絡輿情

采用定向采集為主、全網監控為輔的方式，自動對新聞（新聞跟帖、新聞評論、RSS）、論壇（回帖、點擊數、回復數等）、博客、貼吧、微博客等網絡媒體進行全面實時監測。智能處理輿情信息

對互聯網輿情信息自動提取關鍵詞、摘要、分類、聚類、主題檢測、關聯分析、情感分析。

完善的輿情監控業務

自動監測敏感信息，自動聚焦熱點話題，自動追蹤潛在輿情事件。可預置審核流程，逐級審核、上報輿情信息。自動探測頁面刪除狀態，統計研判網絡輿情，生成可定制輿情報告。提供對本地網站的屬地化管理，支持違規網站信息統計管理。

行業特色功能

支持實現對網絡輿論導向的全面掌控、效果評估。

第三篇：最新輿情監測系統采集技術分享

輿情系統原理-參考

輿情調查軟件就從輿情監測系統的架構說起是：

1、輿情采集系統：

一、只要是互聯網上發生的與“我”相關的輿情信息，都可以第一時間監測到，并且以最直觀的方式顯示出來，“一網打盡，一目了然”。監測網站類型包括：新聞、論壇、博客、貼吧、微博、電子報、搜索引擎等。

二、對于重點輿情以及負面信息通過手機短信等方式及時預警，不需要有專人值守就可以隨時掌握輿情。

三、自動分析輿情信息的發展變化趨勢、輿情信息的首發網站、作者、轉載情況、熱度變化、評估干預處理之后的效果等。

四、自動生成各種統計分析報表和輿情報告，助力輿情工作。配合相應的工作機制，可以有效提升輿情監管的質量和效率，提升輿情應對水平。

五、除了提供系統級7*24小時的運維服務，還配備專門的輿情分析師協助監測，人工預警。系統建設目標是整合互聯網信息渠道，形成系統、有效的輿情監測機制。實現系統運行，監控互聯網信息、新浪、騰訊等主要微博微博，對其進行實時數據采集、全網監控、分析、檢索，對敏感信息進行預警，防止負面信息傳播，對重大事件做出最及時的反應和相應處理建議。并對近一段時期的熱點問題、敏感詞句進行搜索，從而掌握網絡輿情，輔助領導決策服務。

主要的門戶網站，主要的報紙、主要的大型網絡論壇、社區、貼吧、博客、微博。例如新浪新聞、各大報紙的電子報、天涯論壇、新浪微博、百度貼吧等。各類與我相關的以及區域內有影響力的網站。百度、谷歌、360搜索等搜索引擎。論論壇搜索，博客搜索、微博搜索等專業搜索引擎。重點網站提供的站內搜索等。

2、輿情分析系統：

分析引擎是本系統的關鍵組成部分。其主要作用是對采集系統采集的數據，自動進行智能分析。分析引擎的主要功能包括：自定分析輿情級別、自動生成熱點、負面輿情研判、自動分類、自動生成專題、轉載計算、自動抽取輿情要素和關鍵詞、自動摘要、自動預警、自動生成統計圖表等功能。例如：多瑞科輿情數據分析站系統引擎內置了政府輿情模型、企業輿情模型和垂直監控模型，這些分析模型，是在多年輿情行業中按照客戶的實際需求，不斷重構和完善起來的，具有良好的實際應用效果。在實際項目中，不用通過二次開發就可以全面滿足政府、企業單獨應用。或者通過SAAS平臺完成從上到下的垂直監測需求。對于特殊的應用需要，分析引擎還支持擴展插件，用于快速完成二次開發，支持各種需求定制。

3、輿情服務平臺：

主要是用戶進行日常輿情管理的平臺，能夠及時接受輿情信息，進行一些常規的輿情管理工作。4.輿情系統原理: 全網輿情監測的手段：數據源的獲取是做輿情監測的第一步，有了米才能做粥嘛。從獲取的方法上有簡單的取巧辦法，也有復雜到需要應對各類網站難題的情況。方法大致如下： 使用搜索入口作為捷徑

搜索入口有兩類：一類是搜索引擎的入口，一類是網站的站內搜索。做輿情監測往往是有主題、有定向的去做，所以很容易就可以找到監測對象相關的關鍵字，然后利用這些關鍵字去各類搜索入口爬取數據。

當然也會遇到反扒的問題，例如你長時間、高頻次的爬取搜索引擎的結果頁面，網站的反扒策略就會被觸發，讓你輸入驗證碼來核實是否是人類行為。使用搜索入口作為捷徑也會帶來一些好處，除了爬取門檻低，不需要自己收錄各類網站信息外，另一個特別明顯的好處是可驗證性非常好，程序搜索跟人搜索的結果會是一致的，所以人很難驗證出你獲取的數據有偏頗。爬蟲根據網站入口遍歷爬取網站內容

第一步要規劃好待爬取的網站有哪些？ 根據不同的業務場景梳理不同的網站列表，例如主題中談到的只要監測熱門的話題，這部分最容易的就是找門戶類、熱門類網站，爬取他們的首頁推薦，做文章的聚合，這樣就知道哪類是最熱門的了。思路很簡單，大家都關注的就是熱門。至于內容網站怎么判斷熱門，這個是可以有反饋機制的：一類是編輯推薦；一類是用戶行為點擊收集，然后反饋排序到首頁。

第二步是使用爬蟲獲取數據。爬蟲怎么寫是個非常大的話題，在這里不展開說明，需要提一嘴的是，爬蟲是個門檻很低但是上升曲線極高的技術。難度在于：網站五花八門；反扒策略各有不同；數據獲取后怎么提取到想要的內容。數據檢索與聚合

數據獲取下來后哪些是你關心的、哪些是垃圾噪聲，需要用一些NLP處理算法來解決這些問題。這方面門檻高、難度大。首先大規模的數據如何被有效的檢索使用就是個難題。比如一天收錄一百萬個頁面（真實環境往往比這個數量級高很多），上百G的數據如何存儲、如何檢索都是難題。值得高興的是業內已經有一些成熟的方案，比如使用solr或者es來做存儲檢索，但隨著數據量的增多、增大，這些也會面臨著各種問題。

通常對熱門的判斷邏輯是被各家網站轉載、報道的多，所以使用NLP的手段來做相似性計算是必須的，業內常用的方法有Simhash或者計算相似性余弦夾角。有些場景不單單是文章相似，還需要把類似談及的文章都做聚合，這時就需要用到一些聚類算法，例如LDA算法。從實踐經驗來看，聚類算法的效果良莠不齊，需要根據文本特征的情況來測試。

目前輿情監測的現狀存在很多待改進的地方。首先，手工監測存在天然局限性。通過安排固定人手24小時值班，不間斷地瀏覽目標站點并搜索目標關鍵詞，是在缺少自動化系統時最直接也是最初級的輿情監測方式。由于受到每個人主觀思想的限制，手工監測總會有觀察盲區，總會有覺得不重要但事后被證明很嚴重的地方，且手工無法察覺到一些站點或者一些偏僻的網頁內容發生改變；同時，人不是機器，長期反復監測容易導致疲勞，經常會使得該判斷出來的輿情，一不留神就漏掉了。這些都會在實時性和準確性上存在很大波動。

其次是過度依賴搜索引擎。人們往往認為在網絡輿情的大海里也只有搜索引擎才可能具備撈針的本領。但是，搜索引擎仍然具有不少局限性。除了搜索結果受關鍵詞影響很大外，搜索引擎返回的結果往往來自不受任何訪問限制的網站，而諸如論壇等需要登錄的網站則完全被排除在外。但是網民發表意見最多的地方，恰恰是這些提供互動功能的網站。更進一步的，搜索引擎的網絡爬蟲具有一定的時延性，因此不能實時搜索到最新的網頁更新。因此，搜索引擎不能為我們提供問題的全貌，因為它只針對關鍵詞而不針對問題，所以談不上全面性；搜索引擎也不能在第一時間得到我們所想要的結果，因為不僅是它的內容更新不夠快，而且它也不能提供針對時效性的服務，所以談不上及時性；搜索引擎只能在海量網頁中返回另一個海量的結果，而且是以雜亂無章的形式，對于我們關心什么，它一無所知，所以它給出的結果是所有人都關心的，而非我關心的，因此也談不上準確性。可見，我們不能完全依賴搜索引擎來監測網絡輿情，需要提出全新的技術手段來獲知網絡輿情，并跟蹤和分析輿情。

因此，要想保證輿情監測的實時性、全面性和準確性，最可靠的辦法就是使用自動化的多瑞科輿情數據分析站系統輿情監測系統，依靠軟件系統來消除人工方式的不足，依靠軟件系統來定點的監測目標站點及整個網絡，跟蹤分析各個輿情主題的發展軌跡，并自動地整理生成日報/周報等報告，將輿情與政府的日常工作業務有機整合在一起.

第四篇：輿情監測系統的主要流程

輿情監控，整合互聯網信息采集技術及信息智能處理技術通過對互聯網海量信息自動抓取、自動分類聚類、主題檢測、專題聚焦，實現用戶的網絡輿情監測和新聞專題追蹤等信息需求，形成簡報、報告、圖表等分析結果，為客戶全面掌握群眾思想動態，做出正確輿論引導，提供分析依據。

天互云鏡輿情監控系統的大致工作流程分為如下三個部分：

1.制定危機預警方案。針對各種類型的危機事件，制定比較詳盡的判斷標準和預警方案，以做到有所準備，一旦危機出現便有章可循、對癥下藥。此步驟主要是確定好監控的目標網站和過濾關鍵詞。

2.密切關注事態發展。保持第一時間知悉事態發展，加強監測力度。這個可以通過第一時間大量采集、匯總各種互聯網上的信息。

3.及時傳遞和溝通信息。即與輿論危機涉及的政府相關部門保持緊密溝通。建立和運用這種信息溝通機制，已經成為網絡輿情管理部門的重要經驗。以上海為例，無論在涉日輿情、地鐵調價，還是城管打人等“網絡熱點輿情”處理上，各部門協同作戰、相互配合、共同商議，判斷危機走向，對預案進行適當修正和調整，以符合實際所需是危機應對的重要措施。

第五篇：輿情信息監測服務系統

輿情信息監測服務系統

輿情信息監測服務系統是一個高度集成的專業化數據檢索和分析系統，總體上包括輿情信息采集、輿情分析引擎、輿情監測應用三個核心功能。從互聯網采集新聞、論壇、博客、微博、平面媒體、微博等輿情信息，并存儲到輿情數據庫中，并通過輿情搜索引擎對海量的輿情數據進行實時索引。對采集的數據進行智能篩選，萃取準確的輿情信息。輿情分析引擎負責輿情數據庫進行智能分析和加工。輿情服務平臺把輿情數據庫中經過加工處理的輿情數據發布到Web界面上并展示給客戶。客戶通過輿情服務平臺瀏覽輿情信息，通過簡報生產等功能完成對輿情的深度加工。整個系統結合了C/S、B/S兩種不同的應用模式，并形成了優勢互補。系統共分四大功能模塊。分別為：信息采集功能、信息處理功能、輿情分析功能、輿情展示功能。

（1）信息采集

信息采集可自定義監測站點擊監測關鍵詞，新聞、論壇、博客、微博。結合元搜索技術（搜索引擎結果補充），確保信息全面性。

定向抓取源：云騰輿情監測分析系統收錄7000個監測網站，包含站點數約為15萬個站點，對這些站點中的新聞，論壇，博客等實現全面的抓取，同時支持對主流新聞網頁分頁、評論內容的采集以及對評論點擊數、回帖數的抓取。

搜索引擎結果：云騰智能爬蟲系統還可以自動跟蹤多個搜索引擎的搜索結果，對監測數據進行補充。

自定義URL來源采集頻率：除系統常規監測范圍外，還可以自定義需要重點監測的信

息，客戶可以設定采集的欄目、URL、更新時間、掃描間隔等，以便及時發現目標信息源的最新變化，并以最快的速度將個性化關注內容采集到本地。

（2）信息處理

垃圾信息過濾：基于機器學習的垃圾過濾機制可以自動過濾廣告、水貼等無效垃圾信息。

智能去重：采用“文章相似度技術”，根據文檔內容的匹配度確定是否重復、去重的級別；根據不同的需要特點分為：URL去重、標題去重、正文去重三個級別。

HTML內容提取：采用自主知識產權的HTML網頁文本萃取技術自動提取任意復雜網頁中的標題、內容、作者、發布時間等信息，自動跟蹤文章分頁；對于論壇信息自動分析主貼、回帖以及作者等信息。

快照保存：對于每個經過抓取和處理的網頁，系統都存有一個純文本的備份，方便客戶快速瀏覽，也方便客戶查看被刪除的文章或帖子。

（3）輿情分析

文章權重計算：綜合網站重要程度、文章出現位置、主題相關度、危機程度、點擊回復次數、傳播數量以及客戶自定義規則等復雜參數計算的文章權重，加上基于自然語言處理技術的訓練系統，能準確分析出重要輿情信息。

傳播軌跡分析：系統可以對于一段時間（自定義范圍）內的輿情信息走勢進行分析展示，同時可以以不同的載體如論壇、新聞等分類呈現。

自動分類與情感分析：將自然語言處理技術（NLP）應用于輿情監測領域，對信息精準分類并自動做情感分析。

相似文章聚類去重：基于自然語言處理技術，系統根據文章內容相似程度技術相似文章，方便獲取同一內容文章的所有傳播網站。采用“文章相似性技術”，根據文檔內容的匹配程

度確定是否重復、去重的級別；根據不同的需要特點分為：URL去重、標題去重、正文去重三個級別。在詳細信息列表里，分為“過濾”與“不過濾”，展示相關文章；媒體覆蓋分析：系統可以對于監測信息的媒體類型進行展示，同時對于信息的主要傳播媒體自動識別，進行綜合分析，以圖表呈現。

（4）輿情展示

在輿情信息呈現上，信息監測平臺支持多種互聯網終端設備和接入方式。除了傳統的移動設備Web網頁接入方式，還可以通過短信、郵件對信息進行及時推送，同時還可以通過移動設備客戶端（Android客戶端、iOS客戶端、平板電腦客戶端等 如圖）進行信息交互。

WEB客戶界面：基于云計算模式，客戶可以使用WEB瀏覽器隨時登陸系統，在客戶界面對輿情狀況進行全面的了解。客戶界面包含了如輿情走勢、輿情詳細信息、最新微博信息、載體覆蓋情況等主要內容，并以列表以及圖表展示等可視化方式呈現，方便客戶查看。導航欄清晰明了，方便我們中心查看各種分類；實時搜索功能，可以自定義搜索條件查看系統抓取的最新監測信息；支持關鍵詞組分類、媒體類型分類、信息屬性分類查看。

輿情預警：預警級別顯示，顯示當日輿情級別，方便客戶整體把握，同時呈現預警信息走勢和預警信息列表。建立多個輿情指標，對于突飛輿情自動發出輿情信號，在最短時間內通過郵件方式通知客戶，輔助進行輿情干預和引導。

輿情分析報告：根據輿情分析引擎處理后的結果庫生產報告，客戶可通過瀏覽器瀏覽，并且可以導出生成為Word、PDF等格式的本地文檔。方便客戶對不同時段的重點和熱點以及對事件輿情數據的把握。