第一篇：LIB2.0中關于高校圖書館信息檢索系統的探索

一、高校圖書館信息檢索系統的現狀

隨著計算機技術的高速發展，圖書館信息檢索系統已經完成從手工方式向計算機方式的轉變。讀者在信息檢索系統中輸入關鍵詞，信息檢索系統從館藏資源中檢索出滿足讀者需求的館藏資源，并標注出館藏資源所在的位置以及該資源的館藏數量和可借數量。同時讀者還可以對暫時沒有可借的館藏資源進行預約，這些服務方式極大的方便了讀者，減少了讀者尋找館藏資源的時間，一定程度上提高了館藏資源的利用率。

檢索系統缺乏與讀者的交互。檢索系統無法獲知讀者的興趣以及讀者對這些館藏資源的反饋，無法針對讀者提供個性化的服務。讀者只能單方向接受檢索系統結果，沒有辦法參與檢索系統的建設。檢索系統缺乏指導性。對于高校這個特殊群體來說，學生的層次是有區別的，剛進入學校的學生沒有足夠的知識來選擇合適的館藏資源來促進他們的學業，這就需要在檢索系統中加入更多的指導因素，指導學生選擇更合適的館藏資源。檢索的結果缺乏動態性。檢索系統主要通過標題、關鍵字、作者等信息進行檢索。而這些信息在檢索系統中是不會變化的，這也就導致了檢索結果的靜態性。靜態的檢索結果反映不出館藏資源的優劣、讀者的喜好等信息。

這些缺點影響著檢索系統的使用效果及館藏資源的利用率，同時檢索系統也不能為讀者提供個性化的服務。如何解決這些缺點成為當前以及未來信息檢索系統的迫切要求。

二、lib2.0中高校圖書館信息檢索系統

(一)推薦書目互動平臺

推薦書目，又名導讀書目、選讀書目，它是為了某一個特定目的將某類或特定主題的書目推薦給特定的人群。推薦書目在我國自古有之，現存最早的推薦書目是敦煌發現的《雜抄》(伯2171號卷子)，為當時讀書人列出一份包括《史記》、《三國志》、《春秋》等25種文獻在內的書目清單。推薦書目平臺在充分考慮高校圖書館的特殊性前提下，構建了可設置的多個主題與學科專欄的平臺，形成以下幾個類型的推薦：

第一，按學科專業推薦。高校的學生均從屬于特定的專業，如，計算機專業，金融專業，外語等。如何學好這個專業是學生在高校階段首要關心的話題。推薦書目廣泛邀請該專業的教師或高年級的學生參與構建學科專業推薦書目，以他們的知識和經驗來指導、幫助其他讀者順利的完成學業。

第二，按學業課程推薦。高校的學生每學期均要完成一定的課程，如何學好這些課程也是學生關心比較多的一個話題。在學業課程推薦中邀請已完成該課程的同學進行推薦，介紹他們當年學習時閱讀的書籍，同時邀請課程教師對推薦書目進行修正和補充，以確保推薦書目的質量。

第三，按主題推薦。同一專業的學生畢業后可能從事不同技術方向的工作，如計算機專業的學生，畢業后可以從事c語言、c++語言、c#語言、java語言等方向的工作，不同方向所要閱讀的書籍也大相徑庭。通過教師和學生廣泛參與這些主題的書籍推薦，形成了一系列不同主題的推薦書目。學有余力的同學按照自己的興趣選擇不同的方向來閱讀書籍、擴展自己的知識面，提高自己的能力，為將來走向社會打下良好的基礎。

推薦書目平臺與信息檢索系統是一個有機的整體。讀者在輸入檢索條件檢索信息時，系統自動檢索這些關鍵詞的推薦書目信息，以供讀者參考。讀者在閱讀了相關的推薦書籍后，可以添加該書籍的閱讀心得，以方便后來的閱讀者。這種基于檢索系統的推薦書目平臺，改變傳統信息環境下“推薦者一推薦書目一讀者”的單向推薦書目模式，形成循環的推薦書目系統環節鏈。讀者、檢索系統與推薦書目平臺三者的流程關系。

檢索系統引入推薦書目，方便了教師與學生的參與，加強了受眾的互動與交流，實現了閱讀的分享與互動。眾多用戶通過檢索系統的廣泛參與推薦書目平臺，確保了推薦書目的質量。同時擁有推薦書目平臺的檢索系統也實現了檢索的平面化向網狀化轉變。

專題信息庫針對同一學科可設置多個知識點，這些知識點構建成知識網絡系統，形成在學科內共享領域知識。所有讀者均可參與專題信息庫的建設，設立知識點，解釋知識點，通過共享寫作的方式，共同維護專題信息庫的質量與權威。

通過在檢索系統中嵌入專題信息庫，既能促進已有資源的使用，又能為圖書館增加新的資源。它的應用提供了一種嶄新的圖書館信息檢索系統個性化信息服務的模式。

(三)tag標簽云

tag是一種用戶決定、更為自由靈活的分類方式，這個標簽名可以來自關鍵詞，也可以來自分類。通過tag，不同用戶可以進行交叉查詢，即用戶可通過關鍵詞找到其他用戶的收藏 列表，也可以通過大家收藏的url找到其他用戶。這樣，用戶在提供信息的同時，也從他人的信息中受益。

傳統的高校信息檢索系統主要通過對文件的標題與關鍵字的搜索達到檢索目的，這種搜索方式簡單、準確，但不夠智能。在檢索系統中嵌入tag，提高了檢索系統的智能化。用戶參與使用tag主要有三種方式： 讀者對自己搜索過的圖書進行標簽。這種標簽對館藏進行重新的聚類，可以極大的方便他人或自己再次使用館藏資源。讀者在檢索系統中輸入關鍵字進行檢索，檢索系統在提供傳統檢索結果的基礎上，智能的檢索該關鍵字對應的tag，這樣，讀者就可以通過他人的tag更方便地找到自己需要的圖書。在瀏覽某tag對應圖書時，檢索系統智能化的列出該圖書所對應的其他tag，讀者可以通過這些tag進行網狀的瀏覽，確定自己的目標資源。

tag代表了一種新的組織和管理信息的方式，它不同于傳統的、針對文件本身的關鍵字搜索，而是一種模糊化、智能化的分類。在檢索系統中嵌入tag功能，更加符合高校圖書館中“體驗者”提高檢索結果的相似程度，極大提高了高校圖書館提供個性化信息服務的能力。

(四)優化檢索

傳統檢索系統主要通過書籍標題、主題、作者等關鍵字進行搜索。檢索的結果是靜態的，忽略了讀者對檢索系統的參與，無法列出最優化的搜索結果。

lib2.0下的檢索系統嵌入了推薦書目平臺、專題信息庫與tag標簽云，這為檢索的優化提供了基礎。檢索的優化主要依靠以下四個動態因素：第一、書籍是否被推薦，以及被推薦的情況；第二、書籍是否被專題信息庫引用；第三、書籍的tag是否包含搜索的關鍵詞；第四、書籍的借閱量。在用戶輸入關鍵詞進行搜索時，系統通過賦予這四個因素不同的搜索權重值，自動計算滿足關鍵詞的書籍權重，并按照權重順序進行排序。在檢索系統中引入動態檢索因素后，檢索系統能很好的體現了讀者的參與情況，并能為讀者提供個性化或有針對性的服務。

第二篇：目前信息檢索系統的優缺點

目前信息檢索系統的優缺點

摘要

目前，Internet上信息檢索的方式主要分為二種:即非WEB信息檢索方式和WEB信息檢索方式。這兩種檢索方式為人們及時準確地檢索網絡信息提供了極大的方便和可能，尤其WEB信息檢索工具中的搜索引擎，它已成為人們查詢網上信息最重要的檢索工具，幾乎成了網絡信息檢索工具的代稱，因而本文在論述網絡信息檢索工具時以搜索引擎為主要代表。然而目前網絡信息檢索又面臨一系列的挑戰，如網絡信息量的迅猛增加，以至人工己經無法對它們進行有效的分類、索引和利用;簡單的關鍵詞搜索;返回的信息量過大已經讓用戶無法承擔;網絡信息組織的無序性;網絡信息日新月異的更變;信息媒體的多樣化等等，這些都給Internet信息的獲取和利用造成了極大的阻礙[1]。

引言

信息檢索系統的研究是伴隨著科學技術的發展和信息數量的俱增而興起的，是指信息用戶為處理解決各種問題而查找、識別、獲取相關的事實、數據、文獻的活動及過程，其主要研究范圍包括：信息檢索理論、信息檢索語義、信息檢索系統的構建和評價、信息檢索技術和方法等。

信息檢索的研究已經有多年的歷史，20世紀中葉以前，信息的存儲和傳播主要以紙質介質為載體，信息檢索的研究主要圍繞文獻的獲取和控制展開，主要關注如何檢索和利用文獻中記載的信息。直到50年代，計算機被圖書館等部門廣泛用來存儲和管理文檔，信息檢索技術作為新的熱點被廣泛地研究。到了80年代，信息檢索領域在索引模型，文檔內容表示以及匹配策略等方面取得了許多突破性的研究成果，并且成功地開發了一些系統。例如Cornell大學的SMART系統和Massachusetts大學的INQUERY系統等。Web的出現為信息檢索提供了一個前所未有的實驗環境和應用情景，許多Web信息檢索系統應運而生，例如Yahoo！，Alta-vista等[2]。

目前信息檢索系統的優缺點

1.評價標準

目前，得到普遍認同的檢索效果的評價標準主要有以下幾個:查全率、查準率、收錄范圍、輸出格式，其中以查全率和查準率最為重要[1]。綜合國內外關于搜索引擎評價及其方法的研究，筆者將搜索引擎評價的研究方法分為以下幾種。

(1)實驗方法

(2)調查方法

(3)數據分析法

(4)觀察法

(5)綜述和評論

綜合評價指標是指對搜索引擎各個方面進行考量時依據的參考標準，如

Carpineto等就提出了3個一級指標，分別為:檢索界面、檢索性能和檢索輸入。其中，檢索界面包括搜索引擎存在、主頁檢索框、結果頁面檢索框以及高級檢索界面等4個二級指標;檢索性能有7個二級指標:大小寫敏感度、詞干檢索、禁用詞、部分匹配、短語檢索、布爾邏輯檢索、全站檢索等;檢索輸出包括基于相關度的排序、標記檢索式、結果建議、無死鏈4個二級指標[3]。

2.按照信息搜集方法和服務提供方式的不同，搜索引擎系統可以分為三大類：

2.1目錄式搜索引擎：

以人工方式或半自動方式搜集信息，由編輯員查看信息之后，人工形成信息摘要，并將信息置于事先確定的分類框架中，提供目錄瀏覽服務和直接檢索服務。該類搜索引擎因為加入了人的智能，所以信息準確、導航質量高，缺點是需要人工介入、維護量大、信息量少、信息更新不及時。

這類搜索引擎的代表是：Yahoo、LookSmart、Open Directory、Go Guide等。

2.2機器人搜索引擎：

由一個稱為蜘蛛（Spider）的機器人程序以某種策略自動地在互聯網中搜集和發現信息，然后索引器為搜集到的信息建立索引，再由檢索器根據用戶的查詢輸入檢索索引庫并將查詢結果返回給用戶。服務方式是面向網頁的全文檢索服務。該類搜索引擎的優點是搜索的信息空間大，更新及時，毋需人工干預，缺點是返回信息過多，有很多無關信息，用戶必須從結果中進行篩選。

這類搜索引擎的代表是：AltaVista，Northern Light，Excite，Infoseek，Inktomi，FAST/FastSearch，Lycos，Google，“天網”，悠游，OpenFind等。

2.3搜索引擎：這類搜索引擎沒有自己的數據，而是將用戶的查詢請求同時向多個搜索引擎遞交，將返回的結果進行重復排除、重新排序等處理后，作為自己的結果返回給用戶。服務方式為面向網頁的全文檢索。這類搜索引擎的優點是返回結果更多、更全，缺點是不能充分利用所使用搜索引擎的功能，用戶需要做更多的篩選。

這類搜索引擎的代表是WebCrawler，InfoMarket等[4]。

3.新一代的智能Web信息檢索系統：

3.1移動agent技術

一般來說，所有用移動agent實現的系統都可以用傳統的分布式技術賴實現。那么為什么要選擇移動agent呢？這是因為移動agnet為解決分布式問題提供了一個統一的模式。它為分布計算帶來了更多的靈活性、高效性、可靠性和可伸縮性。移動agent已成為繼CORBA、DCOM后新一代分布處理技術。移動agent具有以下5個優點：

（1）節約網絡帶寬和減少網絡延時；

（2）移動agent能夠使傳統的C/S計算模式下的計算任務更加動態均勻地分配；

（3）在分布式環境下，移動agent系統能實現較好的并行性即并行任務求解；

（4）基于移動agent的分布式系統具有較好的可理解性；

（5）異步移動計算能力。

3.2本體技術

本體的目標是捕獲相關領域的知識，提供對該領域知識的共同理解，確定該領域內共同認可的詞匯，并從不同層次的形式化模式上給出這些詞語和詞語間相互關系的明確定義。

本體的研究與應用主要包括3方面：(1)理論研究，主要研究概念及其分類和本體上的代數運算；(2)在信息系統中的應用研究，主要研究信息組織、信息檢索和異構信息系統互操作問題，(3)本體作為一種能在知識層提供知識共享和重用的工具在語義Web中的應用[4]。

3.個性化搜索引擎技術

當前，個性化搜索引擎技術主要表現在如下兩個方面:

(1)搜索引擎提供的搜索結果滿足用戶的個性化需求。由個性化搜索服務獲得的搜索結果更加準確，使不同用戶能夠得到各自需要的搜索結果，同時避免出現不相關的搜索結果。個性化搜索引擎技術通過分析用戶的搜索詞，跟蹤用戶的搜索行為和環境，結合用戶的需求變化和網絡信息的動態變化實時更新等資料進行信息檢索，從而為用戶提供更為個性化的、準確的、真正需求的搜索結果。

(2)個性化搜索引擎所提供的服務和功能具有優勢和特色，與通用搜索引擎不同。由于各大搜索引擎為了獲得競爭優勢，不斷推出新的特色服務和功能，因此出現了從核心搜索衍生出的各種其他服務，如桌面搜索、地圖搜索、生活搜索、RSS訂閱等服務。

目前不少搜索引擎都加入了個性化服務和功能，他們提出了各種技術和方法以實現個性化搜索服務。他們主要采用了基于規則的和基于信息、過濾的推薦技術。其中，基于信息過濾的技術又包括協作過濾和基于內容的過濾。基于規則的技術允許系統管理員根據用戶的動態和靜態屬性生成規則，規則決定了在不同情況下如何提供不同的務，一個規則本質上是一個if-then語句。該方法的優點是簡單、直接，缺點是規則不能動態更新，質量難以保證，隨著規則數的增加，系統將更難管理。典型的系統有IBM的Webshere，BroadVision和ILOG等。

基于內容過濾的技術利用資源和用戶興趣的相似度進行信息過濾。該方法的優點是簡單、高效，缺點是不能發現用戶新的興趣，并且難以區分資源內容的質量和風格。典型的系統有 Personal web Watcher，syskill&webert，CiteSeer，和Web personalizer等。

基于協作的過濾技術是利用用戶之間的相似度來進行信息過濾。該方法的優點是能發現用戶新的興趣點，但缺點是當系統用戶和資源逐漸增多時，系統性能會逐漸降低;另外，在系統使用的初期，難以發現相似的用戶。典型的系統有Web watcher，Let’s Browse，GrouLens，Firefly和Siteseer等。

還有其它的一些提供個性化服務的信息搜索系統同時采用了基于內容和協作過濾兩種技術。如:webSIFT，FAB，Anatagonomy和Dynamicprofiler等，結合這兩種過濾技術可以克服協作過濾的稀疏性難題，使用用戶已瀏覽的內容來預測用戶對其它資源的評價，進而增加資源評價的密度，再利用這些評價進行協作過濾，從而改善協作過濾的效率[5]。

參考文獻

[1] 網絡信息檢索及其發展趨勢研究

[2] 基于結構化向量空間模型的中文信息檢索系統研究與實現

[3] 搜索引擎檢索功能的性能評價研究

[4] 基于本體的Web信息檢索系統及其關鍵技術研究

[5] 基于內容的個性化Web信息檢索系統的設計與實現

第三篇：關于高校圖書館服務的信息檢索

關于高校圖書館服務的信息檢索

摘要：信息檢索（Information Retrieval）是指信息按一定的方式組織起來，并根據信息用戶的需要找出有關的信息的過程和技術。狹義的信息檢索就是信息檢索過程的后半部分，即從信息集合中找出所需要的信息的過程，也就是我們常說的信息查尋（Information Search 或Information Seek）。本文是一篇文獻檢索報告,通過課題分析、檢索工具的選擇、檢索詞、檢索過程及結果、文獻闡述、參考文獻等方面闡述信息文獻檢索技術的運用。

關鍵詞：高校圖書館信息檢索檢索服務

前言

隨著網絡技術的迅猛發展，通過互聯網提供的數據庫及種類日漸增多。使得人們對于文獻信息的查詢、加工、存儲、利用等方面有了更新的要求。作為高校圖書館以組織加工數字化信息及技術為廣大讀者提供有效信息服務，信息檢索服務一向是高校圖書館重要工作的組成部分，尤以為教學科研課題的檢索服務尤其顯得重要，提供的文獻信息對保障科研工作順利進行起到不可忽視的作用。信息檢索服務就是把圖書館的館藏資源和網絡資源通過整合和有序化，進行全方位、多途徑為教學科研及廣大讀者提供快、精、準的信息服務和信息導航服務，來滿足廣大用戶的信息需求。

一 課題分析

當今網絡技術的發展。通過互聯網提供服務的數據庫種類日漸豐富。信息量大、分布廣、信息的自由性強，而用戶面對浩如煙海的信息海洋，感到茫然無措，對網絡與數字資源利用能力準備的不足，這就需要圖書館館員通過信息服務為讀者進行信息導航，為讀者提供細致、周到、全方位的信息檢索服務。由于教學科研工作者的精力相對有限，對學術研究的規范性要求較高，而獲取準確、有用的信息需占用大量時間和精力，這將成為制約網絡信息有效利用的瓶頸。高校圖書館開展信息檢索服務正是為教學科研工作者了解各國同行的研究現狀，進行科技追蹤起到導航作用。

二 檢索工具的選擇超星數字圖書館

超星數字圖書館成立于1993年，長期致力于紙張圖文資料數字化技術開發及相關應用與推廣，是國內專業的數字圖書館解決方案提供商和數字圖書資源提供商。超星經過多年的研發，已經擁有了成熟的整套圖書館數字化解決方案，被公認為數字圖書館行業中的第一品牌。超星依托雄厚的資源和技術，不僅迅速占領了國內絕大部分的圖書館市場，也已經躋身于世界圖書館數字化進程中的領跑者行列。

超星數字圖書館于2000年被列入國家“863”計劃中國數字圖書館示范工程，以

其數字圖書館的方式對數字圖書館技術進行推廣和示范。超星電子圖書數據按照“中圖法”分為文學、歷史、法律、軍事、經濟、科學、醫藥、工程、建筑、交通、計算機、環保等22大類，目前擁有數字圖書100萬種，是國內數字圖書資源最豐富的數字圖書館。萬方數據庫資源系統

萬方數據資源系統是建立在因特網上的大型科技、商務信息平臺，內容涉及自然科學和社會科學各個專業領域。包括：學術期刊、學位論文、會議論文、專利技術、中外標準、科技成果、政策法規、新方志、機構、科技專家等子庫。中國維普數據庫

該數據庫源于1989 年創建的《中文科技期刊篇名數據庫》。其全文和題錄文摘版一一對應。該數據庫包含1989 年以來的自然科學、工程技術、農業、醫藥衛生、經濟、教育和圖書情報等學科8000 余種期刊文獻。數據庫按照《中國圖書館分類法》進行分類，所有文獻被分為8 個專輯：社會科學、經濟管理、教育科學、圖書情報、自然科學、農業科學、工程技術。中國優秀碩士學位論文全文數據庫

《中國優秀碩士學位論文全文數據庫》簡稱 CMFD，是國內內容最全、質量最高、出版周期最短、數據最規范、最實用的碩士學位論文全文數據庫。出版內容：覆蓋基礎科學、工程技術、農業、哲學、醫學、哲學、人文、社會科學等各個領域。截止至2010年10月，收錄來自561家培養單位的優秀碩士學位論文107多萬篇。

資源特色：重點收錄985、211高校、中國科學院、社會科學院等重點院校高校的優秀碩士論文、重要特色學科如通信、軍事學、中醫藥等專業的優秀碩士論文。專機專題：產品分為十大專輯：基礎科學、工程科技Ⅰ、工程科技Ⅱ、農業科技、醫藥衛生科技、哲學與人文科學、社會科學Ⅰ、社會科學Ⅱ、信息科技、經濟與管理科學。十大專輯下分為168個專題。收錄年限：從1984年至今的碩士學位論文。產品形式：WEB版（網上包庫）、鏡像站版、光盤版、流量計費。出版時間：

1、中心網站版、網絡鏡像版，每工作日出版，法定節假日（春節假日一般為15天，每年假日前10天公布起止日期）除外。

2、鏡像版、光盤版，每月10日出版。

5Google搜索引擎

Google 的使命就是要為您提供網上最好的查詢服務，促進全球信息的交流。Google 開發出了世界上最大的搜索引擎，提供了最便捷的網上信息查詢方法。通過對 20 多億網頁進行整理，Google 可為世界各地的用戶提供適需的搜索結果，而且搜索時間通常不到半秒。現在，Google 每天需要提供 1.5 億次查詢服務。Google 富于創新的搜索技術和典雅的用戶界面設計使 Google 從當今的第一代搜索引擎中脫穎而出。Google 并非只使用關鍵詞或代理搜索技術，它將自身建立在高級的 PageRank(tm)（網頁級別）技術基礎之上。這項正在申請專利的技術可確保始終將最重要的搜索結果首先呈現給用戶。百度搜索引擎

百度公司是中國互聯網領先的軟件技術提供商和平臺運營商。中國提供搜索引擎的主要網站中,超過80%由百度提供。1999年底，百度成立于美國硅谷，它的創建者是在美國硅谷有多年成功經驗的李彥宏先生及徐勇先生。2000年百度公司回國發展。百度的起名，來自于“眾里尋她千百度”的靈感，它寄托著百度公司對自身技術的信心。

三 檢索詞及檢索式

1、中文：高校圖書館信息檢索檢索服務

2英文：University LibrarySearch Service

四 檢索過程及結果

對高校圖書館服務這個概念很耳熟，但是要給出科學的精確地定義，一時難以下手。在各個搜索引擎和數據庫搜索，信息量非常大，所以要認真慎重篩選，才能找到有效地信息。超星數字圖書館

先輸入：高校圖書館，檢索結果為：2條。萬方數據庫資源系統

共找到2168篇符合條件的論文。中國維普數據庫

題名或關鍵詞=高校圖書館服務。共找到810條，當前頁1/41標記數0條。4 中國優秀碩士學位論文全文數據庫

輸入高校圖書館服務，共有211條記錄。Google搜索引擎

獲得約 2,030,000 條結果（用時 0.14 秒）百度搜索引擎

百度一下，找到相關網頁約3,510,000篇，用時0.102秒

五 文獻闡述

隨著信息技術的發展網絡信息資源的劇增，其分布性、異構性和動態性給信息檢索帶來了新的挑戰。傳統的檢索服務已不能滿足科研對文獻信息檢索日益增長需求，對新問題求解為目的的檢索已成一種趨勢，面對這種檢索需求的轉變。需要館員對信息檢索提供的深度要求有了更大幅度的提高。要求館員在信息檢索技術上進行資源整合。采用局部資源整合、文獻資源深層次整合、數據庫存資源層次的整合、異構數據庫的同構化整合、基于文獻內容層次的整合等。通過整合從而大大提高檢索效率和資源利用率。高校用戶在對信息內容綜合性要求的同時，對所提供的文獻信息及信息服務的深度要求也有了更大提高，因此在對用戶提出的某一專業性較強課題時，這就要求館員積極參與到課題的研究中去，從課題所屬的專業角度出發，對其進行一系列的分析，并挖掘其深層含義，從而將分散在本領域和相關領域的專門知識與信息加以集中組織并有序化，從中提煉出有利于用戶需求，具有創新思路的“知識因素”。向用戶提供潛在內容知識、預測分析具有超前性領域的知識和成果，這將有利于檢索質量的提高，也是高校圖書館今后進行信息檢索服務的發展趨勢。

總之，高校圖書館作為高校教學科研和讀者服務的部門，必須進一步明確自身的定位，加強服務意識和創新服務舉措，憑借自身在文獻信息資源特有的行業優勢，充分利用圖書館豐富的館藏文獻信息資源、特色數據庫等資源，為教學科研工作提供優質、周到的服務，推動高校教學科研工作進一步的向前發展。

六 總結

通過課堂上對信息檢索與利用的學習，以及課后信息檢索的實踐，利用各種信息檢索工具，學到了很多信息檢索方法，利用一個或者幾個相關的關鍵詞進行檢索，然后篩選出合適的信息。通常利用網絡搜索引擎搜索到的信息比較繁雜，如果要搜索專業的信息資源，應該選擇專業學術數據庫。

參考文獻：

[1]楊瑪萍.數字圖書館服務質量初探[J].科技情報開發與經濟.2006（16）.[2]楊曉紅.高校圖書館文獻信息資源開發與服務創新[J].科技情報開發與經濟.2005（21）.[3]劉芳蘭.高校圖書館服務創新的探討[J].湘潭師范學院學報.社會科學版.2005.（2）.[4]張玉峰.論知識檢索與信息檢索[J].中國圖書館學報.2003（5）.[5]余艷.搜索引擎原理剖析及其技術發展[J].圖書館學刊.2004（1）.[6]任巖.網絡環境下圖書館信息服務的探討[J].情報科學.2003（1）.

第四篇：基于lucene的信息檢索系統 畢業論文

第三章 信息檢索系統及其關鍵技術

3.1 信息檢索系統簡介

信息檢索系統是利用信息檢索技術(如全文檢索等)幫助用戶查找特定信息的一種工具。它能夠對信息進行正確的表示、存儲和組織，同時還提供對于信息的訪問方式。在這里，信息的概念很寬泛，它可以是一篇文章，一段文本，一個網頁，一封郵件，一張照片，甚至是一些虛擬信息的集合。

3.2 信息檢索的過程

檢索的整個過程包括：構建文本庫，建立索引，進行檢索。1.構建文本庫

在開發檢索功能前，一個信息檢索系統需要做些準備工作。首先，必須構建一個文本數據庫。這個文本數據庫用來保存所有用戶可能檢索的信息。在這些信息的基礎上，確定檢索系統中的文本模型。文本模型是被系統所認可的一種信息格式，這種格式應當具有可識別、冗余度低等特點。當然，在系統的運作過程中，文本數據庫的信息可能會不斷地發生變化。

2.建立索引

有了文本模型后，就應該根據數據庫內的文本建立索引。索引可以大大提高信息檢索的速度。目前有多種索引的建立方式，采用哪種方式取決于信息檢索系統的規模。大型信息檢索系統(如百度、Google這樣的搜索引擎)均采用倒排的方式來建立索引。

3.進行搜索

在為文本建立索引之后，就可以開始對其進行搜索。通常由用戶提交一個檢索請求，該請求被分析，然后在索引中檢索并返回結果。

3.3 Lucene

Lucene是一個開源全文檢索工具包，它是apache軟件基金會jakarta項目組的一個子項目，是一個開放源代碼的全文檢索引擎工具包，即它不是一個完整的全文檢索引擎，而是一個全文檢索引擎的架構，提供了完整的查詢引擎和索引引擎，部分文本分析引擎（英文與德文兩種西方語言）。Lucene的目的是為軟件開發人員提供一個簡單易用的工具包，以方便的在目標系統中實現全文檢索的功能，或者是以此為基礎建立起完整的全文檢索引擎。3.3.1 Lucene結構分析

Lucene作為一個優秀的全文檢索引擎，其結構具有強烈的面向對象特征。首先是定義了一個與平臺無關的索引文件格式，其次通過抽象將其核心組成部分設計為抽象類，具體的平臺實現部分設計為抽象類的實現，此外與具體平臺相關的部分比如文件存儲也封裝為類，經過層層的面向對象式的處理，最終達成了一個低耦合高效率，容易二次開發的檢索引擎。Lucene的結構和源碼組織結構如圖3.1所示：

查詢語句org.apache.lucene.queryPaser被索引文件查詢結果org.apache.lucene.search對org.apache.lucene.analysis外接口org.apache.lucene.index核心索引org.apache.lucene.store索引文件org.apache.lucene.documentorg.apache.lucene.store基礎結構封裝 圖3.1 Lucene結構和源碼組織結構

從圖中可以看出，Lucene由基礎結構封裝、索引核心、對外接口三大部分組成。其中直接操作索引文件的索引核心又是系統的重點。Lucene的將所有源碼分為了7個模塊（在java語言中以包即package來表示），各個模塊所屬的部分也如圖3.1所示。3.3.2 Lucene索引的建立

索引是信息檢索引擎工作的第一步，只有建立了索引才能進行信息檢索。Lucene用Document邏輯文件和Field域來組織各種數據源。Document向Lucene提供原始的要索引的文本內容，Lucene從Document中取出相關的數據源，并根據屬性配置進行相應的處理，建立索引。

索引過程如下：

(1)創建一個IndexWriter用來寫索引文件，它有幾個參數，INDEX_DIR就是索引文件所存放的位置，Analyzer便是用來對文檔進行詞法分析和語言處理的。(2)創建一個Document代表我們要索引的文檔。

(3)將不同的Field加入到文檔中。我們知道，一篇文檔有多種信息，如題目，作者，修改時間，內容等，不同類型的信息用不同的Field來表示。(4)

IndexWriter調用函數addDocument將索引寫到索引文件夾中。

3.3.3 Lucene的搜索

Lucene建立了功能強大的索引機制為搜索服務，這是因為在檢索系統的使用中，用戶體驗最深的還是搜索部分。如果這一部分的性能無法達到用戶要求，那么軟件就沒有太大的意義。

搜索過程如下：

(1)IndexReader將磁盤上的索引信息讀入到內存，INDEX_DIR就是索引文件存放的位置。

(2)創建IndexSearcher準備進行搜索。

(3)創建Analyer用來對查詢語句進行詞法分析和語言處理。(4)創建QueryParser用來對查詢語句進行語法分析。

(5)QueryParser調用parser進行語法分析，形成查詢語法樹，放到Query中。(6)

IndexSearcher調用search對查詢語法樹Query進行搜索，得到查詢結果存放在TopScoreDocCollector。

3.3.4 中文分詞

中文分詞是處理中文信息的基礎與關鍵。由于Lucene自帶的分詞器對英文的分詞效果較好，但對中文的分詞效果并不如意。為了使檢索系統能更好的處理中文信息，本文采用了IKAnalyzer作為分詞器。IK Analyzer是一個開源的，基于java 語言開發的輕量級的中文分詞工具包。從2006年12月推出1.0 版開始，IKAnalyzer已經推出了3個大版本。最初，它是以開源項目Luence 為應用主體的，結合詞典分詞和文法分析算法的中文分詞組件。新版本的IKAnalyzer 3.X 則發展為面向Java 的公用分詞組件，獨立于Lucene 項目，同時提供了對Lucene 的默認優化實現。IKAnalyzer的特性：

? 采用了特有的“正向迭代最細粒度切分算法“，具有60 萬字/秒的高速處理能力。? 采用了多子處理器分析模式，支持：英文字母（IP 地址、Email、URL）、數字（日期，常用中文數量詞，羅馬數字，科學計數法），中文詞匯（姓名、地名處理）等分詞處理。

? 優化的詞典存儲，更小的內存占用。支持用戶詞典擴展定義

? 針對Lucene 全文檢索優化的查詢分析器IKQueryParser；采用歧義分析算法優化查詢關鍵字的搜索排列組合，能極大的提高Lucene 檢索的命中率。

第四章 信息檢索系統的分析與設計

4.1 系統功能需求

隨著科技的發展，電腦的應用越來越普遍，人們的學習工作幾乎都不能離開電腦。而筆記本電腦由于其輕便和時尚性，受到人們普遍的喜愛。但是，在購買筆記本時，我們需要詳細地了解所買型號筆記本的外表及各種功能，為此我們往往要去各個商家挑選。為了方便，需要提供一個專門的筆記本電腦信息查詢系統，能讓用戶輕松的獲取各種型號筆記本的詳細參數與外觀。該系統提供一個良好的用戶界面，用戶查詢時，系統能根據用戶查詢語句精確地給出查詢信息，能夠較好地理解用戶的查詢語句。

4.2 系統開發平臺設計

本系統采用的是Eclipse6.5+MySQL5.1+Tomcat5.5的開發環境。

? Eclipse是一個開放源代碼的、基于Java的可擴展開發平臺。在開發時搭配使用MyEclipse進行開發。MyEclipse企業級工作平臺是對Eclipse IDE的擴展，利用它可以在數據庫和J2EE的開發、發布，以及應用程序服務器的整合方面極大地提高工作效率。它是功能豐富的J2EE集成開發環境，包括了完備的編碼、調試、測試和發布功能，完整支持HTML CSS、Javascript、Struts、Spring、SQL、Hibernate和JSF。

? MySQL是最受歡迎的開源SQL數據庫管理系統，它由MySQL AB開發、發布和支持。MySQL服務器支持關鍵任務、重負載生產系統的使用，也可以將它嵌入到一個大配置的軟件中。本文采用的是當前的穩定版本5.1。

? Tomcat是一個免費的、開放源碼的、支持JSP和Servlet的web服務器。Tomcat是一個小型的輕量級應用服務器，在中、小型系統和并發訪問用戶不是很多的場合下被普遍使用，是開發和調試JSP程序的首選。它運行時占用的系統資源小，擴展性好，支持負載平衡與郵件服務等開發應用系統常用的功能。目前Tomcat5.5是較穩定的版本，而且Eclipse也很好的支持該版本的集成，所以本文采用Tomcat5.5進行開發。此外，本系統所應用到的其它開源工具為：Struts1.2、Spring2.5、Hibernate3.1，網絡爬蟲Heritrix1.14.3，網頁解析工具HtmlParser2.0，全文檢索工具包Lucene3.0，中文分詞軟件IKAnalyzer3.0。

4.3 系統的組成結構

整個系統由三個部分組成：網頁采集分析模塊、索引與數據庫模塊、web搜索界面模塊。其中網頁采集與分析分別由開源工具網絡爬蟲Heritrix和網頁解析器HtmlParser完成；由Lucene完成索引系統，并將索引與數據庫關聯；web查詢界面基于SSH框架設計完成。模塊組成結構如圖4.1所示。

網頁抓取分析模塊索引與數據庫模塊InternetHeritrixWeb檢索模塊抓取的信息網頁Lucene建立索引HtmlParser文本格式信息返回查詢結果創建數據庫數據庫索引根據索引查找數據庫查詢索引基于SSH設計

圖4.1 系統模塊結構圖

4.4 網頁抓取分析模塊設計

4.4.1 站點選擇

從技術角度看，選擇網站的主要依據有：

(1)網站能夠被Heritrix爬蟲抓取。因為有的網站使用了反爬蟲技術，防止未經授權的爬蟲對面頁進行抓取。

(2)網站的信息不是用javaScript動態生成的。這種動態生成的內容需要在瀏覽器中運行生成，是爬蟲無法獲取到的。

(3)網站的面頁結構不應該經常變化，最好是使用一種模版動態生成的。這樣有利于在分析面頁時，使用較為簡單的方式從網頁中解析數據。

除了上述3點技術方面的因素，在選擇網站時，也應當盡量選擇那些訪問量較大、產品信息比較齊全的網站。這樣，有利于數據完整性。基于上述各因素的考慮，本文選擇太平洋電腦網(http://$ 例如蘋果Macbook Pro 15(MC373CH/A)：

http://product.pconline.com.cn/notebook/apple/411413.html 產品詳細參數面頁URL的正則表達式為：

^http://product.pconline.com.cn/notebook/+[wd]+/d{5,6}_detail.html$ 例如蘋果Macbook Pro 15(MC373CH/A)詳細參數: http://product.pconline.com.cn/notebook/apple/411413_detail.html 產品頁的產品圖片URL都是以.jpg結尾。

通過對網站URL分析，可以總結出我們要抓取的面頁URL的規律，只要抓取產品面頁和產品詳細信息面頁及產品圖片即可。因此，要擴展Heritrix來實現上述抓取策略。Heritrix有多個擴展點，本文選擇擴展FrontierScheduler來抓取特定的內容。FrontierScheduler是Heritrix的一個PostProcessor，它的作用是將Extractor中分析得出的鏈接加入到Frontier中，以待繼續處理。擴展代碼如下：

protected void schedule(CandidateURI caURI){

//取得URI字符串

String url = caURI.toString();try{

//URI選擇策略 //匹配 具體型號url Pattern pattern_model = Pattern.compile(MODEL_URL);Matcher matcher_model = pattern_model.matcher(url);//匹配 型號詳細參數url

}

} Pattern pattern_detail = Pattern.compile(DETAIL_URL);Matcher matcher_detail = pattern_detail.matcher(url);//URL是產品面頁/詳細參數面頁/jpg圖片/DNS if(//matcher_detail.find()||matcher_model.find()||url.endsWith(“.jpg”)

} e.printStackTrace();||url.indexOf(“dns:”)!=-1){

getController().getFrontier().schedule(caURI);return;}else{ }catch(Exception e){ }finally{ 4.4.3 網頁解析工具HtmlParser 對于抓取到的網頁，需要經過解析，提取出需要的信息以便更好的建立索引和創建數據庫。本文Html解析器是HtmlParser，HtmlParser是一個開源的Java庫，它提供接口，支持線程和嵌套的解析Html文本。HtmlParser提供了兩種訪問Html結點的方法：Visitor模式和Filter模式，本文采用了Filter模式。Filter模式通過設置一定的過濾條件，對每個結點進行過濾，返回一個符合規則的節點列表。Org.htmlparser.filters包含所有已經實現的Filter類型，定義了16種Filter。

例如要解析一個網頁中所有包含圖片的鏈接，分析可得該節點中具有鏈接標簽名”a”，并且它的字節點中還必須包含圖片標簽名”img”，則過濾器的定義為：

NodeFilter filter = new AndFilter(new TagNameFilter(“A”), New HasChildFilter(new TagNameFilter(“IMG”)))4.4.4 網頁信息結構化

在抓取到筆記本產品各種信息的Html文本后，需要用HtmlParser對Html文本解析，得到建立索引所需的各種信息。處理后的的文件如圖4.2所示。

圖4.2 處理后產品的信息格式

從圖中可以看出文件的格式如下：第一行是筆記本品牌(包括中文和英文名稱)；第二行是筆記本具體型號；最后一行則是該筆記本的對應圖片文件名，圖片名是經過Hash后的字符串；其余部分則是該筆記本的詳細參數。將所有筆記本產品的信息按上述格式存儲，以便建立索引。

4.5 數據庫與索引設計

4.5.1 數據庫設計

本文數據庫結構簡單，只有一個數據表來存儲筆記本產品的各種信息，數據庫各字段含義如表4.1所示。

表4.1 數據庫字段含義

字段名 Id name type content abstractcontent

字段含義 主鍵

品牌名稱，如”蘋果”

型號，如” ibook G4 M9627CH/A” 筆記本產品的詳細信息

詳細參數的摘要，供建立索引時使用

創建數據庫的SQL語句如下： create database searchdb;use searchdb;create table product（id

int AUTO_INCREMENT, name varchar(128), type varchar(128), content varchar(20000), abstractcontent varchar(512),);4.5.2 索引設計

在使用Lucene建立索引時，需要定義Lucene的Document格式。索引中的信息應當盡量少，只要能夠滿足用戶檢索要求就可以了。本文中，為Document構建了4個Field：

//當前產品在數據庫中的id

Field indentifier = new Field(“id”,id + “",Field.Store.YES, Field.Index.NOT_ANALYZED);//產品的品牌

Field name = new Field(”name“,product.getName(),Field.Store.YES, Field.Index.ANALYZED);//產品型號

Field type = new Field(”type“,product.getType(),Field.Store.YES, Field.Index.ANALYZED);//將筆記本產品的name、type、abstractcontent信息綜合起來，默認的檢索域 Field all = new Field(”all“,text,Field.Store.YES, Field.Index.ANALYZED);上述4中Filed中，前3個與數據庫的內容有直接的對應關系，而最后一個Filed則是將name、type這兩個Filed拼接起來并添加了abstractcontent來進行保存，為用戶提供一個檢索時的默認Filed。這種方式占用了索引空間，但卻避免了使用多域搜索帶來的性能損失，還可提高檢索的全面性。

4.6 web檢索模塊設計

web檢索模塊基于SSH設計實現，由Struts作為控制器，Spring作為業務層，Hibernate作為數據持久層，結構如圖4.3所示。

控制器Struts業務層SpringSpringAOP持久層HibernateHibernateTemplaterequestActionServletActionFrom數據庫responseJSPActionSpringIocHibernateDAO圖4.3 基于SSH的web檢索模塊結構圖

從圖中可以看出，用戶的請求會發送給ActionServlet,用戶數據通過ActionForm Bean傳遞給Action，由Action類來通過Spring的IoC容器訪問Hibernate的DAO，DAO負責數據庫的交互，然后再返回JSP面頁將查詢結果進行顯示。

第五章 信息檢索系統的實現

5.1 網頁抓取的實現

在抓取任務開始前，需要對抓取的內容進行詳細地分析，確定種子，即開始抓取的網頁。本文中為了能盡量獲取全部的產品信息，直接將需要抓取的面頁(包括產品面頁、詳細參數面頁、圖片)的URL作為抓取的種子，這就需要找出所有產品的具體URL。在太平洋電腦網上提供了站內搜索功能，當輸入查詢某品牌的筆記本就能得到站內所有該品牌標記本的信息的面頁，當然面頁中也包含這些筆記本的產品面頁的URL，這就提供了抓取的種子。依次查詢各個品牌的筆記本，將查詢結果面頁保存到本地，然后用HtmlParser解析得到其中產品面頁的URl，寫入種子文件。

圖5.1 查詢結果面頁源代碼

從網頁源代碼中可以發現解析網頁時可以得到該品牌所有筆記本產品的產品面頁和詳細參數面頁的URL。其中產品詳細參數面頁URL的節點形如：