第一篇：信息論概述與機械工程中的信息論

信息論概述與機械工程中的信息論

摘要

信息論是一門新興學科，是在長期的通信工程實踐中，與通信技術、概率論、隨機過程和數理統計相結合逐步發展起來的一門學科。信息論中主要的概念包括信息，自信息，互信息和信息熵。本文介紹了信息論的產生和發展，簡要介紹了信息論幾個主要概念的定義和推導，重點介紹了信息熵，最后討論了信息論相關知識在機械工程專業的應用。

關鍵詞：信息論，信息熵，機械工程專業

第一章 緒論

§1-1 引言

人類的社會生活是不能離開信息的，人類不僅時刻需要從自然界獲得信息，而且人與人之間也需要進行通訊，交流信息，離開信息，人類就不能生存。人們獲得信息的方式有兩種；一種是直接的，即通過自己的感覺器官，耳聞、目睹、鼻嗅、口嘗、體觸等直接了解外界情況；一種是間接的，即通過語言、文字、信號??等等傳遞消息而獲得信息。在人類社會的早期，只應用語言手勢直接交流信息，但隨著社會的進步，尤其是科學水平的進步，傳統的信息獲取方式已經不能滿足人類的發展要求，人類開始探索快速有效地獲取信息的方法，從而導致了一門新的學科——信息論的誕生。

§1-2 信息論

信息論是關于信息的本質和傳輸規律的科學的理論，是研究信息的計量、發送、傳遞、交換、接收和儲存的一門學科。1-2-1 信息論的誕生和發展

信息論的創始人是美貝爾電話研究所的數學家香農（C.E.Shannon1916——），他為解決通訊技術中的信息編碼問題，把發射信息和接收信息作為一個整體的通訊過程來研究，提出通訊系統的一般模型；同時建立了信息量的統計公式，奠定了信息論的理論基礎。1948年香農發表的《通訊的數學理論》一文，成為信息論誕生的標志。

其實，1922年卡松就提出邊帶理論，指明信號在調制（編碼）與傳送過程中與頻譜寬度的關系。1922年哈特萊發表《信息傳輸》的文章，首先提出消息是代碼、符號而不是信息內容本身，使信息與消息區分開來，并提出用消息可能數目的對數來度量消息中所含有的信息量，為信息論的創立提供了思路。香農創立信息論，實際是在前人研究的基礎上完成的。

在信息論的發展中，還有許多科學家對它做出了卓越的貢獻。法國物理學家L.布里淵（L.Brillouin）1956年發表《科學與信息論》專著，從熱力學和生命等許多方面探討信息論，使熱力學中爭論了一個世紀之久的“麥克斯韋爾妖”的佯謬問題得到了滿意的解釋。英國神經生理學家（W.B.Ashby）1964年發表的《系統與信息》等文章，還把信息論推廣應用于生物學和神經生理學領域，也成為信息論的重要著作[1]。這些科學家們的研究，以及后來從經濟、管理和社會的各個部門對信息論的研究，使信息論遠遠地超越了通訊的范圍。1-2-2 信息論的發展現狀

信息論近期發展的主要特點是向多學科結合方向發展，其重要的發展方向有如下幾種：

（1）信息論與密碼學

通信中的安全與保密問題是通信編碼問題的又一種表示形式，由香農提出的保密系統模型仍然是近代密碼學的基本模型。

（2）算法信息論與分形數學

由于香農熵，柯爾莫哥洛夫與豪斯道夫位數的等價性在理論上已經得到證明，從而使信息論，計算機科學與分形理論都找到了他們的匯合點。

（3）信息論在統計與智能計算中的應用

信息論與統計理論的結合已經有許多突出的成果出現。其主要特點是統計理論正在從線性問題轉向非線性問題，信息的度量可以作為研究非線性問題的工具，如果用交互信息來取代統計中的相關系數，更能發現二維隨機變量的相互依賴程度。

智能計算中的信息統計問題，信息量與統計存在許多本質的聯系，在微分流形中，Fisher信息矩陣式Kullback-Laiber熵的偏微分，由此關系而引出的信息幾何理論是智能計算的基礎[2]。

§1-3 自信息與互信息

香農在《通信的數學理論》引言部分就提出“通信中的基本問題就是在某一點精確或近似的再生另一點選擇的信息”。未解決這一問題，他在這篇論文中開創性的利用概率論、數理統計、隨機過程建立了通信系統的數學模型，提出了自信息、互信息、信息熵等概念，這一部分我們將重點討論自信息與互信息，信息熵留待下一部分具體描述。1-3-1 自信息

用I（xi）=log（1/pi）表示信源發出的符號xi的自信息。自信息具有兩個含義：當符號xi輸出前，表示符號xi被輸出的不確定性；當符號xi輸出后，表示符號xi所含有的信息量[3]。1-3-2 互信息

互信息有三個不同角度的定義。

從信源出發的定義：站在信源一端，當信源沒有發送時，信息發送方對信宿收到符號yi的不確定度是I（yi）；而當信源發送符號xi后，信息發送方對信宿收到符號yi的不確定度是I（yi|xi），從這個意義上定義互信息。

從信宿出發對互信息的定義：站在信宿一端，當沒有接收時，信息接收方對信源發送符號xi的不確定度是I（yi）；而當信宿接收到符號yi，信息接收方對信源發送符號xi的不確定度是I（yi|xi），從這個意義上定義互信息。

從整個系統出發對互信息的定義：如果從整個系統的全局出發，通信前，信源發送隨機變量X和信宿接收隨機變量Y之間沒有任何關聯關系，即X，Y統計獨立：P（xi，yi）= P（xi）·P（yi）

此時，有關符號xi和符號yi的聯合自信息量： I’（xi yi）=log[1/ P（xi）P（yi）]=I（xi）+I（yi）

通信后，信源發送隨機變量X和信宿接收隨機變量Y之間由信道的統計性相聯系，其聯合概率密度：

P（xi，yi）= P（xi）·P（yi |xi）= P（yi）·P（xi |yi）此時有關于符號xi和符號yi的聯合自信息量： I（xi yi）=log[1/ P（xi）·P（yi |xi）]=log[1/ P（yi）·P（xi |yi）]

通信后的互信息量，等于前后不確定度的差。事實上，以上三種互信息的定義是一致的[3]。

§1-4 本文的主要內容

本文的大略概括了信息論的基本知識，介紹了信息論的發展過程，信息論中常見的名詞定義，重點介紹了信息熵的概念和推導公式（以離散信源模型為例），以及相關的條件熵，聯合熵等概念。并對信息論在機械工程領域的應用做了大概說明。

第二章 信息熵及相關概念推導公式

信息熵是1948年香農(Shannon)在論文“通信的數學理論”中引入的，解決了對信息的量化度量問題。他對信息的定義：事物運動狀態或存在方式的不確定性的描述。

在香農一開始尋找信息量定名稱時，數學家馮.諾依曼建議稱為熵，理由是不定性函數在統計力學中已經用在熵下面了。在熱力學中熵是物質系統狀態的一個函數，它表示微觀粒子之間無規則的排列程度，即表示系統的紊亂度，維納說：“信息量的概念非常自然地從屬于統計學的一個古典概念——熵。

§2-1 信息熵

基于Shannon 創立的信息熵理論,信息是不守恒的、無序的，它可以共享、傳遞、儲存、轉換,系統要向有序方向發展必須有負熵的輸入[4]。信息和熵有內在的聯系，一般地，信息量越大，熵就越小，系統就越有序,結構性就越強；反之，信息量越小，熵就越高，系統就越無序，結構性就越差[5]。信息與熵是一個相反的量，它表示系統獲得后無序狀態的減少或消除，即消除不定性的大小。

§2-2 信息熵公式推導

離散信源的模型：

定義1[6]：設某一概率系統X中有n個事件（X1，X2，??，Xi，??Xn），第i個事件Xi產生的概率為pi（i= 1，2，3，??n），當事件Xi產生后, 給出的信息量就稱為自信息：I（Xi）= log2（1/pi）單位為bit。自信息的數學期望即平均自信息量，它的值稱為信息熵，簡記為H(X)，則有如下公式：

由公式推導可以得知：（1）信息熵的大小可以用來描述信息系統的平均不確定程度。若某一信息系統中某一知識產生的概率為1，其他事件產生的概率為0，由上式計算后可知，該系統的信息熵H = 0，它就是一個確定系統，不確定度為0。（2）如果某一信息系統中，其等價類是均勻的則表示系統中每一知識產生的分類基數相等，該系統的信息熵具有最大值（在相同對象數的情況下）即該系統的不確定性最大。根據信息熵的定義可知熵值越大看，不確定性就越大。那么，搞清楚它所需要的信息量也就越大[7-8]。

§2-3 條件熵

在信源X輸出Xi的條件下，信源Y再輸出Yj所能提供的平均信息量[6]，稱為條件熵。記為H（Y | X)。條件熵有如下公式：

§2-4 聯合熵

兩個互相關聯的信源X和Y的聯合信源的信息熵為信源X的熵加上在X已知條件下信源Y的條件熵,稱為X Y的聯合熵[6]。符合記為H（X Y）或H（X∪Y）。

公式表達: H（X∪Y）= H（X）+ H（Y|X）

第三章 信息理論在機械工程方面的應用

目前，信息理論在機械工程方面的應用并不普遍，這個結果通過論文搜索就可以看出，大概每搜索6篇有關信息論的論文，只能找到一篇論文與機械工程專業相關。

從目前論文檢索情況來看，信息論的應用和它自身的特點有很密切的關系，常應用于信息量大，需要進行信息篩選整理，需要對信息數據進行數理統計工作的領域，土地和城市規劃常用到信息論的有關知識。

機械工程方面的應用，一是集中于傳感器的信息處理方面。例如視覺，聽覺，嗅覺等。這些傳感器研究的特點都是有大量信息需要接收，而接收之后必須篩選拋棄或放大部分數據。已經開始初步探索的是機器人的語音識別，主要研究方式依舊是模板匹配，音頻對比[9]。

二是在產品檢測，測量領域的應用，例如目前的表面粗糙度Ra（算術平均偏差）往往只出檢驗的結果，而沒有考慮檢驗結果的不確定因素。為了保證Ra測量結果的完整性和有效性，有論文提出了一種表面粗糙度Ra測量不確定度的計算方法。該方法依據表面粗糙度最小二乘檢驗的基本原理計算檢驗結果，并根據信息熵與不確定度的關系計算檢驗結果的不確定度，從而減少產品的誤收和誤廢[10]。

第四章 結論

物質、能量、信息是構成這個世界的三大要素，因此材料科學、能源科學和信息科學構成了世界發展的三大支柱。信息論是信息科學中最基礎的理論，由香農在1948年正式提出。信息論中最基礎的概念是信息，信息論是一門新興學科，其中重要的組成概念包括自信息，互信息，信息熵，在此基礎上，衍生出其他的相關概念。信息論目前在機械工程領域應用還不是特別普遍，因為信息論本身是基于數理統計的學科，它的研究目的是收集大量信息進行篩選甄別計算，得出整體結論而不是討論個體情況。信息論的這一特點意味著它將主要用于需接收大量數據的研究領域，包括機器人應用傳感器的研究領域，尤其是視覺圖像采集，嗅覺，聽覺語音辨識等，還有質量檢測領域。

參考文獻

[1]韓曉平.當能源充滿智慧——中國能源網首席信息官.中外企業家，2009（5）

[2]沈世鎰.信息論基礎與應用.北京，高等教育出版社，2004.15 [3]艾科拜爾.艾合麥提.信息論中關于互信息的三種不同理解的統一性.中小企業管理與科技，2009，（6）：225 [4]姬桂珍，吳承禎，洪偉，朱文華等.武夷山市土地利用結構信息熵動態研究[.安全與環境學報，2004，4(4)：41244.[5]嚴志強，路汝成.基于信息熵的小城鎮土地利用結構變化及其持續利用研究_以廣西北流市為例.廣西師范學院學報（自然科學版），2008，25（4）：70-74 [6]傅祖蕓.信息論基礎理論與應用.北京:電子工業出版社，2001 [7]Pawlak Z.Rough sets：probabilistic versus deterministic approach.International Journal of Man-Machine Studies，1998，29：81-95 [8]紀濱.信息熵在粗糙集中衍生的幾個概念.計算機技術與發展，2008，18（6）：73-75 [9]俞一彪.基于互信息理論的說話人識別研究.[博士學位論文]，上海大學，2004 [10]鐘艷如，郭德偉，黃美發.信息熵原理在表面粗糙度Ra不確定度計算中的應用.機械科學與技術，2009，28（6）：829-833

第二篇：信息論修改版

信息論局限性分析以及在光通信中的應用

摘要

從新的角度指出了香農信息論的局限性，這些局限性主要體現在對信息的可靠性和完備性的忽視，通過例子分析進一步說明信息可靠性對于度量信息的重要意義。指出局限性產生的根源在于對信息多重不確定性的忽視，以及對概率值本身存在不確定性的認識不足。后半部分介紹了信息論在光通信領域的一些應用。

關鍵詞：信息論，通信，可靠性，糾錯，概率，光通信。

Abstract The limitations of Shannon information theory are pointed out from new angles.The limitations areembodied in the neglect of the reliability and completeness of information.The significance of the reliability of information to measure information is further illustrated by the analysis of some examples.It is pointed out that the origin of the limitation rests with the neglect of multiple uncertainty of information and the lack of cognition that the value of probability maybe uncertain itself.Keywords: information theory, communication, reliability, errorcorrection,probability optical communication.正文

第一小節：信息論的局限性分析 1.引言

香農(Shannon)信息論對通信技術的發展具有深遠的影響。但是信息論的應用一直限于通信等一些很局限的領域，信息論并不能夠完全地適用于一些信息技術相關的領域。關于香農信息論的局限性，許多學者都有認識，香農本人也反對將信息論濫用。國內外一些學者從許多角度討論了信息論的局限性，比如沒有考慮語義、語用，沒有考慮信息的模糊性和事件之間的相似性，沒有考慮事件劃分可能存在包含關系等。筆者發現信息論的局限性一個重要體現就是忽視信息的可靠性，缺乏對可靠性的度量。

2.香農信息論針對現實問題的局限性

香農對信息的定義，對信息的度量，以及他的信息論，基本上都是用熵來計算的隨機不確定性，并沒有考慮信息的可靠度，對信息的可靠度的考慮最多是從信息傳遞過程中的失真進行了考慮。香農將信息定義為消除不確定性的東西，與他研究通信中的條件熵不增加有密切關系。

現信息論存在如下局限性：第一，信息論沒有考慮信息的可靠性問題，而現實中的信息大多數都是不可靠的。而信息的可靠性卻是信息價值的前提，比如情報類信息的可靠性就非常重要。信息的可靠性是信息的主要指標，但是信息論沒有考慮，僅僅是考慮到信息的不確定性。

第二，信息的完備性問題，信息論并沒有考慮信息并不完全發送的情況，而現實中許多信息都是不完全（完備）、片面的，需要融合。在沒有更加完備信息的場合下，人們往往權宜地將片面的信息姑且當作全面的信息來對待這一些簡單的信道并聯和串聯可以合為一個信道，比如簡單的兩個串聯信道的信道矩陣可以直接通過相乘而當作一個信道，但是信息論沒有考慮信息復雜的多重傳遞，比如，信息從一個信源傳遞到中間信宿，而中間信宿又轉發給一個最終信宿，而且在這個轉換的過程中，信息的表示發生了改變，在這種多重傳遞的過程中，可能會產生多重不確定性。

第三，現實中的信息往往需要經過這種多重傳遞，導致多重不確定性。比如，當然如果考慮前面提到的模糊集合等，這種多重不確定性性將更加復雜。信息論沒有考慮到信道矩陣的傳遞概率等參數的復雜性。現實中這種傳輸特性可能不是確定不變的，而可能是隨機變量，甚至可能更加復雜。

第四，信息論中以通信為研究對象，其傳輸的信號本身是確定的，然而現實中卻存在許多不確定性問題。在通信中，定義信息為消除不確定性的東西無可厚非，但是面對本身不確定的信息，我們如果去消除其不確定性。

第五，信息論中的條件相對而言是簡單的，而且多是以條件概率來表示的。然而現實中許多中的信息的條件是比較復雜的，比如，給出的條件可能是知識、規律等等，在已知先驗概率的情況下，又得知某一個規律，通過這個規律并不能簡單得出相應的條件概率來。

第六，信息論用先驗概率來表示已知的信息，然而，現實中，許多已知的信息并不是可以用先驗概率來表示，比如可能包含未知數，可能是某個約束條件，可能是某個規律，甚至可能是完全未知的。3.實際應用分析

實例1：甲從乙處得到情報：“敵人明天早晨百分之九十九要發動進攻”。此后，甲同樣從丙處得到相同的情報。從信息論角度來看，對于問題“敵人明天早晨是否要發動進攻”，不確定性是一樣的，因而信息量一樣，丙似乎并不提供新的信息。但是人們依然會感覺從丙處得到了信息，這種信息使得甲更加確定“敵人明天早晨百分之九十九要發動進攻”，這一例子進一步說明信息的可靠性應當是一個度量信息的指標。

實例2：當獲得消息“所有的事件都是等概率發生的”的時候，對這句話的內容是什么，或者對于問題“所有的事件發生呈現什么樣的概率分布”而言，它消除了不確定性。但是對于什么事件將發生情況，不可能是更加確定，信息量不可能增加而只可能是減少。這一點說明信息量僅僅是針對于消息本身的不確定性而言的，而該消息衍生出來的問題的不確定性并不與消息的信息量有必然聯系，因此，信息熵這一度量的應用范圍也是有限的，并不適合應用在日常的信息問題中。

通過以上的例子分析，暴露出信息論的一些局限性，為挖掘信息論局限性的根源提供了基礎。

4.信息論局限性的本質及結論

由以上例子分析可以得出，信息論沒有考慮信息的可靠性，而信息的可靠性是一個非常重要的指標。在通信中，由于消息是確定的，因此，不確定性的消除與可靠性的增加有一定的聯系。實際上，我們要消除不確定性是很容易的事情，而香農信息論的消除不確定性是以保證信息的可靠性和完備性為基礎的，比如利用糾錯碼糾錯，利用后驗概率來增強信息的完備性。假如把信息的確定性當作唯一的指標，拋開信息的可靠性問題，則可以隨便確定某一事件的概率為1，其余事件的概率為0 就可以了。再假如，我們把信息的確定性當作首要考慮的目標，其次考慮其可靠性，則我們也可以指定概率最大的事件概率為1，其余事件概率為0。這樣首先保證了確定性，可靠性也在一定程度上得到了滿足。如果如此，信息論和信息處理就變得相當的簡單了。顯然現實中人們不是這樣的。根據以上多處的分析，可靠度是信息的一個首要指標。以上的信息的可靠性、完備性以及經典集合的不切和實際都可以歸結為對信息的多重不確定性的忽視，比如，在實例分析中，我們發現不可靠的信息，它的信息表示本身是不固定的，其概率值可能是隨機變量，不完備的信息也是類似。對于模糊集和粗糙集之類的非經典集合，則可以認為是某一個集合包含的對象不確定而造成的，比如，在粗糙集中，對象可能屬于也可能不屬于集合X，對象a 是否屬于集合X 就具有隨機不確定性。其中一些不確定性與信息論原有的不確定性疊加起來就可能產生多重不確定性。這里的不確定性除了隨機不確定性、模糊不確定性，還可能有更多形式的不確定性，包括某些不完全的約束條件造成的不確定性。可見，對信息多重不確定性的忽視是信息論的局限性的重要的根源。對信息可靠性的忽視也是信息論無法廣泛應用的重要原因。鑒于所有的信息都很難可靠和完備，所以我們可以將可靠性和完備性問題總歸為信息的相對性問題。實際上，現實中人們很難得出完全可靠的信息，只有權宜地采用相對可靠的信息，當有更加可靠的信息的時候，人們會利用更可靠的信息取代先驗的信息。由于可靠性也與概率值的不確定性有關系，對信息可靠性的度量也可以借鑒香農對信息不確定性的度量，然而，計算概率的不確定性會比信息熵的計算復雜，因為概率需要滿足更多的約束條件。

當然，信息論也與現實信息問題具有很強相似性，信息論的方法很值得在現實的信息問題的研究中（包括信息的可靠性的研究中）借鑒，總而言之，信息論的局限性是源于信息論是針對通信問題的，其模型本身具有的局限性。當然也與概率論的局限性有關系，由于對概率值隨機性和多重隨機不確定性研究的不足，使得人們容易陷入“概率（包括聯合概率分布）就是確定值，而不可能是隨機變量”，“給定條件就可以得出條件概率”等思維定勢中，而這些思維定勢只是適用于現實概率論問題中的一部分。由于信息論的這些限制條件能夠較好地滿足通信問題，使得它能夠在通信領域得到成功的應用，而推廣到一般的信息領域則需要針對它的局限性解除相應的約束條件。

第二小節．信息論在光通信中的應用

自香農(C．E．Shannom)提出信息理論以來，信息論已經成為通信理論中重要而又基礎的一部分。如今，通信中越來越多的使用光作為傳輸媒質以及光器件的快速發展，電信道已被光信道所取代。光信道的信息容量的大小已成為人們關心的課題。對此進行分析和比較。

光量子信道的信道容量從信息論的角度可以認為光量子信道是信號和噪聲疊加的加性信道。假設在頻率

fi時，輸人信號產生的平均量子數為xi，噪聲產生的平均量子數為ni可得，對于頻率，輸出信號的平均量子數為

y=x+niii

p(xi)p()p(yi)，ni，假設xi與ni統計獨立。設xi，ni，p(yi的概率密度函數為yi且x)i=p(ni)在特定頻率 上，光量子信道的平均互信息:

I(y;xi)?H(y)?H(ni)ii（*）

因為固定時間間隔?t，?t?1/fi，所以單位時間內的平均互信息:

1?I(X;Y)??I(y;xi)?H(Y)?H(n)i?ti?0

在f1上，假設接收信號的光量子的離散能譜為Ei?hfi(h是普朗克常數).由于熱輻射，光量子的波動服從Gibb分布

p(ni)?1?exp[?hfi/kT]exp[nihfi/kT]

2H(n)??Kt/3hln2 可得，光量子的波動引起的噪聲熵:信號最大熵：

H(Y)????p(y)logp(y)df?ii03hln2yi?0

C?由式（*）可得光量子信道容量：

??2kTe?2Kt3hln2[(1?6hs1/2)?1]?kT

6hs??12當hf??kT,即信噪比(?kT)時，光量子信道的信道容量極限值為：

C光量子=2S1/2)ln23h

(1)

(?6hs??12當信噪比很小(?kT)時，光量子信道的信道容量極限值為

C經典=SN0ln2

(2)

此式正是由香農公式得到的信道容量極限值式，其中N0?KT。

結論

從以上分析可看出，對于光量子信道來言，當頻率很高時，信道容量的極限值是式(1)，而不是式(2)。只有當信噪比很低時，光量子信道的極限值才等于香農信道容量公式的極限值。因此，對于窄帶的光量子信道，帶寬?f??f（中心頻率)時，可計算得光量子信道的極限值就等于香農信道容量公式。

參考文獻

[1]朱雪龍著．應用信息論基礎．清華大學出版社.[2]傅祖蕓著．信息論基礎理論與應用．電子工業出版社，2001(8).[3]陶純堪，陶純匡著．光學信息論．科學出版社，1999(3).[4]Shannon C E.A mathematical theory of communication[J]，Bell System Technical Journal,27(1948)，379—429，623—656.[5].鐘義信．信息科學原理[M]．福州：福建人民出版社，1988． [6].魯晨光．廣義信息論[M]．中國科技大學出版社，1993.[7].王勇，香農信息定義分析與改進[OL]，www.tmdps.cn, 2007年11月.

第三篇：信息論與編碼

信息論與編碼的應用

信息論是信息科學的主要理論基礎之一，它是在長期通信工程實踐和理論基礎上發展起來的。信息論是應用概率論、隨機過程和數理統計和近代代數等方法，來研究信息的存儲、傳輸和處理中一般規律的學科。它的主要目的是提高通信系統的可靠性、有效性和安全性，以便達到系統的最優化。編碼理論與信息論緊密關聯，它以信息論基本原理為理論依據，研究編碼和譯碼的理論知識和實現方法。【關鍵詞】信息論 電子信息工程 通信 網絡

一、信息論應用

人類社會的生存和發展無時不刻都離不開信息的獲取、傳遞、再生、控制和利用。信息論正式一門把信息作為研究對象的科學，以揭示信息的本質特性和規律為基礎，應用概率論。隨機過程和樹立統計等方法來研究信息的存儲、傳輸、處理、控制和利用。它主要研究如何提高信息系統的可靠性、有效性、保密性和認證性，以使信息系統最優化。許多 科學技術問題（如無線電通訊、電視、遙測、圖像和聲音識別等）都必須以信息論為理論指 導才能很好地解決。信息論的研究對象又可以是廣義的信息傳輸和信息處理系統。從最普通 的電報、電話、傳真、電視、雷達、聲納, 一直到各類生物神經的感知系統, 以及大到人類社會系統,可以用同一的信息論觀點加以闡述, 都可以概括成某種隨機過程或統計學的數學模型加以深入研究。例如信息論在一下幾個方面都得到了廣泛的應用。

信息論在數據壓縮理論中的應用

數據壓縮的主要目的是力求用最少的數據表示信源所發出的信號，使信號占用的存儲空間盡可能小，以達到提高信息傳輸速度的目的。數據壓縮在近代信息處理問題中有大量的應用，無論在數據存儲或傳送中，通過數據壓縮不僅可以大大節省資源利用的成本，而且把一些原來無實用意義的技術，如多媒體技術中的一些問題，達到具有實用意義的標準。

數據壓縮作為信息論研究中的一項內容，主要是有關數據壓縮比和各種編碼方法的研究，即按某種方法對源數據流進行編碼，使得經過編碼的數據流比原數據流占有較少的空間。其中基于符號頻率統計的哈夫曼編碼效率高，運算速度快，實現方式靈活，使得其在數據壓縮領域得到了廣泛的應用。

數據壓縮技術的不斷完善是依靠在信息論這門學科的成長上的，信息能否被壓縮以及能在多大程度上被壓縮與信息的不確定性有直接的關系，人工智能技術將會對數據壓縮的未來產生重大影響。

信息論在密碼學中的應用

密碼學是研究編制密碼和破譯密碼的技術科學。從傳統意義上來說，密碼學是研究如何把信息轉換成一種隱蔽的方式并阻止其他人得到它。密碼術的研究和應用雖有很長的歷史，但在信息論誕生之前，它還沒有系統的理論，直到香農發表的保密通信的信息理論一文，為密碼學確立了一系列的基本原則與指標，如加密運算中的完全性、剩余度等指標，它們與信息的度量有著密切相關。之后才產生了基于信息論的密碼學理論，所以說信息論與密碼學的關系十分密切。

近代密碼學由于數據加密標準與公鑰體制的出現與應用，使近代密碼學所涉及的范圍有了極大的發展，尤其是在網絡認證方面得到廣泛應用，但其中的安全性原理與測量標準仍未脫離香農保密系統所規定的要求，多種加密函數的構造，如相關免疫函數的構造仍以香農的完善保密性為基礎

信息論在數字移動通信系統中的應用

數字移動通信系統主要包含編碼和譯碼兩種技術。移動信道是最復雜的一種信道，為了保證在不利的條件下接受信號的傳輸質量，就必須采用各種抗衰落技術和數字傳輸技術，如分集技術、擴頻技術、均衡、交織和糾錯編碼等。信息論在統計中的應用

信息論在統計中的應用一般指信息量在統計中的應用，也有編碼定理與碼結構在統計中的應用等問題。由于統計學研究的問題日趨復雜，如統計模型從線性到非線性，統計分布從單一分布到混合分布，因此信息量在統計中的作用日趨重要，在許多問題中以信息量作為它們的基本度量 [2]。

在統計領域里，統計計算技術近年來發展很快，它使許多統計方法，尤其是Bayes統計得到廣泛的運用。信息與統計相結合的其他典型問題還很多，如假設檢驗中的兩類誤差估計問題，試驗設計問題，信息量在有效估計中的應用問題等，這些問題已使信息論與統計學想成相互推動發展的局面。

編碼技術在調制解調技術中的應用

在上個世紀80到90年代，信息編碼理論應用的兩項重大成果是：調制解調理論及數據壓縮理論在多媒體技術領域的應用。調制解調碼的出現從根本上改變了數據通信的狀況，使調制解調碼通信速度從原來的1200bit/s逐步增加到30000bit/s。我們可以簡單計算得知，調制解調碼大大提高了數據傳輸速度，提高了25倍，從而使現有的網絡通信成為實用性的技術。

編碼技術在快速通信領域中的應用

編碼理論在快速通信技術中已得到了大量的應用，通信技術已從低速向高速發展，通信手段正向微波、衛星等方向發展，因此誤差干擾問題突現出來，利用糾錯碼可大大降低通信中的差錯率。在20世紀70到80年代的代數碼，如BCH碼、R-S碼等為克服誤差干擾發揮了重要作用，成為通信工程不可缺少的一個組成部分。

3.7信息論在其他領域中的應用

現今時代信息科學飛速發展，信息論已跨越了通信領域，在其他領域也得到了廣泛應用。信息論不僅在計算機、自動控制等方面突現作用，還開始涉及到物理學、化學、生物學、心理學、醫學、經濟學、人類學、語言學、統計學和管理學等學科。

比如信息論在水資源系統工程中可以利用信息論的方法建立模型推到降水、儲水量等分布的問題。在建筑工程故障診斷中信息論也得到了應用，它用熵的概念對所測量的數據進行處理和誤差分析。另外，信息論也能在作戰效能評估中得到應用研究，我們可以從信息的不確定性著手評估其作戰效能。我們不難看出，信息論在很多領域都有所應用。

結 論

信息是自從人類出現以來就存在于這個世界上了，天地萬物，飛禽走獸，以及人類的生存方式都離不開信息的產生和傳播。信息論方法具有普遍的適用性，因此可以把課上學習的內容和我們的日常生活緊密結合起來，從而提高學習的興趣。例如，在學習多符號離散信源時，可以和日常生活中大家在電視上見到的搖獎場面聯系起來。一臺簡單的搖獎機，從十個號碼球中搖出一個數字號碼，可以看作一個單符號離散信源，它有十個符號，從0至9。如果需要搖出七位數的體育彩票號碼，這可以看成是一個多符號信源，一次同時發出七個符號，而且是單符號離散信源的7次擴展。又如，在學習漢明距離時，可以和英語學習聯系起來。在英語中拼寫非常接近的單詞很容易混淆或者拼寫錯誤，用信息論的觀點來看就是兩個碼字的漢明距離（不同位的個數）太小，因此抗干擾的能力差。

由于信息論方法具有相當普遍的意義和價值，因此在計算機科學、人工智能、語言學、基因工程、神經解剖學甚至金融投資學等眾多領域都有廣泛的應用，信息論促進了這些學科領域的發展，同時也促進了整個社會經濟的發展。人們已經開始利用信息論的方法來探索系統的存在方式和運動變化的規律，信息論已經成為認識世界和改造世界的手段，信息論對哲學領域也有深遠的影響。由此可見，《信息論與編碼》的課程對我們至關重要！

參考文獻

[1] 曹雪虹，張宗橙．信息論與編碼[M]．北京：清華大學出版社．2004． [2] 沈世鎰，吳忠華．信息論基礎與應用[M]．北京：高等教育出版社．2004． [3] 隋曉紅，王艷營．信息論與編碼[M]．北京：北京大學出版社.2010 [4] 傅祖蕓.信息論—基礎理論與應用[M]．北京：電子工業出版社．2004． [5] 維芬，云娜.信息論基本問題簡述[J]．信息與控制.2006

第四篇：信息論發展

信息論的發展與現代信息論

現代信息論是從上世紀二十年代奈奎斯特和哈特萊的研究開始的,他們最早開始研究了通信系統傳輸信息的能力,并且試圖度量系統的信道容量。香農于 1940 年在普林斯頓高級研究所期間開始思考信息論與有效通信系統的問題。經過 8 年的努力,1948 年,來自貝爾研究所的 Claude Shannon（克勞德·香農）的《通信的數學理論》論文公諸于世,從此宣告了嶄新的一門關于信息發面的學科──信息論的誕生。1949 年,香農又在該雜志上發表了另一著名論文《噪聲下的通信》。在這兩篇論文中,香農闡明了通信的基本問題,給出了通信系統的模型,提出了信息量的數學表達式,并解決了信道容量、信源統計特性、信源編碼、信道編碼等一系列基本技術問題。兩篇論文成為了信息論的奠基性著作。這兩篇論文一起闡述了現代信息論的基礎。并且香農開始創造性的定義了“信息”。

信息論自從二十世紀四十年代中葉到二十一世紀初期,現已成為一門獨立的理論科學,他給出一切傳輸、存儲、處理信息系統的一般理論,并指出,實現有效、可靠地傳輸和存儲信息的途徑是走數字化的道路。這是通信技術領域數字化革命的數學或理論基礎。1946 年的計算機和 1947 年晶體管的誕生和相應技術的發展,是這一革命的物理或物質基礎。信息論是在長期的通信工程實踐和理論研究的基礎上發展起來的。當物理學中的電磁理論以及后來的電子學理論一旦有某些進展,很快就會促進電信系統的創造發明或改進。這是因為通信系統對人類社會的發展,其關系實在是太密切了。日常生活、工農業生產、科學研究以及戰爭等等,一切都離不開消息傳遞和信息流動。通信系統是人類社會的神經系統,即使在原始社會也存在著最簡單的通信工具和通信系統,這方面的社會實踐是悠久漫長的。自從香農十九世紀四十年代末兩篇論文發表后,前蘇聯和美國的科學家采取了不同的研究途徑經一部發展了信息論。柯爾莫哥洛夫、賓斯基和達布魯新為首的一批著名數學家致力于信息論的公理化體系和更一般更抽象的數學模型,對信息論的基本定理給出了更為普遍的結果,為信息論發展成數學的一個分支作出了貢獻。而在美國測試有一批數學修養很高的工程技術人員致力于信息有效處理和可靠傳輸的可實現性,維信息論轉化為信息技術作出了貢獻。

世紀 50 年代,信息論向各門學科發起沖擊；60 年代信息論進入一個消化、理解的時期,在已有的基礎上進行重大建設的時期。研究重點是信息和信源編碼問題。從此信息論邁入第二個階段。我國數學家和信息科學專家在二十世紀五十年代將信息論引進中國,經過六十余年的不懈努力,尤其從二十世紀八十年代中期以來,一批華裔信息論專家在國際學術界崛起,以周炯盤院士為代表,為信息論的發展作出了自己的貢獻。到 70 年代,由于數字計算機的廣泛應用,通訊系統的能力也有很大提高,如何更有效地利用和處理信息,成為日益迫切的問題。人們越來越認識到信息的重要性,認識到信息可以作為與材料和能源一樣的資源而加以充分利用和共享。信息的概念和方法已廣泛滲透到各個科學領域,它迫切要求突破申農信息論的狹隘范圍,以便使它能成為人類各種活動中所碰到的信息問題的基礎理論,從而推動其他許多新興學科進一步發展。

雖然 1948 年香農就發明了信息論,但到 90 年代才找到或者再發現能夠逼近香農極限的 turbo 碼和 LDPC 碼；再一個局限是香農的大部分結果都是在一定的理想條件或極限條件下推導出來的,在實際系統中,這些條件可能不能滿足,因而不可能達到香農所得出的一些結論或界限,舉一個例子,信源信道分離定理是在數據分組長度無窮大和靜態信道條件下得到的,但實際系統中的編碼可能會有分組長度和限制,信道也可能是時變的,因而產生出最近較新的所謂聯合信源信道編碼理論；最后一個是局限是點對點通信的局限性,因為通信的構架存在網絡結構和多用戶的結構,所以對于網絡和多用戶的情形,香農并沒有更深入的研究,雖然他在 50 年代研究了 two way channel,但并未得出有意義的結果,目前網絡信息論或多用戶信息論是一個比較活躍的領域,主要的有意義的結論在廣播和多址接入信道,但都是退化的情形才成立的結論,更一般的情形,還有一些其他如中繼信道等,還有待進一步研究。

參考文獻：

葉中行,信息論基礎[J],高等教育出版社 盧侃,從 Shannon 信息論到認知信息論[A],哈爾濱工程大學學報,第 32 卷第 8 期.仇佩亮,信息論及其應用［M］,杭州：浙江大學出版社,1999 謝邦榮,彭征明,信息論在作戰效能評估中的應用研究 [A] ,北京, 2007 邵軍虎,量子 LDPC 糾錯碼算法及應用方案研究,西安電子科技大學[D] ,2012

汪洋,趙萬民,人居環境研究的信息論科學基礎及其圖譜意象系統[J],2012 PKU CSSCI ,香農信息定義分析與改進[J],2008 年 8 期, 洪潔,范修斌,范明鈺,信息論及其在序列密碼設計應用中的幾點認識[] ,2003 Neil Savage, Information theory after Shannon[J], 2011, Vol.54(2)Gregory J.Chaitin,A Theory of Program Size Formally Identical to Information Theory[J],1975, Vol.22(3)知識改變命運

第五篇：信息論論文[定稿]

湖南科技大學課程結課論文

《信息論與編碼A》

學院：信息與電氣工程學院 專業： 班級： 學號： 姓名：

信息論基礎

摘要：從對信息論的一些基礎知識匯總，信息的定義，信息論的發展；還有信源與信息熵，信道與信道容量，編碼這些關鍵知識點做一個系統性的回顧，再結合通信領域的知識進行分析。關鍵字：信息論；

引言：

信息論是運用概率論與數理統計的方法研究信息、信息熵、通信系統、數據傳輸、密碼學、數據壓縮等問題的應用數學學科。信息系統就是廣義的通信系統，泛指某種信息從一處傳送到另一處所需的全部設備所構成的系統。

名稱由來：

信息論將信息的傳遞作為一種統計現象來考慮，給出了估算通信信道容量的方法。信息傳輸和信息壓縮是信息論研究中的兩大領域。這兩個方面又由信息傳輸定理、信源－信道隔離定理相互聯系。

發展簡史：

信息論是20世紀40年代后期從長期通訊實踐中總結出來的一門學科，是專門研究信息的有效處理和可靠傳輸的一般規律的科學。

切略（E.C.Cherry）曾寫過一篇早期信息理論史，他從石刻象形文字起，經過中世紀啟蒙語言學，直到16世紀吉爾伯特（E.N.Gilbert）等人在電報學方面的工作。

20世紀20年代奈奎斯特（H.Nyquist）和哈特萊（L.V.R.Hartley）最早研究了通信系統傳輸信息的能力，并試圖度量系統的信道容量。現代信息論開始出現。1948年克勞德·香農（Claude Shannon）發表的論文“通信的數學理論”是世界上首次將通訊過程建立了數學模型的論文，這篇論文和1949年發表的另一篇論文一起奠定了現代信息論的基礎。

由于現代通訊技術飛速發展和其他學科的交叉滲透，信息論的研究已經從香農當年僅限于通信系統的數學理論的狹義范圍擴展開來，而成為現在稱之為信息科學的龐大體系。

信息的性質：

信息有以下性質：客觀性、廣泛性、完整性、專一性。首先，信息是客觀存在的，它不是由意志所決定的，但它與人類思想有著必然聯系（第四節將具體分析）。同時，信息又是廣泛存在的，四維空間被大量信息子所充斥。信息的一個重要性質是完整性，每個信息子不能決定任何事件，須有兩個或兩個以上的信息子規則排布為完整的信息，其釋放的能量才足以使確定事件發生。信息還有專一性，每個信息決定一個確定事件，但相似事件的信息也有相似之處，其原因的解釋需要信息子種類與排布密碼理論的進一步發現。

基本內容：

傳統的通信系統如電報、電話、郵遞分別是傳送電文信息、語聲信息和文字信息的；而廣播、遙測、遙感和遙控等系統也是傳送各種信息的，只是信息類型不同，所以也屬于信息系統。有時，信息必須進行雙向傳送，例如電話通信要求雙向交談，遙控系統要求傳送控制用信息和反向的測量信息等。這類雙向信息系統實際上是由兩個信息系統構成。所有信息系統都可歸納成如圖所示的模型來研究它的基本規律。

信源：信息的源泉或產生待傳送的信息的實體，如電活系統中的講話者，對于電信系統還應包括話筒，它輸出的電信號作為含有信息的載體。

信息熵：所謂信息熵，是一個數學上頗為抽象的概念，在這里不妨把信息熵理解成某種特定信息的出現概率。而信息熵和熱力學熵是緊密相關的。根據Charles H.Bennett對Maxwell's Demon的重新解釋，對信息的銷毀是一個不可逆過程，所以銷毀信息是符合熱力學第二定律的。而產生信息，則是為系統引入負（熱力學）熵的過程。所以信息熵的符號與熱力學熵應該是相反的。

信宿：信息的歸宿或接受者，在電話系統中這就是聽者和耳機，后者把接收到的電信號轉換成聲音，供聽者提取所需的信息。信道：傳送信息的通道，如電話通信中包括中繼 器在內的同軸電纜系統，衛星通信中地球站的收發信機、天線和衛星上的轉發器等。

編碼器：在信息論中是泛指所有變換信號的設備，實際上就是終端機的發送部分。它包括從信源到信道的所有設備，如量化器、壓縮編碼器、調制器等，使信源輸出的信號轉換成適于信道傳送的信號。

譯碼器：是編碼器的逆變換設備，把信道上送來的信號轉換成信宿能接受的信號，可包括解調器、譯碼器、數模轉換器等。

哈夫曼碼：哈夫曼碼是用概率匹配方法進行信源編碼。它有兩個明顯的特點：一是哈夫 曼的編碼方法保證了概率大的符號對應于短碼，概率小的符號對應于長碼，充分利用了短碼；二是縮減信源的最后兩個碼字總是最后一位不同，從而保證了哈夫曼碼是即時碼

當信源和信宿已給定、信道也已選定后，決定信息系統性能就在于編碼器和譯碼器。設計一個信息系統時，除了選擇信道和設計其附屬設施外，主要工作也就是設計編譯碼器。一般情況下，信息系統的主要性能指標是它的有效性和可靠性。有效性就是在系統中傳送盡可能多的信息；而可靠性是要求信宿收到的信息盡可能地與信源發出的信息一致，或者說失真盡可能小。最佳編譯碼器就是要使系統最有效和最可靠。但是，可靠性和有效性往往是相互矛盾的。越有效常導致不可靠，反之也是如此。從定量意義上說，應使系統在規定的失真或基本無失真的條件下，傳送最大的信息率；或者在規定信息率的條件下，失真最小。計算這最大信息率并證明達到或接近這一值的編譯碼器是存在的，就是信息論的基本任務。只討論這樣問題的理論可稱為仙農信息論般認為信息論的內容尚應更廣泛一些，即包括提取信息和保證信息安全的理論。后者就是估計理論、檢測理論和密碼學。

信息論是建立在概率論基礎上而形成的，也就是從信源符號和信道噪聲的概率特性出發的。這類信息通常稱為語法信息。其實，信息系統的基本規律也應包括語義信息和語用信息。語法信息是信源輸出符號的構造或其客觀特性所表現與信宿的主觀要求無關，而語義則應考慮各符號的意義，同樣一種意義，可用不同語言或文字來表示，各種語言所包含的語法信息可以是不同的。一般地說，語義信息率可小于語法信息率；電報的信息率可低于表達同一含義的語聲的信息率就是一個例子。更進一步，信宿或信息的接受者往往只需要對他有用的信息，他聽不懂的語言是有意義的，但對他是無用的。所以語用信息，即對信宿有用的信息一般又小于語義信息。倘若只要求信息系統傳送語義信息或語用信息，效率顯然會更高一些。在目前情況下，關于語法信息，已在概率論的基礎上建立了系統化的理論，形成一個學科；而語義和語用信息尚不夠成熟。因此，關于后者的論述通常稱為信息科學或廣義信息論，不屬于一般信息論的范疇。概括起來，信息系統的基本規律應包括信息的度量、信源特性和信源編碼、信道特性和信道編碼、檢測理論、估計理論以及密碼學。

信息與通信：

信息就是一種消息，它與通訊問題密切相關。1948年貝爾研究所的香農在題為《通訊的數學理論》的論文中系統地提出了關于信息的論述，創立了信息論。維納提出的關于度量信息量的數學公式開辟了信息論的廣泛應用前景。1951年美國無線電工程學會承認信息論這門學科，此后得到迅速發展。20世紀50年代是信息論向各門學科沖擊的時期，60年代信息論不是重大的創新時期，而是一個消化、理解的時期，是在已有的基礎上進行重大建設的時期。研究重點是信息和信源編碼問題。到70年代，由于數字計算機的廣泛應用，通訊系統的能力也有很大提高，如何更有效地利用和處理信息，成為日益迫切的問題。人們越來越認識到信息的重要性，認識到信息可以作為與材料和能源一樣的資源而加以充分利用和共享。信息的概念和方法已廣泛滲透到各個科學領域，它迫切要求突破申農信息論的狹隘范圍，以便使它能成為人類各種活動中所碰到的信息問題的基礎理論，從而推動其他許多新興學科進一步發展。人們已把早先建立的有關信息的規律與理論廣泛應用于物理學、化學、生物學等學科中去。一門研究信息的產生、獲取、變換、傳輸、存儲、處理、顯示、識別和利用的信息科學正在形成。