第一篇：淺談信息論及其應用

淺談信息論及其應用

摘要

本文主要研究了信息論的起源、信息論的分類、信息論研究的主要內容以及信息論在現實生活中的運用，信息論是運用概率論與數理統計的方法研究信息信息熵通信系統數據傳輸密碼學數據壓縮等問題的應用數學學科。主要介紹信息論在數據壓縮、密碼學、統計及信號處理中的應用。

關鍵字：信息論數據壓縮密碼學

一、信息論的起源

隨著社會的發展，科學技術的不斷進步，近些年信息論，控制論和系統論被作為一種新的理論方法，在社會科學各個領域中被加以嘗試和運用。信息反饋控制機制穩定性等大量新概念和新名詞被人們所接受，并涌進許多傳統的社會科學領域這是一場方法論的革命，為社會科學各個領域帶來了朝氣。

信息論最早是美國研究所（信息論之父）克勞德·申農提出[1]，他于1948年10月發表于貝爾系統技術學報上的論文《通信的數學原理》作為現代信息論研究的開端。

二、信息論的定義與分類

（一）定義[2]

1.申農認為信息論是：通訊的基本問題就是精確地或近似地在一端復現在另一端所挑選的信號。

2.信息論是關于信息的本質和傳送規律的科學理論，是研究信息的計量、發送、傳遞、交換、接收和儲存的一門新興科學。

（二）分類

1.狹義信息論：是用統計學的方法研究通訊系統中存在的信息傳遞和處理的規律的科學。

2.廣義信息論：是用數學和其他有關科學的方法研究一切現實系統中存在的信息傳遞、處理識別和利用的共同規律的科學。

三、信息論研究的基本內容

實際通信系統比較復雜，但是任何通信系統都可以抽象為信息源發送機信道接收機收信者，因此，通信過程中信息的定量表示信源和信宿信道和信道容量編碼和譯碼等方面的問題，就構成了信息論的基本內容。信息論是運用概率論與數理統計的方法研究信息信息熵通信系統數據傳輸密碼學數據壓縮等問題的應用數學學科。信息論將信息的傳遞作為一種統計現象來考慮，給出了估算通信信道容量的方法。信息傳輸和信息壓縮是信息論研究中的兩大領域這兩個方面又由信息傳輸定理信源信道隔離定理相互聯系[3]。

1.信息。從廣義上講，信息是指不同物質在運動過程中發出的各種信號；從狹義上講，信息是指各種物質在運動過程中發出的映出來的數據。指令消息情報圖象信號等對于信息的定義，目前學術界還沒有一個一致的看法，信息論的創始人申農認為，信息就是用以消除隨機的不定性的東西；控制論的創始人維納認為，信息是人與環境相互交換內容的名稱，也可以叫負商。

信息依賴于物質和能量，但是它與物質和能量有明顯的區別，它不是獨立的實體，它不會由于輸送和攝取而消耗，也不會因為無人問津而增殖；信息的作用與物質的多寡也沒有必然的聯系，而且在許多情況下，信息的作用是物質和能量所不能代替的可以說信息既不是物質，也不是意識，而是物質聯系的形式。

2.信息量。它是信息多少的量度許多科學家對信息進行深入的研究以后，發現事件的信息量與事件出現的概率有密切的關系：事件發生的概率大，信息量就越小；反之，事件發生的概率就越小，信息量就越大。例如：池塘周圍的護欄越密，小孩或大人掉進池塘的可能性就越少；反之則反[4]。

3.信源和信宿。信源即消息的來源消息一般以符號的形式發出，通常就有隨即性信源是多方面的，自然界的一切物體都可以成為信源如：人在碰見歹徒時會發出救命的聲音，這對于其他人來說是一種信息狗看見陌生人就會發出汪汪的叫聲，告訴主人有朋友來了或者有盜賊入侵草兒綠了，預示著春天來了由此可見，信息的發出者不僅僅是人類所具有的特質，而且其他動物。植物等也具有這一功能如果信源發出的信號是確定的，即是事先知道的，就不會傳輸任何信息如果符號的出現是時刻變化的隨機事件，就可以用隨機變量來表示以隨機變量來研究信息，是信息論的一個基本思想。

信宿是信息的接收者，它能夠接收消息，并使消息再現，達到通訊的目的信宿可以是人，也可以是機器。例如：我們看電視，電視是信息的發出者，人從電視上了解各種各樣的信息，人就是信宿；電視相對于各個電視臺來說，也是一個信宿，即信息的接收者。

4.信道和信道容量在信源和信宿之間存在著傳遞信息的通道，其主要任務是傳輸信息和存儲信息。信源發出的信息必須進行編碼，使之能轉化成為能在信道中傳輸的信號信道容量是指信道傳輸信息的多少以及速度。通訊速度的大小并不完全取決于信道的性質，它還隨信源性質和編碼方法而改變。

5.編碼和譯碼。“碼”是一個符號表達和將這些符號排列起來所必須遵守的一些約定。運用這些符號，遵守相應的約定把信息變成信號，這一過程就是編碼用符號來表達消息，稱為信源編碼；將符號轉換成為信道所要求的信號，稱為信道編碼[5]。

在通訊系統里，消息往往要經過幾次編碼，才能變成適合信道傳輸的信號當信號系列通過信道輸出后，必須經過譯碼復制成消息，才能送達接收者。譯碼過程正好與編碼過程相反，所以譯碼就是編碼的逆過程。

6.信息方法。所謂信息方法，是指用信息的觀察來考察系統的行為結構和功能，通過對信息的獲取、傳遞、存儲、加工過程的分析，達到對某個復雜系統運動過程的規律性認識。它不需要對事物的整體結構進行剖析性的分析，而僅僅對信息的流程加以綜合考察，就可獲得關于系統的整體性知識。

信息方法的主要特點：是完全撇開對象的具體運動形態，把系統的運動過程抽象為信息過程，在不考慮系統內具體物質形態、不打開機器或活體的條件下研究系統與外界之間的輸入與輸出的關系。這種方法也叫控制論中的黑箱方法。信息與控制信息論方法與控制論方法是緊密相連的沒有信息就無所謂控制，控制就是通過信息來實現對系統行為、功能的調整信息方法。也可以說是用信息觀點來考察控制系統的行為功能結構的方法信息方法的另一個特點是：它不是為了說明客觀對象，而是為了說明客觀對象的過程，說明主、客體之間信息交換過程的方式，以達到對控制系統運動過程的規律性認識。如果從物質構成和運動形態來看，生命系統社會系統人造技術系統是極為不同的，但是，他們的運動過程都可以抽象化為一個信息傳遞、加工、交換的過程。

四、信息論的應用

信息很早就被人們利用，但真正被作為一個科學概念探討，則是20世紀40年代以后的事，而被作為科學為人們普遍認識和利用則是近幾十年的事情。當今世界，信息技術日新月異，在經濟社會各領域的應用不斷深化，日益深刻地影響著人類社會發展。信息產業已經發展成為當前世界上最大的產業。可以說，在當代高新技術群中，信息技術的發展速度最快，應用最為廣泛，對經濟社會發展的貢獻最為顯著。

信息是人類社會互通情報的實踐過程中產生的，在當今信息社會中，常把它作為人們認識世界的向導與智慧的源泉，也是社會與社會生產力發展的動力與資源。信息作為一種資源，如何開發、利用、共享是人們普遍關注的問題。信息是信息論中最基本最重要的概念。信息論是應用近代數理統計方法研究信息的傳輸、存儲與處理的科學[6]。其基本任務是為設計有效而可靠的通信系統提供理論依據，主要特點是理論的成功應用。

1.信息論在數據壓縮理論中的應用

信息論之父香農在 1948 年發表的論文《通信的數學理論》一文中指出，任何信息都有冗余，冗余大小和信息中每個符號的出現概率或者說不確定性有關[7]。香農把信息中排除了冗余后的平均信息量稱為信息熵，并給出了計算信息熵的數學表達式，這為數據壓縮奠定了理論基礎。

數據壓縮的主要目的是力求用最少的數據表示信源所發出的信號，使信號占用的存儲空間盡可能小，以達到提高信息傳輸速度的目的。數據壓縮在近代信息處理問題中有大量的應用，無論在數據存儲或傳送中，通過數據壓縮不僅可以大大節省資源利用的成本，而且把一些原來無實用意義的技術，如多媒體技術中的一些問題，達到具有實用意義的標準。

數據壓縮作為信息論研究中的一項內容，主要是有關數據壓縮比和各種編碼方法的研究，即按某種方法對源數據流進行編碼，使得經過編碼的數據流比厡數據流占有較少的空間。其中基于符號頻率統計的哈夫曼編碼效率高，運算速度快，實現方式靈活，使得其在數據壓縮領域得到了廣泛的應用。不過，哈夫曼所得的編碼長度只是對信息熵計算結果的一種近似，還無法真正逼近信息熵的極限。所以盡管哈夫曼編碼具有良好的壓縮性能，也一直占據重要的地位，還是不斷有基于哈夫曼編碼的改進算法提出。

算數編碼是一種可以成功地逼近信息熵極限的編碼方法，它與部分分配預測模型結合，開發了壓縮效果近乎完美的壓縮算法。算數編碼雖然可以獲得最短的編碼長度，但其本身的復雜性也使得算數編碼的任何具體實現在運行時都慢如蝸牛，導致難以滿足日常應用的需求。此時，LZ系列算法的優越性很快就在數據壓縮領域里體現了出來，LZ系列算法基本解決了通用數據壓縮中兼顧速度與壓縮效果的難題。

數據壓縮技術的不斷完善是依靠在信息論這門學科的成長上的，信息能否被壓縮以及能在多大程度上被壓縮與信息的不確定性有直接的關系，人工智能技術將會對數據壓縮的未來產生重大影響。

2.信息論在密碼學中的應用

密碼學是研究編制密碼和破譯密碼的技術科學。從傳統意義上來說，密碼學是研究如何把信息轉換成一種隱蔽的方式并阻止其他人得到它。密碼術的研究和應用雖有很長的歷史，但在信息論誕生之前，它還沒有系統的理論，直到香農發表的保密通信的信息理論一文，為密碼學確立了一系列的基本原則與指標，如加密運算中的完全性、剩余度等指標，它們與信息的度量有著密切相關。之后才產生了基于信息論的密碼學理論，所以說信息論與密碼學的關系十分密切。

近代密碼學由于數據加密標準與公鑰體制的出現于應用，使近代密碼學所涉及的范圍有了極大的發展，尤其是在網絡認證方面得到廣泛應用，但其中的安全性原理與測量標準仍未脫離香農保密系統所規定的要求，多種加密函數的構造，如相關免疫函數的構造仍以香農的完善保密性為基礎。

3.信息論在統計中的應用

信息論在統計中的應用一般指信息量在統計中的應用，也有編碼定理與碼結構在統計中的應用等問題。由于統計學研究的問題日趨復雜，如統計模型從線性到非線性，統計分布從單一分布到混合分布，因此信息量在統計中的作用日趨重要，在許多問題中以信息量作為它們的基本度量[8]。

在統計領域里，統計計算技術近年來發展很快，它使許多統計方法,尤其是 Bayes 統計得到廣泛的運用。Bayes 計算方法有很多，其中一類是直接應用于后驗分布以得到后驗均值或后驗眾數的估計，以及這種估計的漸進方差或其近似。EM 算法就是一種迭代方法,主要用來計算后驗分布的眾數或極大似然估計。這種方法可以廣泛的應用于缺損數據，截尾數據，成群數據，帶有討厭參數的數據等所謂的不完全數據。EM 算法的最大優點是簡單和穩定，主要目的是提供一個簡單的迭代算法來計算極大似然估計，問題是如此建立的 EM 算法得到的估計序列是否收斂。它的特點與信道容量的遞推漸近算法相似，但應用更為廣泛。EM算法實現簡單，數值計算穩定，存儲量小，并具有良好的全局收斂性。EM算法是一種求參數極大似然估計的迭代算法，在處理不完全數據中有重要應用。

信息與統計相結合的其他典型問題還很多，如假設檢驗中的兩類誤差估計問題，試驗設計問題，信息量在有效估計中的應用問題等，這些問題已使信息論與統計學想成相互推動發展的局面。

4.信息論在信號處理中的應用

信號處理包括數據、影象、語聲或其他的信號的處理，從信息論的觀點看，信號則是觀察客觀事物表達其相應信息的技術手段，也就是特定信息的載體[9]。信息是通過信號來表達的，對信息的加工和處理，也就是信號的加工和處理。所有處理過程無非是信源編碼，變換，過濾或決策過程，其實變換也是一種編碼過程。這些過程中的大部分的信息論基礎是信息率失真理論。

譬如數字信號處理，其技術可以歸結為以快速傅里葉變換和數字濾波器為核心，以邏電路為基礎，以大規模集成電路為手段，利用軟硬件來實現各種模擬信號的數字處理，其中要用到信息論中的信號檢測、信號變換、信號的調制和解調、信號的運算、信號的傳輸和信號的交換等。

現在，信息理論與技術不僅直接應用于通信、計算機和自動控制等領域，而且還廣泛滲透到生物學、醫學、語言學、社會學、經濟學和管理學等領域，與這些交叉學科的發展，是信息論的應用范圍更加廣泛。

五、結束語

信息論是一門非常系統和理論性很強的學科，它涉及到隨機過程，概率論與數理統計，線性代數等多門學科。在張老師的細心指導下，我們對信息論這們課的主要理論有了比較深刻的認識，對其中所提到的香農三大定理也由原來的一知半解到現在的融會貫通。這將為我以后的通信課程學習奠定了堅實的理論基礎。

張老師在上課過程中曾經多次提到過對香農信息論的局限性。香農信息論在對離散信源的平均信息量等問題解釋的還是比較的全面和真實，但是對連續信源來說，有它不足的地方。在現代信息論發展的過程中曾有過許多這方面的專家和學者試圖構造另一種較香農信息論更好的理論來描述連續信源。但是，直到現在為止，所提出來的諸多方案中，沒有一個是優于香農的。這就是說，信息論的理論體系還有待人們去完善和充實它。所以張老師也寄希望我們能夠在這片領域里能夠有所發現，彌補香農信息論的缺陷。我相信，憑著我們這樣一批朝氣蓬勃的年輕人的敢想，敢為，敢拼的進去精神，和陳老師對我們的殷切期望，一定會有有志之士沿著那些科學泰斗們沒有走完的道路，繼續前進！

參考文獻

[1] 陳元生.簡述信息論, 控制論, 系統論在現代企業人力資源管理中的應用[J].時代經貿, 2007, 70(5): 108-109.[2] 劉大春主編.科學邏輯與科學方法論名釋[M].江西教育出版社, 1997.[3] 王暉主編.科學研究方法論[M].上海財經大學出版社,2004.[4] Adner R, Levinthal D.Technology speciation and the path of emerging technologies[J].Wharton on managing emerging technologies, 2000, 5574.[5] Tushman M L, Anderson P.Technological discontinuities and organizational environments[J].Administrative science quarterly, 1986: 439-465.[6] 曹雪虹, 張宗橙.信息論與編碼[M].清華大學出版社有限公司, 2004.[7] 周葉林.科學研究中的信息論及其應用[J].今日南國(理論創新版), 2009, 5: 118.[8] 沈世鎰, 吳忠華.信息論基礎與應用[M].高等教育出版社, 2004.[9] 周蔭清.信息理論基礎[M].北京航空航天大學出版社, 2006.

第二篇：信息論修改版

信息論局限性分析以及在光通信中的應用

摘要

從新的角度指出了香農信息論的局限性，這些局限性主要體現在對信息的可靠性和完備性的忽視，通過例子分析進一步說明信息可靠性對于度量信息的重要意義。指出局限性產生的根源在于對信息多重不確定性的忽視，以及對概率值本身存在不確定性的認識不足。后半部分介紹了信息論在光通信領域的一些應用。

關鍵詞：信息論，通信，可靠性，糾錯，概率，光通信。

Abstract The limitations of Shannon information theory are pointed out from new angles.The limitations areembodied in the neglect of the reliability and completeness of information.The significance of the reliability of information to measure information is further illustrated by the analysis of some examples.It is pointed out that the origin of the limitation rests with the neglect of multiple uncertainty of information and the lack of cognition that the value of probability maybe uncertain itself.Keywords: information theory, communication, reliability, errorcorrection,probability optical communication.正文

第一小節：信息論的局限性分析 1.引言

香農(Shannon)信息論對通信技術的發展具有深遠的影響。但是信息論的應用一直限于通信等一些很局限的領域，信息論并不能夠完全地適用于一些信息技術相關的領域。關于香農信息論的局限性，許多學者都有認識，香農本人也反對將信息論濫用。國內外一些學者從許多角度討論了信息論的局限性，比如沒有考慮語義、語用，沒有考慮信息的模糊性和事件之間的相似性，沒有考慮事件劃分可能存在包含關系等。筆者發現信息論的局限性一個重要體現就是忽視信息的可靠性，缺乏對可靠性的度量。

2.香農信息論針對現實問題的局限性

香農對信息的定義，對信息的度量，以及他的信息論，基本上都是用熵來計算的隨機不確定性，并沒有考慮信息的可靠度，對信息的可靠度的考慮最多是從信息傳遞過程中的失真進行了考慮。香農將信息定義為消除不確定性的東西，與他研究通信中的條件熵不增加有密切關系。

現信息論存在如下局限性：第一，信息論沒有考慮信息的可靠性問題，而現實中的信息大多數都是不可靠的。而信息的可靠性卻是信息價值的前提，比如情報類信息的可靠性就非常重要。信息的可靠性是信息的主要指標，但是信息論沒有考慮，僅僅是考慮到信息的不確定性。

第二，信息的完備性問題，信息論并沒有考慮信息并不完全發送的情況，而現實中許多信息都是不完全（完備）、片面的，需要融合。在沒有更加完備信息的場合下，人們往往權宜地將片面的信息姑且當作全面的信息來對待這一些簡單的信道并聯和串聯可以合為一個信道，比如簡單的兩個串聯信道的信道矩陣可以直接通過相乘而當作一個信道，但是信息論沒有考慮信息復雜的多重傳遞，比如，信息從一個信源傳遞到中間信宿，而中間信宿又轉發給一個最終信宿，而且在這個轉換的過程中，信息的表示發生了改變，在這種多重傳遞的過程中，可能會產生多重不確定性。

第三，現實中的信息往往需要經過這種多重傳遞，導致多重不確定性。比如，當然如果考慮前面提到的模糊集合等，這種多重不確定性性將更加復雜。信息論沒有考慮到信道矩陣的傳遞概率等參數的復雜性。現實中這種傳輸特性可能不是確定不變的，而可能是隨機變量，甚至可能更加復雜。

第四，信息論中以通信為研究對象，其傳輸的信號本身是確定的，然而現實中卻存在許多不確定性問題。在通信中，定義信息為消除不確定性的東西無可厚非，但是面對本身不確定的信息，我們如果去消除其不確定性。

第五，信息論中的條件相對而言是簡單的，而且多是以條件概率來表示的。然而現實中許多中的信息的條件是比較復雜的，比如，給出的條件可能是知識、規律等等，在已知先驗概率的情況下，又得知某一個規律，通過這個規律并不能簡單得出相應的條件概率來。

第六，信息論用先驗概率來表示已知的信息，然而，現實中，許多已知的信息并不是可以用先驗概率來表示，比如可能包含未知數，可能是某個約束條件，可能是某個規律，甚至可能是完全未知的。3.實際應用分析

實例1：甲從乙處得到情報：“敵人明天早晨百分之九十九要發動進攻”。此后，甲同樣從丙處得到相同的情報。從信息論角度來看，對于問題“敵人明天早晨是否要發動進攻”，不確定性是一樣的，因而信息量一樣，丙似乎并不提供新的信息。但是人們依然會感覺從丙處得到了信息，這種信息使得甲更加確定“敵人明天早晨百分之九十九要發動進攻”，這一例子進一步說明信息的可靠性應當是一個度量信息的指標。

實例2：當獲得消息“所有的事件都是等概率發生的”的時候，對這句話的內容是什么，或者對于問題“所有的事件發生呈現什么樣的概率分布”而言，它消除了不確定性。但是對于什么事件將發生情況，不可能是更加確定，信息量不可能增加而只可能是減少。這一點說明信息量僅僅是針對于消息本身的不確定性而言的，而該消息衍生出來的問題的不確定性并不與消息的信息量有必然聯系，因此，信息熵這一度量的應用范圍也是有限的，并不適合應用在日常的信息問題中。

通過以上的例子分析，暴露出信息論的一些局限性，為挖掘信息論局限性的根源提供了基礎。

4.信息論局限性的本質及結論

由以上例子分析可以得出，信息論沒有考慮信息的可靠性，而信息的可靠性是一個非常重要的指標。在通信中，由于消息是確定的，因此，不確定性的消除與可靠性的增加有一定的聯系。實際上，我們要消除不確定性是很容易的事情，而香農信息論的消除不確定性是以保證信息的可靠性和完備性為基礎的，比如利用糾錯碼糾錯，利用后驗概率來增強信息的完備性。假如把信息的確定性當作唯一的指標，拋開信息的可靠性問題，則可以隨便確定某一事件的概率為1，其余事件的概率為0 就可以了。再假如，我們把信息的確定性當作首要考慮的目標，其次考慮其可靠性，則我們也可以指定概率最大的事件概率為1，其余事件概率為0。這樣首先保證了確定性，可靠性也在一定程度上得到了滿足。如果如此，信息論和信息處理就變得相當的簡單了。顯然現實中人們不是這樣的。根據以上多處的分析，可靠度是信息的一個首要指標。以上的信息的可靠性、完備性以及經典集合的不切和實際都可以歸結為對信息的多重不確定性的忽視，比如，在實例分析中，我們發現不可靠的信息，它的信息表示本身是不固定的，其概率值可能是隨機變量，不完備的信息也是類似。對于模糊集和粗糙集之類的非經典集合，則可以認為是某一個集合包含的對象不確定而造成的，比如，在粗糙集中，對象可能屬于也可能不屬于集合X，對象a 是否屬于集合X 就具有隨機不確定性。其中一些不確定性與信息論原有的不確定性疊加起來就可能產生多重不確定性。這里的不確定性除了隨機不確定性、模糊不確定性，還可能有更多形式的不確定性，包括某些不完全的約束條件造成的不確定性。可見，對信息多重不確定性的忽視是信息論的局限性的重要的根源。對信息可靠性的忽視也是信息論無法廣泛應用的重要原因。鑒于所有的信息都很難可靠和完備，所以我們可以將可靠性和完備性問題總歸為信息的相對性問題。實際上，現實中人們很難得出完全可靠的信息，只有權宜地采用相對可靠的信息，當有更加可靠的信息的時候，人們會利用更可靠的信息取代先驗的信息。由于可靠性也與概率值的不確定性有關系，對信息可靠性的度量也可以借鑒香農對信息不確定性的度量，然而，計算概率的不確定性會比信息熵的計算復雜，因為概率需要滿足更多的約束條件。

當然，信息論也與現實信息問題具有很強相似性，信息論的方法很值得在現實的信息問題的研究中（包括信息的可靠性的研究中）借鑒，總而言之，信息論的局限性是源于信息論是針對通信問題的，其模型本身具有的局限性。當然也與概率論的局限性有關系，由于對概率值隨機性和多重隨機不確定性研究的不足，使得人們容易陷入“概率（包括聯合概率分布）就是確定值，而不可能是隨機變量”，“給定條件就可以得出條件概率”等思維定勢中，而這些思維定勢只是適用于現實概率論問題中的一部分。由于信息論的這些限制條件能夠較好地滿足通信問題，使得它能夠在通信領域得到成功的應用，而推廣到一般的信息領域則需要針對它的局限性解除相應的約束條件。

第二小節．信息論在光通信中的應用

自香農(C．E．Shannom)提出信息理論以來，信息論已經成為通信理論中重要而又基礎的一部分。如今，通信中越來越多的使用光作為傳輸媒質以及光器件的快速發展，電信道已被光信道所取代。光信道的信息容量的大小已成為人們關心的課題。對此進行分析和比較。

光量子信道的信道容量從信息論的角度可以認為光量子信道是信號和噪聲疊加的加性信道。假設在頻率

fi時，輸人信號產生的平均量子數為xi，噪聲產生的平均量子數為ni可得，對于頻率，輸出信號的平均量子數為

y=x+niii

p(xi)p()p(yi)，ni，假設xi與ni統計獨立。設xi，ni，p(yi的概率密度函數為yi且x)i=p(ni)在特定頻率 上，光量子信道的平均互信息:

I(y;xi)?H(y)?H(ni)ii（*）

因為固定時間間隔?t，?t?1/fi，所以單位時間內的平均互信息:

1?I(X;Y)??I(y;xi)?H(Y)?H(n)i?ti?0

在f1上，假設接收信號的光量子的離散能譜為Ei?hfi(h是普朗克常數).由于熱輻射，光量子的波動服從Gibb分布

p(ni)?1?exp[?hfi/kT]exp[nihfi/kT]

2H(n)??Kt/3hln2 可得，光量子的波動引起的噪聲熵:信號最大熵：

H(Y)????p(y)logp(y)df?ii03hln2yi?0

C?由式（*）可得光量子信道容量：

??2kTe?2Kt3hln2[(1?6hs1/2)?1]?kT

6hs??12當hf??kT,即信噪比(?kT)時，光量子信道的信道容量極限值為：

C光量子=2S1/2)ln23h

(1)

(?6hs??12當信噪比很小(?kT)時，光量子信道的信道容量極限值為

C經典=SN0ln2

(2)

此式正是由香農公式得到的信道容量極限值式，其中N0?KT。

結論

從以上分析可看出，對于光量子信道來言，當頻率很高時，信道容量的極限值是式(1)，而不是式(2)。只有當信噪比很低時，光量子信道的極限值才等于香農信道容量公式的極限值。因此，對于窄帶的光量子信道，帶寬?f??f（中心頻率)時，可計算得光量子信道的極限值就等于香農信道容量公式。

參考文獻

[1]朱雪龍著．應用信息論基礎．清華大學出版社.[2]傅祖蕓著．信息論基礎理論與應用．電子工業出版社，2001(8).[3]陶純堪，陶純匡著．光學信息論．科學出版社，1999(3).[4]Shannon C E.A mathematical theory of communication[J]，Bell System Technical Journal,27(1948)，379—429，623—656.[5].鐘義信．信息科學原理[M]．福州：福建人民出版社，1988． [6].魯晨光．廣義信息論[M]．中國科技大學出版社，1993.[7].王勇，香農信息定義分析與改進[OL]，www.tmdps.cn, 2007年11月.

第三篇：信息論發展

信息論的發展與現代信息論

現代信息論是從上世紀二十年代奈奎斯特和哈特萊的研究開始的,他們最早開始研究了通信系統傳輸信息的能力,并且試圖度量系統的信道容量。香農于 1940 年在普林斯頓高級研究所期間開始思考信息論與有效通信系統的問題。經過 8 年的努力,1948 年,來自貝爾研究所的 Claude Shannon（克勞德·香農）的《通信的數學理論》論文公諸于世,從此宣告了嶄新的一門關于信息發面的學科──信息論的誕生。1949 年,香農又在該雜志上發表了另一著名論文《噪聲下的通信》。在這兩篇論文中,香農闡明了通信的基本問題,給出了通信系統的模型,提出了信息量的數學表達式,并解決了信道容量、信源統計特性、信源編碼、信道編碼等一系列基本技術問題。兩篇論文成為了信息論的奠基性著作。這兩篇論文一起闡述了現代信息論的基礎。并且香農開始創造性的定義了“信息”。

信息論自從二十世紀四十年代中葉到二十一世紀初期,現已成為一門獨立的理論科學,他給出一切傳輸、存儲、處理信息系統的一般理論,并指出,實現有效、可靠地傳輸和存儲信息的途徑是走數字化的道路。這是通信技術領域數字化革命的數學或理論基礎。1946 年的計算機和 1947 年晶體管的誕生和相應技術的發展,是這一革命的物理或物質基礎。信息論是在長期的通信工程實踐和理論研究的基礎上發展起來的。當物理學中的電磁理論以及后來的電子學理論一旦有某些進展,很快就會促進電信系統的創造發明或改進。這是因為通信系統對人類社會的發展,其關系實在是太密切了。日常生活、工農業生產、科學研究以及戰爭等等,一切都離不開消息傳遞和信息流動。通信系統是人類社會的神經系統,即使在原始社會也存在著最簡單的通信工具和通信系統,這方面的社會實踐是悠久漫長的。自從香農十九世紀四十年代末兩篇論文發表后,前蘇聯和美國的科學家采取了不同的研究途徑經一部發展了信息論。柯爾莫哥洛夫、賓斯基和達布魯新為首的一批著名數學家致力于信息論的公理化體系和更一般更抽象的數學模型,對信息論的基本定理給出了更為普遍的結果,為信息論發展成數學的一個分支作出了貢獻。而在美國測試有一批數學修養很高的工程技術人員致力于信息有效處理和可靠傳輸的可實現性,維信息論轉化為信息技術作出了貢獻。

世紀 50 年代,信息論向各門學科發起沖擊；60 年代信息論進入一個消化、理解的時期,在已有的基礎上進行重大建設的時期。研究重點是信息和信源編碼問題。從此信息論邁入第二個階段。我國數學家和信息科學專家在二十世紀五十年代將信息論引進中國,經過六十余年的不懈努力,尤其從二十世紀八十年代中期以來,一批華裔信息論專家在國際學術界崛起,以周炯盤院士為代表,為信息論的發展作出了自己的貢獻。到 70 年代,由于數字計算機的廣泛應用,通訊系統的能力也有很大提高,如何更有效地利用和處理信息,成為日益迫切的問題。人們越來越認識到信息的重要性,認識到信息可以作為與材料和能源一樣的資源而加以充分利用和共享。信息的概念和方法已廣泛滲透到各個科學領域,它迫切要求突破申農信息論的狹隘范圍,以便使它能成為人類各種活動中所碰到的信息問題的基礎理論,從而推動其他許多新興學科進一步發展。

雖然 1948 年香農就發明了信息論,但到 90 年代才找到或者再發現能夠逼近香農極限的 turbo 碼和 LDPC 碼；再一個局限是香農的大部分結果都是在一定的理想條件或極限條件下推導出來的,在實際系統中,這些條件可能不能滿足,因而不可能達到香農所得出的一些結論或界限,舉一個例子,信源信道分離定理是在數據分組長度無窮大和靜態信道條件下得到的,但實際系統中的編碼可能會有分組長度和限制,信道也可能是時變的,因而產生出最近較新的所謂聯合信源信道編碼理論；最后一個是局限是點對點通信的局限性,因為通信的構架存在網絡結構和多用戶的結構,所以對于網絡和多用戶的情形,香農并沒有更深入的研究,雖然他在 50 年代研究了 two way channel,但并未得出有意義的結果,目前網絡信息論或多用戶信息論是一個比較活躍的領域,主要的有意義的結論在廣播和多址接入信道,但都是退化的情形才成立的結論,更一般的情形,還有一些其他如中繼信道等,還有待進一步研究。

參考文獻：

葉中行,信息論基礎[J],高等教育出版社 盧侃,從 Shannon 信息論到認知信息論[A],哈爾濱工程大學學報,第 32 卷第 8 期.仇佩亮,信息論及其應用［M］,杭州：浙江大學出版社,1999 謝邦榮,彭征明,信息論在作戰效能評估中的應用研究 [A] ,北京, 2007 邵軍虎,量子 LDPC 糾錯碼算法及應用方案研究,西安電子科技大學[D] ,2012

汪洋,趙萬民,人居環境研究的信息論科學基礎及其圖譜意象系統[J],2012 PKU CSSCI ,香農信息定義分析與改進[J],2008 年 8 期, 洪潔,范修斌,范明鈺,信息論及其在序列密碼設計應用中的幾點認識[] ,2003 Neil Savage, Information theory after Shannon[J], 2011, Vol.54(2)Gregory J.Chaitin,A Theory of Program Size Formally Identical to Information Theory[J],1975, Vol.22(3)知識改變命運

第四篇：信息論論文[定稿]

湖南科技大學課程結課論文

《信息論與編碼A》

學院：信息與電氣工程學院 專業： 班級： 學號： 姓名：

信息論基礎

摘要：從對信息論的一些基礎知識匯總，信息的定義，信息論的發展；還有信源與信息熵，信道與信道容量，編碼這些關鍵知識點做一個系統性的回顧，再結合通信領域的知識進行分析。關鍵字：信息論；

引言：

信息論是運用概率論與數理統計的方法研究信息、信息熵、通信系統、數據傳輸、密碼學、數據壓縮等問題的應用數學學科。信息系統就是廣義的通信系統，泛指某種信息從一處傳送到另一處所需的全部設備所構成的系統。

名稱由來：

信息論將信息的傳遞作為一種統計現象來考慮，給出了估算通信信道容量的方法。信息傳輸和信息壓縮是信息論研究中的兩大領域。這兩個方面又由信息傳輸定理、信源－信道隔離定理相互聯系。

發展簡史：

信息論是20世紀40年代后期從長期通訊實踐中總結出來的一門學科，是專門研究信息的有效處理和可靠傳輸的一般規律的科學。

切略（E.C.Cherry）曾寫過一篇早期信息理論史，他從石刻象形文字起，經過中世紀啟蒙語言學，直到16世紀吉爾伯特（E.N.Gilbert）等人在電報學方面的工作。

20世紀20年代奈奎斯特（H.Nyquist）和哈特萊（L.V.R.Hartley）最早研究了通信系統傳輸信息的能力，并試圖度量系統的信道容量。現代信息論開始出現。1948年克勞德·香農（Claude Shannon）發表的論文“通信的數學理論”是世界上首次將通訊過程建立了數學模型的論文，這篇論文和1949年發表的另一篇論文一起奠定了現代信息論的基礎。

由于現代通訊技術飛速發展和其他學科的交叉滲透，信息論的研究已經從香農當年僅限于通信系統的數學理論的狹義范圍擴展開來，而成為現在稱之為信息科學的龐大體系。

信息的性質：

信息有以下性質：客觀性、廣泛性、完整性、專一性。首先，信息是客觀存在的，它不是由意志所決定的，但它與人類思想有著必然聯系（第四節將具體分析）。同時，信息又是廣泛存在的，四維空間被大量信息子所充斥。信息的一個重要性質是完整性，每個信息子不能決定任何事件，須有兩個或兩個以上的信息子規則排布為完整的信息，其釋放的能量才足以使確定事件發生。信息還有專一性，每個信息決定一個確定事件，但相似事件的信息也有相似之處，其原因的解釋需要信息子種類與排布密碼理論的進一步發現。

基本內容：

傳統的通信系統如電報、電話、郵遞分別是傳送電文信息、語聲信息和文字信息的；而廣播、遙測、遙感和遙控等系統也是傳送各種信息的，只是信息類型不同，所以也屬于信息系統。有時，信息必須進行雙向傳送，例如電話通信要求雙向交談，遙控系統要求傳送控制用信息和反向的測量信息等。這類雙向信息系統實際上是由兩個信息系統構成。所有信息系統都可歸納成如圖所示的模型來研究它的基本規律。

信源：信息的源泉或產生待傳送的信息的實體，如電活系統中的講話者，對于電信系統還應包括話筒，它輸出的電信號作為含有信息的載體。

信息熵：所謂信息熵，是一個數學上頗為抽象的概念，在這里不妨把信息熵理解成某種特定信息的出現概率。而信息熵和熱力學熵是緊密相關的。根據Charles H.Bennett對Maxwell's Demon的重新解釋，對信息的銷毀是一個不可逆過程，所以銷毀信息是符合熱力學第二定律的。而產生信息，則是為系統引入負（熱力學）熵的過程。所以信息熵的符號與熱力學熵應該是相反的。

信宿：信息的歸宿或接受者，在電話系統中這就是聽者和耳機，后者把接收到的電信號轉換成聲音，供聽者提取所需的信息。信道：傳送信息的通道，如電話通信中包括中繼 器在內的同軸電纜系統，衛星通信中地球站的收發信機、天線和衛星上的轉發器等。

編碼器：在信息論中是泛指所有變換信號的設備，實際上就是終端機的發送部分。它包括從信源到信道的所有設備，如量化器、壓縮編碼器、調制器等，使信源輸出的信號轉換成適于信道傳送的信號。

譯碼器：是編碼器的逆變換設備，把信道上送來的信號轉換成信宿能接受的信號，可包括解調器、譯碼器、數模轉換器等。

哈夫曼碼：哈夫曼碼是用概率匹配方法進行信源編碼。它有兩個明顯的特點：一是哈夫 曼的編碼方法保證了概率大的符號對應于短碼，概率小的符號對應于長碼，充分利用了短碼；二是縮減信源的最后兩個碼字總是最后一位不同，從而保證了哈夫曼碼是即時碼

當信源和信宿已給定、信道也已選定后，決定信息系統性能就在于編碼器和譯碼器。設計一個信息系統時，除了選擇信道和設計其附屬設施外，主要工作也就是設計編譯碼器。一般情況下，信息系統的主要性能指標是它的有效性和可靠性。有效性就是在系統中傳送盡可能多的信息；而可靠性是要求信宿收到的信息盡可能地與信源發出的信息一致，或者說失真盡可能小。最佳編譯碼器就是要使系統最有效和最可靠。但是，可靠性和有效性往往是相互矛盾的。越有效常導致不可靠，反之也是如此。從定量意義上說，應使系統在規定的失真或基本無失真的條件下，傳送最大的信息率；或者在規定信息率的條件下，失真最小。計算這最大信息率并證明達到或接近這一值的編譯碼器是存在的，就是信息論的基本任務。只討論這樣問題的理論可稱為仙農信息論般認為信息論的內容尚應更廣泛一些，即包括提取信息和保證信息安全的理論。后者就是估計理論、檢測理論和密碼學。

信息論是建立在概率論基礎上而形成的，也就是從信源符號和信道噪聲的概率特性出發的。這類信息通常稱為語法信息。其實，信息系統的基本規律也應包括語義信息和語用信息。語法信息是信源輸出符號的構造或其客觀特性所表現與信宿的主觀要求無關，而語義則應考慮各符號的意義，同樣一種意義，可用不同語言或文字來表示，各種語言所包含的語法信息可以是不同的。一般地說，語義信息率可小于語法信息率；電報的信息率可低于表達同一含義的語聲的信息率就是一個例子。更進一步，信宿或信息的接受者往往只需要對他有用的信息，他聽不懂的語言是有意義的，但對他是無用的。所以語用信息，即對信宿有用的信息一般又小于語義信息。倘若只要求信息系統傳送語義信息或語用信息，效率顯然會更高一些。在目前情況下，關于語法信息，已在概率論的基礎上建立了系統化的理論，形成一個學科；而語義和語用信息尚不夠成熟。因此，關于后者的論述通常稱為信息科學或廣義信息論，不屬于一般信息論的范疇。概括起來，信息系統的基本規律應包括信息的度量、信源特性和信源編碼、信道特性和信道編碼、檢測理論、估計理論以及密碼學。

信息與通信：

信息就是一種消息，它與通訊問題密切相關。1948年貝爾研究所的香農在題為《通訊的數學理論》的論文中系統地提出了關于信息的論述，創立了信息論。維納提出的關于度量信息量的數學公式開辟了信息論的廣泛應用前景。1951年美國無線電工程學會承認信息論這門學科，此后得到迅速發展。20世紀50年代是信息論向各門學科沖擊的時期，60年代信息論不是重大的創新時期，而是一個消化、理解的時期，是在已有的基礎上進行重大建設的時期。研究重點是信息和信源編碼問題。到70年代，由于數字計算機的廣泛應用，通訊系統的能力也有很大提高，如何更有效地利用和處理信息，成為日益迫切的問題。人們越來越認識到信息的重要性，認識到信息可以作為與材料和能源一樣的資源而加以充分利用和共享。信息的概念和方法已廣泛滲透到各個科學領域，它迫切要求突破申農信息論的狹隘范圍，以便使它能成為人類各種活動中所碰到的信息問題的基礎理論，從而推動其他許多新興學科進一步發展。人們已把早先建立的有關信息的規律與理論廣泛應用于物理學、化學、生物學等學科中去。一門研究信息的產生、獲取、變換、傳輸、存儲、處理、顯示、識別和利用的信息科學正在形成。

第五篇：信息論上機實驗報告

華中科技大學文華學院

信息論上機實驗報告

專業年級：10級通信工程** 學號：1001******** 姓名：** 指導教師：***

2012年 04月30日

目錄 等長編碼.........................2 1.1 求信源的熵...................2 1.2 求等長碼碼長.................2 1.3 求等長長等編碼...............3 1.4 等長編碼全部源代碼...........3 1.5MATLAB仿真及其截圖..........5 2霍夫曼編碼.......................6 2.1 霍夫曼編碼源代碼.............6 2.2MATLAB仿真及其截圖..........9 3游程編碼.........................9 3.1 游程編碼源代碼...............9 3.2 MATLAB仿真及其截圖..........11 4 學習心得........................12 5 參考書籍........................14

for i=1:1: 4;s=i;t=lc;for j=1:1:lc;if s>power(2,t)/2;A(i,lc-t+1)=1;s=s-power(2,t)/2;else A(i,lc-t+1)=0;end t=t-1;end end 1.4全部源代碼

s=[0.25,0.25,0.25,0.25];len=size(s,2);if sum(s)~=1 error('s is not a complete set');end h=0;for i=1:1:len h=h-s(i)*log(s(i))/log(2);

結果：h=

2、lc=

2、A=00 01 10 11 1.5 MATLAB仿真及其截圖

2、霍夫曼編碼

2.1霍夫曼編碼源代碼

T(t-1)=r;T(t)=0;T=fliplr(sort(T));t=t-1;end B;%輸出編碼表

END1=sym('[0,1]');%給最后一列的元素編碼 END=END1;t=3;d=1;for j=n-2:-1:1%從倒數第二列開始依次對各列元素編碼 for i=1:t-2 if i>1 & B(i,j)==B(i-1,j)d=d+1;else d=1;end B(B(n,j+1),j+1)=-1;temp=B(:,j+1);

x=find(temp==B(i,j));END(i)=END1(x(d));

2.2MATLAB仿真及其截圖

3、游程編碼

3.1、游程編碼源代碼 I=checkerboard(10,2);[m,n]=size(I);J=[];for i=1:m

壓縮圖像大小：

Name Size Bytes Class J 1x400 3200 double array 圖像壓縮比：4 3.2 MATLAB仿真及其截圖

就直接向他們求教，雖然有些時候他們也不一定能解答出來，但最少也能給我一些提示。最后有時候也靠自己，慢慢的想，慢慢的翻資料一遍一遍的輸入，校正，最后就做出來了。雖然有些題目我也不知道自己的對不對，但是通過自己動手把它做出結果了我就覺得有收獲了。

Matlab的課比較少，課堂上學到的東西也不是特別的多，但是通過實驗，我自學了許多東西，也完成了學習任務，同時也鍛煉了自己的個人能力

2012/5/3

314-