第一篇：信息論論文[定稿]

湖南科技大學課程結課論文

《信息論與編碼A》

學院：信息與電氣工程學院 專業： 班級： 學號： 姓名：

信息論基礎

摘要：從對信息論的一些基礎知識匯總，信息的定義，信息論的發展；還有信源與信息熵，信道與信道容量，編碼這些關鍵知識點做一個系統性的回顧，再結合通信領域的知識進行分析。關鍵字：信息論；

引言：

信息論是運用概率論與數理統計的方法研究信息、信息熵、通信系統、數據傳輸、密碼學、數據壓縮等問題的應用數學學科。信息系統就是廣義的通信系統，泛指某種信息從一處傳送到另一處所需的全部設備所構成的系統。

名稱由來：

信息論將信息的傳遞作為一種統計現象來考慮，給出了估算通信信道容量的方法。信息傳輸和信息壓縮是信息論研究中的兩大領域。這兩個方面又由信息傳輸定理、信源－信道隔離定理相互聯系。

發展簡史：

信息論是20世紀40年代后期從長期通訊實踐中總結出來的一門學科，是專門研究信息的有效處理和可靠傳輸的一般規律的科學。

切略（E.C.Cherry）曾寫過一篇早期信息理論史，他從石刻象形文字起，經過中世紀啟蒙語言學，直到16世紀吉爾伯特（E.N.Gilbert）等人在電報學方面的工作。

20世紀20年代奈奎斯特（H.Nyquist）和哈特萊（L.V.R.Hartley）最早研究了通信系統傳輸信息的能力，并試圖度量系統的信道容量。現代信息論開始出現。1948年克勞德·香農（Claude Shannon）發表的論文“通信的數學理論”是世界上首次將通訊過程建立了數學模型的論文，這篇論文和1949年發表的另一篇論文一起奠定了現代信息論的基礎。

由于現代通訊技術飛速發展和其他學科的交叉滲透，信息論的研究已經從香農當年僅限于通信系統的數學理論的狹義范圍擴展開來，而成為現在稱之為信息科學的龐大體系。

信息的性質：

信息有以下性質：客觀性、廣泛性、完整性、專一性。首先，信息是客觀存在的，它不是由意志所決定的，但它與人類思想有著必然聯系（第四節將具體分析）。同時，信息又是廣泛存在的，四維空間被大量信息子所充斥。信息的一個重要性質是完整性，每個信息子不能決定任何事件，須有兩個或兩個以上的信息子規則排布為完整的信息，其釋放的能量才足以使確定事件發生。信息還有專一性，每個信息決定一個確定事件，但相似事件的信息也有相似之處，其原因的解釋需要信息子種類與排布密碼理論的進一步發現。

基本內容：

傳統的通信系統如電報、電話、郵遞分別是傳送電文信息、語聲信息和文字信息的；而廣播、遙測、遙感和遙控等系統也是傳送各種信息的，只是信息類型不同，所以也屬于信息系統。有時，信息必須進行雙向傳送，例如電話通信要求雙向交談，遙控系統要求傳送控制用信息和反向的測量信息等。這類雙向信息系統實際上是由兩個信息系統構成。所有信息系統都可歸納成如圖所示的模型來研究它的基本規律。

信源：信息的源泉或產生待傳送的信息的實體，如電活系統中的講話者，對于電信系統還應包括話筒，它輸出的電信號作為含有信息的載體。

信息熵：所謂信息熵，是一個數學上頗為抽象的概念，在這里不妨把信息熵理解成某種特定信息的出現概率。而信息熵和熱力學熵是緊密相關的。根據Charles H.Bennett對Maxwell's Demon的重新解釋，對信息的銷毀是一個不可逆過程，所以銷毀信息是符合熱力學第二定律的。而產生信息，則是為系統引入負（熱力學）熵的過程。所以信息熵的符號與熱力學熵應該是相反的。

信宿：信息的歸宿或接受者，在電話系統中這就是聽者和耳機，后者把接收到的電信號轉換成聲音，供聽者提取所需的信息。信道：傳送信息的通道，如電話通信中包括中繼 器在內的同軸電纜系統，衛星通信中地球站的收發信機、天線和衛星上的轉發器等。

編碼器：在信息論中是泛指所有變換信號的設備，實際上就是終端機的發送部分。它包括從信源到信道的所有設備，如量化器、壓縮編碼器、調制器等，使信源輸出的信號轉換成適于信道傳送的信號。

譯碼器：是編碼器的逆變換設備，把信道上送來的信號轉換成信宿能接受的信號，可包括解調器、譯碼器、數模轉換器等。

哈夫曼碼：哈夫曼碼是用概率匹配方法進行信源編碼。它有兩個明顯的特點：一是哈夫 曼的編碼方法保證了概率大的符號對應于短碼，概率小的符號對應于長碼，充分利用了短碼；二是縮減信源的最后兩個碼字總是最后一位不同，從而保證了哈夫曼碼是即時碼

當信源和信宿已給定、信道也已選定后，決定信息系統性能就在于編碼器和譯碼器。設計一個信息系統時，除了選擇信道和設計其附屬設施外，主要工作也就是設計編譯碼器。一般情況下，信息系統的主要性能指標是它的有效性和可靠性。有效性就是在系統中傳送盡可能多的信息；而可靠性是要求信宿收到的信息盡可能地與信源發出的信息一致，或者說失真盡可能小。最佳編譯碼器就是要使系統最有效和最可靠。但是，可靠性和有效性往往是相互矛盾的。越有效常導致不可靠，反之也是如此。從定量意義上說，應使系統在規定的失真或基本無失真的條件下，傳送最大的信息率；或者在規定信息率的條件下，失真最小。計算這最大信息率并證明達到或接近這一值的編譯碼器是存在的，就是信息論的基本任務。只討論這樣問題的理論可稱為仙農信息論般認為信息論的內容尚應更廣泛一些，即包括提取信息和保證信息安全的理論。后者就是估計理論、檢測理論和密碼學。

信息論是建立在概率論基礎上而形成的，也就是從信源符號和信道噪聲的概率特性出發的。這類信息通常稱為語法信息。其實，信息系統的基本規律也應包括語義信息和語用信息。語法信息是信源輸出符號的構造或其客觀特性所表現與信宿的主觀要求無關，而語義則應考慮各符號的意義，同樣一種意義，可用不同語言或文字來表示，各種語言所包含的語法信息可以是不同的。一般地說，語義信息率可小于語法信息率；電報的信息率可低于表達同一含義的語聲的信息率就是一個例子。更進一步，信宿或信息的接受者往往只需要對他有用的信息，他聽不懂的語言是有意義的，但對他是無用的。所以語用信息，即對信宿有用的信息一般又小于語義信息。倘若只要求信息系統傳送語義信息或語用信息，效率顯然會更高一些。在目前情況下，關于語法信息，已在概率論的基礎上建立了系統化的理論，形成一個學科；而語義和語用信息尚不夠成熟。因此，關于后者的論述通常稱為信息科學或廣義信息論，不屬于一般信息論的范疇。概括起來，信息系統的基本規律應包括信息的度量、信源特性和信源編碼、信道特性和信道編碼、檢測理論、估計理論以及密碼學。

信息與通信：

信息就是一種消息，它與通訊問題密切相關。1948年貝爾研究所的香農在題為《通訊的數學理論》的論文中系統地提出了關于信息的論述，創立了信息論。維納提出的關于度量信息量的數學公式開辟了信息論的廣泛應用前景。1951年美國無線電工程學會承認信息論這門學科，此后得到迅速發展。20世紀50年代是信息論向各門學科沖擊的時期，60年代信息論不是重大的創新時期，而是一個消化、理解的時期，是在已有的基礎上進行重大建設的時期。研究重點是信息和信源編碼問題。到70年代，由于數字計算機的廣泛應用，通訊系統的能力也有很大提高，如何更有效地利用和處理信息，成為日益迫切的問題。人們越來越認識到信息的重要性，認識到信息可以作為與材料和能源一樣的資源而加以充分利用和共享。信息的概念和方法已廣泛滲透到各個科學領域，它迫切要求突破申農信息論的狹隘范圍，以便使它能成為人類各種活動中所碰到的信息問題的基礎理論，從而推動其他許多新興學科進一步發展。人們已把早先建立的有關信息的規律與理論廣泛應用于物理學、化學、生物學等學科中去。一門研究信息的產生、獲取、變換、傳輸、存儲、處理、顯示、識別和利用的信息科學正在形成。

第二篇：信息論編碼論文

信息論

信息論與編碼

信息論概述：

信息論是運用概率論與數理統計的方法研究信息傳輸和信息處理系統中一般規律的新興學科。核心問題是信息傳輸的有效性和可靠性以及兩者間的關系。

信息論作為一門科學理論，發端于通信工程。它具有廣義和狹義兩個概念：

狹義信息論是應用統計方法研究通訊系統中信息傳遞和信息處理的共同規律的科學，即研究概率性語法信息的科學；

廣義信息論是應用數學和其他有關科學方法研究一切現實系統中信息傳遞和處理、信息識別和利用的共同規律的科學，即研究語法信息、語義信息和語用信息的科學。

信息是事物及其屬性標識的集合。

信息就是信息，信息是物質、能量、信息及其屬性的標示。

信息是確定性的增加。即肯定性的確認。

當我們使用一個數據庫時，總希望數據庫的內容是可靠的、正確的，但由于計算機系統的故障（包括機器故障、介質故障、誤操作等），數據庫有時也可能遭到破壞，這時如何盡快恢復數據就成為當務之急。如果平時對數據庫做了備份，那么此時恢復數據就顯得很容易。由此可見，做好數據庫的備份是多么的重要，下面筆者就以ORACLE7為例，來講述一下數據庫的備份和恢復。ORACLE 數據庫有三種標準的備份方法，它們分別為導出/導入（EXPORT/IMPORT）、冷備份、熱備份。導出備份是一種邏輯備份，冷備份和熱備份是物理備份。

信息論形成和發展：

人們對于信息的認識和利用，可以追溯到古代的通訊實踐。中國古代的“烽燧相望”和古羅馬地中海諸城市的“懸燈為號”，可以說是傳遞信息的原始方式。隨著社會生產的發展，科學技術的進步，人們對傳遞信息的要求急劇增加。到了20世紀20年代，如何提高傳遞信息的能力和可靠性已成為普遍重視的課題。美國科學家N.奈奎斯特、德國K.屈普夫米勒、前蘇聯A.H.科爾莫戈羅夫和英國R.A.賽希爾等人，從不同角度研究信息，為建立信息論作出很大貢獻。1948年，美國數學家C.E.香農(被稱為是“信息論之父”)出版《通信的數學理論》，1949年發表《噪聲中的通信》，從而奠定了信息論的基礎。20世紀70年代以后，隨著數學計算機的廣泛應用和社會信息化的迅速發展，信息論正逐漸突破香農狹義信息論的范圍，發展為一門不僅研究語法信息，而且研究語義信息和語用信息的科學。它的建立是人類認識的一個飛躍。世界上各種事物都是充滿矛盾不斷發展的，物質的運動主要是靠內部矛盾運動所產生的能量，而事物之間的普遍聯系則靠的是信息。信息是關于事物的運動狀態和規律，而信息論的產生與發展過程，就是立足于這個基本性質。信息論迅速滲透到各個不同學科領域，但還不夠完善。為了適應科學技術發展的需要，迎接信息化社會的到來，一門新的科學正在迅速興起，這就是廣義信息論，或者叫做信息科學。信息科學是由信息論、控制論、計算機、人工智能和系統論等相互滲透、相互結合而形成的一門新興綜合性學科。信息科學登上現代科技舞臺，與能量科學、材料科學鼎足而立，將為科學技術的發展作出貢獻。

信息論

信息論內容：

信息論內容包括信息熵、信源編碼、信道編碼、信道容量、信息失真率理論、信號檢測和估計等。

信息量：

信息的度量是信息論研究的基本問題之一。對于應用范圍如此廣泛的信息提出一個統一的度量是困難的。美國數學家C.E.香農在1948年提出信息熵作為信息量的測度。根據人們的實踐經驗，一個事件給予人們的信息量多少，與這一事件發生的概率(可能性)大小有關。一個小概率事件的發生，如“唐山發生七級以上大地震”使人們感到意外，它給人們的信息量就很多。相反一個大概率事件的出現，如“12月15日北京未下雪”給人們的信息量就很少。因此,用I(A)=-logP(A)〔P(A)表示事件A發生的概率〕來度量事件A給出的信息量，稱為事件A的自信息量。若一次試驗有M個可能結果(事件)，或一個信源可能產生M個消息（事件）, 它們出現的概率分別為，則用來度量一次試驗或一個消息所給出的平均信息量。當對數取 2為底時,單位為比特；當對數取e為底時,則單位為奈特。H的表達式與熵的表達式差一個負號，故稱負熵或信息熵。

信息傳輸模型：

信息傳輸系統主要由信源、信道和信宿組成，下圖為信息傳輸系統的基本模型。信源是產生消息的系統。信宿是接受消息的系統，信道則是傳輸消息的通道。圖中編碼器、譯碼器的作用是把消息變換成便于傳輸的形式。

信源編碼：

信源是產生消息（包括消息序列）的源。消息通常是符號序列或時間函數。例如電報系

信息論

統中的消息是由文字、符號、數字組成的報文（符號序列），稱為離散消息。電話系統中的消息是語聲波形(時間函數)，稱為連續消息。消息取值服從一定的統計規律。因此,信源的數學模型是一個在信源符號集中取值的隨機變量序列或隨機過程。信源編碼器將消息變換為一個數字序列(通常為二進制數字序列)。在離散情形,若信源產生M個可能消息,它們出現的概率分別為，每個消息由N個信源符號組成,便可取信源編碼與數字序列一一對應。第i個消息對應的數字序列長(數字個數)為li，li相等的稱等長編碼，否則稱變長編碼。定義為編碼速率，它表征平均每個信源符號要用多少個數字來表示。若取信源譯碼器為信源編碼器的逆變換器，則在無噪信道(信源編碼器的輸出即為信源譯碼器的輸入)情況下，消息可以正確無誤地傳送。這時信源編碼問題是要找出最小的速率R及其相應的編碼。已經證明,對于相當廣泛的信源類,當N可以任意大時這個最小極限速率，稱為信源的熵率,是信源的一個重要參數。對于固定的N,最優編碼就是赫夫曼編碼。在連續消息的情形，信息編碼器不可能使消息與數字序列一一對應，因此譯碼也不是編碼的逆變換。通常的方法是先對連續消息進行采樣和量化，變為離散消息，再將離散消息變換為數字序列。信源譯碼器先將數字序列逆變換為離散消息，再用內插法求得連續消息。這樣一來，即使在無噪信道的情況下，發送消息與接收消息之間也會產生誤差，稱為消息失真。可以用一個非負函數d(u，v)來度量消息 u，v之間的失真大小。這時信源編碼問題是在保證平均失真不超過給定允許極限D 的條件下找出最小速率R 及其相應編碼。求解這一問題導致熵推廣到失真率函數，信源編碼的失真率理論因而得到發展。

信道編碼：

信道是傳輸信息的媒質或通道，如架空明線、同軸電纜、射頻波束、光導纖維等。有時為研究方便將發送端和接收端的一部分如調制解調器也劃歸信道。信息論把信息傳送過程中受各種干擾的影響都歸入信道中考慮。根據干擾的統計特性,信道有多種模型。最簡單的是離散無記憶恒參信道，它可以用信道入口符號集X、出口符號集Y和一組條件概率P(y|x)(x∈X，y∈Y)來描述。若信道輸入信號x＝(x1,x2,?,xN),則相應的輸出(受擾)信號y＝(y1,y2,?,yN)出現的概率為信道編碼器將數字序列每K個一組變換為字長N 的信號（碼字），稱為分組編碼。若數字和信道符號都是二進制的(可用0,1表示)，則R＝K/N 定義為編碼速率，它表明每個信道符號表示多少個數字。N-K 稱為編碼冗余度。信道編碼(糾錯編碼)的基本思想就是增加冗余度以提高可靠性。更確切地說，信道譯碼器可以利用編碼冗余度將受擾信號變換為正確的發送數字序列。重復編碼乃一簡例。信道編碼器將輸入數字重復三次, 如將01011變換為***。信道譯碼器可用門限譯碼，即先將輸入譯碼器的信道符號每三個一組地相加，再將結果逐個與閾值 2比較,小于閾值2的譯為0,否則譯為1。這樣若受擾信號***雖然錯了 5個符號,但譯碼仍為01011與發送數字序列完全相同。信息論得出的重要結論是:對于一個有噪信道,只要在信道編碼中引入足夠而有限的冗余度，或等價地說編碼速率足夠小，就

信息論

能通過信道漸近無誤地傳送消息。更確切地說，對充分長的數字序列，其接收錯誤概率可以任意小。信道編碼問題是要找出使信道漸近無誤地傳輸消息所能達到的最大編碼速率R和相應的編碼。已經證明，對于離散無記憶恒參信道，這個最大極限編碼速率為它是對X上一切概率分布 p取極大值。p為信道轉移概率(條件概率)，的重要參數。

。稱為交互信息；C 稱為信道容量，是信道信道編碼概論：

通過信道編碼器和譯碼器實現的用于提高信道可靠性的理論和方法。信息論的內容之一。信道編碼大致分為兩類 ：①信道編碼定理，從理論上解決理想編碼器、譯碼器的存在性問題，也就是解決信道能傳送的最大信息率的可能性和超過這個最大值時的傳輸問題。②構造性的編碼方法以及這些方法能達到的性能界限。編碼定理的證明，從離散信道發展到連續信道，從無記憶信道到有記憶信道，從單用戶信道到多用戶信道，從證明差錯概率可接近于零到以指數規律逼近于零，正在不斷完善。編碼方法，在離散信道中一般用代數碼形式，其類型有較大發展，各種界限也不斷有人提出，但尚未達到編碼定理所啟示的限度，尤其是關于多用戶信道，更顯得不足。在連續信道中常采用正交函數系來代表消息，這在極限情況下可達到編碼定理的限度。不是所有信道的編碼定理都已被證明。只有無記憶單用戶信道和多用戶信道中的特殊情況的編碼定理已有嚴格的證明；其他信道也有一些結果，但尚不完善。

數字信號在傳輸中往往由于各種原因，使得在傳送的數據流中產生誤碼，從而使接收端產生圖象跳躍、不連續、出現馬賽克等現象。所以通過信道編碼這一環節，對數碼流進行相應的處理，使系統具有一定的糾錯能力和抗干擾能力，可極大地避免碼流傳送中誤碼的發生。誤碼的處理技術有糾錯、交織、線性內插等。

提高數據傳輸效率，降低誤碼率是信道編碼的任務。信道編碼的本質是增加通信的可靠性。但信道編碼會使有用的信息數據傳輸減少，信道編碼的過程是在源數據碼流中加插一些碼元，從而達到在接收端進行判錯和糾錯的目的，這就是我們常常說的開銷。這就好象我們運送一批玻璃杯一樣，為了保證運送途中不出現打爛玻璃杯的情況，我們通常都用一些泡沫或海棉等物將玻璃杯包裝起來，這種包裝使玻璃杯所占的容積變大，原來一部車能裝5000各玻璃杯的，包裝后就只能裝4000個了，顯然包裝的代價使運送玻璃杯的有效個數減少了。同樣，在帶寬固定的信道中，總的傳送碼率也是固定的，由于信道編碼增加了數據量，其結果只能是以降低傳送有用信息碼率為代價了。將有用比特數除以總比特數就等于編碼效率了，不同的編碼方式，其編碼效率有所不同。

數字電視中常用的糾錯編碼，通常采用兩次附加糾錯碼的前向糾錯（FEC）編碼。RS編碼屬于第一個FEC，188字節后附加16字節RS碼，構成（204，188）RS碼，這也可以稱為外編碼。第二個附加糾錯碼的FEC一般采用卷積編碼，又稱為內編碼。外編碼和內編碼結合一起，稱之為級聯編碼。級聯編碼后得到的數據流再按規定的調制方式對載頻進行調制。

前向糾錯碼（FEC）的碼字是具有一定糾錯能力的碼型，它在接收端解碼后，不

信息論

僅可以發現錯誤，而且能夠判斷錯誤碼元所在的位置，并自動糾錯。這種糾錯碼信息不需要儲存，不需要反饋，實時性好。所以在廣播系統（單向傳輸系統）都采用這種信道編碼方式。

下面是糾錯碼的各種類型:

1、RS編碼

RS碼即里德-所羅門碼，它是能夠糾正多個錯誤的糾錯碼，RS碼為（204，188，t=8），其中t是可抗長度字節數，對應的188符號，監督段為16字節(開銷字節段）。實際中實施（255，239，t=8）的RS編碼，即在204字節（包括同步字節）前添加51個全“0”字節，產生RS碼后丟棄前面51個空字節，形成截短的（204，188）RS碼。RS的編碼效率是：188/204。

2、卷積碼

卷積碼非常適用于糾正隨機錯誤，但是，解碼算法本身的特性卻是：如果在解碼過程中發生錯誤，解碼器可能會導致突發性錯誤。為此在卷積碼的上部采用RS碼塊，RS碼適用于檢測和校正那些由解碼器產生的突發性錯誤。所以卷積碼和RS碼結合在一起可以起到相互補償的作用。卷積碼分為兩種：

(1)基本卷積碼:

基本卷積碼編碼效率為，η＝1/2, 編碼效率較低,優點是糾錯能力強。

(2)收縮卷積碼:

如果傳輸信道質量較好，為提高編碼效率，可以采樣收縮截短卷積碼。有編碼效率為：η＝1/

2、2/

3、3/

4、5/

6、7/8這幾種編碼效率的收縮卷積碼。

編碼效率高，一定帶寬內可傳輸的有效比特率增大,但糾錯能力越減弱。

3、Turbo碼

1993 年誕生的Turbo 碼，單片Turbo 碼的編碼/解碼器，運行速率達40Mb/s。該芯片集成了一個32×32 交織器，其性能和傳統的RS 外碼和卷積內碼的級聯一樣好。所以Turbo碼是一種先進的信道編碼技術，由于其不需要進行兩次編碼，所以其編碼效率比傳統的RS+卷積碼要好。

4、交織

在實際應用中，比特差錯經常成串發生，這是由于持續時間較長的衰落谷點會影響到幾個連續的比特，而信道編碼僅在檢測和校正單個差錯和不太長的差錯串時才最有效（如RS只能糾正8個字節的錯誤）。為了糾正這些成串發生的比特差錯及一些突發錯誤，可以運用交織技術來分散這些誤差，使長串的比特差錯變成短串差錯，從而可以用前向碼對其糾錯，例如：在DVB-C系統中，RS(204,188)的糾錯能力是8個字節，交織深度為12，那么糾可抗長度為8×12＝96個字節的突發錯誤。

實現交織和解交織一般使用卷積方式。

交織技術對已編碼的信號按一定規則重新排列，解交織后突發性錯誤在時間上被分散，使其類似于獨立發生的隨機錯誤，從而前向糾錯編碼可以有效的進行糾錯，前向糾錯碼加交積的作用可以理解為擴展了前向糾錯的可抗長度字節。糾錯能力強的編碼一般要求的交織深度相對較低。糾錯能力弱的則要求更深的交織深度。

下圖是交織的原理圖：

一般來說，對數據進行傳輸時，在發端先對數據進行FEC編碼，然后再進行交積處理。在收端次序和發端相反，先做去交積處理完成誤差分散，再FEC解碼實現數據糾錯。另外，從上圖可看出，交積不會增加信道的數據碼元。

根據信道的情況不同，信道編碼方案也有所不同，在DVB-T里由于由于是無線信道且存在多徑干擾和其它的干擾，所以信道很“臟”，為此它的信道編碼是：RS＋外交積＋卷積

信息論

碼＋內交積。采用了兩次交積處理的級聯編碼，增強其糾錯的能力。RS作為外編碼，其編碼效率是188/204（又稱外碼率），卷積碼作為內編碼，其編碼效率有1/

2、2/

3、3/

4、5/

6、7/8五種（又稱內碼率）選擇，信道的總編碼效率是兩種編碼效率的級聯疊加。設信道帶寬8MHZ，符號率為6.8966Ms/S，內碼率選2/3，16QAM調制，其總傳輸率是27.586Mbps,有效傳輸率是27.586*(188/204)*(2/3)=16.948Mbps,如果加上保護間隔的插入所造成的開銷，有效碼率將更低。

在DVB-C里，由于是有線信道，信道比較“干凈”，所以它的信道編碼是：RS＋交積。一般DVB-C的信道物理帶寬是8MHZ，在符號率為6.8966Ms/s，調制方式為64QAM的系統，其總傳輸率是41.379Mbps,由于其編碼效率為188/204，所以其有效傳輸率是41.379*188/204=38.134Mbps。

在DVB-S里，由于它是無線信道，所以它的信道編碼是：RS＋交積＋卷積碼。也是級聯編碼。

參考文獻

1)2)3)4)5)6)李立萍，張明友．信息論導引．成都：電子科技大學出版社，2005。田寶玉．工程信息論．北京：北京郵電大學出版社，2004。朱雪龍．應用信息論基礎．北京：清華大學出版社，2000。李建東，王永茂，胡林敏．最大熵原理及其應用．信息科學。王 棟，朱元甡．最大熵原理在水文水資源科學中的應用．水科學進展，2001，12(3)。[6]董偉民等．最大熵原理在地震重現關系上的應用．地震工程與工程程動，1983，3(4)。

7)馮利華，李鳳全．基于最大熵原理的災害損失分析．數學的實踐與認識，2005，35(8)。

第三篇：信息論與編碼論文

題 目：

課題論文

信息論在生活中的應用

課程名稱： 信息論與編碼

學 院：

理學院

專 業： 信息與計算科學

年 級：

2010級

姓 名：

郭小兵（1007010210）學生簽名

指導教師：彭長根

2013年4月1日

摘要 隨著計算機技術、通信技術和網絡技術等信息技術的快速發展，信息技術已經成為當今社會應用范圍最廣的高新技術之一。信息論是信息技術的主要理論技術基礎之一，它的一些基本理論在通信、計算機、網絡等工程領域中得到了廣泛的應用。目前，信息論所研究的范疇已經超過了通信及其相近學科，在其他學科應用也很廣泛。

關鍵字：信息論 信息技術

1948年香農在Bell System Technical Journal上發表了《A Mathematical Theory of Communication 》。論文由香農和威沃共同署名。前輩威沃(Warren Weaver，1894-1978)當時是洛克菲勒基金會自然科學部的主任，他為文章寫了序言。后來，香農仍然從事技術工作，而威沃則研究信息論的哲學問題。順便提一句，該論文剛發表時，使用的是不定冠詞A，收入論文集時改為定冠詞The。

這篇奠基性的論文是建立在香農對通信的觀察上，即“通信的根本問題是報文的再生，在某一點與另外選擇的一點上報文應該精確地或者近似地重現”。這篇論文建立了信息論這一學科，給出了通信系統的線性示意模型，即信息源、發送者、信道、接收者、信息宿，這是一個新思想。此后，通信就考慮為把電磁波發送到信道中，通過發送1和0的比特流，人們可以傳輸圖像、文字、聲音等等。今天這已司空見慣，但在當時是相當新鮮的。他建立的信息理論框架和術語已經成為技術標準。他的理論在通信工程師中立即獲得成功，并刺激了今天信息時代所需要的技術發展。

香農考慮的信息源，產生由有限符號組成的詞。它們通過信道進行傳輸，每個符號開銷有限的信道時間。這里涉及到統計學問題，如果xn是第n個符號，它是由固定隨機過程源xn產生的，香農給出一個分析信號誤差序列的方法，它是傳輸系統固有的，可以通過設計相應的控制系統控制它。在這篇論文中，香農首次引入“比特”(bit)一詞，如果在信號中附加額外的比特，就能使傳輸錯誤得到糾正。按照物理學的習慣，把電流單位叫做“安培”，如果給“比特流”一個單位名，那么叫做“香農”是比較合適的。

通信的數學理論是香農在數學與工程研究上的頂峰。他把通信理論的解釋公式化，對最有效地傳輸信息的問題進行了研究。香農的文章立即被世界各國的通信工程師和數學家采用，大家詳細地論述它、擴展它、完善它。這個學科立刻繁榮起來，成為科學史上光輝燦爛的一頁。后來，香農感到由他扮演重要角色而開始與通信革命走得有些過遠。他寫道：“信息理論可能像一個升空的氣球，其重要性超過了它的實際成就”，真是大師的氣魄。

一、信息論與編碼的應用

信息作為一種資源，如何開發、利用、共享是人們普遍關注的問題。信息是信息論中最基本最重要的概念。信息論是應用近代數理統計方法研究信息的傳輸、存儲與處理的科學[1]。其基本任務是為設計有效而可靠的通信系統提供理論依據，主要特點是理論的成功應用，主要體現在信息論在數據壓縮、密碼學、統計及信號處理中的應用。

1.1信息論在數據壓縮理論中的應用

數據壓縮的主要目的是力求用最少的數據表示信源所發出的信號，使信號占用的存儲空間盡可能小，以達到提高信息傳輸速度的目的。數據壓縮在近代信息處理問題中有大量的應用，無論在數據存儲或傳送中，通過數據壓縮不僅可以大大節省資源利用的成本，而且把一些原來無實用意義的技術，如多媒體技術中的一些問題，達到具有實用意義的標準。

數據壓縮作為信息論研究中的一項內容，主要是有關數據壓縮比和各種編碼方法的研究，即按某種方法對源數據流進行編碼，使得經過編碼的數據流比原數據流占有較少的空間。其中基于符號頻率統計的哈夫曼編碼效率高，運算速度快，實現方式靈活，使得其在數據壓縮領域得到了廣泛的應用。

數據壓縮技術的不斷完善是依靠在信息論這門學科的成長上的，信息能否被壓縮以及能在多大程度上被壓縮與信息的不確定性有直接的關系，人工智能技術將會對數據壓縮的未來產生重大影響。

1.2信息論在密碼學中的應用

密碼學是研究編制密碼和破譯密碼的技術科學。從傳統意義上來說，密碼學是研究如何把信息轉換成一種隱蔽的方式并阻止其他人得到它。密碼術的研究和應用雖有很長的歷史，但在信息論誕生之前，它還沒有系統的理論，直到香農發表的保密通信的信息理論一文，為密碼學確立了一系列的基本原則與指標，如加密運算中的完全性、剩余度等指標，它們與信息的度量有著密切相關。之后才產生了基于信息論的密碼學理論，所以說信息論與密碼學的關系十分密切。

近代密碼學由于數據加密標準與公鑰體制的出現與應用，使近代密碼學所涉及的范圍有了極大的發展，尤其是在網絡認證方面得到廣泛應用，但其中的安全性原理與測量標準仍未脫離香農保密系統所規定的要求，多種加密函數的構造，如相關免疫函數的構造仍以香農的完善保密性為基礎。

1.3信息論在數字移動通信系統中的應用

數字移動通信系統主要包含編碼和譯碼兩種技術。移動信道是最復雜的一種信道，為了保證在不利的條件下接受信號的傳輸質量，就必須采用各種抗衰落技術和數字傳輸技術，如分集技術、擴頻技術、均衡、交織和糾錯編碼等。

TD-SCDMA采用了3種信道編碼方案以提高信息在無線信道上的傳輸的可靠性，它們分別是卷積編碼、Turbo編碼和不編碼。

1.4信息論在統計中的應用

信息論在統計中的應用一般指信息量在統計中的應用，也有編碼定理與碼結構在統計中的應用等問題。由于統計學研究的問題日趨復雜，如統計模型從線性到非線性，統計分布從單一分布到混合分布，因此信息量在統計中的作用日趨重要，在許多問題中以信息量作為它們的基本度量。

在統計領域里，統計計算技術近年來發展很快，它使許多統計方法，尤其是Bayes統計得到廣泛的運用。信息與統計相結合的其他典型問題還很多，如假設檢驗中的兩類誤差估計問題，試驗設計問題，信息量在有效估計中的應用問題等，這些問題已使信息論與統計學想成相互推動發展的局面。

[2]1.5編碼技術在調制解調技術中的應用 在上個世紀80到90年代，信息編碼理論應用的兩項重大成果是：調制解調理論及數據壓縮理論在多媒體技術領域的應用。調制解調碼的出現從根本上改變了數據通信的狀況，使調制解調碼通信速度從原來的1200bit/s逐步增加到30000bit/s。我們可以簡單計算得知，調制解調碼大大提高了數據傳輸速度，提高了25倍，從而使現有的網絡通信成為實用性的技術。

1.6編碼技術在快速通信領域中的應用

編碼理論在快速通信技術中已得到了大量的應用，通信技術已從低速向高速發展，通信手段正向微波、衛星等方向發展，因此誤差干擾問題突現出來，利用糾錯碼可大大降低通信中的差錯率。在20世紀70到80年代的代數碼，如BCH碼、R-S碼等為克服誤差干擾發揮了重要作用，成為通信工程不可缺少的一個組成部分。

1.7信息論在其他領域中的應用

現今時代信息科學飛速發展，信息論已跨越了通信領域，在其他領域也得到了廣泛應用。信息論不僅在計算機、自動控制等方面突現作用，還開始涉及到物理學、化學、生物學、心理學、醫學、經濟學、人類學、語言學、統計學和管理學等學科。

比如信息論在水資源系統工程中可以利用信息論的方法建立模型推到降水、儲水量等分布的問題。在建筑工程故障診斷中信息論也得到了應用，它用熵的概念對所測量的數據進行處理和誤差分析。另外，信息論也能在作戰效能評估中得到應用研究，我們可以從信息的不確定性著手評估其作戰效能。我們不難看出，信息論在很多領域都有所應用。

二、信息論與編碼技術的應用前景

隨著Turbo碼的研究發展，在3G移動通信系統設計中Turbo碼以及Turbo思想越來越多地被用于和其他技術的結合上。例如在CDMA中，由于Turbo碼編碼中使用交織，可以通過分散信息碼元的位置降低擴頻碼間的相關性。實現時將Turbo碼與DS—CDMA系統的擴頻編碼結合起來。接收端先通過匹配濾波器分離出各用戶的接收信息，再根據信道模型計算出傳遞條件概率進行解擴，經過分支概率產生器后得到各個用戶接收信息的后驗概率，分別送入相應的Turbo碼譯碼器，每個譯碼器得到一個軟判決輸出和一個的可能性和超過這個最大值時的傳輸問題；構造性的編碼方法以及這些方法能達到的性能界限。

編碼方法在離散信道中一般用代數碼形式，其類型有較大發展，各種界限也不斷有人提出，但尚未達到編碼定理所啟示的限度，尤其是關于多用戶信道，更顯得不足。在連續信道中常采用正交函數系來代表消息，這在極限情況下可達到編碼定理的限度。只有無記憶單用戶信道和多用戶信道中的特殊情況的編碼定理已有嚴格的證明，其它信道也有一些結果，但尚不完善。

信息論出現已有30年,并已發展成為一門獨立的理論科學,這是由于通訊的理論與工程領域內存在大量積累起來的各方面知識等待綜合,另一方面,又有著日益復雜的各種通訊控制等問題要求有適當的方法去解決。也就是說,由于人類生產斗爭的實踐活動,達到一定的歷史階段,而形成相應的學科。隨著信息論學科的發展,又更深刻地預見和指導著通訊與其他工程技術領域的發展。

信息論的作用,同其他任何總結性的理論學科一樣,是以一般的形式提出和解決基本問題。它不僅可以用來探討過去在通訊工程領域中獲得的成就,而且可以指出在發展方向中應注意的問題。很多情況下,信息論可以明確指出: 哪些指標是可以達到的,哪些是無法達到的，這為我們的生產實踐提供了科學依據。

三、結束語

信息論發展起來以前, 人們對信息系統的理解是比較膚淺的。而現今，隨著信息科學的不斷發展，信息論的研究, 已與很多近代學科是密切相關的：如通訊、雷達、聲納、導航、遙測、遙控、遙感、自動控制、計算機、信息處理技術、控制論以及應用數學、物理學、邏輯學、生物學、心理學、語言學、語音學、仿生學等。

本文主要介紹信息論與編碼的應用與發展前景，同時簡介傳統編碼方法與現化編碼的不同，編碼技術在通信技術中的應用及其發展為主。通過這篇學習心得，可以看出，信息論與編碼技術在不斷創新發展，使其更能為我們所用，在更多的領域得到應用和發展。而我們人類在不停地在揭示自然界無窮奧妙的同時，也可以利用這些奧妙造幸于我們。

【參考文獻】

[1] 曹雪虹，張宗橙．信息論與編碼[M]．北京：清華大學出版社．2004． [2] 沈世鎰，吳忠華．信息論基礎與應用[M]．北京：高等教育出版社．2004． [3] 隋曉紅，王艷營．信息論與編碼[M]．北京：北京大學出版社.2010 [4] 傅祖蕓.信息論—基礎理論與應用[M]．北京：電子工業出版社．2004． [5] 張珊珊.信息論的應用[J]．大眾科技，143（7）：45-46.2011.[6] 維芬，云娜.信息論基本問題簡述[J]．信息與控制，34（1）：7-9.1978.[7] 盧侃.從Shannon信息論到認知信息論[J]．哈爾濱工程大學學報，32（8）：1063-1065.2011

第四篇：信息論修改版

信息論局限性分析以及在光通信中的應用

摘要

從新的角度指出了香農信息論的局限性，這些局限性主要體現在對信息的可靠性和完備性的忽視，通過例子分析進一步說明信息可靠性對于度量信息的重要意義。指出局限性產生的根源在于對信息多重不確定性的忽視，以及對概率值本身存在不確定性的認識不足。后半部分介紹了信息論在光通信領域的一些應用。

關鍵詞：信息論，通信，可靠性，糾錯，概率，光通信。

Abstract The limitations of Shannon information theory are pointed out from new angles.The limitations areembodied in the neglect of the reliability and completeness of information.The significance of the reliability of information to measure information is further illustrated by the analysis of some examples.It is pointed out that the origin of the limitation rests with the neglect of multiple uncertainty of information and the lack of cognition that the value of probability maybe uncertain itself.Keywords: information theory, communication, reliability, errorcorrection,probability optical communication.正文

第一小節：信息論的局限性分析 1.引言

香農(Shannon)信息論對通信技術的發展具有深遠的影響。但是信息論的應用一直限于通信等一些很局限的領域，信息論并不能夠完全地適用于一些信息技術相關的領域。關于香農信息論的局限性，許多學者都有認識，香農本人也反對將信息論濫用。國內外一些學者從許多角度討論了信息論的局限性，比如沒有考慮語義、語用，沒有考慮信息的模糊性和事件之間的相似性，沒有考慮事件劃分可能存在包含關系等。筆者發現信息論的局限性一個重要體現就是忽視信息的可靠性，缺乏對可靠性的度量。

2.香農信息論針對現實問題的局限性

香農對信息的定義，對信息的度量，以及他的信息論，基本上都是用熵來計算的隨機不確定性，并沒有考慮信息的可靠度，對信息的可靠度的考慮最多是從信息傳遞過程中的失真進行了考慮。香農將信息定義為消除不確定性的東西，與他研究通信中的條件熵不增加有密切關系。

現信息論存在如下局限性：第一，信息論沒有考慮信息的可靠性問題，而現實中的信息大多數都是不可靠的。而信息的可靠性卻是信息價值的前提，比如情報類信息的可靠性就非常重要。信息的可靠性是信息的主要指標，但是信息論沒有考慮，僅僅是考慮到信息的不確定性。

第二，信息的完備性問題，信息論并沒有考慮信息并不完全發送的情況，而現實中許多信息都是不完全（完備）、片面的，需要融合。在沒有更加完備信息的場合下，人們往往權宜地將片面的信息姑且當作全面的信息來對待這一些簡單的信道并聯和串聯可以合為一個信道，比如簡單的兩個串聯信道的信道矩陣可以直接通過相乘而當作一個信道，但是信息論沒有考慮信息復雜的多重傳遞，比如，信息從一個信源傳遞到中間信宿，而中間信宿又轉發給一個最終信宿，而且在這個轉換的過程中，信息的表示發生了改變，在這種多重傳遞的過程中，可能會產生多重不確定性。

第三，現實中的信息往往需要經過這種多重傳遞，導致多重不確定性。比如，當然如果考慮前面提到的模糊集合等，這種多重不確定性性將更加復雜。信息論沒有考慮到信道矩陣的傳遞概率等參數的復雜性。現實中這種傳輸特性可能不是確定不變的，而可能是隨機變量，甚至可能更加復雜。

第四，信息論中以通信為研究對象，其傳輸的信號本身是確定的，然而現實中卻存在許多不確定性問題。在通信中，定義信息為消除不確定性的東西無可厚非，但是面對本身不確定的信息，我們如果去消除其不確定性。

第五，信息論中的條件相對而言是簡單的，而且多是以條件概率來表示的。然而現實中許多中的信息的條件是比較復雜的，比如，給出的條件可能是知識、規律等等，在已知先驗概率的情況下，又得知某一個規律，通過這個規律并不能簡單得出相應的條件概率來。

第六，信息論用先驗概率來表示已知的信息，然而，現實中，許多已知的信息并不是可以用先驗概率來表示，比如可能包含未知數，可能是某個約束條件，可能是某個規律，甚至可能是完全未知的。3.實際應用分析

實例1：甲從乙處得到情報：“敵人明天早晨百分之九十九要發動進攻”。此后，甲同樣從丙處得到相同的情報。從信息論角度來看，對于問題“敵人明天早晨是否要發動進攻”，不確定性是一樣的，因而信息量一樣，丙似乎并不提供新的信息。但是人們依然會感覺從丙處得到了信息，這種信息使得甲更加確定“敵人明天早晨百分之九十九要發動進攻”，這一例子進一步說明信息的可靠性應當是一個度量信息的指標。

實例2：當獲得消息“所有的事件都是等概率發生的”的時候，對這句話的內容是什么，或者對于問題“所有的事件發生呈現什么樣的概率分布”而言，它消除了不確定性。但是對于什么事件將發生情況，不可能是更加確定，信息量不可能增加而只可能是減少。這一點說明信息量僅僅是針對于消息本身的不確定性而言的，而該消息衍生出來的問題的不確定性并不與消息的信息量有必然聯系，因此，信息熵這一度量的應用范圍也是有限的，并不適合應用在日常的信息問題中。

通過以上的例子分析，暴露出信息論的一些局限性，為挖掘信息論局限性的根源提供了基礎。

4.信息論局限性的本質及結論

由以上例子分析可以得出，信息論沒有考慮信息的可靠性，而信息的可靠性是一個非常重要的指標。在通信中，由于消息是確定的，因此，不確定性的消除與可靠性的增加有一定的聯系。實際上，我們要消除不確定性是很容易的事情，而香農信息論的消除不確定性是以保證信息的可靠性和完備性為基礎的，比如利用糾錯碼糾錯，利用后驗概率來增強信息的完備性。假如把信息的確定性當作唯一的指標，拋開信息的可靠性問題，則可以隨便確定某一事件的概率為1，其余事件的概率為0 就可以了。再假如，我們把信息的確定性當作首要考慮的目標，其次考慮其可靠性，則我們也可以指定概率最大的事件概率為1，其余事件概率為0。這樣首先保證了確定性，可靠性也在一定程度上得到了滿足。如果如此，信息論和信息處理就變得相當的簡單了。顯然現實中人們不是這樣的。根據以上多處的分析，可靠度是信息的一個首要指標。以上的信息的可靠性、完備性以及經典集合的不切和實際都可以歸結為對信息的多重不確定性的忽視，比如，在實例分析中，我們發現不可靠的信息，它的信息表示本身是不固定的，其概率值可能是隨機變量，不完備的信息也是類似。對于模糊集和粗糙集之類的非經典集合，則可以認為是某一個集合包含的對象不確定而造成的，比如，在粗糙集中，對象可能屬于也可能不屬于集合X，對象a 是否屬于集合X 就具有隨機不確定性。其中一些不確定性與信息論原有的不確定性疊加起來就可能產生多重不確定性。這里的不確定性除了隨機不確定性、模糊不確定性，還可能有更多形式的不確定性，包括某些不完全的約束條件造成的不確定性。可見，對信息多重不確定性的忽視是信息論的局限性的重要的根源。對信息可靠性的忽視也是信息論無法廣泛應用的重要原因。鑒于所有的信息都很難可靠和完備，所以我們可以將可靠性和完備性問題總歸為信息的相對性問題。實際上，現實中人們很難得出完全可靠的信息，只有權宜地采用相對可靠的信息，當有更加可靠的信息的時候，人們會利用更可靠的信息取代先驗的信息。由于可靠性也與概率值的不確定性有關系，對信息可靠性的度量也可以借鑒香農對信息不確定性的度量，然而，計算概率的不確定性會比信息熵的計算復雜，因為概率需要滿足更多的約束條件。

當然，信息論也與現實信息問題具有很強相似性，信息論的方法很值得在現實的信息問題的研究中（包括信息的可靠性的研究中）借鑒，總而言之，信息論的局限性是源于信息論是針對通信問題的，其模型本身具有的局限性。當然也與概率論的局限性有關系，由于對概率值隨機性和多重隨機不確定性研究的不足，使得人們容易陷入“概率（包括聯合概率分布）就是確定值，而不可能是隨機變量”，“給定條件就可以得出條件概率”等思維定勢中，而這些思維定勢只是適用于現實概率論問題中的一部分。由于信息論的這些限制條件能夠較好地滿足通信問題，使得它能夠在通信領域得到成功的應用，而推廣到一般的信息領域則需要針對它的局限性解除相應的約束條件。

第二小節．信息論在光通信中的應用

自香農(C．E．Shannom)提出信息理論以來，信息論已經成為通信理論中重要而又基礎的一部分。如今，通信中越來越多的使用光作為傳輸媒質以及光器件的快速發展，電信道已被光信道所取代。光信道的信息容量的大小已成為人們關心的課題。對此進行分析和比較。

光量子信道的信道容量從信息論的角度可以認為光量子信道是信號和噪聲疊加的加性信道。假設在頻率

fi時，輸人信號產生的平均量子數為xi，噪聲產生的平均量子數為ni可得，對于頻率，輸出信號的平均量子數為

y=x+niii

p(xi)p()p(yi)，ni，假設xi與ni統計獨立。設xi，ni，p(yi的概率密度函數為yi且x)i=p(ni)在特定頻率 上，光量子信道的平均互信息:

I(y;xi)?H(y)?H(ni)ii（*）

因為固定時間間隔?t，?t?1/fi，所以單位時間內的平均互信息:

1?I(X;Y)??I(y;xi)?H(Y)?H(n)i?ti?0

在f1上，假設接收信號的光量子的離散能譜為Ei?hfi(h是普朗克常數).由于熱輻射，光量子的波動服從Gibb分布

p(ni)?1?exp[?hfi/kT]exp[nihfi/kT]

2H(n)??Kt/3hln2 可得，光量子的波動引起的噪聲熵:信號最大熵：

H(Y)????p(y)logp(y)df?ii03hln2yi?0

C?由式（*）可得光量子信道容量：

??2kTe?2Kt3hln2[(1?6hs1/2)?1]?kT

6hs??12當hf??kT,即信噪比(?kT)時，光量子信道的信道容量極限值為：

C光量子=2S1/2)ln23h

(1)

(?6hs??12當信噪比很小(?kT)時，光量子信道的信道容量極限值為

C經典=SN0ln2

(2)

此式正是由香農公式得到的信道容量極限值式，其中N0?KT。

結論

從以上分析可看出，對于光量子信道來言，當頻率很高時，信道容量的極限值是式(1)，而不是式(2)。只有當信噪比很低時，光量子信道的極限值才等于香農信道容量公式的極限值。因此，對于窄帶的光量子信道，帶寬?f??f（中心頻率)時，可計算得光量子信道的極限值就等于香農信道容量公式。

參考文獻

[1]朱雪龍著．應用信息論基礎．清華大學出版社.[2]傅祖蕓著．信息論基礎理論與應用．電子工業出版社，2001(8).[3]陶純堪，陶純匡著．光學信息論．科學出版社，1999(3).[4]Shannon C E.A mathematical theory of communication[J]，Bell System Technical Journal,27(1948)，379—429，623—656.[5].鐘義信．信息科學原理[M]．福州：福建人民出版社，1988． [6].魯晨光．廣義信息論[M]．中國科技大學出版社，1993.[7].王勇，香農信息定義分析與改進[OL]，www.tmdps.cn, 2007年11月.

第五篇：信息論簡答題總結

一：數據處理定理：

（1）：I(X;Z)<=I(X;Y)表明從Z所得到的關于X的信息量小于等于從Y得到的關于X的信息量。如果把Y-->Z看作數據處理系統，那么通過數據處理后，雖然可以滿足我們的某種要求，但是從信息量來看，處理后會損失一部分信息，最多保持原有的信息，也就是說，對接收到的數據Y進行處理后，絕不會減少關于X的不確定性。這個定理稱為數據處理定理。二：即時碼，唯一可譯碼（充要條件）（1）：一個唯一可譯碼成為即時碼的充要條件是時鐘任何一個碼字都不是其他碼字的前綴。這個很好理解，因為如果沒有一個碼字是其他碼字的前綴，則在接受到一個相當于一個完整碼字的符號序列后便可以立即譯碼，而無須考慮其后的碼符號。反過來說，如果有一個碼字是其他碼字的前綴，假設Wj是Wj的前綴，則在接收到相當于Wj的碼符號序列后還不能立即判使之定它是一個完整的碼字，若想正確譯碼，還必須參考后續后續的碼符號，這與即時碼的定義相矛盾，所以即時碼的必要條件是其中任何一個碼字都不是其他的碼字的前綴。三：香農定理：

（1）第一定理：要做到無失真信源編碼，每個信源符號平均所需最少得的r元碼符號數就是信源的熵值（以r進制單位為信息量單位）

（2）第二定理：設有一個離散無記憶平穩信道，其信道容量為C。當信息傳輸率RC，則無論取多大，也找不到一種編碼，使譯碼錯誤概率PE任意小。四：差錯控制和譯碼規則

(1）選擇譯碼函數F（yi）=x*，使之滿足條件p（x*/yi）>=p（xi/yi）稱為最大后驗概率譯碼規則，又稱為最小錯誤概率準則，最優譯碼，最佳譯碼。

（2）選擇譯碼函數F（yi）=x*，使之滿足條件p（yi/x*）>=p（yi/x*）稱為似然譯碼規則。

五：掌握信息的基本特點：（1）：信息是可以度量，而且它具有不確定性。

六：了解信息論的發展及最新成果：(1）：信息論創立的標志是1948年香農發表的論文。信息論從誕生到現在，雖然只有短短的50多年，但它 的發展對學術界及人類社會的影響是相當廣泛和深刻的。如今，信息論的研究內容不僅僅包括通信，而且

包括所有與信息有關的自然和深灰領域，如模式識別，及其翻譯，心理學，遺傳學，神經生理學，語言學。

七：掌握熵的性質：

（1）對稱性，確定性，非負性，擴展性，連續性，遞推性，極值性，上凸性

八：掌握互信息及平均互信息的基本概念、定義，性質及其物理意義

（1）概念：互信息I（Xi;Yi)表示某一事件Yi所給出的關于另一個事件Xi的信息，他隨Xi和Yi的變化而變化，為了沖整體上表示從一個隨機變量Y所給出關于另一個隨機變量X的信息量，定義互信息I（Xi;Yi)在XY的聯合概率

空間中的統計平均值為隨機變量X和Y間的平均互信息。

（2）定義：條件熵H(X/Y)表示給定隨機變量Y后，對隨機變量X仍然存在的不確定度。所以Y關于X的平均互

信息是收到Y前后源于X的不確定度減少的量，也就是從Y所獲得的關于X的平均信息量。（3）性質:非負性，互易性，平均互信息和各類熵的關系，凸函數性 九：掌握信源編碼的基本概念

（1）為了減少信源輸出符號序列中的剩余度、提高符號的平均信息量，對信源輸出的符號序列所施行的變換。

十：掌握幾種常見的無失真信源編碼方法，以及實際應用的其他編碼方法（1)香農編碼，香農-費諾-埃利斯編碼，霍夫曼編碼，費諾編碼（2）實用編碼：游程編碼，算術編碼，LZW編碼 十一：掌握信道的數學模型和分類

（1）數學模型：信道的輸入和輸出時統計以來關系，信道的特性由{X,P(Y/X),Y}確定 如圖示---{X,P(X)}---》信道P（Y/X）---{ Y,P(Y)}--》 十二：掌握信道容量的物理意義

（1）： 信息論不研究信號在信道中傳輸的物理過程，它假定信道的傳輸特性是已知的，這樣信道就可以用抽象的數學模型來描述。

在信息論中，信道通常表示成：{X, P(Y|X), Y}，即信道輸入隨機變量X、輸出隨機變量Y以及在輸入已知的情況下，輸出的條件概率分布 P(Y|X)。

十三：掌握幾種譯碼準則

（1）譯碼規則的選擇準則，最小錯誤概率譯碼，最大似然譯碼準則，費諾不等式 十四：掌握香農第二定理的內容

（1）設有一個離散無記憶平穩信道，其信道容量為C，當信息傳輸率RC,則無論取多大，也找不到一種編碼，是譯碼錯誤概率PE任意小。十五：差錯控制方式

（1）反饋重傳糾錯，前向糾錯和混合糾錯。十六：掌握線性分組碼的編碼方法

（1）線性分組碼的編碼方式是江新苑輸出序列分組，魅族是腸胃K的信息序列，然后按照一定的編碼規則插入n-k位的校驗位，校驗位是所有信息位的線性組合，組成n長的碼子序列

十七：什么是熵（1）：我們用平均自信息量來表征整個信源的不確定度，平均自信息量又稱為信息熵。信息熵，簡稱熵。