第一篇：信息論與編碼論文

題 目：

課題論文

信息論在生活中的應(yīng)用

課程名稱： 信息論與編碼

學(xué) 院：

理學(xué)院

專 業(yè)： 信息與計(jì)算科學(xué)

年 級(jí)：

2010級(jí)

姓 名：

郭小兵（1007010210）學(xué)生簽名

指導(dǎo)教師：彭長(zhǎng)根

2013年4月1日

摘要 隨著計(jì)算機(jī)技術(shù)、通信技術(shù)和網(wǎng)絡(luò)技術(shù)等信息技術(shù)的快速發(fā)展，信息技術(shù)已經(jīng)成為當(dāng)今社會(huì)應(yīng)用范圍最廣的高新技術(shù)之一。信息論是信息技術(shù)的主要理論技術(shù)基礎(chǔ)之一，它的一些基本理論在通信、計(jì)算機(jī)、網(wǎng)絡(luò)等工程領(lǐng)域中得到了廣泛的應(yīng)用。目前，信息論所研究的范疇已經(jīng)超過(guò)了通信及其相近學(xué)科，在其他學(xué)科應(yīng)用也很廣泛。

關(guān)鍵字：信息論 信息技術(shù)

1948年香農(nóng)在Bell System Technical Journal上發(fā)表了《A Mathematical Theory of Communication 》。論文由香農(nóng)和威沃共同署名。前輩威沃(Warren Weaver，1894-1978)當(dāng)時(shí)是洛克菲勒基金會(huì)自然科學(xué)部的主任，他為文章寫了序言。后來(lái)，香農(nóng)仍然從事技術(shù)工作，而威沃則研究信息論的哲學(xué)問(wèn)題。順便提一句，該論文剛發(fā)表時(shí)，使用的是不定冠詞A，收入論文集時(shí)改為定冠詞The。

這篇奠基性的論文是建立在香農(nóng)對(duì)通信的觀察上，即“通信的根本問(wèn)題是報(bào)文的再生，在某一點(diǎn)與另外選擇的一點(diǎn)上報(bào)文應(yīng)該精確地或者近似地重現(xiàn)”。這篇論文建立了信息論這一學(xué)科，給出了通信系統(tǒng)的線性示意模型，即信息源、發(fā)送者、信道、接收者、信息宿，這是一個(gè)新思想。此后，通信就考慮為把電磁波發(fā)送到信道中，通過(guò)發(fā)送1和0的比特流，人們可以傳輸圖像、文字、聲音等等。今天這已司空見(jiàn)慣，但在當(dāng)時(shí)是相當(dāng)新鮮的。他建立的信息理論框架和術(shù)語(yǔ)已經(jīng)成為技術(shù)標(biāo)準(zhǔn)。他的理論在通信工程師中立即獲得成功，并刺激了今天信息時(shí)代所需要的技術(shù)發(fā)展。

香農(nóng)考慮的信息源，產(chǎn)生由有限符號(hào)組成的詞。它們通過(guò)信道進(jìn)行傳輸，每個(gè)符號(hào)開(kāi)銷有限的信道時(shí)間。這里涉及到統(tǒng)計(jì)學(xué)問(wèn)題，如果xn是第n個(gè)符號(hào)，它是由固定隨機(jī)過(guò)程源xn產(chǎn)生的，香農(nóng)給出一個(gè)分析信號(hào)誤差序列的方法，它是傳輸系統(tǒng)固有的，可以通過(guò)設(shè)計(jì)相應(yīng)的控制系統(tǒng)控制它。在這篇論文中，香農(nóng)首次引入“比特”(bit)一詞，如果在信號(hào)中附加額外的比特，就能使傳輸錯(cuò)誤得到糾正。按照物理學(xué)的習(xí)慣，把電流單位叫做“安培”，如果給“比特流”一個(gè)單位名，那么叫做“香農(nóng)”是比較合適的。

通信的數(shù)學(xué)理論是香農(nóng)在數(shù)學(xué)與工程研究上的頂峰。他把通信理論的解釋公式化，對(duì)最有效地傳輸信息的問(wèn)題進(jìn)行了研究。香農(nóng)的文章立即被世界各國(guó)的通信工程師和數(shù)學(xué)家采用，大家詳細(xì)地論述它、擴(kuò)展它、完善它。這個(gè)學(xué)科立刻繁榮起來(lái)，成為科學(xué)史上光輝燦爛的一頁(yè)。后來(lái)，香農(nóng)感到由他扮演重要角色而開(kāi)始與通信革命走得有些過(guò)遠(yuǎn)。他寫道：“信息理論可能像一個(gè)升空的氣球，其重要性超過(guò)了它的實(shí)際成就”，真是大師的氣魄。

一、信息論與編碼的應(yīng)用

信息作為一種資源，如何開(kāi)發(fā)、利用、共享是人們普遍關(guān)注的問(wèn)題。信息是信息論中最基本最重要的概念。信息論是應(yīng)用近代數(shù)理統(tǒng)計(jì)方法研究信息的傳輸、存儲(chǔ)與處理的科學(xué)[1]。其基本任務(wù)是為設(shè)計(jì)有效而可靠的通信系統(tǒng)提供理論依據(jù)，主要特點(diǎn)是理論的成功應(yīng)用，主要體現(xiàn)在信息論在數(shù)據(jù)壓縮、密碼學(xué)、統(tǒng)計(jì)及信號(hào)處理中的應(yīng)用。

1.1信息論在數(shù)據(jù)壓縮理論中的應(yīng)用

數(shù)據(jù)壓縮的主要目的是力求用最少的數(shù)據(jù)表示信源所發(fā)出的信號(hào)，使信號(hào)占用的存儲(chǔ)空間盡可能小，以達(dá)到提高信息傳輸速度的目的。數(shù)據(jù)壓縮在近代信息處理問(wèn)題中有大量的應(yīng)用，無(wú)論在數(shù)據(jù)存儲(chǔ)或傳送中，通過(guò)數(shù)據(jù)壓縮不僅可以大大節(jié)省資源利用的成本，而且把一些原來(lái)無(wú)實(shí)用意義的技術(shù)，如多媒體技術(shù)中的一些問(wèn)題，達(dá)到具有實(shí)用意義的標(biāo)準(zhǔn)。

數(shù)據(jù)壓縮作為信息論研究中的一項(xiàng)內(nèi)容，主要是有關(guān)數(shù)據(jù)壓縮比和各種編碼方法的研究，即按某種方法對(duì)源數(shù)據(jù)流進(jìn)行編碼，使得經(jīng)過(guò)編碼的數(shù)據(jù)流比原數(shù)據(jù)流占有較少的空間。其中基于符號(hào)頻率統(tǒng)計(jì)的哈夫曼編碼效率高，運(yùn)算速度快，實(shí)現(xiàn)方式靈活，使得其在數(shù)據(jù)壓縮領(lǐng)域得到了廣泛的應(yīng)用。

數(shù)據(jù)壓縮技術(shù)的不斷完善是依靠在信息論這門學(xué)科的成長(zhǎng)上的，信息能否被壓縮以及能在多大程度上被壓縮與信息的不確定性有直接的關(guān)系，人工智能技術(shù)將會(huì)對(duì)數(shù)據(jù)壓縮的未來(lái)產(chǎn)生重大影響。

1.2信息論在密碼學(xué)中的應(yīng)用

密碼學(xué)是研究編制密碼和破譯密碼的技術(shù)科學(xué)。從傳統(tǒng)意義上來(lái)說(shuō)，密碼學(xué)是研究如何把信息轉(zhuǎn)換成一種隱蔽的方式并阻止其他人得到它。密碼術(shù)的研究和應(yīng)用雖有很長(zhǎng)的歷史，但在信息論誕生之前，它還沒(méi)有系統(tǒng)的理論，直到香農(nóng)發(fā)表的保密通信的信息理論一文，為密碼學(xué)確立了一系列的基本原則與指標(biāo)，如加密運(yùn)算中的完全性、剩余度等指標(biāo)，它們與信息的度量有著密切相關(guān)。之后才產(chǎn)生了基于信息論的密碼學(xué)理論，所以說(shuō)信息論與密碼學(xué)的關(guān)系十分密切。

近代密碼學(xué)由于數(shù)據(jù)加密標(biāo)準(zhǔn)與公鑰體制的出現(xiàn)與應(yīng)用，使近代密碼學(xué)所涉及的范圍有了極大的發(fā)展，尤其是在網(wǎng)絡(luò)認(rèn)證方面得到廣泛應(yīng)用，但其中的安全性原理與測(cè)量標(biāo)準(zhǔn)仍未脫離香農(nóng)保密系統(tǒng)所規(guī)定的要求，多種加密函數(shù)的構(gòu)造，如相關(guān)免疫函數(shù)的構(gòu)造仍以香農(nóng)的完善保密性為基礎(chǔ)。

1.3信息論在數(shù)字移動(dòng)通信系統(tǒng)中的應(yīng)用

數(shù)字移動(dòng)通信系統(tǒng)主要包含編碼和譯碼兩種技術(shù)。移動(dòng)信道是最復(fù)雜的一種信道，為了保證在不利的條件下接受信號(hào)的傳輸質(zhì)量，就必須采用各種抗衰落技術(shù)和數(shù)字傳輸技術(shù)，如分集技術(shù)、擴(kuò)頻技術(shù)、均衡、交織和糾錯(cuò)編碼等。

TD-SCDMA采用了3種信道編碼方案以提高信息在無(wú)線信道上的傳輸?shù)目煽啃裕鼈兎謩e是卷積編碼、Turbo編碼和不編碼。

1.4信息論在統(tǒng)計(jì)中的應(yīng)用

信息論在統(tǒng)計(jì)中的應(yīng)用一般指信息量在統(tǒng)計(jì)中的應(yīng)用，也有編碼定理與碼結(jié)構(gòu)在統(tǒng)計(jì)中的應(yīng)用等問(wèn)題。由于統(tǒng)計(jì)學(xué)研究的問(wèn)題日趨復(fù)雜，如統(tǒng)計(jì)模型從線性到非線性，統(tǒng)計(jì)分布從單一分布到混合分布，因此信息量在統(tǒng)計(jì)中的作用日趨重要，在許多問(wèn)題中以信息量作為它們的基本度量。

在統(tǒng)計(jì)領(lǐng)域里，統(tǒng)計(jì)計(jì)算技術(shù)近年來(lái)發(fā)展很快，它使許多統(tǒng)計(jì)方法，尤其是Bayes統(tǒng)計(jì)得到廣泛的運(yùn)用。信息與統(tǒng)計(jì)相結(jié)合的其他典型問(wèn)題還很多，如假設(shè)檢驗(yàn)中的兩類誤差估計(jì)問(wèn)題，試驗(yàn)設(shè)計(jì)問(wèn)題，信息量在有效估計(jì)中的應(yīng)用問(wèn)題等，這些問(wèn)題已使信息論與統(tǒng)計(jì)學(xué)想成相互推動(dòng)發(fā)展的局面。

[2]1.5編碼技術(shù)在調(diào)制解調(diào)技術(shù)中的應(yīng)用 在上個(gè)世紀(jì)80到90年代，信息編碼理論應(yīng)用的兩項(xiàng)重大成果是：調(diào)制解調(diào)理論及數(shù)據(jù)壓縮理論在多媒體技術(shù)領(lǐng)域的應(yīng)用。調(diào)制解調(diào)碼的出現(xiàn)從根本上改變了數(shù)據(jù)通信的狀況，使調(diào)制解調(diào)碼通信速度從原來(lái)的1200bit/s逐步增加到30000bit/s。我們可以簡(jiǎn)單計(jì)算得知，調(diào)制解調(diào)碼大大提高了數(shù)據(jù)傳輸速度，提高了25倍，從而使現(xiàn)有的網(wǎng)絡(luò)通信成為實(shí)用性的技術(shù)。

1.6編碼技術(shù)在快速通信領(lǐng)域中的應(yīng)用

編碼理論在快速通信技術(shù)中已得到了大量的應(yīng)用，通信技術(shù)已從低速向高速發(fā)展，通信手段正向微波、衛(wèi)星等方向發(fā)展，因此誤差干擾問(wèn)題突現(xiàn)出來(lái)，利用糾錯(cuò)碼可大大降低通信中的差錯(cuò)率。在20世紀(jì)70到80年代的代數(shù)碼，如BCH碼、R-S碼等為克服誤差干擾發(fā)揮了重要作用，成為通信工程不可缺少的一個(gè)組成部分。

1.7信息論在其他領(lǐng)域中的應(yīng)用

現(xiàn)今時(shí)代信息科學(xué)飛速發(fā)展，信息論已跨越了通信領(lǐng)域，在其他領(lǐng)域也得到了廣泛應(yīng)用。信息論不僅在計(jì)算機(jī)、自動(dòng)控制等方面突現(xiàn)作用，還開(kāi)始涉及到物理學(xué)、化學(xué)、生物學(xué)、心理學(xué)、醫(yī)學(xué)、經(jīng)濟(jì)學(xué)、人類學(xué)、語(yǔ)言學(xué)、統(tǒng)計(jì)學(xué)和管理學(xué)等學(xué)科。

比如信息論在水資源系統(tǒng)工程中可以利用信息論的方法建立模型推到降水、儲(chǔ)水量等分布的問(wèn)題。在建筑工程故障診斷中信息論也得到了應(yīng)用，它用熵的概念對(duì)所測(cè)量的數(shù)據(jù)進(jìn)行處理和誤差分析。另外，信息論也能在作戰(zhàn)效能評(píng)估中得到應(yīng)用研究，我們可以從信息的不確定性著手評(píng)估其作戰(zhàn)效能。我們不難看出，信息論在很多領(lǐng)域都有所應(yīng)用。

二、信息論與編碼技術(shù)的應(yīng)用前景

隨著Turbo碼的研究發(fā)展，在3G移動(dòng)通信系統(tǒng)設(shè)計(jì)中Turbo碼以及Turbo思想越來(lái)越多地被用于和其他技術(shù)的結(jié)合上。例如在CDMA中，由于Turbo碼編碼中使用交織，可以通過(guò)分散信息碼元的位置降低擴(kuò)頻碼間的相關(guān)性。實(shí)現(xiàn)時(shí)將Turbo碼與DS—CDMA系統(tǒng)的擴(kuò)頻編碼結(jié)合起來(lái)。接收端先通過(guò)匹配濾波器分離出各用戶的接收信息，再根據(jù)信道模型計(jì)算出傳遞條件概率進(jìn)行解擴(kuò)，經(jīng)過(guò)分支概率產(chǎn)生器后得到各個(gè)用戶接收信息的后驗(yàn)概率，分別送入相應(yīng)的Turbo碼譯碼器，每個(gè)譯碼器得到一個(gè)軟判決輸出和一個(gè)的可能性和超過(guò)這個(gè)最大值時(shí)的傳輸問(wèn)題；構(gòu)造性的編碼方法以及這些方法能達(dá)到的性能界限。

編碼方法在離散信道中一般用代數(shù)碼形式，其類型有較大發(fā)展，各種界限也不斷有人提出，但尚未達(dá)到編碼定理所啟示的限度，尤其是關(guān)于多用戶信道，更顯得不足。在連續(xù)信道中常采用正交函數(shù)系來(lái)代表消息，這在極限情況下可達(dá)到編碼定理的限度。只有無(wú)記憶單用戶信道和多用戶信道中的特殊情況的編碼定理已有嚴(yán)格的證明，其它信道也有一些結(jié)果，但尚不完善。

信息論出現(xiàn)已有30年,并已發(fā)展成為一門獨(dú)立的理論科學(xué),這是由于通訊的理論與工程領(lǐng)域內(nèi)存在大量積累起來(lái)的各方面知識(shí)等待綜合,另一方面,又有著日益復(fù)雜的各種通訊控制等問(wèn)題要求有適當(dāng)?shù)姆椒ㄈソ鉀Q。也就是說(shuō),由于人類生產(chǎn)斗爭(zhēng)的實(shí)踐活動(dòng),達(dá)到一定的歷史階段,而形成相應(yīng)的學(xué)科。隨著信息論學(xué)科的發(fā)展,又更深刻地預(yù)見(jiàn)和指導(dǎo)著通訊與其他工程技術(shù)領(lǐng)域的發(fā)展。

信息論的作用,同其他任何總結(jié)性的理論學(xué)科一樣,是以一般的形式提出和解決基本問(wèn)題。它不僅可以用來(lái)探討過(guò)去在通訊工程領(lǐng)域中獲得的成就,而且可以指出在發(fā)展方向中應(yīng)注意的問(wèn)題。很多情況下,信息論可以明確指出: 哪些指標(biāo)是可以達(dá)到的,哪些是無(wú)法達(dá)到的，這為我們的生產(chǎn)實(shí)踐提供了科學(xué)依據(jù)。

三、結(jié)束語(yǔ)

信息論發(fā)展起來(lái)以前, 人們對(duì)信息系統(tǒng)的理解是比較膚淺的。而現(xiàn)今，隨著信息科學(xué)的不斷發(fā)展，信息論的研究, 已與很多近代學(xué)科是密切相關(guān)的：如通訊、雷達(dá)、聲納、導(dǎo)航、遙測(cè)、遙控、遙感、自動(dòng)控制、計(jì)算機(jī)、信息處理技術(shù)、控制論以及應(yīng)用數(shù)學(xué)、物理學(xué)、邏輯學(xué)、生物學(xué)、心理學(xué)、語(yǔ)言學(xué)、語(yǔ)音學(xué)、仿生學(xué)等。

本文主要介紹信息論與編碼的應(yīng)用與發(fā)展前景，同時(shí)簡(jiǎn)介傳統(tǒng)編碼方法與現(xiàn)化編碼的不同，編碼技術(shù)在通信技術(shù)中的應(yīng)用及其發(fā)展為主。通過(guò)這篇學(xué)習(xí)心得，可以看出，信息論與編碼技術(shù)在不斷創(chuàng)新發(fā)展，使其更能為我們所用，在更多的領(lǐng)域得到應(yīng)用和發(fā)展。而我們?nèi)祟愒诓煌５卦诮沂咀匀唤鐭o(wú)窮奧妙的同時(shí)，也可以利用這些奧妙造幸于我們。

【參考文獻(xiàn)】

[1] 曹雪虹，張宗橙．信息論與編碼[M]．北京：清華大學(xué)出版社．2004． [2] 沈世鎰，吳忠華．信息論基礎(chǔ)與應(yīng)用[M]．北京：高等教育出版社．2004． [3] 隋曉紅，王艷營(yíng)．信息論與編碼[M]．北京：北京大學(xué)出版社.2010 [4] 傅祖蕓.信息論—基礎(chǔ)理論與應(yīng)用[M]．北京：電子工業(yè)出版社．2004． [5] 張珊珊.信息論的應(yīng)用[J]．大眾科技，143（7）：45-46.2011.[6] 維芬，云娜.信息論基本問(wèn)題簡(jiǎn)述[J]．信息與控制，34（1）：7-9.1978.[7] 盧侃.從Shannon信息論到認(rèn)知信息論[J]．哈爾濱工程大學(xué)學(xué)報(bào)，32（8）：1063-1065.2011

第二篇：信息論編碼論文

信息論

信息論與編碼

信息論概述：

信息論是運(yùn)用概率論與數(shù)理統(tǒng)計(jì)的方法研究信息傳輸和信息處理系統(tǒng)中一般規(guī)律的新興學(xué)科。核心問(wèn)題是信息傳輸?shù)挠行院涂煽啃砸约皟烧唛g的關(guān)系。

信息論作為一門科學(xué)理論，發(fā)端于通信工程。它具有廣義和狹義兩個(gè)概念：

狹義信息論是應(yīng)用統(tǒng)計(jì)方法研究通訊系統(tǒng)中信息傳遞和信息處理的共同規(guī)律的科學(xué)，即研究概率性語(yǔ)法信息的科學(xué)；

廣義信息論是應(yīng)用數(shù)學(xué)和其他有關(guān)科學(xué)方法研究一切現(xiàn)實(shí)系統(tǒng)中信息傳遞和處理、信息識(shí)別和利用的共同規(guī)律的科學(xué)，即研究語(yǔ)法信息、語(yǔ)義信息和語(yǔ)用信息的科學(xué)。

信息是事物及其屬性標(biāo)識(shí)的集合。

信息就是信息，信息是物質(zhì)、能量、信息及其屬性的標(biāo)示。

信息是確定性的增加。即肯定性的確認(rèn)。

當(dāng)我們使用一個(gè)數(shù)據(jù)庫(kù)時(shí)，總希望數(shù)據(jù)庫(kù)的內(nèi)容是可靠的、正確的，但由于計(jì)算機(jī)系統(tǒng)的故障（包括機(jī)器故障、介質(zhì)故障、誤操作等），數(shù)據(jù)庫(kù)有時(shí)也可能遭到破壞，這時(shí)如何盡快恢復(fù)數(shù)據(jù)就成為當(dāng)務(wù)之急。如果平時(shí)對(duì)數(shù)據(jù)庫(kù)做了備份，那么此時(shí)恢復(fù)數(shù)據(jù)就顯得很容易。由此可見(jiàn)，做好數(shù)據(jù)庫(kù)的備份是多么的重要，下面筆者就以O(shè)RACLE7為例，來(lái)講述一下數(shù)據(jù)庫(kù)的備份和恢復(fù)。ORACLE 數(shù)據(jù)庫(kù)有三種標(biāo)準(zhǔn)的備份方法，它們分別為導(dǎo)出/導(dǎo)入（EXPORT/IMPORT）、冷備份、熱備份。導(dǎo)出備份是一種邏輯備份，冷備份和熱備份是物理備份。

信息論形成和發(fā)展：

人們對(duì)于信息的認(rèn)識(shí)和利用，可以追溯到古代的通訊實(shí)踐。中國(guó)古代的“烽燧相望”和古羅馬地中海諸城市的“懸燈為號(hào)”，可以說(shuō)是傳遞信息的原始方式。隨著社會(huì)生產(chǎn)的發(fā)展，科學(xué)技術(shù)的進(jìn)步，人們對(duì)傳遞信息的要求急劇增加。到了20世紀(jì)20年代，如何提高傳遞信息的能力和可靠性已成為普遍重視的課題。美國(guó)科學(xué)家N.奈奎斯特、德國(guó)K.屈普夫米勒、前蘇聯(lián)A.H.科爾莫戈羅夫和英國(guó)R.A.賽希爾等人，從不同角度研究信息，為建立信息論作出很大貢獻(xiàn)。1948年，美國(guó)數(shù)學(xué)家C.E.香農(nóng)(被稱為是“信息論之父”)出版《通信的數(shù)學(xué)理論》，1949年發(fā)表《噪聲中的通信》，從而奠定了信息論的基礎(chǔ)。20世紀(jì)70年代以后，隨著數(shù)學(xué)計(jì)算機(jī)的廣泛應(yīng)用和社會(huì)信息化的迅速發(fā)展，信息論正逐漸突破香農(nóng)狹義信息論的范圍，發(fā)展為一門不僅研究語(yǔ)法信息，而且研究語(yǔ)義信息和語(yǔ)用信息的科學(xué)。它的建立是人類認(rèn)識(shí)的一個(gè)飛躍。世界上各種事物都是充滿矛盾不斷發(fā)展的，物質(zhì)的運(yùn)動(dòng)主要是靠?jī)?nèi)部矛盾運(yùn)動(dòng)所產(chǎn)生的能量，而事物之間的普遍聯(lián)系則靠的是信息。信息是關(guān)于事物的運(yùn)動(dòng)狀態(tài)和規(guī)律，而信息論的產(chǎn)生與發(fā)展過(guò)程，就是立足于這個(gè)基本性質(zhì)。信息論迅速滲透到各個(gè)不同學(xué)科領(lǐng)域，但還不夠完善。為了適應(yīng)科學(xué)技術(shù)發(fā)展的需要，迎接信息化社會(huì)的到來(lái)，一門新的科學(xué)正在迅速興起，這就是廣義信息論，或者叫做信息科學(xué)。信息科學(xué)是由信息論、控制論、計(jì)算機(jī)、人工智能和系統(tǒng)論等相互滲透、相互結(jié)合而形成的一門新興綜合性學(xué)科。信息科學(xué)登上現(xiàn)代科技舞臺(tái)，與能量科學(xué)、材料科學(xué)鼎足而立，將為科學(xué)技術(shù)的發(fā)展作出貢獻(xiàn)。

信息論

信息論內(nèi)容：

信息論內(nèi)容包括信息熵、信源編碼、信道編碼、信道容量、信息失真率理論、信號(hào)檢測(cè)和估計(jì)等。

信息量：

信息的度量是信息論研究的基本問(wèn)題之一。對(duì)于應(yīng)用范圍如此廣泛的信息提出一個(gè)統(tǒng)一的度量是困難的。美國(guó)數(shù)學(xué)家C.E.香農(nóng)在1948年提出信息熵作為信息量的測(cè)度。根據(jù)人們的實(shí)踐經(jīng)驗(yàn)，一個(gè)事件給予人們的信息量多少，與這一事件發(fā)生的概率(可能性)大小有關(guān)。一個(gè)小概率事件的發(fā)生，如“唐山發(fā)生七級(jí)以上大地震”使人們感到意外，它給人們的信息量就很多。相反一個(gè)大概率事件的出現(xiàn)，如“12月15日北京未下雪”給人們的信息量就很少。因此,用I(A)=-logP(A)〔P(A)表示事件A發(fā)生的概率〕來(lái)度量事件A給出的信息量，稱為事件A的自信息量。若一次試驗(yàn)有M個(gè)可能結(jié)果(事件)，或一個(gè)信源可能產(chǎn)生M個(gè)消息（事件）, 它們出現(xiàn)的概率分別為，則用來(lái)度量一次試驗(yàn)或一個(gè)消息所給出的平均信息量。當(dāng)對(duì)數(shù)取 2為底時(shí),單位為比特；當(dāng)對(duì)數(shù)取e為底時(shí),則單位為奈特。H的表達(dá)式與熵的表達(dá)式差一個(gè)負(fù)號(hào)，故稱負(fù)熵或信息熵。

信息傳輸模型：

信息傳輸系統(tǒng)主要由信源、信道和信宿組成，下圖為信息傳輸系統(tǒng)的基本模型。信源是產(chǎn)生消息的系統(tǒng)。信宿是接受消息的系統(tǒng)，信道則是傳輸消息的通道。圖中編碼器、譯碼器的作用是把消息變換成便于傳輸?shù)男问健?/p>

信源編碼：

信源是產(chǎn)生消息（包括消息序列）的源。消息通常是符號(hào)序列或時(shí)間函數(shù)。例如電報(bào)系

信息論

統(tǒng)中的消息是由文字、符號(hào)、數(shù)字組成的報(bào)文（符號(hào)序列），稱為離散消息。電話系統(tǒng)中的消息是語(yǔ)聲波形(時(shí)間函數(shù))，稱為連續(xù)消息。消息取值服從一定的統(tǒng)計(jì)規(guī)律。因此,信源的數(shù)學(xué)模型是一個(gè)在信源符號(hào)集中取值的隨機(jī)變量序列或隨機(jī)過(guò)程。信源編碼器將消息變換為一個(gè)數(shù)字序列(通常為二進(jìn)制數(shù)字序列)。在離散情形,若信源產(chǎn)生M個(gè)可能消息,它們出現(xiàn)的概率分別為，每個(gè)消息由N個(gè)信源符號(hào)組成,便可取信源編碼與數(shù)字序列一一對(duì)應(yīng)。第i個(gè)消息對(duì)應(yīng)的數(shù)字序列長(zhǎng)(數(shù)字個(gè)數(shù))為li，li相等的稱等長(zhǎng)編碼，否則稱變長(zhǎng)編碼。定義為編碼速率，它表征平均每個(gè)信源符號(hào)要用多少個(gè)數(shù)字來(lái)表示。若取信源譯碼器為信源編碼器的逆變換器，則在無(wú)噪信道(信源編碼器的輸出即為信源譯碼器的輸入)情況下，消息可以正確無(wú)誤地傳送。這時(shí)信源編碼問(wèn)題是要找出最小的速率R及其相應(yīng)的編碼。已經(jīng)證明,對(duì)于相當(dāng)廣泛的信源類,當(dāng)N可以任意大時(shí)這個(gè)最小極限速率，稱為信源的熵率,是信源的一個(gè)重要參數(shù)。對(duì)于固定的N,最優(yōu)編碼就是赫夫曼編碼。在連續(xù)消息的情形，信息編碼器不可能使消息與數(shù)字序列一一對(duì)應(yīng)，因此譯碼也不是編碼的逆變換。通常的方法是先對(duì)連續(xù)消息進(jìn)行采樣和量化，變?yōu)殡x散消息，再將離散消息變換為數(shù)字序列。信源譯碼器先將數(shù)字序列逆變換為離散消息，再用內(nèi)插法求得連續(xù)消息。這樣一來(lái)，即使在無(wú)噪信道的情況下，發(fā)送消息與接收消息之間也會(huì)產(chǎn)生誤差，稱為消息失真?？梢杂靡粋€(gè)非負(fù)函數(shù)d(u，v)來(lái)度量消息 u，v之間的失真大小。這時(shí)信源編碼問(wèn)題是在保證平均失真不超過(guò)給定允許極限D(zhuǎn) 的條件下找出最小速率R 及其相應(yīng)編碼。求解這一問(wèn)題導(dǎo)致熵推廣到失真率函數(shù)，信源編碼的失真率理論因而得到發(fā)展。

信道編碼：

信道是傳輸信息的媒質(zhì)或通道，如架空明線、同軸電纜、射頻波束、光導(dǎo)纖維等。有時(shí)為研究方便將發(fā)送端和接收端的一部分如調(diào)制解調(diào)器也劃歸信道。信息論把信息傳送過(guò)程中受各種干擾的影響都?xì)w入信道中考慮。根據(jù)干擾的統(tǒng)計(jì)特性,信道有多種模型。最簡(jiǎn)單的是離散無(wú)記憶恒參信道，它可以用信道入口符號(hào)集X、出口符號(hào)集Y和一組條件概率P(y|x)(x∈X，y∈Y)來(lái)描述。若信道輸入信號(hào)x＝(x1,x2,?,xN),則相應(yīng)的輸出(受擾)信號(hào)y＝(y1,y2,?,yN)出現(xiàn)的概率為信道編碼器將數(shù)字序列每K個(gè)一組變換為字長(zhǎng)N 的信號(hào)（碼字），稱為分組編碼。若數(shù)字和信道符號(hào)都是二進(jìn)制的(可用0,1表示)，則R＝K/N 定義為編碼速率，它表明每個(gè)信道符號(hào)表示多少個(gè)數(shù)字。N-K 稱為編碼冗余度。信道編碼(糾錯(cuò)編碼)的基本思想就是增加冗余度以提高可靠性。更確切地說(shuō)，信道譯碼器可以利用編碼冗余度將受擾信號(hào)變換為正確的發(fā)送數(shù)字序列。重復(fù)編碼乃一簡(jiǎn)例。信道編碼器將輸入數(shù)字重復(fù)三次, 如將01011變換為***。信道譯碼器可用門限譯碼，即先將輸入譯碼器的信道符號(hào)每三個(gè)一組地相加，再將結(jié)果逐個(gè)與閾值 2比較,小于閾值2的譯為0,否則譯為1。這樣若受擾信號(hào)***雖然錯(cuò)了 5個(gè)符號(hào),但譯碼仍為01011與發(fā)送數(shù)字序列完全相同。信息論得出的重要結(jié)論是:對(duì)于一個(gè)有噪信道,只要在信道編碼中引入足夠而有限的冗余度，或等價(jià)地說(shuō)編碼速率足夠小，就

信息論

能通過(guò)信道漸近無(wú)誤地傳送消息。更確切地說(shuō)，對(duì)充分長(zhǎng)的數(shù)字序列，其接收錯(cuò)誤概率可以任意小。信道編碼問(wèn)題是要找出使信道漸近無(wú)誤地傳輸消息所能達(dá)到的最大編碼速率R和相應(yīng)的編碼。已經(jīng)證明，對(duì)于離散無(wú)記憶恒參信道，這個(gè)最大極限編碼速率為它是對(duì)X上一切概率分布 p取極大值。p為信道轉(zhuǎn)移概率(條件概率)，的重要參數(shù)。

。稱為交互信息；C 稱為信道容量，是信道信道編碼概論：

通過(guò)信道編碼器和譯碼器實(shí)現(xiàn)的用于提高信道可靠性的理論和方法。信息論的內(nèi)容之一。信道編碼大致分為兩類 ：①信道編碼定理，從理論上解決理想編碼器、譯碼器的存在性問(wèn)題，也就是解決信道能傳送的最大信息率的可能性和超過(guò)這個(gè)最大值時(shí)的傳輸問(wèn)題。②構(gòu)造性的編碼方法以及這些方法能達(dá)到的性能界限。編碼定理的證明，從離散信道發(fā)展到連續(xù)信道，從無(wú)記憶信道到有記憶信道，從單用戶信道到多用戶信道，從證明差錯(cuò)概率可接近于零到以指數(shù)規(guī)律逼近于零，正在不斷完善。編碼方法，在離散信道中一般用代數(shù)碼形式，其類型有較大發(fā)展，各種界限也不斷有人提出，但尚未達(dá)到編碼定理所啟示的限度，尤其是關(guān)于多用戶信道，更顯得不足。在連續(xù)信道中常采用正交函數(shù)系來(lái)代表消息，這在極限情況下可達(dá)到編碼定理的限度。不是所有信道的編碼定理都已被證明。只有無(wú)記憶單用戶信道和多用戶信道中的特殊情況的編碼定理已有嚴(yán)格的證明；其他信道也有一些結(jié)果，但尚不完善。

數(shù)字信號(hào)在傳輸中往往由于各種原因，使得在傳送的數(shù)據(jù)流中產(chǎn)生誤碼，從而使接收端產(chǎn)生圖象跳躍、不連續(xù)、出現(xiàn)馬賽克等現(xiàn)象。所以通過(guò)信道編碼這一環(huán)節(jié)，對(duì)數(shù)碼流進(jìn)行相應(yīng)的處理，使系統(tǒng)具有一定的糾錯(cuò)能力和抗干擾能力，可極大地避免碼流傳送中誤碼的發(fā)生。誤碼的處理技術(shù)有糾錯(cuò)、交織、線性內(nèi)插等。

提高數(shù)據(jù)傳輸效率，降低誤碼率是信道編碼的任務(wù)。信道編碼的本質(zhì)是增加通信的可靠性。但信道編碼會(huì)使有用的信息數(shù)據(jù)傳輸減少，信道編碼的過(guò)程是在源數(shù)據(jù)碼流中加插一些碼元，從而達(dá)到在接收端進(jìn)行判錯(cuò)和糾錯(cuò)的目的，這就是我們常常說(shuō)的開(kāi)銷。這就好象我們運(yùn)送一批玻璃杯一樣，為了保證運(yùn)送途中不出現(xiàn)打爛玻璃杯的情況，我們通常都用一些泡沫或海棉等物將玻璃杯包裝起來(lái)，這種包裝使玻璃杯所占的容積變大，原來(lái)一部車能裝5000各玻璃杯的，包裝后就只能裝4000個(gè)了，顯然包裝的代價(jià)使運(yùn)送玻璃杯的有效個(gè)數(shù)減少了。同樣，在帶寬固定的信道中，總的傳送碼率也是固定的，由于信道編碼增加了數(shù)據(jù)量，其結(jié)果只能是以降低傳送有用信息碼率為代價(jià)了。將有用比特?cái)?shù)除以總比特?cái)?shù)就等于編碼效率了，不同的編碼方式，其編碼效率有所不同。

數(shù)字電視中常用的糾錯(cuò)編碼，通常采用兩次附加糾錯(cuò)碼的前向糾錯(cuò)（FEC）編碼。RS編碼屬于第一個(gè)FEC，188字節(jié)后附加16字節(jié)RS碼，構(gòu)成（204，188）RS碼，這也可以稱為外編碼。第二個(gè)附加糾錯(cuò)碼的FEC一般采用卷積編碼，又稱為內(nèi)編碼。外編碼和內(nèi)編碼結(jié)合一起，稱之為級(jí)聯(lián)編碼。級(jí)聯(lián)編碼后得到的數(shù)據(jù)流再按規(guī)定的調(diào)制方式對(duì)載頻進(jìn)行調(diào)制。

前向糾錯(cuò)碼（FEC）的碼字是具有一定糾錯(cuò)能力的碼型，它在接收端解碼后，不

信息論

僅可以發(fā)現(xiàn)錯(cuò)誤，而且能夠判斷錯(cuò)誤碼元所在的位置，并自動(dòng)糾錯(cuò)。這種糾錯(cuò)碼信息不需要儲(chǔ)存，不需要反饋，實(shí)時(shí)性好。所以在廣播系統(tǒng)（單向傳輸系統(tǒng)）都采用這種信道編碼方式。

下面是糾錯(cuò)碼的各種類型:

1、RS編碼

RS碼即里德-所羅門碼，它是能夠糾正多個(gè)錯(cuò)誤的糾錯(cuò)碼，RS碼為（204，188，t=8），其中t是可抗長(zhǎng)度字節(jié)數(shù)，對(duì)應(yīng)的188符號(hào)，監(jiān)督段為16字節(jié)(開(kāi)銷字節(jié)段）。實(shí)際中實(shí)施（255，239，t=8）的RS編碼，即在204字節(jié)（包括同步字節(jié)）前添加51個(gè)全“0”字節(jié)，產(chǎn)生RS碼后丟棄前面51個(gè)空字節(jié)，形成截短的（204，188）RS碼。RS的編碼效率是：188/204。

2、卷積碼

卷積碼非常適用于糾正隨機(jī)錯(cuò)誤，但是，解碼算法本身的特性卻是：如果在解碼過(guò)程中發(fā)生錯(cuò)誤，解碼器可能會(huì)導(dǎo)致突發(fā)性錯(cuò)誤。為此在卷積碼的上部采用RS碼塊，RS碼適用于檢測(cè)和校正那些由解碼器產(chǎn)生的突發(fā)性錯(cuò)誤。所以卷積碼和RS碼結(jié)合在一起可以起到相互補(bǔ)償?shù)淖饔?。卷積碼分為兩種：

(1)基本卷積碼:

基本卷積碼編碼效率為，η＝1/2, 編碼效率較低,優(yōu)點(diǎn)是糾錯(cuò)能力強(qiáng)。

(2)收縮卷積碼:

如果傳輸信道質(zhì)量較好，為提高編碼效率，可以采樣收縮截短卷積碼。有編碼效率為：η＝1/

2、2/

3、3/

4、5/

6、7/8這幾種編碼效率的收縮卷積碼。

編碼效率高，一定帶寬內(nèi)可傳輸?shù)挠行П忍芈试龃?但糾錯(cuò)能力越減弱。

3、Turbo碼

1993 年誕生的Turbo 碼，單片Turbo 碼的編碼/解碼器，運(yùn)行速率達(dá)40Mb/s。該芯片集成了一個(gè)32×32 交織器，其性能和傳統(tǒng)的RS 外碼和卷積內(nèi)碼的級(jí)聯(lián)一樣好。所以Turbo碼是一種先進(jìn)的信道編碼技術(shù)，由于其不需要進(jìn)行兩次編碼，所以其編碼效率比傳統(tǒng)的RS+卷積碼要好。

4、交織

在實(shí)際應(yīng)用中，比特差錯(cuò)經(jīng)常成串發(fā)生，這是由于持續(xù)時(shí)間較長(zhǎng)的衰落谷點(diǎn)會(huì)影響到幾個(gè)連續(xù)的比特，而信道編碼僅在檢測(cè)和校正單個(gè)差錯(cuò)和不太長(zhǎng)的差錯(cuò)串時(shí)才最有效（如RS只能糾正8個(gè)字節(jié)的錯(cuò)誤）。為了糾正這些成串發(fā)生的比特差錯(cuò)及一些突發(fā)錯(cuò)誤，可以運(yùn)用交織技術(shù)來(lái)分散這些誤差，使長(zhǎng)串的比特差錯(cuò)變成短串差錯(cuò)，從而可以用前向碼對(duì)其糾錯(cuò)，例如：在DVB-C系統(tǒng)中，RS(204,188)的糾錯(cuò)能力是8個(gè)字節(jié)，交織深度為12，那么糾可抗長(zhǎng)度為8×12＝96個(gè)字節(jié)的突發(fā)錯(cuò)誤。

實(shí)現(xiàn)交織和解交織一般使用卷積方式。

交織技術(shù)對(duì)已編碼的信號(hào)按一定規(guī)則重新排列，解交織后突發(fā)性錯(cuò)誤在時(shí)間上被分散，使其類似于獨(dú)立發(fā)生的隨機(jī)錯(cuò)誤，從而前向糾錯(cuò)編碼可以有效的進(jìn)行糾錯(cuò)，前向糾錯(cuò)碼加交積的作用可以理解為擴(kuò)展了前向糾錯(cuò)的可抗長(zhǎng)度字節(jié)。糾錯(cuò)能力強(qiáng)的編碼一般要求的交織深度相對(duì)較低。糾錯(cuò)能力弱的則要求更深的交織深度。

下圖是交織的原理圖：

一般來(lái)說(shuō)，對(duì)數(shù)據(jù)進(jìn)行傳輸時(shí)，在發(fā)端先對(duì)數(shù)據(jù)進(jìn)行FEC編碼，然后再進(jìn)行交積處理。在收端次序和發(fā)端相反，先做去交積處理完成誤差分散，再FEC解碼實(shí)現(xiàn)數(shù)據(jù)糾錯(cuò)。另外，從上圖可看出，交積不會(huì)增加信道的數(shù)據(jù)碼元。

根據(jù)信道的情況不同，信道編碼方案也有所不同，在DVB-T里由于由于是無(wú)線信道且存在多徑干擾和其它的干擾，所以信道很“臟”，為此它的信道編碼是：RS＋外交積＋卷積

信息論

碼＋內(nèi)交積。采用了兩次交積處理的級(jí)聯(lián)編碼，增強(qiáng)其糾錯(cuò)的能力。RS作為外編碼，其編碼效率是188/204（又稱外碼率），卷積碼作為內(nèi)編碼，其編碼效率有1/

2、2/

3、3/

4、5/

6、7/8五種（又稱內(nèi)碼率）選擇，信道的總編碼效率是兩種編碼效率的級(jí)聯(lián)疊加。設(shè)信道帶寬8MHZ，符號(hào)率為6.8966Ms/S，內(nèi)碼率選2/3，16QAM調(diào)制，其總傳輸率是27.586Mbps,有效傳輸率是27.586*(188/204)*(2/3)=16.948Mbps,如果加上保護(hù)間隔的插入所造成的開(kāi)銷，有效碼率將更低。

在DVB-C里，由于是有線信道，信道比較“干凈”，所以它的信道編碼是：RS＋交積。一般DVB-C的信道物理帶寬是8MHZ，在符號(hào)率為6.8966Ms/s，調(diào)制方式為64QAM的系統(tǒng)，其總傳輸率是41.379Mbps,由于其編碼效率為188/204，所以其有效傳輸率是41.379*188/204=38.134Mbps。

在DVB-S里，由于它是無(wú)線信道，所以它的信道編碼是：RS＋交積＋卷積碼。也是級(jí)聯(lián)編碼。

參考文獻(xiàn)

1)2)3)4)5)6)李立萍，張明友．信息論導(dǎo)引．成都：電子科技大學(xué)出版社，2005。田寶玉．工程信息論．北京：北京郵電大學(xué)出版社，2004。朱雪龍．應(yīng)用信息論基礎(chǔ)．北京：清華大學(xué)出版社，2000。李建東，王永茂，胡林敏．最大熵原理及其應(yīng)用．信息科學(xué)。王 棟，朱元甡．最大熵原理在水文水資源科學(xué)中的應(yīng)用．水科學(xué)進(jìn)展，2001，12(3)。[6]董偉民等．最大熵原理在地震重現(xiàn)關(guān)系上的應(yīng)用．地震工程與工程程動(dòng)，1983，3(4)。

7)馮利華，李鳳全．基于最大熵原理的災(zāi)害損失分析．?dāng)?shù)學(xué)的實(shí)踐與認(rèn)識(shí)，2005，35(8)。

第三篇：信息論與編碼

信息論與編碼的應(yīng)用

信息論是信息科學(xué)的主要理論基礎(chǔ)之一，它是在長(zhǎng)期通信工程實(shí)踐和理論基礎(chǔ)上發(fā)展起來(lái)的。信息論是應(yīng)用概率論、隨機(jī)過(guò)程和數(shù)理統(tǒng)計(jì)和近代代數(shù)等方法，來(lái)研究信息的存儲(chǔ)、傳輸和處理中一般規(guī)律的學(xué)科。它的主要目的是提高通信系統(tǒng)的可靠性、有效性和安全性，以便達(dá)到系統(tǒng)的最優(yōu)化。編碼理論與信息論緊密關(guān)聯(lián)，它以信息論基本原理為理論依據(jù)，研究編碼和譯碼的理論知識(shí)和實(shí)現(xiàn)方法?！娟P(guān)鍵詞】信息論 電子信息工程 通信 網(wǎng)絡(luò)

一、信息論應(yīng)用

人類社會(huì)的生存和發(fā)展無(wú)時(shí)不刻都離不開(kāi)信息的獲取、傳遞、再生、控制和利用。信息論正式一門把信息作為研究對(duì)象的科學(xué)，以揭示信息的本質(zhì)特性和規(guī)律為基礎(chǔ)，應(yīng)用概率論。隨機(jī)過(guò)程和樹(shù)立統(tǒng)計(jì)等方法來(lái)研究信息的存儲(chǔ)、傳輸、處理、控制和利用。它主要研究如何提高信息系統(tǒng)的可靠性、有效性、保密性和認(rèn)證性，以使信息系統(tǒng)最優(yōu)化。許多 科學(xué)技術(shù)問(wèn)題（如無(wú)線電通訊、電視、遙測(cè)、圖像和聲音識(shí)別等）都必須以信息論為理論指 導(dǎo)才能很好地解決。信息論的研究對(duì)象又可以是廣義的信息傳輸和信息處理系統(tǒng)。從最普通 的電報(bào)、電話、傳真、電視、雷達(dá)、聲納, 一直到各類生物神經(jīng)的感知系統(tǒng), 以及大到人類社會(huì)系統(tǒng),可以用同一的信息論觀點(diǎn)加以闡述, 都可以概括成某種隨機(jī)過(guò)程或統(tǒng)計(jì)學(xué)的數(shù)學(xué)模型加以深入研究。例如信息論在一下幾個(gè)方面都得到了廣泛的應(yīng)用。

信息論在數(shù)據(jù)壓縮理論中的應(yīng)用

數(shù)據(jù)壓縮的主要目的是力求用最少的數(shù)據(jù)表示信源所發(fā)出的信號(hào)，使信號(hào)占用的存儲(chǔ)空間盡可能小，以達(dá)到提高信息傳輸速度的目的。數(shù)據(jù)壓縮在近代信息處理問(wèn)題中有大量的應(yīng)用，無(wú)論在數(shù)據(jù)存儲(chǔ)或傳送中，通過(guò)數(shù)據(jù)壓縮不僅可以大大節(jié)省資源利用的成本，而且把一些原來(lái)無(wú)實(shí)用意義的技術(shù)，如多媒體技術(shù)中的一些問(wèn)題，達(dá)到具有實(shí)用意義的標(biāo)準(zhǔn)。

數(shù)據(jù)壓縮作為信息論研究中的一項(xiàng)內(nèi)容，主要是有關(guān)數(shù)據(jù)壓縮比和各種編碼方法的研究，即按某種方法對(duì)源數(shù)據(jù)流進(jìn)行編碼，使得經(jīng)過(guò)編碼的數(shù)據(jù)流比原數(shù)據(jù)流占有較少的空間。其中基于符號(hào)頻率統(tǒng)計(jì)的哈夫曼編碼效率高，運(yùn)算速度快，實(shí)現(xiàn)方式靈活，使得其在數(shù)據(jù)壓縮領(lǐng)域得到了廣泛的應(yīng)用。

數(shù)據(jù)壓縮技術(shù)的不斷完善是依靠在信息論這門學(xué)科的成長(zhǎng)上的，信息能否被壓縮以及能在多大程度上被壓縮與信息的不確定性有直接的關(guān)系，人工智能技術(shù)將會(huì)對(duì)數(shù)據(jù)壓縮的未來(lái)產(chǎn)生重大影響。

信息論在密碼學(xué)中的應(yīng)用

密碼學(xué)是研究編制密碼和破譯密碼的技術(shù)科學(xué)。從傳統(tǒng)意義上來(lái)說(shuō)，密碼學(xué)是研究如何把信息轉(zhuǎn)換成一種隱蔽的方式并阻止其他人得到它。密碼術(shù)的研究和應(yīng)用雖有很長(zhǎng)的歷史，但在信息論誕生之前，它還沒(méi)有系統(tǒng)的理論，直到香農(nóng)發(fā)表的保密通信的信息理論一文，為密碼學(xué)確立了一系列的基本原則與指標(biāo)，如加密運(yùn)算中的完全性、剩余度等指標(biāo)，它們與信息的度量有著密切相關(guān)。之后才產(chǎn)生了基于信息論的密碼學(xué)理論，所以說(shuō)信息論與密碼學(xué)的關(guān)系十分密切。

近代密碼學(xué)由于數(shù)據(jù)加密標(biāo)準(zhǔn)與公鑰體制的出現(xiàn)與應(yīng)用，使近代密碼學(xué)所涉及的范圍有了極大的發(fā)展，尤其是在網(wǎng)絡(luò)認(rèn)證方面得到廣泛應(yīng)用，但其中的安全性原理與測(cè)量標(biāo)準(zhǔn)仍未脫離香農(nóng)保密系統(tǒng)所規(guī)定的要求，多種加密函數(shù)的構(gòu)造，如相關(guān)免疫函數(shù)的構(gòu)造仍以香農(nóng)的完善保密性為基礎(chǔ)

信息論在數(shù)字移動(dòng)通信系統(tǒng)中的應(yīng)用

數(shù)字移動(dòng)通信系統(tǒng)主要包含編碼和譯碼兩種技術(shù)。移動(dòng)信道是最復(fù)雜的一種信道，為了保證在不利的條件下接受信號(hào)的傳輸質(zhì)量，就必須采用各種抗衰落技術(shù)和數(shù)字傳輸技術(shù)，如分集技術(shù)、擴(kuò)頻技術(shù)、均衡、交織和糾錯(cuò)編碼等。信息論在統(tǒng)計(jì)中的應(yīng)用

信息論在統(tǒng)計(jì)中的應(yīng)用一般指信息量在統(tǒng)計(jì)中的應(yīng)用，也有編碼定理與碼結(jié)構(gòu)在統(tǒng)計(jì)中的應(yīng)用等問(wèn)題。由于統(tǒng)計(jì)學(xué)研究的問(wèn)題日趨復(fù)雜，如統(tǒng)計(jì)模型從線性到非線性，統(tǒng)計(jì)分布從單一分布到混合分布，因此信息量在統(tǒng)計(jì)中的作用日趨重要，在許多問(wèn)題中以信息量作為它們的基本度量 [2]。

在統(tǒng)計(jì)領(lǐng)域里，統(tǒng)計(jì)計(jì)算技術(shù)近年來(lái)發(fā)展很快，它使許多統(tǒng)計(jì)方法，尤其是Bayes統(tǒng)計(jì)得到廣泛的運(yùn)用。信息與統(tǒng)計(jì)相結(jié)合的其他典型問(wèn)題還很多，如假設(shè)檢驗(yàn)中的兩類誤差估計(jì)問(wèn)題，試驗(yàn)設(shè)計(jì)問(wèn)題，信息量在有效估計(jì)中的應(yīng)用問(wèn)題等，這些問(wèn)題已使信息論與統(tǒng)計(jì)學(xué)想成相互推動(dòng)發(fā)展的局面。

編碼技術(shù)在調(diào)制解調(diào)技術(shù)中的應(yīng)用

在上個(gè)世紀(jì)80到90年代，信息編碼理論應(yīng)用的兩項(xiàng)重大成果是：調(diào)制解調(diào)理論及數(shù)據(jù)壓縮理論在多媒體技術(shù)領(lǐng)域的應(yīng)用。調(diào)制解調(diào)碼的出現(xiàn)從根本上改變了數(shù)據(jù)通信的狀況，使調(diào)制解調(diào)碼通信速度從原來(lái)的1200bit/s逐步增加到30000bit/s。我們可以簡(jiǎn)單計(jì)算得知，調(diào)制解調(diào)碼大大提高了數(shù)據(jù)傳輸速度，提高了25倍，從而使現(xiàn)有的網(wǎng)絡(luò)通信成為實(shí)用性的技術(shù)。

編碼技術(shù)在快速通信領(lǐng)域中的應(yīng)用

編碼理論在快速通信技術(shù)中已得到了大量的應(yīng)用，通信技術(shù)已從低速向高速發(fā)展，通信手段正向微波、衛(wèi)星等方向發(fā)展，因此誤差干擾問(wèn)題突現(xiàn)出來(lái)，利用糾錯(cuò)碼可大大降低通信中的差錯(cuò)率。在20世紀(jì)70到80年代的代數(shù)碼，如BCH碼、R-S碼等為克服誤差干擾發(fā)揮了重要作用，成為通信工程不可缺少的一個(gè)組成部分。

3.7信息論在其他領(lǐng)域中的應(yīng)用

現(xiàn)今時(shí)代信息科學(xué)飛速發(fā)展，信息論已跨越了通信領(lǐng)域，在其他領(lǐng)域也得到了廣泛應(yīng)用。信息論不僅在計(jì)算機(jī)、自動(dòng)控制等方面突現(xiàn)作用，還開(kāi)始涉及到物理學(xué)、化學(xué)、生物學(xué)、心理學(xué)、醫(yī)學(xué)、經(jīng)濟(jì)學(xué)、人類學(xué)、語(yǔ)言學(xué)、統(tǒng)計(jì)學(xué)和管理學(xué)等學(xué)科。

比如信息論在水資源系統(tǒng)工程中可以利用信息論的方法建立模型推到降水、儲(chǔ)水量等分布的問(wèn)題。在建筑工程故障診斷中信息論也得到了應(yīng)用，它用熵的概念對(duì)所測(cè)量的數(shù)據(jù)進(jìn)行處理和誤差分析。另外，信息論也能在作戰(zhàn)效能評(píng)估中得到應(yīng)用研究，我們可以從信息的不確定性著手評(píng)估其作戰(zhàn)效能。我們不難看出，信息論在很多領(lǐng)域都有所應(yīng)用。

結(jié) 論

信息是自從人類出現(xiàn)以來(lái)就存在于這個(gè)世界上了，天地萬(wàn)物，飛禽走獸，以及人類的生存方式都離不開(kāi)信息的產(chǎn)生和傳播。信息論方法具有普遍的適用性，因此可以把課上學(xué)習(xí)的內(nèi)容和我們的日常生活緊密結(jié)合起來(lái)，從而提高學(xué)習(xí)的興趣。例如，在學(xué)習(xí)多符號(hào)離散信源時(shí)，可以和日常生活中大家在電視上見(jiàn)到的搖獎(jiǎng)場(chǎng)面聯(lián)系起來(lái)。一臺(tái)簡(jiǎn)單的搖獎(jiǎng)機(jī)，從十個(gè)號(hào)碼球中搖出一個(gè)數(shù)字號(hào)碼，可以看作一個(gè)單符號(hào)離散信源，它有十個(gè)符號(hào)，從0至9。如果需要搖出七位數(shù)的體育彩票號(hào)碼，這可以看成是一個(gè)多符號(hào)信源，一次同時(shí)發(fā)出七個(gè)符號(hào)，而且是單符號(hào)離散信源的7次擴(kuò)展。又如，在學(xué)習(xí)漢明距離時(shí)，可以和英語(yǔ)學(xué)習(xí)聯(lián)系起來(lái)。在英語(yǔ)中拼寫非常接近的單詞很容易混淆或者拼寫錯(cuò)誤，用信息論的觀點(diǎn)來(lái)看就是兩個(gè)碼字的漢明距離（不同位的個(gè)數(shù)）太小，因此抗干擾的能力差。

由于信息論方法具有相當(dāng)普遍的意義和價(jià)值，因此在計(jì)算機(jī)科學(xué)、人工智能、語(yǔ)言學(xué)、基因工程、神經(jīng)解剖學(xué)甚至金融投資學(xué)等眾多領(lǐng)域都有廣泛的應(yīng)用，信息論促進(jìn)了這些學(xué)科領(lǐng)域的發(fā)展，同時(shí)也促進(jìn)了整個(gè)社會(huì)經(jīng)濟(jì)的發(fā)展。人們已經(jīng)開(kāi)始利用信息論的方法來(lái)探索系統(tǒng)的存在方式和運(yùn)動(dòng)變化的規(guī)律，信息論已經(jīng)成為認(rèn)識(shí)世界和改造世界的手段，信息論對(duì)哲學(xué)領(lǐng)域也有深遠(yuǎn)的影響。由此可見(jiàn)，《信息論與編碼》的課程對(duì)我們至關(guān)重要！

參考文獻(xiàn)

[1] 曹雪虹，張宗橙．信息論與編碼[M]．北京：清華大學(xué)出版社．2004． [2] 沈世鎰，吳忠華．信息論基礎(chǔ)與應(yīng)用[M]．北京：高等教育出版社．2004． [3] 隋曉紅，王艷營(yíng)．信息論與編碼[M]．北京：北京大學(xué)出版社.2010 [4] 傅祖蕓.信息論—基礎(chǔ)理論與應(yīng)用[M]．北京：電子工業(yè)出版社．2004． [5] 維芬，云娜.信息論基本問(wèn)題簡(jiǎn)述[J]．信息與控制.2006

第四篇：信息論與編碼教學(xué)大綱

《信息論與編碼》教學(xué)大綱

電子信息工程專業(yè)（本科）

課程編號(hào)：（）

課程名稱：信息論與編碼 參考學(xué)時(shí)：52 其中實(shí)驗(yàn)或上機(jī)學(xué)時(shí)：0 說(shuō)明部分

1．課程性質(zhì)

本課程是電子信息類專業(yè)的技術(shù)基礎(chǔ)課 2．課程教學(xué)的目的及意義

人類社會(huì)的生存和發(fā)展無(wú)時(shí)無(wú)刻都離不開(kāi)信息的獲取、傳遞、處理、控制和利用。特別是邁入21世紀(jì)――高度信息化時(shí)代，信息的重要性更是不言而喻。信息業(yè)的發(fā)展，需要大量從事信息、通信、電子工程類專業(yè)的人才，而《信息論和編碼》課程為電子信息工程學(xué)科的基礎(chǔ)課，同時(shí)也可作為信息科學(xué)其它相關(guān)學(xué)科的選修課，掌握它，可以指導(dǎo)理論研究和工程應(yīng)用。

本課程注重基本概念、基本理論和基本分析方法的論述，并結(jié)合實(shí)例建立數(shù)學(xué)模型，給出推演過(guò)程，力求物理概念清晰、數(shù)學(xué)結(jié)構(gòu)嚴(yán)謹(jǐn)和完整、逐步深入展開(kāi)。通過(guò)該課程的學(xué)習(xí)，使學(xué)生掌握香農(nóng)信息論的三個(gè)基本概念，與之相應(yīng)的三個(gè)編碼定理，以及信源編碼、信道編碼和信息保密編碼的基本理論和主要方法，培養(yǎng)學(xué)生能夠適應(yīng)數(shù)字通信、信息處理、信息安全、計(jì)算機(jī)信息管理等編碼工作的要求。使學(xué)生掌握信息理論的基本概念和信息分析方法及主要結(jié)論，為今后從事信息領(lǐng)域的科研和工程工作進(jìn)一步研究打下堅(jiān)實(shí)的理論基礎(chǔ)。3．教學(xué)內(nèi)容及教學(xué)要求

該課程是電子信息工程、信息安全工程專業(yè)的專業(yè)課。是為了適應(yīng)數(shù)字通信、信息處理和信息安全等方面的專業(yè)需要開(kāi)設(shè)。該課程著重介紹信息論應(yīng)用概率論、隨機(jī)過(guò)程和現(xiàn)代數(shù)理統(tǒng)計(jì)方法，研究信息提取、傳輸和處理的一般規(guī)律，提高信息系統(tǒng)的有效性和可靠性，實(shí)現(xiàn)信息系統(tǒng)的最優(yōu)化。

信息論是現(xiàn)代通信與信息工程的理論基礎(chǔ)，主要內(nèi)容包括：信息的定義和測(cè)度；各類離散信源和信息熵；剩余度；信道和互信息；平均互信息和信道容量；數(shù)據(jù)處理和信息測(cè)量理論；信息率失真函數(shù)和數(shù)據(jù)壓縮原理；離散信源無(wú)失真和限失真信源編碼理論和編碼方法；離散有噪信道編碼理論和編碼原則。教學(xué)基本要求：

了解通信系統(tǒng)各部分的主要組成以及作用、香農(nóng)的三大編碼定理；

掌握各類離散信源和信息熵、信道及其信道容量、信息率失真函數(shù)和數(shù)據(jù)壓縮原理、離常用的無(wú)失真信源編碼方法、糾錯(cuò)碼基本思想及常用的糾錯(cuò)編碼方法。4.教學(xué)重點(diǎn)、難點(diǎn) 教學(xué)重點(diǎn)：

信息以及失真的測(cè)度、信道及信道容量、無(wú)失真信源編碼方法以及有噪信道編碼方法。教學(xué)難點(diǎn)：

?典型序列以及由此推導(dǎo)出的香農(nóng)三大編碼定理及其逆定理。5.教學(xué)方法及教學(xué)手段

課堂講學(xué)為主，習(xí)題講解為輔。6.教學(xué)學(xué)材及主要參考書

1.傅祖蕓編著，《信息論－基礎(chǔ)理論與應(yīng)用》，北京：電子工業(yè)出版社，2001年 2.姜丹，《信息論與編碼》，合肥，中國(guó)科學(xué)技術(shù)大學(xué)出版社，2001年 3.曹雪虹，張宗橙，信息論與編碼，北京，清華大學(xué)出版社，2004年 7.其它

考核形式：考試（筆試），教學(xué)環(huán)境：課堂

本課程應(yīng)開(kāi)設(shè)在概率論與隨機(jī)過(guò)程等數(shù)學(xué)學(xué)科信號(hào)與系統(tǒng)之后，是數(shù)字圖像處理的基礎(chǔ)課程。

總學(xué)時(shí)數(shù)

課程總學(xué)時(shí)數(shù)： 52 其中，課堂講授： 46 作業(yè)：6

二、正文部分 第一章：緒論

一、教學(xué)要求

了解信息論研究對(duì)象、目的、發(fā)展簡(jiǎn)史與現(xiàn)狀；

了解通信系統(tǒng)的模型以及通信系統(tǒng)各部分的主要組成以及作用

二、教學(xué)內(nèi)容

第一節(jié) 信息的概念

知識(shí)要點(diǎn)：信息的概念及自信息 第二節(jié) 信息論研究的對(duì)象、目的和內(nèi)容 知識(shí)要點(diǎn)：信息論研究的對(duì)象、目的和內(nèi)容 第三節(jié)：信息論發(fā)展簡(jiǎn)史 知識(shí)要點(diǎn)：信息論發(fā)展簡(jiǎn)史

三、本章學(xué)時(shí)數(shù) 2學(xué)時(shí)

第二章：離散信源及其測(cè)度

一、教學(xué)要求

了解信源的相關(guān)性和剩余度的概念，信息的概念，信息，信號(hào)，消息，數(shù)據(jù)的關(guān)系與聯(lián)系。

掌握信源的數(shù)學(xué)模型、離散無(wú)記憶信源、離散平穩(wěn)信源和馬爾可夫信源基本理論。

二、教學(xué)內(nèi)容

第一節(jié) 信源的數(shù)學(xué)模型及分類

知識(shí)要點(diǎn)：信源的數(shù)學(xué)模型，離散無(wú)記憶信源及其擴(kuò)展信源。第二節(jié) 信息熵及其基本性質(zhì) 知識(shí)要點(diǎn)：自信息及信息熵離散無(wú)記憶擴(kuò)展信源熵，熵的基本性質(zhì)及最大離散熵定理。第三節(jié) 離散平穩(wěn)信源

知識(shí)要點(diǎn)：離散平穩(wěn)信源定義，聯(lián)合熵，條件熵以及極限熵。第四節(jié) 馬爾可夫信源

知識(shí)要點(diǎn)：馬爾可夫信源定義，馬爾可夫信源熵 第四節(jié) 信息剩余度

知識(shí)要點(diǎn)：信息剩余度以及自然語(yǔ)言熵

三、本章學(xué)時(shí)數(shù) 8學(xué)時(shí)

第三章：離散信道及其信道容量

一、教學(xué)要求

了解一般信道容量計(jì)算。

掌握信道的數(shù)學(xué)模型，離散無(wú)記憶信道以及一些特殊信道容量的計(jì)算方法。

二、教學(xué)內(nèi)容

第一節(jié) 信道數(shù)學(xué)模型及分類

知識(shí)要點(diǎn)：信道數(shù)學(xué)模型及不同的分類，信道矩陣。第二節(jié)平均互信息及特點(diǎn)

知識(shí)要點(diǎn)：信道疑義度，互信息和平均互信息及其特性，平均條件互信息。第三節(jié) 信道容量及一般計(jì)算方法

知識(shí)要點(diǎn)：離散無(wú)噪信道及信道容量，對(duì)稱離散信道、準(zhǔn)對(duì)稱信道的容量計(jì)算。第四節(jié) 離散無(wú)記憶擴(kuò)展信道及其容量

知識(shí)要點(diǎn)：離散無(wú)記憶擴(kuò)展信道及其容量，信源與信道的匹配。

三、本章學(xué)時(shí)數(shù) 6學(xué)時(shí)

第四章：無(wú)失真信源編碼

一、教學(xué)要求

了解其它一些無(wú)失真信源編碼方法。

理解漸近等分割性及?典型序列，算術(shù)編碼方法及具體實(shí)現(xiàn)方案；

掌握編碼的定義，碼的分類，定長(zhǎng)編碼定理，變長(zhǎng)編碼定理，最佳編碼方法：香農(nóng)編碼方法，費(fèi)諾編碼方法，哈夫曼編碼方法。

二、教學(xué)內(nèi)容

第一節(jié) 等長(zhǎng)碼及等長(zhǎng)信源編碼定理

知識(shí)要點(diǎn)：編碼器的概念，碼的定義，等長(zhǎng)碼及等長(zhǎng)信源編碼定理，?典型序列及其性質(zhì)，編碼效率。

第二節(jié) 變長(zhǎng)碼及變長(zhǎng)信源編碼定理

知識(shí)要點(diǎn)：唯一可譯碼定義及其判斷方法，即時(shí)碼的樹(shù)圖法構(gòu)造，Kraft不等式，緊致碼，變長(zhǎng)信源編碼定理。

第三節(jié) 編碼方法 知識(shí)要點(diǎn)：香農(nóng)編碼，費(fèi)諾編碼，香農(nóng)－費(fèi)諾－埃利斯編碼，哈夫曼編碼，游程編碼，算術(shù)編碼和其它一些編碼方法。

三、本章學(xué)時(shí)數(shù) 10學(xué)時(shí)

第五章：有噪信道編碼

一、教學(xué)要求

了解檢錯(cuò)碼與糾錯(cuò)碼的方法。理解漸近等分割性及?典型序列。

掌握的重點(diǎn)內(nèi)容有：有噪離散信道的編碼定理，差錯(cuò)控制與信道編譯碼的基本原理，線性分組碼，卷積碼，網(wǎng)格編碼調(diào)制與級(jí)聯(lián)碼簡(jiǎn)介。

二、教學(xué)內(nèi)容

第一節(jié) 錯(cuò)誤概率與譯碼規(guī)則和編碼方法

知識(shí)要點(diǎn)：最小錯(cuò)誤概率譯碼準(zhǔn)則，最大似然譯碼準(zhǔn)則，最小距離譯碼準(zhǔn)則及其之間相互關(guān)系，平均譯碼錯(cuò)誤概率，錯(cuò)誤概率與譯碼規(guī)則和編碼方法關(guān)系，信道編碼的編、譯基本準(zhǔn)則。

第二節(jié) 有噪信道編碼定理

知識(shí)要點(diǎn)：有噪信道編碼定理及其逆定理，信源信道編碼定理。第三節(jié) 糾錯(cuò)碼

知識(shí)要點(diǎn)：糾錯(cuò)碼分類，分組碼的最小距離與檢、糾錯(cuò)能力，分組碼的碼率，線性分組碼的特性，生成矩陣和一致監(jiān)督矩陣及其關(guān)系，線性分組碼的編、譯碼方法，漢明碼，卷積碼及其構(gòu)造方法。

三、本章學(xué)時(shí)數(shù) 10學(xué)時(shí)

第六章：波形信源和波形信道

一、教學(xué)要求

了解連續(xù)信源和波形信源的信息測(cè)度，連續(xù)信道和波形信道的分類，連續(xù)信源熵的變換，連續(xù)信道和波形信道的信道容量的計(jì)算方法。

掌握連續(xù)信源和波形信源的信息測(cè)度。

二、教學(xué)內(nèi)容

第一節(jié) 連續(xù)信源和波形信源的信息測(cè)度

知識(shí)要點(diǎn)：連續(xù)信源的差熵、波形信源的差熵和兩種特殊信源的差熵。第二節(jié) 連續(xù)信道和波形信道的分類

知識(shí)要點(diǎn)：按噪聲統(tǒng)計(jì)特性分類，按噪聲對(duì)信號(hào)的作用和功能分類。第三節(jié) 連續(xù)信道和波形信道的信息傳輸率

知識(shí)要點(diǎn)：?jiǎn)畏?hào)連續(xù)信道的平均交互信息，連續(xù)信道的平均交互信息的特性。第四節(jié) 連續(xù)信道和波形信道的信道容量

知識(shí)要點(diǎn)：?jiǎn)畏?hào)高斯加性信道的信道容量，單符號(hào)非高斯加性信道的信道容量，多維無(wú)記憶高斯加性信道的信道容量。

三、本章學(xué)時(shí)數(shù) 8學(xué)時(shí)

第七章：限失真信源編碼

一、教學(xué)要求

了解保真度準(zhǔn)則下的信源編碼定理

掌握失真度與平均失真度，信息率失真函數(shù)與特性，R(D)函數(shù)的參數(shù)表述及其計(jì)算。

二、教學(xué)內(nèi)容

第一節(jié) 失真度與平均失真度

知識(shí)要點(diǎn)：失真度與平均失真度，D失真許可試驗(yàn)信道。第二節(jié) 信息率失真函數(shù)與特性

知識(shí)要點(diǎn)：信息率失真函數(shù)R(D)的定義，離散信源的R(D)函數(shù)，高斯連續(xù)信源的R(D)函數(shù)，R(D)的定義域和單調(diào)性等性質(zhì)。

第三節(jié) 信息率失真函數(shù)的參量表述與計(jì)算

知識(shí)要點(diǎn)：信息率失真函數(shù)的計(jì)算 第四節(jié) 保真度準(zhǔn)則下的信源編碼定理

知識(shí)要點(diǎn)：失真限?典型序列，失真信源編碼定理和編碼逆定理，有失真信源編碼定理的實(shí)用意義。

三、本章學(xué)時(shí)數(shù) 8學(xué)時(shí)

執(zhí)筆人：

胡學(xué)友

教研室：XXX

系主任審核簽名：XXX 5

第五篇：信息論與編碼期末考試題

信息論與編碼期末考試題

（一）一、判斷題.1.當(dāng)隨機(jī)變量和相互獨(dú)立時(shí)，條件熵等于信源熵.（）

2.由于構(gòu)成同一空間的基底不是唯一的，所以不同的基底或生成矩陣有可能生成同一碼集.（）

3.一般情況下，用變長(zhǎng)編碼得到的平均碼長(zhǎng)比定長(zhǎng)編碼大得多.（）

4.只要信息傳輸率大于信道容量，總存在一種信道編譯碼，可以以所要求的任意小的誤差概率實(shí)現(xiàn)可靠的通信.（）

5.各碼字的長(zhǎng)度符合克拉夫特不等式，是唯一可譯碼存在的充分和必要條件.（）

6.連續(xù)信源和離散信源的熵都具有非負(fù)性.（）

7.信源的消息通過(guò)信道傳輸后的誤差或失真越大，信宿收到消息后對(duì)信源存在的不確

定性就越小，獲得的信息量就越小.8.漢明碼是一種線性分組碼.（）

9.率失真函數(shù)的最小值是.（）

10.必然事件和不可能事件的自信息量都是.（）

二、填空題

1、碼的檢、糾錯(cuò)能力取決于

.2、信源編碼的目的是

；信道編碼的目的是

.3、把信息組原封不動(dòng)地搬到碼字前位的碼就叫做

.4、香農(nóng)信息論中的三大極限定理是、、.5、設(shè)信道的輸入與輸出隨機(jī)序列分別為和，則成立的條件

..6、對(duì)于香農(nóng)-費(fèi)諾編碼、原始香農(nóng)-費(fèi)諾編碼和哈夫曼編碼，編碼方法惟一的是

.7、某二元信源，其失真矩陣，則該信源的=

.三、計(jì)算題.1、某信源發(fā)送端有2種符號(hào),；接收端有3種符號(hào)，轉(zhuǎn)移概率矩陣為.（1）

計(jì)算接收端的平均不確定度；

（2）

計(jì)算由于噪聲產(chǎn)生的不確定度；

（3）

計(jì)算信道容量以及最佳入口分布.2、一階馬爾可夫信源的狀態(tài)轉(zhuǎn)移圖如右圖所示，信源的符號(hào)集為.（1）求信源平穩(wěn)后的概率分布；

（2）求此信源的熵；

（3）近似地認(rèn)為此信源為無(wú)記憶時(shí)，符號(hào)的概率分布為平

穩(wěn)分布.求近似信源的熵并與進(jìn)行比較.3、設(shè)碼符號(hào)為，信源空間為試構(gòu)造一種三元緊致碼.4、設(shè)二元線性分組碼的生成矩陣為.（1）給出該碼的一致校驗(yàn)矩陣，寫出所有的陪集首和與之相對(duì)應(yīng)的伴隨式；

（2）若接收矢量，試計(jì)算出其對(duì)應(yīng)的伴隨式并按照最小距離譯碼準(zhǔn)則

試著對(duì)其譯碼.（二）

一、填空題

1、信源編碼的主要目的是，信道編碼的主要目的是。

2、信源的剩余度主要來(lái)自兩個(gè)方面，一是，二是。

3、三進(jìn)制信源的最小熵為，最大熵為。

4、無(wú)失真信源編碼的平均碼長(zhǎng)最小理論極限制為。

5、當(dāng)

時(shí)，信源與信道達(dá)到匹配。

6、根據(jù)信道特性是否隨時(shí)間變化，信道可以分為

和。

7、根據(jù)是否允許失真，信源編碼可分為

和。

8、若連續(xù)信源輸出信號(hào)的平均功率為，則輸出信號(hào)幅度的概率密度是

時(shí)，信源具有最大熵，其值為值。

9、在下面空格中選擇填入數(shù)學(xué)符號(hào)“”或“”

（1）當(dāng)X和Y相互獨(dú)立時(shí)，H（XY）

H(X)+H(X/Y)

H(Y)+H(X)。

（2）

（3）假設(shè)信道輸入用X表示，信道輸出用Y表示。在無(wú)噪有損信道中，H(X/Y)

0,H(Y/X)

0,I(X;Y)

H(X)。

二、若連續(xù)信源輸出的幅度被限定在【2,6】區(qū)域內(nèi)，當(dāng)輸出信號(hào)的概率密度是均勻分布時(shí)，計(jì)算該信源的相對(duì)熵，并說(shuō)明該信源的絕對(duì)熵為多少。

三、已知信源

（1）用霍夫曼編碼法編成二進(jìn)制變長(zhǎng)碼；（6分）

（2）計(jì)算平均碼長(zhǎng);（4分）

（3）計(jì)算編碼信息率;（2分）

（4）計(jì)算編碼后信息傳輸率;（2分）

（5）計(jì)算編碼效率。（2分）

四、某信源輸出A、B、C、D、E五種符號(hào)，每一個(gè)符號(hào)獨(dú)立出現(xiàn)，出現(xiàn)概率分別為1/8、1/8、1/8、1/2、1/8。

如果符號(hào)的碼元寬度為0.5。計(jì)算：

（1）信息傳輸速率。（5分）

（2）將這些數(shù)據(jù)通過(guò)一個(gè)帶寬為B=2000kHz的加性白高斯噪聲信道傳輸，噪聲的單邊功率譜密度為。試計(jì)算正確傳輸這些數(shù)據(jù)最少需要的發(fā)送功率P。（5分）

五、一個(gè)一階馬爾可夫信源，轉(zhuǎn)移概率為。

(1)

畫出狀態(tài)轉(zhuǎn)移圖。(4分)

(2)

計(jì)算穩(wěn)態(tài)概率。(4分)

(3)

計(jì)算馬爾可夫信源的極限熵。(4分)

(4)

計(jì)算穩(wěn)態(tài)下,及其對(duì)應(yīng)的剩余度。(4分)

六、設(shè)有擾信道的傳輸情況分別如圖所示。

試求這種信道的信道容量。

七、設(shè)X、Y是兩個(gè)相互獨(dú)立的二元隨機(jī)變量，其取0或1的概率相等。

定義另一個(gè)二元隨機(jī)變量Z=XY(一般乘積)。試計(jì)算

(1)

(2)

(3)

(4)

;

八、設(shè)離散無(wú)記憶信源的概率空間為，通過(guò)干擾信道，信道輸出端的接收符號(hào)集為，信道傳輸概率如下圖所示。

(1)

計(jì)算信源中事件包含的自信息量；

(2)

計(jì)算信源的信息熵；

(3)

計(jì)算信道疑義度；

(4)

計(jì)算噪聲熵；

(5)

計(jì)算收到消息后獲得的平均互信息量。

《信息論基礎(chǔ)》參考答案

一、填空題

1、信源編碼的主要目的是提高有效性，信道編碼的主要目的是提高可靠性。

2、信源的剩余度主要來(lái)自兩個(gè)方面，一是信源符號(hào)間的相關(guān)性，二是信源符號(hào)的統(tǒng)計(jì)不均勻性。

3、三進(jìn)制信源的最小熵為0，最大熵為bit/符號(hào)。

4、無(wú)失真信源編碼的平均碼長(zhǎng)最小理論極限制為信源熵（或H(S)/logr=

Hr(S)）。

5、當(dāng)R=C或（信道剩余度為0）時(shí)，信源與信道達(dá)到匹配。

6、根據(jù)信道特性是否隨時(shí)間變化，信道可以分為恒參信道和隨參信道。

7、根據(jù)是否允許失真，信源編碼可分為無(wú)失真信源編碼和限失真信源編碼。

8、若連續(xù)信源輸出信號(hào)的平均功率為，則輸出信號(hào)幅度的概率密度是高斯分布或正態(tài)分布或時(shí)，信源具有最大熵，其值為值。

9、在下面空格中選擇填入數(shù)學(xué)符號(hào)“”或“”

（1）當(dāng)X和Y相互獨(dú)立時(shí)，H（XY）=H(X)+H(X/Y)=H(Y)+H(X)。

（2）

（3）假設(shè)信道輸入用X表示，信道輸出用Y表示。在無(wú)噪有損信道中，H(X/Y)>

0,H(Y/X)=0,I(X;Y)

二、若連續(xù)信源輸出的幅度被限定在【2,6】區(qū)域內(nèi)，當(dāng)輸出信號(hào)的概率密度是均勻分布時(shí)，計(jì)算該信源的相對(duì)熵，并說(shuō)明該信源的絕對(duì)熵為多少。

=2bit/自由度

該信源的絕對(duì)熵為無(wú)窮大。

三、已知信源

（1）用霍夫曼編碼法編成二進(jìn)制變長(zhǎng)碼；（6分）

（2）計(jì)算平均碼長(zhǎng);（4分）

（3）計(jì)算編碼信息率;（2分）

（4）計(jì)算編碼后信息傳輸率;（2分）

（5）計(jì)算編碼效率。（2分）

（1）

編碼結(jié)果為：

（2）

（3）

（4）其中，（5）

四、某信源輸出A、B、C、D、E五種符號(hào)，每一個(gè)符號(hào)獨(dú)立出現(xiàn)，出現(xiàn)概率分別為1/8、1/8、1/8、1/2、1/8。

如果符號(hào)的碼元寬度為0.5。計(jì)算：

（1）信息傳輸速率。

（2）將這些數(shù)據(jù)通過(guò)一個(gè)帶寬為B=2000kHz的加性白高斯噪聲信道傳輸，噪聲的單邊功率譜密度為。試計(jì)算正確傳輸這些數(shù)據(jù)最少需要的發(fā)送功率P。

解：

（1）

（2）

五、一個(gè)一階馬爾可夫信源，轉(zhuǎn)移概率為。

(1)

畫出狀態(tài)轉(zhuǎn)移圖。

(2)

計(jì)算穩(wěn)態(tài)概率。

(3)

計(jì)算馬爾可夫信源的極限熵。

(4)

計(jì)算穩(wěn)態(tài)下,及其對(duì)應(yīng)的剩余度。

解：(1)

(2)由公式

有

得

(3)該馬爾可夫信源的極限熵為：

(4)在穩(wěn)態(tài)下：

對(duì)應(yīng)的剩余度為

六、設(shè)有擾信道的傳輸情況分別如圖所示。

試求這種信道的信道容量。

解：信道傳輸矩陣如下

可以看出這是一個(gè)對(duì)稱信道，L=4,那么信道容量為

七、設(shè)X、Y是兩個(gè)相互獨(dú)立的二元隨機(jī)變量，其取0或1的概率相等。

定義另一個(gè)二元隨機(jī)變量Z=XY(一般乘積)。試計(jì)算

(1)

(2)

(3)

(4)

;

解：(1)

Z

0

P(Z)

3/4

1/4

(2)

(3)

(4)

八、設(shè)離散無(wú)記憶信源的概率空間為，通過(guò)干擾信道，信道輸出端的接收符號(hào)集為，信道傳輸概率如下圖所示。

(6)

計(jì)算信源中事件包含的自信息量；

(7)

計(jì)算信源的信息熵；

(8)

計(jì)算信道疑義度；

(9)

計(jì)算噪聲熵；

(10)

計(jì)算收到消息后獲得的平均互信息量。

解：

(1)

(2)

(3)轉(zhuǎn)移概率：

x

y

y1

y2

x1

5/6

1/6

x2

3/4

1/4

聯(lián)合分布：

x

y

y1

y2

x1

2/3

12/15

4/5

x1

3/20

1/20

1/5

49/60

11/60

1/5

(4)

(5)

(三)一、選擇題

1、有一離散無(wú)記憶信源X，其概率空間為，則其無(wú)記憶二次擴(kuò)展信源的熵H(X2)=（）

A、1.75比特/符號(hào)；

B、3.5比特/符號(hào)；

C、9比特/符號(hào)；

D、18比特/符號(hào)。

2、信道轉(zhuǎn)移矩陣為，其中兩兩不相等，則該信道為

A、一一對(duì)應(yīng)的無(wú)噪信道

B、具有并歸性能的無(wú)噪信道

C、對(duì)稱信道

D、具有擴(kuò)展性能的無(wú)噪信道

3、設(shè)信道容量為C，下列說(shuō)法正確的是：（）

A、互信息量一定不大于C

B、交互熵一定不小于C

C、有效信息量一定不大于C

D、條件熵一定不大于C4、在串聯(lián)系統(tǒng)中，有效信息量的值（）

A、趨于變大

B、趨于變小

C、不變

D、不確定

5、若BSC信道的差錯(cuò)率為P，則其信道容量為：（）

A、B、C、D、二、填空題

1、(7,4)線性分組碼中，接受端收到分組R的位數(shù)為_(kāi)___，伴隨式S可能的值有____

種,差錯(cuò)圖案e的長(zhǎng)度為，系統(tǒng)生成矩陣Gs為_(kāi)___

行的矩陣，系統(tǒng)校驗(yàn)矩陣Hs為_(kāi)___

行的矩陣，Gs和Hs滿足的關(guān)系式是。

2、一張1024×512像素的16位彩色BMP圖像能包含的最大信息量為。

3、香農(nóng)編碼中,概率為的信源符號(hào)xi對(duì)應(yīng)的碼字Ci的長(zhǎng)度Ki應(yīng)滿足不等式。

3、設(shè)有一個(gè)信道，其信道矩陣為，則它是

信道（填對(duì)稱，準(zhǔn)對(duì)稱），其信道容量是

比特/信道符號(hào)。

三、，通過(guò)一個(gè)干擾信道，接受符號(hào)集為，信道轉(zhuǎn)移矩陣為

試求（1）H(X),H(Y),H(XY);

(2)

H(Y|X),H(X|Y);

(3)

I(Y;X)。

(4)該信道的容量C

（5）當(dāng)平均互信息量達(dá)到信道容量時(shí)，接收端Y的熵H（Y）。

計(jì)算結(jié)果保留小數(shù)點(diǎn)后2位,單位為比特/符號(hào)。

四、簡(jiǎn)述平均互信息量的物理意義，并寫出對(duì)應(yīng)公式。

五、假設(shè)英文字母表(n=26),密鑰k=abc，當(dāng)明文m=familycome時(shí)，使用Vigenere密碼算法后得到的密文c=？請(qǐng)寫出具體的步驟。

六、設(shè)有離散無(wú)記憶信源，其概率分布如下：

對(duì)其進(jìn)行費(fèi)諾編碼，寫出編碼過(guò)程，求出信源熵、平均碼長(zhǎng)和編碼效率。

七、信道編碼

現(xiàn)有生成矩陣

1.求對(duì)應(yīng)的系統(tǒng)校驗(yàn)矩陣Hs。

2求該碼字集合的最小碼字距離d、最大檢錯(cuò)能力、最大糾錯(cuò)能力t

max。

2.填寫下面的es表

e

s

0000000

0000001

0000010

0000100

0001000

0010000

0100000

1000000

4.現(xiàn)有接收序列為，求糾錯(cuò)譯碼輸出。

5.5.畫出該碼的編碼電路

(四)四、簡(jiǎn)答題

1.利用公式介紹無(wú)條件熵、條件熵、聯(lián)合熵和平均互信息量之間的關(guān)系。

2.簡(jiǎn)單介紹哈夫曼編碼的步驟

五、計(jì)算題

1．某信源含有三個(gè)消息，概率分別為p(0)=0.2，p(1)=0.3，p(2)=0.5，失真矩陣為。

求Dmax、Dmin和R

(Dmax)。

2．設(shè)對(duì)稱離散信道矩陣為，求信道容量C。

3．有一穩(wěn)態(tài)馬爾可夫信源，已知轉(zhuǎn)移概率為p(S1/

S1)=

2/3，p(S1/

S2)=

1。求：

(1)

畫出狀態(tài)轉(zhuǎn)移圖和狀態(tài)轉(zhuǎn)移概率矩陣。

(2)

求出各狀態(tài)的穩(wěn)態(tài)概率。

(3)

求出信源的極限熵。

（五）一、填空題

（1）

1948年，美國(guó)數(shù)學(xué)家

發(fā)表了題為“通信的數(shù)學(xué)理論”的長(zhǎng)篇論文，從而創(chuàng)立了信息論。

（2）

必然事件的自信息是。

（3）

離散平穩(wěn)無(wú)記憶信源X的N次擴(kuò)展信源的熵等于離散信源X的熵的。

（4）

對(duì)于離散無(wú)記憶信源，當(dāng)信源熵有最大值時(shí)，滿足條件為_(kāi)_

_。

（5）

對(duì)于香農(nóng)編碼、費(fèi)諾編碼和霍夫曼編碼，編碼方法惟一的是。

（6）

已知某線性分組碼的最小漢明距離為3，那么這組碼最多能檢測(cè)出______個(gè)碼元錯(cuò)誤，最多能糾正___個(gè)碼元錯(cuò)誤。

（7）

設(shè)有一離散無(wú)記憶平穩(wěn)信道，其信道容量為C，只要待傳送的信息傳輸率R__

__C（大于、小于或者等于），則存在一種編碼，當(dāng)輸入序列長(zhǎng)度n足夠大，使譯碼錯(cuò)誤概率任意小。

（8）

平均錯(cuò)誤概率不僅與信道本身的統(tǒng)計(jì)特性有關(guān)，還與___

__________和___

___有關(guān)

二、判斷題

（1）

信息就是一種消息。

（）

（2）

信息論研究的主要問(wèn)題是在通信系統(tǒng)設(shè)計(jì)中如何實(shí)現(xiàn)信息傳輸、存儲(chǔ)和處理的有效性和可靠性。

（）

（3）

概率大的事件自信息量大。

（）

（4）

互信息量可正、可負(fù)亦可為零。

（）

（5）

信源剩余度用來(lái)衡量信源的相關(guān)性程度，信源剩余度大說(shuō)明信源符號(hào)間的依賴關(guān)系較小。

（）

（6）

對(duì)于固定的信源分布，平均互信息量是信道傳遞概率的下凸函數(shù)。

（）

（7）

非奇異碼一定是唯一可譯碼，唯一可譯碼不一定是非奇異碼。

（）

（8）

信源變長(zhǎng)編碼的核心問(wèn)題是尋找緊致碼（或最佳碼），霍夫曼編碼方法構(gòu)造的是最佳碼。

（）

（9）信息率失真函數(shù)R(D)是關(guān)于平均失真度D的上凸函數(shù).（）

三、居住在某地區(qū)的女孩中有25%是大學(xué)生，在女大學(xué)生中有75%是身高1.6米以上的，而女孩中身高1.6米以上的占總數(shù)的一半。

假如我們得知“身高1.6米以上的某女孩是大學(xué)生”的消息，問(wèn)獲得多少信息量？

解：設(shè)A表示“大學(xué)生”這一事件，B表示“身高1.60以上”這一事件，則

P(A)=0.25

p(B)=0.5

p(B|A)=0.75

故

p(A|B)=p(AB)/p(B)=p(A)p(B|A)/p(B)=0.75*0.25/0.5=0.375

I(A|B)=-log0.375=1.42bit

五、.黑白氣象傳真圖的消息只有黑色和白色兩種，求：

1）

黑色出現(xiàn)的概率為0.3，白色出現(xiàn)的概率為0.7。給出這個(gè)只有兩個(gè)符號(hào)的信源X的數(shù)學(xué)模型。假設(shè)圖上黑白消息出現(xiàn)前后沒(méi)有關(guān)聯(lián)，求熵；

2）

假設(shè)黑白消息出現(xiàn)前后有關(guān)聯(lián)，其依賴關(guān)系為，，求其熵。

3）分別求上述兩種信源的冗余度，比較它們的大小并說(shuō)明其物理意義。

六、.信源空間為，試分別構(gòu)造二元香農(nóng)碼和二元霍夫曼碼，計(jì)算其平均碼長(zhǎng)和編碼效率（要求有編碼過(guò)程）。

七.設(shè)有一離散信道，其信道傳遞矩陣為，并設(shè)，試分別按最大后驗(yàn)概率準(zhǔn)則與最大似然譯碼準(zhǔn)則確定譯碼規(guī)則，并計(jì)算相應(yīng)的平均錯(cuò)誤概率。1）最小似然譯碼準(zhǔn)則下，有，2）（最大后驗(yàn)概率準(zhǔn)則下，有，八.二元對(duì)稱信道如圖。

1）若，求、和；

2）求該信道的信道容量。

解：1）共6分

2），此時(shí)輸入概率分布為等概率分布。

九、設(shè)一線性分組碼具有一致監(jiān)督矩陣

1）求此分組碼n=?,k=?共有多少碼字？

2）求此分組碼的生成矩陣G。

3）寫出此分組碼的所有碼字。

4）若接收到碼字（101001），求出伴隨式并給出翻譯結(jié)果。

解：1）n=6,k=3,共有8個(gè)碼字。（3分）

2）設(shè)碼字由得

（3分）

令監(jiān)督位為，則有

（3分）

生成矩陣為

（2分）

3）所有碼字為000000，001101，010011，011110，100110，101011，110101，111000。（4分）

4）由得，（2分）該碼字在第5位發(fā)生錯(cuò)誤，（101001）糾正為（101011），即譯碼為（101001）（1分）

（六）一、概念簡(jiǎn)答題

1.什么是平均自信息量與平均互信息，比較一下這兩個(gè)概念的異同？

2.簡(jiǎn)述最大離散熵定理。對(duì)于一個(gè)有m個(gè)符號(hào)的離散信源，其最大熵是多少？

3.解釋信息傳輸率、信道容量、最佳輸入分布的概念，說(shuō)明平均互信息與信源的概率分布、信道的傳遞概率間分別是什么關(guān)系？

4.對(duì)于一個(gè)一般的通信系統(tǒng)，試給出其系統(tǒng)模型框圖，并結(jié)合此圖，解釋數(shù)據(jù)處理定理。

5.寫出香農(nóng)公式，并說(shuō)明其物理意義。當(dāng)信道帶寬為5000Hz，信噪比為30dB時(shí)求信道容量。

6.解釋無(wú)失真變長(zhǎng)信源編碼定理。

7.解釋有噪信道編碼定理。

8.什么是保真度準(zhǔn)則？對(duì)二元信源，其失真矩陣，求a>0時(shí)率失真函數(shù)的和？

二、綜合題

1.黑白氣象傳真圖的消息只有黑色和白色兩種，求：

1）

黑色出現(xiàn)的概率為0.3，白色出現(xiàn)的概率為0.7。給出這個(gè)只有兩個(gè)符號(hào)的信源X的數(shù)學(xué)模型。假設(shè)圖上黑白消息出現(xiàn)前后沒(méi)有關(guān)聯(lián)，求熵；

2）

假設(shè)黑白消息出現(xiàn)前后有關(guān)聯(lián)，其依賴關(guān)系為：，，求其熵；

2.二元對(duì)稱信道如圖。；

1）若，求和；

2）求該信道的信道容量和最佳輸入分布。

3.信源空間為，試分別構(gòu)造二元和三元霍夫曼碼，計(jì)算其平均碼長(zhǎng)和編碼效率。

4.設(shè)有一離散信道，其信道傳遞矩陣為，并設(shè)，試分別按最小錯(cuò)誤概率準(zhǔn)則與最大似然譯碼準(zhǔn)則確定譯碼規(guī)則，并計(jì)算相應(yīng)的平均錯(cuò)誤概率。

5.5.已知一（8，5）線性分組碼的生成矩陣為。

求：1）輸入為全00011和10100時(shí)該碼的碼字；2）最小碼距。

6.設(shè)某一信號(hào)的信息傳輸率為5.6kbit/s，在帶寬為4kHz的高斯信道中傳輸，噪聲功率譜NO=5×10－6mw/Hz。試求：

（1）無(wú)差錯(cuò)傳輸需要的最小輸入功率是多少？

（2）此時(shí)輸入信號(hào)的最大連續(xù)熵是多少？寫出對(duì)應(yīng)的輸入概率密度函數(shù)的形式。

答案

一、概念簡(jiǎn)答題

1.答：平均自信息為

表示信源的平均不確定度，也表示平均每個(gè)信源消息所提供的信息量。

平均互信息

表示從Y獲得的關(guān)于每個(gè)X的平均信息量，也表示發(fā)X前后Y的平均不確定性減少的量，還表示通信前后整個(gè)系統(tǒng)不確定性減少的量。

2.答：最大離散熵定理為：離散無(wú)記憶信源，等概率分布時(shí)熵最大。

最大熵值為。

3.答：信息傳輸率R指信道中平均每個(gè)符號(hào)所能傳送的信息量。信道容量是一個(gè)信道所能達(dá)到的最大信息傳輸率。信息傳輸率達(dá)到信道容量時(shí)所對(duì)應(yīng)的輸入概率分布稱為最佳輸入概率分布。

平均互信息是信源概率分布的∩型凸函數(shù)，是信道傳遞概率的U型凸函數(shù)。

4.答：通信系統(tǒng)模型如下：

數(shù)據(jù)處理定理為：串聯(lián)信道的輸入輸出X、Y、Z組成一個(gè)馬爾可夫鏈，且有。說(shuō)明經(jīng)數(shù)據(jù)處理后，一般只會(huì)增加信息的損失。

5.答：香農(nóng)公式為，它是高斯加性白噪聲信道在單位時(shí)間內(nèi)的信道容量，其值取決于信噪比和帶寬。

由得，則

6.答：只要，當(dāng)N足夠長(zhǎng)時(shí)，一定存在一種無(wú)失真編碼。

7.答：當(dāng)R＜C時(shí)，只要碼長(zhǎng)足夠長(zhǎng)，一定能找到一種編碼方法和譯碼規(guī)則，使譯碼錯(cuò)誤概率無(wú)窮小。

8.答：1）保真度準(zhǔn)則為：平均失真度不大于允許的失真度。

2）因?yàn)槭д婢仃囍忻啃卸加幸粋€(gè)0，所以有，而。

二、綜合題

1.答：1）信源模型為

2）由得

則

2.答：1）

2），最佳輸入概率分布為等概率分布。

3.答：1）二元碼的碼字依序?yàn)椋?0，11，010，011，1010，1011，1000，1001。

平均碼長(zhǎng)，編碼效率

2）三元碼的碼字依序?yàn)椋?，00，02，20，21，22，010，011。

平均碼長(zhǎng)，編碼效率

4.答：1）最小似然譯碼準(zhǔn)則下，有，2）最大錯(cuò)誤概率準(zhǔn)則下，有，5.答：1）輸入為00011時(shí)，碼字為00011110；輸入為10100時(shí)，碼字為10100101。

2）

6.答：1）無(wú)錯(cuò)傳輸時(shí)，有

即則

2）在時(shí)，最大熵

對(duì)應(yīng)的輸入概率密度函數(shù)為

（七）一、名詞解釋（25道）

1、“本體論”的信息（P3）

2、“認(rèn)識(shí)論”信息（P3）

3、離散信源（11）

4、自信息量（12）

5、離散平穩(wěn)無(wú)記憶信源（49）

6、馬爾可夫信源（58）

7、信源冗余度

（66）

8、連續(xù)信源

（68）

9、信道容量

（95）

10、強(qiáng)對(duì)稱信道

（99）

11、對(duì)稱信道

（101-102）12、多符號(hào)離散信道（109）

13、連續(xù)信道

（124）

14、平均失真度

（136）

15、實(shí)驗(yàn)信道

（138）

16、率失真函數(shù)

（139）

17、信息價(jià)值率

（163）

18、游程序列

（181）

19、游程變換

（181）

20、L-D編碼（184）、21、冗余變換

（184）

22、BSC信道

（189）

23、碼的最小距離

（193）24、線性分組碼

（195）

25、循環(huán)碼

（213）

二、填空（100道）

1、在認(rèn)識(shí)論層次上研究信息的時(shí)候，必須同時(shí)考慮到

形式、含義和效用

三個(gè)方面的因素。

2、1948年，美國(guó)數(shù)學(xué)家

香農(nóng)

發(fā)表了題為“通信的數(shù)學(xué)理論”的長(zhǎng)篇論文，從而創(chuàng)立了信息論。

3、按照信息的性質(zhì)，可以把信息分成語(yǔ)法信息、語(yǔ)義信息和語(yǔ)用信息。

4、按照信息的地位，可以把信息分成客觀信息和主觀信息。

5、人們研究信息論的目的是為了

高效、可靠、安全

地交換和利用各種各樣的信息。

6、信息的可度量性

是建立信息論的基礎(chǔ)。

7、統(tǒng)計(jì)度量

是信息度量最常用的方法。

8、熵

是香農(nóng)信息論最基本最重要的概念。

9、事物的不確定度是用時(shí)間統(tǒng)計(jì)發(fā)生

概率的對(duì)數(shù)

來(lái)描述的。

10、單符號(hào)離散信源一般用隨機(jī)變量描述，而多符號(hào)離散信源一般用

隨機(jī)矢量

描述。

11、一個(gè)隨機(jī)事件發(fā)生某一結(jié)果后所帶來(lái)的信息量稱為自信息量，定義為

其發(fā)生概率對(duì)數(shù)的負(fù)值。

12、自信息量的單位一般有

比特、奈特和哈特。

13、必然事件的自信息是

0。

14、不可能事件的自信息量是

∞。

15、兩個(gè)相互獨(dú)立的隨機(jī)變量的聯(lián)合自信息量等于

兩個(gè)自信息量之和。

16、數(shù)據(jù)處理定理：當(dāng)消息經(jīng)過(guò)多級(jí)處理后，隨著處理器數(shù)目的增多，輸入消息與輸出消息之間的平均互信息量

趨于變小。

17、離散平穩(wěn)無(wú)記憶信源X的N次擴(kuò)展信源的熵等于離散信源X的熵的N倍。

18、離散平穩(wěn)有記憶信源的極限熵。

19、對(duì)于n元m階馬爾可夫信源，其狀態(tài)空間共有

nm

個(gè)不同的狀態(tài)。

20、一維連續(xù)隨即變量X在[a，b]區(qū)間內(nèi)均勻分布時(shí)，其信源熵為

log2（b-a）。

21、平均功率為P的高斯分布的連續(xù)信源，其信源熵，Hc（X）=。

22、對(duì)于限峰值功率的N維連續(xù)信源，當(dāng)概率密度

均勻分布

時(shí)連續(xù)信源熵具有最大值。

23、對(duì)于限平均功率的一維連續(xù)信源，當(dāng)概率密度

高斯分布

時(shí)，信源熵有最大值。

24、對(duì)于均值為0，平均功率受限的連續(xù)信源，信源的冗余度決定于平均功率的限定值P和信源的熵功率

之比。

25、若一離散無(wú)記憶信源的信源熵H（X）等于2.5，對(duì)信源進(jìn)行等長(zhǎng)的無(wú)失真二進(jìn)制編碼，則編碼長(zhǎng)度至少為

3。

26、m元長(zhǎng)度為ki，i=1，2，···n的異前置碼存在的充要條件是：。

27、若把擲骰子的結(jié)果作為一離散信源，則其信源熵為

log26。

28、同時(shí)擲兩個(gè)正常的骰子，各面呈現(xiàn)的概率都為1/6，則“3和5同時(shí)出現(xiàn)”這件事的自信息量是

log218（1+2

log23）。

29、若一維隨即變量X的取值區(qū)間是[0，∞]，其概率密度函數(shù)為，其中：，m是X的數(shù)學(xué)期望，則X的信源熵。

30、一副充分洗亂的撲克牌（52張），從中任意抽取1張，然后放回，若把這一過(guò)程看作離散無(wú)記憶信源，則其信源熵為。

31、根據(jù)輸入輸出信號(hào)的特點(diǎn)，可將信道分成離散信道、連續(xù)信道、半離散或半連續(xù)

信道。

32、信道的輸出僅與信道當(dāng)前輸入有關(guān)，而與過(guò)去輸入無(wú)關(guān)的信道稱為

無(wú)記憶

信道。

33、具有一一對(duì)應(yīng)關(guān)系的無(wú)噪信道的信道容量C=

log2n。

34、強(qiáng)對(duì)稱信道的信道容量C=

log2n-Hni。

35、對(duì)稱信道的信道容量C=

log2m-Hmi。

36、對(duì)于離散無(wú)記憶信道和信源的N次擴(kuò)展，其信道容量CN=

NC。

37、對(duì)于N個(gè)對(duì)立并聯(lián)信道，其信道容量

CN

=。

38、多用戶信道的信道容量用

多維空間的一個(gè)區(qū)域的界限

來(lái)表示。

39、多用戶信道可以分成幾種最基本的類型：

多址接入信道、廣播信道

和相關(guān)信源信道。

40、廣播信道是只有

一個(gè)輸入端和多個(gè)輸出端的信道。

41、當(dāng)信道的噪聲對(duì)輸入的干擾作用表現(xiàn)為噪聲和輸入的線性疊加時(shí)，此信道稱為

加性連續(xù)信道。

42、高斯加性信道的信道容量C=。

43、信道編碼定理是一個(gè)理想編碼的存在性定理，即：信道無(wú)失真?zhèn)鬟f信息的條件是

信息率小于信道容量。

44、信道矩陣代表的信道的信道容量C=

1。

45、信道矩陣代表的信道的信道容量C=

1。

46、高斯加性噪聲信道中，信道帶寬3kHz，信噪比為7，則該信道的最大信息傳輸速率Ct=

kHz。

47、對(duì)于具有歸并性能的無(wú)燥信道，達(dá)到信道容量的條件是

p（yj）=1/m）。

48、信道矩陣代表的信道，若每分鐘可以傳遞6*105個(gè)符號(hào)，則該信道的最大信息傳輸速率Ct=

10kHz。

49、信息率失真理論是量化、數(shù)模轉(zhuǎn)換、頻帶壓縮和

數(shù)據(jù)壓縮的理論基礎(chǔ)。

50、求解率失真函數(shù)的問(wèn)題，即：在給定失真度的情況下，求信息率的極小值。

51、信源的消息通過(guò)信道傳輸后的誤差或失真越大，信宿收到消息后對(duì)信源存在的不確定性就

越大，獲得的信息量就越小。

52、信源的消息通過(guò)信道傳輸后的誤差或失真越大道傳輸消息所需的信息率

也越小。

53、單符號(hào)的失真度或失真函數(shù)d（xi，yj）表示信源發(fā)出一個(gè)符號(hào)xi，信宿再現(xiàn)yj所引起的誤差或失真。

54、漢明失真函數(shù)

d（xi，yj）=。

55、平方誤差失真函數(shù)d（xi，yj）=（yj-

xi）2。

56、平均失真度定義為失真函數(shù)的數(shù)學(xué)期望，即d（xi，yj）在X和Y的聯(lián)合概率空間P（XY）中的統(tǒng)計(jì)平均值。

57、如果信源和失真度一定，則平均失真度是

信道統(tǒng)計(jì)特性的函數(shù)。

58、如果規(guī)定平均失真度不能超過(guò)某一限定的值D，即：。我們把稱為

保真度準(zhǔn)則。

59、離散無(wú)記憶N次擴(kuò)展信源通過(guò)離散無(wú)記憶N次擴(kuò)展信道的平均失真度是單符號(hào)信源通過(guò)單符號(hào)信道的平均失真度的N

倍。

60、試驗(yàn)信道的集合用PD來(lái)表示，則PD=。

61、信息率失真函數(shù)，簡(jiǎn)稱為率失真函數(shù)，即：試驗(yàn)信道中的平均互信息量的最小值。

62、平均失真度的下限取0的條件是失真矩陣的每一行至少有一個(gè)零元素。

63、平均失真度的上限D(zhuǎn)max取{Dj：j=1，2，···，m}中的最小值。

64、率失真函數(shù)對(duì)允許的平均失真度是

單調(diào)遞減和連續(xù)的。

65、對(duì)于離散無(wú)記憶信源的率失真函數(shù)的最大值是

log2n。

66、當(dāng)失真度大于平均失真度的上限時(shí)Dmax時(shí)，率失真函數(shù)R（D）=

0。

67、連續(xù)信源X的率失真函數(shù)R（D）=。

68、當(dāng)時(shí)，高斯信源在均方差失真度下的信息率失真函數(shù)為。

69、保真度準(zhǔn)則下的信源編碼定理的條件是

信源的信息率R大于率失真函數(shù)R（D）。

70、某二元信源其失真矩陣D=，則該信源的Dmax=

a/2。

71、某二元信源其失真矩陣D=，則該信源的Dmin=

0。

72、某二元信源其失真矩陣D=，則該信源的R（D）=

1-H（D/a）。

73、按照不同的編碼目的，編碼可以分為三類：分別是

信源編碼、信道編碼和安全編碼。

74、信源編碼的目的是：

提高通信的有效性。

75、一般情況下，信源編碼可以分為

離散信源編碼、連續(xù)信源編碼和相關(guān)信源編碼。

76、連續(xù)信源或模擬信號(hào)的信源編碼的理論基礎(chǔ)是

限失真信源編碼定理。

77、在香農(nóng)編碼中，第i個(gè)碼字的長(zhǎng)度ki和p（xi）之間有

關(guān)系。

78、對(duì)信源進(jìn)行二進(jìn)制費(fèi)諾編碼，其編碼效率為

1。

79、對(duì)具有8個(gè)消息的單符號(hào)離散無(wú)記憶信源進(jìn)行4進(jìn)制哈夫曼編碼時(shí)，為使平均碼長(zhǎng)最短，應(yīng)增加

個(gè)概率為0的消息。

80、對(duì)于香農(nóng)編碼、費(fèi)諾編碼和哈夫曼編碼，編碼方法惟一的是

香農(nóng)編碼。

81、對(duì)于二元序列******1111，其相應(yīng)的游程序列是

23652457。

82、設(shè)無(wú)記憶二元序列中，“0”和“1”的概率分別是p0和p1，則“0”游程長(zhǎng)度L（0）的概率為。

83、游程序列的熵

等于

原二元序列的熵。

84、若“0”游程的哈夫嗎編碼效率為η0，“1”游程的哈夫嗎編碼效率為η1，且η0>η1對(duì)應(yīng)的二元序列的編碼效率為η，則三者的關(guān)系是

η0>η>η1。

85、在實(shí)際的游程編碼過(guò)程中，對(duì)長(zhǎng)碼一般采取

截?cái)?/p>

處理的方法。

86、“0”游程和“1”游程可以分別進(jìn)行哈夫曼編碼，兩個(gè)碼表中的碼字可以重復(fù)，但

C碼

必須不同。

87、在多符號(hào)的消息序列中，大量的重復(fù)出現(xiàn)的，只起占時(shí)作用的符號(hào)稱為

冗余位。

88、“冗余變換”即：將一個(gè)冗余序列轉(zhuǎn)換成一個(gè)二元序列和一個(gè)

縮短了的多元序列。

89、L-D編碼是一種

分幀傳送冗余位序列的方法。

90、L-D編碼適合于冗余位

較多或較少的情況。

91、信道編碼的最終目的是

提高信號(hào)傳輸?shù)目煽啃浴?/p>

92、狹義的信道編碼即：檢、糾錯(cuò)編碼。

93、BSC信道即：無(wú)記憶二進(jìn)制對(duì)稱信道。

94、n位重復(fù)碼的編碼效率是

1/n。

95、等重碼可以檢驗(yàn)

全部的奇數(shù)位錯(cuò)和部分的偶數(shù)位錯(cuò)。

96、任意兩個(gè)碼字之間的最小漢明距離有稱為碼的最小距dmin，則dmin=。

97、若糾錯(cuò)碼的最小距離為dmin，則可以糾正任意小于等于t=

個(gè)差錯(cuò)。

98、若檢錯(cuò)碼的最小距離為dmin，則可以檢測(cè)出任意小于等于l=

dmin-1

個(gè)差錯(cuò)。

99、線性分組碼是同時(shí)具有

分組特性和線性特性的糾錯(cuò)碼。

100、循環(huán)碼即是采用

循環(huán)移位特性界定的一類線性分組碼。

三、判斷（50道）

1、必然事件和不可能事件的自信息量都是0

。錯(cuò)

2、自信息量是的單調(diào)遞減函數(shù)。對(duì)

3、單符號(hào)離散信源的自信息和信源熵都具有非負(fù)性。對(duì)

4、單符號(hào)離散信源的自信息和信源熵都是一個(gè)確定值。錯(cuò)

5、單符號(hào)離散信源的聯(lián)合自信息量和條件自信息量都是非負(fù)的和單調(diào)遞減的。對(duì)

6、自信息量、條件自信息量和聯(lián)合自信息量之間有如下關(guān)系：

對(duì)

7、自信息量、條件自信息量和互信息量之間有如下關(guān)系：

對(duì)

8、當(dāng)隨即變量X和Y相互獨(dú)立時(shí)，條件熵等于信源熵。對(duì)

9、當(dāng)隨即變量X和Y相互獨(dú)立時(shí)，I（X；Y）=H（X）

。錯(cuò)

10、信源熵具有嚴(yán)格的下凸性。錯(cuò)

11、平均互信息量I（X；Y）對(duì)于信源概率分布p（xi）和條件概率分布p（yj/xi）都具有凸函數(shù)性。

對(duì)

12、m階馬爾可夫信源和消息長(zhǎng)度為m的有記憶信源，其所含符號(hào)的依賴關(guān)系相同。

錯(cuò)

13、利用狀態(tài)極限概率和狀態(tài)一步轉(zhuǎn)移概率來(lái)求m階馬爾可夫信源的極限熵。

對(duì)

14、N維統(tǒng)計(jì)獨(dú)立均勻分布連續(xù)信源的熵是N維區(qū)域體積的對(duì)數(shù)。

對(duì)

15、一維高斯分布的連續(xù)信源，其信源熵只與其均值和方差有關(guān)。

錯(cuò)

16、連續(xù)信源和離散信源的熵都具有非負(fù)性。

錯(cuò)

17、連續(xù)信源和離散信源都具有可加性。

對(duì)

18、連續(xù)信源和離散信源的平均互信息都具有非負(fù)性。

對(duì)

19、定長(zhǎng)編碼的效率一般小于不定長(zhǎng)編碼的效率。

對(duì)

20、若對(duì)一離散信源（熵為H（X））進(jìn)行二進(jìn)制無(wú)失真編碼，設(shè)定長(zhǎng)碼子長(zhǎng)度為K，變長(zhǎng)碼子平均長(zhǎng)度為，一般>K。

錯(cuò)

21、信道容量C是I（X；Y）關(guān)于p（xi）的條件極大值。

對(duì)

22、離散無(wú)噪信道的信道容量等于log2n，其中n是信源X的消息個(gè)數(shù)。

錯(cuò)

23、對(duì)于準(zhǔn)對(duì)稱信道，當(dāng)時(shí)，可達(dá)到信道容量C。錯(cuò)

24、多用戶信道的信道容量不能用一個(gè)數(shù)來(lái)代表。

對(duì)

25、多用戶信道的信道容量不能用一個(gè)數(shù)來(lái)代表，但信道的信息率可以用一個(gè)數(shù)來(lái)表示。錯(cuò)

26、高斯加性信道的信道容量只與信道的信噪有關(guān)。

對(duì)

27、信道無(wú)失真?zhèn)鬟f信息的條件是信息率小于信道容量。對(duì)

28、最大信息傳輸速率，即：選擇某一信源的概率分布（p（xi）），使信道所能傳送的信息率的最大值。

錯(cuò)

29、對(duì)于具有歸并性能的無(wú)燥信道，當(dāng)信源等概率分布時(shí)（p（xi）=1/n），達(dá)到信道容量。

錯(cuò)

30、求解率失真函數(shù)的問(wèn)題，即：在給定失真度的情況下，求信息率的極小值。對(duì)

31、信源的消息通過(guò)信道傳輸后的誤差或失真越大，信宿收到消息后對(duì)信源存在的不確定性就越小，獲得的信息量就越小。

錯(cuò)

32、當(dāng)p（xi）、p（yj/xi）和d（xi，yj）給定后，平均失真度是一個(gè)隨即變量。

錯(cuò)

33、率失真函數(shù)對(duì)允許的平均失真度具有上凸性。對(duì)

34、率失真函數(shù)沒(méi)有最大值。

錯(cuò)

35、率失真函數(shù)的最小值是0

。對(duì)

36、率失真函數(shù)的值與信源的輸入概率無(wú)關(guān)。錯(cuò)

37、信源編碼是提高通信有效性為目的的編碼。

對(duì)

38、信源編碼通常是通過(guò)壓縮信源的冗余度來(lái)實(shí)現(xiàn)的。

對(duì)

39、離散信源或數(shù)字信號(hào)的信源編碼的理論基礎(chǔ)是限失真信源編碼定理。

錯(cuò)

40、一般情況下，哈夫曼編碼的效率大于香農(nóng)編碼和費(fèi)諾編碼。

對(duì)

41、在編m（m>2）進(jìn)制的哈夫曼碼時(shí)，要考慮是否需要增加概率為0的碼字，以使平均碼長(zhǎng)最短。

對(duì)

42、游程序列的熵（“0”游程序列的熵與“1”游程序列的熵的和）大于等于原二元序列的熵。

錯(cuò)

43、在游程編碼過(guò)程中，“0”游程和“1”游程應(yīng)分別編碼，因此，它們的碼字不能重復(fù)。

錯(cuò)

44、L-D編碼適合于冗余位較多和較少的情況，否則，不但不能壓縮碼率，反而使其擴(kuò)張。

對(duì)

45、狹義的信道編碼既是指：信道的檢、糾錯(cuò)編碼。

對(duì)

46、對(duì)于BSC信道，信道編碼應(yīng)當(dāng)是一對(duì)一的編碼，因此，消息m的長(zhǎng)度等于碼字c的長(zhǎng)度。

錯(cuò)

47、等重碼和奇（偶）校驗(yàn)碼都可以檢出全部的奇數(shù)位錯(cuò)。

對(duì)

48、漢明碼是一種線性分組碼。對(duì)

49、循環(huán)碼也是一種線性分組碼。

對(duì)

50、卷積碼是一種特殊的線性分組碼。

錯(cuò)

四、簡(jiǎn)答（20道）

1、信息的主要特征有哪些？（4）

2、信息的重要性質(zhì)有哪些？（4）

3、簡(jiǎn)述幾種信息分類的準(zhǔn)則和方法。（5）

4、信息論研究的內(nèi)容主要有哪些？（8）

5、簡(jiǎn)述自信息的性質(zhì)。（13）

6、簡(jiǎn)述信源熵的基本性質(zhì)。（23）

7、簡(jiǎn)述信源熵、條件熵、聯(lián)合熵和交互熵之間的關(guān)系。（48）

8、信道的分類方法有哪些？（93-94）

9、簡(jiǎn)述一般離散信道容量的計(jì)算步驟。（107）

10、簡(jiǎn)述多用戶信道的分類。（115-116）

11、簡(jiǎn)述信道編碼定理。（128）

12、簡(jiǎn)述率失真函數(shù)的性質(zhì)。（140-145）

13、簡(jiǎn)述求解一般離散信源率失真函數(shù)的步驟。（146-149）

14、試比較信道容量與信息率失真函數(shù)。（164）

15、簡(jiǎn)述編碼的分累及各種編碼的目的。（168）

16、簡(jiǎn)述費(fèi)諾編碼的編碼步驟。（170）

17、簡(jiǎn)述二元哈夫曼編碼的編碼步驟。（173）

18、簡(jiǎn)述廣義的信道編碼的分類及各類編碼的作用。（188）

19、簡(jiǎn)述線性分組碼的性質(zhì)。（196）

20、簡(jiǎn)述循環(huán)碼的系統(tǒng)碼構(gòu)造過(guò)程。（221）