第一篇：信息論與編碼教學(xué)大綱

《信息論與編碼》教學(xué)大綱

電子信息工程專業(yè)（本科）

課程編號(hào)：（）

課程名稱：信息論與編碼 參考學(xué)時(shí)：52 其中實(shí)驗(yàn)或上機(jī)學(xué)時(shí)：0 說明部分

1．課程性質(zhì)

本課程是電子信息類專業(yè)的技術(shù)基礎(chǔ)課 2．課程教學(xué)的目的及意義

人類社會(huì)的生存和發(fā)展無時(shí)無刻都離不開信息的獲取、傳遞、處理、控制和利用。特別是邁入21世紀(jì)――高度信息化時(shí)代，信息的重要性更是不言而喻。信息業(yè)的發(fā)展，需要大量從事信息、通信、電子工程類專業(yè)的人才，而《信息論和編碼》課程為電子信息工程學(xué)科的基礎(chǔ)課，同時(shí)也可作為信息科學(xué)其它相關(guān)學(xué)科的選修課，掌握它，可以指導(dǎo)理論研究和工程應(yīng)用。

本課程注重基本概念、基本理論和基本分析方法的論述，并結(jié)合實(shí)例建立數(shù)學(xué)模型，給出推演過程，力求物理概念清晰、數(shù)學(xué)結(jié)構(gòu)嚴(yán)謹(jǐn)和完整、逐步深入展開。通過該課程的學(xué)習(xí)，使學(xué)生掌握香農(nóng)信息論的三個(gè)基本概念，與之相應(yīng)的三個(gè)編碼定理，以及信源編碼、信道編碼和信息保密編碼的基本理論和主要方法，培養(yǎng)學(xué)生能夠適應(yīng)數(shù)字通信、信息處理、信息安全、計(jì)算機(jī)信息管理等編碼工作的要求。使學(xué)生掌握信息理論的基本概念和信息分析方法及主要結(jié)論，為今后從事信息領(lǐng)域的科研和工程工作進(jìn)一步研究打下堅(jiān)實(shí)的理論基礎(chǔ)。3．教學(xué)內(nèi)容及教學(xué)要求

該課程是電子信息工程、信息安全工程專業(yè)的專業(yè)課。是為了適應(yīng)數(shù)字通信、信息處理和信息安全等方面的專業(yè)需要開設(shè)。該課程著重介紹信息論應(yīng)用概率論、隨機(jī)過程和現(xiàn)代數(shù)理統(tǒng)計(jì)方法，研究信息提取、傳輸和處理的一般規(guī)律，提高信息系統(tǒng)的有效性和可靠性，實(shí)現(xiàn)信息系統(tǒng)的最優(yōu)化。

信息論是現(xiàn)代通信與信息工程的理論基礎(chǔ)，主要內(nèi)容包括：信息的定義和測(cè)度；各類離散信源和信息熵；剩余度；信道和互信息；平均互信息和信道容量；數(shù)據(jù)處理和信息測(cè)量理論；信息率失真函數(shù)和數(shù)據(jù)壓縮原理；離散信源無失真和限失真信源編碼理論和編碼方法；離散有噪信道編碼理論和編碼原則。教學(xué)基本要求：

了解通信系統(tǒng)各部分的主要組成以及作用、香農(nóng)的三大編碼定理；

掌握各類離散信源和信息熵、信道及其信道容量、信息率失真函數(shù)和數(shù)據(jù)壓縮原理、離常用的無失真信源編碼方法、糾錯(cuò)碼基本思想及常用的糾錯(cuò)編碼方法。4.教學(xué)重點(diǎn)、難點(diǎn) 教學(xué)重點(diǎn)：

信息以及失真的測(cè)度、信道及信道容量、無失真信源編碼方法以及有噪信道編碼方法。教學(xué)難點(diǎn)：

?典型序列以及由此推導(dǎo)出的香農(nóng)三大編碼定理及其逆定理。5.教學(xué)方法及教學(xué)手段

課堂講學(xué)為主，習(xí)題講解為輔。6.教學(xué)學(xué)材及主要參考書

1.傅祖蕓編著，《信息論－基礎(chǔ)理論與應(yīng)用》，北京：電子工業(yè)出版社，2001年 2.姜丹，《信息論與編碼》，合肥，中國科學(xué)技術(shù)大學(xué)出版社，2001年 3.曹雪虹，張宗橙，信息論與編碼，北京，清華大學(xué)出版社，2004年 7.其它

考核形式：考試（筆試），教學(xué)環(huán)境：課堂

本課程應(yīng)開設(shè)在概率論與隨機(jī)過程等數(shù)學(xué)學(xué)科信號(hào)與系統(tǒng)之后，是數(shù)字圖像處理的基礎(chǔ)課程。

總學(xué)時(shí)數(shù)

課程總學(xué)時(shí)數(shù)： 52 其中，課堂講授： 46 作業(yè)：6

二、正文部分 第一章：緒論

一、教學(xué)要求

了解信息論研究對(duì)象、目的、發(fā)展簡史與現(xiàn)狀；

了解通信系統(tǒng)的模型以及通信系統(tǒng)各部分的主要組成以及作用

二、教學(xué)內(nèi)容

第一節(jié) 信息的概念

知識(shí)要點(diǎn)：信息的概念及自信息 第二節(jié) 信息論研究的對(duì)象、目的和內(nèi)容 知識(shí)要點(diǎn)：信息論研究的對(duì)象、目的和內(nèi)容 第三節(jié)：信息論發(fā)展簡史 知識(shí)要點(diǎn)：信息論發(fā)展簡史

三、本章學(xué)時(shí)數(shù) 2學(xué)時(shí)

第二章：離散信源及其測(cè)度

一、教學(xué)要求

了解信源的相關(guān)性和剩余度的概念，信息的概念，信息，信號(hào)，消息，數(shù)據(jù)的關(guān)系與聯(lián)系。

掌握信源的數(shù)學(xué)模型、離散無記憶信源、離散平穩(wěn)信源和馬爾可夫信源基本理論。

二、教學(xué)內(nèi)容

第一節(jié) 信源的數(shù)學(xué)模型及分類

知識(shí)要點(diǎn)：信源的數(shù)學(xué)模型，離散無記憶信源及其擴(kuò)展信源。第二節(jié) 信息熵及其基本性質(zhì) 知識(shí)要點(diǎn)：自信息及信息熵離散無記憶擴(kuò)展信源熵，熵的基本性質(zhì)及最大離散熵定理。第三節(jié) 離散平穩(wěn)信源

知識(shí)要點(diǎn)：離散平穩(wěn)信源定義，聯(lián)合熵，條件熵以及極限熵。第四節(jié) 馬爾可夫信源

知識(shí)要點(diǎn)：馬爾可夫信源定義，馬爾可夫信源熵 第四節(jié) 信息剩余度

知識(shí)要點(diǎn)：信息剩余度以及自然語言熵

三、本章學(xué)時(shí)數(shù) 8學(xué)時(shí)

第三章：離散信道及其信道容量

一、教學(xué)要求

了解一般信道容量計(jì)算。

掌握信道的數(shù)學(xué)模型，離散無記憶信道以及一些特殊信道容量的計(jì)算方法。

二、教學(xué)內(nèi)容

第一節(jié) 信道數(shù)學(xué)模型及分類

知識(shí)要點(diǎn)：信道數(shù)學(xué)模型及不同的分類，信道矩陣。第二節(jié)平均互信息及特點(diǎn)

知識(shí)要點(diǎn)：信道疑義度，互信息和平均互信息及其特性，平均條件互信息。第三節(jié) 信道容量及一般計(jì)算方法

知識(shí)要點(diǎn)：離散無噪信道及信道容量，對(duì)稱離散信道、準(zhǔn)對(duì)稱信道的容量計(jì)算。第四節(jié) 離散無記憶擴(kuò)展信道及其容量

知識(shí)要點(diǎn)：離散無記憶擴(kuò)展信道及其容量，信源與信道的匹配。

三、本章學(xué)時(shí)數(shù) 6學(xué)時(shí)

第四章：無失真信源編碼

一、教學(xué)要求

了解其它一些無失真信源編碼方法。

理解漸近等分割性及?典型序列，算術(shù)編碼方法及具體實(shí)現(xiàn)方案；

掌握編碼的定義，碼的分類，定長編碼定理，變長編碼定理，最佳編碼方法：香農(nóng)編碼方法，費(fèi)諾編碼方法，哈夫曼編碼方法。

二、教學(xué)內(nèi)容

第一節(jié) 等長碼及等長信源編碼定理

知識(shí)要點(diǎn)：編碼器的概念，碼的定義，等長碼及等長信源編碼定理，?典型序列及其性質(zhì)，編碼效率。

第二節(jié) 變長碼及變長信源編碼定理

知識(shí)要點(diǎn)：唯一可譯碼定義及其判斷方法，即時(shí)碼的樹圖法構(gòu)造，Kraft不等式，緊致碼，變長信源編碼定理。

第三節(jié) 編碼方法 知識(shí)要點(diǎn)：香農(nóng)編碼，費(fèi)諾編碼，香農(nóng)－費(fèi)諾－埃利斯編碼，哈夫曼編碼，游程編碼，算術(shù)編碼和其它一些編碼方法。

三、本章學(xué)時(shí)數(shù) 10學(xué)時(shí)

第五章：有噪信道編碼

一、教學(xué)要求

了解檢錯(cuò)碼與糾錯(cuò)碼的方法。理解漸近等分割性及?典型序列。

掌握的重點(diǎn)內(nèi)容有：有噪離散信道的編碼定理，差錯(cuò)控制與信道編譯碼的基本原理，線性分組碼，卷積碼，網(wǎng)格編碼調(diào)制與級(jí)聯(lián)碼簡介。

二、教學(xué)內(nèi)容

第一節(jié) 錯(cuò)誤概率與譯碼規(guī)則和編碼方法

知識(shí)要點(diǎn)：最小錯(cuò)誤概率譯碼準(zhǔn)則，最大似然譯碼準(zhǔn)則，最小距離譯碼準(zhǔn)則及其之間相互關(guān)系，平均譯碼錯(cuò)誤概率，錯(cuò)誤概率與譯碼規(guī)則和編碼方法關(guān)系，信道編碼的編、譯基本準(zhǔn)則。

第二節(jié) 有噪信道編碼定理

知識(shí)要點(diǎn)：有噪信道編碼定理及其逆定理，信源信道編碼定理。第三節(jié) 糾錯(cuò)碼

知識(shí)要點(diǎn)：糾錯(cuò)碼分類，分組碼的最小距離與檢、糾錯(cuò)能力，分組碼的碼率，線性分組碼的特性，生成矩陣和一致監(jiān)督矩陣及其關(guān)系，線性分組碼的編、譯碼方法，漢明碼，卷積碼及其構(gòu)造方法。

三、本章學(xué)時(shí)數(shù) 10學(xué)時(shí)

第六章：波形信源和波形信道

一、教學(xué)要求

了解連續(xù)信源和波形信源的信息測(cè)度，連續(xù)信道和波形信道的分類，連續(xù)信源熵的變換，連續(xù)信道和波形信道的信道容量的計(jì)算方法。

掌握連續(xù)信源和波形信源的信息測(cè)度。

二、教學(xué)內(nèi)容

第一節(jié) 連續(xù)信源和波形信源的信息測(cè)度

知識(shí)要點(diǎn)：連續(xù)信源的差熵、波形信源的差熵和兩種特殊信源的差熵。第二節(jié) 連續(xù)信道和波形信道的分類

知識(shí)要點(diǎn)：按噪聲統(tǒng)計(jì)特性分類，按噪聲對(duì)信號(hào)的作用和功能分類。第三節(jié) 連續(xù)信道和波形信道的信息傳輸率

知識(shí)要點(diǎn)：單符號(hào)連續(xù)信道的平均交互信息，連續(xù)信道的平均交互信息的特性。第四節(jié) 連續(xù)信道和波形信道的信道容量

知識(shí)要點(diǎn)：單符號(hào)高斯加性信道的信道容量，單符號(hào)非高斯加性信道的信道容量，多維無記憶高斯加性信道的信道容量。

三、本章學(xué)時(shí)數(shù) 8學(xué)時(shí)

第七章：限失真信源編碼

一、教學(xué)要求

了解保真度準(zhǔn)則下的信源編碼定理

掌握失真度與平均失真度，信息率失真函數(shù)與特性，R(D)函數(shù)的參數(shù)表述及其計(jì)算。

二、教學(xué)內(nèi)容

第一節(jié) 失真度與平均失真度

知識(shí)要點(diǎn)：失真度與平均失真度，D失真許可試驗(yàn)信道。第二節(jié) 信息率失真函數(shù)與特性

知識(shí)要點(diǎn)：信息率失真函數(shù)R(D)的定義，離散信源的R(D)函數(shù)，高斯連續(xù)信源的R(D)函數(shù)，R(D)的定義域和單調(diào)性等性質(zhì)。

第三節(jié) 信息率失真函數(shù)的參量表述與計(jì)算

知識(shí)要點(diǎn)：信息率失真函數(shù)的計(jì)算 第四節(jié) 保真度準(zhǔn)則下的信源編碼定理

知識(shí)要點(diǎn)：失真限?典型序列，失真信源編碼定理和編碼逆定理，有失真信源編碼定理的實(shí)用意義。

三、本章學(xué)時(shí)數(shù) 8學(xué)時(shí)

執(zhí)筆人：

胡學(xué)友

教研室：XXX

系主任審核簽名：XXX 5

第二篇：信息論與編碼

信息論與編碼的應(yīng)用

信息論是信息科學(xué)的主要理論基礎(chǔ)之一，它是在長期通信工程實(shí)踐和理論基礎(chǔ)上發(fā)展起來的。信息論是應(yīng)用概率論、隨機(jī)過程和數(shù)理統(tǒng)計(jì)和近代代數(shù)等方法，來研究信息的存儲(chǔ)、傳輸和處理中一般規(guī)律的學(xué)科。它的主要目的是提高通信系統(tǒng)的可靠性、有效性和安全性，以便達(dá)到系統(tǒng)的最優(yōu)化。編碼理論與信息論緊密關(guān)聯(lián)，它以信息論基本原理為理論依據(jù)，研究編碼和譯碼的理論知識(shí)和實(shí)現(xiàn)方法?！娟P(guān)鍵詞】信息論 電子信息工程 通信 網(wǎng)絡(luò)

一、信息論應(yīng)用

人類社會(huì)的生存和發(fā)展無時(shí)不刻都離不開信息的獲取、傳遞、再生、控制和利用。信息論正式一門把信息作為研究對(duì)象的科學(xué)，以揭示信息的本質(zhì)特性和規(guī)律為基礎(chǔ)，應(yīng)用概率論。隨機(jī)過程和樹立統(tǒng)計(jì)等方法來研究信息的存儲(chǔ)、傳輸、處理、控制和利用。它主要研究如何提高信息系統(tǒng)的可靠性、有效性、保密性和認(rèn)證性，以使信息系統(tǒng)最優(yōu)化。許多 科學(xué)技術(shù)問題（如無線電通訊、電視、遙測(cè)、圖像和聲音識(shí)別等）都必須以信息論為理論指 導(dǎo)才能很好地解決。信息論的研究對(duì)象又可以是廣義的信息傳輸和信息處理系統(tǒng)。從最普通 的電報(bào)、電話、傳真、電視、雷達(dá)、聲納, 一直到各類生物神經(jīng)的感知系統(tǒng), 以及大到人類社會(huì)系統(tǒng),可以用同一的信息論觀點(diǎn)加以闡述, 都可以概括成某種隨機(jī)過程或統(tǒng)計(jì)學(xué)的數(shù)學(xué)模型加以深入研究。例如信息論在一下幾個(gè)方面都得到了廣泛的應(yīng)用。

信息論在數(shù)據(jù)壓縮理論中的應(yīng)用

數(shù)據(jù)壓縮的主要目的是力求用最少的數(shù)據(jù)表示信源所發(fā)出的信號(hào)，使信號(hào)占用的存儲(chǔ)空間盡可能小，以達(dá)到提高信息傳輸速度的目的。數(shù)據(jù)壓縮在近代信息處理問題中有大量的應(yīng)用，無論在數(shù)據(jù)存儲(chǔ)或傳送中，通過數(shù)據(jù)壓縮不僅可以大大節(jié)省資源利用的成本，而且把一些原來無實(shí)用意義的技術(shù)，如多媒體技術(shù)中的一些問題，達(dá)到具有實(shí)用意義的標(biāo)準(zhǔn)。

數(shù)據(jù)壓縮作為信息論研究中的一項(xiàng)內(nèi)容，主要是有關(guān)數(shù)據(jù)壓縮比和各種編碼方法的研究，即按某種方法對(duì)源數(shù)據(jù)流進(jìn)行編碼，使得經(jīng)過編碼的數(shù)據(jù)流比原數(shù)據(jù)流占有較少的空間。其中基于符號(hào)頻率統(tǒng)計(jì)的哈夫曼編碼效率高，運(yùn)算速度快，實(shí)現(xiàn)方式靈活，使得其在數(shù)據(jù)壓縮領(lǐng)域得到了廣泛的應(yīng)用。

數(shù)據(jù)壓縮技術(shù)的不斷完善是依靠在信息論這門學(xué)科的成長上的，信息能否被壓縮以及能在多大程度上被壓縮與信息的不確定性有直接的關(guān)系，人工智能技術(shù)將會(huì)對(duì)數(shù)據(jù)壓縮的未來產(chǎn)生重大影響。

信息論在密碼學(xué)中的應(yīng)用

密碼學(xué)是研究編制密碼和破譯密碼的技術(shù)科學(xué)。從傳統(tǒng)意義上來說，密碼學(xué)是研究如何把信息轉(zhuǎn)換成一種隱蔽的方式并阻止其他人得到它。密碼術(shù)的研究和應(yīng)用雖有很長的歷史，但在信息論誕生之前，它還沒有系統(tǒng)的理論，直到香農(nóng)發(fā)表的保密通信的信息理論一文，為密碼學(xué)確立了一系列的基本原則與指標(biāo)，如加密運(yùn)算中的完全性、剩余度等指標(biāo)，它們與信息的度量有著密切相關(guān)。之后才產(chǎn)生了基于信息論的密碼學(xué)理論，所以說信息論與密碼學(xué)的關(guān)系十分密切。

近代密碼學(xué)由于數(shù)據(jù)加密標(biāo)準(zhǔn)與公鑰體制的出現(xiàn)與應(yīng)用，使近代密碼學(xué)所涉及的范圍有了極大的發(fā)展，尤其是在網(wǎng)絡(luò)認(rèn)證方面得到廣泛應(yīng)用，但其中的安全性原理與測(cè)量標(biāo)準(zhǔn)仍未脫離香農(nóng)保密系統(tǒng)所規(guī)定的要求，多種加密函數(shù)的構(gòu)造，如相關(guān)免疫函數(shù)的構(gòu)造仍以香農(nóng)的完善保密性為基礎(chǔ)

信息論在數(shù)字移動(dòng)通信系統(tǒng)中的應(yīng)用

數(shù)字移動(dòng)通信系統(tǒng)主要包含編碼和譯碼兩種技術(shù)。移動(dòng)信道是最復(fù)雜的一種信道，為了保證在不利的條件下接受信號(hào)的傳輸質(zhì)量，就必須采用各種抗衰落技術(shù)和數(shù)字傳輸技術(shù)，如分集技術(shù)、擴(kuò)頻技術(shù)、均衡、交織和糾錯(cuò)編碼等。信息論在統(tǒng)計(jì)中的應(yīng)用

信息論在統(tǒng)計(jì)中的應(yīng)用一般指信息量在統(tǒng)計(jì)中的應(yīng)用，也有編碼定理與碼結(jié)構(gòu)在統(tǒng)計(jì)中的應(yīng)用等問題。由于統(tǒng)計(jì)學(xué)研究的問題日趨復(fù)雜，如統(tǒng)計(jì)模型從線性到非線性，統(tǒng)計(jì)分布從單一分布到混合分布，因此信息量在統(tǒng)計(jì)中的作用日趨重要，在許多問題中以信息量作為它們的基本度量 [2]。

在統(tǒng)計(jì)領(lǐng)域里，統(tǒng)計(jì)計(jì)算技術(shù)近年來發(fā)展很快，它使許多統(tǒng)計(jì)方法，尤其是Bayes統(tǒng)計(jì)得到廣泛的運(yùn)用。信息與統(tǒng)計(jì)相結(jié)合的其他典型問題還很多，如假設(shè)檢驗(yàn)中的兩類誤差估計(jì)問題，試驗(yàn)設(shè)計(jì)問題，信息量在有效估計(jì)中的應(yīng)用問題等，這些問題已使信息論與統(tǒng)計(jì)學(xué)想成相互推動(dòng)發(fā)展的局面。

編碼技術(shù)在調(diào)制解調(diào)技術(shù)中的應(yīng)用

在上個(gè)世紀(jì)80到90年代，信息編碼理論應(yīng)用的兩項(xiàng)重大成果是：調(diào)制解調(diào)理論及數(shù)據(jù)壓縮理論在多媒體技術(shù)領(lǐng)域的應(yīng)用。調(diào)制解調(diào)碼的出現(xiàn)從根本上改變了數(shù)據(jù)通信的狀況，使調(diào)制解調(diào)碼通信速度從原來的1200bit/s逐步增加到30000bit/s。我們可以簡單計(jì)算得知，調(diào)制解調(diào)碼大大提高了數(shù)據(jù)傳輸速度，提高了25倍，從而使現(xiàn)有的網(wǎng)絡(luò)通信成為實(shí)用性的技術(shù)。

編碼技術(shù)在快速通信領(lǐng)域中的應(yīng)用

編碼理論在快速通信技術(shù)中已得到了大量的應(yīng)用，通信技術(shù)已從低速向高速發(fā)展，通信手段正向微波、衛(wèi)星等方向發(fā)展，因此誤差干擾問題突現(xiàn)出來，利用糾錯(cuò)碼可大大降低通信中的差錯(cuò)率。在20世紀(jì)70到80年代的代數(shù)碼，如BCH碼、R-S碼等為克服誤差干擾發(fā)揮了重要作用，成為通信工程不可缺少的一個(gè)組成部分。

3.7信息論在其他領(lǐng)域中的應(yīng)用

現(xiàn)今時(shí)代信息科學(xué)飛速發(fā)展，信息論已跨越了通信領(lǐng)域，在其他領(lǐng)域也得到了廣泛應(yīng)用。信息論不僅在計(jì)算機(jī)、自動(dòng)控制等方面突現(xiàn)作用，還開始涉及到物理學(xué)、化學(xué)、生物學(xué)、心理學(xué)、醫(yī)學(xué)、經(jīng)濟(jì)學(xué)、人類學(xué)、語言學(xué)、統(tǒng)計(jì)學(xué)和管理學(xué)等學(xué)科。

比如信息論在水資源系統(tǒng)工程中可以利用信息論的方法建立模型推到降水、儲(chǔ)水量等分布的問題。在建筑工程故障診斷中信息論也得到了應(yīng)用，它用熵的概念對(duì)所測(cè)量的數(shù)據(jù)進(jìn)行處理和誤差分析。另外，信息論也能在作戰(zhàn)效能評(píng)估中得到應(yīng)用研究，我們可以從信息的不確定性著手評(píng)估其作戰(zhàn)效能。我們不難看出，信息論在很多領(lǐng)域都有所應(yīng)用。

結(jié) 論

信息是自從人類出現(xiàn)以來就存在于這個(gè)世界上了，天地萬物，飛禽走獸，以及人類的生存方式都離不開信息的產(chǎn)生和傳播。信息論方法具有普遍的適用性，因此可以把課上學(xué)習(xí)的內(nèi)容和我們的日常生活緊密結(jié)合起來，從而提高學(xué)習(xí)的興趣。例如，在學(xué)習(xí)多符號(hào)離散信源時(shí)，可以和日常生活中大家在電視上見到的搖獎(jiǎng)場(chǎng)面聯(lián)系起來。一臺(tái)簡單的搖獎(jiǎng)機(jī)，從十個(gè)號(hào)碼球中搖出一個(gè)數(shù)字號(hào)碼，可以看作一個(gè)單符號(hào)離散信源，它有十個(gè)符號(hào)，從0至9。如果需要搖出七位數(shù)的體育彩票號(hào)碼，這可以看成是一個(gè)多符號(hào)信源，一次同時(shí)發(fā)出七個(gè)符號(hào)，而且是單符號(hào)離散信源的7次擴(kuò)展。又如，在學(xué)習(xí)漢明距離時(shí)，可以和英語學(xué)習(xí)聯(lián)系起來。在英語中拼寫非常接近的單詞很容易混淆或者拼寫錯(cuò)誤，用信息論的觀點(diǎn)來看就是兩個(gè)碼字的漢明距離（不同位的個(gè)數(shù)）太小，因此抗干擾的能力差。

由于信息論方法具有相當(dāng)普遍的意義和價(jià)值，因此在計(jì)算機(jī)科學(xué)、人工智能、語言學(xué)、基因工程、神經(jīng)解剖學(xué)甚至金融投資學(xué)等眾多領(lǐng)域都有廣泛的應(yīng)用，信息論促進(jìn)了這些學(xué)科領(lǐng)域的發(fā)展，同時(shí)也促進(jìn)了整個(gè)社會(huì)經(jīng)濟(jì)的發(fā)展。人們已經(jīng)開始利用信息論的方法來探索系統(tǒng)的存在方式和運(yùn)動(dòng)變化的規(guī)律，信息論已經(jīng)成為認(rèn)識(shí)世界和改造世界的手段，信息論對(duì)哲學(xué)領(lǐng)域也有深遠(yuǎn)的影響。由此可見，《信息論與編碼》的課程對(duì)我們至關(guān)重要！

參考文獻(xiàn)

[1] 曹雪虹，張宗橙．信息論與編碼[M]．北京：清華大學(xué)出版社．2004． [2] 沈世鎰，吳忠華．信息論基礎(chǔ)與應(yīng)用[M]．北京：高等教育出版社．2004． [3] 隋曉紅，王艷營．信息論與編碼[M]．北京：北京大學(xué)出版社.2010 [4] 傅祖蕓.信息論—基礎(chǔ)理論與應(yīng)用[M]．北京：電子工業(yè)出版社．2004． [5] 維芬，云娜.信息論基本問題簡述[J]．信息與控制.2006

第三篇：信息論與編碼教案匯總[范文]

贛南師范學(xué)院物理與電子信息工程學(xué)院

教

案

授課教師：朱赟 授課對(duì)象：電子信息工程 授課學(xué)期：第六學(xué)期 總學(xué)時(shí)：32學(xué)時(shí)

使用教材：電子工業(yè)出版社《信息論與糾錯(cuò)編碼》張麗華

第次課教案

教學(xué)組織

一、自我介紹:略

二、課程介紹：

1、任務(wù)和地位：信息論是由Shannon奠基的一門數(shù)學(xué)學(xué)科，它產(chǎn)生于有效而可靠的通信問題中，并獲得了廣泛應(yīng)用。編碼技術(shù)是信息論的重要分支的基礎(chǔ)。它在通信和計(jì)算機(jī)工程實(shí)踐中得到了廣泛的應(yīng)用，成為通信系統(tǒng)設(shè)計(jì)中的一項(xiàng)通用技術(shù)。通過本課程的學(xué)習(xí)，使學(xué)生對(duì)信息理論有一個(gè)比較全面和系統(tǒng)的了解，掌握信息論的基本概念和信息論方法，為從事信息科學(xué)的研究和應(yīng)用打下一個(gè)堅(jiān)實(shí)的基礎(chǔ)。課程以信號(hào)和信道的知識(shí)為基礎(chǔ)，講述信息論的基本概念，信源編碼、信道編碼和偽隨機(jī)碼的基本知識(shí)。

2、知識(shí)要求：通過一個(gè)學(xué)期的學(xué)習(xí)要達(dá)到如下要求: 1)掌握平均信息量—熵的概念，了解信息論的基本知識(shí)和信道容量的計(jì)算。2)掌握信源編碼的意義，了解提高信息傳輸“有效性”的方法，掌握平均碼長的計(jì)算和最佳信源編碼的概念，通過仙農(nóng)定理導(dǎo)出霍夫曼編碼規(guī)則。3)掌握信道編碼的意義，了解提高信息傳輸“可靠性”的方法，掌握糾錯(cuò)編碼的基本概念，重點(diǎn)講解線性分組碼的檢錯(cuò)能力，介紹卷積碼基本概念。4)掌握偽隨機(jī)碼的基本概念，m序列碼的產(chǎn)生及應(yīng)用。

先修課程：信號(hào)與系統(tǒng)、數(shù)字邏輯電路、微機(jī)原理與應(yīng)用、通信原理。

3、能力要求：本課程重點(diǎn)是通過講解信息論與編碼技術(shù)使學(xué)生掌握提高信道傳輸?shù)摹坝行浴焙汀翱煽啃浴钡幕纠碚摗?/p>

4、考試成績計(jì)算方法：

平時(shí)成績 30%（主要包括作業(yè)和出勤）期終考試 70%

課程性質(zhì):

學(xué)科基礎(chǔ)課：

①電子信息類專業(yè)基礎(chǔ)課

②研究生考試課程 6 進(jìn)度安排 4學(xué)分

32理論學(xué)時(shí)

16周 2學(xué)時(shí)/周 7 學(xué)習(xí)方法與注意事項(xiàng) 1、學(xué)習(xí)、目的、方法 2、課程框架（理清）3、聽課與筆記 4、實(shí)用方法與公式 5、預(yù)習(xí)與復(fù)習(xí)（書、筆記）6、作業(yè)（多練習(xí)）教材及參考書 教材: 信息論與糾錯(cuò)編碼 張麗華 電子工業(yè)出版社 參考書: [1] 王新梅等編著，《糾錯(cuò)碼-原理與方法》（修訂版），西安電子科技大學(xué)出版社，2001 年。

[2] 張宗橙編著，《糾錯(cuò)編碼原理和應(yīng)用》，電子工業(yè)出版社，2004年。[3] [日]江藤良純等主編，《糾錯(cuò)編碼原理及應(yīng)用》，科學(xué)出版社，2004年。[4] [美]S.林著，陳太一譯，《糾錯(cuò)編碼入門》，人民郵電出版社，1976年。[5] 姜丹編著，《信息論與編碼》，中國科學(xué)技術(shù)大學(xué)出版社，2001年。主要內(nèi)容

（1）信息及信息的度量

（2）離散信源及信源熵,離散信道及信道容量（3）信源編碼定理和信道編碼定理

（4）平均失真測(cè)度和信息率失真函數(shù),率失真編碼定理（5）線性分組碼（6）循環(huán)碼和卷積碼

三 授課.一、講授內(nèi)容

第一章 信息論基礎(chǔ)

1.1信息的概念 1.2數(shù)字通信系統(tǒng) 1.3 信源及其數(shù)學(xué)模型

二、教學(xué)目的及要求

要求學(xué)生明確本課程的學(xué)習(xí)目的及要求，初步了解本課程的特點(diǎn)及學(xué)習(xí)方法，掌握信息的基本概念和特點(diǎn)，了解信息論研究的對(duì)象、目的和內(nèi)容，了解信息論的形成和發(fā)展趨勢(shì)，以及目前信息論與編碼的主要研究成果，激發(fā)學(xué)習(xí)信息論與編碼的興趣與熱情。要求學(xué)生掌握信源的基本概念和特點(diǎn)及信源的描述，掌握離散無記憶信源、離散有記憶信源與馬爾可夫信源的特點(diǎn)與描述方法。

三、教學(xué)重點(diǎn)

本課程的特點(diǎn)及學(xué)習(xí)方法、信息的基本概念與特點(diǎn)，信息論的主要研究對(duì)象、目的和內(nèi)容。信源的分類，離散信源與連續(xù)信源，無記憶信源與有記憶信源，馬爾可夫信源。

四、教學(xué)難點(diǎn)

如何理解信息的概念、信息論及編碼技術(shù)，有記憶信源，馬爾可夫信源。

五、本講計(jì)劃學(xué)時(shí)及時(shí)間分配

計(jì)劃2個(gè)學(xué)時(shí)，主講信息的基本概念和特點(diǎn)，信息論研究的對(duì)象、目的和內(nèi)容，信息論的形成和發(fā)展趨勢(shì)，以及目前信息論與編碼的主要研究成果。課程導(dǎo)入5分鐘；本課程的學(xué)習(xí)目的、要求及方法介紹20分鐘；信息的基本概念和特點(diǎn)，信息論研究的對(duì)象、目的和內(nèi)容，信息論的形成和發(fā)展趨勢(shì)，以及目前信息論與編碼的主要研究成果講授55分鐘，課堂練習(xí)及課后習(xí)題講解15分鐘，本節(jié)課知識(shí)點(diǎn)總結(jié)5分鐘。

六、實(shí)施步驟

利用多媒體課件對(duì)主要知識(shí)點(diǎn)進(jìn)行講述，并輔以板書詳解，具體如下： 課程引入：主要介紹本課程的教學(xué)內(nèi)容、教學(xué)重點(diǎn)與難點(diǎn)、考核方式及教材與參考書。

新課講解：第一章

信息論基礎(chǔ) 1.1信息的概念 1.2數(shù)字通信系統(tǒng) 1.3 信源及其數(shù)學(xué)模型 小結(jié)：

本次課主要對(duì)信息的基本概念和特點(diǎn)，信息論研究的對(duì)象、目的和內(nèi)容，信息論的形成和發(fā)展趨勢(shì)，以及目前信息論與編碼的主要研究成果進(jìn)行講解，給學(xué)生對(duì)《信息論與編碼》這門課程有初步印象。對(duì)無記憶信源、有記憶信源、馬爾可夫信源進(jìn)行詳細(xì)講解，并對(duì)其中重難點(diǎn)進(jìn)行總結(jié)概括。

七、課外學(xué)習(xí)輔導(dǎo)安排及作業(yè)布置

1、信息、信號(hào)、消息的定義是什么？三者的關(guān)系如何？

2、尋找閱讀和信息論與編碼發(fā)展的有關(guān)資料。

3、通信系統(tǒng)的各個(gè)主要組成部分是什么？

八、其他 無

第次課教案

一、講授內(nèi)容

第2章 信息的度量

2.1 自信息量和互信息量

二、教學(xué)目的及要求

要求學(xué)生掌握自信息量、離散信源熵、互信息的概念及其求解方法，了解數(shù)據(jù)處理中信息的變化方式，熟悉并掌握熵的一些基本性質(zhì)。

三、教學(xué)重點(diǎn)

自信息量、離散信源熵、互信息的概念及其求解方法、數(shù)據(jù)處理中信息的變化方式、熵的性質(zhì)。

四、教學(xué)難點(diǎn)

離散信源熵、互信息的概念及其求解方法、熵的性質(zhì)。

五、本講計(jì)劃學(xué)時(shí)及時(shí)間分配

計(jì)劃2個(gè)學(xué)時(shí)，主講離散信源熵和互信息的基本概念和特點(diǎn)。課程導(dǎo)入5分鐘；自信息量概念及其求解方法介紹10分鐘；離散信源熵的概念及其求解方法講授15分鐘，互信息的概念及其求解方法講授25分鐘，數(shù)據(jù)處理中信息的變化方式講授10分鐘，熵的性質(zhì)講授15分鐘，課堂練習(xí)及課后習(xí)題講解15分鐘，本節(jié)課知識(shí)點(diǎn)總結(jié)5分鐘。

六、實(shí)施步驟

利用多媒體課件對(duì)主要知識(shí)點(diǎn)進(jìn)行講述，并輔以板書詳解，具體如下： 課程引入：

對(duì)上次課的重點(diǎn)進(jìn)行復(fù)習(xí)，簡單介紹本次課的主要內(nèi)容，并提出問題：信息可否度量？信息量如何來量測(cè)？ 小結(jié)：

本次課主要對(duì)自信息量、離散信源熵、互信息、數(shù)據(jù)處理中信息的變化與熵的性質(zhì)進(jìn)行講解，最好對(duì)其中涉及到的重難點(diǎn)進(jìn)行總結(jié)概括。

七、課外學(xué)習(xí)輔導(dǎo)安排及作業(yè)布置 教材P41 2-3

第次課教案

一、講授內(nèi)容

第2章 信息的度量

2.2 離散集的平均自信息量

二、教學(xué)目的及要求

要求學(xué)生掌握離散序列信源熵的概念與求解方法，掌握離散無記憶信源的序列熵與離散有記憶信源的序列熵的概念、特點(diǎn)與求解方法。

三、教學(xué)重點(diǎn)

離散序列信源熵的概念與求解方法、離散無記憶信源的序列熵與離散有記憶信源的序列熵的概念、特點(diǎn)與求解方法。

四、教學(xué)難點(diǎn)

離散有記憶信源的序列熵的概念、特點(diǎn)與求解方法。

五、本講計(jì)劃學(xué)時(shí)及時(shí)間分配

計(jì)劃2個(gè)學(xué)時(shí)，主講離散序列信源熵。課程導(dǎo)入5分鐘；離散序列信源熵的概念與求解方法介紹20分鐘；離散無記憶信源的序列熵的基本概念、特點(diǎn)與求解方法講授25分鐘，離散有記憶信源的序列熵的概念、特點(diǎn)與求解方法講授30分鐘；課堂練習(xí)及課后習(xí)題講解15分鐘，本次課知識(shí)點(diǎn)總結(jié)5分鐘。

六、實(shí)施步驟

利用多媒體課件對(duì)主要知識(shí)點(diǎn)進(jìn)行講述，并輔以板書詳解，具體如下： 課程引入：

對(duì)上次課的重點(diǎn)進(jìn)行復(fù)習(xí)，簡單介紹本次課的基本內(nèi)容，問題的提出：a．如何描述離散無記憶序列信源的序列熵？b。如何描述離散有記憶序列信源（平穩(wěn)序列和齊次遍歷馬氏信源）的序列熵？ 小結(jié)

本次課主要對(duì)離散無記憶信源的序列熵、離散有記憶信源的序列熵進(jìn)行詳細(xì)講解，最好對(duì)其中涉及到的重難點(diǎn)進(jìn)行總結(jié)概括。

七、課外學(xué)習(xí)輔導(dǎo)安排及作業(yè)布置 教材P41 2-4

八、其他 無

第次課教案

一、講授內(nèi)容

第2章 信息的度量

2.3 離散集的平均互信息量

二、教學(xué)目的及要求

要求學(xué)生掌握連續(xù)信源熵和互信息的基本概念，掌握幅度連續(xù)的單個(gè)符號(hào)信源熵的求解方法，了解波形信源熵的求解方法已經(jīng)最大熵定理。

三、教學(xué)重點(diǎn)

連續(xù)信源熵和互信息的基本概念、幅度連續(xù)的單個(gè)符號(hào)信源熵的求解方法、波形信源熵的求解方法已經(jīng)最大熵定理。

四、教學(xué)難點(diǎn)

波形信源熵的求解方法已經(jīng)最大熵定理。

五、本講計(jì)劃學(xué)時(shí)及時(shí)間分配

計(jì)劃2個(gè)學(xué)時(shí)，主講連續(xù)信源熵和互信息。課程導(dǎo)入5分鐘；幅度連續(xù)的單個(gè)符號(hào)信源熵概念及求解方法介紹25分鐘；波形信源熵的概念及求解方法講授25分鐘，最大熵定理的講解25分鐘；課堂練習(xí)及課后習(xí)題講解15分鐘，本節(jié)課知識(shí)點(diǎn)總結(jié)5分鐘。

六、實(shí)施步驟

利用多媒體課件對(duì)主要知識(shí)點(diǎn)進(jìn)行講述，并輔以板書詳解，具體如下： 課程引入：

對(duì)上次課的重點(diǎn)進(jìn)行復(fù)習(xí)，簡單介紹本次課的主要內(nèi)容。小結(jié)：

本次課主要對(duì)幅度連續(xù)的單個(gè)符號(hào)信源熵、波形信源熵、最大熵定理進(jìn)行講解，最后對(duì)涉及到的重難點(diǎn)知識(shí)進(jìn)行總結(jié)概括。

七、課外學(xué)習(xí)輔導(dǎo)安排及作業(yè)布置 教材P43 2-20

八、其他 無

第次課教案

一、講授內(nèi)容

第1章 信息論基礎(chǔ) 1.4 信道及其數(shù)學(xué)模型

二、教學(xué)目的及要求

要求學(xué)生掌握信道的基本概念，了解信道的分類，掌握信道參數(shù)與信道容量的定義及其求解方法。

三、教學(xué)重點(diǎn)

信道的基本概念、信道的分類、信道參數(shù)與信道容量的定義及其求解方法。

四、教學(xué)難點(diǎn)

信道參數(shù)與信道容量的定義及其求解方法

五、本講計(jì)劃學(xué)時(shí)及時(shí)間分配

計(jì)劃2個(gè)學(xué)時(shí)，信道的基本概念。課程導(dǎo)入5分鐘；信道的基本概念闡述10分鐘；信道的分類講授15分鐘；信道參數(shù)的概念講解20分鐘；信道容量的定義及其求解方法講授30分鐘；課堂練習(xí)及課后習(xí)題講解15分鐘，本節(jié)課知識(shí)點(diǎn)總結(jié)5分鐘。

六、實(shí)施步驟

利用多媒體課件對(duì)主要知識(shí)點(diǎn)進(jìn)行講述，并輔以板書詳解，具體如下： 課程引入：

本章主要討論在什么條件下，通過信道的信息量最大，即所謂的信道容量問題。本章概念和定理也較多，較為抽象，課堂教學(xué)時(shí)考慮多講述一些例題，著重闡明定理和公式的物理意義，對(duì)較為繁瑣的推倒過程做了部分省略。小結(jié)：

本次課首先介紹了本章的主要內(nèi)容，并對(duì)3.1小節(jié)進(jìn)行詳細(xì)講解，總結(jié)其中的重難點(diǎn)。

七、課外學(xué)習(xí)輔導(dǎo)安排及作業(yè)布置 教材P68 3-1

八、其他 無

第次課教案

一、講授內(nèi)容

第4章 離散信道的信道容量 4.1 信道容量的定義

4.2 離散無記憶信道容量的計(jì)算 4.3 組合信道的容量

二、教學(xué)目的及要求

要求學(xué)生掌握離散單個(gè)符號(hào)信道及其容量的基本概念，無干擾離散信道、對(duì)稱DMC信道、準(zhǔn)對(duì)稱DMC信道與一般DMC信道的信道容量定義及其求解方法。

三、教學(xué)重點(diǎn)

無干擾離散信道、對(duì)稱DMC信道、準(zhǔn)對(duì)稱DMC信道與一般DMC信道的信道容量定義及其求解方法。

四、教學(xué)難點(diǎn)

對(duì)稱DMC信道、準(zhǔn)對(duì)稱DMC信道與一般DMC信道的新的容量定義及其求解方法。

五、本講計(jì)劃學(xué)時(shí)及時(shí)間分配

計(jì)劃2個(gè)學(xué)時(shí)，主講離散單個(gè)符號(hào)信道及其容量的基本概念。課程導(dǎo)入5分鐘；無干擾離散信道的信道容量闡述15分鐘；對(duì)稱DMC信道的信道容量講授25分鐘；準(zhǔn)對(duì)稱DMC信道的信道容量講解25分鐘；一般DMC信道的信道容量定義及其求解方法講授15分鐘；課堂練習(xí)及課后習(xí)題講解10分鐘，本節(jié)課知識(shí)點(diǎn)總結(jié)5分鐘。

六、實(shí)施步驟

利用多媒體課件對(duì)主要知識(shí)點(diǎn)進(jìn)行講述，并輔以板書詳解，具體如下： 課程引入：

信道中存在的干擾使輸出信號(hào)與輸入信號(hào)之間沒有固定的函數(shù)關(guān)系，只有統(tǒng)計(jì)依賴的關(guān)系。因此可以通過研究分析輸入輸出信號(hào)的統(tǒng)計(jì)特性來研究信道。小結(jié)：

本次課主要介紹了離散單個(gè)符合信道及其容量的概念，并對(duì)無干擾離散信道、對(duì)稱DMC信道、準(zhǔn)對(duì)稱DMC信道與一般DMC信道分別進(jìn)行詳細(xì)講解，總結(jié)其中的重難點(diǎn)。

七、課外學(xué)習(xí)輔導(dǎo)安排及作業(yè)布置 教材P68 3-4

第次課教案

一、講授內(nèi)容

第6章 率失真編碼

6.1 失真測(cè)度與平均失真 6.2 信息率失真函數(shù)R（D）6.3 率失真函數(shù)的計(jì)算 6.4 率失真信源編碼定理

二、教學(xué)目的及要求

要求學(xué)生掌握平均失真和信息率失真函數(shù)的基本概念，掌握失真函數(shù)的計(jì)算、平均失真的計(jì)算、信息率失真函數(shù)R(D)的計(jì)算、信息率失真函數(shù)的性質(zhì)、信息率失真函數(shù)與信道容量的比較。

三、教學(xué)重點(diǎn)

失真函數(shù)的計(jì)算、平均失真的計(jì)算、信息率失真函數(shù)R(D)的計(jì)算、信息率失真函數(shù)的性質(zhì)、信息率失真函數(shù)與信道容量的比較。

四、教學(xué)難點(diǎn)

信息率失真函數(shù)R(D)的計(jì)算、信息率失真函數(shù)的性質(zhì)、信息率失真函數(shù)與信道容量的比較。

五、本講計(jì)劃學(xué)時(shí)及時(shí)間分配

計(jì)劃2個(gè)學(xué)時(shí)，主講平均失真和信息率失真函數(shù)的基本概念。課程導(dǎo)入5分鐘；失真函數(shù)的概念及其計(jì)算方法講解15分鐘；平均失真的概念與計(jì)算方法講授20分鐘；信息率失真函數(shù)R(D)的概念與計(jì)算方法講解20分鐘；信息率失真函數(shù)的性質(zhì)講授15分鐘；信息率失真函數(shù)與信道容量的比較講解10分鐘；課堂練習(xí)與習(xí)題講解10分鐘；本節(jié)課知識(shí)點(diǎn)總結(jié)5分鐘。

六、實(shí)施步驟

利用多媒體課件對(duì)主要知識(shí)點(diǎn)進(jìn)行講述，并輔以板書詳解，具體如下： 課程引入：

失真在傳輸中是不可避免的，如何用數(shù)學(xué)方法來描述失真，并且降低失真顯得格外重要。小結(jié)：

本次課主要對(duì)失真函數(shù)、平均失真、信息率失真函數(shù)R(D)、信息率失真函數(shù)的性質(zhì)、信息率失真函數(shù)與信道容量的比較分別進(jìn)行詳細(xì)講解，總結(jié)其中的重難點(diǎn)。

七、課外學(xué)習(xí)輔導(dǎo)安排及作業(yè)布置 教材P82 4-1

八、其他

第次課教案

一、講授內(nèi)容

第3章 離散信源無失真編碼 3.1 概述

3.2 等長碼及等長編碼定理

二、教學(xué)目的及要求

要求學(xué)生了解信源編碼的內(nèi)容，掌握信源編碼的定義，掌握無失真信源編碼的內(nèi)容：定長編碼原理、變長編碼原理。

三、教學(xué)重點(diǎn)

信源編碼的定義、無失真信源編碼的內(nèi)容：定長編碼原理、變長編碼原理。

四、教學(xué)難點(diǎn)

無失真信源編碼的內(nèi)容：定長編碼原理、變長編碼原理。

五、本講計(jì)劃學(xué)時(shí)及時(shí)間分配

計(jì)劃2個(gè)學(xué)時(shí)，主講信源編碼的定義、無失真信源編碼的內(nèi)容：定長編碼原理、變長編碼原理、最佳編碼原理。課程導(dǎo)入5分鐘；信源編碼的定義講解20分鐘；無失真信源編碼講授20分鐘；定長編碼原理講解20分鐘；變長編碼原理講授20分鐘；課堂練習(xí)與習(xí)題講解10分鐘；本節(jié)課知識(shí)點(diǎn)總結(jié)5分鐘。

六、實(shí)施步驟

利用多媒體課件對(duì)主要知識(shí)點(diǎn)進(jìn)行講述，并輔以板書詳解，具體如下： 課程引入：怎樣才能做到盡可能不失真而又快速的傳遞信息呢？首先需要解決一個(gè)問題：在不失真或允許一定失真的條件下，如何用盡可能少的符號(hào)來傳送信源信息，這就要引入信源編碼。小結(jié)：

本次課主要對(duì)信源編碼的定義，無失真信源編碼的內(nèi)容進(jìn)行詳細(xì)介紹，總結(jié)其中的重點(diǎn)與難點(diǎn)。

以課堂練習(xí)為主，教材P115 5-2

八、其他 無

第次課教案

一、講授內(nèi)容

第3章 離散信源無失真編碼 3.4 變長碼的編碼方法

二、教學(xué)目的及要求

要求學(xué)生了解信源編碼的內(nèi)容，掌握信源編碼的定義，最佳變長編碼以及最佳變長編碼的三種編碼方法：香農(nóng)（Shannon）編碼；費(fèi)諾（Fano）編碼；哈夫曼（Huffman）編碼。

三、教學(xué)重點(diǎn)

最佳變長編碼以及最佳變長編碼的三種編碼方法：香農(nóng)（Shannon）編碼；費(fèi)諾（Fano）編碼；哈夫曼（Huffman）編碼。

四、教學(xué)難點(diǎn)

最佳變長編碼以及最佳變長編碼的三種編碼方法：香農(nóng)（Shannon）編碼；費(fèi)諾（Fano）編碼；哈夫曼（Huffman）編碼

五、本講計(jì)劃學(xué)時(shí)及時(shí)間分配

計(jì)劃2個(gè)學(xué)時(shí)，主講信源編碼的定義、無失真信源編碼的第三個(gè)內(nèi)容：最佳變長編碼原理。課程導(dǎo)入5分鐘；信源編碼的定義復(fù)習(xí)10分鐘；無失真信源編碼復(fù)習(xí)15分鐘；最佳變長編碼原理以及常用的三種編碼方法：香農(nóng)（Shannon）編碼；費(fèi)諾（Fano）編碼；哈夫曼（Huffman）編碼講授50分鐘；課堂練習(xí)與習(xí)題講解15分鐘；本節(jié)課知識(shí)點(diǎn)總結(jié)5分鐘。

六、實(shí)施步驟

利用多媒體課件對(duì)主要知識(shí)點(diǎn)進(jìn)行講述，并輔以板書詳解，具體如下： 課程引入：最佳碼：對(duì)于某一信源和某一碼符號(hào)集來說，若有一唯一可譯碼，其平均碼長K小于所有其他唯一可譯碼的平均長度。為此必須將概率大的信息符號(hào)編以短的碼字，概率小的符號(hào)編以長的碼字，使得平均碼字長度最短。小結(jié)：

本次課主要對(duì)最佳變長編碼及實(shí)現(xiàn)最佳變長編碼的三種方法進(jìn)行詳細(xì)介紹，總結(jié)其中的重點(diǎn)與難點(diǎn)。

以課堂練習(xí)為主，教材P115 5-7

八、其他 無

第次課教案

一、講授內(nèi)容

第3章 離散信源無失真編碼 3.3 變長碼及變長碼編碼定理

二、教學(xué)目的及要求

要求學(xué)生掌握限失真編碼定理的內(nèi)容，掌握常用信源編碼的幾種方法：游程編碼、算術(shù)編碼、矢量量化、預(yù)測(cè)編碼、變換編碼。

三、教學(xué)重點(diǎn)

限失真編碼定理，常用信源編碼的幾種方法：游程編碼、算術(shù)編碼、矢量量化、預(yù)測(cè)編碼、變換編碼。

四、教學(xué)難點(diǎn)

常用信源編碼的幾種方法：游程編碼、算術(shù)編碼、矢量量化、預(yù)測(cè)編碼、變換編碼。

五、本講計(jì)劃學(xué)時(shí)及時(shí)間分配

計(jì)劃2個(gè)學(xué)時(shí)，主講限失真編碼定理，常用信源編碼的幾種方法：游程編碼、算術(shù)編碼、矢量量化、預(yù)測(cè)編碼、變換編碼。課程導(dǎo)入5分鐘；限失真編碼定理講解20分鐘；常用信源編碼的幾種方法：游程編碼、算術(shù)編碼、矢量量化、預(yù)測(cè)編碼、變換編碼講解55分鐘；課堂練習(xí)與習(xí)題講解15分鐘；本節(jié)課知識(shí)點(diǎn)總結(jié)5分鐘。

六、實(shí)施步驟

利用多媒體課件對(duì)主要知識(shí)點(diǎn)進(jìn)行講述，并輔以板書詳解，具體如下： 課程引入：

對(duì)上次課的主要知識(shí)點(diǎn)進(jìn)行復(fù)習(xí)，對(duì)本次課的主要內(nèi)容進(jìn)行簡單介紹。小結(jié)：

本次課主要對(duì)限失真編碼定理，常用信源編碼的幾種方法：游程編碼、算術(shù)編碼、矢量量化、預(yù)測(cè)編碼、變換編碼內(nèi)容進(jìn)行詳細(xì)介紹，總結(jié)其中的重點(diǎn)與難點(diǎn)。以課堂練習(xí)為主，教材P115 5-14

第次課教案

一、講授內(nèi)容

第5章 有噪信道編碼 5.1 信道編碼的基本概念 5.2 譯碼規(guī)則及錯(cuò)誤概率 5.3 信道編碼定理

5.4 費(fèi)諾引理及信道編碼逆定理

二、教學(xué)目的及要求

要求學(xué)生掌握有擾離散信道的編碼定理，掌握差錯(cuò)和差錯(cuò)控制系統(tǒng)分類、矢量空間與碼空間、隨機(jī)編碼、信道編碼定理。

三、教學(xué)重點(diǎn)

有擾離散信道的編碼定理、差錯(cuò)和差錯(cuò)控制系統(tǒng)分類、矢量空間與碼空間、隨即編碼、信道編碼定理。

四、教學(xué)難點(diǎn)

差錯(cuò)和差錯(cuò)控制系統(tǒng)分類、矢量空間與碼空間、隨機(jī)編碼、信道編碼定理。

五、本講計(jì)劃學(xué)時(shí)及時(shí)間分配

計(jì)劃2個(gè)學(xué)時(shí)，主講有擾離散信道的編碼定理、差錯(cuò)和差錯(cuò)控制系統(tǒng)分類、矢量空間與碼空間、隨機(jī)編碼、信道編碼定理。課程導(dǎo)入5分鐘；有擾離散信道的編碼定理講解20分鐘；差錯(cuò)和差錯(cuò)控制系統(tǒng)分類講解15分鐘；矢量空間與碼空間講授15分鐘；隨機(jī)編碼講授15分鐘；信道編碼定理講授15分鐘；課堂練習(xí)與習(xí)題講解10分鐘；本節(jié)課知識(shí)點(diǎn)總結(jié)5分鐘。

六、實(shí)施步驟

利用多媒體課件對(duì)主要知識(shí)點(diǎn)進(jìn)行講述，并輔以板書詳解，具體如下： 課程引入：

信道編碼的目的是為了改善通信系統(tǒng)的傳輸質(zhì)量，對(duì)不同類型的信道，要對(duì)癥下藥，設(shè)計(jì)不同類型的信道編碼，才能收到良好效果。小結(jié)：

本次課主要對(duì)有擾離散信道的編碼定理、差錯(cuò)和差錯(cuò)控制系統(tǒng)分類、矢量空間與碼空間、隨機(jī)編碼、信道編碼定理內(nèi)容進(jìn)行詳細(xì)介紹，總結(jié)其中的重點(diǎn)與難點(diǎn)。以課堂練習(xí)為主，教材P202 6-

1、6-2

八、其他 無

第次課教案

一、講授內(nèi)容

第7章 線性分組碼

7.1 糾錯(cuò)碼的基本概念

7.3 線性分組碼的編碼

二、教學(xué)目的及要求

要求學(xué)生掌握糾錯(cuò)編碼碼的基本原理與分析方法（糾錯(cuò)編碼的基本思路）、糾錯(cuò)譯碼的基本原理與分析方法，譯碼方法——最優(yōu)譯碼與最大似然譯碼

三、教學(xué)重點(diǎn)

糾錯(cuò)編碼碼的基本原理與分析方法、糾錯(cuò)譯碼的基本原理與分析方法，譯碼方法——最優(yōu)譯碼與最大似然譯碼。

四、教學(xué)難點(diǎn)

糾錯(cuò)譯碼的基本原理與分析方法，譯碼方法——最優(yōu)譯碼與最大似然譯碼。

五、本講計(jì)劃學(xué)時(shí)及時(shí)間分配 計(jì)劃2個(gè)學(xué)時(shí)，主講糾錯(cuò)編碼碼的基本原理與分析方法、糾錯(cuò)譯碼的基本原理與分析方法，譯碼方法——最優(yōu)譯碼與最大似然譯碼。課程導(dǎo)入5分鐘；糾錯(cuò)編碼碼的基本原理與分析方法講解25分鐘；糾錯(cuò)譯碼的基本原理與分析方法講解20分鐘；最優(yōu)譯碼講授20分鐘；最大似然譯碼講授15分鐘；課堂練習(xí)與習(xí)題講解10分鐘；本節(jié)課知識(shí)點(diǎn)總結(jié)5分鐘。

六、實(shí)施步驟

利用多媒體課件對(duì)主要知識(shí)點(diǎn)進(jìn)行講述，并輔以板書詳解，具體如下： 課程引入：

檢錯(cuò)與糾錯(cuò)原理：一旦1→0，0→1，接收端無法發(fā)現(xiàn)錯(cuò)誤，插入1位監(jiān)督碼后具有檢出1位錯(cuò)碼的能力，但不能予以糾正。在只有1位錯(cuò)碼的情況下，可以判決哪位是錯(cuò)碼并予以糾正，可以檢出2位或2位以下的錯(cuò)碼。小結(jié)：

本次課對(duì)糾錯(cuò)編碼碼的基本原理與分析方法、糾錯(cuò)譯碼的基本原理與分析方法，譯碼方法——最優(yōu)譯碼與最大似然譯碼內(nèi)容進(jìn)行詳細(xì)介紹，總結(jié)其中的重點(diǎn)與難點(diǎn)。

以課堂練習(xí)為主，教材P202 6-12

八、其他 無

第次課教案

一、講授內(nèi)容

第7章 線性分組碼

7.4 線性碼的糾檢錯(cuò)能力

7.5 標(biāo)準(zhǔn)陣列和譯碼 7.6 漢明碼

二、教學(xué)目的及要求

要求學(xué)生掌握線性分組碼的編碼原理，以及線性分組碼的生成矩陣與校驗(yàn)矩陣、伴隨式與標(biāo)準(zhǔn)陣列譯碼、碼距、糾錯(cuò)能力、MDC碼及重量譜、完備碼、循環(huán)碼、BCH碼與RS碼，了解分組碼的擴(kuò)展、縮短與循環(huán)冗余校驗(yàn)。

三、教學(xué)重點(diǎn)

線性分組碼的生成矩陣與校驗(yàn)矩陣、伴隨式與標(biāo)準(zhǔn)陣列譯碼、碼距、糾錯(cuò)能力、MDC碼及重量譜、完備碼、循環(huán)碼、BCH碼與RS碼、分組碼的擴(kuò)展、縮短與循環(huán)冗余校驗(yàn)。

四、教學(xué)難點(diǎn)

碼距、糾錯(cuò)能力、MDC碼及重量譜、完備碼、循環(huán)碼、BCH碼與RS碼、分組碼的擴(kuò)展、縮短與循環(huán)冗余校驗(yàn)。

五、本講計(jì)劃學(xué)時(shí)及時(shí)間分配

計(jì)劃2個(gè)學(xué)時(shí)，主講線性分組碼的編碼原理與特點(diǎn)。課程導(dǎo)入5分鐘；線性分組碼的生成矩陣與校驗(yàn)矩陣講解20分鐘；伴隨式與標(biāo)準(zhǔn)陣列譯碼講解15分鐘；碼距、糾錯(cuò)能力、MDC碼及重量譜講授15分鐘；完備碼、循環(huán)碼、BCH碼與RS碼講授25分鐘；分組碼的擴(kuò)展、縮短與循環(huán)冗余校驗(yàn)講解15分鐘；本節(jié)課知識(shí)點(diǎn)總結(jié)5分鐘。

六、實(shí)施步驟

課程引入：對(duì)上次課主要知識(shí)點(diǎn)進(jìn)行復(fù)習(xí)，并對(duì)本次課的主要內(nèi)容進(jìn)行簡單介紹。小結(jié)：

本次課主要對(duì)線性分組碼的生成矩陣與校驗(yàn)矩陣、伴隨式與標(biāo)準(zhǔn)陣列譯碼、碼距、糾錯(cuò)能力、MDC碼及重量譜、完備碼、循環(huán)碼、BCH碼與RS碼，分組碼的擴(kuò)展、縮短與循環(huán)冗余校驗(yàn)進(jìn)行詳細(xì)介紹，總結(jié)其中的重點(diǎn)與難點(diǎn)。以課堂練習(xí)為主，教材P202 6-13

八、其他 無

第次課教案

一、講授內(nèi)容 第9章 卷積碼

9.1 卷積碼基本概念

9.2 卷積碼的數(shù)學(xué)描述

二、教學(xué)目的及要求

要求學(xué)生掌握卷積碼的基本概念和描述方法，掌握卷積碼的最大似然譯碼——維比特算法，了解卷積碼的性能與距離特點(diǎn)。

三、教學(xué)重點(diǎn)

卷積碼的基本概念和描述方法、卷積碼的最大似然譯碼——維比特算法、卷積碼的性能與距離特點(diǎn)。

四、教學(xué)難點(diǎn)

卷積碼的最大似然譯碼——維比特算法、卷積碼的性能與距離特點(diǎn)。

五、本講計(jì)劃學(xué)時(shí)及時(shí)間分配 計(jì)劃2個(gè)學(xué)時(shí)，主講卷積碼的基本概念和描述方法、卷積碼的最大似然譯碼——維比特算法、卷積碼的性能與距離特點(diǎn)。課程導(dǎo)入5分鐘；卷積碼的基本概念和描述方法講解30分鐘；卷積碼的最大似然譯碼——維比特算法講授35分鐘；分組碼的擴(kuò)展、卷積碼的性能與距離特點(diǎn)講解15分鐘；課堂練習(xí)與習(xí)題講解10分鐘；本節(jié)課知識(shí)點(diǎn)總結(jié)5分鐘。

六、實(shí)施步驟

課程引入：對(duì)上次課主要知識(shí)點(diǎn)進(jìn)行復(fù)習(xí)，并對(duì)本次課的主要內(nèi)容進(jìn)行簡單介紹。小結(jié)：

本次課主要對(duì)卷積碼的基本概念和描述方法、卷積碼的最大似然譯碼——維比特算法、卷積碼的性能與距離特點(diǎn)進(jìn)行詳細(xì)介紹，總結(jié)其中的重點(diǎn)與難點(diǎn)。以課堂練習(xí)為主，教材P202 6-

16、6-17

八、其他 無第次課教案

一、講授內(nèi)容

第六章 信道編碼總復(fù)習(xí)與習(xí)題講解

二、教學(xué)目的及要求

要求學(xué)生掌握有擾離散信道的編碼定理、糾錯(cuò)編碼和譯碼的基本原理與分析方法、線性分組碼的基本概念的編碼原理，卷積碼的基本概念和描述方劑以及最大似然譯碼原理。

三、教學(xué)重點(diǎn)

有擾離散信道的編碼定理、糾錯(cuò)編碼和譯碼的基本原理與分析方法、線性分組碼的基本概念的編碼原理，卷積碼的基本概念和描述方劑以及最大似然譯碼原理。

四、教學(xué)難點(diǎn)

有擾離散信道的編碼定理、糾錯(cuò)編碼和譯碼的基本原理與分析方法、線性分組碼的基本概念的編碼原理，卷積碼的基本概念和描述方劑以及最大似然譯碼原理

五、本講計(jì)劃學(xué)時(shí)及時(shí)間分配 計(jì)劃2個(gè)學(xué)時(shí)，主講有擾離散信道的編碼定理、糾錯(cuò)編碼和譯碼的基本原理與分析方法、線性分組碼的基本概念的編碼原理，卷積碼的基本概念和描述方劑以及最大似然譯碼原理。課程導(dǎo)入5分鐘；有擾離散信道的編碼定理總結(jié)15分鐘；糾錯(cuò)編碼和譯碼的基本原理與分析方法總結(jié)20分鐘，線性分組碼的基本概念的編碼原理總結(jié)15分鐘；卷積碼的基本概念和描述方劑以及最大似然譯碼原理總結(jié)20分鐘；課堂練習(xí)及課后習(xí)題講解20分鐘，本節(jié)課知識(shí)點(diǎn)總結(jié)5分鐘。

六、實(shí)施步驟 課程引入：

由于信道編碼在整個(gè)編碼中的地位相當(dāng)重要，因此對(duì)第六章的全部知識(shí)點(diǎn)要求做全面總結(jié)。第六章總復(fù)習(xí)：

有擾離散信道的編碼定理；

糾錯(cuò)編碼和譯碼的基本原理與分析方法； 線性分組碼的基本概念的編碼原理；

卷積碼的基本概念和描述方劑以及最大似然譯碼原理。小結(jié)：

本次課主要對(duì)有擾離散信道的編碼定理、糾錯(cuò)編碼和譯碼的基本原理與分析方法、線性分組碼的基本概念的編碼原理，卷積碼的基本概念和描述方劑以及最大似然譯碼原理等第六章的重要知識(shí)點(diǎn)進(jìn)行總復(fù)習(xí)與習(xí)題講解。

七、課外學(xué)習(xí)輔導(dǎo)安排及作業(yè)布置 課堂練習(xí)為主，P202 6-

6、6-8

八、其他 無

第四篇：信息論與編碼論文

題 目：

課題論文

信息論在生活中的應(yīng)用

課程名稱： 信息論與編碼

學(xué) 院：

理學(xué)院

專 業(yè)： 信息與計(jì)算科學(xué)

年 級(jí)：

2010級(jí)

姓 名：

郭小兵（1007010210）學(xué)生簽名

指導(dǎo)教師：彭長根

2013年4月1日

摘要 隨著計(jì)算機(jī)技術(shù)、通信技術(shù)和網(wǎng)絡(luò)技術(shù)等信息技術(shù)的快速發(fā)展，信息技術(shù)已經(jīng)成為當(dāng)今社會(huì)應(yīng)用范圍最廣的高新技術(shù)之一。信息論是信息技術(shù)的主要理論技術(shù)基礎(chǔ)之一，它的一些基本理論在通信、計(jì)算機(jī)、網(wǎng)絡(luò)等工程領(lǐng)域中得到了廣泛的應(yīng)用。目前，信息論所研究的范疇已經(jīng)超過了通信及其相近學(xué)科，在其他學(xué)科應(yīng)用也很廣泛。

關(guān)鍵字：信息論 信息技術(shù)

1948年香農(nóng)在Bell System Technical Journal上發(fā)表了《A Mathematical Theory of Communication 》。論文由香農(nóng)和威沃共同署名。前輩威沃(Warren Weaver，1894-1978)當(dāng)時(shí)是洛克菲勒基金會(huì)自然科學(xué)部的主任，他為文章寫了序言。后來，香農(nóng)仍然從事技術(shù)工作，而威沃則研究信息論的哲學(xué)問題。順便提一句，該論文剛發(fā)表時(shí)，使用的是不定冠詞A，收入論文集時(shí)改為定冠詞The。

這篇奠基性的論文是建立在香農(nóng)對(duì)通信的觀察上，即“通信的根本問題是報(bào)文的再生，在某一點(diǎn)與另外選擇的一點(diǎn)上報(bào)文應(yīng)該精確地或者近似地重現(xiàn)”。這篇論文建立了信息論這一學(xué)科，給出了通信系統(tǒng)的線性示意模型，即信息源、發(fā)送者、信道、接收者、信息宿，這是一個(gè)新思想。此后，通信就考慮為把電磁波發(fā)送到信道中，通過發(fā)送1和0的比特流，人們可以傳輸圖像、文字、聲音等等。今天這已司空見慣，但在當(dāng)時(shí)是相當(dāng)新鮮的。他建立的信息理論框架和術(shù)語已經(jīng)成為技術(shù)標(biāo)準(zhǔn)。他的理論在通信工程師中立即獲得成功，并刺激了今天信息時(shí)代所需要的技術(shù)發(fā)展。

香農(nóng)考慮的信息源，產(chǎn)生由有限符號(hào)組成的詞。它們通過信道進(jìn)行傳輸，每個(gè)符號(hào)開銷有限的信道時(shí)間。這里涉及到統(tǒng)計(jì)學(xué)問題，如果xn是第n個(gè)符號(hào)，它是由固定隨機(jī)過程源xn產(chǎn)生的，香農(nóng)給出一個(gè)分析信號(hào)誤差序列的方法，它是傳輸系統(tǒng)固有的，可以通過設(shè)計(jì)相應(yīng)的控制系統(tǒng)控制它。在這篇論文中，香農(nóng)首次引入“比特”(bit)一詞，如果在信號(hào)中附加額外的比特，就能使傳輸錯(cuò)誤得到糾正。按照物理學(xué)的習(xí)慣，把電流單位叫做“安培”，如果給“比特流”一個(gè)單位名，那么叫做“香農(nóng)”是比較合適的。

通信的數(shù)學(xué)理論是香農(nóng)在數(shù)學(xué)與工程研究上的頂峰。他把通信理論的解釋公式化，對(duì)最有效地傳輸信息的問題進(jìn)行了研究。香農(nóng)的文章立即被世界各國的通信工程師和數(shù)學(xué)家采用，大家詳細(xì)地論述它、擴(kuò)展它、完善它。這個(gè)學(xué)科立刻繁榮起來，成為科學(xué)史上光輝燦爛的一頁。后來，香農(nóng)感到由他扮演重要角色而開始與通信革命走得有些過遠(yuǎn)。他寫道：“信息理論可能像一個(gè)升空的氣球，其重要性超過了它的實(shí)際成就”，真是大師的氣魄。

一、信息論與編碼的應(yīng)用

信息作為一種資源，如何開發(fā)、利用、共享是人們普遍關(guān)注的問題。信息是信息論中最基本最重要的概念。信息論是應(yīng)用近代數(shù)理統(tǒng)計(jì)方法研究信息的傳輸、存儲(chǔ)與處理的科學(xué)[1]。其基本任務(wù)是為設(shè)計(jì)有效而可靠的通信系統(tǒng)提供理論依據(jù)，主要特點(diǎn)是理論的成功應(yīng)用，主要體現(xiàn)在信息論在數(shù)據(jù)壓縮、密碼學(xué)、統(tǒng)計(jì)及信號(hào)處理中的應(yīng)用。

1.1信息論在數(shù)據(jù)壓縮理論中的應(yīng)用

數(shù)據(jù)壓縮的主要目的是力求用最少的數(shù)據(jù)表示信源所發(fā)出的信號(hào)，使信號(hào)占用的存儲(chǔ)空間盡可能小，以達(dá)到提高信息傳輸速度的目的。數(shù)據(jù)壓縮在近代信息處理問題中有大量的應(yīng)用，無論在數(shù)據(jù)存儲(chǔ)或傳送中，通過數(shù)據(jù)壓縮不僅可以大大節(jié)省資源利用的成本，而且把一些原來無實(shí)用意義的技術(shù)，如多媒體技術(shù)中的一些問題，達(dá)到具有實(shí)用意義的標(biāo)準(zhǔn)。

數(shù)據(jù)壓縮作為信息論研究中的一項(xiàng)內(nèi)容，主要是有關(guān)數(shù)據(jù)壓縮比和各種編碼方法的研究，即按某種方法對(duì)源數(shù)據(jù)流進(jìn)行編碼，使得經(jīng)過編碼的數(shù)據(jù)流比原數(shù)據(jù)流占有較少的空間。其中基于符號(hào)頻率統(tǒng)計(jì)的哈夫曼編碼效率高，運(yùn)算速度快，實(shí)現(xiàn)方式靈活，使得其在數(shù)據(jù)壓縮領(lǐng)域得到了廣泛的應(yīng)用。

數(shù)據(jù)壓縮技術(shù)的不斷完善是依靠在信息論這門學(xué)科的成長上的，信息能否被壓縮以及能在多大程度上被壓縮與信息的不確定性有直接的關(guān)系，人工智能技術(shù)將會(huì)對(duì)數(shù)據(jù)壓縮的未來產(chǎn)生重大影響。

1.2信息論在密碼學(xué)中的應(yīng)用

密碼學(xué)是研究編制密碼和破譯密碼的技術(shù)科學(xué)。從傳統(tǒng)意義上來說，密碼學(xué)是研究如何把信息轉(zhuǎn)換成一種隱蔽的方式并阻止其他人得到它。密碼術(shù)的研究和應(yīng)用雖有很長的歷史，但在信息論誕生之前，它還沒有系統(tǒng)的理論，直到香農(nóng)發(fā)表的保密通信的信息理論一文，為密碼學(xué)確立了一系列的基本原則與指標(biāo)，如加密運(yùn)算中的完全性、剩余度等指標(biāo)，它們與信息的度量有著密切相關(guān)。之后才產(chǎn)生了基于信息論的密碼學(xué)理論，所以說信息論與密碼學(xué)的關(guān)系十分密切。

近代密碼學(xué)由于數(shù)據(jù)加密標(biāo)準(zhǔn)與公鑰體制的出現(xiàn)與應(yīng)用，使近代密碼學(xué)所涉及的范圍有了極大的發(fā)展，尤其是在網(wǎng)絡(luò)認(rèn)證方面得到廣泛應(yīng)用，但其中的安全性原理與測(cè)量標(biāo)準(zhǔn)仍未脫離香農(nóng)保密系統(tǒng)所規(guī)定的要求，多種加密函數(shù)的構(gòu)造，如相關(guān)免疫函數(shù)的構(gòu)造仍以香農(nóng)的完善保密性為基礎(chǔ)。

1.3信息論在數(shù)字移動(dòng)通信系統(tǒng)中的應(yīng)用

數(shù)字移動(dòng)通信系統(tǒng)主要包含編碼和譯碼兩種技術(shù)。移動(dòng)信道是最復(fù)雜的一種信道，為了保證在不利的條件下接受信號(hào)的傳輸質(zhì)量，就必須采用各種抗衰落技術(shù)和數(shù)字傳輸技術(shù)，如分集技術(shù)、擴(kuò)頻技術(shù)、均衡、交織和糾錯(cuò)編碼等。

TD-SCDMA采用了3種信道編碼方案以提高信息在無線信道上的傳輸?shù)目煽啃裕鼈兎謩e是卷積編碼、Turbo編碼和不編碼。

1.4信息論在統(tǒng)計(jì)中的應(yīng)用

信息論在統(tǒng)計(jì)中的應(yīng)用一般指信息量在統(tǒng)計(jì)中的應(yīng)用，也有編碼定理與碼結(jié)構(gòu)在統(tǒng)計(jì)中的應(yīng)用等問題。由于統(tǒng)計(jì)學(xué)研究的問題日趨復(fù)雜，如統(tǒng)計(jì)模型從線性到非線性，統(tǒng)計(jì)分布從單一分布到混合分布，因此信息量在統(tǒng)計(jì)中的作用日趨重要，在許多問題中以信息量作為它們的基本度量。

在統(tǒng)計(jì)領(lǐng)域里，統(tǒng)計(jì)計(jì)算技術(shù)近年來發(fā)展很快，它使許多統(tǒng)計(jì)方法，尤其是Bayes統(tǒng)計(jì)得到廣泛的運(yùn)用。信息與統(tǒng)計(jì)相結(jié)合的其他典型問題還很多，如假設(shè)檢驗(yàn)中的兩類誤差估計(jì)問題，試驗(yàn)設(shè)計(jì)問題，信息量在有效估計(jì)中的應(yīng)用問題等，這些問題已使信息論與統(tǒng)計(jì)學(xué)想成相互推動(dòng)發(fā)展的局面。

[2]1.5編碼技術(shù)在調(diào)制解調(diào)技術(shù)中的應(yīng)用 在上個(gè)世紀(jì)80到90年代，信息編碼理論應(yīng)用的兩項(xiàng)重大成果是：調(diào)制解調(diào)理論及數(shù)據(jù)壓縮理論在多媒體技術(shù)領(lǐng)域的應(yīng)用。調(diào)制解調(diào)碼的出現(xiàn)從根本上改變了數(shù)據(jù)通信的狀況，使調(diào)制解調(diào)碼通信速度從原來的1200bit/s逐步增加到30000bit/s。我們可以簡單計(jì)算得知，調(diào)制解調(diào)碼大大提高了數(shù)據(jù)傳輸速度，提高了25倍，從而使現(xiàn)有的網(wǎng)絡(luò)通信成為實(shí)用性的技術(shù)。

1.6編碼技術(shù)在快速通信領(lǐng)域中的應(yīng)用

編碼理論在快速通信技術(shù)中已得到了大量的應(yīng)用，通信技術(shù)已從低速向高速發(fā)展，通信手段正向微波、衛(wèi)星等方向發(fā)展，因此誤差干擾問題突現(xiàn)出來，利用糾錯(cuò)碼可大大降低通信中的差錯(cuò)率。在20世紀(jì)70到80年代的代數(shù)碼，如BCH碼、R-S碼等為克服誤差干擾發(fā)揮了重要作用，成為通信工程不可缺少的一個(gè)組成部分。

1.7信息論在其他領(lǐng)域中的應(yīng)用

現(xiàn)今時(shí)代信息科學(xué)飛速發(fā)展，信息論已跨越了通信領(lǐng)域，在其他領(lǐng)域也得到了廣泛應(yīng)用。信息論不僅在計(jì)算機(jī)、自動(dòng)控制等方面突現(xiàn)作用，還開始涉及到物理學(xué)、化學(xué)、生物學(xué)、心理學(xué)、醫(yī)學(xué)、經(jīng)濟(jì)學(xué)、人類學(xué)、語言學(xué)、統(tǒng)計(jì)學(xué)和管理學(xué)等學(xué)科。

比如信息論在水資源系統(tǒng)工程中可以利用信息論的方法建立模型推到降水、儲(chǔ)水量等分布的問題。在建筑工程故障診斷中信息論也得到了應(yīng)用，它用熵的概念對(duì)所測(cè)量的數(shù)據(jù)進(jìn)行處理和誤差分析。另外，信息論也能在作戰(zhàn)效能評(píng)估中得到應(yīng)用研究，我們可以從信息的不確定性著手評(píng)估其作戰(zhàn)效能。我們不難看出，信息論在很多領(lǐng)域都有所應(yīng)用。

二、信息論與編碼技術(shù)的應(yīng)用前景

隨著Turbo碼的研究發(fā)展，在3G移動(dòng)通信系統(tǒng)設(shè)計(jì)中Turbo碼以及Turbo思想越來越多地被用于和其他技術(shù)的結(jié)合上。例如在CDMA中，由于Turbo碼編碼中使用交織，可以通過分散信息碼元的位置降低擴(kuò)頻碼間的相關(guān)性。實(shí)現(xiàn)時(shí)將Turbo碼與DS—CDMA系統(tǒng)的擴(kuò)頻編碼結(jié)合起來。接收端先通過匹配濾波器分離出各用戶的接收信息，再根據(jù)信道模型計(jì)算出傳遞條件概率進(jìn)行解擴(kuò)，經(jīng)過分支概率產(chǎn)生器后得到各個(gè)用戶接收信息的后驗(yàn)概率，分別送入相應(yīng)的Turbo碼譯碼器，每個(gè)譯碼器得到一個(gè)軟判決輸出和一個(gè)的可能性和超過這個(gè)最大值時(shí)的傳輸問題；構(gòu)造性的編碼方法以及這些方法能達(dá)到的性能界限。

編碼方法在離散信道中一般用代數(shù)碼形式，其類型有較大發(fā)展，各種界限也不斷有人提出，但尚未達(dá)到編碼定理所啟示的限度，尤其是關(guān)于多用戶信道，更顯得不足。在連續(xù)信道中常采用正交函數(shù)系來代表消息，這在極限情況下可達(dá)到編碼定理的限度。只有無記憶單用戶信道和多用戶信道中的特殊情況的編碼定理已有嚴(yán)格的證明，其它信道也有一些結(jié)果，但尚不完善。

信息論出現(xiàn)已有30年,并已發(fā)展成為一門獨(dú)立的理論科學(xué),這是由于通訊的理論與工程領(lǐng)域內(nèi)存在大量積累起來的各方面知識(shí)等待綜合,另一方面,又有著日益復(fù)雜的各種通訊控制等問題要求有適當(dāng)?shù)姆椒ㄈソ鉀Q。也就是說,由于人類生產(chǎn)斗爭(zhēng)的實(shí)踐活動(dòng),達(dá)到一定的歷史階段,而形成相應(yīng)的學(xué)科。隨著信息論學(xué)科的發(fā)展,又更深刻地預(yù)見和指導(dǎo)著通訊與其他工程技術(shù)領(lǐng)域的發(fā)展。

信息論的作用,同其他任何總結(jié)性的理論學(xué)科一樣,是以一般的形式提出和解決基本問題。它不僅可以用來探討過去在通訊工程領(lǐng)域中獲得的成就,而且可以指出在發(fā)展方向中應(yīng)注意的問題。很多情況下,信息論可以明確指出: 哪些指標(biāo)是可以達(dá)到的,哪些是無法達(dá)到的，這為我們的生產(chǎn)實(shí)踐提供了科學(xué)依據(jù)。

三、結(jié)束語

信息論發(fā)展起來以前, 人們對(duì)信息系統(tǒng)的理解是比較膚淺的。而現(xiàn)今，隨著信息科學(xué)的不斷發(fā)展，信息論的研究, 已與很多近代學(xué)科是密切相關(guān)的：如通訊、雷達(dá)、聲納、導(dǎo)航、遙測(cè)、遙控、遙感、自動(dòng)控制、計(jì)算機(jī)、信息處理技術(shù)、控制論以及應(yīng)用數(shù)學(xué)、物理學(xué)、邏輯學(xué)、生物學(xué)、心理學(xué)、語言學(xué)、語音學(xué)、仿生學(xué)等。

本文主要介紹信息論與編碼的應(yīng)用與發(fā)展前景，同時(shí)簡介傳統(tǒng)編碼方法與現(xiàn)化編碼的不同，編碼技術(shù)在通信技術(shù)中的應(yīng)用及其發(fā)展為主。通過這篇學(xué)習(xí)心得，可以看出，信息論與編碼技術(shù)在不斷創(chuàng)新發(fā)展，使其更能為我們所用，在更多的領(lǐng)域得到應(yīng)用和發(fā)展。而我們?nèi)祟愒诓煌５卦诮沂咀匀唤鐭o窮奧妙的同時(shí)，也可以利用這些奧妙造幸于我們。

【參考文獻(xiàn)】

[1] 曹雪虹，張宗橙．信息論與編碼[M]．北京：清華大學(xué)出版社．2004． [2] 沈世鎰，吳忠華．信息論基礎(chǔ)與應(yīng)用[M]．北京：高等教育出版社．2004． [3] 隋曉紅，王艷營．信息論與編碼[M]．北京：北京大學(xué)出版社.2010 [4] 傅祖蕓.信息論—基礎(chǔ)理論與應(yīng)用[M]．北京：電子工業(yè)出版社．2004． [5] 張珊珊.信息論的應(yīng)用[J]．大眾科技，143（7）：45-46.2011.[6] 維芬，云娜.信息論基本問題簡述[J]．信息與控制，34（1）：7-9.1978.[7] 盧侃.從Shannon信息論到認(rèn)知信息論[J]．哈爾濱工程大學(xué)學(xué)報(bào)，32（8）：1063-1065.2011

第五篇：信息論編碼論文

信息論

信息論與編碼

信息論概述：

信息論是運(yùn)用概率論與數(shù)理統(tǒng)計(jì)的方法研究信息傳輸和信息處理系統(tǒng)中一般規(guī)律的新興學(xué)科。核心問題是信息傳輸?shù)挠行院涂煽啃砸约皟烧唛g的關(guān)系。

信息論作為一門科學(xué)理論，發(fā)端于通信工程。它具有廣義和狹義兩個(gè)概念：

狹義信息論是應(yīng)用統(tǒng)計(jì)方法研究通訊系統(tǒng)中信息傳遞和信息處理的共同規(guī)律的科學(xué)，即研究概率性語法信息的科學(xué)；

廣義信息論是應(yīng)用數(shù)學(xué)和其他有關(guān)科學(xué)方法研究一切現(xiàn)實(shí)系統(tǒng)中信息傳遞和處理、信息識(shí)別和利用的共同規(guī)律的科學(xué)，即研究語法信息、語義信息和語用信息的科學(xué)。

信息是事物及其屬性標(biāo)識(shí)的集合。

信息就是信息，信息是物質(zhì)、能量、信息及其屬性的標(biāo)示。

信息是確定性的增加。即肯定性的確認(rèn)。

當(dāng)我們使用一個(gè)數(shù)據(jù)庫時(shí)，總希望數(shù)據(jù)庫的內(nèi)容是可靠的、正確的，但由于計(jì)算機(jī)系統(tǒng)的故障（包括機(jī)器故障、介質(zhì)故障、誤操作等），數(shù)據(jù)庫有時(shí)也可能遭到破壞，這時(shí)如何盡快恢復(fù)數(shù)據(jù)就成為當(dāng)務(wù)之急。如果平時(shí)對(duì)數(shù)據(jù)庫做了備份，那么此時(shí)恢復(fù)數(shù)據(jù)就顯得很容易。由此可見，做好數(shù)據(jù)庫的備份是多么的重要，下面筆者就以O(shè)RACLE7為例，來講述一下數(shù)據(jù)庫的備份和恢復(fù)。ORACLE 數(shù)據(jù)庫有三種標(biāo)準(zhǔn)的備份方法，它們分別為導(dǎo)出/導(dǎo)入（EXPORT/IMPORT）、冷備份、熱備份。導(dǎo)出備份是一種邏輯備份，冷備份和熱備份是物理備份。

信息論形成和發(fā)展：

人們對(duì)于信息的認(rèn)識(shí)和利用，可以追溯到古代的通訊實(shí)踐。中國古代的“烽燧相望”和古羅馬地中海諸城市的“懸燈為號(hào)”，可以說是傳遞信息的原始方式。隨著社會(huì)生產(chǎn)的發(fā)展，科學(xué)技術(shù)的進(jìn)步，人們對(duì)傳遞信息的要求急劇增加。到了20世紀(jì)20年代，如何提高傳遞信息的能力和可靠性已成為普遍重視的課題。美國科學(xué)家N.奈奎斯特、德國K.屈普夫米勒、前蘇聯(lián)A.H.科爾莫戈羅夫和英國R.A.賽希爾等人，從不同角度研究信息，為建立信息論作出很大貢獻(xiàn)。1948年，美國數(shù)學(xué)家C.E.香農(nóng)(被稱為是“信息論之父”)出版《通信的數(shù)學(xué)理論》，1949年發(fā)表《噪聲中的通信》，從而奠定了信息論的基礎(chǔ)。20世紀(jì)70年代以后，隨著數(shù)學(xué)計(jì)算機(jī)的廣泛應(yīng)用和社會(huì)信息化的迅速發(fā)展，信息論正逐漸突破香農(nóng)狹義信息論的范圍，發(fā)展為一門不僅研究語法信息，而且研究語義信息和語用信息的科學(xué)。它的建立是人類認(rèn)識(shí)的一個(gè)飛躍。世界上各種事物都是充滿矛盾不斷發(fā)展的，物質(zhì)的運(yùn)動(dòng)主要是靠內(nèi)部矛盾運(yùn)動(dòng)所產(chǎn)生的能量，而事物之間的普遍聯(lián)系則靠的是信息。信息是關(guān)于事物的運(yùn)動(dòng)狀態(tài)和規(guī)律，而信息論的產(chǎn)生與發(fā)展過程，就是立足于這個(gè)基本性質(zhì)。信息論迅速滲透到各個(gè)不同學(xué)科領(lǐng)域，但還不夠完善。為了適應(yīng)科學(xué)技術(shù)發(fā)展的需要，迎接信息化社會(huì)的到來，一門新的科學(xué)正在迅速興起，這就是廣義信息論，或者叫做信息科學(xué)。信息科學(xué)是由信息論、控制論、計(jì)算機(jī)、人工智能和系統(tǒng)論等相互滲透、相互結(jié)合而形成的一門新興綜合性學(xué)科。信息科學(xué)登上現(xiàn)代科技舞臺(tái)，與能量科學(xué)、材料科學(xué)鼎足而立，將為科學(xué)技術(shù)的發(fā)展作出貢獻(xiàn)。

信息論

信息論內(nèi)容：

信息論內(nèi)容包括信息熵、信源編碼、信道編碼、信道容量、信息失真率理論、信號(hào)檢測(cè)和估計(jì)等。

信息量：

信息的度量是信息論研究的基本問題之一。對(duì)于應(yīng)用范圍如此廣泛的信息提出一個(gè)統(tǒng)一的度量是困難的。美國數(shù)學(xué)家C.E.香農(nóng)在1948年提出信息熵作為信息量的測(cè)度。根據(jù)人們的實(shí)踐經(jīng)驗(yàn)，一個(gè)事件給予人們的信息量多少，與這一事件發(fā)生的概率(可能性)大小有關(guān)。一個(gè)小概率事件的發(fā)生，如“唐山發(fā)生七級(jí)以上大地震”使人們感到意外，它給人們的信息量就很多。相反一個(gè)大概率事件的出現(xiàn)，如“12月15日北京未下雪”給人們的信息量就很少。因此,用I(A)=-logP(A)〔P(A)表示事件A發(fā)生的概率〕來度量事件A給出的信息量，稱為事件A的自信息量。若一次試驗(yàn)有M個(gè)可能結(jié)果(事件)，或一個(gè)信源可能產(chǎn)生M個(gè)消息（事件）, 它們出現(xiàn)的概率分別為，則用來度量一次試驗(yàn)或一個(gè)消息所給出的平均信息量。當(dāng)對(duì)數(shù)取 2為底時(shí),單位為比特；當(dāng)對(duì)數(shù)取e為底時(shí),則單位為奈特。H的表達(dá)式與熵的表達(dá)式差一個(gè)負(fù)號(hào)，故稱負(fù)熵或信息熵。

信息傳輸模型：

信息傳輸系統(tǒng)主要由信源、信道和信宿組成，下圖為信息傳輸系統(tǒng)的基本模型。信源是產(chǎn)生消息的系統(tǒng)。信宿是接受消息的系統(tǒng)，信道則是傳輸消息的通道。圖中編碼器、譯碼器的作用是把消息變換成便于傳輸?shù)男问健?/p>

信源編碼：

信源是產(chǎn)生消息（包括消息序列）的源。消息通常是符號(hào)序列或時(shí)間函數(shù)。例如電報(bào)系

信息論

統(tǒng)中的消息是由文字、符號(hào)、數(shù)字組成的報(bào)文（符號(hào)序列），稱為離散消息。電話系統(tǒng)中的消息是語聲波形(時(shí)間函數(shù))，稱為連續(xù)消息。消息取值服從一定的統(tǒng)計(jì)規(guī)律。因此,信源的數(shù)學(xué)模型是一個(gè)在信源符號(hào)集中取值的隨機(jī)變量序列或隨機(jī)過程。信源編碼器將消息變換為一個(gè)數(shù)字序列(通常為二進(jìn)制數(shù)字序列)。在離散情形,若信源產(chǎn)生M個(gè)可能消息,它們出現(xiàn)的概率分別為，每個(gè)消息由N個(gè)信源符號(hào)組成,便可取信源編碼與數(shù)字序列一一對(duì)應(yīng)。第i個(gè)消息對(duì)應(yīng)的數(shù)字序列長(數(shù)字個(gè)數(shù))為li，li相等的稱等長編碼，否則稱變長編碼。定義為編碼速率，它表征平均每個(gè)信源符號(hào)要用多少個(gè)數(shù)字來表示。若取信源譯碼器為信源編碼器的逆變換器，則在無噪信道(信源編碼器的輸出即為信源譯碼器的輸入)情況下，消息可以正確無誤地傳送。這時(shí)信源編碼問題是要找出最小的速率R及其相應(yīng)的編碼。已經(jīng)證明,對(duì)于相當(dāng)廣泛的信源類,當(dāng)N可以任意大時(shí)這個(gè)最小極限速率，稱為信源的熵率,是信源的一個(gè)重要參數(shù)。對(duì)于固定的N,最優(yōu)編碼就是赫夫曼編碼。在連續(xù)消息的情形，信息編碼器不可能使消息與數(shù)字序列一一對(duì)應(yīng)，因此譯碼也不是編碼的逆變換。通常的方法是先對(duì)連續(xù)消息進(jìn)行采樣和量化，變?yōu)殡x散消息，再將離散消息變換為數(shù)字序列。信源譯碼器先將數(shù)字序列逆變換為離散消息，再用內(nèi)插法求得連續(xù)消息。這樣一來，即使在無噪信道的情況下，發(fā)送消息與接收消息之間也會(huì)產(chǎn)生誤差，稱為消息失真?？梢杂靡粋€(gè)非負(fù)函數(shù)d(u，v)來度量消息 u，v之間的失真大小。這時(shí)信源編碼問題是在保證平均失真不超過給定允許極限D(zhuǎn) 的條件下找出最小速率R 及其相應(yīng)編碼。求解這一問題導(dǎo)致熵推廣到失真率函數(shù)，信源編碼的失真率理論因而得到發(fā)展。

信道編碼：

信道是傳輸信息的媒質(zhì)或通道，如架空明線、同軸電纜、射頻波束、光導(dǎo)纖維等。有時(shí)為研究方便將發(fā)送端和接收端的一部分如調(diào)制解調(diào)器也劃歸信道。信息論把信息傳送過程中受各種干擾的影響都?xì)w入信道中考慮。根據(jù)干擾的統(tǒng)計(jì)特性,信道有多種模型。最簡單的是離散無記憶恒參信道，它可以用信道入口符號(hào)集X、出口符號(hào)集Y和一組條件概率P(y|x)(x∈X，y∈Y)來描述。若信道輸入信號(hào)x＝(x1,x2,?,xN),則相應(yīng)的輸出(受擾)信號(hào)y＝(y1,y2,?,yN)出現(xiàn)的概率為信道編碼器將數(shù)字序列每K個(gè)一組變換為字長N 的信號(hào)（碼字），稱為分組編碼。若數(shù)字和信道符號(hào)都是二進(jìn)制的(可用0,1表示)，則R＝K/N 定義為編碼速率，它表明每個(gè)信道符號(hào)表示多少個(gè)數(shù)字。N-K 稱為編碼冗余度。信道編碼(糾錯(cuò)編碼)的基本思想就是增加冗余度以提高可靠性。更確切地說，信道譯碼器可以利用編碼冗余度將受擾信號(hào)變換為正確的發(fā)送數(shù)字序列。重復(fù)編碼乃一簡例。信道編碼器將輸入數(shù)字重復(fù)三次, 如將01011變換為***。信道譯碼器可用門限譯碼，即先將輸入譯碼器的信道符號(hào)每三個(gè)一組地相加，再將結(jié)果逐個(gè)與閾值 2比較,小于閾值2的譯為0,否則譯為1。這樣若受擾信號(hào)***雖然錯(cuò)了 5個(gè)符號(hào),但譯碼仍為01011與發(fā)送數(shù)字序列完全相同。信息論得出的重要結(jié)論是:對(duì)于一個(gè)有噪信道,只要在信道編碼中引入足夠而有限的冗余度，或等價(jià)地說編碼速率足夠小，就

信息論

能通過信道漸近無誤地傳送消息。更確切地說，對(duì)充分長的數(shù)字序列，其接收錯(cuò)誤概率可以任意小。信道編碼問題是要找出使信道漸近無誤地傳輸消息所能達(dá)到的最大編碼速率R和相應(yīng)的編碼。已經(jīng)證明，對(duì)于離散無記憶恒參信道，這個(gè)最大極限編碼速率為它是對(duì)X上一切概率分布 p取極大值。p為信道轉(zhuǎn)移概率(條件概率)，的重要參數(shù)。

。稱為交互信息；C 稱為信道容量，是信道信道編碼概論：

通過信道編碼器和譯碼器實(shí)現(xiàn)的用于提高信道可靠性的理論和方法。信息論的內(nèi)容之一。信道編碼大致分為兩類 ：①信道編碼定理，從理論上解決理想編碼器、譯碼器的存在性問題，也就是解決信道能傳送的最大信息率的可能性和超過這個(gè)最大值時(shí)的傳輸問題。②構(gòu)造性的編碼方法以及這些方法能達(dá)到的性能界限。編碼定理的證明，從離散信道發(fā)展到連續(xù)信道，從無記憶信道到有記憶信道，從單用戶信道到多用戶信道，從證明差錯(cuò)概率可接近于零到以指數(shù)規(guī)律逼近于零，正在不斷完善。編碼方法，在離散信道中一般用代數(shù)碼形式，其類型有較大發(fā)展，各種界限也不斷有人提出，但尚未達(dá)到編碼定理所啟示的限度，尤其是關(guān)于多用戶信道，更顯得不足。在連續(xù)信道中常采用正交函數(shù)系來代表消息，這在極限情況下可達(dá)到編碼定理的限度。不是所有信道的編碼定理都已被證明。只有無記憶單用戶信道和多用戶信道中的特殊情況的編碼定理已有嚴(yán)格的證明；其他信道也有一些結(jié)果，但尚不完善。

數(shù)字信號(hào)在傳輸中往往由于各種原因，使得在傳送的數(shù)據(jù)流中產(chǎn)生誤碼，從而使接收端產(chǎn)生圖象跳躍、不連續(xù)、出現(xiàn)馬賽克等現(xiàn)象。所以通過信道編碼這一環(huán)節(jié)，對(duì)數(shù)碼流進(jìn)行相應(yīng)的處理，使系統(tǒng)具有一定的糾錯(cuò)能力和抗干擾能力，可極大地避免碼流傳送中誤碼的發(fā)生。誤碼的處理技術(shù)有糾錯(cuò)、交織、線性內(nèi)插等。

提高數(shù)據(jù)傳輸效率，降低誤碼率是信道編碼的任務(wù)。信道編碼的本質(zhì)是增加通信的可靠性。但信道編碼會(huì)使有用的信息數(shù)據(jù)傳輸減少，信道編碼的過程是在源數(shù)據(jù)碼流中加插一些碼元，從而達(dá)到在接收端進(jìn)行判錯(cuò)和糾錯(cuò)的目的，這就是我們常常說的開銷。這就好象我們運(yùn)送一批玻璃杯一樣，為了保證運(yùn)送途中不出現(xiàn)打爛玻璃杯的情況，我們通常都用一些泡沫或海棉等物將玻璃杯包裝起來，這種包裝使玻璃杯所占的容積變大，原來一部車能裝5000各玻璃杯的，包裝后就只能裝4000個(gè)了，顯然包裝的代價(jià)使運(yùn)送玻璃杯的有效個(gè)數(shù)減少了。同樣，在帶寬固定的信道中，總的傳送碼率也是固定的，由于信道編碼增加了數(shù)據(jù)量，其結(jié)果只能是以降低傳送有用信息碼率為代價(jià)了。將有用比特?cái)?shù)除以總比特?cái)?shù)就等于編碼效率了，不同的編碼方式，其編碼效率有所不同。

數(shù)字電視中常用的糾錯(cuò)編碼，通常采用兩次附加糾錯(cuò)碼的前向糾錯(cuò)（FEC）編碼。RS編碼屬于第一個(gè)FEC，188字節(jié)后附加16字節(jié)RS碼，構(gòu)成（204，188）RS碼，這也可以稱為外編碼。第二個(gè)附加糾錯(cuò)碼的FEC一般采用卷積編碼，又稱為內(nèi)編碼。外編碼和內(nèi)編碼結(jié)合一起，稱之為級(jí)聯(lián)編碼。級(jí)聯(lián)編碼后得到的數(shù)據(jù)流再按規(guī)定的調(diào)制方式對(duì)載頻進(jìn)行調(diào)制。

前向糾錯(cuò)碼（FEC）的碼字是具有一定糾錯(cuò)能力的碼型，它在接收端解碼后，不

信息論

僅可以發(fā)現(xiàn)錯(cuò)誤，而且能夠判斷錯(cuò)誤碼元所在的位置，并自動(dòng)糾錯(cuò)。這種糾錯(cuò)碼信息不需要儲(chǔ)存，不需要反饋，實(shí)時(shí)性好。所以在廣播系統(tǒng)（單向傳輸系統(tǒng)）都采用這種信道編碼方式。

下面是糾錯(cuò)碼的各種類型:

1、RS編碼

RS碼即里德-所羅門碼，它是能夠糾正多個(gè)錯(cuò)誤的糾錯(cuò)碼，RS碼為（204，188，t=8），其中t是可抗長度字節(jié)數(shù)，對(duì)應(yīng)的188符號(hào)，監(jiān)督段為16字節(jié)(開銷字節(jié)段）。實(shí)際中實(shí)施（255，239，t=8）的RS編碼，即在204字節(jié)（包括同步字節(jié)）前添加51個(gè)全“0”字節(jié)，產(chǎn)生RS碼后丟棄前面51個(gè)空字節(jié)，形成截短的（204，188）RS碼。RS的編碼效率是：188/204。

2、卷積碼

卷積碼非常適用于糾正隨機(jī)錯(cuò)誤，但是，解碼算法本身的特性卻是：如果在解碼過程中發(fā)生錯(cuò)誤，解碼器可能會(huì)導(dǎo)致突發(fā)性錯(cuò)誤。為此在卷積碼的上部采用RS碼塊，RS碼適用于檢測(cè)和校正那些由解碼器產(chǎn)生的突發(fā)性錯(cuò)誤。所以卷積碼和RS碼結(jié)合在一起可以起到相互補(bǔ)償?shù)淖饔谩＞矸e碼分為兩種：

(1)基本卷積碼:

基本卷積碼編碼效率為，η＝1/2, 編碼效率較低,優(yōu)點(diǎn)是糾錯(cuò)能力強(qiáng)。

(2)收縮卷積碼:

如果傳輸信道質(zhì)量較好，為提高編碼效率，可以采樣收縮截短卷積碼。有編碼效率為：η＝1/

2、2/

3、3/

4、5/

6、7/8這幾種編碼效率的收縮卷積碼。

編碼效率高，一定帶寬內(nèi)可傳輸?shù)挠行П忍芈试龃?但糾錯(cuò)能力越減弱。

3、Turbo碼

1993 年誕生的Turbo 碼，單片Turbo 碼的編碼/解碼器，運(yùn)行速率達(dá)40Mb/s。該芯片集成了一個(gè)32×32 交織器，其性能和傳統(tǒng)的RS 外碼和卷積內(nèi)碼的級(jí)聯(lián)一樣好。所以Turbo碼是一種先進(jìn)的信道編碼技術(shù)，由于其不需要進(jìn)行兩次編碼，所以其編碼效率比傳統(tǒng)的RS+卷積碼要好。

4、交織

在實(shí)際應(yīng)用中，比特差錯(cuò)經(jīng)常成串發(fā)生，這是由于持續(xù)時(shí)間較長的衰落谷點(diǎn)會(huì)影響到幾個(gè)連續(xù)的比特，而信道編碼僅在檢測(cè)和校正單個(gè)差錯(cuò)和不太長的差錯(cuò)串時(shí)才最有效（如RS只能糾正8個(gè)字節(jié)的錯(cuò)誤）。為了糾正這些成串發(fā)生的比特差錯(cuò)及一些突發(fā)錯(cuò)誤，可以運(yùn)用交織技術(shù)來分散這些誤差，使長串的比特差錯(cuò)變成短串差錯(cuò)，從而可以用前向碼對(duì)其糾錯(cuò)，例如：在DVB-C系統(tǒng)中，RS(204,188)的糾錯(cuò)能力是8個(gè)字節(jié)，交織深度為12，那么糾可抗長度為8×12＝96個(gè)字節(jié)的突發(fā)錯(cuò)誤。

實(shí)現(xiàn)交織和解交織一般使用卷積方式。

交織技術(shù)對(duì)已編碼的信號(hào)按一定規(guī)則重新排列，解交織后突發(fā)性錯(cuò)誤在時(shí)間上被分散，使其類似于獨(dú)立發(fā)生的隨機(jī)錯(cuò)誤，從而前向糾錯(cuò)編碼可以有效的進(jìn)行糾錯(cuò)，前向糾錯(cuò)碼加交積的作用可以理解為擴(kuò)展了前向糾錯(cuò)的可抗長度字節(jié)。糾錯(cuò)能力強(qiáng)的編碼一般要求的交織深度相對(duì)較低。糾錯(cuò)能力弱的則要求更深的交織深度。

下圖是交織的原理圖：

一般來說，對(duì)數(shù)據(jù)進(jìn)行傳輸時(shí)，在發(fā)端先對(duì)數(shù)據(jù)進(jìn)行FEC編碼，然后再進(jìn)行交積處理。在收端次序和發(fā)端相反，先做去交積處理完成誤差分散，再FEC解碼實(shí)現(xiàn)數(shù)據(jù)糾錯(cuò)。另外，從上圖可看出，交積不會(huì)增加信道的數(shù)據(jù)碼元。

根據(jù)信道的情況不同，信道編碼方案也有所不同，在DVB-T里由于由于是無線信道且存在多徑干擾和其它的干擾，所以信道很“臟”，為此它的信道編碼是：RS＋外交積＋卷積

信息論

碼＋內(nèi)交積。采用了兩次交積處理的級(jí)聯(lián)編碼，增強(qiáng)其糾錯(cuò)的能力。RS作為外編碼，其編碼效率是188/204（又稱外碼率），卷積碼作為內(nèi)編碼，其編碼效率有1/

2、2/

3、3/

4、5/

6、7/8五種（又稱內(nèi)碼率）選擇，信道的總編碼效率是兩種編碼效率的級(jí)聯(lián)疊加。設(shè)信道帶寬8MHZ，符號(hào)率為6.8966Ms/S，內(nèi)碼率選2/3，16QAM調(diào)制，其總傳輸率是27.586Mbps,有效傳輸率是27.586*(188/204)*(2/3)=16.948Mbps,如果加上保護(hù)間隔的插入所造成的開銷，有效碼率將更低。

在DVB-C里，由于是有線信道，信道比較“干凈”，所以它的信道編碼是：RS＋交積。一般DVB-C的信道物理帶寬是8MHZ，在符號(hào)率為6.8966Ms/s，調(diào)制方式為64QAM的系統(tǒng)，其總傳輸率是41.379Mbps,由于其編碼效率為188/204，所以其有效傳輸率是41.379*188/204=38.134Mbps。

在DVB-S里，由于它是無線信道，所以它的信道編碼是：RS＋交積＋卷積碼。也是級(jí)聯(lián)編碼。

參考文獻(xiàn)

1)2)3)4)5)6)李立萍，張明友．信息論導(dǎo)引．成都：電子科技大學(xué)出版社，2005。田寶玉．工程信息論．北京：北京郵電大學(xué)出版社，2004。朱雪龍．應(yīng)用信息論基礎(chǔ)．北京：清華大學(xué)出版社，2000。李建東，王永茂，胡林敏．最大熵原理及其應(yīng)用．信息科學(xué)。王 棟，朱元甡．最大熵原理在水文水資源科學(xué)中的應(yīng)用．水科學(xué)進(jìn)展，2001，12(3)。[6]董偉民等．最大熵原理在地震重現(xiàn)關(guān)系上的應(yīng)用．地震工程與工程程動(dòng)，1983，3(4)。

7)馮利華，李鳳全．基于最大熵原理的災(zāi)害損失分析．?dāng)?shù)學(xué)的實(shí)踐與認(rèn)識(shí)，2005，35(8)。