第一篇：信息論與編碼

信息論與編碼的應用

信息論是信息科學的主要理論基礎之一，它是在長期通信工程實踐和理論基礎上發展起來的。信息論是應用概率論、隨機過程和數理統計和近代代數等方法，來研究信息的存儲、傳輸和處理中一般規律的學科。它的主要目的是提高通信系統的可靠性、有效性和安全性，以便達到系統的最優化。編碼理論與信息論緊密關聯，它以信息論基本原理為理論依據，研究編碼和譯碼的理論知識和實現方法。【關鍵詞】信息論 電子信息工程 通信 網絡

一、信息論應用

人類社會的生存和發展無時不刻都離不開信息的獲取、傳遞、再生、控制和利用。信息論正式一門把信息作為研究對象的科學，以揭示信息的本質特性和規律為基礎，應用概率論。隨機過程和樹立統計等方法來研究信息的存儲、傳輸、處理、控制和利用。它主要研究如何提高信息系統的可靠性、有效性、保密性和認證性，以使信息系統最優化。許多 科學技術問題（如無線電通訊、電視、遙測、圖像和聲音識別等）都必須以信息論為理論指 導才能很好地解決。信息論的研究對象又可以是廣義的信息傳輸和信息處理系統。從最普通 的電報、電話、傳真、電視、雷達、聲納, 一直到各類生物神經的感知系統, 以及大到人類社會系統,可以用同一的信息論觀點加以闡述, 都可以概括成某種隨機過程或統計學的數學模型加以深入研究。例如信息論在一下幾個方面都得到了廣泛的應用。

信息論在數據壓縮理論中的應用

數據壓縮的主要目的是力求用最少的數據表示信源所發出的信號，使信號占用的存儲空間盡可能小，以達到提高信息傳輸速度的目的。數據壓縮在近代信息處理問題中有大量的應用，無論在數據存儲或傳送中，通過數據壓縮不僅可以大大節省資源利用的成本，而且把一些原來無實用意義的技術，如多媒體技術中的一些問題，達到具有實用意義的標準。

數據壓縮作為信息論研究中的一項內容，主要是有關數據壓縮比和各種編碼方法的研究，即按某種方法對源數據流進行編碼，使得經過編碼的數據流比原數據流占有較少的空間。其中基于符號頻率統計的哈夫曼編碼效率高，運算速度快，實現方式靈活，使得其在數據壓縮領域得到了廣泛的應用。

數據壓縮技術的不斷完善是依靠在信息論這門學科的成長上的，信息能否被壓縮以及能在多大程度上被壓縮與信息的不確定性有直接的關系，人工智能技術將會對數據壓縮的未來產生重大影響。

信息論在密碼學中的應用

密碼學是研究編制密碼和破譯密碼的技術科學。從傳統意義上來說，密碼學是研究如何把信息轉換成一種隱蔽的方式并阻止其他人得到它。密碼術的研究和應用雖有很長的歷史，但在信息論誕生之前，它還沒有系統的理論，直到香農發表的保密通信的信息理論一文，為密碼學確立了一系列的基本原則與指標，如加密運算中的完全性、剩余度等指標，它們與信息的度量有著密切相關。之后才產生了基于信息論的密碼學理論，所以說信息論與密碼學的關系十分密切。

近代密碼學由于數據加密標準與公鑰體制的出現與應用，使近代密碼學所涉及的范圍有了極大的發展，尤其是在網絡認證方面得到廣泛應用，但其中的安全性原理與測量標準仍未脫離香農保密系統所規定的要求，多種加密函數的構造，如相關免疫函數的構造仍以香農的完善保密性為基礎

信息論在數字移動通信系統中的應用

數字移動通信系統主要包含編碼和譯碼兩種技術。移動信道是最復雜的一種信道，為了保證在不利的條件下接受信號的傳輸質量，就必須采用各種抗衰落技術和數字傳輸技術，如分集技術、擴頻技術、均衡、交織和糾錯編碼等。信息論在統計中的應用

信息論在統計中的應用一般指信息量在統計中的應用，也有編碼定理與碼結構在統計中的應用等問題。由于統計學研究的問題日趨復雜，如統計模型從線性到非線性，統計分布從單一分布到混合分布，因此信息量在統計中的作用日趨重要，在許多問題中以信息量作為它們的基本度量 [2]。

在統計領域里，統計計算技術近年來發展很快，它使許多統計方法，尤其是Bayes統計得到廣泛的運用。信息與統計相結合的其他典型問題還很多，如假設檢驗中的兩類誤差估計問題，試驗設計問題，信息量在有效估計中的應用問題等，這些問題已使信息論與統計學想成相互推動發展的局面。

編碼技術在調制解調技術中的應用

在上個世紀80到90年代，信息編碼理論應用的兩項重大成果是：調制解調理論及數據壓縮理論在多媒體技術領域的應用。調制解調碼的出現從根本上改變了數據通信的狀況，使調制解調碼通信速度從原來的1200bit/s逐步增加到30000bit/s。我們可以簡單計算得知，調制解調碼大大提高了數據傳輸速度，提高了25倍，從而使現有的網絡通信成為實用性的技術。

編碼技術在快速通信領域中的應用

編碼理論在快速通信技術中已得到了大量的應用，通信技術已從低速向高速發展，通信手段正向微波、衛星等方向發展，因此誤差干擾問題突現出來，利用糾錯碼可大大降低通信中的差錯率。在20世紀70到80年代的代數碼，如BCH碼、R-S碼等為克服誤差干擾發揮了重要作用，成為通信工程不可缺少的一個組成部分。

3.7信息論在其他領域中的應用

現今時代信息科學飛速發展，信息論已跨越了通信領域，在其他領域也得到了廣泛應用。信息論不僅在計算機、自動控制等方面突現作用，還開始涉及到物理學、化學、生物學、心理學、醫學、經濟學、人類學、語言學、統計學和管理學等學科。

比如信息論在水資源系統工程中可以利用信息論的方法建立模型推到降水、儲水量等分布的問題。在建筑工程故障診斷中信息論也得到了應用，它用熵的概念對所測量的數據進行處理和誤差分析。另外，信息論也能在作戰效能評估中得到應用研究，我們可以從信息的不確定性著手評估其作戰效能。我們不難看出，信息論在很多領域都有所應用。

結 論

信息是自從人類出現以來就存在于這個世界上了，天地萬物，飛禽走獸，以及人類的生存方式都離不開信息的產生和傳播。信息論方法具有普遍的適用性，因此可以把課上學習的內容和我們的日常生活緊密結合起來，從而提高學習的興趣。例如，在學習多符號離散信源時，可以和日常生活中大家在電視上見到的搖獎場面聯系起來。一臺簡單的搖獎機，從十個號碼球中搖出一個數字號碼，可以看作一個單符號離散信源，它有十個符號，從0至9。如果需要搖出七位數的體育彩票號碼，這可以看成是一個多符號信源，一次同時發出七個符號，而且是單符號離散信源的7次擴展。又如，在學習漢明距離時，可以和英語學習聯系起來。在英語中拼寫非常接近的單詞很容易混淆或者拼寫錯誤，用信息論的觀點來看就是兩個碼字的漢明距離（不同位的個數）太小，因此抗干擾的能力差。

由于信息論方法具有相當普遍的意義和價值，因此在計算機科學、人工智能、語言學、基因工程、神經解剖學甚至金融投資學等眾多領域都有廣泛的應用，信息論促進了這些學科領域的發展，同時也促進了整個社會經濟的發展。人們已經開始利用信息論的方法來探索系統的存在方式和運動變化的規律，信息論已經成為認識世界和改造世界的手段，信息論對哲學領域也有深遠的影響。由此可見，《信息論與編碼》的課程對我們至關重要！

參考文獻

[1] 曹雪虹，張宗橙．信息論與編碼[M]．北京：清華大學出版社．2004． [2] 沈世鎰，吳忠華．信息論基礎與應用[M]．北京：高等教育出版社．2004． [3] 隋曉紅，王艷營．信息論與編碼[M]．北京：北京大學出版社.2010 [4] 傅祖蕓.信息論—基礎理論與應用[M]．北京：電子工業出版社．2004． [5] 維芬，云娜.信息論基本問題簡述[J]．信息與控制.2006

第二篇：信息論與編碼教學大綱

《信息論與編碼》教學大綱

電子信息工程專業（本科）

課程編號：（）

課程名稱：信息論與編碼 參考學時：52 其中實驗或上機學時：0 說明部分

1．課程性質

本課程是電子信息類專業的技術基礎課 2．課程教學的目的及意義

人類社會的生存和發展無時無刻都離不開信息的獲取、傳遞、處理、控制和利用。特別是邁入21世紀――高度信息化時代，信息的重要性更是不言而喻。信息業的發展，需要大量從事信息、通信、電子工程類專業的人才，而《信息論和編碼》課程為電子信息工程學科的基礎課，同時也可作為信息科學其它相關學科的選修課，掌握它，可以指導理論研究和工程應用。

本課程注重基本概念、基本理論和基本分析方法的論述，并結合實例建立數學模型，給出推演過程，力求物理概念清晰、數學結構嚴謹和完整、逐步深入展開。通過該課程的學習，使學生掌握香農信息論的三個基本概念，與之相應的三個編碼定理，以及信源編碼、信道編碼和信息保密編碼的基本理論和主要方法，培養學生能夠適應數字通信、信息處理、信息安全、計算機信息管理等編碼工作的要求。使學生掌握信息理論的基本概念和信息分析方法及主要結論，為今后從事信息領域的科研和工程工作進一步研究打下堅實的理論基礎。3．教學內容及教學要求

該課程是電子信息工程、信息安全工程專業的專業課。是為了適應數字通信、信息處理和信息安全等方面的專業需要開設。該課程著重介紹信息論應用概率論、隨機過程和現代數理統計方法，研究信息提取、傳輸和處理的一般規律，提高信息系統的有效性和可靠性，實現信息系統的最優化。

信息論是現代通信與信息工程的理論基礎，主要內容包括：信息的定義和測度；各類離散信源和信息熵；剩余度；信道和互信息；平均互信息和信道容量；數據處理和信息測量理論；信息率失真函數和數據壓縮原理；離散信源無失真和限失真信源編碼理論和編碼方法；離散有噪信道編碼理論和編碼原則。教學基本要求：

了解通信系統各部分的主要組成以及作用、香農的三大編碼定理；

掌握各類離散信源和信息熵、信道及其信道容量、信息率失真函數和數據壓縮原理、離常用的無失真信源編碼方法、糾錯碼基本思想及常用的糾錯編碼方法。4.教學重點、難點 教學重點：

信息以及失真的測度、信道及信道容量、無失真信源編碼方法以及有噪信道編碼方法。教學難點：

?典型序列以及由此推導出的香農三大編碼定理及其逆定理。5.教學方法及教學手段

課堂講學為主，習題講解為輔。6.教學學材及主要參考書

1.傅祖蕓編著，《信息論－基礎理論與應用》，北京：電子工業出版社，2001年 2.姜丹，《信息論與編碼》，合肥，中國科學技術大學出版社，2001年 3.曹雪虹，張宗橙，信息論與編碼，北京，清華大學出版社，2004年 7.其它

考核形式：考試（筆試），教學環境：課堂

本課程應開設在概率論與隨機過程等數學學科信號與系統之后，是數字圖像處理的基礎課程。

總學時數

課程總學時數： 52 其中，課堂講授： 46 作業：6

二、正文部分 第一章：緒論

一、教學要求

了解信息論研究對象、目的、發展簡史與現狀；

了解通信系統的模型以及通信系統各部分的主要組成以及作用

二、教學內容

第一節 信息的概念

知識要點：信息的概念及自信息 第二節 信息論研究的對象、目的和內容 知識要點：信息論研究的對象、目的和內容 第三節：信息論發展簡史 知識要點：信息論發展簡史

三、本章學時數 2學時

第二章：離散信源及其測度

一、教學要求

了解信源的相關性和剩余度的概念，信息的概念，信息，信號，消息，數據的關系與聯系。

掌握信源的數學模型、離散無記憶信源、離散平穩信源和馬爾可夫信源基本理論。

二、教學內容

第一節 信源的數學模型及分類

知識要點：信源的數學模型，離散無記憶信源及其擴展信源。第二節 信息熵及其基本性質 知識要點：自信息及信息熵離散無記憶擴展信源熵，熵的基本性質及最大離散熵定理。第三節 離散平穩信源

知識要點：離散平穩信源定義，聯合熵，條件熵以及極限熵。第四節 馬爾可夫信源

知識要點：馬爾可夫信源定義，馬爾可夫信源熵 第四節 信息剩余度

知識要點：信息剩余度以及自然語言熵

三、本章學時數 8學時

第三章：離散信道及其信道容量

一、教學要求

了解一般信道容量計算。

掌握信道的數學模型，離散無記憶信道以及一些特殊信道容量的計算方法。

二、教學內容

第一節 信道數學模型及分類

知識要點：信道數學模型及不同的分類，信道矩陣。第二節平均互信息及特點

知識要點：信道疑義度，互信息和平均互信息及其特性，平均條件互信息。第三節 信道容量及一般計算方法

知識要點：離散無噪信道及信道容量，對稱離散信道、準對稱信道的容量計算。第四節 離散無記憶擴展信道及其容量

知識要點：離散無記憶擴展信道及其容量，信源與信道的匹配。

三、本章學時數 6學時

第四章：無失真信源編碼

一、教學要求

了解其它一些無失真信源編碼方法。

理解漸近等分割性及?典型序列，算術編碼方法及具體實現方案；

掌握編碼的定義，碼的分類，定長編碼定理，變長編碼定理，最佳編碼方法：香農編碼方法，費諾編碼方法，哈夫曼編碼方法。

二、教學內容

第一節 等長碼及等長信源編碼定理

知識要點：編碼器的概念，碼的定義，等長碼及等長信源編碼定理，?典型序列及其性質，編碼效率。

第二節 變長碼及變長信源編碼定理

知識要點：唯一可譯碼定義及其判斷方法，即時碼的樹圖法構造，Kraft不等式，緊致碼，變長信源編碼定理。

第三節 編碼方法 知識要點：香農編碼，費諾編碼，香農－費諾－埃利斯編碼，哈夫曼編碼，游程編碼，算術編碼和其它一些編碼方法。

三、本章學時數 10學時

第五章：有噪信道編碼

一、教學要求

了解檢錯碼與糾錯碼的方法。理解漸近等分割性及?典型序列。

掌握的重點內容有：有噪離散信道的編碼定理，差錯控制與信道編譯碼的基本原理，線性分組碼，卷積碼，網格編碼調制與級聯碼簡介。

二、教學內容

第一節 錯誤概率與譯碼規則和編碼方法

知識要點：最小錯誤概率譯碼準則，最大似然譯碼準則，最小距離譯碼準則及其之間相互關系，平均譯碼錯誤概率，錯誤概率與譯碼規則和編碼方法關系，信道編碼的編、譯基本準則。

第二節 有噪信道編碼定理

知識要點：有噪信道編碼定理及其逆定理，信源信道編碼定理。第三節 糾錯碼

知識要點：糾錯碼分類，分組碼的最小距離與檢、糾錯能力，分組碼的碼率，線性分組碼的特性，生成矩陣和一致監督矩陣及其關系，線性分組碼的編、譯碼方法，漢明碼，卷積碼及其構造方法。

三、本章學時數 10學時

第六章：波形信源和波形信道

一、教學要求

了解連續信源和波形信源的信息測度，連續信道和波形信道的分類，連續信源熵的變換，連續信道和波形信道的信道容量的計算方法。

掌握連續信源和波形信源的信息測度。

二、教學內容

第一節 連續信源和波形信源的信息測度

知識要點：連續信源的差熵、波形信源的差熵和兩種特殊信源的差熵。第二節 連續信道和波形信道的分類

知識要點：按噪聲統計特性分類，按噪聲對信號的作用和功能分類。第三節 連續信道和波形信道的信息傳輸率

知識要點：單符號連續信道的平均交互信息，連續信道的平均交互信息的特性。第四節 連續信道和波形信道的信道容量

知識要點：單符號高斯加性信道的信道容量，單符號非高斯加性信道的信道容量，多維無記憶高斯加性信道的信道容量。

三、本章學時數 8學時

第七章：限失真信源編碼

一、教學要求

了解保真度準則下的信源編碼定理

掌握失真度與平均失真度，信息率失真函數與特性，R(D)函數的參數表述及其計算。

二、教學內容

第一節 失真度與平均失真度

知識要點：失真度與平均失真度，D失真許可試驗信道。第二節 信息率失真函數與特性

知識要點：信息率失真函數R(D)的定義，離散信源的R(D)函數，高斯連續信源的R(D)函數，R(D)的定義域和單調性等性質。

第三節 信息率失真函數的參量表述與計算

知識要點：信息率失真函數的計算 第四節 保真度準則下的信源編碼定理

知識要點：失真限?典型序列，失真信源編碼定理和編碼逆定理，有失真信源編碼定理的實用意義。

三、本章學時數 8學時

執筆人：

胡學友

教研室：XXX

系主任審核簽名：XXX 5

第三篇：信息論與編碼教案匯總[范文]

贛南師范學院物理與電子信息工程學院

教

案

授課教師：朱赟 授課對象：電子信息工程 授課學期：第六學期 總學時：32學時

使用教材：電子工業出版社《信息論與糾錯編碼》張麗華

第次課教案

教學組織

一、自我介紹:略

二、課程介紹：

1、任務和地位：信息論是由Shannon奠基的一門數學學科，它產生于有效而可靠的通信問題中，并獲得了廣泛應用。編碼技術是信息論的重要分支的基礎。它在通信和計算機工程實踐中得到了廣泛的應用，成為通信系統設計中的一項通用技術。通過本課程的學習，使學生對信息理論有一個比較全面和系統的了解，掌握信息論的基本概念和信息論方法，為從事信息科學的研究和應用打下一個堅實的基礎。課程以信號和信道的知識為基礎，講述信息論的基本概念，信源編碼、信道編碼和偽隨機碼的基本知識。

2、知識要求：通過一個學期的學習要達到如下要求: 1)掌握平均信息量—熵的概念，了解信息論的基本知識和信道容量的計算。2)掌握信源編碼的意義，了解提高信息傳輸“有效性”的方法，掌握平均碼長的計算和最佳信源編碼的概念，通過仙農定理導出霍夫曼編碼規則。3)掌握信道編碼的意義，了解提高信息傳輸“可靠性”的方法，掌握糾錯編碼的基本概念，重點講解線性分組碼的檢錯能力，介紹卷積碼基本概念。4)掌握偽隨機碼的基本概念，m序列碼的產生及應用。

先修課程：信號與系統、數字邏輯電路、微機原理與應用、通信原理。

3、能力要求：本課程重點是通過講解信息論與編碼技術使學生掌握提高信道傳輸的“有效性”和“可靠性”的基本理論。

4、考試成績計算方法：

平時成績 30%（主要包括作業和出勤）期終考試 70%

課程性質:

學科基礎課：

①電子信息類專業基礎課

②研究生考試課程 6 進度安排 4學分

32理論學時

16周 2學時/周 7 學習方法與注意事項 1、學習、目的、方法 2、課程框架（理清）3、聽課與筆記 4、實用方法與公式 5、預習與復習（書、筆記）6、作業（多練習）教材及參考書 教材: 信息論與糾錯編碼 張麗華 電子工業出版社 參考書: [1] 王新梅等編著，《糾錯碼-原理與方法》（修訂版），西安電子科技大學出版社，2001 年。

[2] 張宗橙編著，《糾錯編碼原理和應用》，電子工業出版社，2004年。[3] [日]江藤良純等主編，《糾錯編碼原理及應用》，科學出版社，2004年。[4] [美]S.林著，陳太一譯，《糾錯編碼入門》，人民郵電出版社，1976年。[5] 姜丹編著，《信息論與編碼》，中國科學技術大學出版社，2001年。主要內容

（1）信息及信息的度量

（2）離散信源及信源熵,離散信道及信道容量（3）信源編碼定理和信道編碼定理

（4）平均失真測度和信息率失真函數,率失真編碼定理（5）線性分組碼（6）循環碼和卷積碼

三 授課.一、講授內容

第一章 信息論基礎

1.1信息的概念 1.2數字通信系統 1.3 信源及其數學模型

二、教學目的及要求

要求學生明確本課程的學習目的及要求，初步了解本課程的特點及學習方法，掌握信息的基本概念和特點，了解信息論研究的對象、目的和內容，了解信息論的形成和發展趨勢，以及目前信息論與編碼的主要研究成果，激發學習信息論與編碼的興趣與熱情。要求學生掌握信源的基本概念和特點及信源的描述，掌握離散無記憶信源、離散有記憶信源與馬爾可夫信源的特點與描述方法。

三、教學重點

本課程的特點及學習方法、信息的基本概念與特點，信息論的主要研究對象、目的和內容。信源的分類，離散信源與連續信源，無記憶信源與有記憶信源，馬爾可夫信源。

四、教學難點

如何理解信息的概念、信息論及編碼技術，有記憶信源，馬爾可夫信源。

五、本講計劃學時及時間分配

計劃2個學時，主講信息的基本概念和特點，信息論研究的對象、目的和內容，信息論的形成和發展趨勢，以及目前信息論與編碼的主要研究成果。課程導入5分鐘；本課程的學習目的、要求及方法介紹20分鐘；信息的基本概念和特點，信息論研究的對象、目的和內容，信息論的形成和發展趨勢，以及目前信息論與編碼的主要研究成果講授55分鐘，課堂練習及課后習題講解15分鐘，本節課知識點總結5分鐘。

六、實施步驟

利用多媒體課件對主要知識點進行講述，并輔以板書詳解，具體如下： 課程引入：主要介紹本課程的教學內容、教學重點與難點、考核方式及教材與參考書。

新課講解：第一章

信息論基礎 1.1信息的概念 1.2數字通信系統 1.3 信源及其數學模型 小結：

本次課主要對信息的基本概念和特點，信息論研究的對象、目的和內容，信息論的形成和發展趨勢，以及目前信息論與編碼的主要研究成果進行講解，給學生對《信息論與編碼》這門課程有初步印象。對無記憶信源、有記憶信源、馬爾可夫信源進行詳細講解，并對其中重難點進行總結概括。

七、課外學習輔導安排及作業布置

1、信息、信號、消息的定義是什么？三者的關系如何？

2、尋找閱讀和信息論與編碼發展的有關資料。

3、通信系統的各個主要組成部分是什么？

八、其他 無

第次課教案

一、講授內容

第2章 信息的度量

2.1 自信息量和互信息量

二、教學目的及要求

要求學生掌握自信息量、離散信源熵、互信息的概念及其求解方法，了解數據處理中信息的變化方式，熟悉并掌握熵的一些基本性質。

三、教學重點

自信息量、離散信源熵、互信息的概念及其求解方法、數據處理中信息的變化方式、熵的性質。

四、教學難點

離散信源熵、互信息的概念及其求解方法、熵的性質。

五、本講計劃學時及時間分配

計劃2個學時，主講離散信源熵和互信息的基本概念和特點。課程導入5分鐘；自信息量概念及其求解方法介紹10分鐘；離散信源熵的概念及其求解方法講授15分鐘，互信息的概念及其求解方法講授25分鐘，數據處理中信息的變化方式講授10分鐘，熵的性質講授15分鐘，課堂練習及課后習題講解15分鐘，本節課知識點總結5分鐘。

六、實施步驟

利用多媒體課件對主要知識點進行講述，并輔以板書詳解，具體如下： 課程引入：

對上次課的重點進行復習，簡單介紹本次課的主要內容，并提出問題：信息可否度量？信息量如何來量測？ 小結：

本次課主要對自信息量、離散信源熵、互信息、數據處理中信息的變化與熵的性質進行講解，最好對其中涉及到的重難點進行總結概括。

七、課外學習輔導安排及作業布置 教材P41 2-3

第次課教案

一、講授內容

第2章 信息的度量

2.2 離散集的平均自信息量

二、教學目的及要求

要求學生掌握離散序列信源熵的概念與求解方法，掌握離散無記憶信源的序列熵與離散有記憶信源的序列熵的概念、特點與求解方法。

三、教學重點

離散序列信源熵的概念與求解方法、離散無記憶信源的序列熵與離散有記憶信源的序列熵的概念、特點與求解方法。

四、教學難點

離散有記憶信源的序列熵的概念、特點與求解方法。

五、本講計劃學時及時間分配

計劃2個學時，主講離散序列信源熵。課程導入5分鐘；離散序列信源熵的概念與求解方法介紹20分鐘；離散無記憶信源的序列熵的基本概念、特點與求解方法講授25分鐘，離散有記憶信源的序列熵的概念、特點與求解方法講授30分鐘；課堂練習及課后習題講解15分鐘，本次課知識點總結5分鐘。

六、實施步驟

利用多媒體課件對主要知識點進行講述，并輔以板書詳解，具體如下： 課程引入：

對上次課的重點進行復習，簡單介紹本次課的基本內容，問題的提出：a．如何描述離散無記憶序列信源的序列熵？b。如何描述離散有記憶序列信源（平穩序列和齊次遍歷馬氏信源）的序列熵？ 小結

本次課主要對離散無記憶信源的序列熵、離散有記憶信源的序列熵進行詳細講解，最好對其中涉及到的重難點進行總結概括。

七、課外學習輔導安排及作業布置 教材P41 2-4

八、其他 無

第次課教案

一、講授內容

第2章 信息的度量

2.3 離散集的平均互信息量

二、教學目的及要求

要求學生掌握連續信源熵和互信息的基本概念，掌握幅度連續的單個符號信源熵的求解方法，了解波形信源熵的求解方法已經最大熵定理。

三、教學重點

連續信源熵和互信息的基本概念、幅度連續的單個符號信源熵的求解方法、波形信源熵的求解方法已經最大熵定理。

四、教學難點

波形信源熵的求解方法已經最大熵定理。

五、本講計劃學時及時間分配

計劃2個學時，主講連續信源熵和互信息。課程導入5分鐘；幅度連續的單個符號信源熵概念及求解方法介紹25分鐘；波形信源熵的概念及求解方法講授25分鐘，最大熵定理的講解25分鐘；課堂練習及課后習題講解15分鐘，本節課知識點總結5分鐘。

六、實施步驟

利用多媒體課件對主要知識點進行講述，并輔以板書詳解，具體如下： 課程引入：

對上次課的重點進行復習，簡單介紹本次課的主要內容。小結：

本次課主要對幅度連續的單個符號信源熵、波形信源熵、最大熵定理進行講解，最后對涉及到的重難點知識進行總結概括。

七、課外學習輔導安排及作業布置 教材P43 2-20

八、其他 無

第次課教案

一、講授內容

第1章 信息論基礎 1.4 信道及其數學模型

二、教學目的及要求

要求學生掌握信道的基本概念，了解信道的分類，掌握信道參數與信道容量的定義及其求解方法。

三、教學重點

信道的基本概念、信道的分類、信道參數與信道容量的定義及其求解方法。

四、教學難點

信道參數與信道容量的定義及其求解方法

五、本講計劃學時及時間分配

計劃2個學時，信道的基本概念。課程導入5分鐘；信道的基本概念闡述10分鐘；信道的分類講授15分鐘；信道參數的概念講解20分鐘；信道容量的定義及其求解方法講授30分鐘；課堂練習及課后習題講解15分鐘，本節課知識點總結5分鐘。

六、實施步驟

利用多媒體課件對主要知識點進行講述，并輔以板書詳解，具體如下： 課程引入：

本章主要討論在什么條件下，通過信道的信息量最大，即所謂的信道容量問題。本章概念和定理也較多，較為抽象，課堂教學時考慮多講述一些例題，著重闡明定理和公式的物理意義，對較為繁瑣的推倒過程做了部分省略。小結：

本次課首先介紹了本章的主要內容，并對3.1小節進行詳細講解，總結其中的重難點。

七、課外學習輔導安排及作業布置 教材P68 3-1

八、其他 無

第次課教案

一、講授內容

第4章 離散信道的信道容量 4.1 信道容量的定義

4.2 離散無記憶信道容量的計算 4.3 組合信道的容量

二、教學目的及要求

要求學生掌握離散單個符號信道及其容量的基本概念，無干擾離散信道、對稱DMC信道、準對稱DMC信道與一般DMC信道的信道容量定義及其求解方法。

三、教學重點

無干擾離散信道、對稱DMC信道、準對稱DMC信道與一般DMC信道的信道容量定義及其求解方法。

四、教學難點

對稱DMC信道、準對稱DMC信道與一般DMC信道的新的容量定義及其求解方法。

五、本講計劃學時及時間分配

計劃2個學時，主講離散單個符號信道及其容量的基本概念。課程導入5分鐘；無干擾離散信道的信道容量闡述15分鐘；對稱DMC信道的信道容量講授25分鐘；準對稱DMC信道的信道容量講解25分鐘；一般DMC信道的信道容量定義及其求解方法講授15分鐘；課堂練習及課后習題講解10分鐘，本節課知識點總結5分鐘。

六、實施步驟

利用多媒體課件對主要知識點進行講述，并輔以板書詳解，具體如下： 課程引入：

信道中存在的干擾使輸出信號與輸入信號之間沒有固定的函數關系，只有統計依賴的關系。因此可以通過研究分析輸入輸出信號的統計特性來研究信道。小結：

本次課主要介紹了離散單個符合信道及其容量的概念，并對無干擾離散信道、對稱DMC信道、準對稱DMC信道與一般DMC信道分別進行詳細講解，總結其中的重難點。

七、課外學習輔導安排及作業布置 教材P68 3-4

第次課教案

一、講授內容

第6章 率失真編碼

6.1 失真測度與平均失真 6.2 信息率失真函數R（D）6.3 率失真函數的計算 6.4 率失真信源編碼定理

二、教學目的及要求

要求學生掌握平均失真和信息率失真函數的基本概念，掌握失真函數的計算、平均失真的計算、信息率失真函數R(D)的計算、信息率失真函數的性質、信息率失真函數與信道容量的比較。

三、教學重點

失真函數的計算、平均失真的計算、信息率失真函數R(D)的計算、信息率失真函數的性質、信息率失真函數與信道容量的比較。

四、教學難點

信息率失真函數R(D)的計算、信息率失真函數的性質、信息率失真函數與信道容量的比較。

五、本講計劃學時及時間分配

計劃2個學時，主講平均失真和信息率失真函數的基本概念。課程導入5分鐘；失真函數的概念及其計算方法講解15分鐘；平均失真的概念與計算方法講授20分鐘；信息率失真函數R(D)的概念與計算方法講解20分鐘；信息率失真函數的性質講授15分鐘；信息率失真函數與信道容量的比較講解10分鐘；課堂練習與習題講解10分鐘；本節課知識點總結5分鐘。

六、實施步驟

利用多媒體課件對主要知識點進行講述，并輔以板書詳解，具體如下： 課程引入：

失真在傳輸中是不可避免的，如何用數學方法來描述失真，并且降低失真顯得格外重要。小結：

本次課主要對失真函數、平均失真、信息率失真函數R(D)、信息率失真函數的性質、信息率失真函數與信道容量的比較分別進行詳細講解，總結其中的重難點。

七、課外學習輔導安排及作業布置 教材P82 4-1

八、其他

第次課教案

一、講授內容

第3章 離散信源無失真編碼 3.1 概述

3.2 等長碼及等長編碼定理

二、教學目的及要求

要求學生了解信源編碼的內容，掌握信源編碼的定義，掌握無失真信源編碼的內容：定長編碼原理、變長編碼原理。

三、教學重點

信源編碼的定義、無失真信源編碼的內容：定長編碼原理、變長編碼原理。

四、教學難點

無失真信源編碼的內容：定長編碼原理、變長編碼原理。

五、本講計劃學時及時間分配

計劃2個學時，主講信源編碼的定義、無失真信源編碼的內容：定長編碼原理、變長編碼原理、最佳編碼原理。課程導入5分鐘；信源編碼的定義講解20分鐘；無失真信源編碼講授20分鐘；定長編碼原理講解20分鐘；變長編碼原理講授20分鐘；課堂練習與習題講解10分鐘；本節課知識點總結5分鐘。

六、實施步驟

利用多媒體課件對主要知識點進行講述，并輔以板書詳解，具體如下： 課程引入：怎樣才能做到盡可能不失真而又快速的傳遞信息呢？首先需要解決一個問題：在不失真或允許一定失真的條件下，如何用盡可能少的符號來傳送信源信息，這就要引入信源編碼。小結：

本次課主要對信源編碼的定義，無失真信源編碼的內容進行詳細介紹，總結其中的重點與難點。

以課堂練習為主，教材P115 5-2

八、其他 無

第次課教案

一、講授內容

第3章 離散信源無失真編碼 3.4 變長碼的編碼方法

二、教學目的及要求

要求學生了解信源編碼的內容，掌握信源編碼的定義，最佳變長編碼以及最佳變長編碼的三種編碼方法：香農（Shannon）編碼；費諾（Fano）編碼；哈夫曼（Huffman）編碼。

三、教學重點

最佳變長編碼以及最佳變長編碼的三種編碼方法：香農（Shannon）編碼；費諾（Fano）編碼；哈夫曼（Huffman）編碼。

四、教學難點

最佳變長編碼以及最佳變長編碼的三種編碼方法：香農（Shannon）編碼；費諾（Fano）編碼；哈夫曼（Huffman）編碼

五、本講計劃學時及時間分配

計劃2個學時，主講信源編碼的定義、無失真信源編碼的第三個內容：最佳變長編碼原理。課程導入5分鐘；信源編碼的定義復習10分鐘；無失真信源編碼復習15分鐘；最佳變長編碼原理以及常用的三種編碼方法：香農（Shannon）編碼；費諾（Fano）編碼；哈夫曼（Huffman）編碼講授50分鐘；課堂練習與習題講解15分鐘；本節課知識點總結5分鐘。

六、實施步驟

利用多媒體課件對主要知識點進行講述，并輔以板書詳解，具體如下： 課程引入：最佳碼：對于某一信源和某一碼符號集來說，若有一唯一可譯碼，其平均碼長K小于所有其他唯一可譯碼的平均長度。為此必須將概率大的信息符號編以短的碼字，概率小的符號編以長的碼字，使得平均碼字長度最短。小結：

本次課主要對最佳變長編碼及實現最佳變長編碼的三種方法進行詳細介紹，總結其中的重點與難點。

以課堂練習為主，教材P115 5-7

八、其他 無

第次課教案

一、講授內容

第3章 離散信源無失真編碼 3.3 變長碼及變長碼編碼定理

二、教學目的及要求

要求學生掌握限失真編碼定理的內容，掌握常用信源編碼的幾種方法：游程編碼、算術編碼、矢量量化、預測編碼、變換編碼。

三、教學重點

限失真編碼定理，常用信源編碼的幾種方法：游程編碼、算術編碼、矢量量化、預測編碼、變換編碼。

四、教學難點

常用信源編碼的幾種方法：游程編碼、算術編碼、矢量量化、預測編碼、變換編碼。

五、本講計劃學時及時間分配

計劃2個學時，主講限失真編碼定理，常用信源編碼的幾種方法：游程編碼、算術編碼、矢量量化、預測編碼、變換編碼。課程導入5分鐘；限失真編碼定理講解20分鐘；常用信源編碼的幾種方法：游程編碼、算術編碼、矢量量化、預測編碼、變換編碼講解55分鐘；課堂練習與習題講解15分鐘；本節課知識點總結5分鐘。

六、實施步驟

利用多媒體課件對主要知識點進行講述，并輔以板書詳解，具體如下： 課程引入：

對上次課的主要知識點進行復習，對本次課的主要內容進行簡單介紹。小結：

本次課主要對限失真編碼定理，常用信源編碼的幾種方法：游程編碼、算術編碼、矢量量化、預測編碼、變換編碼內容進行詳細介紹，總結其中的重點與難點。以課堂練習為主，教材P115 5-14

第次課教案

一、講授內容

第5章 有噪信道編碼 5.1 信道編碼的基本概念 5.2 譯碼規則及錯誤概率 5.3 信道編碼定理

5.4 費諾引理及信道編碼逆定理

二、教學目的及要求

要求學生掌握有擾離散信道的編碼定理，掌握差錯和差錯控制系統分類、矢量空間與碼空間、隨機編碼、信道編碼定理。

三、教學重點

有擾離散信道的編碼定理、差錯和差錯控制系統分類、矢量空間與碼空間、隨即編碼、信道編碼定理。

四、教學難點

差錯和差錯控制系統分類、矢量空間與碼空間、隨機編碼、信道編碼定理。

五、本講計劃學時及時間分配

計劃2個學時，主講有擾離散信道的編碼定理、差錯和差錯控制系統分類、矢量空間與碼空間、隨機編碼、信道編碼定理。課程導入5分鐘；有擾離散信道的編碼定理講解20分鐘；差錯和差錯控制系統分類講解15分鐘；矢量空間與碼空間講授15分鐘；隨機編碼講授15分鐘；信道編碼定理講授15分鐘；課堂練習與習題講解10分鐘；本節課知識點總結5分鐘。

六、實施步驟

利用多媒體課件對主要知識點進行講述，并輔以板書詳解，具體如下： 課程引入：

信道編碼的目的是為了改善通信系統的傳輸質量，對不同類型的信道，要對癥下藥，設計不同類型的信道編碼，才能收到良好效果。小結：

本次課主要對有擾離散信道的編碼定理、差錯和差錯控制系統分類、矢量空間與碼空間、隨機編碼、信道編碼定理內容進行詳細介紹，總結其中的重點與難點。以課堂練習為主，教材P202 6-

1、6-2

八、其他 無

第次課教案

一、講授內容

第7章 線性分組碼

7.1 糾錯碼的基本概念

7.3 線性分組碼的編碼

二、教學目的及要求

要求學生掌握糾錯編碼碼的基本原理與分析方法（糾錯編碼的基本思路）、糾錯譯碼的基本原理與分析方法，譯碼方法——最優譯碼與最大似然譯碼

三、教學重點

糾錯編碼碼的基本原理與分析方法、糾錯譯碼的基本原理與分析方法，譯碼方法——最優譯碼與最大似然譯碼。

四、教學難點

糾錯譯碼的基本原理與分析方法，譯碼方法——最優譯碼與最大似然譯碼。

五、本講計劃學時及時間分配 計劃2個學時，主講糾錯編碼碼的基本原理與分析方法、糾錯譯碼的基本原理與分析方法，譯碼方法——最優譯碼與最大似然譯碼。課程導入5分鐘；糾錯編碼碼的基本原理與分析方法講解25分鐘；糾錯譯碼的基本原理與分析方法講解20分鐘；最優譯碼講授20分鐘；最大似然譯碼講授15分鐘；課堂練習與習題講解10分鐘；本節課知識點總結5分鐘。

六、實施步驟

利用多媒體課件對主要知識點進行講述，并輔以板書詳解，具體如下： 課程引入：

檢錯與糾錯原理：一旦1→0，0→1，接收端無法發現錯誤，插入1位監督碼后具有檢出1位錯碼的能力，但不能予以糾正。在只有1位錯碼的情況下，可以判決哪位是錯碼并予以糾正，可以檢出2位或2位以下的錯碼。小結：

本次課對糾錯編碼碼的基本原理與分析方法、糾錯譯碼的基本原理與分析方法，譯碼方法——最優譯碼與最大似然譯碼內容進行詳細介紹，總結其中的重點與難點。

以課堂練習為主，教材P202 6-12

八、其他 無

第次課教案

一、講授內容

第7章 線性分組碼

7.4 線性碼的糾檢錯能力

7.5 標準陣列和譯碼 7.6 漢明碼

二、教學目的及要求

要求學生掌握線性分組碼的編碼原理，以及線性分組碼的生成矩陣與校驗矩陣、伴隨式與標準陣列譯碼、碼距、糾錯能力、MDC碼及重量譜、完備碼、循環碼、BCH碼與RS碼，了解分組碼的擴展、縮短與循環冗余校驗。

三、教學重點

線性分組碼的生成矩陣與校驗矩陣、伴隨式與標準陣列譯碼、碼距、糾錯能力、MDC碼及重量譜、完備碼、循環碼、BCH碼與RS碼、分組碼的擴展、縮短與循環冗余校驗。

四、教學難點

碼距、糾錯能力、MDC碼及重量譜、完備碼、循環碼、BCH碼與RS碼、分組碼的擴展、縮短與循環冗余校驗。

五、本講計劃學時及時間分配

計劃2個學時，主講線性分組碼的編碼原理與特點。課程導入5分鐘；線性分組碼的生成矩陣與校驗矩陣講解20分鐘；伴隨式與標準陣列譯碼講解15分鐘；碼距、糾錯能力、MDC碼及重量譜講授15分鐘；完備碼、循環碼、BCH碼與RS碼講授25分鐘；分組碼的擴展、縮短與循環冗余校驗講解15分鐘；本節課知識點總結5分鐘。

六、實施步驟

課程引入：對上次課主要知識點進行復習，并對本次課的主要內容進行簡單介紹。小結：

本次課主要對線性分組碼的生成矩陣與校驗矩陣、伴隨式與標準陣列譯碼、碼距、糾錯能力、MDC碼及重量譜、完備碼、循環碼、BCH碼與RS碼，分組碼的擴展、縮短與循環冗余校驗進行詳細介紹，總結其中的重點與難點。以課堂練習為主，教材P202 6-13

八、其他 無

第次課教案

一、講授內容 第9章 卷積碼

9.1 卷積碼基本概念

9.2 卷積碼的數學描述

二、教學目的及要求

要求學生掌握卷積碼的基本概念和描述方法，掌握卷積碼的最大似然譯碼——維比特算法，了解卷積碼的性能與距離特點。

三、教學重點

卷積碼的基本概念和描述方法、卷積碼的最大似然譯碼——維比特算法、卷積碼的性能與距離特點。

四、教學難點

卷積碼的最大似然譯碼——維比特算法、卷積碼的性能與距離特點。

五、本講計劃學時及時間分配 計劃2個學時，主講卷積碼的基本概念和描述方法、卷積碼的最大似然譯碼——維比特算法、卷積碼的性能與距離特點。課程導入5分鐘；卷積碼的基本概念和描述方法講解30分鐘；卷積碼的最大似然譯碼——維比特算法講授35分鐘；分組碼的擴展、卷積碼的性能與距離特點講解15分鐘；課堂練習與習題講解10分鐘；本節課知識點總結5分鐘。

六、實施步驟

課程引入：對上次課主要知識點進行復習，并對本次課的主要內容進行簡單介紹。小結：

本次課主要對卷積碼的基本概念和描述方法、卷積碼的最大似然譯碼——維比特算法、卷積碼的性能與距離特點進行詳細介紹，總結其中的重點與難點。以課堂練習為主，教材P202 6-

16、6-17

八、其他 無第次課教案

一、講授內容

第六章 信道編碼總復習與習題講解

二、教學目的及要求

要求學生掌握有擾離散信道的編碼定理、糾錯編碼和譯碼的基本原理與分析方法、線性分組碼的基本概念的編碼原理，卷積碼的基本概念和描述方劑以及最大似然譯碼原理。

三、教學重點

有擾離散信道的編碼定理、糾錯編碼和譯碼的基本原理與分析方法、線性分組碼的基本概念的編碼原理，卷積碼的基本概念和描述方劑以及最大似然譯碼原理。

四、教學難點

有擾離散信道的編碼定理、糾錯編碼和譯碼的基本原理與分析方法、線性分組碼的基本概念的編碼原理，卷積碼的基本概念和描述方劑以及最大似然譯碼原理

五、本講計劃學時及時間分配 計劃2個學時，主講有擾離散信道的編碼定理、糾錯編碼和譯碼的基本原理與分析方法、線性分組碼的基本概念的編碼原理，卷積碼的基本概念和描述方劑以及最大似然譯碼原理。課程導入5分鐘；有擾離散信道的編碼定理總結15分鐘；糾錯編碼和譯碼的基本原理與分析方法總結20分鐘，線性分組碼的基本概念的編碼原理總結15分鐘；卷積碼的基本概念和描述方劑以及最大似然譯碼原理總結20分鐘；課堂練習及課后習題講解20分鐘，本節課知識點總結5分鐘。

六、實施步驟 課程引入：

由于信道編碼在整個編碼中的地位相當重要，因此對第六章的全部知識點要求做全面總結。第六章總復習：

有擾離散信道的編碼定理；

糾錯編碼和譯碼的基本原理與分析方法； 線性分組碼的基本概念的編碼原理；

卷積碼的基本概念和描述方劑以及最大似然譯碼原理。小結：

本次課主要對有擾離散信道的編碼定理、糾錯編碼和譯碼的基本原理與分析方法、線性分組碼的基本概念的編碼原理，卷積碼的基本概念和描述方劑以及最大似然譯碼原理等第六章的重要知識點進行總復習與習題講解。

七、課外學習輔導安排及作業布置 課堂練習為主，P202 6-

6、6-8

八、其他 無

第四篇：信息論與編碼論文

題 目：

課題論文

信息論在生活中的應用

課程名稱： 信息論與編碼

學 院：

理學院

專 業： 信息與計算科學

年 級：

2010級

姓 名：

郭小兵（1007010210）學生簽名

指導教師：彭長根

2013年4月1日

摘要 隨著計算機技術、通信技術和網絡技術等信息技術的快速發展，信息技術已經成為當今社會應用范圍最廣的高新技術之一。信息論是信息技術的主要理論技術基礎之一，它的一些基本理論在通信、計算機、網絡等工程領域中得到了廣泛的應用。目前，信息論所研究的范疇已經超過了通信及其相近學科，在其他學科應用也很廣泛。

關鍵字：信息論 信息技術

1948年香農在Bell System Technical Journal上發表了《A Mathematical Theory of Communication 》。論文由香農和威沃共同署名。前輩威沃(Warren Weaver，1894-1978)當時是洛克菲勒基金會自然科學部的主任，他為文章寫了序言。后來，香農仍然從事技術工作，而威沃則研究信息論的哲學問題。順便提一句，該論文剛發表時，使用的是不定冠詞A，收入論文集時改為定冠詞The。

這篇奠基性的論文是建立在香農對通信的觀察上，即“通信的根本問題是報文的再生，在某一點與另外選擇的一點上報文應該精確地或者近似地重現”。這篇論文建立了信息論這一學科，給出了通信系統的線性示意模型，即信息源、發送者、信道、接收者、信息宿，這是一個新思想。此后，通信就考慮為把電磁波發送到信道中，通過發送1和0的比特流，人們可以傳輸圖像、文字、聲音等等。今天這已司空見慣，但在當時是相當新鮮的。他建立的信息理論框架和術語已經成為技術標準。他的理論在通信工程師中立即獲得成功，并刺激了今天信息時代所需要的技術發展。

香農考慮的信息源，產生由有限符號組成的詞。它們通過信道進行傳輸，每個符號開銷有限的信道時間。這里涉及到統計學問題，如果xn是第n個符號，它是由固定隨機過程源xn產生的，香農給出一個分析信號誤差序列的方法，它是傳輸系統固有的，可以通過設計相應的控制系統控制它。在這篇論文中，香農首次引入“比特”(bit)一詞，如果在信號中附加額外的比特，就能使傳輸錯誤得到糾正。按照物理學的習慣，把電流單位叫做“安培”，如果給“比特流”一個單位名，那么叫做“香農”是比較合適的。

通信的數學理論是香農在數學與工程研究上的頂峰。他把通信理論的解釋公式化，對最有效地傳輸信息的問題進行了研究。香農的文章立即被世界各國的通信工程師和數學家采用，大家詳細地論述它、擴展它、完善它。這個學科立刻繁榮起來，成為科學史上光輝燦爛的一頁。后來，香農感到由他扮演重要角色而開始與通信革命走得有些過遠。他寫道：“信息理論可能像一個升空的氣球，其重要性超過了它的實際成就”，真是大師的氣魄。

一、信息論與編碼的應用

信息作為一種資源，如何開發、利用、共享是人們普遍關注的問題。信息是信息論中最基本最重要的概念。信息論是應用近代數理統計方法研究信息的傳輸、存儲與處理的科學[1]。其基本任務是為設計有效而可靠的通信系統提供理論依據，主要特點是理論的成功應用，主要體現在信息論在數據壓縮、密碼學、統計及信號處理中的應用。

1.1信息論在數據壓縮理論中的應用

數據壓縮的主要目的是力求用最少的數據表示信源所發出的信號，使信號占用的存儲空間盡可能小，以達到提高信息傳輸速度的目的。數據壓縮在近代信息處理問題中有大量的應用，無論在數據存儲或傳送中，通過數據壓縮不僅可以大大節省資源利用的成本，而且把一些原來無實用意義的技術，如多媒體技術中的一些問題，達到具有實用意義的標準。

數據壓縮作為信息論研究中的一項內容，主要是有關數據壓縮比和各種編碼方法的研究，即按某種方法對源數據流進行編碼，使得經過編碼的數據流比原數據流占有較少的空間。其中基于符號頻率統計的哈夫曼編碼效率高，運算速度快，實現方式靈活，使得其在數據壓縮領域得到了廣泛的應用。

數據壓縮技術的不斷完善是依靠在信息論這門學科的成長上的，信息能否被壓縮以及能在多大程度上被壓縮與信息的不確定性有直接的關系，人工智能技術將會對數據壓縮的未來產生重大影響。

1.2信息論在密碼學中的應用

密碼學是研究編制密碼和破譯密碼的技術科學。從傳統意義上來說，密碼學是研究如何把信息轉換成一種隱蔽的方式并阻止其他人得到它。密碼術的研究和應用雖有很長的歷史，但在信息論誕生之前，它還沒有系統的理論，直到香農發表的保密通信的信息理論一文，為密碼學確立了一系列的基本原則與指標，如加密運算中的完全性、剩余度等指標，它們與信息的度量有著密切相關。之后才產生了基于信息論的密碼學理論，所以說信息論與密碼學的關系十分密切。

近代密碼學由于數據加密標準與公鑰體制的出現與應用，使近代密碼學所涉及的范圍有了極大的發展，尤其是在網絡認證方面得到廣泛應用，但其中的安全性原理與測量標準仍未脫離香農保密系統所規定的要求，多種加密函數的構造，如相關免疫函數的構造仍以香農的完善保密性為基礎。

1.3信息論在數字移動通信系統中的應用

數字移動通信系統主要包含編碼和譯碼兩種技術。移動信道是最復雜的一種信道，為了保證在不利的條件下接受信號的傳輸質量，就必須采用各種抗衰落技術和數字傳輸技術，如分集技術、擴頻技術、均衡、交織和糾錯編碼等。

TD-SCDMA采用了3種信道編碼方案以提高信息在無線信道上的傳輸的可靠性，它們分別是卷積編碼、Turbo編碼和不編碼。

1.4信息論在統計中的應用

信息論在統計中的應用一般指信息量在統計中的應用，也有編碼定理與碼結構在統計中的應用等問題。由于統計學研究的問題日趨復雜，如統計模型從線性到非線性，統計分布從單一分布到混合分布，因此信息量在統計中的作用日趨重要，在許多問題中以信息量作為它們的基本度量。

在統計領域里，統計計算技術近年來發展很快，它使許多統計方法，尤其是Bayes統計得到廣泛的運用。信息與統計相結合的其他典型問題還很多，如假設檢驗中的兩類誤差估計問題，試驗設計問題，信息量在有效估計中的應用問題等，這些問題已使信息論與統計學想成相互推動發展的局面。

[2]1.5編碼技術在調制解調技術中的應用 在上個世紀80到90年代，信息編碼理論應用的兩項重大成果是：調制解調理論及數據壓縮理論在多媒體技術領域的應用。調制解調碼的出現從根本上改變了數據通信的狀況，使調制解調碼通信速度從原來的1200bit/s逐步增加到30000bit/s。我們可以簡單計算得知，調制解調碼大大提高了數據傳輸速度，提高了25倍，從而使現有的網絡通信成為實用性的技術。

1.6編碼技術在快速通信領域中的應用

編碼理論在快速通信技術中已得到了大量的應用，通信技術已從低速向高速發展，通信手段正向微波、衛星等方向發展，因此誤差干擾問題突現出來，利用糾錯碼可大大降低通信中的差錯率。在20世紀70到80年代的代數碼，如BCH碼、R-S碼等為克服誤差干擾發揮了重要作用，成為通信工程不可缺少的一個組成部分。

1.7信息論在其他領域中的應用

現今時代信息科學飛速發展，信息論已跨越了通信領域，在其他領域也得到了廣泛應用。信息論不僅在計算機、自動控制等方面突現作用，還開始涉及到物理學、化學、生物學、心理學、醫學、經濟學、人類學、語言學、統計學和管理學等學科。

比如信息論在水資源系統工程中可以利用信息論的方法建立模型推到降水、儲水量等分布的問題。在建筑工程故障診斷中信息論也得到了應用，它用熵的概念對所測量的數據進行處理和誤差分析。另外，信息論也能在作戰效能評估中得到應用研究，我們可以從信息的不確定性著手評估其作戰效能。我們不難看出，信息論在很多領域都有所應用。

二、信息論與編碼技術的應用前景

隨著Turbo碼的研究發展，在3G移動通信系統設計中Turbo碼以及Turbo思想越來越多地被用于和其他技術的結合上。例如在CDMA中，由于Turbo碼編碼中使用交織，可以通過分散信息碼元的位置降低擴頻碼間的相關性。實現時將Turbo碼與DS—CDMA系統的擴頻編碼結合起來。接收端先通過匹配濾波器分離出各用戶的接收信息，再根據信道模型計算出傳遞條件概率進行解擴，經過分支概率產生器后得到各個用戶接收信息的后驗概率，分別送入相應的Turbo碼譯碼器，每個譯碼器得到一個軟判決輸出和一個的可能性和超過這個最大值時的傳輸問題；構造性的編碼方法以及這些方法能達到的性能界限。

編碼方法在離散信道中一般用代數碼形式，其類型有較大發展，各種界限也不斷有人提出，但尚未達到編碼定理所啟示的限度，尤其是關于多用戶信道，更顯得不足。在連續信道中常采用正交函數系來代表消息，這在極限情況下可達到編碼定理的限度。只有無記憶單用戶信道和多用戶信道中的特殊情況的編碼定理已有嚴格的證明，其它信道也有一些結果，但尚不完善。

信息論出現已有30年,并已發展成為一門獨立的理論科學,這是由于通訊的理論與工程領域內存在大量積累起來的各方面知識等待綜合,另一方面,又有著日益復雜的各種通訊控制等問題要求有適當的方法去解決。也就是說,由于人類生產斗爭的實踐活動,達到一定的歷史階段,而形成相應的學科。隨著信息論學科的發展,又更深刻地預見和指導著通訊與其他工程技術領域的發展。

信息論的作用,同其他任何總結性的理論學科一樣,是以一般的形式提出和解決基本問題。它不僅可以用來探討過去在通訊工程領域中獲得的成就,而且可以指出在發展方向中應注意的問題。很多情況下,信息論可以明確指出: 哪些指標是可以達到的,哪些是無法達到的，這為我們的生產實踐提供了科學依據。

三、結束語

信息論發展起來以前, 人們對信息系統的理解是比較膚淺的。而現今，隨著信息科學的不斷發展，信息論的研究, 已與很多近代學科是密切相關的：如通訊、雷達、聲納、導航、遙測、遙控、遙感、自動控制、計算機、信息處理技術、控制論以及應用數學、物理學、邏輯學、生物學、心理學、語言學、語音學、仿生學等。

本文主要介紹信息論與編碼的應用與發展前景，同時簡介傳統編碼方法與現化編碼的不同，編碼技術在通信技術中的應用及其發展為主。通過這篇學習心得，可以看出，信息論與編碼技術在不斷創新發展，使其更能為我們所用，在更多的領域得到應用和發展。而我們人類在不停地在揭示自然界無窮奧妙的同時，也可以利用這些奧妙造幸于我們。

【參考文獻】

[1] 曹雪虹，張宗橙．信息論與編碼[M]．北京：清華大學出版社．2004． [2] 沈世鎰，吳忠華．信息論基礎與應用[M]．北京：高等教育出版社．2004． [3] 隋曉紅，王艷營．信息論與編碼[M]．北京：北京大學出版社.2010 [4] 傅祖蕓.信息論—基礎理論與應用[M]．北京：電子工業出版社．2004． [5] 張珊珊.信息論的應用[J]．大眾科技，143（7）：45-46.2011.[6] 維芬，云娜.信息論基本問題簡述[J]．信息與控制，34（1）：7-9.1978.[7] 盧侃.從Shannon信息論到認知信息論[J]．哈爾濱工程大學學報，32（8）：1063-1065.2011

第五篇：信息論編碼論文

信息論

信息論與編碼

信息論概述：

信息論是運用概率論與數理統計的方法研究信息傳輸和信息處理系統中一般規律的新興學科。核心問題是信息傳輸的有效性和可靠性以及兩者間的關系。

信息論作為一門科學理論，發端于通信工程。它具有廣義和狹義兩個概念：

狹義信息論是應用統計方法研究通訊系統中信息傳遞和信息處理的共同規律的科學，即研究概率性語法信息的科學；

廣義信息論是應用數學和其他有關科學方法研究一切現實系統中信息傳遞和處理、信息識別和利用的共同規律的科學，即研究語法信息、語義信息和語用信息的科學。

信息是事物及其屬性標識的集合。

信息就是信息，信息是物質、能量、信息及其屬性的標示。

信息是確定性的增加。即肯定性的確認。

當我們使用一個數據庫時，總希望數據庫的內容是可靠的、正確的，但由于計算機系統的故障（包括機器故障、介質故障、誤操作等），數據庫有時也可能遭到破壞，這時如何盡快恢復數據就成為當務之急。如果平時對數據庫做了備份，那么此時恢復數據就顯得很容易。由此可見，做好數據庫的備份是多么的重要，下面筆者就以ORACLE7為例，來講述一下數據庫的備份和恢復。ORACLE 數據庫有三種標準的備份方法，它們分別為導出/導入（EXPORT/IMPORT）、冷備份、熱備份。導出備份是一種邏輯備份，冷備份和熱備份是物理備份。

信息論形成和發展：

人們對于信息的認識和利用，可以追溯到古代的通訊實踐。中國古代的“烽燧相望”和古羅馬地中海諸城市的“懸燈為號”，可以說是傳遞信息的原始方式。隨著社會生產的發展，科學技術的進步，人們對傳遞信息的要求急劇增加。到了20世紀20年代，如何提高傳遞信息的能力和可靠性已成為普遍重視的課題。美國科學家N.奈奎斯特、德國K.屈普夫米勒、前蘇聯A.H.科爾莫戈羅夫和英國R.A.賽希爾等人，從不同角度研究信息，為建立信息論作出很大貢獻。1948年，美國數學家C.E.香農(被稱為是“信息論之父”)出版《通信的數學理論》，1949年發表《噪聲中的通信》，從而奠定了信息論的基礎。20世紀70年代以后，隨著數學計算機的廣泛應用和社會信息化的迅速發展，信息論正逐漸突破香農狹義信息論的范圍，發展為一門不僅研究語法信息，而且研究語義信息和語用信息的科學。它的建立是人類認識的一個飛躍。世界上各種事物都是充滿矛盾不斷發展的，物質的運動主要是靠內部矛盾運動所產生的能量，而事物之間的普遍聯系則靠的是信息。信息是關于事物的運動狀態和規律，而信息論的產生與發展過程，就是立足于這個基本性質。信息論迅速滲透到各個不同學科領域，但還不夠完善。為了適應科學技術發展的需要，迎接信息化社會的到來，一門新的科學正在迅速興起，這就是廣義信息論，或者叫做信息科學。信息科學是由信息論、控制論、計算機、人工智能和系統論等相互滲透、相互結合而形成的一門新興綜合性學科。信息科學登上現代科技舞臺，與能量科學、材料科學鼎足而立，將為科學技術的發展作出貢獻。

信息論

信息論內容：

信息論內容包括信息熵、信源編碼、信道編碼、信道容量、信息失真率理論、信號檢測和估計等。

信息量：

信息的度量是信息論研究的基本問題之一。對于應用范圍如此廣泛的信息提出一個統一的度量是困難的。美國數學家C.E.香農在1948年提出信息熵作為信息量的測度。根據人們的實踐經驗，一個事件給予人們的信息量多少，與這一事件發生的概率(可能性)大小有關。一個小概率事件的發生，如“唐山發生七級以上大地震”使人們感到意外，它給人們的信息量就很多。相反一個大概率事件的出現，如“12月15日北京未下雪”給人們的信息量就很少。因此,用I(A)=-logP(A)〔P(A)表示事件A發生的概率〕來度量事件A給出的信息量，稱為事件A的自信息量。若一次試驗有M個可能結果(事件)，或一個信源可能產生M個消息（事件）, 它們出現的概率分別為，則用來度量一次試驗或一個消息所給出的平均信息量。當對數取 2為底時,單位為比特；當對數取e為底時,則單位為奈特。H的表達式與熵的表達式差一個負號，故稱負熵或信息熵。

信息傳輸模型：

信息傳輸系統主要由信源、信道和信宿組成，下圖為信息傳輸系統的基本模型。信源是產生消息的系統。信宿是接受消息的系統，信道則是傳輸消息的通道。圖中編碼器、譯碼器的作用是把消息變換成便于傳輸的形式。

信源編碼：

信源是產生消息（包括消息序列）的源。消息通常是符號序列或時間函數。例如電報系

信息論

統中的消息是由文字、符號、數字組成的報文（符號序列），稱為離散消息。電話系統中的消息是語聲波形(時間函數)，稱為連續消息。消息取值服從一定的統計規律。因此,信源的數學模型是一個在信源符號集中取值的隨機變量序列或隨機過程。信源編碼器將消息變換為一個數字序列(通常為二進制數字序列)。在離散情形,若信源產生M個可能消息,它們出現的概率分別為，每個消息由N個信源符號組成,便可取信源編碼與數字序列一一對應。第i個消息對應的數字序列長(數字個數)為li，li相等的稱等長編碼，否則稱變長編碼。定義為編碼速率，它表征平均每個信源符號要用多少個數字來表示。若取信源譯碼器為信源編碼器的逆變換器，則在無噪信道(信源編碼器的輸出即為信源譯碼器的輸入)情況下，消息可以正確無誤地傳送。這時信源編碼問題是要找出最小的速率R及其相應的編碼。已經證明,對于相當廣泛的信源類,當N可以任意大時這個最小極限速率，稱為信源的熵率,是信源的一個重要參數。對于固定的N,最優編碼就是赫夫曼編碼。在連續消息的情形，信息編碼器不可能使消息與數字序列一一對應，因此譯碼也不是編碼的逆變換。通常的方法是先對連續消息進行采樣和量化，變為離散消息，再將離散消息變換為數字序列。信源譯碼器先將數字序列逆變換為離散消息，再用內插法求得連續消息。這樣一來，即使在無噪信道的情況下，發送消息與接收消息之間也會產生誤差，稱為消息失真。可以用一個非負函數d(u，v)來度量消息 u，v之間的失真大小。這時信源編碼問題是在保證平均失真不超過給定允許極限D 的條件下找出最小速率R 及其相應編碼。求解這一問題導致熵推廣到失真率函數，信源編碼的失真率理論因而得到發展。

信道編碼：

信道是傳輸信息的媒質或通道，如架空明線、同軸電纜、射頻波束、光導纖維等。有時為研究方便將發送端和接收端的一部分如調制解調器也劃歸信道。信息論把信息傳送過程中受各種干擾的影響都歸入信道中考慮。根據干擾的統計特性,信道有多種模型。最簡單的是離散無記憶恒參信道，它可以用信道入口符號集X、出口符號集Y和一組條件概率P(y|x)(x∈X，y∈Y)來描述。若信道輸入信號x＝(x1,x2,?,xN),則相應的輸出(受擾)信號y＝(y1,y2,?,yN)出現的概率為信道編碼器將數字序列每K個一組變換為字長N 的信號（碼字），稱為分組編碼。若數字和信道符號都是二進制的(可用0,1表示)，則R＝K/N 定義為編碼速率，它表明每個信道符號表示多少個數字。N-K 稱為編碼冗余度。信道編碼(糾錯編碼)的基本思想就是增加冗余度以提高可靠性。更確切地說，信道譯碼器可以利用編碼冗余度將受擾信號變換為正確的發送數字序列。重復編碼乃一簡例。信道編碼器將輸入數字重復三次, 如將01011變換為***。信道譯碼器可用門限譯碼，即先將輸入譯碼器的信道符號每三個一組地相加，再將結果逐個與閾值 2比較,小于閾值2的譯為0,否則譯為1。這樣若受擾信號***雖然錯了 5個符號,但譯碼仍為01011與發送數字序列完全相同。信息論得出的重要結論是:對于一個有噪信道,只要在信道編碼中引入足夠而有限的冗余度，或等價地說編碼速率足夠小，就

信息論

能通過信道漸近無誤地傳送消息。更確切地說，對充分長的數字序列，其接收錯誤概率可以任意小。信道編碼問題是要找出使信道漸近無誤地傳輸消息所能達到的最大編碼速率R和相應的編碼。已經證明，對于離散無記憶恒參信道，這個最大極限編碼速率為它是對X上一切概率分布 p取極大值。p為信道轉移概率(條件概率)，的重要參數。

。稱為交互信息；C 稱為信道容量，是信道信道編碼概論：

通過信道編碼器和譯碼器實現的用于提高信道可靠性的理論和方法。信息論的內容之一。信道編碼大致分為兩類 ：①信道編碼定理，從理論上解決理想編碼器、譯碼器的存在性問題，也就是解決信道能傳送的最大信息率的可能性和超過這個最大值時的傳輸問題。②構造性的編碼方法以及這些方法能達到的性能界限。編碼定理的證明，從離散信道發展到連續信道，從無記憶信道到有記憶信道，從單用戶信道到多用戶信道，從證明差錯概率可接近于零到以指數規律逼近于零，正在不斷完善。編碼方法，在離散信道中一般用代數碼形式，其類型有較大發展，各種界限也不斷有人提出，但尚未達到編碼定理所啟示的限度，尤其是關于多用戶信道，更顯得不足。在連續信道中常采用正交函數系來代表消息，這在極限情況下可達到編碼定理的限度。不是所有信道的編碼定理都已被證明。只有無記憶單用戶信道和多用戶信道中的特殊情況的編碼定理已有嚴格的證明；其他信道也有一些結果，但尚不完善。

數字信號在傳輸中往往由于各種原因，使得在傳送的數據流中產生誤碼，從而使接收端產生圖象跳躍、不連續、出現馬賽克等現象。所以通過信道編碼這一環節，對數碼流進行相應的處理，使系統具有一定的糾錯能力和抗干擾能力，可極大地避免碼流傳送中誤碼的發生。誤碼的處理技術有糾錯、交織、線性內插等。

提高數據傳輸效率，降低誤碼率是信道編碼的任務。信道編碼的本質是增加通信的可靠性。但信道編碼會使有用的信息數據傳輸減少，信道編碼的過程是在源數據碼流中加插一些碼元，從而達到在接收端進行判錯和糾錯的目的，這就是我們常常說的開銷。這就好象我們運送一批玻璃杯一樣，為了保證運送途中不出現打爛玻璃杯的情況，我們通常都用一些泡沫或海棉等物將玻璃杯包裝起來，這種包裝使玻璃杯所占的容積變大，原來一部車能裝5000各玻璃杯的，包裝后就只能裝4000個了，顯然包裝的代價使運送玻璃杯的有效個數減少了。同樣，在帶寬固定的信道中，總的傳送碼率也是固定的，由于信道編碼增加了數據量，其結果只能是以降低傳送有用信息碼率為代價了。將有用比特數除以總比特數就等于編碼效率了，不同的編碼方式，其編碼效率有所不同。

數字電視中常用的糾錯編碼，通常采用兩次附加糾錯碼的前向糾錯（FEC）編碼。RS編碼屬于第一個FEC，188字節后附加16字節RS碼，構成（204，188）RS碼，這也可以稱為外編碼。第二個附加糾錯碼的FEC一般采用卷積編碼，又稱為內編碼。外編碼和內編碼結合一起，稱之為級聯編碼。級聯編碼后得到的數據流再按規定的調制方式對載頻進行調制。

前向糾錯碼（FEC）的碼字是具有一定糾錯能力的碼型，它在接收端解碼后，不

信息論

僅可以發現錯誤，而且能夠判斷錯誤碼元所在的位置，并自動糾錯。這種糾錯碼信息不需要儲存，不需要反饋，實時性好。所以在廣播系統（單向傳輸系統）都采用這種信道編碼方式。

下面是糾錯碼的各種類型:

1、RS編碼

RS碼即里德-所羅門碼，它是能夠糾正多個錯誤的糾錯碼，RS碼為（204，188，t=8），其中t是可抗長度字節數，對應的188符號，監督段為16字節(開銷字節段）。實際中實施（255，239，t=8）的RS編碼，即在204字節（包括同步字節）前添加51個全“0”字節，產生RS碼后丟棄前面51個空字節，形成截短的（204，188）RS碼。RS的編碼效率是：188/204。

2、卷積碼

卷積碼非常適用于糾正隨機錯誤，但是，解碼算法本身的特性卻是：如果在解碼過程中發生錯誤，解碼器可能會導致突發性錯誤。為此在卷積碼的上部采用RS碼塊，RS碼適用于檢測和校正那些由解碼器產生的突發性錯誤。所以卷積碼和RS碼結合在一起可以起到相互補償的作用。卷積碼分為兩種：

(1)基本卷積碼:

基本卷積碼編碼效率為，η＝1/2, 編碼效率較低,優點是糾錯能力強。

(2)收縮卷積碼:

如果傳輸信道質量較好，為提高編碼效率，可以采樣收縮截短卷積碼。有編碼效率為：η＝1/

2、2/

3、3/

4、5/

6、7/8這幾種編碼效率的收縮卷積碼。

編碼效率高，一定帶寬內可傳輸的有效比特率增大,但糾錯能力越減弱。

3、Turbo碼

1993 年誕生的Turbo 碼，單片Turbo 碼的編碼/解碼器，運行速率達40Mb/s。該芯片集成了一個32×32 交織器，其性能和傳統的RS 外碼和卷積內碼的級聯一樣好。所以Turbo碼是一種先進的信道編碼技術，由于其不需要進行兩次編碼，所以其編碼效率比傳統的RS+卷積碼要好。

4、交織

在實際應用中，比特差錯經常成串發生，這是由于持續時間較長的衰落谷點會影響到幾個連續的比特，而信道編碼僅在檢測和校正單個差錯和不太長的差錯串時才最有效（如RS只能糾正8個字節的錯誤）。為了糾正這些成串發生的比特差錯及一些突發錯誤，可以運用交織技術來分散這些誤差，使長串的比特差錯變成短串差錯，從而可以用前向碼對其糾錯，例如：在DVB-C系統中，RS(204,188)的糾錯能力是8個字節，交織深度為12，那么糾可抗長度為8×12＝96個字節的突發錯誤。

實現交織和解交織一般使用卷積方式。

交織技術對已編碼的信號按一定規則重新排列，解交織后突發性錯誤在時間上被分散，使其類似于獨立發生的隨機錯誤，從而前向糾錯編碼可以有效的進行糾錯，前向糾錯碼加交積的作用可以理解為擴展了前向糾錯的可抗長度字節。糾錯能力強的編碼一般要求的交織深度相對較低。糾錯能力弱的則要求更深的交織深度。

下圖是交織的原理圖：

一般來說，對數據進行傳輸時，在發端先對數據進行FEC編碼，然后再進行交積處理。在收端次序和發端相反，先做去交積處理完成誤差分散，再FEC解碼實現數據糾錯。另外，從上圖可看出，交積不會增加信道的數據碼元。

根據信道的情況不同，信道編碼方案也有所不同，在DVB-T里由于由于是無線信道且存在多徑干擾和其它的干擾，所以信道很“臟”，為此它的信道編碼是：RS＋外交積＋卷積

信息論

碼＋內交積。采用了兩次交積處理的級聯編碼，增強其糾錯的能力。RS作為外編碼，其編碼效率是188/204（又稱外碼率），卷積碼作為內編碼，其編碼效率有1/

2、2/

3、3/

4、5/

6、7/8五種（又稱內碼率）選擇，信道的總編碼效率是兩種編碼效率的級聯疊加。設信道帶寬8MHZ，符號率為6.8966Ms/S，內碼率選2/3，16QAM調制，其總傳輸率是27.586Mbps,有效傳輸率是27.586*(188/204)*(2/3)=16.948Mbps,如果加上保護間隔的插入所造成的開銷，有效碼率將更低。

在DVB-C里，由于是有線信道，信道比較“干凈”，所以它的信道編碼是：RS＋交積。一般DVB-C的信道物理帶寬是8MHZ，在符號率為6.8966Ms/s，調制方式為64QAM的系統，其總傳輸率是41.379Mbps,由于其編碼效率為188/204，所以其有效傳輸率是41.379*188/204=38.134Mbps。

在DVB-S里，由于它是無線信道，所以它的信道編碼是：RS＋交積＋卷積碼。也是級聯編碼。

參考文獻

1)2)3)4)5)6)李立萍，張明友．信息論導引．成都：電子科技大學出版社，2005。田寶玉．工程信息論．北京：北京郵電大學出版社，2004。朱雪龍．應用信息論基礎．北京：清華大學出版社，2000。李建東，王永茂，胡林敏．最大熵原理及其應用．信息科學。王 棟，朱元甡．最大熵原理在水文水資源科學中的應用．水科學進展，2001，12(3)。[6]董偉民等．最大熵原理在地震重現關系上的應用．地震工程與工程程動，1983，3(4)。

7)馮利華，李鳳全．基于最大熵原理的災害損失分析．數學的實踐與認識，2005，35(8)。