第一篇：科研與教學相互促進,提升信息論與編碼課程教學質量

科研與教學相互促進，提升信息論與編碼課程教學質量

摘要：促進科研和信息論與編碼課程課堂教學和實踐教學環節相結合，以科研成果豐富信息論與編碼課程教學內容，以創新課題培養學生通信工程實踐能力。通過科研教學相互促進，努力提升信息論與編碼課程教學質量和人才培養質量。關鍵詞：信息論；編碼理論；創新課題；教學質量

信息論與編碼理論是在長期通信工程實踐和理論研究基礎上發展起來的，闡釋的信息傳輸、處理、存儲和控制規律的學科。信息論為編碼提供理論基礎，編碼在信息論的基礎上指導工程實踐，二者理論上前后相承。它的主要目的是提高通信系統的可靠性、穩定性、有效

[1]性和認證性，以便達到通信系統的最優化。國內高等院校，特別是與信息技術相關的學科，如通信工程、信息工程、信息與計算等專業，紛紛開設信息論與編碼課程。信息論與編碼課程不僅涉及到通信方面的基礎專業知識，而且還運用了理工科學生所學的大部分數學知識，包括概率論、隨機過程與數理統計等。學生在學習過程中顯得非常抽象和接收非常困難。導致學生形成畏難情緒，學習積極性受挫。如何將科學研究和信息論與編碼課程課教學有機結合起來，使科研促教學，教學助科研，推動教學與科研共同發展，是提高信息論與編碼課程

[2,3]教學質量和本科生人才培養質量的重要命題。

一、以科研促進課堂教學，提升應用型人才培養質量

目前，信息論與編碼課程基本承襲以理論教學為主的傳統教育觀念，在面向本科生進行教學時存在公式推導過多、理論性過強等問題。研究發現，講授過程中，如果不能具體聯系實際中的應用，學生容易因為內容枯燥，弄不清該課程的學習目的而失去學習興趣。同時，如果教師的理論講解占據課堂絕大多數時間，非常容易造成讓學生感覺到就是理論課，沒什么用處。

為了解決這些問題, 我們在信息論與編碼課程教學過程中，注重基本概念和基礎理論，突出對主要定理的理解，適當簡化甚至省略那些繁瑣枯燥的數學定理證明過程。香農信息論是課程的核心內容，其中無失真變長信源編碼定理、有噪信道編碼定理和保真度準則下的限失真信源編碼定理等定理是教學主線。基于這些定理，可以將教學內容分成基本概念、信源、信道、信源編碼和信道編碼等五大部分。在完成基本概念的教學后，要求學生圍繞信息論與編碼理論及其應用，進行文獻搜集和閱讀，了解信息領域的尖端技術，然后指導學生撰寫文獻綜述報告。以此來增強學生對本學科的了解和對本學科的興趣。

我們在信息論與編碼課程教學過程中，讓學生了解科研中的思路、方法和對策，讓學生參與科研項目中的一些簡單編程任務。例如讓學生用matlab或C語言，來編寫程序，實現自適應Huffman編碼。在設計基于ARM920T的網絡攝像視頻監控系統中，攝像頭獲取的模擬視頻信號要經過TLC5510A芯片進行A/D轉換，再經過MB86H56芯片中的壓縮軟件H264壓縮。這樣不僅可以提高課堂教學對學生的吸引力，也可以拓寬學生視野和開啟學生的創新意識。對教師而言，由于科研是自己親力親為，對過程理解透徹和體會深刻。因此，講起來會有聲有色，可以很好的和書本中的理論知識融合。

[作者簡介]：文國知(1973-),男，湖北省羅田縣人，博士。長期從事信號處理與控制，檢測等方面的一線教學科研。Email: wwenguozhi@163.com 投稿：中國科教創新導刊

二、科研成果進課堂，豐富教學內容和培養學生工程分析能力 另一方面，信息理論和編碼技術是在不斷發展的，在課堂教學中適量融入具體的、最新的科研成果，讓科研的新動態反映到教學之中。像Turbo碼、LDPC碼、多天線MIMO系統、稀疏編碼和壓縮感知編碼技術等。在講授這些新技術時，不從理論上作過多分析，重點講述新技術的用途和影響。

比如Turbo碼，在CDMA系統多用戶檢測中，將Turbo碼及SCCC碼結合，通過更新、交換外部信息，可以使其達到單用戶的性能[4]。在DS-CDMA系統中，利用Turbo碼輸出信息反饋給多用戶作先驗信息，可以增強多用戶的性能[5]。以承載多媒體業務為目的的第三代移動通信(IMT-2000)，Turbo碼是其信道編碼方案之一。在宇航和衛星通信領域，Turbo碼為其核心技術。Turbo碼能使宇航飛行器和衛星發射信號的功率極大降低，同時又使接收性能提高。在高清晰度數字電視的傳輸系統中，Turbo碼也被看好。它能使大量的數字信號準確無誤地傳輸，真正做到高清晰度。比如壓縮感知技術利用信號稀疏的可壓縮性進行采樣，突破了奈奎斯特抽樣定理的限制，已被應用到超光譜成像、地理數據分析、雷達和通信領域。

通過多方面介紹信息理論和編碼技術，可以幫助學生對這些技術原理有更好的認知和理解，而且有利于培養學生的科學和工程思維方法、價值觀和創新精神，也是應對知識高速更新的舉措，在興趣的驅使下學生就會樂于探尋新的知識。

三、科研成果進實踐教學，讓學生獲得理論的實際訓練機會

信息論與編碼是一門理論和實踐緊密結合的課程。將科研工作與學生的信息論與編碼實踐教學有機結合，可以達到培養從事信息技術研究和開發的應用型人才的目的。我們長期致力于電子信息綜合實驗室的建設，一些大型設備，如程控電話，通信原理綜合實驗平臺等，可以讓學生對信息的產生、傳輸和處理規律等進行驗證。有些小型設備，老師可以提出研發思路，指導學生來完成。如光電報警器，光電編碼器，網絡攝像視頻監控系統，智能小車等。同時，在信息仿真實驗室，開發一些設計簡單有效而學生通過一定努力就能完成的實驗。比如利用C語言或Matlab對給定離散信源進行Shannon編碼，Fano編碼，Huffman編碼，游程編碼和冗余位編碼，實現線性分組碼的編碼譯碼，計算離散信源熵，計算信道容量等。鼓勵學生對常用VCD，DVD等格式的視頻信號編碼進行仿真。通過比較各種不同的編程方法與理論仿真結果，可以激發學生的學習熱情。

實踐教學是高等教育教學體系中實現人才培養目標的重要環節。科研進課堂教學和讓學生參與科研工作，不僅使課堂教學更豐富多彩，使學生的理論知識更扎實，更能培養學生創新能力、實踐能力和思維能力，使學生的綜合素質得到極大的提高。參考文獻

[1] 傅祖蕓，趙建中編著.信息論與編碼[M](第1版).北京：電子工業出版社，2006.[2] 郎東格，包妍.信息論與編碼教學改革的探討[J].中國電力教育，2010(34): 72~73.[3] 沈希忠.信息論與編碼教學改革[J].中國科教創新導刊.2012(11): 186~187.[4] Z.L.Qin, K.E.Gunawan.Iterative multiuser detection for asynchronous CDMA with concatenated convolutional coding [J].IEEE J.Select.Areascommun.2001, 19(9): 1784~1791.[5] J.M.Hsu, C.L.Wang.A low complexity iterative multiuser receiver for turbo-coded DS-CDMA system.[J].IEEE J.Select.Areascommun.2001, 19(9): 1775~1782.

第二篇：信息論與編碼

信息論與編碼的應用

信息論是信息科學的主要理論基礎之一，它是在長期通信工程實踐和理論基礎上發展起來的。信息論是應用概率論、隨機過程和數理統計和近代代數等方法，來研究信息的存儲、傳輸和處理中一般規律的學科。它的主要目的是提高通信系統的可靠性、有效性和安全性，以便達到系統的最優化。編碼理論與信息論緊密關聯，它以信息論基本原理為理論依據，研究編碼和譯碼的理論知識和實現方法。【關鍵詞】信息論 電子信息工程 通信 網絡

一、信息論應用

人類社會的生存和發展無時不刻都離不開信息的獲取、傳遞、再生、控制和利用。信息論正式一門把信息作為研究對象的科學，以揭示信息的本質特性和規律為基礎，應用概率論。隨機過程和樹立統計等方法來研究信息的存儲、傳輸、處理、控制和利用。它主要研究如何提高信息系統的可靠性、有效性、保密性和認證性，以使信息系統最優化。許多 科學技術問題（如無線電通訊、電視、遙測、圖像和聲音識別等）都必須以信息論為理論指 導才能很好地解決。信息論的研究對象又可以是廣義的信息傳輸和信息處理系統。從最普通 的電報、電話、傳真、電視、雷達、聲納, 一直到各類生物神經的感知系統, 以及大到人類社會系統,可以用同一的信息論觀點加以闡述, 都可以概括成某種隨機過程或統計學的數學模型加以深入研究。例如信息論在一下幾個方面都得到了廣泛的應用。

信息論在數據壓縮理論中的應用

數據壓縮的主要目的是力求用最少的數據表示信源所發出的信號，使信號占用的存儲空間盡可能小，以達到提高信息傳輸速度的目的。數據壓縮在近代信息處理問題中有大量的應用，無論在數據存儲或傳送中，通過數據壓縮不僅可以大大節省資源利用的成本，而且把一些原來無實用意義的技術，如多媒體技術中的一些問題，達到具有實用意義的標準。

數據壓縮作為信息論研究中的一項內容，主要是有關數據壓縮比和各種編碼方法的研究，即按某種方法對源數據流進行編碼，使得經過編碼的數據流比原數據流占有較少的空間。其中基于符號頻率統計的哈夫曼編碼效率高，運算速度快，實現方式靈活，使得其在數據壓縮領域得到了廣泛的應用。

數據壓縮技術的不斷完善是依靠在信息論這門學科的成長上的，信息能否被壓縮以及能在多大程度上被壓縮與信息的不確定性有直接的關系，人工智能技術將會對數據壓縮的未來產生重大影響。

信息論在密碼學中的應用

密碼學是研究編制密碼和破譯密碼的技術科學。從傳統意義上來說，密碼學是研究如何把信息轉換成一種隱蔽的方式并阻止其他人得到它。密碼術的研究和應用雖有很長的歷史，但在信息論誕生之前，它還沒有系統的理論，直到香農發表的保密通信的信息理論一文，為密碼學確立了一系列的基本原則與指標，如加密運算中的完全性、剩余度等指標，它們與信息的度量有著密切相關。之后才產生了基于信息論的密碼學理論，所以說信息論與密碼學的關系十分密切。

近代密碼學由于數據加密標準與公鑰體制的出現與應用，使近代密碼學所涉及的范圍有了極大的發展，尤其是在網絡認證方面得到廣泛應用，但其中的安全性原理與測量標準仍未脫離香農保密系統所規定的要求，多種加密函數的構造，如相關免疫函數的構造仍以香農的完善保密性為基礎

信息論在數字移動通信系統中的應用

數字移動通信系統主要包含編碼和譯碼兩種技術。移動信道是最復雜的一種信道，為了保證在不利的條件下接受信號的傳輸質量，就必須采用各種抗衰落技術和數字傳輸技術，如分集技術、擴頻技術、均衡、交織和糾錯編碼等。信息論在統計中的應用

信息論在統計中的應用一般指信息量在統計中的應用，也有編碼定理與碼結構在統計中的應用等問題。由于統計學研究的問題日趨復雜，如統計模型從線性到非線性，統計分布從單一分布到混合分布，因此信息量在統計中的作用日趨重要，在許多問題中以信息量作為它們的基本度量 [2]。

在統計領域里，統計計算技術近年來發展很快，它使許多統計方法，尤其是Bayes統計得到廣泛的運用。信息與統計相結合的其他典型問題還很多，如假設檢驗中的兩類誤差估計問題，試驗設計問題，信息量在有效估計中的應用問題等，這些問題已使信息論與統計學想成相互推動發展的局面。

編碼技術在調制解調技術中的應用

在上個世紀80到90年代，信息編碼理論應用的兩項重大成果是：調制解調理論及數據壓縮理論在多媒體技術領域的應用。調制解調碼的出現從根本上改變了數據通信的狀況，使調制解調碼通信速度從原來的1200bit/s逐步增加到30000bit/s。我們可以簡單計算得知，調制解調碼大大提高了數據傳輸速度，提高了25倍，從而使現有的網絡通信成為實用性的技術。

編碼技術在快速通信領域中的應用

編碼理論在快速通信技術中已得到了大量的應用，通信技術已從低速向高速發展，通信手段正向微波、衛星等方向發展，因此誤差干擾問題突現出來，利用糾錯碼可大大降低通信中的差錯率。在20世紀70到80年代的代數碼，如BCH碼、R-S碼等為克服誤差干擾發揮了重要作用，成為通信工程不可缺少的一個組成部分。

3.7信息論在其他領域中的應用

現今時代信息科學飛速發展，信息論已跨越了通信領域，在其他領域也得到了廣泛應用。信息論不僅在計算機、自動控制等方面突現作用，還開始涉及到物理學、化學、生物學、心理學、醫學、經濟學、人類學、語言學、統計學和管理學等學科。

比如信息論在水資源系統工程中可以利用信息論的方法建立模型推到降水、儲水量等分布的問題。在建筑工程故障診斷中信息論也得到了應用，它用熵的概念對所測量的數據進行處理和誤差分析。另外，信息論也能在作戰效能評估中得到應用研究，我們可以從信息的不確定性著手評估其作戰效能。我們不難看出，信息論在很多領域都有所應用。

結 論

信息是自從人類出現以來就存在于這個世界上了，天地萬物，飛禽走獸，以及人類的生存方式都離不開信息的產生和傳播。信息論方法具有普遍的適用性，因此可以把課上學習的內容和我們的日常生活緊密結合起來，從而提高學習的興趣。例如，在學習多符號離散信源時，可以和日常生活中大家在電視上見到的搖獎場面聯系起來。一臺簡單的搖獎機，從十個號碼球中搖出一個數字號碼，可以看作一個單符號離散信源，它有十個符號，從0至9。如果需要搖出七位數的體育彩票號碼，這可以看成是一個多符號信源，一次同時發出七個符號，而且是單符號離散信源的7次擴展。又如，在學習漢明距離時，可以和英語學習聯系起來。在英語中拼寫非常接近的單詞很容易混淆或者拼寫錯誤，用信息論的觀點來看就是兩個碼字的漢明距離（不同位的個數）太小，因此抗干擾的能力差。

由于信息論方法具有相當普遍的意義和價值，因此在計算機科學、人工智能、語言學、基因工程、神經解剖學甚至金融投資學等眾多領域都有廣泛的應用，信息論促進了這些學科領域的發展，同時也促進了整個社會經濟的發展。人們已經開始利用信息論的方法來探索系統的存在方式和運動變化的規律，信息論已經成為認識世界和改造世界的手段，信息論對哲學領域也有深遠的影響。由此可見，《信息論與編碼》的課程對我們至關重要！

參考文獻

[1] 曹雪虹，張宗橙．信息論與編碼[M]．北京：清華大學出版社．2004． [2] 沈世鎰，吳忠華．信息論基礎與應用[M]．北京：高等教育出版社．2004． [3] 隋曉紅，王艷營．信息論與編碼[M]．北京：北京大學出版社.2010 [4] 傅祖蕓.信息論—基礎理論與應用[M]．北京：電子工業出版社．2004． [5] 維芬，云娜.信息論基本問題簡述[J]．信息與控制.2006

第三篇：信息論與編碼教學大綱

《信息論與編碼》教學大綱

電子信息工程專業（本科）

課程編號：（）

課程名稱：信息論與編碼 參考學時：52 其中實驗或上機學時：0 說明部分

1．課程性質

本課程是電子信息類專業的技術基礎課 2．課程教學的目的及意義

人類社會的生存和發展無時無刻都離不開信息的獲取、傳遞、處理、控制和利用。特別是邁入21世紀――高度信息化時代，信息的重要性更是不言而喻。信息業的發展，需要大量從事信息、通信、電子工程類專業的人才，而《信息論和編碼》課程為電子信息工程學科的基礎課，同時也可作為信息科學其它相關學科的選修課，掌握它，可以指導理論研究和工程應用。

本課程注重基本概念、基本理論和基本分析方法的論述，并結合實例建立數學模型，給出推演過程，力求物理概念清晰、數學結構嚴謹和完整、逐步深入展開。通過該課程的學習，使學生掌握香農信息論的三個基本概念，與之相應的三個編碼定理，以及信源編碼、信道編碼和信息保密編碼的基本理論和主要方法，培養學生能夠適應數字通信、信息處理、信息安全、計算機信息管理等編碼工作的要求。使學生掌握信息理論的基本概念和信息分析方法及主要結論，為今后從事信息領域的科研和工程工作進一步研究打下堅實的理論基礎。3．教學內容及教學要求

該課程是電子信息工程、信息安全工程專業的專業課。是為了適應數字通信、信息處理和信息安全等方面的專業需要開設。該課程著重介紹信息論應用概率論、隨機過程和現代數理統計方法，研究信息提取、傳輸和處理的一般規律，提高信息系統的有效性和可靠性，實現信息系統的最優化。

信息論是現代通信與信息工程的理論基礎，主要內容包括：信息的定義和測度；各類離散信源和信息熵；剩余度；信道和互信息；平均互信息和信道容量；數據處理和信息測量理論；信息率失真函數和數據壓縮原理；離散信源無失真和限失真信源編碼理論和編碼方法；離散有噪信道編碼理論和編碼原則。教學基本要求：

了解通信系統各部分的主要組成以及作用、香農的三大編碼定理；

掌握各類離散信源和信息熵、信道及其信道容量、信息率失真函數和數據壓縮原理、離常用的無失真信源編碼方法、糾錯碼基本思想及常用的糾錯編碼方法。4.教學重點、難點 教學重點：

信息以及失真的測度、信道及信道容量、無失真信源編碼方法以及有噪信道編碼方法。教學難點：

?典型序列以及由此推導出的香農三大編碼定理及其逆定理。5.教學方法及教學手段

課堂講學為主，習題講解為輔。6.教學學材及主要參考書

1.傅祖蕓編著，《信息論－基礎理論與應用》，北京：電子工業出版社，2001年 2.姜丹，《信息論與編碼》，合肥，中國科學技術大學出版社，2001年 3.曹雪虹，張宗橙，信息論與編碼，北京，清華大學出版社，2004年 7.其它

考核形式：考試（筆試），教學環境：課堂

本課程應開設在概率論與隨機過程等數學學科信號與系統之后，是數字圖像處理的基礎課程。

總學時數

課程總學時數： 52 其中，課堂講授： 46 作業：6

二、正文部分 第一章：緒論

一、教學要求

了解信息論研究對象、目的、發展簡史與現狀；

了解通信系統的模型以及通信系統各部分的主要組成以及作用

二、教學內容

第一節 信息的概念

知識要點：信息的概念及自信息 第二節 信息論研究的對象、目的和內容 知識要點：信息論研究的對象、目的和內容 第三節：信息論發展簡史 知識要點：信息論發展簡史

三、本章學時數 2學時

第二章：離散信源及其測度

一、教學要求

了解信源的相關性和剩余度的概念，信息的概念，信息，信號，消息，數據的關系與聯系。

掌握信源的數學模型、離散無記憶信源、離散平穩信源和馬爾可夫信源基本理論。

二、教學內容

第一節 信源的數學模型及分類

知識要點：信源的數學模型，離散無記憶信源及其擴展信源。第二節 信息熵及其基本性質 知識要點：自信息及信息熵離散無記憶擴展信源熵，熵的基本性質及最大離散熵定理。第三節 離散平穩信源

知識要點：離散平穩信源定義，聯合熵，條件熵以及極限熵。第四節 馬爾可夫信源

知識要點：馬爾可夫信源定義，馬爾可夫信源熵 第四節 信息剩余度

知識要點：信息剩余度以及自然語言熵

三、本章學時數 8學時

第三章：離散信道及其信道容量

一、教學要求

了解一般信道容量計算。

掌握信道的數學模型，離散無記憶信道以及一些特殊信道容量的計算方法。

二、教學內容

第一節 信道數學模型及分類

知識要點：信道數學模型及不同的分類，信道矩陣。第二節平均互信息及特點

知識要點：信道疑義度，互信息和平均互信息及其特性，平均條件互信息。第三節 信道容量及一般計算方法

知識要點：離散無噪信道及信道容量，對稱離散信道、準對稱信道的容量計算。第四節 離散無記憶擴展信道及其容量

知識要點：離散無記憶擴展信道及其容量，信源與信道的匹配。

三、本章學時數 6學時

第四章：無失真信源編碼

一、教學要求

了解其它一些無失真信源編碼方法。

理解漸近等分割性及?典型序列，算術編碼方法及具體實現方案；

掌握編碼的定義，碼的分類，定長編碼定理，變長編碼定理，最佳編碼方法：香農編碼方法，費諾編碼方法，哈夫曼編碼方法。

二、教學內容

第一節 等長碼及等長信源編碼定理

知識要點：編碼器的概念，碼的定義，等長碼及等長信源編碼定理，?典型序列及其性質，編碼效率。

第二節 變長碼及變長信源編碼定理

知識要點：唯一可譯碼定義及其判斷方法，即時碼的樹圖法構造，Kraft不等式，緊致碼，變長信源編碼定理。

第三節 編碼方法 知識要點：香農編碼，費諾編碼，香農－費諾－埃利斯編碼，哈夫曼編碼，游程編碼，算術編碼和其它一些編碼方法。

三、本章學時數 10學時

第五章：有噪信道編碼

一、教學要求

了解檢錯碼與糾錯碼的方法。理解漸近等分割性及?典型序列。

掌握的重點內容有：有噪離散信道的編碼定理，差錯控制與信道編譯碼的基本原理，線性分組碼，卷積碼，網格編碼調制與級聯碼簡介。

二、教學內容

第一節 錯誤概率與譯碼規則和編碼方法

知識要點：最小錯誤概率譯碼準則，最大似然譯碼準則，最小距離譯碼準則及其之間相互關系，平均譯碼錯誤概率，錯誤概率與譯碼規則和編碼方法關系，信道編碼的編、譯基本準則。

第二節 有噪信道編碼定理

知識要點：有噪信道編碼定理及其逆定理，信源信道編碼定理。第三節 糾錯碼

知識要點：糾錯碼分類，分組碼的最小距離與檢、糾錯能力，分組碼的碼率，線性分組碼的特性，生成矩陣和一致監督矩陣及其關系，線性分組碼的編、譯碼方法，漢明碼，卷積碼及其構造方法。

三、本章學時數 10學時

第六章：波形信源和波形信道

一、教學要求

了解連續信源和波形信源的信息測度，連續信道和波形信道的分類，連續信源熵的變換，連續信道和波形信道的信道容量的計算方法。

掌握連續信源和波形信源的信息測度。

二、教學內容

第一節 連續信源和波形信源的信息測度

知識要點：連續信源的差熵、波形信源的差熵和兩種特殊信源的差熵。第二節 連續信道和波形信道的分類

知識要點：按噪聲統計特性分類，按噪聲對信號的作用和功能分類。第三節 連續信道和波形信道的信息傳輸率

知識要點：單符號連續信道的平均交互信息，連續信道的平均交互信息的特性。第四節 連續信道和波形信道的信道容量

知識要點：單符號高斯加性信道的信道容量，單符號非高斯加性信道的信道容量，多維無記憶高斯加性信道的信道容量。

三、本章學時數 8學時

第七章：限失真信源編碼

一、教學要求

了解保真度準則下的信源編碼定理

掌握失真度與平均失真度，信息率失真函數與特性，R(D)函數的參數表述及其計算。

二、教學內容

第一節 失真度與平均失真度

知識要點：失真度與平均失真度，D失真許可試驗信道。第二節 信息率失真函數與特性

知識要點：信息率失真函數R(D)的定義，離散信源的R(D)函數，高斯連續信源的R(D)函數，R(D)的定義域和單調性等性質。

第三節 信息率失真函數的參量表述與計算

知識要點：信息率失真函數的計算 第四節 保真度準則下的信源編碼定理

知識要點：失真限?典型序列，失真信源編碼定理和編碼逆定理，有失真信源編碼定理的實用意義。

三、本章學時數 8學時

執筆人：

胡學友

教研室：XXX

系主任審核簽名：XXX 5

第四篇：信息論與編碼教案匯總[范文]

贛南師范學院物理與電子信息工程學院

教

案

授課教師：朱赟 授課對象：電子信息工程 授課學期：第六學期 總學時：32學時

使用教材：電子工業出版社《信息論與糾錯編碼》張麗華

第次課教案

教學組織

一、自我介紹:略

二、課程介紹：

1、任務和地位：信息論是由Shannon奠基的一門數學學科，它產生于有效而可靠的通信問題中，并獲得了廣泛應用。編碼技術是信息論的重要分支的基礎。它在通信和計算機工程實踐中得到了廣泛的應用，成為通信系統設計中的一項通用技術。通過本課程的學習，使學生對信息理論有一個比較全面和系統的了解，掌握信息論的基本概念和信息論方法，為從事信息科學的研究和應用打下一個堅實的基礎。課程以信號和信道的知識為基礎，講述信息論的基本概念，信源編碼、信道編碼和偽隨機碼的基本知識。

2、知識要求：通過一個學期的學習要達到如下要求: 1)掌握平均信息量—熵的概念，了解信息論的基本知識和信道容量的計算。2)掌握信源編碼的意義，了解提高信息傳輸“有效性”的方法，掌握平均碼長的計算和最佳信源編碼的概念，通過仙農定理導出霍夫曼編碼規則。3)掌握信道編碼的意義，了解提高信息傳輸“可靠性”的方法，掌握糾錯編碼的基本概念，重點講解線性分組碼的檢錯能力，介紹卷積碼基本概念。4)掌握偽隨機碼的基本概念，m序列碼的產生及應用。

先修課程：信號與系統、數字邏輯電路、微機原理與應用、通信原理。

3、能力要求：本課程重點是通過講解信息論與編碼技術使學生掌握提高信道傳輸的“有效性”和“可靠性”的基本理論。

4、考試成績計算方法：

平時成績 30%（主要包括作業和出勤）期終考試 70%

課程性質:

學科基礎課：

①電子信息類專業基礎課

②研究生考試課程 6 進度安排 4學分

32理論學時

16周 2學時/周 7 學習方法與注意事項 1、學習、目的、方法 2、課程框架（理清）3、聽課與筆記 4、實用方法與公式 5、預習與復習（書、筆記）6、作業（多練習）教材及參考書 教材: 信息論與糾錯編碼 張麗華 電子工業出版社 參考書: [1] 王新梅等編著，《糾錯碼-原理與方法》（修訂版），西安電子科技大學出版社，2001 年。

[2] 張宗橙編著，《糾錯編碼原理和應用》，電子工業出版社，2004年。[3] [日]江藤良純等主編，《糾錯編碼原理及應用》，科學出版社，2004年。[4] [美]S.林著，陳太一譯，《糾錯編碼入門》，人民郵電出版社，1976年。[5] 姜丹編著，《信息論與編碼》，中國科學技術大學出版社，2001年。主要內容

（1）信息及信息的度量

（2）離散信源及信源熵,離散信道及信道容量（3）信源編碼定理和信道編碼定理

（4）平均失真測度和信息率失真函數,率失真編碼定理（5）線性分組碼（6）循環碼和卷積碼

三 授課.一、講授內容

第一章 信息論基礎

1.1信息的概念 1.2數字通信系統 1.3 信源及其數學模型

二、教學目的及要求

要求學生明確本課程的學習目的及要求，初步了解本課程的特點及學習方法，掌握信息的基本概念和特點，了解信息論研究的對象、目的和內容，了解信息論的形成和發展趨勢，以及目前信息論與編碼的主要研究成果，激發學習信息論與編碼的興趣與熱情。要求學生掌握信源的基本概念和特點及信源的描述，掌握離散無記憶信源、離散有記憶信源與馬爾可夫信源的特點與描述方法。

三、教學重點

本課程的特點及學習方法、信息的基本概念與特點，信息論的主要研究對象、目的和內容。信源的分類，離散信源與連續信源，無記憶信源與有記憶信源，馬爾可夫信源。

四、教學難點

如何理解信息的概念、信息論及編碼技術，有記憶信源，馬爾可夫信源。

五、本講計劃學時及時間分配

計劃2個學時，主講信息的基本概念和特點，信息論研究的對象、目的和內容，信息論的形成和發展趨勢，以及目前信息論與編碼的主要研究成果。課程導入5分鐘；本課程的學習目的、要求及方法介紹20分鐘；信息的基本概念和特點，信息論研究的對象、目的和內容，信息論的形成和發展趨勢，以及目前信息論與編碼的主要研究成果講授55分鐘，課堂練習及課后習題講解15分鐘，本節課知識點總結5分鐘。

六、實施步驟

利用多媒體課件對主要知識點進行講述，并輔以板書詳解，具體如下： 課程引入：主要介紹本課程的教學內容、教學重點與難點、考核方式及教材與參考書。

新課講解：第一章

信息論基礎 1.1信息的概念 1.2數字通信系統 1.3 信源及其數學模型 小結：

本次課主要對信息的基本概念和特點，信息論研究的對象、目的和內容，信息論的形成和發展趨勢，以及目前信息論與編碼的主要研究成果進行講解，給學生對《信息論與編碼》這門課程有初步印象。對無記憶信源、有記憶信源、馬爾可夫信源進行詳細講解，并對其中重難點進行總結概括。

七、課外學習輔導安排及作業布置

1、信息、信號、消息的定義是什么？三者的關系如何？

2、尋找閱讀和信息論與編碼發展的有關資料。

3、通信系統的各個主要組成部分是什么？

八、其他 無

第次課教案

一、講授內容

第2章 信息的度量

2.1 自信息量和互信息量

二、教學目的及要求

要求學生掌握自信息量、離散信源熵、互信息的概念及其求解方法，了解數據處理中信息的變化方式，熟悉并掌握熵的一些基本性質。

三、教學重點

自信息量、離散信源熵、互信息的概念及其求解方法、數據處理中信息的變化方式、熵的性質。

四、教學難點

離散信源熵、互信息的概念及其求解方法、熵的性質。

五、本講計劃學時及時間分配

計劃2個學時，主講離散信源熵和互信息的基本概念和特點。課程導入5分鐘；自信息量概念及其求解方法介紹10分鐘；離散信源熵的概念及其求解方法講授15分鐘，互信息的概念及其求解方法講授25分鐘，數據處理中信息的變化方式講授10分鐘，熵的性質講授15分鐘，課堂練習及課后習題講解15分鐘，本節課知識點總結5分鐘。

六、實施步驟

利用多媒體課件對主要知識點進行講述，并輔以板書詳解，具體如下： 課程引入：

對上次課的重點進行復習，簡單介紹本次課的主要內容，并提出問題：信息可否度量？信息量如何來量測？ 小結：

本次課主要對自信息量、離散信源熵、互信息、數據處理中信息的變化與熵的性質進行講解，最好對其中涉及到的重難點進行總結概括。

七、課外學習輔導安排及作業布置 教材P41 2-3

第次課教案

一、講授內容

第2章 信息的度量

2.2 離散集的平均自信息量

二、教學目的及要求

要求學生掌握離散序列信源熵的概念與求解方法，掌握離散無記憶信源的序列熵與離散有記憶信源的序列熵的概念、特點與求解方法。

三、教學重點

離散序列信源熵的概念與求解方法、離散無記憶信源的序列熵與離散有記憶信源的序列熵的概念、特點與求解方法。

四、教學難點

離散有記憶信源的序列熵的概念、特點與求解方法。

五、本講計劃學時及時間分配

計劃2個學時，主講離散序列信源熵。課程導入5分鐘；離散序列信源熵的概念與求解方法介紹20分鐘；離散無記憶信源的序列熵的基本概念、特點與求解方法講授25分鐘，離散有記憶信源的序列熵的概念、特點與求解方法講授30分鐘；課堂練習及課后習題講解15分鐘，本次課知識點總結5分鐘。

六、實施步驟

利用多媒體課件對主要知識點進行講述，并輔以板書詳解，具體如下： 課程引入：

對上次課的重點進行復習，簡單介紹本次課的基本內容，問題的提出：a．如何描述離散無記憶序列信源的序列熵？b。如何描述離散有記憶序列信源（平穩序列和齊次遍歷馬氏信源）的序列熵？ 小結

本次課主要對離散無記憶信源的序列熵、離散有記憶信源的序列熵進行詳細講解，最好對其中涉及到的重難點進行總結概括。

七、課外學習輔導安排及作業布置 教材P41 2-4

八、其他 無

第次課教案

一、講授內容

第2章 信息的度量

2.3 離散集的平均互信息量

二、教學目的及要求

要求學生掌握連續信源熵和互信息的基本概念，掌握幅度連續的單個符號信源熵的求解方法，了解波形信源熵的求解方法已經最大熵定理。

三、教學重點

連續信源熵和互信息的基本概念、幅度連續的單個符號信源熵的求解方法、波形信源熵的求解方法已經最大熵定理。

四、教學難點

波形信源熵的求解方法已經最大熵定理。

五、本講計劃學時及時間分配

計劃2個學時，主講連續信源熵和互信息。課程導入5分鐘；幅度連續的單個符號信源熵概念及求解方法介紹25分鐘；波形信源熵的概念及求解方法講授25分鐘，最大熵定理的講解25分鐘；課堂練習及課后習題講解15分鐘，本節課知識點總結5分鐘。

六、實施步驟

利用多媒體課件對主要知識點進行講述，并輔以板書詳解，具體如下： 課程引入：

對上次課的重點進行復習，簡單介紹本次課的主要內容。小結：

本次課主要對幅度連續的單個符號信源熵、波形信源熵、最大熵定理進行講解，最后對涉及到的重難點知識進行總結概括。

七、課外學習輔導安排及作業布置 教材P43 2-20

八、其他 無

第次課教案

一、講授內容

第1章 信息論基礎 1.4 信道及其數學模型

二、教學目的及要求

要求學生掌握信道的基本概念，了解信道的分類，掌握信道參數與信道容量的定義及其求解方法。

三、教學重點

信道的基本概念、信道的分類、信道參數與信道容量的定義及其求解方法。

四、教學難點

信道參數與信道容量的定義及其求解方法

五、本講計劃學時及時間分配

計劃2個學時，信道的基本概念。課程導入5分鐘；信道的基本概念闡述10分鐘；信道的分類講授15分鐘；信道參數的概念講解20分鐘；信道容量的定義及其求解方法講授30分鐘；課堂練習及課后習題講解15分鐘，本節課知識點總結5分鐘。

六、實施步驟

利用多媒體課件對主要知識點進行講述，并輔以板書詳解，具體如下： 課程引入：

本章主要討論在什么條件下，通過信道的信息量最大，即所謂的信道容量問題。本章概念和定理也較多，較為抽象，課堂教學時考慮多講述一些例題，著重闡明定理和公式的物理意義，對較為繁瑣的推倒過程做了部分省略。小結：

本次課首先介紹了本章的主要內容，并對3.1小節進行詳細講解，總結其中的重難點。

七、課外學習輔導安排及作業布置 教材P68 3-1

八、其他 無

第次課教案

一、講授內容

第4章 離散信道的信道容量 4.1 信道容量的定義

4.2 離散無記憶信道容量的計算 4.3 組合信道的容量

二、教學目的及要求

要求學生掌握離散單個符號信道及其容量的基本概念，無干擾離散信道、對稱DMC信道、準對稱DMC信道與一般DMC信道的信道容量定義及其求解方法。

三、教學重點

無干擾離散信道、對稱DMC信道、準對稱DMC信道與一般DMC信道的信道容量定義及其求解方法。

四、教學難點

對稱DMC信道、準對稱DMC信道與一般DMC信道的新的容量定義及其求解方法。

五、本講計劃學時及時間分配

計劃2個學時，主講離散單個符號信道及其容量的基本概念。課程導入5分鐘；無干擾離散信道的信道容量闡述15分鐘；對稱DMC信道的信道容量講授25分鐘；準對稱DMC信道的信道容量講解25分鐘；一般DMC信道的信道容量定義及其求解方法講授15分鐘；課堂練習及課后習題講解10分鐘，本節課知識點總結5分鐘。

六、實施步驟

利用多媒體課件對主要知識點進行講述，并輔以板書詳解，具體如下： 課程引入：

信道中存在的干擾使輸出信號與輸入信號之間沒有固定的函數關系，只有統計依賴的關系。因此可以通過研究分析輸入輸出信號的統計特性來研究信道。小結：

本次課主要介紹了離散單個符合信道及其容量的概念，并對無干擾離散信道、對稱DMC信道、準對稱DMC信道與一般DMC信道分別進行詳細講解，總結其中的重難點。

七、課外學習輔導安排及作業布置 教材P68 3-4

第次課教案

一、講授內容

第6章 率失真編碼

6.1 失真測度與平均失真 6.2 信息率失真函數R（D）6.3 率失真函數的計算 6.4 率失真信源編碼定理

二、教學目的及要求

要求學生掌握平均失真和信息率失真函數的基本概念，掌握失真函數的計算、平均失真的計算、信息率失真函數R(D)的計算、信息率失真函數的性質、信息率失真函數與信道容量的比較。

三、教學重點

失真函數的計算、平均失真的計算、信息率失真函數R(D)的計算、信息率失真函數的性質、信息率失真函數與信道容量的比較。

四、教學難點

信息率失真函數R(D)的計算、信息率失真函數的性質、信息率失真函數與信道容量的比較。

五、本講計劃學時及時間分配

計劃2個學時，主講平均失真和信息率失真函數的基本概念。課程導入5分鐘；失真函數的概念及其計算方法講解15分鐘；平均失真的概念與計算方法講授20分鐘；信息率失真函數R(D)的概念與計算方法講解20分鐘；信息率失真函數的性質講授15分鐘；信息率失真函數與信道容量的比較講解10分鐘；課堂練習與習題講解10分鐘；本節課知識點總結5分鐘。

六、實施步驟

利用多媒體課件對主要知識點進行講述，并輔以板書詳解，具體如下： 課程引入：

失真在傳輸中是不可避免的，如何用數學方法來描述失真，并且降低失真顯得格外重要。小結：

本次課主要對失真函數、平均失真、信息率失真函數R(D)、信息率失真函數的性質、信息率失真函數與信道容量的比較分別進行詳細講解，總結其中的重難點。

七、課外學習輔導安排及作業布置 教材P82 4-1

八、其他

第次課教案

一、講授內容

第3章 離散信源無失真編碼 3.1 概述

3.2 等長碼及等長編碼定理

二、教學目的及要求

要求學生了解信源編碼的內容，掌握信源編碼的定義，掌握無失真信源編碼的內容：定長編碼原理、變長編碼原理。

三、教學重點

信源編碼的定義、無失真信源編碼的內容：定長編碼原理、變長編碼原理。

四、教學難點

無失真信源編碼的內容：定長編碼原理、變長編碼原理。

五、本講計劃學時及時間分配

計劃2個學時，主講信源編碼的定義、無失真信源編碼的內容：定長編碼原理、變長編碼原理、最佳編碼原理。課程導入5分鐘；信源編碼的定義講解20分鐘；無失真信源編碼講授20分鐘；定長編碼原理講解20分鐘；變長編碼原理講授20分鐘；課堂練習與習題講解10分鐘；本節課知識點總結5分鐘。

六、實施步驟

利用多媒體課件對主要知識點進行講述，并輔以板書詳解，具體如下： 課程引入：怎樣才能做到盡可能不失真而又快速的傳遞信息呢？首先需要解決一個問題：在不失真或允許一定失真的條件下，如何用盡可能少的符號來傳送信源信息，這就要引入信源編碼。小結：

本次課主要對信源編碼的定義，無失真信源編碼的內容進行詳細介紹，總結其中的重點與難點。

以課堂練習為主，教材P115 5-2

八、其他 無

第次課教案

一、講授內容

第3章 離散信源無失真編碼 3.4 變長碼的編碼方法

二、教學目的及要求

要求學生了解信源編碼的內容，掌握信源編碼的定義，最佳變長編碼以及最佳變長編碼的三種編碼方法：香農（Shannon）編碼；費諾（Fano）編碼；哈夫曼（Huffman）編碼。

三、教學重點

最佳變長編碼以及最佳變長編碼的三種編碼方法：香農（Shannon）編碼；費諾（Fano）編碼；哈夫曼（Huffman）編碼。

四、教學難點

最佳變長編碼以及最佳變長編碼的三種編碼方法：香農（Shannon）編碼；費諾（Fano）編碼；哈夫曼（Huffman）編碼

五、本講計劃學時及時間分配

計劃2個學時，主講信源編碼的定義、無失真信源編碼的第三個內容：最佳變長編碼原理。課程導入5分鐘；信源編碼的定義復習10分鐘；無失真信源編碼復習15分鐘；最佳變長編碼原理以及常用的三種編碼方法：香農（Shannon）編碼；費諾（Fano）編碼；哈夫曼（Huffman）編碼講授50分鐘；課堂練習與習題講解15分鐘；本節課知識點總結5分鐘。

六、實施步驟

利用多媒體課件對主要知識點進行講述，并輔以板書詳解，具體如下： 課程引入：最佳碼：對于某一信源和某一碼符號集來說，若有一唯一可譯碼，其平均碼長K小于所有其他唯一可譯碼的平均長度。為此必須將概率大的信息符號編以短的碼字，概率小的符號編以長的碼字，使得平均碼字長度最短。小結：

本次課主要對最佳變長編碼及實現最佳變長編碼的三種方法進行詳細介紹，總結其中的重點與難點。

以課堂練習為主，教材P115 5-7

八、其他 無

第次課教案

一、講授內容

第3章 離散信源無失真編碼 3.3 變長碼及變長碼編碼定理

二、教學目的及要求

要求學生掌握限失真編碼定理的內容，掌握常用信源編碼的幾種方法：游程編碼、算術編碼、矢量量化、預測編碼、變換編碼。

三、教學重點

限失真編碼定理，常用信源編碼的幾種方法：游程編碼、算術編碼、矢量量化、預測編碼、變換編碼。

四、教學難點

常用信源編碼的幾種方法：游程編碼、算術編碼、矢量量化、預測編碼、變換編碼。

五、本講計劃學時及時間分配

計劃2個學時，主講限失真編碼定理，常用信源編碼的幾種方法：游程編碼、算術編碼、矢量量化、預測編碼、變換編碼。課程導入5分鐘；限失真編碼定理講解20分鐘；常用信源編碼的幾種方法：游程編碼、算術編碼、矢量量化、預測編碼、變換編碼講解55分鐘；課堂練習與習題講解15分鐘；本節課知識點總結5分鐘。

六、實施步驟

利用多媒體課件對主要知識點進行講述，并輔以板書詳解，具體如下： 課程引入：

對上次課的主要知識點進行復習，對本次課的主要內容進行簡單介紹。小結：

本次課主要對限失真編碼定理，常用信源編碼的幾種方法：游程編碼、算術編碼、矢量量化、預測編碼、變換編碼內容進行詳細介紹，總結其中的重點與難點。以課堂練習為主，教材P115 5-14

第次課教案

一、講授內容

第5章 有噪信道編碼 5.1 信道編碼的基本概念 5.2 譯碼規則及錯誤概率 5.3 信道編碼定理

5.4 費諾引理及信道編碼逆定理

二、教學目的及要求

要求學生掌握有擾離散信道的編碼定理，掌握差錯和差錯控制系統分類、矢量空間與碼空間、隨機編碼、信道編碼定理。

三、教學重點

有擾離散信道的編碼定理、差錯和差錯控制系統分類、矢量空間與碼空間、隨即編碼、信道編碼定理。

四、教學難點

差錯和差錯控制系統分類、矢量空間與碼空間、隨機編碼、信道編碼定理。

五、本講計劃學時及時間分配

計劃2個學時，主講有擾離散信道的編碼定理、差錯和差錯控制系統分類、矢量空間與碼空間、隨機編碼、信道編碼定理。課程導入5分鐘；有擾離散信道的編碼定理講解20分鐘；差錯和差錯控制系統分類講解15分鐘；矢量空間與碼空間講授15分鐘；隨機編碼講授15分鐘；信道編碼定理講授15分鐘；課堂練習與習題講解10分鐘；本節課知識點總結5分鐘。

六、實施步驟

利用多媒體課件對主要知識點進行講述，并輔以板書詳解，具體如下： 課程引入：

信道編碼的目的是為了改善通信系統的傳輸質量，對不同類型的信道，要對癥下藥，設計不同類型的信道編碼，才能收到良好效果。小結：

本次課主要對有擾離散信道的編碼定理、差錯和差錯控制系統分類、矢量空間與碼空間、隨機編碼、信道編碼定理內容進行詳細介紹，總結其中的重點與難點。以課堂練習為主，教材P202 6-

1、6-2

八、其他 無

第次課教案

一、講授內容

第7章 線性分組碼

7.1 糾錯碼的基本概念

7.3 線性分組碼的編碼

二、教學目的及要求

要求學生掌握糾錯編碼碼的基本原理與分析方法（糾錯編碼的基本思路）、糾錯譯碼的基本原理與分析方法，譯碼方法——最優譯碼與最大似然譯碼

三、教學重點

糾錯編碼碼的基本原理與分析方法、糾錯譯碼的基本原理與分析方法，譯碼方法——最優譯碼與最大似然譯碼。

四、教學難點

糾錯譯碼的基本原理與分析方法，譯碼方法——最優譯碼與最大似然譯碼。

五、本講計劃學時及時間分配 計劃2個學時，主講糾錯編碼碼的基本原理與分析方法、糾錯譯碼的基本原理與分析方法，譯碼方法——最優譯碼與最大似然譯碼。課程導入5分鐘；糾錯編碼碼的基本原理與分析方法講解25分鐘；糾錯譯碼的基本原理與分析方法講解20分鐘；最優譯碼講授20分鐘；最大似然譯碼講授15分鐘；課堂練習與習題講解10分鐘；本節課知識點總結5分鐘。

六、實施步驟

利用多媒體課件對主要知識點進行講述，并輔以板書詳解，具體如下： 課程引入：

檢錯與糾錯原理：一旦1→0，0→1，接收端無法發現錯誤，插入1位監督碼后具有檢出1位錯碼的能力，但不能予以糾正。在只有1位錯碼的情況下，可以判決哪位是錯碼并予以糾正，可以檢出2位或2位以下的錯碼。小結：

本次課對糾錯編碼碼的基本原理與分析方法、糾錯譯碼的基本原理與分析方法，譯碼方法——最優譯碼與最大似然譯碼內容進行詳細介紹，總結其中的重點與難點。

以課堂練習為主，教材P202 6-12

八、其他 無

第次課教案

一、講授內容

第7章 線性分組碼

7.4 線性碼的糾檢錯能力

7.5 標準陣列和譯碼 7.6 漢明碼

二、教學目的及要求

要求學生掌握線性分組碼的編碼原理，以及線性分組碼的生成矩陣與校驗矩陣、伴隨式與標準陣列譯碼、碼距、糾錯能力、MDC碼及重量譜、完備碼、循環碼、BCH碼與RS碼，了解分組碼的擴展、縮短與循環冗余校驗。

三、教學重點

線性分組碼的生成矩陣與校驗矩陣、伴隨式與標準陣列譯碼、碼距、糾錯能力、MDC碼及重量譜、完備碼、循環碼、BCH碼與RS碼、分組碼的擴展、縮短與循環冗余校驗。

四、教學難點

碼距、糾錯能力、MDC碼及重量譜、完備碼、循環碼、BCH碼與RS碼、分組碼的擴展、縮短與循環冗余校驗。

五、本講計劃學時及時間分配

計劃2個學時，主講線性分組碼的編碼原理與特點。課程導入5分鐘；線性分組碼的生成矩陣與校驗矩陣講解20分鐘；伴隨式與標準陣列譯碼講解15分鐘；碼距、糾錯能力、MDC碼及重量譜講授15分鐘；完備碼、循環碼、BCH碼與RS碼講授25分鐘；分組碼的擴展、縮短與循環冗余校驗講解15分鐘；本節課知識點總結5分鐘。

六、實施步驟

課程引入：對上次課主要知識點進行復習，并對本次課的主要內容進行簡單介紹。小結：

本次課主要對線性分組碼的生成矩陣與校驗矩陣、伴隨式與標準陣列譯碼、碼距、糾錯能力、MDC碼及重量譜、完備碼、循環碼、BCH碼與RS碼，分組碼的擴展、縮短與循環冗余校驗進行詳細介紹，總結其中的重點與難點。以課堂練習為主，教材P202 6-13

八、其他 無

第次課教案

一、講授內容 第9章 卷積碼

9.1 卷積碼基本概念

9.2 卷積碼的數學描述

二、教學目的及要求

要求學生掌握卷積碼的基本概念和描述方法，掌握卷積碼的最大似然譯碼——維比特算法，了解卷積碼的性能與距離特點。

三、教學重點

卷積碼的基本概念和描述方法、卷積碼的最大似然譯碼——維比特算法、卷積碼的性能與距離特點。

四、教學難點

卷積碼的最大似然譯碼——維比特算法、卷積碼的性能與距離特點。

五、本講計劃學時及時間分配 計劃2個學時，主講卷積碼的基本概念和描述方法、卷積碼的最大似然譯碼——維比特算法、卷積碼的性能與距離特點。課程導入5分鐘；卷積碼的基本概念和描述方法講解30分鐘；卷積碼的最大似然譯碼——維比特算法講授35分鐘；分組碼的擴展、卷積碼的性能與距離特點講解15分鐘；課堂練習與習題講解10分鐘；本節課知識點總結5分鐘。

六、實施步驟

課程引入：對上次課主要知識點進行復習，并對本次課的主要內容進行簡單介紹。小結：

本次課主要對卷積碼的基本概念和描述方法、卷積碼的最大似然譯碼——維比特算法、卷積碼的性能與距離特點進行詳細介紹，總結其中的重點與難點。以課堂練習為主，教材P202 6-

16、6-17

八、其他 無第次課教案

一、講授內容

第六章 信道編碼總復習與習題講解

二、教學目的及要求

要求學生掌握有擾離散信道的編碼定理、糾錯編碼和譯碼的基本原理與分析方法、線性分組碼的基本概念的編碼原理，卷積碼的基本概念和描述方劑以及最大似然譯碼原理。

三、教學重點

有擾離散信道的編碼定理、糾錯編碼和譯碼的基本原理與分析方法、線性分組碼的基本概念的編碼原理，卷積碼的基本概念和描述方劑以及最大似然譯碼原理。

四、教學難點

有擾離散信道的編碼定理、糾錯編碼和譯碼的基本原理與分析方法、線性分組碼的基本概念的編碼原理，卷積碼的基本概念和描述方劑以及最大似然譯碼原理

五、本講計劃學時及時間分配 計劃2個學時，主講有擾離散信道的編碼定理、糾錯編碼和譯碼的基本原理與分析方法、線性分組碼的基本概念的編碼原理，卷積碼的基本概念和描述方劑以及最大似然譯碼原理。課程導入5分鐘；有擾離散信道的編碼定理總結15分鐘；糾錯編碼和譯碼的基本原理與分析方法總結20分鐘，線性分組碼的基本概念的編碼原理總結15分鐘；卷積碼的基本概念和描述方劑以及最大似然譯碼原理總結20分鐘；課堂練習及課后習題講解20分鐘，本節課知識點總結5分鐘。

六、實施步驟 課程引入：

由于信道編碼在整個編碼中的地位相當重要，因此對第六章的全部知識點要求做全面總結。第六章總復習：

有擾離散信道的編碼定理；

糾錯編碼和譯碼的基本原理與分析方法； 線性分組碼的基本概念的編碼原理；

卷積碼的基本概念和描述方劑以及最大似然譯碼原理。小結：

本次課主要對有擾離散信道的編碼定理、糾錯編碼和譯碼的基本原理與分析方法、線性分組碼的基本概念的編碼原理，卷積碼的基本概念和描述方劑以及最大似然譯碼原理等第六章的重要知識點進行總復習與習題講解。

七、課外學習輔導安排及作業布置 課堂練習為主，P202 6-

6、6-8

八、其他 無

第五篇：信息論與編碼論文

題 目：

課題論文

信息論在生活中的應用

課程名稱： 信息論與編碼

學 院：

理學院

專 業： 信息與計算科學

年 級：

2010級

姓 名：

郭小兵（1007010210）學生簽名

指導教師：彭長根

2013年4月1日

摘要 隨著計算機技術、通信技術和網絡技術等信息技術的快速發展，信息技術已經成為當今社會應用范圍最廣的高新技術之一。信息論是信息技術的主要理論技術基礎之一，它的一些基本理論在通信、計算機、網絡等工程領域中得到了廣泛的應用。目前，信息論所研究的范疇已經超過了通信及其相近學科，在其他學科應用也很廣泛。

關鍵字：信息論 信息技術

1948年香農在Bell System Technical Journal上發表了《A Mathematical Theory of Communication 》。論文由香農和威沃共同署名。前輩威沃(Warren Weaver，1894-1978)當時是洛克菲勒基金會自然科學部的主任，他為文章寫了序言。后來，香農仍然從事技術工作，而威沃則研究信息論的哲學問題。順便提一句，該論文剛發表時，使用的是不定冠詞A，收入論文集時改為定冠詞The。

這篇奠基性的論文是建立在香農對通信的觀察上，即“通信的根本問題是報文的再生，在某一點與另外選擇的一點上報文應該精確地或者近似地重現”。這篇論文建立了信息論這一學科，給出了通信系統的線性示意模型，即信息源、發送者、信道、接收者、信息宿，這是一個新思想。此后，通信就考慮為把電磁波發送到信道中，通過發送1和0的比特流，人們可以傳輸圖像、文字、聲音等等。今天這已司空見慣，但在當時是相當新鮮的。他建立的信息理論框架和術語已經成為技術標準。他的理論在通信工程師中立即獲得成功，并刺激了今天信息時代所需要的技術發展。

香農考慮的信息源，產生由有限符號組成的詞。它們通過信道進行傳輸，每個符號開銷有限的信道時間。這里涉及到統計學問題，如果xn是第n個符號，它是由固定隨機過程源xn產生的，香農給出一個分析信號誤差序列的方法，它是傳輸系統固有的，可以通過設計相應的控制系統控制它。在這篇論文中，香農首次引入“比特”(bit)一詞，如果在信號中附加額外的比特，就能使傳輸錯誤得到糾正。按照物理學的習慣，把電流單位叫做“安培”，如果給“比特流”一個單位名，那么叫做“香農”是比較合適的。

通信的數學理論是香農在數學與工程研究上的頂峰。他把通信理論的解釋公式化，對最有效地傳輸信息的問題進行了研究。香農的文章立即被世界各國的通信工程師和數學家采用，大家詳細地論述它、擴展它、完善它。這個學科立刻繁榮起來，成為科學史上光輝燦爛的一頁。后來，香農感到由他扮演重要角色而開始與通信革命走得有些過遠。他寫道：“信息理論可能像一個升空的氣球，其重要性超過了它的實際成就”，真是大師的氣魄。

一、信息論與編碼的應用

信息作為一種資源，如何開發、利用、共享是人們普遍關注的問題。信息是信息論中最基本最重要的概念。信息論是應用近代數理統計方法研究信息的傳輸、存儲與處理的科學[1]。其基本任務是為設計有效而可靠的通信系統提供理論依據，主要特點是理論的成功應用，主要體現在信息論在數據壓縮、密碼學、統計及信號處理中的應用。

1.1信息論在數據壓縮理論中的應用

數據壓縮的主要目的是力求用最少的數據表示信源所發出的信號，使信號占用的存儲空間盡可能小，以達到提高信息傳輸速度的目的。數據壓縮在近代信息處理問題中有大量的應用，無論在數據存儲或傳送中，通過數據壓縮不僅可以大大節省資源利用的成本，而且把一些原來無實用意義的技術，如多媒體技術中的一些問題，達到具有實用意義的標準。

數據壓縮作為信息論研究中的一項內容，主要是有關數據壓縮比和各種編碼方法的研究，即按某種方法對源數據流進行編碼，使得經過編碼的數據流比原數據流占有較少的空間。其中基于符號頻率統計的哈夫曼編碼效率高，運算速度快，實現方式靈活，使得其在數據壓縮領域得到了廣泛的應用。

數據壓縮技術的不斷完善是依靠在信息論這門學科的成長上的，信息能否被壓縮以及能在多大程度上被壓縮與信息的不確定性有直接的關系，人工智能技術將會對數據壓縮的未來產生重大影響。

1.2信息論在密碼學中的應用

密碼學是研究編制密碼和破譯密碼的技術科學。從傳統意義上來說，密碼學是研究如何把信息轉換成一種隱蔽的方式并阻止其他人得到它。密碼術的研究和應用雖有很長的歷史，但在信息論誕生之前，它還沒有系統的理論，直到香農發表的保密通信的信息理論一文，為密碼學確立了一系列的基本原則與指標，如加密運算中的完全性、剩余度等指標，它們與信息的度量有著密切相關。之后才產生了基于信息論的密碼學理論，所以說信息論與密碼學的關系十分密切。

近代密碼學由于數據加密標準與公鑰體制的出現與應用，使近代密碼學所涉及的范圍有了極大的發展，尤其是在網絡認證方面得到廣泛應用，但其中的安全性原理與測量標準仍未脫離香農保密系統所規定的要求，多種加密函數的構造，如相關免疫函數的構造仍以香農的完善保密性為基礎。

1.3信息論在數字移動通信系統中的應用

數字移動通信系統主要包含編碼和譯碼兩種技術。移動信道是最復雜的一種信道，為了保證在不利的條件下接受信號的傳輸質量，就必須采用各種抗衰落技術和數字傳輸技術，如分集技術、擴頻技術、均衡、交織和糾錯編碼等。

TD-SCDMA采用了3種信道編碼方案以提高信息在無線信道上的傳輸的可靠性，它們分別是卷積編碼、Turbo編碼和不編碼。

1.4信息論在統計中的應用

信息論在統計中的應用一般指信息量在統計中的應用，也有編碼定理與碼結構在統計中的應用等問題。由于統計學研究的問題日趨復雜，如統計模型從線性到非線性，統計分布從單一分布到混合分布，因此信息量在統計中的作用日趨重要，在許多問題中以信息量作為它們的基本度量。

在統計領域里，統計計算技術近年來發展很快，它使許多統計方法，尤其是Bayes統計得到廣泛的運用。信息與統計相結合的其他典型問題還很多，如假設檢驗中的兩類誤差估計問題，試驗設計問題，信息量在有效估計中的應用問題等，這些問題已使信息論與統計學想成相互推動發展的局面。

[2]1.5編碼技術在調制解調技術中的應用 在上個世紀80到90年代，信息編碼理論應用的兩項重大成果是：調制解調理論及數據壓縮理論在多媒體技術領域的應用。調制解調碼的出現從根本上改變了數據通信的狀況，使調制解調碼通信速度從原來的1200bit/s逐步增加到30000bit/s。我們可以簡單計算得知，調制解調碼大大提高了數據傳輸速度，提高了25倍，從而使現有的網絡通信成為實用性的技術。

1.6編碼技術在快速通信領域中的應用

編碼理論在快速通信技術中已得到了大量的應用，通信技術已從低速向高速發展，通信手段正向微波、衛星等方向發展，因此誤差干擾問題突現出來，利用糾錯碼可大大降低通信中的差錯率。在20世紀70到80年代的代數碼，如BCH碼、R-S碼等為克服誤差干擾發揮了重要作用，成為通信工程不可缺少的一個組成部分。

1.7信息論在其他領域中的應用

現今時代信息科學飛速發展，信息論已跨越了通信領域，在其他領域也得到了廣泛應用。信息論不僅在計算機、自動控制等方面突現作用，還開始涉及到物理學、化學、生物學、心理學、醫學、經濟學、人類學、語言學、統計學和管理學等學科。

比如信息論在水資源系統工程中可以利用信息論的方法建立模型推到降水、儲水量等分布的問題。在建筑工程故障診斷中信息論也得到了應用，它用熵的概念對所測量的數據進行處理和誤差分析。另外，信息論也能在作戰效能評估中得到應用研究，我們可以從信息的不確定性著手評估其作戰效能。我們不難看出，信息論在很多領域都有所應用。

二、信息論與編碼技術的應用前景

隨著Turbo碼的研究發展，在3G移動通信系統設計中Turbo碼以及Turbo思想越來越多地被用于和其他技術的結合上。例如在CDMA中，由于Turbo碼編碼中使用交織，可以通過分散信息碼元的位置降低擴頻碼間的相關性。實現時將Turbo碼與DS—CDMA系統的擴頻編碼結合起來。接收端先通過匹配濾波器分離出各用戶的接收信息，再根據信道模型計算出傳遞條件概率進行解擴，經過分支概率產生器后得到各個用戶接收信息的后驗概率，分別送入相應的Turbo碼譯碼器，每個譯碼器得到一個軟判決輸出和一個的可能性和超過這個最大值時的傳輸問題；構造性的編碼方法以及這些方法能達到的性能界限。

編碼方法在離散信道中一般用代數碼形式，其類型有較大發展，各種界限也不斷有人提出，但尚未達到編碼定理所啟示的限度，尤其是關于多用戶信道，更顯得不足。在連續信道中常采用正交函數系來代表消息，這在極限情況下可達到編碼定理的限度。只有無記憶單用戶信道和多用戶信道中的特殊情況的編碼定理已有嚴格的證明，其它信道也有一些結果，但尚不完善。

信息論出現已有30年,并已發展成為一門獨立的理論科學,這是由于通訊的理論與工程領域內存在大量積累起來的各方面知識等待綜合,另一方面,又有著日益復雜的各種通訊控制等問題要求有適當的方法去解決。也就是說,由于人類生產斗爭的實踐活動,達到一定的歷史階段,而形成相應的學科。隨著信息論學科的發展,又更深刻地預見和指導著通訊與其他工程技術領域的發展。

信息論的作用,同其他任何總結性的理論學科一樣,是以一般的形式提出和解決基本問題。它不僅可以用來探討過去在通訊工程領域中獲得的成就,而且可以指出在發展方向中應注意的問題。很多情況下,信息論可以明確指出: 哪些指標是可以達到的,哪些是無法達到的，這為我們的生產實踐提供了科學依據。

三、結束語

信息論發展起來以前, 人們對信息系統的理解是比較膚淺的。而現今，隨著信息科學的不斷發展，信息論的研究, 已與很多近代學科是密切相關的：如通訊、雷達、聲納、導航、遙測、遙控、遙感、自動控制、計算機、信息處理技術、控制論以及應用數學、物理學、邏輯學、生物學、心理學、語言學、語音學、仿生學等。

本文主要介紹信息論與編碼的應用與發展前景，同時簡介傳統編碼方法與現化編碼的不同，編碼技術在通信技術中的應用及其發展為主。通過這篇學習心得，可以看出，信息論與編碼技術在不斷創新發展，使其更能為我們所用，在更多的領域得到應用和發展。而我們人類在不停地在揭示自然界無窮奧妙的同時，也可以利用這些奧妙造幸于我們。

【參考文獻】

[1] 曹雪虹，張宗橙．信息論與編碼[M]．北京：清華大學出版社．2004． [2] 沈世鎰，吳忠華．信息論基礎與應用[M]．北京：高等教育出版社．2004． [3] 隋曉紅，王艷營．信息論與編碼[M]．北京：北京大學出版社.2010 [4] 傅祖蕓.信息論—基礎理論與應用[M]．北京：電子工業出版社．2004． [5] 張珊珊.信息論的應用[J]．大眾科技，143（7）：45-46.2011.[6] 維芬，云娜.信息論基本問題簡述[J]．信息與控制，34（1）：7-9.1978.[7] 盧侃.從Shannon信息論到認知信息論[J]．哈爾濱工程大學學報，32（8）：1063-1065.2011