2.1

試問四進制、八進制脈沖所含信息量是二進制脈沖的多少倍？

解：

四進制脈沖可以表示4個不同的消息，例如：{0,1,2,3}

八進制脈沖可以表示8個不同的消息，例如：{0,1,2,3,4,5,6,7}

二進制脈沖可以表示2個不同的消息，例如：{0,1}

假設每個消息的發出都是等概率的，則：

四進制脈沖的平均信息量H(X1)

=

log2n

=

log24

=

bit/symbol

八進制脈沖的平均信息量H(X2)

=

log2n

=

log28

=

bit/symbol

二進制脈沖的平均信息量H(X0)

=

log2n

=

log22

=

bit/symbol

所以：

四進制、八進制脈沖所含信息量分別是二進制脈沖信息量的2倍和3倍。

2.2

居住某地區的女孩子有25%是大學生，在女大學生中有75%是身高160厘米以上的，而女孩子中身高160厘米以上的占總數的一半。假如我們得知“身高160厘米以上的某女孩是大學生”的消息，問獲得多少信息量？

解：

設隨機變量X代表女孩子學歷

X

x1（是大學生）

x2（不是大學生）

P(X)

0.25

0.75

設隨機變量Y代表女孩子身高

Y

y1（身高>160cm）

y2（身高<160cm）

P(Y)

0.5

0.5

已知：在女大學生中有75%是身高160厘米以上的即：p(y1/

x1)

=

0.75

求：身高160厘米以上的某女孩是大學生的信息量

即：

2.3

一副充分洗亂了的牌（含52張牌），試問

(1)

任一特定排列所給出的信息量是多少？

(2)

若從中抽取13張牌，所給出的點數都不相同能得到多少信息量？

解：

(1)

52張牌共有52！種排列方式，假設每種排列方式出現是等概率的則所給出的信息量是：

(2)

52張牌共有4種花色、13種點數，抽取13張點數不同的牌的概率如下：

2.4

設離散無記憶信源，其發出的信息為(202120******1032011223210)，求

(1)

此消息的自信息量是多少？

(2)

此消息中平均每符號攜帶的信息量是多少？

解：

(1)

此消息總共有14個0、13個1、12個2、6個3，因此此消息發出的概率是：

此消息的信息量是：

(2)

此消息中平均每符號攜帶的信息量是：

2.5

從大量統計資料知道，男性中紅綠色盲的發病率為7%，女性發病率為0.5%，如果你問一位男士：“你是否是色盲？”他的回答可能是“是”，可能是“否”，問這兩個回答中各含多少信息量，平均每個回答中含有多少信息量？如果問一位女士，則答案中含有的平均自信息量是多少？

解：

男士：

女士：

2.6

設信源，求這個信源的熵，并解釋為什么H(X)

log6不滿足信源熵的極值性。

解：

不滿足極值性的原因是。

2.7

證明：H(X3/X1X2)

≤

H(X3/X1)，并說明當X1,X2,X3是馬氏鏈時等式成立。

證明：

2.8證明：H(X1X2

。。

Xn)

≤

H(X1)

+

H(X2)

+

…

+

H(Xn)。

證明：

2.9

設有一個信源，它產生0，1序列的信息。它在任意時間而且不論以前發生過什么符號，均按P(0)

=

0.4，P(1)

=

0.6的概率發出符號。

(1)

試問這個信源是否是平穩的？

(2)

試計算H(X2),H(X3/X1X2)及H∞；

(3)

試計算H(X4)并寫出X4信源中可能有的所有符號。

解：

(1)

這個信源是平穩無記憶信源。因為有這些詞語：“它在任意時間而且不論以前發生過什么符號……”

(2)

(3)

2.10

一階馬爾可夫信源的狀態圖如下圖所示。信源X的符號集為{0,1,2}。

(1)

求平穩后信源的概率分布；

(2)

求信源的熵H∞。

解：

(1)

(2)

2.15黑白氣象傳真圖的消息只有黑色和白色兩種，即信源X={黑，白}。設黑色出現的概率為P(黑)

=

0.3，白色出現的概率為P(白)

=

0.7。

(1)

假設圖上黑白消息出現前后沒有關聯，求熵H(X)；

(2)

假設消息前后有關聯，其依賴關系為P(白/白)

=

0.9，P(黑/白)

=

0.1，P(白/黑)

=

0.2，P(黑/黑)

=

0.8，求此一階馬爾可夫信源的熵H2(X);

(3)

分別求上述兩種信源的剩余度，比較H(X)和H2(X)的大小，并說明其物理含義。

解：

(1)

(2)

(3)

H(X)

H2(X)

表示的物理含義是：無記憶信源的不確定度大與有記憶信源的不確定度，有記憶信源的結構化信息較多，能夠進行較大程度的壓縮。

2.1

同時擲出兩個正常的骰子，也就是各面呈現的概率都為1/6，求：

(1)

“3和5同時出現”這事件的自信息；

(2)

“兩個1同時出現”這事件的自信息；

(3)

兩個點數的各種組合（無序）對的熵和平均信息量；

(4)

兩個點數之和（即2,3,…,12構成的子集）的熵；

(5)

兩個點數中至少有一個是1的自信息量。

解：

(1)

(2)

(3)

兩個點數的排列如下：

共有21種組合：

其中11，22，33，44，55，66的概率是

其他15個組合的概率是

(4)

參考上面的兩個點數的排列，可以得出兩個點數求和的概率分布如下：

(5)

2.13

某一無記憶信源的符號集為{0,1}，已知P(0)

=

1/4，P(1)

=

3/4。

(1)

求符號的平均熵；

(2)

有100個符號構成的序列，求某一特定序列（例如有m個“0”和（100

m）個“1”）的自信息量的表達式；

(3)

計算(2)中序列的熵。

解：

(1)

(2)

(3)

2.14

對某城市進行交通忙閑的調查，并把天氣分成晴雨兩種狀態，氣溫分成冷暖兩個狀態，調查結果得聯合出現的相對頻度如下：

若把這些頻度看作概率測度，求：

(1)

忙閑的無條件熵；

(2)

天氣狀態和氣溫狀態已知時忙閑的條件熵；

(3)

從天氣狀態和氣溫狀態獲得的關于忙閑的信息。

解：

(1)

根據忙閑的頻率，得到忙閑的概率分布如下：

(2)

設忙閑為隨機變量X，天氣狀態為隨機變量Y，氣溫狀態為隨機變量Z

(3)

2.18

有兩個二元隨機變量X和Y，它們的聯合概率為

Y

X

x1=0

x2=1

y1=0

1/8

3/8

y2=1

3/8

1/8

并定義另一隨機變量Z

=

XY（一般乘積），試計算：

(1)

H(X),H(Y),H(Z),H(XZ),H(YZ)和H(XYZ)；

(2)

H(X/Y),H(Y/X),H(X/Z),H(Z/X),H(Y/Z),H(Z/Y),H(X/YZ),H(Y/XZ)和H(Z/XY)；

(3)

I(X;Y),I(X;Z),I(Y;Z),I(X;Y/Z),I(Y;Z/X)和I(X;Z/Y)。

解：

(1)

Z

=

XY的概率分布如下：

(2)

(3)

2.16

有兩個隨機變量X和Y，其和為Z

=

X

+

Y（一般加法），若X和Y相互獨立，求證：H(X)

≤

H(Z),H(Y)

≤

H(Z)。

證明：

同理可得。

2.17

給定聲音樣值X的概率密度為拉普拉斯分布，求Hc(X)，并證明它小于同樣方差的正態變量的連續熵。

解：

2.18

連續隨機變量X和Y的聯合概率密度為：，求H(X),H(Y),H(XYZ)和I(X;Y)。

（提示：）

解：

2.19

每幀電視圖像可以認為是由3í105個像素組成的，所有像素均是獨立變化，且每像素又取128個不同的亮度電平，并設亮度電平是等概出現，問每幀圖像含有多少信息量？若有一個廣播員，在約10000個漢字中選出1000個漢字來口述此電視圖像，試問廣播員描述此圖像所廣播的信息量是多少（假設漢字字匯是等概率分布，并彼此無依賴）？若要恰當的描述此圖像，廣播員在口述中至少需要多少漢字？

解：

1)

2)

3)

2.20

設是平穩離散有記憶信源，試證明：。

證明：

2.21

設是N維高斯分布的連續信源，且X1,X2,…,XN的方差分別是，它們之間的相關系數。試證明：N維高斯分布的連續信源熵

證明：

相關系數，說明是相互獨立的。

2.22

設有一連續隨機變量，其概率密度函數

(1)

試求信源X的熵Hc(X)；

(2)

試求Y

=

X

+

A

(A

0)的熵Hc(Y)；

(3)

試求Y

=

2X的熵Hc(Y)。

解：

1)

2)

3)

3.1

設信源通過一干擾信道，接收符號為Y

=

{

y1,y2

}，信道轉移矩陣為，求：

(1)

信源X中事件x1和事件x2分別包含的自信息量；

(2)

收到消息yj

(j=1,2)后，獲得的關于xi

(i=1,2)的信息量；

(3)

信源X和信宿Y的信息熵；

(4)

信道疑義度H(X/Y)和噪聲熵H(Y/X)；

(5)

接收到信息Y后獲得的平均互信息量。

解：

1)

2)

3)

4)

5)

3.2

設二元對稱信道的傳遞矩陣為

(1)

若P(0)

=

3/4,P(1)

=

1/4，求H(X),H(X/Y),H(Y/X)和I(X;Y)；

(2)

求該信道的信道容量及其達到信道容量時的輸入概率分布；

解：

1)

2)

3.3

設有一批電阻，按阻值分70%是2KΩ，30%是5

KΩ；按瓦分64%是0.125W，其余是0.25W。現已知2

KΩ阻值的電阻中80%是0.125W，問通過測量阻值可以得到的關于瓦數的平均信息量是多少？

解：

對本題建立數學模型如下：

以下是求解過程：

3.4

若X,Y,Z是三個隨機變量，試證明

(1)

I(X;YZ)

=

I(X;Y)

+

I(X;Z/Y)

=

I(X;Z)

+

I(X;Y/Z)；

證明：

(2)

I(X;Y/Z)

=

I(Y;X/Z)

=

H(X/Z)

–

H(X/YZ)；

證明：

(3)

I(X;Y/Z)

≥0，當且僅當(X,Y,Z)是馬氏鏈時等式成立。

證明：

當時等式成立

所以等式成立的條件是X,Y,Z是馬氏鏈

3.5若三個隨機變量，有如下關系：Z

=

X

+

Y，其中X和Y相互獨立，試證明：

(1)

I(X;Z)

=

H(Z)

H(Y)；

(2)

I(XY;Z)

=

H(Z)；

(3)

I(X;YZ)

=

H(X)；

(4)

I(Y;Z/X)

=

H(Y)；

(5)

I(X;Y/Z)

=

H(X/Z)

=

H(Y/Z)。

解：

1)

2)

3)

4)

5)

3.6

有一個二元對稱信道，其信道矩陣為。設該信源以1500二元符號/秒的速度傳輸輸入符號。現有一消息序列共有14000個二元符號，并設P(0)

=

P(1)

=

1/2，問從消息傳輸的角度來考慮，10秒鐘內能否將這消息序列無失真的傳遞完？

解：

信道容量計算如下：

也就是說每輸入一個信道符號，接收到的信息量是0.859比特。已知信源輸入1500二元符號/秒，那么每秒鐘接收到的信息量是：

現在需要傳送的符號序列有140000個二元符號，并設P(0)

=

P(1)

=

1/2，可以計算出這個符號序列的信息量是

要求10秒鐘傳完，也就是說每秒鐘傳輸的信息量是1400bit/s，超過了信道每秒鐘傳輸的能力（1288

bit/s）。所以10秒內不能將消息序列無失真的傳遞完。

3.7

求下列各離散信道的容量（其條件概率P(Y/X)如下：）

(1)

Z信道

(2)

可抹信道

(3)

非對稱信道

(4)

準對稱信道

解：

1)

Z信道

這個信道是個一般信道，利用一般信道的計算方法：

a.由公式，求βj

b.由公式，求C

c.由公式，求p(yj)

d.由公式，求p(xi)

由方程組：

解得

因為s是條件轉移概率，所以0

≤

s

≤

1，從而有p(x1)，p(x2)

≥

0，保證了C的存在。

2)

可抹信道

可抹信道是一個準對稱信道，把信道矩陣分解成兩個子矩陣如下：

3)

非對稱信道

這個信道是個一般信道，利用一般信道的計算方法

a.由公式，求βj

b.由公式，求C

c.由公式，求p(yj)

d.由公式，求p(xi)

由方程組：

解得

p(x1)，p(x2)

≥

0，保證了C的存在。

(4)

準對稱信道

把信道矩陣分解成三個子矩陣如下：

3.8

已知一個高斯信道，輸入信噪比（比率）為3。頻帶為3kHz，求最大可能傳輸的消息率。若信噪比提高到15，理論上傳送同樣的信息率所需的頻帶為多少？

解：

3.9

有二址接入信道，輸入X1,X2和輸出Y的條件概率P(Y/X1X2)如下表（ε

1/2），求容量界限。

X1X2

Y

0

00

1-ε

ε

01

1/2

1/2

1/2

1/2

ε

1-ε

3.10

有一離散廣播信道，其條件概率為試計算其容量界限（已知）。

3.11

已知離散信源，某信道的信道矩陣為試求：

(1)

“輸入x3，輸出y2”的概率；

(2)

“輸出y4”的概率；

(3)

“收到y3的條件下推測輸入x2”的概率。

解：

1)

2)

3)

3.12

證明信道疑義度H(X/Y)

=

0的充分條件是信道矩陣[P]中每列有一個且只有一個非零元素。

證明：

[P]每列有一個且只有一個非零元素

=〉

H(X/Y)

=

0

取[P]的第j列，設而其他

3.13

試證明：當信道每輸入一個X值，相應有幾個Y值輸出，且不同的X值所對應的Y值不相互重合時，有H(Y)

–

H(X)

=

H(Y/X)。

證明：

信道每輸入一個X值，相應有幾個Y值輸出，且不同的X值所對應的Y值不相互重合。這種信道描述的信道轉移矩陣[P]的特點是每列有一個且只有一個非零元素。

取[P]的第j列，設而其他

3.14

試求以下各信道矩陣代表的信道的容量：

(1)

[P]

=

(2)

[P]

=

(3)

[P]

=

解：

1)

這個信道是一一對應的無干擾信道

2)

這個信道是歸并的無干擾信道

3)

這個信道是擴展的無干擾信道

3.15

設二進制對稱信道是無記憶信道，信道矩陣為，其中：p

0，<

1，p

+

=

1，>>

p。試寫出N

=

3次擴展無記憶信道的信道矩陣[P]。

解：

3.16

設信源X的N次擴展信源X

=

X1X2…XN通過信道{X,P(Y/X),Y}的輸出序列為Y

=

Y1Y2…YN。試證明：

(1)

當信源為無記憶信源時，即X1,X2,…,XN之間統計獨立時，有；

(2)

當信道無記憶時，有；

(3)

當信源、信道為無記憶時，有；

(4)

用熵的概念解釋以上三種結果。

證明：

1)

2)

3)

如果信源、信道都是無記憶的。上面證明的兩個不等式應同時滿足，即：

必然推出，而如果是平穩分布，即，那么。

4)

流經信道的信息量也是信宿收到的信息量，它等于信源信息的不確定度減去由信道干擾造成的不確定度。

當信源無記憶、信道有記憶時，對應于本題的第一種情況。信源是無記憶的，信源的不確定度等于N倍的單符號信源不確定度，信道是有記憶的，信道干擾造成的不確定度小于N倍單符號信道的不確定度。因此，這兩部分的差值平均互信息量大于N倍的單符號平均互信息量。

當信源有記憶、信道無記憶時，對應于本題的第二種情況。信源是有記憶的，信源的不確定度小于N倍的單符號信源不確定度，信道是無記憶的，信道干擾造成的不確定度等于N倍單符號信道的不確定度。因此，這兩部分的差值平均互信息量小于N倍的單符號平均互信息量。

當信源無記憶、信道無記憶時，對應于本題的第三種情況。信源是無記憶的，信源的不確定度等于N倍的單符號信源不確定度，信道是無記憶的，信道干擾造成的不確定度等于N倍單符號信道的不確定度。因此，這兩部分的差值平均互信息量等于N倍的單符號平均互信息量。

3.17

設高斯加性信道，輸入、輸出和噪聲隨機變量X,Y,N之間的關系為Y

=

X

+

N，且E[N2]

=

σ2。試證明：當信源X是均值E[X]

=

0，方差為的高斯隨機變量時，信道容量達其容量C，且。

證明：

根據概率論中的結論：n是正態分布，X是正態分布，則Y

=

X

+

n也是正態分布，而且。所以，前提是取最大值，也就是說取最大值。因為當X是均值為零的正態分布時，所以這是滿足的前提條件。

3.18

設加性高斯白噪聲信道中，信道帶寬3kHz，又設{(信號功率+噪聲功率)/噪聲功率}=10dB。試計算該信道的最大信息傳輸速率Ct。

解：

3.19

在圖片傳輸中，每幀約有2.25í106個像素，為了能很好地重現圖像，能分16個亮度電平，并假設亮度電平等概分布。試計算每分鐘傳送一幀圖片所需信道的帶寬（信噪功率比為30dB）。

解：

3.20

設電話信號的信息率5.6í104比特/秒，在一個噪聲功率譜為N0=

5í10-6

mW/Hz、限頻F、限輸入功率P的高斯信道中傳送，若F=4kHz，問無差錯傳輸所需的最小功率P是多少瓦？若F→∞，則P是多少瓦？

解：

4.1

一個四元對稱信源，接收符號Y

=

{0,1,2,3}，其失真矩陣為，求Dmax和Dmin及信源的R(D)函數，并畫出其曲線（取4至5個點）。

解：

因為n元等概信源率失真函數：

其中a

=

1,n

=

4,所以率失真函數為：

函數曲線：

其中：

4.2

若某無記憶信源，接收符號，其失真矩陣求信源的最大失真度和最小失真度，并求選擇何種信道可達到該Dmax和Dmin的失真度。

4.3

某二元信源其失真矩陣為求這信源的Dmax和Dmin和R(D)函數。

解：

因為二元等概信源率失真函數：

其中n

=

2,所以率失真函數為：

4.4

已知信源X

=

{0,1}，信宿Y

=

{0,1,2}。設信源輸入符號為等概率分布，而且失真函數，求信源的率失真函數R(D)。

4.5

設信源X

=

{0,1,2,3}，信宿Y

=

{0,1,2,3,4,5,6}。且信源為無記憶、等概率分布。失真函數定義為

證明率失真函數R(D)如圖所示。

4.6

設信源X

=

{0,1,2}，相應的概率分布p(0)

=

p(1)

=

0.4，p(2)

=

0.2。且失真函數為

(1)

求此信源的R(D)；

(2)

若此信源用容量為C的信道傳遞，請畫出信道容量C和其最小誤碼率Pk之間的曲線關系。

4.7

設0

α,β

1,α

+

β

=

1。試證明：αR(D’)

+βR(D”)

≥

R(αD’

+βD”)

4.8

試證明對于離散無記憶N次擴展信源，有RN(D)

=

NR(D)。其中N為任意正整數，D

≥

Dmin。

4.9

設某地區的“晴天”概率p(晴)

=

5/6，“雨天”概率p(雨)

=

1/6，把“晴天”預報為“雨天”，把“雨天”預報為“晴天”造成的損失為a元。又設該地區的天氣預報系統把“晴天”預報為“晴天”，“雨天”預報為“雨天”的概率均為0.9；把把“晴天”預報為“雨天”，把“雨天”預報為“晴天”的概率均為0.1。試計算這種預報系統的信息價值率v（元/比特）。

4.10

設離散無記憶信源其失真度為漢明失真度。

(1)

求Dmin和R(Dmin)，并寫出相應試驗信道的信道矩陣；

(2)

求Dmax和R(Dmax)，并寫出相應試驗信道的信道矩陣；

(3)

若允許平均失真度D

=

1/3，試問信源的每一個信源符號平均最少有幾個二進制符號表示？

解：

4.11

設信源（p

0.5），其失真度為漢明失真度，試問當允許平均失真度D

=

0.5p時，每一信源符號平均最少需要幾個二進制符號表示？

解：

因為二元信源率失真函數：

其中a

=

1（漢明失真）,所以二元信源率失真函數為：

當時

5.1

設信源

(1)

求信源熵H(X)；

(2)

編二進制香農碼；

(3)

計算平均碼長和編碼效率。

解：

(1)

(2)

xi

p(xi)

pa(xi)

ki

碼字

x1

0.2

0

000

x2

0.19

0.2

001

x3

0.18

0.39

011

x4

0.17

0.57

x5

0.15

0.74

x6

0.1

0.89

1110

x7

0.01

0.99

1111110

(3)

5.2

對信源編二進制費諾碼，計算編碼效率。

解：

xi

p(xi)

編碼

碼字

ki

x1

0.2

0

0

00

x2

0.19

0

010

x3

0.18

011

x4

0.17

0

x5

0.15

0

x6

0.1

0

1110

x7

0.01

1111

5.3

對信源編二進制和三進制哈夫曼碼，計算各自的平均碼長和編碼效率。

解：

二進制哈夫曼碼：

xi

p(xi)

編碼

碼字

ki

s6

s5

0.61

0

s4

0.39

s3

0.35

0

s2

0.26

x1

0.2

0

x2

0.19

x3

0.18

0

000

x4

0.17

001

x5

0.15

0

010

s1

0.11

x6

0.1

0

0110

x7

0.01

0111

三進制哈夫曼碼：

xi

p(xi)

編碼

碼字

ki

s3

s2

0.54

0

s1

0.26

x1

0.2

x2

0.19

0

00

x3

0.18

01

x4

0.17

02

x5

0.15

0

x6

0.1

x7

0.01

5.4

設信源

(1)

求信源熵H(X)；

(2)

編二進制香農碼和二進制費諾碼；

(3)

計算二進制香農碼和二進制費諾碼的平均碼長和編碼效率；

(4)

編三進制費諾碼；

(5)

計算三進制費諾碼的平均碼長和編碼效率；

解：

(1)

(2)

二進制香農碼：

xi

p(xi)

pa(xi)

ki

碼字

x1

0.5

0

0

x2

0.25

0.5

x3

0.125

0.75

x4

0.0625

0.875

1110

x5

0.03125

0.9375

11110

x6

0.015625

0.96875

111110

x7

0.0078125

0.984375

1111110

x8

0.0078125

0.9921875

1111111

二進制費諾碼：

xi

p(xi)

編碼

碼字

ki

x1

0.5

0

0

x2

0.25

0

x3

0.125

0

x4

0.0625

0

1110

x5

0.03125

0

11110

x6

0.015625

0

111110

x7

0.0078125

0

1111110

x8

0.0078125

1111111

(3)

香農編碼效率：

費諾編碼效率：

(4)

xi

p(xi)

編碼

碼字

ki

x1

0.5

0

0

x2

0.25

x3

0.125

0

x4

0.0625

x5

0.03125

0

220

x6

0.015625

221

x7

0.0078125

0

2220

x8

0.0078125

2221

(5)

5.5

設無記憶二進制信源

先把信源序列編成數字0，1，2，……，8，再替換成二進制變長碼字，如下表所示。

(1)

驗證碼字的可分離性；

(2)

求對應于一個數字的信源序列的平均長度；

(3)

求對應于一個碼字的信源序列的平均長度；

(4)

計算，并計算編碼效率；

(5)

若用4位信源符號合起來編成二進制哈夫曼碼，求它的平均碼長，并計算編碼效率。

序列

數字

二元碼字

0

1000

01

1001

001

1010

0001

1011

00001

1100

000001

1101

0000001

1110

00000001

1111

00000000

0

5.6

有二元平穩馬氏鏈，已知p(0/0)

=

0.8，p(1/1)

=

0.7，求它的符號熵。用三個符號合成一個來編寫二進制哈夫曼碼，求新符號的平均碼字長度和編碼效率。

5.7

對題5.6的信源進行游程編碼。若“0”游程長度的截至值為16，“1”游程長度的截至值為8，求編碼效率。

5.8

選擇幀長N

=

(1)

對************0000遍L-D碼；

(2)

對************0010遍L-D碼再譯碼；

(3)

對************0000遍L-D碼；

(4)

對************10010遍L-D碼；

(5)

對上述結果進行討論。