信息论与编码第四章习题参考答案

4.1某离散无记忆信源概率空间为

分别使用长度为10和100的序列进行等长无失真编码，分别计算最短平均码长和编码效率。 解：信源的熵为

881.03.03.07.07.0)(H =--=lb lb X 比特/符号

当N=10时，序列码长应当满足 81.81

881

.0102)(L 1=?=>

lb X NH 比特/序列

考虑到序列码长应该为整数，取L1=9比特/符号，平均每个符号的码长为

9.0N

L L 1

1==

比特/符号 所以编码效率为

%9.97L )

(H 1

1==

X η 当N=100时，序列码长为

1.881

881

.01002)(L 1=?=>

lb X NH 比特/100符号

取L1=89比特/符号，平均每个符号的码长为

89.0N

L L 2

2==

比特/符号 编码效率为

%99L )

(H 2

2==

X η 4.2设离散无记忆信源为

如果要求编码效率为，允许错误概率为

，求编码序列的长度

。

解：信源的熵为

722.02.02.08.08.0)(H =--=lb lb X 比特/符号

自信息量方差为

64.0722.0-）2.0（2.0）8.0（8.0D 22

2=+=lb lb

采用二进制码进行等长编码，序列长度应当满足

722

21062.1)1)((D N ?=-≥δ

ηηX H

4.3设离散无记忆信源的概率空间为

要求编码效率为

(1) 如果采用序列等长编码，而允许译码错误概率为，求编码序列的长度。

(2) 如果采用序列变长编码，求编码序列的长度，并且与(1)比较，说明为什么会有这样的结

果。

解1）信源的熵为

811.025.025.075.075.0)(H =--=lb lb X 比特/符号

自信息量方差为

471.0811.0-）25.0（25.0）75.0（75.0D 22

2=+=lb lb

采用二进制编码，序列长度为

62221029.1)1)((D N ?=-≥δ

ηηX H

2）对信源进行二次扩展，并采用下列编码方式构成唯一可译码

平均码长为

6875.1316

1316321631169L =?+?+?+?=

比特/2符号 每个符号码长为

84375.02

6875.12L L ===

比特/符号 编码效率为

%95%1.9684375

.0811

.0L H(X)=>===

δη 由于变长编码能够更好利用不同序列的概率分布进行编码，概率越大，序列的码长越短，概率越小，序列的码长越长，所以相对等长编码而言，变长编码的平均码长很短。在信源扩展长度很小情况下即可达到很高的编码效率。

4.4设有码集合

，根据唯一可

译码判断准则，判断是否为唯一可译码。

解：对应码长分别为3,4,4,4,5,5,5,6，将这些码长代入计算

14218758.022*******-5-5-5-4-4-4-3-≤=+++++++

结果满足麦克米伦不等式，因此该组码是唯一可译码的。

4.5设离散无记忆信源的概率空间为

将该信源扩展为长度的扩展信源，然后进行变长编码，求每个符号的平均码长可达

范围。 解：信源的熵为 98.1)()()(H 8

1

=-

=∑=i i

i a lbp a p X 比特/符号 根据香农第一定理，其可达范围为

)(H 1

N L L )(H N X N

X +<=

≤ 将N=100代入上述不等式，可以计算出每个符号的平均码长可达范围为（0.66,0.67）比特/符号。

4.6给定信源

的概率空间为

信宿的取值于

，失真矩阵为

求

和

，并且给出取得最小失真的条件。

解：根据失真矩阵行元素确定最小失真对应的实验信道条件概率矩阵（即最小失真的条件）为

????

??????=010110P

对应的最小失真为

16

1

021*******),(min )(D 3

1min =?+?+?=

=

∑=i

j i b a d ai p 最大失真首先计算每列的平均失真，即

∑==

3

1

),()()(i

j i i j b a d a p b d 将数据代入，得

165

021*******)(1=

?+?+?=

b d 16

11

1214341041)(2=

?+?+?=

b d 最大失真为

16

5}16

11）)(1（165)(min{)}()()()(min{D 212211max =?-+?=?+?=b p b p b d b p b d b p

4.7 二元信源的概率空间为

失真矩阵为

求信源的最大平均失真

，最小平均失真

和信息率失真函数

。

解：由于失真矩阵的每行元素中最小值为0，所以最小失真为Dmin=0；

2

21021)(1αα=?+?=

b d

2

02121)(1αα=?+?=

b d 所以最大失真为

2

α

。 根据信息率失真计算方法可知，

1)],(exp[)(2

1

=∑=j i i j j

b a Sd b p λ

当i=1时

1]exp[)()(2211=+αλλS a p a p

i=2时

1)(]exp[)(2211=+λαλa p S a p

令p a p =)(1，p a p -1)(2=

])exp[1（1

1αλS p +=

])

exp[1）（-1（1

2αλS p +=

解下列方程

i

j i j j

b a Sd b p λ1

)],(exp[)(2

1

=

∑=

i=1时

1

211

]exp[)()(λα=

+S b p b p

2

221

)(]exp[)(λα=

+b p S b p

将参数1λ、2λ的值代入上述方程组，可以求得

[]]exp[)1(]

[exp -11

)(1ααS p p S b p --=

[]]exp[-)1(]

[exp -11

)(2ααS p p S b p -=

将参数代入求解信道转移概率

)]b ,exp[Sd(a )(）|（j i i j λb p a b p i j =

即[]]exp[)1(])

[exp -1(1

)(）|（2

i 111ααλS p p S p b p a b p --=

= []]exp[-)1(])

[exp -1(]

exp[)(）|（2

1212αααλS p p S p S b p a b p -=

= []]exp[)1(])[exp -1(）-1（]

exp[)(）|（2

2121αααλS p p S p S b p a b p --=

= []]exp[-)1(])

[exp -1(）-1（1

)(）|（2

2222ααλS p p S p b p a b p -=

= 失真的参数S 表示

]

[exp 1]exp[D S S αα+=

即[]）D -1（log -logD 1

S α

=

代入∑=+=2

1log )(R(D)i

i i a p SD λ 整理得： [])(H ）

D -1（log ）D -（DlogD 1

R(D)p +-=α

α

综合起来

[]????

?????

=≥=<<+-===2D 02D 0)(H ）D -1（log ）D -（DlogD 1

0)(R(D)max max min αααα

D D p D D X H

4.8 二元信源的概率空间为

其中

，失真矩阵为

(1)求信源的最大平均失真，最小平均失真

和信息率失真函数

。

(2)求出达到

的正向试验信道的转移概率。

解：解题思路如上题，0最小失真为

，最大失真为2

1

???

?

?

????=≥=<<+-===21D 02D 0)(H )(0)(R(D)max max min D D D H D D X H αα 4.9 离散无记忆信源的概率空间为

失真矩阵为

求信息率失真函数

。

4.10 离散无记忆信源的概率空间为

失真矩阵为

求信息率失真函数。