信息论与编码课后习题答案

1． 有一个马尔可夫信源，已知p(x 1|x 1)=2/3，p(x 2|x 1)=1/3，p(x 1|x 2)=1，p(x 2|x 2)=0，试画出该信源的香农线图，并求出信源熵。 解：该信源的香农线图为：

1/3

○ ○

2/3 (x 1) 1 (x 2)

在计算信源熵之前，先用转移概率求稳定状态下二个状态x 1和 x 2 的概率)(1x p 和)(2x p 立方程：)()()(1111x p x x p x p =+)()(221x p x x p

=)()(2132x p x p +

)()()(1122x p x x p x p =+)()(222x p x x p =)(0)(2131x p x p + )()(21x p x p +=1 得4

3

1)(=x p 4

12)(=x p

马尔可夫信源熵H = ∑∑-

I

J

i j i j

i

x x p x x

p x p )(log )()( 得 H=0.689bit/符号

2．设有一个无记忆信源发出符号A 和B ，已知4

3

41)(.)(=

=B p A p 。求：

①计算该信源熵；

②设该信源改为发出二重符号序列消息的信源，采用费诺编码方法，求其平均信息传输速率； ③又设该信源改为发三重序列消息的信源，采用霍夫曼编码方法，求其平均信息传输速率。 解：①∑-

=X

i

i

x p x p X H )(log )()( =0.812 bit/符号

②发出二重符号序列消息的信源,发出四种消息的概率分别为

1614141)(=⨯=AA p 1634341

)(=⨯=AB p

1634143)(=⨯=BA p 1694343)(=⨯=BB p

用费诺编码方法 代码组 b i BB 0 1 BA 10 2 AB 110 3 AA 111 3

无记忆信源 624.1)(2)(2

==X H X H bit/双符号 平均代码组长度 2B =1.687 bit/双符号

B

X H R )(22==0.963 bit/码元时间

③三重符号序列消息有8个,它们的概率分别为

641)(=AAA p 64

3)(=AAB p 64

3)(=

BAA p 643)(=

ABA p 64

9)(=

BBA p 64

9)(=

BAB p 64

9)(=ABB p 64

27)(=

BBB p

用霍夫曼编码方法 代码组 b i

BBB 64

27 0 0 1 BBA 64

9 0 )(6419 1 110 3

BAB 649 1 )(6418 )(644 1 101 3

ABB 64

9 0 0 100 3

AAB 643

1 )(64

6

1 11111 5 BAA 64

3 0 1 11110 5

ABA

643

1 )(64

4

0 11101 5 AAA

64

1 0 11100 5

)(3)(3X H X H ==2.436 bit/三重符号序列 3B =2.469码元/三重符号序列

3R =B

X H )(3=0.987 bit/码元时间

3．已知符号集合{Λ321,,x x x }为无限离散消息集合，它们的出现概率分别为 2

11)(=

x p ，

412)(=x p 813)(=x p ·

··i i x p 2

1

)(=···求： ① 用香农编码方法写出各个符号消息的码字（代码组）； ② 计算码字的平均信息传输速率； ③ 计算信源编码效率。 解: ①

②∑-

=I

i

i

x p x p X H )(log )()(=2 bit/符号

∑==I

i i b P b Λ=2码元/符号

码元时间/1)

(bit b

x H R ==

③二进制信道C=1 bit/码元时间 信源编码的编码效率η=

C

R

=100%

① 对这八个符号作二进制码元的霍夫曼编码,写出各个码字,并求出编码效率。 解: ①∑-

=X

x

p x p X H )(log )()(=2552bit/符号,时间熵=t H 2.552bit/s

t R ==t H 2.552bit/s ②霍夫曼编码

符号 i p 代码组 b i C 0.4 0 0 1 B 0.18 0 110 3 A 0.1 0 (1,0) 100 3 0 (0.23) 1

F 0.1 0 1 1 (0.6) 1111 4

G 0.07 1 1011 4 1

E 0.06 0 (0.13) 1 1010 4 D 0.05 1 (0.19) 11101 5 0

H 0.04 0 (0.09) 11100 5

平均码长b =2.61码元/符号

码元时间/9779.0)

(bit b

x H R ==

信源编码的编码效率η=C

R

=97.79%

(完整版)信息论与编码-曹雪虹-课后习题答案

《信息论与编码》-曹雪虹-课后习题答案 第二章 2.1一个马尔可夫信源有3个符号{}1, 23,u u u ，转移概率 为：()1 1 |1/2p u u =，()2 1|1/2p u u =，()31|0p u u =，()12|1/3p u u =， ()22|0p u u =，()32|2/3p u u =，()13|1/3p u u =，()23|2/3p u u =，()33|0p u u =， 画出状态图并求出各符号稳态概率。 解：状态图如下 状态转移矩阵为： 1/21/2 01/302/31/32/30p ⎛⎫ ⎪= ⎪ ⎪⎝⎭ 设状态u 1，u 2，u 3稳定后的概率分别为W 1，W 2、W 3 由1231WP W W W W =⎧⎨++=⎩得1231132231231 112331223231 W W W W W W W W W W W W ⎧++=⎪⎪⎪+=⎪⎨⎪=⎪⎪⎪++=⎩计算可得1231025925625W W W ⎧=⎪⎪⎪ =⎨ ⎪ ⎪=⎪⎩

2.2 由符号集{0，1}组成的二阶马尔可夫链，其转移概率为：(0|00)p =0.8，(0|11)p =0.2，(1|00)p =0.2，(1|11)p =0.8， (0|01)p =0.5，(0|10)p =0.5，(1|01)p =0.5，(1|10)p =0.5。画出 状态图，并计算各状态的稳态概率。 解：(0|00)(00|00)0.8p p == (0|01)(10|01)0.5p p == (0|11)(10|11)0.2p p == (0|10)(00|10)0.5p p == (1|00)(01|00)0.2p p == (1|01)(11|01)0.5p p == (1|11)(11|11)0.8p p == (1|10)(01|10)0.5p p == 于是可以列出转移概率矩阵：0.80.20 0000.50.50.50.500000.20.8p ⎛⎫ ⎪ ⎪= ⎪ ⎪⎝⎭ 状态图为： 设各状态00，01，10，11的稳态分布概率为W 1,W 2,W 3,W 4 有 41 1i i WP W W ==⎧⎪⎨=⎪⎩∑ 得 131 132 24324412340.80.50.20.50.50.20.50.81W W W W W W W W W W W W W W W W +=⎧⎪+=⎪⎪+=⎨⎪+=⎪+++=⎪⎩ 计算得到123451417175 14W W W W ⎧=⎪⎪ ⎪=⎪⎨ ⎪=⎪⎪⎪= ⎩

信息论与编码习题参考答案(全)

信息论与编码习题参考答案 第一章 单符号离散信源 1.1同时掷一对均匀的子，试求： (1)“2和6同时出现”这一事件的自信息量； (2)“两个5同时出现”这一事件的自信息量； (3)两个点数的各种组合的熵； (4)两个点数之和的熵； (5)“两个点数中至少有一个是1”的自信息量。 解： bit P a I N n P bit P a I N n P c c N 17.536log log )(361 )2(17.418log log )(362)1(36 662221111 616==-=∴====-=∴== =?==样本空间： (3)信源空间： X (1,1) (1,2) (1,3) (1,4) (1,5) (1,6) P(X) 1/36 2/36 2/36 2/36 2/36 2/36 X (2,2) (2,3) (2,4) (2,5) (2,6) P(x) 1/36 2/36 2/36 2/36 2/36 X (3,3) (3,4) (3,5) (3,6) P(x) 1/36 2/36 2/36 2/36 X (4,4) (4,5) (4,6) P(x) 1/36 2/36 2/36 X (5,5) (5,6) (6,6) P(x) 1/36 2/36 1/36 bit x H 32.436log 36 62log 3615)(=??+?? =∴ X 2 3 4 5 6 7 8 9 10 11 12 P(x) 1/36 2/36 3/36 4/36 5/36 6/36 5/36 4/36 3/36 2/36 1/36 bit x H 71.3636 log 366536log 3610 436 log 368336log 366236log 36436log 362)(=??+?+?+??= ∴＋＋ (5) bit P a I N n P 17.111 36 log log )(3611333==-=∴==

信息论与编码陈运主编答案完整版

信息论与编码课后习题答案详解 试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍？ 解： 四进制脉冲可以表示4 个不同的消息，例如：{0, 1, 2, 3} 八进制脉冲可以表示8 个不同的消息，例如：{0, 1, 2, 3, 4, 5, 6, 7} 二进制脉冲可以表 示 2 个不同的消息，例如：{0, 1} 假设每个消息的发出都是等概率的，则： 四进制脉冲的平均信息量H X( 1) = log n = log4 = 2 bit symbol/ 八进制脉冲的平均信息量 H X( 2) = log n = log8 = 3 bit symbol/ 二进制脉冲的平均信息量H X( 0) = log n = log2 =1 bit symbol/ 所以： 四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的 2 倍和3 倍。 居住某地区的女孩子有25%是大学生，在女大学生中有75%是身高160厘米以上的，而女孩子中身高160厘米以上的占总数的一半。假如我们得知“身高160厘米以上的某女孩是大学生”的消息，问获得多少信息量？ 解： 设随机变量X 代表女孩子学历 X x1（是大学生）x2（不是大学生） P(X) 设随机变量Y 代表女孩子身高 Y y1（身高>160cm）y2（身高<160cm） P(Y) 已知：在女大学生中有75%是身高160 厘米以上的 即：p y( 1 / x1) = bit 求：身高160 厘米以上的某女孩是大学生的信息量 p x p y( 1) ( 1 / x1 ) log × =bit即：I x( 1 / y1 ) = −log p x( 1 / y1 ) = −log = − p y( 1 )

信息论与编码-曹雪虹-课后习题参考答案

《信息论与编码》-曹雪虹-课后习题答案 第二章 错误！未定义书签。2.1一个马尔可夫信源有3个符号{}1, 23,u u u ，转 移概率为：()1 1 |1/2p u u =，()2 1|1/2p u u =，()31|0p u u =，()12|1/3p u u =，()22|0p u u =， ()32|2/3p u u =，()13|1/3p u u =，()23|2/3p u u =，()33|0p u u =，画出状态图并求出 各符号稳态概率。 W 2、W 3 12310259 25625W W W ?=???=? ? ?=?? 2.2(0|p (0|01)p =0.5，(0|10)p 解：(0|00)(00|00)0.8p p ==(0|01)(10|01)0.5p p == 于是可以列出转移概率矩阵：0.80.20 0000.50.50.50.5000 00.20.8p ?? ? ?= ? ? ?? 状态图为：

设各状态00，01，10，11的稳态分布概率为W1,W2,W3,W4有 4 1 1 i i WP W W = = ? ? ? = ? ? ∑ 得 131 132 243 244 1234 0.80.5 0.20.5 0.50.2 0.50.8 1 W W W W W W W W W W W W W W W W += ? ?+= ?? += ? ?+= ? +++= ?? 计算得到 1 2 3 4 5 14 1 7 1 7 5 14 W W W W ? = ? ? ?= ? ? ?= ? ? ?= ? 2.31/6， 求： (1)“3和5 (2)“两个1 (3) 1的自信息量。 11 12 13 14 15 16 21 22 23 24 25 26 31 32 33 34 35 36 41 42 43 44 45 46 51 52 53 54 55 56

信息论与编码课后习题答案

1． 有一个马尔可夫信源，已知p(x 1|x 1)=2/3，p(x 2|x 1)=1/3，p(x 1|x 2)=1，p(x 2|x 2)=0，试画出该信源的香农线图，并求出信源熵。 解：该信源的香农线图为： 1/3 ○ ○ 2/3 (x 1) 1 (x 2) 在计算信源熵之前，先用转移概率求稳定状态下二个状态x 1和 x 2 的概率)(1x p 和)(2x p 立方程：)()()(1111x p x x p x p =+)()(221x p x x p =)()(2132x p x p + )()()(1122x p x x p x p =+)()(222x p x x p =)(0)(2131x p x p + )()(21x p x p +=1 得4 3 1)(=x p 4 12)(=x p 马尔可夫信源熵H = ∑∑- I J i j i j i x x p x x p x p )(log )()( 得 H=0.689bit/符号 2．设有一个无记忆信源发出符号A 和B ，已知4 3 41)(.)(= =B p A p 。求： ①计算该信源熵； ②设该信源改为发出二重符号序列消息的信源，采用费诺编码方法，求其平均信息传输速率； ③又设该信源改为发三重序列消息的信源，采用霍夫曼编码方法，求其平均信息传输速率。 解：①∑- =X i i x p x p X H )(log )()( =0.812 bit/符号 ②发出二重符号序列消息的信源,发出四种消息的概率分别为 1614141)(=⨯=AA p 1634341 )(=⨯=AB p 1634143)(=⨯=BA p 1694343)(=⨯=BB p 用费诺编码方法 代码组 b i BB 0 1 BA 10 2 AB 110 3 AA 111 3 无记忆信源 624.1)(2)(2 ==X H X H bit/双符号 平均代码组长度 2B =1.687 bit/双符号 B X H R )(22==0.963 bit/码元时间 ③三重符号序列消息有8个,它们的概率分别为

《信息论与编码》课后习题解答

*** 1 《信息论与编码》课后习题解答 2.2假设一副充分洗乱了的扑克牌（含52张牌），试问 (1) 任一特定排列所给出的信息量是多少？ (2) 若从中抽取13张牌，所给出的点数都不相同能得到多少信息量？ 解： (1) 52张牌共有52！种排列方式，任一特定的排序方式是等概率出现的，则所给出的信息量是： ! 521)(=i x p bit x p x I i i 581.225!52log )(log )(==-= (2) 52张牌共有4种花色、13种点数，从中抽取13张点数不同的牌的概率如下： bit C x p x I C x p i i i 208.134log )(log )(4)(1352131352 13 =-=-== 2.3 居住某地区的女孩子有25%是大学生，在女大学生中有75%是身高160厘米以上的，而女孩子中身高160厘米以上的占总数的一半。假如我们得知“身高160厘米以上的某女孩是大学生”的消息，问获得多少信息量？ 解：设随机变量X 代表女孩子学历，则是大学生的概率为P(x)1=0.25，不是大学生的概率为P(x)2=0.75。 设随机变量Y 代表女孩子身高,则身高大于160cm 和小于160cm 的概率分别为P(y 1)=0.5、P(y 2)=0.5 又有已知：在女大学生中有75%是身高160厘米以上的， 即：bit x y p 75.0)/(11= 所以身高160厘米以上的某女孩是大学生的信息量 即：bit y p x y p x p y x p y x I 415.15 .075.025.0log )()/()(log )/(log )/(11111111=?-=-=-= 2.4 设离散无记忆信源? ?????=====??????8/14/1324/18/310)(4321x x x x X P X ，其发出的信息为(202120130213001203210110321010021032011223210)，求 (1) 此消息的自信息量是多少？ (2) 此消息中平均每符号携带的信息量是多少？ 解： (1) 此消息总共有14个0、13个1、12个2、6个3，因此此消息发出的概率是： 6 2514814183?? ? ?????? ?????? ??=p 此消息的信息量是：bit p I 811.87log =-= (2) 此消息中平均每符号携带的信息量是：bit n I 951.145/811.87/== 2.5 从大量统计资料知道，男性中红绿色盲的发病率为7%，女性发病率为0.5%，如果你问一位男士：“你是否是色盲？”他的回答可能是“是”，可能是“否”，问这两个回答中各含多少信息量，平均每个回答中含有多少信息量？如果问一位女士，则答案中含有的平均自信息量是多少？

信息论与编码_杭州电子科技大学中国大学mooc课后章节答案期末考试题库2023年

信息论与编码_杭州电子科技大学中国大学mooc课后章节答案期末考试题库2023年 1.【图片】该信道的信道容量是（）bit/符号。 参考答案: log4-H(1/3,1/3,1/6,1/6); 2.对于离散无记忆平稳信源的N次扩展信源，其熵为扩展前信源熵的N倍。 参考答案: 正确 3.对应对称的DMC信道，当输入呈什么分布时，信道到达信道容量。 参考答案: 等概率分布 4.在X-Y-Z的信息传递中，信息不增性原理表示为I(X;Z)>=I(Y;Z)。 参考答案: 错误 5.信道容量随信源输出的概率分布的变化而变化。 参考答案: 错误 6.已知8个码组为（000000）、（001110）、（010101）、（011011）、 （100011）、（101101）、（110110）、（111000），若只用于检错，可检测出（）位错码。

参考答案: 2 7.突发差错始终以相等的概率独立发生于各码字、各码元、各比特。 参考答案: 错误 8.(7,3)码的监督矩阵有3行，生成矩阵有4行。 参考答案: 错误 9.根据香农容量公式可知，通过增大带宽可以无限的提高信道容量，只是提高 的速度会变慢 参考答案: 错误 10.二进制对称信道中，当信道转移概率中正确、错误的概率相等时，此信道不 能传递信息。 参考答案: 正确 11.某信道输入熵为H(X)，输出熵为H(Y)，若信道为无噪有损信道，其容量为 H(X)。 参考答案: 正确

12.连续信源限峰值条件下正态分布具有最大熵。 参考答案: 错误 13.关于信息熵在通信系统中的描述，以下错误的是（）。 参考答案: 条件熵H(X|Y)可以看作是信道上的干扰和噪声使接收端获得Y之后对X还有的平均不确定度，又称为噪声熵。 14.必然事件和不可能事件的自信息量都是0 。 参考答案: 错误 15.通常所说的符号差错概率（误码元率）是指信号差错概率，而误比特率是指 信息差错概率。 参考答案: 正确 16.当离散信源输出服从（）分布时，其熵为最大 参考答案: 等概率分布 17.信源变长编码的核心问题是寻找紧致码（或最佳码），霍夫曼编码方法构造 的是最佳码。

(完整版)信息论与编码习题参考答案

1.6为了使电视图象获得良好的清晰度和规定的对比度，需要用5×105个像素和10个不同的亮度电平，并设每秒要传送30帧图象，所有的像素是独立的，且所有亮度电平等概出现。求传输此图象所需要的信息率（bit/s ）。 解： bit/s 104.98310661.130)/)(()/(R bit/frame 10661.1322.3105)(H 105)(H bit/pels 322.310log )(log )()(H 76650510 10⨯=⨯⨯=⨯=∴⨯=⨯⨯=⨯⨯====∑=frame bit X H s frame r x X a p a p x i i i 所需信息速率为：每帧图像的熵是：每个像素的熵是：，由熵的极值性： 由于亮度电平等概出现 1.7设某彩电系统，除了满足对于黑白电视系统的上述要求外，还必须有30个不同的色彩度。试证明传输这种彩电系统的信息率要比黑白系统的信息率大 2.5倍左右。 证: . 5.2,,5.25.2477.210 log 300log )(H )(H pels /bit 300log )(log )()(H bit 3001030,10,,3001300 11倍左右比黑白电视系统高彩色电视系统信息率要图形所以传输相同的倍作用大信息量比黑白电视系统彩色电视系统每个像素每个像素的熵是：量化 所以每个像素需要用个亮度每个色彩度需要求下在满足黑白电视系统要个不同色彩度增加∴≈====∴=⨯∑=x x b p b p x i i i 1.8每帧电视图像可以认为是由3×105个像素组成，所以像素均是独立变化，且每像素又取128个不同的亮度电平，并设亮度电平是等概出现。问每帧图像含有多少信息量？若现在有一个广播员，在约10000个汉字中选1000个字来口述这一电视图像，试问若要恰当地描述此图像，广播员在口述中至少需要多少汉字？ 解: 个汉字 最少需要数描述一帧图像需要汉字每个汉字所包含信息量每个汉字所出现概率每帧图象所含信息量556 6 5 5 10322.6/10322.61 .0log 101.2)()()()(,log H(c):1.010000 1000 symble /bit 101.2128log 103)(103)(: ⨯∴⨯=-⨯=≥ ≤-=∴== ⨯=⨯⨯=⨯⨯=frame c H X H n c nH X H n p p x H X H 1.9 给 定 一 个 概 率 分 布 ) ,...,,(21n p p p 和一个整数m ， n m ≤≤0。定义 ∑=-=m i i m p q 1 1，证明： )log(),,...,,(),...,,(2121m n q q p p p H p p p H m m m n -+≤。并说明等式何时成立？ 证： ∑∑+==- -=>-=<-=''-=''∴>- =''-=''>-=n m i i i m i i i n p p p p p p p H x x x x f x e x x x f x x e x x x f x x x x f 1 121log log ),...,,( )0(log )( 0log )log ()(0 log )log ()()0(log )( 又为凸函数。即又为凸函数，如下：先证明 时等式成立。 当且仅当时等式成立。当且仅当即可得： 的算术平均值的函数，函数的平均值小于变量由凸函数的性质，变量n m m m m m n m m m i i i m m m m m m i i i n m i i i m i i i n n m m m m m n m i i i m m n m i i n m i i n m i i n m i i n m i i i p p p m n q q p p p H p p p H q q p p q p p p H m n q q q p p p p p p p p p H p p p m n q q q p p m n q q m n p m n p m n m n p f m n m n p f m n p p ===-+≤--=-+--≤- -=∴===-+-≤- --=----=---≤---=- ++==+==+++=+=+=+=+=+=∑∑∑∑∑∑∑∑∑ ∑...)log(),,...,,(),...,,(log log ),,...,,() log(log log log log ),...,,(...) log(log log log log )()()() ()(log 2121211 211 1 1 21211 1111 1 2.13把n 个二进制对称信道串接起来，每个二进制对称信道的错误传输概率为p(0

信息论与编码课后习题答案

1、 在熟悉论层次上研究信息的时候，必需同时考虑到 形式、含义和效用 三个方面的因素。 2、 1948年，美国数学家 香农 发表了题为“通信的数学理论”的长篇论文，从而创建了信息论。 3、 依照信息的性质，可以把信息分成 语法信息、语义信息和语用信息 。 4、 依照信息的地位，可以把信息分成 客观信息和主观信息 。 5、 人们研究信息论的目的是为了 高效、靠得住、安全 地互换和利用各类各样的信息。 6、 信息的 可气宇性 是成立信息论的基础。 7、 统计气宇 是信息气宇最常常利用的方式。 8、 熵 是香农信息论最大体最重要的概念。 9、 事物的不肯定度是历时间统计发生 概率的对数 来描述的。 10、单符号离散信源一般用随机变量描述，而多符号离散信源一般用 随机矢量 描述。 11、一个随机事件发生某一结果后所带来的信息量称为自信息量，概念为 其发生概率对数的负值 。 12、自信息量的单位一般有 比特、奈特和哈特 。 13、必然事件的自信息是 0 。 14、不可能事件的自信息量是 ∞ 。 15、两个彼此独立的随机变量的联合自信息量等于 两个自信息量之和 。 16、数据处置定理：当消息通过量级处置后，随着处置器数量的增多，输入消息与输出消息之间的平均互信息量 趋于变小 。 17、离散平稳无记忆信源X 的N 次扩展信源的熵等于离散信源X 的熵的 N 倍 。 18、离散平稳有记忆信源的极限熵，。 19、对于n 元m 阶马尔可夫信源，其状态空间共有 n m 个不同的状态。 20、一维持续随即变量X 在[a ，b]区间内均匀散布时，其信源熵为 log 2（b-a ） 。 21、平均功率为P 的高斯散布的持续信源，其信源熵，H c （X ）=。 22、对于限峰值功率的N 维持续信源，当概率密度 均匀散布 时持续信源熵具有最大值。 23、对于限平均功率的一维持续信源，当概率密度 高斯散布 时，信源熵有最大值。 24、对于均值为0，平均功率受限的持续信源，信源的冗余度决定于平均功率的限定值P 和信源的熵功率 之 比 。 25、若一离散无记忆信源的信源熵H （X ）等于，对信源进行等长的无失真二进制编码，则编码长度至少为 3 。 =∞H )/(lim 121-∞→N N N X X X X H eP π2log 212P