当前位置：文档库 › 信息论与编码习题参考答案(全)

信息论与编码习题参考答案(全)

信息论与编码习题参考答案第一章单符号离散信源

1.1同时掷一对均匀的子，试求：

(1)“2和6同时出现”这一事件的自信息量； (2)“两个5同时出现”这一事件的自信息量； (3)两个点数的各种组合的熵； (4)两个点数之和的熵；

(5)“两个点数中至少有一个是1”的自信息量。解：

bit

P a I N n P bit P a I N n P c c N 17.536log log )(361

)2(17.418log log )(362)1(36

662221111

616==-=∴====-=∴==

=⨯==样本空间：

(3)信源空间：

bit x H 32.436log 36

62log 3615)(=⨯⨯+⨯⨯

=∴ bit

x H 71.3636

log 366536log 3610 436

log 368336log 366236log 36436log 362)(=⨯⨯+⨯+⨯+⨯⨯=

∴＋＋ (5) bit P a I N n P 17.111

log log )(3611333==-=∴==

1.2如有6行、8列的棋型方格，若有两个质点A 和B ，分别以等概落入任一方格，且它们的坐标分别为（Xa ，Ya ）, （Xb ，Yb ）,但A ，B 不能同时落入同一方格。（1）若仅有质点A ，求A 落入任一方格的平均信息量；（2）若已知A 已落入，求B 落入的平均信息量；（3）若A ，B 是可辨认的，求A ，B 落入的平均信息量。解：

bit

a P a P a a P a I a P A i 58.548log )(log )()(H 48log )(log )(481

)(:)1(48

i i i i i ==-=∴=-=∴=

∑=落入任一格的概率Θ

bit

b P b P b b P b I b P A i 55.547log )(log )()(H 47

log )(log )(47

)(:B ,)2(48

1i i i i i ==-=∴=-=∴=∑=落入任一格的概率是落入任一格的情况下在已知Θbit

AB P AB P AB H AB P AB I AB P AB i i i i i i i 14.11)4748log()(log )()()

(log )(47

481)()3(47481

=⨯=-=-=∴⨯=∑⨯=是同时落入某两格的概率

1.3从大量统计资料知道,男性中红绿色盲的发病率为7%,女性发病率为0.5%.如果你问一位男士：“你是否是红绿色盲？”他的回答可能是：“是”，也可能“不是”。问这两个回答中各含有多少信息量？平均每个回答中各含有多少信息量？如果你问一位女士，则她的答案中含有多少平均信息量？解：

bit w P w P w P w P m m P m I w P w I bit m P m P m P m P m bit m P m I bit m P m I n n y y n n y y n n y y n n y y 0454.0log99.5%99.5%-log0.5%-0.5% )(log )()(log )()(H %

5.99log )(log )(%5.0log )(log )(36

6.0log93%93%-log7%-7% )(log )()(log )()(H 105.0%93log )(log )(84.3%7log )(log )(:

=⨯⨯=⨯-⨯-=-=-=-=-==⨯⨯=⨯-⨯-==-=-==-=-=平均每个回答信息量：：回答“不是”的信息量回答“是”的信息量：对于女：

平均每个回答信息量：：回答“不是”的信息量回答“是”的信息量：对于男士

1.4某一无记忆信源的符号集为｛0，1｝，已知。

，3

110=

p p （1）求符号的平均信息量；

（2）由1000个符号构成的序列，求某一特定序列（例如有m 个“0”,（1000-m ）个“1”）

的自信量的表达式；

（3）计算（2）中序列的熵。解：

2log 3)1000(231log 3log log )( ce bit/sequen 918918.01000)(1000)(3 3

log )1000(31log log )1000(log )(2/ 918.03

log 3231log 31log log )(110001

1110001100∑

∑-==---

-==⨯==---=---==⨯-⨯-=--=m

i m

i m m p p p p A H X H A H bit m m p m p m A I symble

bit p p p p x H ）（）（）（

1.5设信源X 的信源空间为：

⎩⎨

⎧• 0.3 0.18 0.16 0.18 0.19

0.17 X)( a a a a a a X ][654321p p x ：

：求信源熵，并解释为什么H(X)>log6，不满足信源熵的极值性。

解：

。

立的约束条件，所以不满足信源熵最大值成但是本题中

的约束条件下求得的，值是在这是因为信源熵的最大，不满足信源熵的极值性可见log6H(X)18.1 1

585.2log62.725H(X) bit/symble 725.2 3.0log 3.016.0log 16.018.0log 18.0219.0log 19.017.0log 17.0 )

(log )()(6

>===>==--⨯---=-=∑∑∑===i i

i i i i i p

p a p a p X H

1.6为了使电视图象获得良好的清晰度和规定的对比度，需要用5×105个像素和10个不同的亮度电平，并设每秒要传送30帧图象，所有的像素是独立的，且所有亮度电平等概出现。求传输此图象所需要的信息率（bit/s ）。解：

bit/s 104.98310661.130)/)(()/(R bit/frame

10661.1322.3105)(H 105)(H bit/pels

322.310log )(log )()(H 76650510

10⨯=⨯⨯=⨯=∴⨯=⨯⨯=⨯⨯====∑=frame bit X H s frame r x X a p a p x i i i 所需信息速率为：每帧图像的熵是：每个像素的熵是：，由熵的极值性：

由于亮度电平等概出现

1.7设某彩电系统，除了满足对于黑白电视系统的上述要求外，还必须有30个不同的色彩度。试证明传输这种彩电系统的信息率要比黑白系统的信息率大

2.5倍左右。证:

5.2,,5.25.2477.210

log 300

log )(H )(H pels

/bit 300log )(log )()(H bit 3001030,10,,3001300

11倍左右比黑白电视系统高彩色电视系统信息率要图形所以传输相同的倍作用大信息量比黑白电视系统彩色电视系统每个像素每个像素的熵是：量化

所以每个像素需要用个亮度每个色彩度需要求下在满足黑白电视系统要个不同色彩度增加∴≈====∴=⨯∑=x x b p b p x i i i Θ

1.8每帧电视图像可以认为是由3×105个像素组成，所以像素均是独立变化，且每像素又取128个不同的亮度电平，并设亮度电平是等概出现。问每帧图像含有多少信息量？若现在有一个广播员，在约10000个汉字中选1000个字来口述这一电视图像，试问若要恰当地描述此图像，广播员在口述中至少需要多少汉字？解:

个汉字

最少需要数描述一帧图像需要汉字每个汉字所包含信息量每个汉字所出现概率每帧图象所含信息量55665510322.6/10322.61.0log 101.2)()()()(,log H(c):1

.010*******

symble

/bit 101.2128log 103)(103)(:

⨯∴⨯=-⨯=≥≤-=∴==⨯=⨯⨯=⨯⨯=frame

c H X H n c nH X H n p p x H X H

1.9给定一个概率分布),...,,(21n p p p 和一个整数m ，n m ≤≤0。定义∑=-

i i

m p

q 1

1，证明：

)log(),,...,,(),...,,(2121m n q q p p p H p p p H m m m n -+≤。并说明等式何时成立？

证：

∑∑+==-

-=>-=<-=''-=''∴>-

=''-=''>-=n

m i i

i i i n p

p p p p p p H x x x x f x e

x x x f x x

x x x f x x x x f 1

121log log ),...,,(

)0(log )( 0log )log ()(0 log )log ()()0(log )(ΘΘ又为凸函数。即又为凸函数，如下：

先证明

时等式成立。

当且仅当时等式成立。当且仅当即可得：

的算术平均值的函数，函数的平均值小于变量由凸函数的性质，变量n m m m m m n m

m m i i i m m m m m m

i i i n

m i i

i i i n n m m m m m n

m i i

m n

m i i

m i i i p p p m n q q p p p H p p p H q q p p q p p p H m n q q q p p p

p p p p p p H p p p m n q q q p

p m

n q q m

n p

m n m

n p

f m n m

n p f m n p p ===-+≤--=-+--≤-

-=∴===-+-≤-

--=----=---≤---=-

++==+==+++=+=+=+=+=+=∑∑∑∑∑∑∑∑∑∑...)log(),,...,,(),...,,(log log ),,...,,()

log(log log log log ),...,,(...)

log(log log log

log

)

()(

)()

()

(log 2121211

211

21211

ΘΘ

1.10找出两种特殊分布:

p 1≥p 2≥p 3≥…≥p n ，p 1≥p 2≥p 3≥…≥p m ,使H(p 1,p 2,p 3,…,p n )=H(p 1,p 2,p 3,…,p m )。解：∑∑==-==-=m

i i i m n

i i i n q q q q q H p p p p p H 1

211

21log ),...,,(log ),...,,(

1.15两个离散随机变量X 和Y ，其和为Z ＝X ＋Y ，若X 和Y 统计独立，求证： (1) H(X)≤H(Z), H(Y)≤H(Z) (2) H(XY)≥H(Z) 证明：

∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑=================≥+-≥+-+-=≥

+⋅-≥-=⋅⋅-≤++-≤-=∴⎩⎨

⎧•⎩⎨⎧•s

j j j r

i s

j j i j r

i s

j j i j r s j j i i s s

j j i s

s j j i t k k k r

j j i j i r

j j i j i t

k k k s s r r q q q p q q p q q p p q p q p pz pz Z H XY H q p q p b a p b a p pz pz Z H Y X q q q Y P b b b P p p p X P a a a P 1

111i 11i 1

1i 1

21212121)

log(-)log( )

log())log(( )log()(log )()()log()( )(log )(log )(, ...

)( ... Y :][Y ... )( ... X

:][X Y X ＝又统计独立

又的信源空间为：

、设

第二章单符号离散信道

2.1设信源 .30

.70 )( X

:][X 21⎩⎨

⎧•X P a a P 通过一信道，信道的输出随机变量Y 的符号集 },{:21b b Y ,信道的矩阵：

⎥⎦

⎤⎢⎣⎡=

4/34/16/16/5][ 212

1a a P b b

试求：

(1) 信源X 中的符号α1和α2分别含有的自信息量；

(2) 收到消息Y ＝b 1，Y ＝b 2后，获得关于α1、α2的互交信息量：I(α1;b 1)、I(α1;b 2)、I(α2;b 1)、

I(α2;b 2)；

(3) 信源X 和信宿Y 的信息熵；

(4) 信道疑义度H(X/Y)和噪声熵H(Y/X)；

(5) 接收到消息Y 后获得的平均互交信息量I(X;Y)。解:

bit/symble

228.0698.0926.0)()()5(symble /bit 653.0926.0698.0881.0)()()()( )

()()()( bit/symble

698.0)(log )()()(log )()()4(bit/symble 926.0)120

log 1204112079log 12079(

)(log )()( bit/symble

881.0)3.0log 3.07.0log 7.0()(log )()(120

41)()()( 12079)()()(:)3( 134.14/33.06/17.04

/3log

)

()(log

);(I 766.04

/13.06/57.04

/1log )()(log );(I 036.14

/33.06/17.06

/1log

)

()(log );(I 34.04

/13.06/57.06

/5log

)()(log );(I )2( 737.13.0log )(log )(I 5415.07.0log )(log )(I (1)2

1222

1112222212112212211111121211=-=-=∴=-+=-+=∴-=-=====+-=-==+-=-=∴=

==⨯+⨯==-=⨯+⨯==-=⨯+⨯===⨯+⨯===-=-==-=-=∑∑∑∑∑∑∑∑========X Y H Y H I(X;Y)Y H X Y H X H Y X H Y X H X H X Y H Y H I(X;Y)a b p a b p a p a b p b a p X Y H b p b p Y H a p a p X H a b p a p b p a b p a p b p bit

b p a b p b a bit

b p a b p b a bit a p a bit a p a j i i j i j i j i i j j i j j j i i i i i i i i i 又由上2.2某二进制对称信道，其信道矩阵是：

⎥⎦

⎤⎢

⎣⎡=98.002.002.098.010][1 0 P 设该信道以1500个二进制符号/秒的速度传输输入符号。现有一消息序列共有14000个二进

制符号，并设在这消息中p(0)= p(1)=0.5。问从消息传输的角度来考虑，10秒钟能否将这消息序列无失真的传送完。解:

,1500bit/s,s

/bit 98.1201s 10/symble 14000:1400010symble /bit 859.098.0log 98.002.0log 02.01)1log()1(log 1)(1);(故不可能无失真传输最大码率超过了信道所能提供的而输入信源码率为为个二进制符号最大码率秒钟内传送信道在入等概信源

由于二进制对称信道输=⨯=∴=++=--++=-==∴C C H C Y X I t εεεεε

2.3有两个二元随机变量X 和Y ，它们的联合概率为P[X=0,Y=0]=1/8，P[X=0,Y=1]=3/8，P[X=1,Y=1]=1/8，P[X=1,Y=0]=3/8。定义另一随机变量Z=XY ，试计算： (1) H(X),H(Y),H(Z),H(XZ),H(YZ),H(XYZ);

(2) H(X/Y),H(Y/X),H(X/Z),H(Z/X),H(Y/Z),H(Z/Y),H(X/YZ),H(Y/XZ),H(Z/XY); (3) I(X;Y),I(X;Z),I(Y;Z),I(X;Y/Z),I(Y;Z/X),I(X;Z/Y)。解:

symble

/bit 406.1:symble

/bit 406.181log 81083log 83)8381log()8

81( ))11(log )11()01(log )01()10(log )10()00(log )00(( )

(log )()(bit/symble

544.0)8

log 8187log 87( symble

/bit 1)21

log 2121log 21()(

symble;/bit 1)21

log 2121log 21()(;

)1,1(;83)0,1(;0)1,0(;21)0()0,0( ;

)1,1(;83)0,1(;0)1,0(;21)0()0,0(.

)1(;87838381)0(:: .

8381)1(;218381)0(: .

8381)1(;218381)0(: :)1(212

===⎥⎦⎤⎢⎣⎡+++++-=+++-=-==+-==+-==+-=∴===============================++====+===+===+===+==∑∑==H(XZ)H(YZ)Z Y X p p p p p p p p z x p z x p XZ H H(Z)Y H X H Z Y p Z Y p Z Y p Y p Z Y p Z X p Z X p Z X p X p Z X p Z p Z p X XY Z Y p Y p Y X p X p X xz xz xz xz xz xz xz xz i k k i k i 的概率分布、、由上面且的分布的分布为的分布的分布由题意

[

]

[][]

bit/symble

0)8

/18/1log 818/38/3log 838/38/3log 838/18/1log 81()

)

11()111(log

)111()

10()100(log

)100()

01()010(log

)010()

00()000(log

)000(()()(log

)()(log )()(bit/symble

406.0)()(bit/symble

406.0)8/18/1log 812/18/3log 838/38/3log 832/18/1log 81()

)

11()111(log

)111()

00()100(log

)100()

10()010(log

)010()

00()000(log

)000(()()(log

)()(log )()(0

)110()011()101()001(bit/symble 4060)()(bit/symble 8620)()( :的概率Z 、Y 、X 由bit/symble

4060)2

1log 812183log 8302121log 21()11(log )11()01(log )10()10(log )01()00(log )00()()

(log

)()(log )()(bit/symble

8620)8

181log 818783log 8308721log 21()11(log )11()01(log )10()10(log )01()00(log )00()

()

(log

)()(log )()(:

同理bit/symble 8110)()()()()()()()()(bit/symble

8110)4

log 8143log 8343log 8341log 81()11(log )11()01(log )10()10(log )01()00(log )00()

(log )()(4

12181)1()11()11(43

2183)

1()01()10(4

32183)0()10()01(41

2181)

0()00()00()00(22

212

121212

p p p p p p p p p p p p y x p z y x p z y x p y x z p z y x p XY Z H YZ X H XZ Y H p p p p p p p p p p p p z y p z y x p z y x p z y x p z y x p YZ X H p p p p .X Z H Y Z H .Z X H Z Y H .//////p p p p p p p p x p x z p x z p x z p x z p X Z H .//////p p p p p p p p z p z x p z x p z x p z x p Z X H .Y X H X Y H Y H X 且H X Y H Y H Y X H X H X;Y I .p p p p p p p p y x p y x p Y X H .//p p ;p //p p p ;//p p ;p //p p p Y X )p (xy xyz xyz xy xyz xyz xy xyz xyz xy xyz xyz j i k j i i j k k j i j i k i j k k j i yz xyz xyz yz xyz xyz yz xyz xyz yz xyz xyz k j k j i i j k k j i k j i i j k k j i xyz xyz xyz xyz zx zx zx zx zx zx zx zx k i i i k i k k i i k i k xz xz xz xz xz xz xz xz i k k k i k i i k k i k i xy xy xy xy xy xy xy xy i j j i j i y xy xy y xy xy y xy xy y xy xy =+++-=+++-=-=-=∴===+++-=+++-=-=-=∴=========⨯+⨯++⨯-=+++-=-=-==⨯+⨯++⨯-=+++-=-=-===∴=-=-==⨯+⨯+⨯+⨯-=+++-=-=∴=====

=====

====∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑======================ΘΘ

symble

/bit 405.0406.0811.0)()()( symble /bit 405.0406.0811.0)()()( symble /bit 456.0406.0862.0)()()( symble

/bit 138.0862.01)()()( symble /bit 138.0862.01)()()( symble /bit 189.0811.01)()()(:)3(=-=-==-=-==-=-==-=-==-=-==-=-=YZ X H Y X H Y X;Z I XZ Y H X Y H X Y;Z I YZ X H Z X H Z X;Y I Z Y H Y H Y;Z I Z X H X H X;Z I Y X H X H X;Y I 由上

2.4已知信源X 的信源空间为

⎩

⎨

⎧•4.0 2.0 3.0 1.0 :)(

::][4321X P a a a a X P X 某信道的信道矩阵为：

b 1 b 2 b 3 b 4

⎥⎥⎥⎥⎦

⎤⎢⎢⎢⎢⎣⎡2.04

.03.01

.02.01.02.05.01.01.02.06.04.01.03.02.04321a a a a 试求：

(1)“输入α3，输出b 2的概率”； (2)“输出b 4的概率”；

(3)“收到b 3条件下推测输入α2”的概率。解：

136.022

.01

.03.0)

()

()()( 22

.04.04.01.02.01.03.01.01.0)()()()()3(19

.02.04.02.02.01.03.04.01.0 )()()()()2(04

.02.02.0)()();()1(3232324

334

144

14432323=⨯=

=⨯+⨯+⨯+⨯====⨯+⨯+⨯+⨯====⨯==∑∑∑∑====b p a b p a p b a p a b p a p b a p b p a b p a p b a p b p a b p a p b a p i i i i i i i i i i

2.5已知从符号B 中获取关于符号A 的信息量是1比特，当符号A 的先验概率P(A)为下列各值时，分别计算收到B 后测A 的后验概率应是多少。 (1) P(A)=10-2； (2) P(A)=1/32； (3) P(A)=0.5。

)(,5.0)( 161)(,321)( 102)(,10)()

(2)(1)

()(log

);(22====⨯==∴=∴==--B A p A p B A p A p B A p A p A p B A p A p B A p B A I 时时时由题意Θ

(1) 在W 4＝011中，接到第一个码字“0”后获得关于a4的信息量I(a 4;0)；

(2) 在收到“0”的前提下，从第二个码字符号“1”中获取关于a 4的信息量I(a 4;1/0)； (3) 在收到“01”的前提下，从第三个码字符号“1”中获取关于a 4的信息量I(a 4;1/01)； (4) 从码字W 4＝011中获取关于a 4的信息量I(a 4;011)。解：

bit 38log 8

/11

log

)

()101(log

)011;((4)bit

12log )8/18/1/()8/1(1

log )01()101(log )011;((3)bit

585.13log )8/18/14/14/1/()8/1()

8/18/1/()8/1(log

)

0()01(log

)01;((2)bit

415.03

log 8/1)8/18/14/14/1/()8/1(log

)

()0(log

)0;()1(444444444444======+====++++====+++==a p a p a I a p a p a I a p a p a I a p a p a I

2.13把n 个二进制对称信道串接起来，每个二进制对称信道的错误传输概率为p(0

1log )( )

()(log

)()

()(log

)();(lim )10)(()(2

1)1( 2

)10()0()00()0()0(:)

10(1)1(,)0(:2

])21(1[21lim lim 121]

)21(1[2

]

)21(1[21

])21(1[21])21(1[21])21(1[2

1])21(1[2

1 11])21(1[21])21(1[21])21(1[21])21(1[2

1][,]

)21(1[2

2222221221221111][:

2:2121

0212

002

1000000000000111

111

122222

222====∴=∴=====•=+==•===<<-=====

--=∴<---=--=∴⎥⎥⎥⎦

⎤⎢⎢

⎢⎣⎡-+-----+=⎥⎦⎤⎢⎣⎡--•⎥⎥⎥⎦⎤

⎢⎢

⎢⎣⎡-+-----+==--=-=∴⎥⎦⎤⎢⎣⎡-+-+--=⎥⎦⎤⎢⎣⎡--•⎥⎦⎤⎢⎣⎡--==∑∑∑∑∑∑==∞==∞∞∞==∞∞∞∞

→∞∞∞∞∞∞∞∞∞→∞→+++++++i j j i i j j i j j i i j j i j j i n n n n n n n n k k k k k k k k k k

k X X p X p X X p X X p X p X X p X X p X X I x x x p x x p X p X X p X p X X p X p X p X a a X p a X p X p P p p P p P p p p p p p p p p p p p P k n p p p p p p p

p p p p p p p p p p p p p

P n 或取、则输出信源其中设输入信源空间故则时公式成立假设时由当用数学归纳法证明Θ

2.18试求下列各信道矩阵代表的信道的信道容量： (1)

⎥⎥⎥⎥⎦

⎤⎢⎢⎢

⎢⎣⎡=0010100000010100][

432114321a a a a P b b b b

(2)

⎥⎥⎥⎥

⎥⎥⎥⎦

⎤⎢⎢⎢⎢⎢⎢⎢⎣⎡=100100010010001001][

b b b 6543212321a a a a a a P (3)

⎥⎥⎥

⎦

⎤

⎢⎢⎢⎣⎡=3.01.02.04.000000000007.03.000000000004.03.02.01.0][

b b b b b b b b b b 3213109876 54321a a a P

解：

bit/symble

585.13log log :

(3)bit/symble 585.13log log (2)symble /bit 24log log )1(======∴===∴r C s C r C Θ信道为扩张性无噪信道信道为归并性无噪信道

系的无噪信道信道为一一对应确定关

2.19设二进制对称信道的信道矩阵为：

⎥⎦

⎤⎢

⎣⎡=4/34/14/14/310][1 0 P (1) 若p(0)=2/3，p(1)=1/3，求H(X)，H(X/Y)，H(Y/X)和I(X;Y)；

(2) 求该信道的信道容量及其达到的输入概率分布。

解：

bit/symble

8113.0)4

log 433141log 413241log 413143log 4332( )

(log )()()(log )()(bit/symble 9799.0)12

log 125127log 127(

)(log )()(12

543314132)1()()1(12741314332)0()()0(bit/symble

9183.0)31

log 3132log 32()(log )()()1(2

1=⨯+⨯+⨯+⨯-=-=-==⨯+⨯-=-==⨯+⨯=

===⨯+⨯=

===⨯+⨯-=-=∑∑∑∑∑∑∑∑========i j i j i j i i j i j j i j j j i i i y i i i y i i i x y p x y p x p x y p y x p X Y H y p y p Y H x y p x p p x y p x p p x p x p X H

)1()0(,symble

/bit 1887.01log 25.0)25.0(2log )1log()(log (2)bit/symble 7497.01686.09183.0);()()(bit/symble 1686.08113.09799.0)()();(C X p X p H r H r C Y X I X H Y X H X Y H Y H Y X I 时达到信道容量即信源输入为等概分布本信道为强对称信道

=====--=---=∴=-=-==-=+=∴εε

2.20设某信道的信道矩阵为

⎥⎥⎥⎥

⎥⎥⎦

⎤⎢⎢⎢⎢⎢⎢⎣⎡=2.01.01.01.01.01.06.01.01.01.01.01.06.01.01.01.01.01.06.01.01.01.01.01.06.0][

b b b b b 5432154321a a a a a P

试求：

(1) 该信道的信道容量C ； (2) I(a 3;Y)； (3) I(a 2;Y)。解:

bit/symble

551.0);();((3)(2)bit/symble 551.04log 4.0)4.0(5log )1log()(log )1(53====--=---=∴C Y a I Y a I H r H r C 、道

本信道为强对称离散信εε

2.21设某信道的信道矩阵为

⎥⎦

⎤⎢

⎣⎡=3/13/16/16/16/16/13/13/1][

b b b b 214321a a P 试求：

(1)该信道的信道容量C ； (2)I(a 1;Y)； (3)I(a 2;Y)。解:

bymble

/bit 0817.0);();()3()2(symble /bit 0817.0)6

,61,31,31(4log ),,,(log 1214321

====-=''''-=∴C Y a I Y a I H p p p p H s C 、道

）本信道为对称离散信（

2.22设某信道的信道矩阵为

⎥⎦

⎤⎢⎣⎡=8/18/12/14/18/18/14/12/1][P

试该信道的信道容量C ；

解:

bit/symble

0612.0 )81

,81,41,21(]81log 81283log 832[),,,()(log )()(81

4121]8181[1)()()(83

4321]4121[1)()(2,2,4321

22121211121=-⨯+⨯-=''''--=∴==•=+•====•=+•=

===∑===H p p p p H b p b p s C b p r b p b p b p r b p b p s s l l l l l l l l 且道此信道为准对称离散信

2.23求下列二个信道的信道容量，并加以比较(其中0

⎢

⎣⎡----=δδ

δδδδ

22][1p q q p P (2) ⎥⎦

⎤

⎢⎣⎡----=δδ

δδδp q q p P 20

02][2

解:

0:2)log()()log()(2

2log )2( )

0,2,,()]2(21

log )2(212log 2[ ),,,()(log )()

2(21

)(1)(221

)02(1)(2,2,)2(log 2)log()()log()(2

2log )2( )

2,,(]log )2(2

log )2(212[ ),,()(log )(221

)2(1)()

2(21

)(1)(1,2,)1(21214321

122121321

112121时等号成立且当表达式可知、由上面且道此信道为准对称离散信且道此信道为准对称离散信=≤+--+--+-+-+-=----+•-+•⨯+-=''''--=∴-+•=-+-•==•=+•===++--+--+-+-+-=---+-+•-+•⨯-='''--=∴=•=•=-+•=-+-•===∑∑======δδ

δδδδδ

δδδδδδδδδδδδ

δδδ

δδδδδδδ

δδδδδδδδδ

δδδδδC C C C q q p p q p q p q p H q p q p p p p p H b p b p s C q p q p r b p r b p s s q q p p q p q p q p H q p q p p p p H b p b p s C r b p q p q p r b p s s l l l l l l l l l l l l l l l l

2.27设某信道的信道矩阵为

⎥⎥⎥⎦

⎤

⎢⎢⎢⎣⎡=N p p p P ΛΛM Λ000

00][21其中P 1,P 2，…，P N 是N 个离散信道的信道矩阵。令C 1，C 2，…，C N 表示N 个离散信道的容量。试证明，该信道的容量∑==N

i c i

C 1

log

比特/符号，且当每个信

道i 的利用率p i ＝2Ci-C

(i ＝1,2,…,N)时达其容量C 。

证明:

)1(,]P [)

,](2log[)

1(),2,1()/(log )/()/()

,2,1(:1

可以改写为方程组特点由其中可得解出由方程组列行为设∑∑∑∑∑===========⨯N

m m N m m s

j j s

j i j i j s

j j i j m m m l r k s C r i a b p a b p a b p N m k l P j β

ββΛΛΛΛΛ

]

2log[)

,,2,1(22

2log[])2

(log[]2log[22

),,,2,1](2

log[)2(),2,1( )

/(log )/()/()

/(log )/()/()/(log )/()/(1

)()

log (1

)

1111

112

2211111

111

∑∑∑∑∑∑∑∑∑∑∑∑∑∑=--∑=-====================∴====⎪⎪⎪

⎪⎩⎪⎪⎪⎪⎨⎧====N

m C C C C k j C m N

m C N

m k j s

j C k j k j m s j i j pn

i j pn k j j pn i j pn s j i j p i j p k j j p i j p s

j i j p i j p k j j p i j p m m m

k j j

pm m

j pm m m

pm j m

pm m

pm N

C N m p C N m C r i a b p a b p a b p a b p a b p a b p a b p a b p a b p 时取得信道容量且在各信道利用率为即其中ΛΛΛΛΛΛβββββββββ

第三章多符号离散信源与信道

3.1设X ＝X 1X 2…X N 是平稳离散有记忆信源，试证明：

H(X 1X 2…X N )=H(X 1)+ H(X 2/ X 1)+H(X 3/ X 1 X 2)+…+H(X N / X 1 X 2…X N -1)。 (证明详见p161-p162)

3.2试证明：logr ≥H(X) ≥H(X 2/ X 1) ≥H(X 3/ X 1 X 2) ≥…≥H(X N / X 1 X 2…X N -1)。证明:

)

/()/()/()(log )

(log log )()/()/()/()(:

)

/( )

/(log )( )

/(log )( )/(log )( )/(log )/()()/()

/()/(:121213121212131222111

1221112

111111

221112

11111132112

111111321121111212211132----==----==-=---==--=-==--=------≥≥≥≥∴≥≥≥≥=-=-=-=⎥

⎦⎤⎢⎣⎡-≤∴=∑∑∑∑∑∑∑∑∑∑∑N N N N k k r

i r

ik ik i i ik ik i i r i r

ik r

ik ik i i ik ik ik i i r

i r ik ik i i ik r

ik ik ik i i r

i r

ik ik i i ik r ik ik i i ik ik i k k ik i i ik ik i i ik X X X X H X X X H X X H X H r X H r r X H X X X X H X X X H X X H X H X X X X H a a a a p a a

a p a a a a p a a a a p a a a a p a a a a p a a a a p a a a a p a a p X X X X H a a a a p a a a a p ΛΛΛΛΛΛΛΛ

ΛΛΛ

ΛΛΛΛΛΛΛ，即达到最大，又仅当输入均匀分布时重复应用上面式子可得条件概率的平稳性有由离散平稳有记忆信源

3.3试证明离散平稳信源的极限熵：

)/(lim 121-∞

→∞=N N n X X X X H H

(证明详见p165-p167)

3.4设随机变量序列(XYZ)是马氏链，且X ：{a 1, a 2,…, a r }，Y ：{b 1,b 2, …,bs},Z:{c 1,c 2, …,cL}。又设X 与Y 之间的转移概率为p(b j /a i )(i=1,2, …,r;j=1,2, …,s)；Y 与Z 之间的转移概率为p(c k /b j )(k=1,2,…,L;j=1,2, …,s)。试证明：X 与Z 之间的转移概率：

∑==s

j j k i j i k b c p a b p a c p 1

)/()/()/(

证明:

∑∑∑========∴=∴=================s

j j k i j i k j k i j k s

j i j k i j s

j i j k i s

j j k i k i k b Y c Z P a X b Y p a c p b c P a b c P Markov XYZ a X b Y c Z P a X b Y p a X b Y c Z p a X b Y c Z p a X c Z p a c p 11

)

/()/()/()/(),/()

,/()/( )

/,()/,( )

/()/(＝序列为ΘY

3.5试证明：对于有限齐次马氏链，如果存在一个正整数n0≥1，对于一切i ，j ＝1，2，…，r ，都有p ij (n 0)>0，则对每个j ＝1，2，…，r 都存在状态极限概率：

),,2,1()(lim r j p n p j ij n Λ==∞

→

(证明详见:p171~175)

3.6设某齐次马氏链的第一步转移概率矩阵为：

⎥⎥⎥⎦

⎤⎢⎢⎢⎣⎡p q p q p q 000210 2 1 0 试求：

(1) 该马氏链的二步转移概率矩阵； (2) 平稳后状态“0”、“1”、“2”的极限概率。解：

[][]⎪⎪⎪⎪

⎩⎪⎪⎪

⎪⎨

⎧-=--=

-=---=-=--=⇒⎪⎪⎪⎪⎩⎪⎪⎪⎪⎨⎧=>=++⎥⎥⎥

⎦⎤⎢⎢⎢⎣⎡•⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡⎥⎥⎥⎦

⎤

⎢⎢

⎢⎣

⎡++=⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡==pq p pq q p p pq pq pq p q p pq q pq p q p i i p p p p p p p p q p q p q p p p p pq pq

q p pq q p pq

q p q

p q p

q p q

p q

P P P T 11)1()0(11)1)(1()1(11)1()0()

2,1,0(0)(1)2()1()0()2()1()0(000)2()1()0()2(20

00000)]2()[1(2

2222

22＝由：

3.7设某信源在开始时的概率分布为P{X 0=0}=0.6;P{ X 0=1}=0.3; P{ X 0=2}=0.1。第一个单位

时间的条件概率分布分别是：

P{ X 1=0/ X 0=0}=1/3; P{X 1=1/ X 0=0}=1/3; P{ X 1=2/ X 0=0}=1/3; P{ X 1=0/ X 0=1}=1/3; P{ X 1=1/ X 0=1}=1/3; P{ X 1=2/ X 0=1}=1/3; P{X 1=0/ X 0=2}=1/2; P{ X 1=1/ X 0=2}=1/2; P{ X 1=2/ X 0=2}=0.

后面发出的Xi 概率只与Xi-1有关，有P(Xi/Xi-1)=P(X 1/ X 0)(i ≥2)试画出该信源的香农线图，并计算信源的极限熵H ∞。解：

[][]bit/symbl

439.1)2

log 2141(2)31log 3183(3)31log 3183(3 )

/(log )/()(41)(83)(8

3)()3,2,1(0)(1)()()()()()(02/12/13/13/13/13/13/13/1)()()()3,2,1)(()3,2,1,(0)2(023/13/13/19/218/718/79/218/73/102/12/13/13/13/13/13/13/102/12/13/13/13/13/13/13/1)]2([02/12/13/13/13/13/13/13/1210][2

1 0 3

2132132100=⨯⨯-⨯⨯-⨯⨯-=-=∴⎪⎪

⎪⎩⎪⎪⎪⎨⎧===⇒⎪⎪⎪⎪⎩

⎪⎪⎪⎪⎨⎧=>=++⎥⎥⎥⎦⎤

⎢⎢⎢⎣⎡•⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=∴=>==∴⎥⎥

⎥⎦

⎤

⎢⎢⎢⎣⎡=⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡•⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡==∴⎥⎥

⎥⎦

⎤

⎢⎢⎢⎣⎡=∑∑=∞i j i j i j i i T i S S p S S p S p H S p S p S p i S p S p S p S p S p S p S p S p S p S p i S p j i n pij n P P P P ＝由存在极限概率信源具有各态经历性，，既有时二步转移概率均大于且一步转移概率为：有记忆信源：

由题意，此信源为一阶

香农线图如下：

信息论与编码理论习题答案

信息论与编码理论习题答案 LG GROUP system office room 【LGA16H-LGYY-LGUA8Q8-LGA162】

第二章信息量和熵八元编码系统，码长为3，第一个符号用于同步，每秒1000个码字，求它的信息速率。解：同步信息均相同，不含信息，因此每个码字的信息量为 2?8log =2?3=6 bit 因此，信息速率为 6?1000=6000 bit/s 掷一对无偏骰子，告诉你得到的总的点数为：(a) 7; (b) 12。问各得到多少信息量。解：(1) 可能的组合为 {1，6},{2，5},{3，4},{4，3},{5，2},{6，1} )(a p =366=6 1 得到的信息量 =) (1 log a p =6log = bit (2) 可能的唯一，为 {6，6} )(b p =361 得到的信息量=) (1 log b p =36log = bit 经过充分洗牌后的一副扑克（52张），问： (a) 任何一种特定的排列所给出的信息量是多少？ (b) 若从中抽取13张牌，所给出的点数都不相同时得到多少信息量？解：(a) )(a p =! 521 信息量=) (1 log a p =!52log = bit (b) ? ??????花色任选种点数任意排列 13413!13 )(b p =13 52134!13A ?=1352 13 4C 信息量=1313 52 4log log -C = bit 随机掷3颗骰子，X 表示第一颗骰子的结果，Y 表示第一和第二颗骰子的点数之和， Z 表示3颗骰子的点数之和，试求)|(Y Z H 、)|(Y X H 、),|(Y X Z H 、 )|,(Y Z X H 、)|(X Z H 。

信息论与编码习题参考答案(全)

信息论与编码习题参考答案第一章单符号离散信源 1.1同时掷一对均匀的子，试求： (1)“2和6同时出现”这一事件的自信息量； (2)“两个5同时出现”这一事件的自信息量； (3)两个点数的各种组合的熵； (4)两个点数之和的熵； (5)“两个点数中至少有一个是1”的自信息量。解： bit P a I N n P bit P a I N n P c c N 17.536log log )(361 )2(17.418log log )(362)1(36 662221111 616==-=∴====-=∴== =?==样本空间： (3)信源空间： X (1,1) (1,2) (1,3) (1,4) (1,5) (1,6) P(X) 1/36 2/36 2/36 2/36 2/36 2/36 X (2,2) (2,3) (2,4) (2,5) (2,6) P(x) 1/36 2/36 2/36 2/36 2/36 X (3,3) (3,4) (3,5) (3,6) P(x) 1/36 2/36 2/36 2/36 X (4,4) (4,5) (4,6) P(x) 1/36 2/36 2/36 X (5,5) (5,6) (6,6) P(x) 1/36 2/36 1/36 bit x H 32.436log 36 62log 3615)(=??+?? =∴ X 2 3 4 5 6 7 8 9 10 11 12 P(x) 1/36 2/36 3/36 4/36 5/36 6/36 5/36 4/36 3/36 2/36 1/36 bit x H 71.3636 log 366536log 3610 436 log 368336log 366236log 36436log 362)(=??+?+?+??= ∴＋＋ (5) bit P a I N n P 17.111 36 log log )(3611333==-=∴==

信息论与编码陈运主编答案完整版

信息论与编码课后习题答案详解试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍？解：四进制脉冲可以表示4 个不同的消息，例如：{0, 1, 2, 3} 八进制脉冲可以表示8 个不同的消息，例如：{0, 1, 2, 3, 4, 5, 6, 7} 二进制脉冲可以表示 2 个不同的消息，例如：{0, 1} 假设每个消息的发出都是等概率的，则：四进制脉冲的平均信息量H X( 1) = log n = log4 = 2 bit symbol/ 八进制脉冲的平均信息量 H X( 2) = log n = log8 = 3 bit symbol/ 二进制脉冲的平均信息量H X( 0) = log n = log2 =1 bit symbol/ 所以：四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的 2 倍和3 倍。居住某地区的女孩子有25%是大学生，在女大学生中有75%是身高160厘米以上的，而女孩子中身高160厘米以上的占总数的一半。假如我们得知“身高160厘米以上的某女孩是大学生”的消息，问获得多少信息量？解：设随机变量X 代表女孩子学历 X x1（是大学生）x2（不是大学生） P(X) 设随机变量Y 代表女孩子身高 Y y1（身高>160cm）y2（身高<160cm） P(Y) 已知：在女大学生中有75%是身高160 厘米以上的即：p y( 1 / x1) = bit 求：身高160 厘米以上的某女孩是大学生的信息量 p x p y( 1) ( 1 / x1 ) log × =bit即：I x( 1 / y1 ) = −log p x( 1 / y1 ) = −log = − p y( 1 )

信息论与编码理论习题答案全解

第二章信息量和熵 2.2 八元编码系统，码长为3，第一个符号用于同步，每秒1000个码字，求它的信息速率。解：同步信息均相同，不含信息，因此每个码字的信息量为 2?8log =2?3=6 bit 因此，信息速率为 6?1000=6000 bit/s 2.3 掷一对无偏骰子，告诉你得到的总的点数为：(a) 7; (b) 12。问各得到多少信息量。解：(1) 可能的组合为 {1，6},{2，5},{3，4},{4，3},{5，2},{6，1} )(a p =366=6 1 得到的信息量 =) (1 log a p =6log =2.585 bit (2) 可能的唯一，为 {6，6} )(b p =361 得到的信息量=) (1 log b p =36log =5.17 bit 2.4 经过充分洗牌后的一副扑克（52张），问： (a) 任何一种特定的排列所给出的信息量是多少？ (b) 若从中抽取13张牌，所给出的点数都不相同时得到多少信息量？解：(a) )(a p =! 521 信息量=) (1 log a p =!52log =225.58 bit (b) ???????花色任选种点数任意排列 13413!13 )(b p =13 52 134!13A ?=135213 4C 信息量=1313 524log log -C =13.208 bit

信息论与编码课后习题答案

1、在认识论层次上研究信息的时候，必须同时考虑到形式、含义和效用三个方面的因素。 2、 1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。 3、按照信息的性质，可以把信息分成语法信息、语义信息和语用信息。 4、按照信息的地位，可以把信息分成客观信息和主观信息。 5、人们研究信息论的目的是为了高效、可靠、安全地交换和利用各种各样的信息。 6、信息的可度量性是建立信息论的基础。 7、统计度量是信息度量最常用的方法。 8、熵是香农信息论最基本最重要的概念。 9、事物的不确定度是用时间统计发生概率的对数来描述的。 10、单符号离散信源一般用随机变量描述，而多符号离散信源一般用随机矢量描述。 11、一个随机事件发生某一结果后所带来的信息量称为自信息量，定义为其发生概率对数的负值。 12、自信息量的单位一般有比特、奈特和哈特。 13、必然事件的自信息是 0 。 14、不可能事件的自信息量是 ∞ 。 15、两个相互独立的随机变量的联合自信息量等于两个自信息量之和。 16、数据处理定理：当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量趋于变小。 17、离散平稳无记忆信源X 的N 次扩展信源的熵等于离散信源X 的熵的 N 倍。 18、离散平稳有记忆信源的极限熵，。 19、对于n 元m 阶马尔可夫信源，其状态空间共有 n m 个不同的状态。 20、一维连续随即变量X 在[a ，b]区间内均匀分布时，其信源熵为 log 2（b-a ）。 21、平均功率为P 的高斯分布的连续信源，其信源熵，H c （X ）=。 22、对于限峰值功率的N 维连续信源，当概率密度均匀分布时连续信源熵具有最大值。 23、对于限平均功率的一维连续信源，当概率密度高斯分布时，信源熵有最大值。 24、对于均值为0，平均功率受限的连续信源，信源的冗余度决定于平均功率的限定值P 和信源的熵功率之比。 25、若一离散无记忆信源的信源熵H （X ）等于2.5，对信源进行等长的无失真二进制编码，则编码长度至少为 3 。 26、m 元长度为k i ，i=1，2，···n 的异前置码存在的充要条件是：。 27、若把掷骰子的结果作为一离散信源，则其信源熵为 log 26 。 28、同时掷两个正常的骰子，各面呈现的概率都为1/6，则“3和5同时出现”这件事的自信息量是 log 218（1+2 log 23）。 29、若一维随即变量X 的取值区间是[0，∞]，其概率密度函数为，其中：，m 是X 的数学期望，则X 的信源熵。 30、一副充分洗乱的扑克牌（52张），从中任意抽取1张，然后放回，若把这一过程看作离散无记忆信源，则其信源熵为。 31、根据输入输出信号的特点，可将信道分成离散信道、连续信道、半离散或半连续信道。 32、信道的输出仅与信道当前输入有关，而与过去输入无关的信道称为无记忆信道。 33、具有一一对应关系的无噪信道的信道容量C= log 2n 。 34、强对称信道的信道容量C= log 2n-H ni 。 35、对称信道的信道容量C= log 2m-H mi 。 36、对于离散无记忆信道和信源的N 次扩展，其信道容量C N = NC 。 =∞H )/(lim 121-∞→N N N X X X X H eP π2log 212P ∑=-≤n i k i m 11 m x e m x p -=1)(0≥x =)(X H C me 2log 52 log 2

(完整版)信息论与编码-曹雪虹-课后习题答案

《信息论与编码》-曹雪虹-课后习题答案第二章 2.1一个马尔可夫信源有3个符号{}1, 23,u u u ，转移概率为：()1 1 |1/2p u u =，()2 1|1/2p u u =，()31|0p u u =，()12|1/3p u u =， ()22|0p u u =，()32|2/3p u u =，()13|1/3p u u =，()23|2/3p u u =，()33|0p u u =，画出状态图并求出各符号稳态概率。解：状态图如下状态转移矩阵为： 1/21/2 01/302/31/32/30p ?? ?= ? ??? 设状态u 1，u 2，u 3稳定后的概率分别为W 1，W 2、W 3 由1231WP W W W W =??++=?得1231132231231 112331223231 W W W W W W W W W W W W ?++=???+=???=???++=?计算可得1231025925625W W W ?=??? =? ? ?=??

2.2 由符号集{0，1}组成的二阶马尔可夫链，其转移概率为：(0|00)p =0.8，(0|11)p =0.2，(1|00)p =0.2，(1|11)p =0.8， (0|01)p =0.5，(0|10)p =0.5，(1|01)p =0.5，(1|10)p =0.5。画出状态图，并计算各状态的稳态概率。解：(0|00)(00|00)0.8p p == (0|01)(10|01)0.5p p == (0|11)(10|11)0.2p p == (0|10)(00|10)0.5p p == (1|00)(01|00)0.2p p == (1|01)(11|01)0.5p p == (1|11)(11|11)0.8p p == (1|10)(01|10)0.5p p == 于是可以列出转移概率矩阵：0.80.20 0000.50.50.50.500000.20.8p ?? ? ?= ? ??? 状态图为：设各状态00，01，10，11的稳态分布概率为W 1,W 2,W 3,W 4 有 41 1i i WP W W ==???=??∑ 得 131 132 24324412340.80.50.20.50.50.20.50.81W W W W W W W W W W W W W W W W +=??+=??+=??+=?+++=?? 计算得到123451417175 14W W W W ?=?? ?=?? ?=???= ?

信息论与编码理论课后答案

信息论与编码理论课后答案【篇一：《信息论与编码》课后习题答案】式、含义和效用三个方面的因素。 2、 1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。 3、按照信息的性质，可以把信息分成语法信息、语义信息和语用信息。 4、按照信息的地位，可以把信息分成客观信息和主观信息。 5、人们研究信息论的目的是为了高效、可靠、安全地交换和利用各种各样的信息。 6、信息的是建立信息论的基础。 7、 8、是香农信息论最基本最重要的概念。 9、事物的不确定度是用时间统计发生概率的对数来描述的。 10、单符号离散信源一般用随机变量描述，而多符号离散信源一般用随机矢量描述。 11、一个随机事件发生某一结果后所带来的信息量称为自信息量，定义为其发生概率对数的负值。 12、自信息量的单位一般有比特、奈特和哈特。 13、必然事件的自信息是。 14、不可能事件的自信息量是 15、两个相互独立的随机变量的联合自信息量等于两个自信息量之和。 16、数据处理定理：当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量趋于变小。 17、离散平稳无记忆信源x的n次扩展信源的熵等于离散信源x的熵的。 limh(xn/x1x2?xn?1)h?n???18、离散平稳有记忆信源的极限熵，。 19、对于n元m阶马尔可夫信源，其状态空间共有m个不同的状态。 20、一维连续随即变量x在[a，b] 。 1log22?ep 21、平均功率为p的高斯分布的连续信源，其信源熵，hc（x）=2。

22、对于限峰值功率的n维连续信源，当概率密度均匀分布时连续信源熵具有最大值。 23、对于限平均功率的一维连续信源，当概率密度 24、对于均值为0，平均功率受限的连续信源，信源的冗余度决定于平均功率的限定值p和信源的熵功率p 25、若一离散无记忆信源的信源熵h（x）等于2.5，对信源进行等长的无失真二进制编码，则编码长度至少为。 27 28、同时掷两个正常的骰子，各面呈现的概率都为1/6，则“3和5同时出现”这件事的自信息量是 ?mn?ki?1 1?mp(x)?em29、若一维随即变量x的取值区间是[0，∞]，其概率密度函数为，其中：x?0，m是x的数学 2期望，则x的信源熵c。 30、一副充分洗乱的扑克牌（52张），从中任意抽取1张，然后放回，若把这一过程看作离散无记忆信源，则其信 2源熵为。 31信道。 32、信道的输出仅与信道当前输入有关，而与过去输入无关的信道称为 33、具有一一对应关系的无噪信道的信道容量。 34、强对称信道的信道容量。 35、对称信道的信道容量。 36、对于离散无记忆信道和信源的n次扩展，其信道容量cn= 。xh(x)?logmelog52 37、对于n个对立并联信道，其信道容量 cn = 。 38、多用户信道的信道容量用多维空间的一个区域的界限来表示。 39、多用户信道可以分成几种最基本的类型：多址接入信道、广播信道和相关信源信道。 40、广播信道是只有一个输入端和多个输出端的信道。 41、当信道的噪声对输入的干扰作用表现为噪声和输入的线性叠加时，此信道称为加性连续信道。 ?ck?1nk p1log2(1?x)2pn。 42、高斯加性信道的信道容量c= 43、信道编码定理是一个理想编码的存在性定理，即：信道无失真传递信息的条件是信息率小于信道容量。 ?1/21/20??0?01??代表的信道的信道容量。 44、信道矩阵 ?10??10????01??代表的信道的信道容量。 45、信道矩阵?

信息论与编码理论习题答案全解

第二章信息量和熵 2.2 八元编码系统，码长为3，第一个符号用于同步，每秒1000个码字，求它的信息速率。解：同步信息均相同，不含信息，因此每个码字的信息量为 2⨯8log =2⨯3=6 bit 因此，信息速率为 6⨯1000=6000 bit/s 2.3 掷一对无偏骰子，告诉你得到的总的点数为：(a) 7; (b) 12。问各得到多少信息量。解：(1) 可能的组合为 {1，6},{2，5},{3，4},{4，3},{5，2},{6，1} )(a p =366=6 1 得到的信息量 =) (1 log a p =6log =2.585 bit (2) 可能的唯一，为 {6，6} )(b p =361 得到的信息量=) (1 log b p =36log =5.17 bit 2.4 经过充分洗牌后的一副扑克（52张），问： (a) 任何一种特定的排列所给出的信息量是多少？ (b) 若从中抽取13张牌，所给出的点数都不相同时得到多少信息量？解：(a) )(a p =! 521 信息量=) (1 log a p =!52log =225.58 bit (b) ⎩⎨⎧⋯⋯⋯⋯花色任选种点数任意排列 13413!13 )(b p =13 52134!13A ⨯=1352 13 4C 信息量=1313 524log log -C =13.208 bit

即)0;(1u I ，)00;(1u I ，)000;(1u I ，)0000;(1u I )0(p =4)1(81⨯-p +481⨯p =2 1 )0;(1u I =) 0()|0(log 1p u p =2 11log p -=1+)1log(p - bit )00(p =]2)1(4)1(2[8122p p p p +-+-=4 1 )00;(1u I =)00()|00(log 1p u p =4/1)1(log 2 p -=)]1log(1[2p -+ bit )000(p =])1(3)1(3)1[(813223p p p p p p +-+-+-=8 1 )000;(1u I =3[1+)1log(p -] bit )0000(p =])1(6)1[(8 1 4224p p p p +-+- )0000;(1u I =4 2244 )1(6)1()1(8log p p p p p +-+-- bit 2.12 计算习题2.9中);(Z Y I 、);(Z X I 、);,(Z Y X I 、)|;(X Z Y I 、)|;(Y Z X I 。解：根据题2.9分析 )(Z H =2(216log 2161+3216log 2163+6216log 2166+10 216log 21610+ 15216log 21615+21216log 21621+25216log 21625+27 216 log 21627) =3.5993 bit );(Z Y I =)(Z H -)|(Y Z H =)(Z H -)(X H =1.0143 bit );(Z X I =)(Z H -)|(X Z H =)(Z H -)(Y H =0.3249 bit );,(Z Y X I =)(Z H -)|(XY Z H =)(Z H -)(X H =1.0143 bit

信息论与编码课后习题答案

1、在熟悉论层次上研究信息的时候，必需同时考虑到形式、含义和效用三个方面的因素。 2、 1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创建了信息论。 3、依照信息的性质，可以把信息分成语法信息、语义信息和语用信息。 4、依照信息的地位，可以把信息分成客观信息和主观信息。 5、人们研究信息论的目的是为了高效、靠得住、安全地互换和利用各类各样的信息。 6、信息的可气宇性是成立信息论的基础。 7、统计气宇是信息气宇最常常利用的方式。 8、熵是香农信息论最大体最重要的概念。 9、事物的不肯定度是历时间统计发生概率的对数来描述的。 10、单符号离散信源一般用随机变量描述，而多符号离散信源一般用随机矢量描述。 11、一个随机事件发生某一结果后所带来的信息量称为自信息量，概念为其发生概率对数的负值。 12、自信息量的单位一般有比特、奈特和哈特。 13、必然事件的自信息是 0 。 14、不可能事件的自信息量是 ∞ 。 15、两个彼此独立的随机变量的联合自信息量等于两个自信息量之和。 16、数据处置定理：当消息通过量级处置后，随着处置器数量的增多，输入消息与输出消息之间的平均互信息量趋于变小。 17、离散平稳无记忆信源X 的N 次扩展信源的熵等于离散信源X 的熵的 N 倍。 18、离散平稳有记忆信源的极限熵，。 19、对于n 元m 阶马尔可夫信源，其状态空间共有 n m 个不同的状态。 20、一维持续随即变量X 在[a ，b]区间内均匀散布时，其信源熵为 log 2（b-a ）。 21、平均功率为P 的高斯散布的持续信源，其信源熵，H c （X ）=。 22、对于限峰值功率的N 维持续信源，当概率密度均匀散布时持续信源熵具有最大值。 23、对于限平均功率的一维持续信源，当概率密度高斯散布时，信源熵有最大值。 24、对于均值为0，平均功率受限的持续信源，信源的冗余度决定于平均功率的限定值P 和信源的熵功率之比。 25、若一离散无记忆信源的信源熵H （X ）等于，对信源进行等长的无失真二进制编码，则编码长度至少为 3 。 =∞H )/(lim 121-∞→N N N X X X X H eP π2log 212P

信息论与编码习题及参考答案

7.1 写出构成二元域上的 3 维 3重矢量空间的全部矢量元素，并且找出其中一个 2维子空间及其对偶子空间。 000 100 011 111 二维子空间 ( 000， 011， 110， 101) 7.2写出GF (7)的加法，乘法运算表，并找出每个元素的负元素和逆元素。解： {0,1,2,3,4,5,6} 对应的负元为 {0,6,5,4,3,2,1} ， {1,2,3,4,5,6} 对应的逆元 {1,4,5,2,3,6} 7.3 设二元 (6,3)码的生成矩阵为 100011 G 0 1 0 1 0 1 001110 (1) 写出相应的检验矩阵 H 。 (2) 写出码字集合，并求出最小汉明距离。解：1)由于生成矩阵 G 是规范形式，根据校验矩阵 H 与生成矩阵G 之间的关系 011 101 110 100 010 001 设比特信息矢量 {x1,x2,x3 }, 可以得到每位码元与信息位之间关系如下 c 1 x 1,c 2 x 2,c 3 x 3 c 4 x 2 x 3 c 5 x 1 x 3 c 5 x 1 x 2 可以得到具体码字如下 {000000} ， {100011} ， {010101} ， {001110} ， {110110} ， {101101} ， {011011} ， {111000} 。最小汉明距离为 3. 解：三维空间元素 001 101 010 110 0123456 1234560 2345601 3456012 4560123 5601234 0000000 0123456 0246135 0362514 0415263 0531642 H T