当前位置：文档库 › (完整版)信息论与编码习题参考答案

(完整版)信息论与编码习题参考答案

1.6为了使电视图象获得良好的清晰度和规定的对比度，需要用5×105个像素和10个不同的亮度电平，并设每秒要传送30帧图象，所有的像素是独立的，且所有亮度电平等概出现。求传输此图象所需要的信息率（bit/s ）。解：

bit/s 104.98310661.130)/)(()/(R bit/frame

10661.1322.3105)(H 105)(H bit/pels

322.310log )(log )()(H 76650510

10⨯=⨯⨯=⨯=∴⨯=⨯⨯=⨯⨯====∑=frame bit X H s frame r x X a p a p x i i i 所需信息速率为：每帧图像的熵是：每个像素的熵是：，由熵的极值性：

由于亮度电平等概出现

1.7设某彩电系统，除了满足对于黑白电视系统的上述要求外，还必须有30个不同的色彩度。试证明传输这种彩电系统的信息率要比黑白系统的信息率大

2.5倍左右。证:

5.2,,5.25.2477.210

log 300log )(H )(H pels

/bit 300log )(log )()(H bit 3001030,10,,3001300

11倍左右比黑白电视系统高彩色电视系统信息率要图形所以传输相同的倍作用大信息量比黑白电视系统彩色电视系统每个像素每个像素的熵是：量化

所以每个像素需要用个亮度每个色彩度需要求下在满足黑白电视系统要个不同色彩度增加∴≈====∴=⨯∑=x x b p b p x i i i

1.8每帧电视图像可以认为是由3×105个像素组成，所以像素均是独立变化，且每像素又取128个不同的亮度电平，并设亮度电平是等概出现。问每帧图像含有多少信息量？若现在有一个广播员，在约10000个汉字中选1000个字来口述这一电视图像，试问若要恰当地描述此图像，广播员在口述中至少需要多少汉字？解:

个汉字

最少需要数描述一帧图像需要汉字每个汉字所包含信息量每个汉字所出现概率每帧图象所含信息量556

10322.6/10322.61

.0log 101.2)()()()(,log H(c):1.010000

1000

symble /bit 101.2128log 103)(103)(:

⨯∴⨯=-⨯=≥

≤-=∴==

⨯=⨯⨯=⨯⨯=frame c H X H n c nH X H n p p x H X H

1.9

给

定

一

个

概

率

分

布

)

,...,,(21n p p p 和一个整数m ，

m ≤≤0。定义

∑=-=m

i i

m p q 1

1，证明：

)log(),,...,,(),...,,(2121m n q q p p p H p p p H m m m n -+≤。并说明等式何时成立？

证：

∑∑+==-

-=>-=<-=''-=''∴>-

=''-=''>-=n

m i i

i i i n p

p p p p p p H x x x x f x e

x x x f x x e

x x x f x x x x f 1

121log log ),...,,(

)0(log )( 0log )log ()(0 log )log ()()0(log )( 又为凸函数。即又为凸函数，如下：先证明

时等式成立。

当且仅当时等式成立。当且仅当即可得：

的算术平均值的函数，函数的平均值小于变量由凸函数的性质，变量n m m m m m n m

m m i i i m m m m m m

i i i n

m i i

i i i n n m m m m m n

m i i

m n

m i i

m i i n

m i i

i p p p m n q q p p p H p p p H q q p p q p p p H m n q q q p p p

p p p p p p H p p p m n q q q p

p m

n q

q m n p m n p m n m n p f m n m

n p f m n p

p ===-+≤--=-+--≤-

-=∴===-+-≤-

--=----=---≤---=-

++==+==+++=+=+=+=+=+=∑∑∑∑∑∑∑∑∑

∑...)log(),,...,,(),...,,(log log ),,...,,()

log(log log log log ),...,,(...)

log(log log log log )()()()

()(log 2121211

211

21211

1111

2.13把n 个二进制对称信道串接起来，每个二进制对称信道的错误传输概率为p(0

解：

1log )( )

()(log

)()

()(log

)();(lim )10)(()(2

1)1( 2

)10()0()00()0()0(:)

10(1)1(,)0(:2

])21(1[21lim lim 121]

)21(1[2

]

)21(1[21

])21(1[21

])21(1[21])21(1[2

1])21(1[2

1 11])21(1[21])21(1[21])21(1[2

)21(1[2

1][,]

)21(1[2

2222221221221111][:

2:2121

0212

002

1000000000000111111122222

222====∴=∴=====•=+==•===<<-=====

--=∴<---=--=∴⎥⎥⎥⎦

⎤⎢⎢⎢⎣⎡-+-----+=⎥⎦⎤⎢⎣⎡--•⎥

⎥⎥⎦⎤

⎢⎢⎢⎣⎡-+-----+==--=-=∴⎥⎦⎤⎢⎣⎡-+-+--=⎥⎦⎤⎢⎣⎡--•⎥⎦⎤⎢⎣⎡--==∑∑∑∑∑∑==∞==∞∞∞==∞∞∞∞

→∞∞∞∞∞∞∞∞∞→∞→+++++++i j j i i j j i j j i i j j i j j i n n n n n n n n k k k k k k k k k k k X X p X p X X p X X p X p X X p X X p X X I x x x p x x p X p X X p X p X X p X p X p X a a X p a X p X p P p p P p P p p p p p p p p p p p p P k n p p p p p p p

p p p p p p p p p p p p p

P n 或取、则输出信源其中设输入信源空间故则时公式成立假设时由当用数学归纳法证明

2.18试求下列各信道矩阵代表的信道的信道容量： (1)

⎥⎥⎥⎥

⎦

⎤⎢⎢⎢

⎢⎣⎡=0010100000010100][ 432114321a a a a P b b b b

(2)

⎥⎥

⎥

⎥⎥

⎦

⎤⎢⎢⎢⎢⎢⎢⎢⎣⎡=100100010010001001][

b b b 6543212321a a a a a a P

(3)

⎥⎥⎥

⎦

⎤⎢⎢⎢⎣⎡=3.01.02.04.000000000007.03.000000000004.03.02.01.0][

b b b b b b b b b b 3213109876 54321a a a P

解：

bit/symble

585.13log log :

(3)bit/symble 585.13log log (2)symble /bit 24log log )1(======∴===∴r C s C r C 信道为扩张性无噪信道信道为归并性无噪信道

系的无噪信道信道为一一对应确定关 2.19设二进制对称信道的信道矩阵为：

⎥⎦

⎤

⎢

⎣⎡=4/34/14/14/310][1 0 P

X n

(1) 若p(0)=2/3，p(1)=1/3，求H(X)，H(X/Y)，H(Y/X)和I(X;Y)； (2) 求该信道的信道容量及其达到的输入概率分布。

解：

bit/symble

8113.0)4

log 433141log 413241log 413143log 4332( )

(log )()()(log )()(bit/symble 9799.0)12

log 125127log 127(

)(log )()(12

543314132)1()()1(12741314332)0()()0(bit/symble

9183.0)31

log 3132log 32()(log )()()1(2

=⨯+⨯+⨯+⨯-=-=-==⨯+⨯-=-==⨯+⨯=

===⨯+⨯=

===⨯+⨯-=-=∑∑∑∑∑∑∑∑========i j i j i j i i j i j j i j j j i i i y i i i y i i i x y p x y p x p x y p y x p X Y H y p y p Y H x y p x p p x y p x p p x p x p X H

.时达到信道容量2

)1()0(即,信源输入为等概分布/1887.01log 25.0)25.0(2log )1log()(log 本信道为强对称信道

7497.01686.09183.0);()()(1686.08113.09799.0)()();(C X p X p H r H r C Y X I X H Y X H X Y H Y H Y X I =

====--=---=∴=-=-==-==∴symble bit (2)bit/symble

bit/symble

-εε

2.21设某信道的信道矩阵为

⎥⎦

⎤⎢

⎣⎡=3/13/16/16/16/16/13/13/1][ b b b b 214321a a P

试求：

(1)该信道的信道容量C ； (2)I(a 1;Y)； (3)I(a 2;Y)。解:

bymble

/bit 0817.0);();()3()2(symble /bit 0817.0)6

,61,31,31(4log ),,,(log 1214321

====-=''''-=∴C Y a I Y a I H p p p p H s C 、道

）本信道为对称离散信（

2.27设某信道的信道矩阵为

⎥

⎥⎥⎦⎤⎢⎢⎢⎣

⎡=N p p p P

0000][21其中P 1

,P 2，…，P

是N 个离散信道的信道矩阵。令C 1，C 2，…，C N 表示N 个离散信道的容量。试证明，该信道的容量

∑==N

i c i

C 1

2log 比

特/符号，且当每个信道i 的利用率p i ＝2Ci-C

(i ＝1,2,…,N)时达其容量C 。

证明:

)1(,]P [)

,](2log[)

1(),2,1()/(log )/()/()

,2,1(:1

可以改写为方程组特点由其中可得解出由方程组列行为设∑∑∑∑∑===========⨯N

m m N m m s

j j s

j i j i j s

j j i j m m m l r k s C r i a b p a b p a b p N m k l P j β

ββ

]

2log[)

,,2,1(22

2log[])2(log[]2log[22),,,2,1](2log[)2(),2,1( )/(log )/()/()

/(log )/()/()/(log )/()/(1

)()

log (1

)

1111

112

2211111111

∑∑∑∑∑∑∑∑∑∑∑∑∑∑=--∑=-====================∴====⎪⎪⎪

⎪⎩⎪⎪⎪

⎪⎨⎧====N

m C C C C k j C m N

m C N

m k j s

j C k j k j m s j i j pn i j pn k j j pn i

j pn s j i j p i j p k j j p i j p s

j i j p i j p k j j p i j p m m m

k j j

pm m

j pm m m

j m

C N m p C N m C r i a b p a b p a b p a b p a b p a b p a b p a b p a b p 时取得信道容量且在各信道利用率为即其中 βββ

βββ

第三章多符号离散信源与信道

3.1设X ＝X 1X 2…X N 是平稳离散有记忆信源，试证明：

H(X 1X 2…X N )=H(X 1)+ H(X 2/ X 1)+H(X 3/ X 1 X 2)+…+H(X N / X 1 X 2…X N -1)。 (证明详见p161-p162)

3.8某一阶马尔柯夫信源的状态转移如下图所示，信源符号集为X ：{0,1,2}，并定义

p p -=1

(1) 试求信源平稳后状态“0”、“1”、“2”的概率分布p(0)、p(1)、p(2)； (2) 求信源的极限熵H ∞； (3) p 取何值时H ∞取得最大值。

解：

)bit/symbl

log log ()2log 2312log 231log 31(3 )

/(log )/()()2(3

1)(31)(31)()

3,2,1(0)(1)()()()()()(2/2/2/2/2/2/)()()()

3,2,1)(()3,2,1,(0)1(012/2/2/2/2/2/210][2

1 0 )1(3

132132132100p

p p p p p p p p p S S p S S p S p H S p S p S p i S p S p S p S p S p S p S p p p p p p p p p p S p S p S p i S p j i n p n p p p p p p p p p P i j i j

i j i i T

i ij +-=⨯+⨯+⨯-=-=∴⎪⎪

⎪

⎩⎪⎪⎪⎨⎧===⇒⎪⎪⎪⎪⎩⎪⎪⎪⎪⎨⎧=>=++⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡•⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=∴=>==∴⎥⎥

⎥

⎦

⎤⎢⎢⎢⎣⎡=∑∑=∞＝由存在极限概率信源具有各态经历性，，既有时二步转移概率均大于移概率为：

由题意，此信源一步转

symble /bit 585.13log 32

3122122)2

log 22log 2log ()2log

log ((3)max ======∴=++++-=+-=∞∞∞H H p p p p p p p p p p p p p p p p p H 取得最大，且

时即由熵的极限定理，当

3.9某一阶马尔柯夫信源的状态转移如下图所示，信源符号集为X ：{0,1,2}。试求： (1)试求信源平稳后状态“0”、“1”、“2”的概率分布p(0)、p(1)、p(2)； (2)求信源的极限熵H ∞；

(3)求当p=0,p=1时的信息熵，并作出解释。

解:

bit/symbl

0)1(,1 bit/symbl 0)0(,0(3)bit/symbl )()log log ( )

log 3

log 31log 31log 31log 31log 31( )

/(log )/()()2(3

1)(31)(31)()

3,2,1(0)(1)()()()()()(000)()()()

3,2,1)((,000210][2

1 0 )1(3

321321321321=======+-=⨯++⨯++⨯+-=-=∴⎪⎪

⎪

⎩⎪⎪⎪⎨⎧==

=⇒⎪⎪⎪⎪⎩⎪⎪⎪⎪⎨⎧=>=++⎥⎥⎥⎦⎤

⎢⎢⎢⎣⎡•⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=∴∴⎥⎥

⎥

⎦

⎤⎢⎢⎢⎣⎡=∞∞=∞∑∑H H p H H p p H p p p p p p p p p p p p p p p p S S p S S p S p H S p S p S p i S p S p S p S p S p S p S p p p p p p p S p S p S p i S p p p p p p p P i j i j i j i i T i 时时＝由存在极限概率期性、各态经历性信源此信源为不可约、非周由状态转移图可知移概率为：

由题意，此信源一步转

第六章无失真信源编码

6.5某信源S 的信源空间为:

⎩⎨

⎧•

0.8 0.2 :)S (P s s

:S :]P [21S (1) 若用U:{0,1}进行无失真信源编码,试计算平均码长

n 的下限值;

(2) 把信源S 的N 次无记忆扩展信源S N 编成有效码,试求N=2,3,4时的平均码长

n ;

(3) 计算上述N=1,2,3,4,这四种码的信息率.

解:

⎪⎩

⎪⎨⎧=•===≥∴=⨯+⨯-=-=∑=0.64 0.16 0.16 0.04 )(

][2(2)7219.02

log 7219

.0log )(:/bit 7219.0)8.0log 8.02.0log 2.0()(log )()()1(2

222112112

S P S S S S S P S N r S H n symble

s p s p S H i i i 时

由平均码长界限定理

对其进行Huffman 编码:

信源符号码符号信源符号码符号/ 84.02

.12)2(/2 68.1308.0316.0216.0164.0)2(4

===

=⨯+⨯+⨯+⨯==∴∑=n n n p n i i i

⎪⎩⎪⎨⎧=•=0.512

0.128 0.128 0.032 0.128 0.032 0.032 0.008 )( ][33

222

2212122111221211121112

3S P S S S S S S S S S P S N 时

信源符号码符号信源符号码符号/ 728.03

184

.23)3(/3 184.2 5008.05032.05032.05032.03128.03128.03128.01512.0 )3(8

===

=⨯+⨯++⨯+⨯+⨯+⨯+⨯+⨯==∴∑=n n n p n i i

⎪⎪

⎪⎩⎪

⎪⎪⎨

⎧=•=0.4096 0.1024 0.1024 0.0256 0.1024 0.0256 0.0256

0.0064 )( 0.1024 0.0512 0.0512 0.0064 0.0512 0.0064 0.0064

0.0016 )( ][432222222122122211212221212112211123

1222

12211212121111221121111211112

3S P S S S S S S S S S S P S S S S S S S S S P S N 时

信源符号码符号信源符号码符号/ 7408.04

9632

.24)4(/4 9632.2 80016.080064.0)777(0064.0 )666666(0256.0)4433(1024.014096.0 )4(1

====⨯+⨯+++⨯++++++⨯++++⨯+⨯==∴∑=n n n p n i i

i (3)

symble

/bit 9745.07408.07219

.0)(,4symble

/bit 9916.0728.07219

.0)(,3symble

/bit 8594.084.07219

.0)(,2symble

/bit 1)

(,7129.0 symble /bit 7219.0)(1Huffman ,1=================

∴==n S H R N n

S H R N n

S H R n n

S H R n N 时时时时限若编码平均码长达到下编码则进行时

6.6设信源S 的信源空间为

⎩

⎨

⎧• 0.05 0.05 0.05 0.05 0.2 0.3 0.1 0.2 :)S (P s s s s s s s s

:S :]P [87654321S

符号集U:{0,1,2},试编出有效码,并计算其平均码长

n .

解:进行Huffman 编码:

r=3,q=8,因为(q-r)mod(r-1)=5mod2=1≠0,所以插入m=(r-1)- (q-r)mod(r-1)=2-1=1个虚假符号,令其为S 9,则:

信源符号

码符号/ 8.1 405.0405.0305.0305.021.022.012.013.0 8

=⨯+⨯++⨯+⨯+⨯+⨯+⨯+⨯==∴∑=i i

i n p n

6.7设信源S 的N 次扩展信源S N,用霍夫曼编码法对它编码,而码符号U:{ α1,α2,…,αr },编码后所得的码符号可以看作一个新的信源

⎩⎨

⎧⋯⋯•r 21r 21

:)U (P

:U :]P U [p p p a a a 试证明:当N →∞时,

)

,2,1(1

lim N r i r

p i ， ==∞

→. 证明:

),,2,1(1

lim :,log )(,,,log ,bit/symble

log log )H(lim )H(lim lim )

H()H(,log lim log lim log )

log )((lim lim log )(lim

, 1

log )(log )(N , 1

log )(log )

(1log )

(log )(:,.,Huffam N max r i r

p r U H N U r R U N r r H H n

S n S R R n

S n S R H r H n r

H n r H N

r S H n r S H S n N

r S H n r S H N r N S H N n r N S H r S H n r S H S S i N N N N

N N N N r

N N N N N N N N N N N N ==∴=∞→=∞→∴=====∴==

==∴<≤+<≤∴+<≤∴+⨯<≤

⨯+<≤∞→∞∞∞

∞→∞→∞→∞∞∞

∞→∞

∞→∞∞→∞→∞

→此时各符号等概出现知由信源熵的最大值定理最大时提供的信息量达到了在对于码符号集可见平均信息量每一符号所包含信源的编码速率即码符号集时在编码速率有

定理同时由无失真信源编码不等式仍成立对上式各项求极限码长每个符号所需要的平均为信源其中要的平均码长次扩张信源每个符号需为其中则

有由平均码长的界限定理延长有效码得到的编码是无失真非编码进行次扩展信源的对信源 6.8

6.9设某信源的信源空间为:

⎪⎩

⎪

⎨⎧•641

641 321 161 81 41 21 :)S (P s s s s s s s

:S :]P [7654321S 试用U:{0,1}作码符号集,采取香农编码方法进行编码,并计算其平均码长

n .

解:

信源符号码符号/ 96875.1 6641664153214161381241121 1

=⨯+⨯+⨯+⨯+⨯+⨯+⨯=

=∴∑=i i

i n p n

第七章抗干扰信道编码

7.6考虑一个码长为4的二进制码，其码字为w 1=0000；w 2=0011；w 3=1100；w 4=1111。若码字送入一个二进制对称信道（其单符号的误传概率为p ，p<0.01），而码字的输入是不等概率的，其概率为：p(w 1)=1/2，p(w 2)=1/8，p(w 3)=1/8，p(w 4)=1/4 试找出一种译码规则使平均错误概率P emin =P e 。

解：由于信道为二进制对称信道，所以先验概率等于后验概率，且p<0.01，故可以根据信道输出的24个码字的最大后验概率选择译码规则，即可使平均错误概率P emin =P e 。

22344

334322223

3222234334P P P P P P 4

1P P 41P P 41P 81P P 41P P 21P P 21P P 21

P P 41P P 21P P 21P P 21P 81P P 21P P 21P 21231 )

(1 )

()(1*161

min ---=+++++++++++++++-=-==∴∑=j j j e e b a P b P P P 7.7设一离散无记忆信道，其信道矩阵为：

⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎦

⎤⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎣⎡210

12121000021210000212100002121

(1) 计算信道容量C ；

(2) 找出一个长度为二的码，其信息传输率为0.5log5（即五个字符），如果按最大似然译码准则设计译码器，求译码器输出端平均错误译码的概率P e （输入字符等概）； (3) 有无可能存在一个长度为2的码而使每个码字的平均误译概率P e (i)＝0（i=1,2,3,4,5），也即使平均错译概率P e ＝0？如存在的话请找出来。

解：

symble

bit C i a b p a b p a b p s r j j i j i j j j i j j

/322.125log 2log 11

1112

2222)5,4,3,2,1()/(log )/()/(]P [5)1(5

154

321515

44332215

===⇒⎪⎪⎪⎩⎪⎪⎪⎨⎧-=-=-=-=-=⇒⎪⎪⎪⎩⎪⎪⎪⎨⎧-=+-=+-=+-=+-=+==∴==∑∑∑===βββββββββββββββββ得

由为非奇异矩阵

，且

)

3()2(

7.8设有二个等概信息A 和B ，对它们进行信道编码，分别以w 1=000，w 2=111表示。若二进制对称信道的正确传递概率p`>>错误传递概率p 。试选择译码函数，并使平均错误概率P e =P emin ，写出P emin 的表达式。解：

000 001 010 100 011 101 110 111

[]⎥

⎦

⎤⎢⎣⎡=

3222222332222223P P P P P P P P P P P P P P P P P P P P P P P P P P P P 111000P

因为正确传递概率p`>>错误传递概率p ，所以选择译码函数如下： F(000)=F(010)=F(100) =F(001)=000 F(111)=F(011)=F(101) =F(110)=F(111)=111

©H.F. 3

232P P P P P P +=+===∑∑=≠3)26(21)()(81*

min j i i j i e e w b P w P P P

信息论与编码理论习题答案

信息论与编码理论习题答案 LG GROUP system office room 【LGA16H-LGYY-LGUA8Q8-LGA162】

第二章信息量和熵八元编码系统，码长为3，第一个符号用于同步，每秒1000个码字，求它的信息速率。解：同步信息均相同，不含信息，因此每个码字的信息量为 2?8log =2?3=6 bit 因此，信息速率为 6?1000=6000 bit/s 掷一对无偏骰子，告诉你得到的总的点数为：(a) 7; (b) 12。问各得到多少信息量。解：(1) 可能的组合为 {1，6},{2，5},{3，4},{4，3},{5，2},{6，1} )(a p =366=6 1 得到的信息量 =) (1 log a p =6log = bit (2) 可能的唯一，为 {6，6} )(b p =361 得到的信息量=) (1 log b p =36log = bit 经过充分洗牌后的一副扑克（52张），问： (a) 任何一种特定的排列所给出的信息量是多少？ (b) 若从中抽取13张牌，所给出的点数都不相同时得到多少信息量？解：(a) )(a p =! 521 信息量=) (1 log a p =!52log = bit (b) ? ??????花色任选种点数任意排列 13413!13 )(b p =13 52134!13A ?=1352 13 4C 信息量=1313 52 4log log -C = bit 随机掷3颗骰子，X 表示第一颗骰子的结果，Y 表示第一和第二颗骰子的点数之和， Z 表示3颗骰子的点数之和，试求)|(Y Z H 、)|(Y X H 、),|(Y X Z H 、 )|,(Y Z X H 、)|(X Z H 。

信息论与编码习题参考答案(全)

信息论与编码习题参考答案第一章单符号离散信源 1.1同时掷一对均匀的子，试求： (1)“2和6同时出现”这一事件的自信息量； (2)“两个5同时出现”这一事件的自信息量； (3)两个点数的各种组合的熵； (4)两个点数之和的熵； (5)“两个点数中至少有一个是1”的自信息量。解： bit P a I N n P bit P a I N n P c c N 17.536log log )(361 )2(17.418log log )(362)1(36 662221111 616==-=∴====-=∴== =?==样本空间： (3)信源空间： X (1,1) (1,2) (1,3) (1,4) (1,5) (1,6) P(X) 1/36 2/36 2/36 2/36 2/36 2/36 X (2,2) (2,3) (2,4) (2,5) (2,6) P(x) 1/36 2/36 2/36 2/36 2/36 X (3,3) (3,4) (3,5) (3,6) P(x) 1/36 2/36 2/36 2/36 X (4,4) (4,5) (4,6) P(x) 1/36 2/36 2/36 X (5,5) (5,6) (6,6) P(x) 1/36 2/36 1/36 bit x H 32.436log 36 62log 3615)(=??+?? =∴ X 2 3 4 5 6 7 8 9 10 11 12 P(x) 1/36 2/36 3/36 4/36 5/36 6/36 5/36 4/36 3/36 2/36 1/36 bit x H 71.3636 log 366536log 3610 436 log 368336log 366236log 36436log 362)(=??+?+?+??= ∴＋＋ (5) bit P a I N n P 17.111 36 log log )(3611333==-=∴==

信息论与编码-曹雪虹-课后习题答案

《信息论与编码》-曹雪虹-课后习题答案第二章错误!未定义书签。2.1一个马尔可夫信源有3个符号{}1,23,u u u ，转移概率为：()11|1/2p u u =，()21|1/2p u u =，()31|0p u u =，()12|1/3p u u =，()22|0p u u =，()32|2/3p u u =，()13|1/3p u u =，()23|2/3p u u =，()33|0p u u =，画出状态图并求出各符号稳态概率。解：状态图如下状态转移矩阵为：设状态u 1，u 2，u 3稳定后的概率分别为W 1，W 2、W 3 由1231WP W W W W =??++=?得1231132 231231 112331223231W W W W W W W W W W W W ?++=???+=???=???++=? 计算可得1231025925625W W W ?=???= ?? ? =?? 2.2由符号集{0，1}组成的二阶马尔可夫链，其转移概率为：(0|00)p =0.8，(0|11)p =0.2，(1|00)p =0.2，(1|11)p =0.8， (0|01)p =0.5，(0|10)p =0.5，(1|01)p =0.5，(1|10)p =0.5。画出状态图，并计算各状态的稳态概率。解：(0|00)(00|00)0.8p p ==(0|01)(10|01)0.5p p == 于是可以列出转移概率矩阵：0.80.20 0000.50.50.50.500000.20.8p ?? ? ?= ? ???

状态图为：设各状态00，01，10，11的稳态分布概率为W 1,W 2,W 3,W 4有 41 1i i WP W W ==???=??∑得131 132 24324412340.80.50.20.50.50.20.50.81W W W W W W W W W W W W W W W W +=??+=??+=??+=?+++=??计算得到1234514171 75 14W W W W ? =?? ?=?? ?=???= ? 2.3同时掷出两个正常的骰子，也就是各面呈现的概率都为1/6，求： (1)“3和5同时出现”这事件的自信息； (2)“两个1同时出现”这事件的自信息； (3)两个点数的各种组合（无序）对的熵和平均信息量； (4)两个点数之和（即2,3,…,12构成的子集）的熵； (5)两个点数中至少有一个是1的自信息量。解： (1) (2) (3) 两个点数的排列如下： 11 12 13 14 15 16 21 22 23 24 25 26

信息论与编码陈运主编答案完整版

信息论与编码课后习题答案详解试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍？解：四进制脉冲可以表示4 个不同的消息，例如：{0, 1, 2, 3} 八进制脉冲可以表示8 个不同的消息，例如：{0, 1, 2, 3, 4, 5, 6, 7} 二进制脉冲可以表示 2 个不同的消息，例如：{0, 1} 假设每个消息的发出都是等概率的，则：四进制脉冲的平均信息量H X( 1) = log n = log4 = 2 bit symbol/ 八进制脉冲的平均信息量 H X( 2) = log n = log8 = 3 bit symbol/ 二进制脉冲的平均信息量H X( 0) = log n = log2 =1 bit symbol/ 所以：四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的 2 倍和3 倍。居住某地区的女孩子有25%是大学生，在女大学生中有75%是身高160厘米以上的，而女孩子中身高160厘米以上的占总数的一半。假如我们得知“身高160厘米以上的某女孩是大学生”的消息，问获得多少信息量？解：设随机变量X 代表女孩子学历 X x1（是大学生）x2（不是大学生） P(X) 设随机变量Y 代表女孩子身高 Y y1（身高>160cm）y2（身高<160cm） P(Y) 已知：在女大学生中有75%是身高160 厘米以上的即：p y( 1 / x1) = bit 求：身高160 厘米以上的某女孩是大学生的信息量 p x p y( 1) ( 1 / x1 ) log × =bit即：I x( 1 / y1 ) = −log p x( 1 / y1 ) = −log = − p y( 1 )

信息论与编码理论习题答案全解

第二章信息量和熵 2.2 八元编码系统，码长为3，第一个符号用于同步，每秒1000个码字，求它的信息速率。解：同步信息均相同，不含信息，因此每个码字的信息量为 2?8log =2?3=6 bit 因此，信息速率为 6?1000=6000 bit/s 2.3 掷一对无偏骰子，告诉你得到的总的点数为：(a) 7; (b) 12。问各得到多少信息量。解：(1) 可能的组合为 {1，6},{2，5},{3，4},{4，3},{5，2},{6，1} )(a p =366=6 1 得到的信息量 =) (1 log a p =6log =2.585 bit (2) 可能的唯一，为 {6，6} )(b p =361 得到的信息量=) (1 log b p =36log =5.17 bit 2.4 经过充分洗牌后的一副扑克（52张），问： (a) 任何一种特定的排列所给出的信息量是多少？ (b) 若从中抽取13张牌，所给出的点数都不相同时得到多少信息量？解：(a) )(a p =! 521 信息量=) (1 log a p =!52log =225.58 bit (b) ???????花色任选种点数任意排列 13413!13 )(b p =13 52 134!13A ?=135213 4C 信息量=1313 524log log -C =13.208 bit

信息论与编码课后习题答案

1、在认识论层次上研究信息的时候，必须同时考虑到形式、含义和效用三个方面的因素。 2、 1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。 3、按照信息的性质，可以把信息分成语法信息、语义信息和语用信息。 4、按照信息的地位，可以把信息分成客观信息和主观信息。 5、人们研究信息论的目的是为了高效、可靠、安全地交换和利用各种各样的信息。 6、信息的可度量性是建立信息论的基础。 7、统计度量是信息度量最常用的方法。 8、熵是香农信息论最基本最重要的概念。 9、事物的不确定度是用时间统计发生概率的对数来描述的。 10、单符号离散信源一般用随机变量描述，而多符号离散信源一般用随机矢量描述。 11、一个随机事件发生某一结果后所带来的信息量称为自信息量，定义为其发生概率对数的负值。 12、自信息量的单位一般有比特、奈特和哈特。 13、必然事件的自信息是 0 。 14、不可能事件的自信息量是 ∞ 。 15、两个相互独立的随机变量的联合自信息量等于两个自信息量之和。 16、数据处理定理：当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量趋于变小。 17、离散平稳无记忆信源X 的N 次扩展信源的熵等于离散信源X 的熵的 N 倍。 18、离散平稳有记忆信源的极限熵，。 19、对于n 元m 阶马尔可夫信源，其状态空间共有 n m 个不同的状态。 20、一维连续随即变量X 在[a ，b]区间内均匀分布时，其信源熵为 log 2（b-a ）。 21、平均功率为P 的高斯分布的连续信源，其信源熵，H c （X ）=。 22、对于限峰值功率的N 维连续信源，当概率密度均匀分布时连续信源熵具有最大值。 23、对于限平均功率的一维连续信源，当概率密度高斯分布时，信源熵有最大值。 24、对于均值为0，平均功率受限的连续信源，信源的冗余度决定于平均功率的限定值P 和信源的熵功率之比。 25、若一离散无记忆信源的信源熵H （X ）等于2.5，对信源进行等长的无失真二进制编码，则编码长度至少为 3 。 26、m 元长度为k i ，i=1，2，···n 的异前置码存在的充要条件是：。 27、若把掷骰子的结果作为一离散信源，则其信源熵为 log 26 。 28、同时掷两个正常的骰子，各面呈现的概率都为1/6，则“3和5同时出现”这件事的自信息量是 log 218（1+2 log 23）。 29、若一维随即变量X 的取值区间是[0，∞]，其概率密度函数为，其中：，m 是X 的数学期望，则X 的信源熵。 30、一副充分洗乱的扑克牌（52张），从中任意抽取1张，然后放回，若把这一过程看作离散无记忆信源，则其信源熵为。 31、根据输入输出信号的特点，可将信道分成离散信道、连续信道、半离散或半连续信道。 32、信道的输出仅与信道当前输入有关，而与过去输入无关的信道称为无记忆信道。 33、具有一一对应关系的无噪信道的信道容量C= log 2n 。 34、强对称信道的信道容量C= log 2n-H ni 。 35、对称信道的信道容量C= log 2m-H mi 。 36、对于离散无记忆信道和信源的N 次扩展，其信道容量C N = NC 。 =∞H )/(lim 121-∞→N N N X X X X H eP π2log 212P ∑=-≤n i k i m 11 m x e m x p -=1)(0≥x =)(X H C me 2log 52 log 2

信息论与编码-曹雪虹-课后习题参考答案

《信息论与编码》-曹雪虹-课后习题答案第二章错误！未定义书签。2.1一个马尔可夫信源有3个符号{}1, 23,u u u ，转移概率为：()1 1 |1/2p u u =，()2 1|1/2p u u =，()31|0p u u =，()12|1/3p u u =，()22|0p u u =， ()32|2/3p u u =，()13|1/3p u u =，()23|2/3p u u =，()33|0p u u =，画出状态图并求出各符号稳态概率。 W 2、W 3 12310259 25625W W W ?=???=? ? ?=?? 2.2(0|p (0|01)p =0.5，(0|10)p 解：(0|00)(00|00)0.8p p ==(0|01)(10|01)0.5p p == 于是可以列出转移概率矩阵：0.80.20 0000.50.50.50.5000 00.20.8p ?? ? ?= ? ? ?? 状态图为：

设各状态00，01，10，11的稳态分布概率为W1,W2,W3,W4有 4 1 1 i i WP W W = = ? ? ? = ? ? ∑ 得 131 132 243 244 1234 0.80.5 0.20.5 0.50.2 0.50.8 1 W W W W W W W W W W W W W W W W += ? ?+= ?? += ? ?+= ? +++= ?? 计算得到 1 2 3 4 5 14 1 7 1 7 5 14 W W W W ? = ? ? ?= ? ? ?= ? ? ?= ? 2.31/6，求： (1)“3和5 (2)“两个1 (3) 1的自信息量。 11 12 13 14 15 16 21 22 23 24 25 26 31 32 33 34 35 36 41 42 43 44 45 46 51 52 53 54 55 56

《信息论与编码》课后习题答案

《信息论与编码》课后习题答案第二章 2.1一个马尔可夫信源有3个符号{}1,23,u u u ，转移概率为：()11|1/2p u u =， ()21|1/2p u u =，()31|0p u u =，()12|1/3p u u =，()22|0p u u =，()32|2/3p u u =， ()13|1/3p u u =，()23|2/3p u u =，()33|0p u u =，画出状态图并求出各符号稳态概率。解：状态图如下状态转移矩阵为： 1/21/2 01/302/31/32/30p ?? ?= ? ??? 设状态u 1，u 2，u 3稳定后的概率分别为W 1，W 2、W 3 由1231WP W W W W =??++=?得1231132231231 112331223231 W W W W W W W W W W W W ?++=???+=???=???++=?计算可得1231025925625W W W ?=??? =?? ?=?? 2.2 由符号集{0，1}组成的二阶马尔可夫链，其转移概率为：(0|00)p =0.8，(0|11)p =0.2， (1|00)p =0.2，(1|11)p =0.8，(0|01)p =0.5，(0|10)p =0.5，(1|01)p =0.5，(1|10)p =0.5。画出状态图，并计算各状态的稳态概率。解：(0|00)(00|00)0.8p p == (0|01)(10|01)0.5p p == (0|11)(10|11)0.2p p == (0|10)(00|10)0.5p p == (1|00)(01|00)0.2p p == (1|01)(11|01)0.5p p == (1|11)(11|11)0.8p p == (1|10)(01|10)0.5p p ==

信息论与编码第三版答案

信息论与编码第三版答案《信息论与编码》是一本非常经典的书籍，已经成为了信息科学领域中的经典教材。本书的第三版已经出版，相比于前两版，第三版的变化不小，主要是增加了一些新内容，同时也对一些旧内容做了修改和完善。作为一本教材，上面的题目和习题都是非常重要的，它们可以帮助读者更好地理解书中的相关概念和知识点，同时也可以帮助读者更好地掌握理论和技术。因此，本文将介绍《信息论与编码》第三版中部分习题的答案，方便读者快速查阅和学习。第一章：信息量和熵 1.1 习题1.1 Q：两个随机变量的独立性和无关性有什么区别？ A：独立性和无关性是两个不同的概念。两个随机变量是独立的，当且仅当它们的联合概率分布等于乘积形式的边缘概率分布。两个随机变量是无关的，当且仅当它们的协方差等于0。

1.2 习题1.7 Q：什么样的随机变量的熵等于0？ A：当随机变量的概率分布是确定的（即只有一个概率为1，其余全为0），其熵等于0。第二章：数据压缩 2.5 习题2.9 Q：为什么霍夫曼编码比熵编码更加高效？ A：霍夫曼编码能够更好地利用信源的统计特征，将出现频率高的符号用较短的二进制编码表示，出现频率低的符号用较长的二进制编码表示。这样一来，在编码过程中出现频率高的符号会占用较少的比特数，从而能够更加高效地表示信息。而熵编码则是针对每个符号分别进行编码，没有考虑符号之间的相关性，因此相比于霍夫曼编码更加低效。

第四章：信道编码 4.2 习题4.5 Q：在线性块码中，什么是生成矩阵？ A：在线性块码中，生成矩阵是一个包含所有二元线性组合系数的矩阵。它可以用来生成码字，即任意输入信息序列可以通过生成矩阵与编码器进行矩阵乘法得到相应的编码输出序列。 4.3 习题4.12 Q：简述CRC校验的原理。 A：CRC校验是一种基于循环冗余校验的方法，用于检测在数字通信中的数据传输错误。其基本思想是将发送数据看作多项式系数，通过对这个多项式进行除法运算，得到余数，将余数添加到数据尾部，发送给接收方。接收方将收到的带有余数的数据看做多项式，使用同样的多项式除以一个预先定义好的生成多项式，

信息论与编码理论习题答案全解

第二章信息量和熵 2.2 八元编码系统，码长为3，第一个符号用于同步，每秒1000个码字，求它的信息速率。解：同步信息均相同，不含信息，因此每个码字的信息量为 2⨯8log =2⨯3=6 bit 因此，信息速率为 6⨯1000=6000 bit/s 2.3 掷一对无偏骰子，告诉你得到的总的点数为：(a) 7; (b) 12。问各得到多少信息量。解：(1) 可能的组合为 {1，6},{2，5},{3，4},{4，3},{5，2},{6，1} )(a p =366=6 1 得到的信息量 =) (1 log a p =6log =2.585 bit (2) 可能的唯一，为 {6，6} )(b p =361 得到的信息量=) (1 log b p =36log =5.17 bit 2.4 经过充分洗牌后的一副扑克（52张），问： (a) 任何一种特定的排列所给出的信息量是多少？ (b) 若从中抽取13张牌，所给出的点数都不相同时得到多少信息量？解：(a) )(a p =! 521 信息量=) (1 log a p =!52log =225.58 bit (b) ⎩⎨⎧⋯⋯⋯⋯花色任选种点数任意排列 13413!13 )(b p =13 52134!13A ⨯=1352 13 4C 信息量=1313 524log log -C =13.208 bit

即)0;(1u I ，)00;(1u I ，)000;(1u I ，)0000;(1u I )0(p =4)1(81⨯-p +481⨯p =2 1 )0;(1u I =) 0()|0(log 1p u p =2 11log p -=1+)1log(p - bit )00(p =]2)1(4)1(2[8122p p p p +-+-=4 1 )00;(1u I =)00()|00(log 1p u p =4/1)1(log 2 p -=)]1log(1[2p -+ bit )000(p =])1(3)1(3)1[(813223p p p p p p +-+-+-=8 1 )000;(1u I =3[1+)1log(p -] bit )0000(p =])1(6)1[(8 1 4224p p p p +-+- )0000;(1u I =4 2244 )1(6)1()1(8log p p p p p +-+-- bit 2.12 计算习题2.9中);(Z Y I 、);(Z X I 、);,(Z Y X I 、)|;(X Z Y I 、)|;(Y Z X I 。解：根据题2.9分析 )(Z H =2(216log 2161+3216log 2163+6216log 2166+10 216log 21610+ 15216log 21615+21216log 21621+25216log 21625+27 216 log 21627) =3.5993 bit );(Z Y I =)(Z H -)|(Y Z H =)(Z H -)(X H =1.0143 bit );(Z X I =)(Z H -)|(X Z H =)(Z H -)(Y H =0.3249 bit );,(Z Y X I =)(Z H -)|(XY Z H =)(Z H -)(X H =1.0143 bit

信息论与编码考试题(附答案版)

1.按发出符号之间的关系来分，信源可以分为（有记忆信源）和（无记忆信源） 2.连续信源的熵是（无穷大），不再具有熵的物理含义。 3.对于有记忆离散序列信源，需引入（条件熵）描述信源发出的符号序列内各个符号之间的统计关联特性 3.连续信源X,平均功率被限定为P时，符合（正态）分布才具有最大熵，最大熵是（1/2ln （2πⅇσ2））。 4.数据处理过程中信息具有（不增性）。 5.信源冗余度产生的原因包括（信源符号之间的相关性）和（信源符号分布的不均匀性）。 6.单符号连续信道的信道容量取决于（信噪比）。 7.香农信息极限的含义是（当带宽不受限制时，传送1bit信息，信噪比最低只需-1.6ch3）。 8.对于无失真信源编码，平均码长越小，说明压缩效率（越高）。 9.对于限失真信源编码，保证D的前提下，尽量减少（R(D)）。 10.立即码指的是（接收端收到一个完整的码字后可立即译码）。 11.算术编码是（非）分组码。 12.游程编码是（无）失真信源编码。 13.线性分组码的（校验矩阵）就是该码空间的对偶空间的生成矩阵。 14.若（n，k）线性分组码为MDC码，那么它的最小码距为（n-k+1）。 15.完备码的特点是（围绕2k个码字、汉明矩d=[（d min-1）/2]的球都是不相交的每一个接受吗字都落在这些球中之一，因此接收码离发码的距离至多为t，这时所有重量≤t的差错图案都能用最佳译码器得到纠正，而所有重量≤t+1的差错图案都不能纠正）。 16.卷积码的自由距离决定了其（检错和纠错能力）。（对）1、信息是指各个事物运动的状态及状态变化的方式。

（对）2、信息就是信息，既不是物质也不是能量。（错）3、马尔可夫信源是离散无记忆信源。（错）4、不可约的马尔可夫链一定是遍历的。（对）5、单符号连续信源的绝对熵为无穷大。（错）6、序列信源的极限熵是这样定义的：H(X)=H(XL|X1,X2,…,XL-1)。（对）7、平均互信息量I(X;Y)是接收端所获取的关于发送端信源X的信息量。（对）8、信源X,经过处理后，输出为Y，H(Y)小于H(X),说明信息不增。（对）9、如果一个消息包含的符号比表达这个消息所需要的符号多，那么该消息存在冗余度。（错）10、有噪无损离散信道的输入为X,输出为Y，那么其信道容量Ｃ＝ｍａｘＨ（Ｙ）。（错）11、非高斯噪声信道的信道容量比高斯噪声信道的信道容量小。（对）12、信息率失真函数具有单调递减性。（错）13、异前缀码不能及时可译。（对）14、用码树构造的一定是及时码。（对）15、香农编码压缩了符号相关造成的冗余。（对）16、有失真信源编码指的是保真度准则下的信源编码。（对）17、变长无失真信源编码比定长编码的编码效率高。（错）18、香农编码是最佳编码。（对）19、卷积、交织都可以达到差错随机化的目的。。（错）20、卷积码的序列距离决定了其检错和纠错能力。信息、消息、信号的定义是什么？三者的关系是什么？答：定义：信息是指各个事物运动的状态及状态变化的方式。消息是指包含信息的语言、文字和图像。信号是消息的物理体现。

《信息论与编码》习题答案(高等教育)仇佩亮编

―――――――――――――――――――――――――― 课外习题 1．设某信道，其信道矩阵为若信道的输入符号a1,a2,a3先验等概，若使平均错误译码概率最小,请选择译码函数。求出此错误译码概率Pemin。解：(1) 因为先验等概,所以选择最大似然译码准则 F(b1)=a1 F(b2)=a3 F(b3)=a2 (2) Pemin= 2. 有二进制对称信道 p=0.01 =0.99 (1) 采用最大似然译码准则确定译码函数, (2) 求出最小平均错误译码概率。 (3) 对该信道进行扩展,采用简单重复编码，000,111, 采用最大似然译码准则确定译码规则。 (4) 求出扩展后的最小平均错误译码概率。 (5) 求出扩展后的信道传输率解：（1）P(j/i)= 译码函数为F(b1)=a1，F(b2)=a2 (2) Pemin=(0.01+0.01)/2=0.01 (3) 译码函数F(β1)= F(β2)= F(β3)= F(β4)=000=α1 F(β5)= F(β6)= F(β7)= F(β8)=000=α2 （4）平均错误最小概率为（5）R== 3．αi，βj是两个码符号{0,1}组成的符号序列，求αi，βj 之间的汉明距离解：D(αi，βj)= 4．W:{000,001,010,100,011,110,101,111}的最小汉明距离解：Dmin=1 5．设有一离散信道，其信道矩阵为 (1) 当信源X的概率分布为p(a1)=2/3，p(a2)=p(a3)=1/6时，按最大后验概率准则选择译码函数，并计算其平均错误译码概率Pemin (2) 当信源是等概率是分布时，选择最大似然译码准则选择译码函数，并计算其平均错误译码概率Pemin。解： (1) 联合概率：后验概率根据最大后验概率准则

《信息论与编码理论》(王育民李晖梁传甲)课后习题答案高等教育出版社

资料范本本资料为word版本，可以直接编辑和打印，感谢您的下载《信息论与编码理论》(王育民李晖梁传甲)课后习题答案高等教育出版社地点：__________________ 时间：__________________ 说明：本资料适用于约定双方经过谈判，协商而共同承认，共同遵守的责任与义务，仅供参考，文档可直接下载或修改，不需要的部分可直接删除，使用时请详细阅读内容

信息论与编码理论习题解第二章-信息量和熵 2.1解: 平均每个符号长为:秒每个符号的熵为比特/符号所以信息速率为比特/秒 2.2 解: 同步信号均相同不含信息,其余认为等概, 每个码字的信息量为 3*2=6 比特；所以信息速率为比特/秒 2.3 解:(a)一对骰子总点数为7的概率是所以得到的信息量为比特 (b) 一对骰子总点数为12的概率是所以得到的信息量为比特 2.4 解: (a)任一特定排列的概率为,所以给出的信息量为比特 (b) 从中任取13张牌,所给出的点数都不相同的概率为所以得到的信息量为比特. 2.5 解:易证每次出现i点的概率为,所以 2.6 解: 可能有的排列总数为没有两棵梧桐树相邻的排列数可如下图求得， Y X Y X Y X Y X Y X Y X Y X Y 图中X表示白杨或白桦，它有种排法，Y表示梧桐树可以栽种的位置，它有种排法，所以共有*=1960种排法保证没有两棵梧桐树相邻，因此若告诉你没有两棵梧桐树相邻时，得到关于树排列的信息为=3.822 比特 2.7 解: X=0表示未录取，X=1表示录取； Y=0表示本市，Y=1表示外地；

Z=0表示学过英语，Z=1表示未学过英语，由此得2.8 解:令，则 2.9 & 2.12 解:令X=X1,Y=X1+X2,Z=X1+X2+X3, H(X1)=H(X2)=H(X3)= 比特 H(X)= H(X1) = =2.585比特 H(Y)= H(X2+X3) = = 3.2744比特 H(Z)= H(X1+X2+X3) = = 3.5993比特所以 H(Z/Y)= H(X3)= 2.585 比特 H(Z/X) = H(X2+X3)= 3.2744比特 H(X/Y)=H(X)-H(Y)+H(Y/X) = 2.585-3.2744+2.585 =1.8955比特 H(Z/XY)=H(Z/Y)= 2.585比特 H(XZ/Y)=H(X/Y)+H(Z/XY) =1.8955+2.585 =4.4805比特 I(Y;Z)=H(Z)-H(Z/Y) =H(Z)- H(X3)

信息论与编码习题及参考答案

7.1 写出构成二元域上的 3 维 3重矢量空间的全部矢量元素，并且找出其中一个 2维子空间及其对偶子空间。 000 100 011 111 二维子空间 ( 000， 011， 110， 101) 7.2写出GF (7)的加法，乘法运算表，并找出每个元素的负元素和逆元素。解： {0,1,2,3,4,5,6} 对应的负元为 {0,6,5,4,3,2,1} ， {1,2,3,4,5,6} 对应的逆元 {1,4,5,2,3,6} 7.3 设二元 (6,3)码的生成矩阵为 100011 G 0 1 0 1 0 1 001110 (1) 写出相应的检验矩阵 H 。 (2) 写出码字集合，并求出最小汉明距离。解：1)由于生成矩阵 G 是规范形式，根据校验矩阵 H 与生成矩阵G 之间的关系 011 101 110 100 010 001 设比特信息矢量 {x1,x2,x3 }, 可以得到每位码元与信息位之间关系如下 c 1 x 1,c 2 x 2,c 3 x 3 c 4 x 2 x 3 c 5 x 1 x 3 c 5 x 1 x 2 可以得到具体码字如下 {000000} ， {100011} ， {010101} ， {001110} ， {110110} ， {101101} ， {011011} ， {111000} 。最小汉明距离为 3. 解：三维空间元素 001 101 010 110 0123456 1234560 2345601 3456012 4560123 5601234 0000000 0123456 0246135 0362514 0415263 0531642 H T

信息论与编码姜丹第三版规范标准答案

2 36 1 H(x) 15 log 6 log 36 4.32bit 36 2 36 （4 2 ,“ 4 ,36 6 , 36 8 ,36 H(x) log 36+log —log log - 36 36 2 36 3 36 4 10 ,36 6 ,36 log +log - 3.71bit 36 5 36 6 ⑸P3 n3 11 I(a) log R 1.17bit N 36 11 1.2如有6行、8列的棋型方格，若有两个质点A和B,分别以等概落入任一方格内，且它们的坐标分别为（Xa，Ya）, （Xb，Yb），但A，B不能同时落入同一方格内。（1）若仅有质点A，求A落入任一方格的平均信息量；（2）若已知A已落入，求B落入的平均信息量;

(3) 若A , B是可辨认的，求A, B落入的平均信息量。解： 1 (1) A落入任一格的概率：P(aJ I (aj log P(aJ log 48 48 48 H(a) P(a i)log P(a i) log 48 5.58bit i 1 1 (2) 在已知A落入任一格的情况下,B落入任一格的概率是：P(bJ — 47 I(b) logP(b i) log 47 48 H (b) P(b i)log P(b i) log 47 5.55bit i 1 1 1 (3) AB同时落入某两格的概率是P(AB i) - — 748 47 I(AB i) log P(AB i) 48 47 H (AB i) P(AB i)log P(ABJ log(48 47) 11.14bit i 1 1.3从大量统计资料知道，男性中红绿色盲的发病率为7%,女性发病率为0.5%.如果你问一位男士：“你是否是红绿色盲？”他的回答可能是：“是”，也可能“不是”。问这两个回答中各含有多少信息量？平均每个回答中各含有多少信息量？如果你问一位女士，则她的答案中含有多少平均信息量? 解: 对于男士：回答“是”的信息量：I (m y) log P(m y) log 7% 3.84bit 回答“不是”的信息量平均每个回答信息量：:I (m n) log P(m n) log 93% 0.105bit H(m) P(m y) logP(m y) P(m n) log P(m n) -7% log7% - 93% log93% 0.366bit 对于女: 回答“是”的信息量：l(w y) log P(w y) log 0.5% 回答“不是”的信息量平均每个回答信息量：:I (m n) log P(m n) log 99.5% H(m) P(W y) log P(W y) P(W n) log P(W n) -0.5% log0.5% - 99.5% log99.5% 0.0454bit

信息论与编码姜丹第三版答案

信息论与编码习题参考答案第一章单符号离散信源信息论与编码作业是 74页，1.1的(1)(5)，1.3,1.4,1.6,1.13,1.14 还有证明熵函数的连续性、扩展性、可加性 1.1同时掷一对均匀的子，试求： (1) “2和6同时出现”这一事件的自信息量； (2) “两个5同时出现”这一事件的自信息量； (3) 两个点数的各种组合的熵； ⑷两个点数之和的熵； (5) “两个点数中至少有一个是 1”的自信息量。解：样本空间：N =c ；c ； =6 X6 =36 n 1 2 (1) R =— ”1(a) =—log R =log18=4.17bit N 36 n 2 1 (2) F 2 N =36 I (a) = -log F 2 =log36 =5.17bit (3) 信源空间: 2 36 1 .H(x)=15 log 6 log 36 = 4.32bit 36 2 36 (4) log 36+ — l og 36 — log 36 — log 迸 36 2 36 3 36 4 log 塑 + — log 36 =3.71bit 5 3 6 6 (5) F 3 =匹二11. 1(a) - Tog F 3 -log 36 =1.17bit N 36 11 1.2如有6行、8列的棋型方格，若有两个质点 A 和 B ，分别以等概落入任一方格内，且它 2 H( r .卫 36

们的坐标分别为(Xa，Ya) , (Xb，Yb),但A，B不能同时落入同一方格内。 (1)若仅有质点A，求A落入任一方格的平均信息量； (2)若已知A已落入，求B落入的平均信息量； (3)若A，B是可辨认的，求A，B落入的平均信息量。解： 1 (1) 幕A落入任一格的概率:P(a i) I (aj =-log P(aJ = log 48 48 48 .H(a) - P(a j)log P(aJ = log 48 =5.58bit i 4 1 (2) ；在已知A落入任一格的情况下,B落入任一格的概率是：P(bJ = — 47 .I(b) - -logP(b i) =log47 48 .H(b) = -' P(b i)log P(b i) =log47 =5.55bit i -1 1 1 (3) AB同时落入某两格的概率是P(ABJ二一一 48 47 .I(ABJ =-log P(AB i) 48 47 H(AB」-八P(ABJIog P(ABJ =log(48 47)=11.14bit i 二 1.3从大量统计资料知道，男性中红绿色盲的发病率为7%,女性发病率为0.5%.如果你问一位男士：“你是否是红绿色盲？”他的回答可能是：“是”，也可能“不是”。问这两个回答中各含有多少信息量？平均每个回答中各含有多少信息量？如果你问一位女士，则她的答案中含有多少平均信息量？解：对于男士：回答“是”的信息量：l(m y) - -logP(m y) - -log 7% =3.84bit 回答“不是”的信息量 :l(m n) - - log P(m n) - -log 93% =0.105bit 平均每个回答信息量：H(m) =-P(m y) log P(m y) - P(m n) log P(m n) = -7% log7% - 93% Iog93% =0.366bit 对于女：回答“是”的信息量：I (w y) =-log P(w y) = Tog 0.5% 回答“不是”的信息量：I (m n) log P(m n) log 99.5% 平均每个回答信息量：H(m) - -P(W y) log P(W y) - P(w.) log P(W n) = -0.5% log0.5% -99.5% Iog99.5% = 0.0454bit

(完整版)信息论与编码习题参考答案

信息论与编码理论习题答案

信息论与编码习题参考答案(全)

信息论与编码-曹雪虹-课后习题答案

信息论与编码陈运主编答案完整版

信息论与编码理论习题答案全解

信息论与编码课后习题答案

信息论与编码-曹雪虹-课后习题参考答案

《信息论与编码》课后习题答案

信息论与编码第三版答案

信息论与编码理论习题答案全解

信息论与编码考试题(附答案版)

《信息论与编码》习题答案(高等教育)仇佩亮编

《信息论与编码理论》(王育民 李晖 梁传甲)课后习题答案 高等教育出版社

信息论与编码习题及参考答案

信息论与编码姜丹第三版规范标准答案

信息论与编码姜丹第三版答案

《信息论与编码理论》(王育民李晖梁传甲)课后习题答案高等教育出版社