文档库

最新最全的文档下载
当前位置:文档库 > 信息论与编码期末考试题

信息论与编码期末考试题

(一)

.

一、填空题

1、信源编码的主要目的是提高有效性,信道编码的主要目的是提高可靠性。

2、信源的剩余度主要来自两个方面,一是信源符号间的相关性,二是信源符号的统计不均匀性。

3、三进制信源的最小熵为0,最大熵为32log bit/符号。

4、无失真信源编码的平均码长最小理论极限制为信源熵(或H(S)/logr= H r (S))。

5、当R=C 或(信道剩余度为0)时,信源与信道达到匹配。

6、根据信道特性是否随时间变化,信道可以分为恒参信道和随参信道。

7、根据是否允许失真,信源编码可分为无失真信源编码和限失真信源编码。

8、若连续信源输出信号的平均功率为2σ,则输出信号幅度的概率密度是高斯分布或正态分布或()22

212x

f x e

σ

πσ

-=时,信源

具有最大熵,其值为值21

log 22e πσ。

9、在下面空格中选择填入数学符号“,,,=≥≤?”或“?”

(1)当X 和Y 相互独立时,H (XY )=H(X)+H(X/Y)=H(Y)+H(X)。 (2)()()

1222

H

X X H X =

≥()

()

12333

H

X X X H X =

(3)假设信道输入用X 表示,信道输出用Y 表示。在无噪有损信道中,H(X/Y)> 0, H(Y/X)=0,I(X;Y)

二、若连续信源输出的幅度被限定在【2,6】区域内,当输出信号的概率密度是均匀分布时,计算该信源的相对熵,并说明该信源的绝对熵为多少。

()1

,26

4

0,x f x ?≤≤?=???

Q 其它 ()()()6

2

log f x f x dx ∴=-?相对熵h x

=2bit/自由度 该信源的绝对熵为无穷大。 三、已知信源

123456

0.20.20.2

0.2

0.1

0.1S s s s s s s P ???

?=???

?????

(1)用霍夫曼编码法编成二进制变长码;(6分) (2)计算平均码长L ;(4分)

(3)计算编码信息率R ';(2分)

(4)计算编码后信息传输率R ;(2分) (5)计算编码效率η。(2分)

(1)

010

10

1

1

1

1.0

0.20.20.20.20.10.1

1S 2S 3S 4S 5S 6

S

编码结果为:

1234560001100101110111

S S S S S S ====== (2)6

1

0.420.63 2.6i

i

i L P ρ

==

=?+?=∑码元

符号

(3)bit log r=2.6R L '=符号

(4)() 2.53bit

0.9732.6

H S R L

=

==码元

其中,()()bit 0.2,0.2,0.2,0.2,0.1,0.1 2.53H S H ==符号

(5)()()0.973log H S H S L r

L

η=

=

=

四、某信源输出A 、B 、C 、D 、E 五种符号,每一个符号独立出现,出现概率分别为1/8、1/8、1/8、1/2、1/8。如果符号的码元宽度为0.5s μ。计算: (1)信息传输速率t R 。

(2)将这些数据通过一个带宽为B=2000kHz 的加性白高斯噪声信道传输,噪声的单边功率谱密度为6010W n Hz

-=。试计算

正确传输这些数据最少需要的发送功率P 。 解:

(1)()()1

t X R H X H Y t ??=-?

?

()

6

1111log

4log

8

8

2

2

11log 8log 2

2231log 2log 2

2

2

2log 22bit

24100.5t H

X bit R bps

s

μ=-?-=+=

+

===

=?

(2)66

662

410210log 11021012

2

6P P P W

-???=?+ ?

???

?+

==

五、一个一阶马尔可夫信源,转移概率为

()()()()1121122221|,|,|1,|03

3

P S S P S S P S S P S S =

=

==。

(1) 画出状态转移图。 (2) 计算稳态概率。

(3) 计算马尔可夫信源的极限熵。

(4) 计算稳态下1H ,2H 及其对应的剩余度。 解:(1)

1

S

2

S 13

信息论与编码期末考试题

信息论与编码期末考试题

1

(2)由公式()()()2

1

|i i

j j j P S P S

S P S ==

有()()()()()()()()()

()()2

111212

2211122|31|31i i i i i i P S P S S P S P S P S P S P S S P S P S P S P S ==?

==+??

?==??

?+=??

∑∑ 得()()12

3414

P S P S ?

=???

?=

??

(3)该马尔可夫信源的极限熵为:

()()()2

2

1

1

|log |322311log

log

4

3

3

4

33

110.578 1.599

2

4

0.6810.4720.205i

j

i j i i j H P S P S

S P S S bit nat hart ∞===-=-?

?-

?

?=?+?===∑

∑符号符号符号

(4)在稳态下:

()()2

1

3

311log log log 0.8114444i i i P x P x bit =??=-=-?+?= ???∑符号

20.2050.4720.681H H hart nat bit ∞====符号符号符号

对应的剩余度为

110

0.811

110.1891111log log 2

222H H η=-

=-

=??????-+ ? ? ?

??????

220

0.681

110.3191111log log 2

222H H η=-

=-=??

????-+ ? ? ?

??????

六、设有扰信道的传输情况分别如图所示。试求这种信道的信道容量。

12

12

12

12

1212

12

12X

Y

解:信道传输矩阵如下

|1

10022110022110022110

2

2Y X

P ??????????=????????????

可以看出这是一个对称信道,L=4,那么信道容量为 ()()1

11log 4,,0,022log |log |11log 42log

2

2

1L

j

i j i j C H L p y

x p y x bit

=??

=- ?

??=+

=+?=∑

七、设X 、Y 是两个相互独立的二元随机变量,其取0或1的概率相等。定义另一个二元随机变量Z=XY(一般乘积)。试计算 (1) ()(),;H X H Z (2) ()(),;H XY H XZ (3) ()()|,|;H X Y H Z X (4) ()();,;I X Y I X Z ; 解:(1) Z

1 P(Z) 3/4

1/4

()11,122H

X H bit ??

=

= ???

31(2),0.811344H H bit ??

== ???

(2) ()()()112H XY H X H Y bit =+=+=对

()()()()1111|11,0, 1.52222H XZ H X H Z X H H bit ??

=+=++= ???

(3) ()()|1H X Y H X bit ==

()()11

11|1,0,0.52

222H Z X

H H bit ??

=

+

= ???

(4) ()()()()(),|0I X Y H Y H Y X H Y H Y =-=-=

()()(),|0.81130.50.3113I X Z H Z H Z X bit =-=-=

八、设离散无记忆信源的概率空间为1

20.8

0.2X x x P ????

=????????

,通过干扰信道,信道输出端的接收符号集为[]12,Y y y =,信道传输概率如下图所示。

56

14

16

34

1

x 2

x 1

y 2

y

(1) 计算信源X 中事件1x 包含的自信息量; (2) 计算信源X 的信息熵; (3) 计算信道疑义度()|H X Y ; (4) 计算噪声熵()|H Y X ;

(5) 计算收到消息Y 后获得的平均互信息量。 解:

(1) ()1log 0.80.3220.09690.223I x bit hart nat =-=== (2) ()()0.8,0.20.7220.50.217H X H bit nat hart ====符号符号符号 (3)转移概率:

x y y 1 y 2 x 1 5/6 1/6 x 2

3/4

1/4

联合分布:

x y y 1 y 2 x 1 2/3 12/15 4/5 x 1 3/20 1/20 1/5

49/60

11/60

1/5

()2231,,,31520201.4040.9730.423H

XY H bit nat hart ??=

?

?

?===符号符号符号

()()49/60,11/600.6870.4760.207H Y H bit nat hart ====符号符号符号

()()()|0.7170.4970.216H X Y H XY H Y bit nat hart =-===符号符号符号

(4)

()()()|0.6820.4730.205H Y X H XY H X bit nat hart =-===符号符号符号

(5)

()()();|0.005040.003490.00152I X Y H X H X Y bit nat hart =-===符号符号符号

(二)

五 居住在某地区的女孩中有25%是大学生,在女大学生中有75%是身高1.6米以上的,而女孩中身高1.6米以上的占总数的一半。 假如我们得知“身高1.6米以上的某女孩是大学生”的消息,问获得多少信息量?

解:设A 表示“大学生”这一事件,B 表示“身高1.60以上”这一事件,则 P(A)=0.25 p(B)=0.5 p(B|A)=0.75 故 p(A|B)=p(AB)/p(B)=p(A)p(B|A)/p(B)=0.75*0.25/0.5=0.375 I(A|B)=-log0.375=1.42bit

六、.信源空间为

1234567()0.2

0.19

0.18

0.17

0.15

0.1

0.01

X

x x x x x x x P X

????

=?

???????

,试分别构造二元香农码和二元霍夫曼码,计算其平均码长和编码效率(要求有编码过程)。

信息论与编码期末考试题

七.二元对称信道如图。

1)若()4

30=

p ,()4

11=p ,求()X H 、()Y X H |和()Y X I ;;

2)求该信道的信道容量 。

解:1)共6分

14

.3)(7

1

==

=i i i l a p L 831

.014

.361.2)(==

=

L

X H

信息论与编码期末考试题

R ()符号

/749.0|bit Y X H =

信息论与编码期末考试题

2), ,此时输入概率分布为等概率分布。

八、设一线性分组码具有一致监督矩阵????

?

?????=11

1

1

100110111000

H 1)求此分组码n=?,k=?共有多少码字? 2)求此分组码的生成矩阵G 。

3)写出此分组码的所有码字。

4)若接收到码字(101001),求出伴随式并给出翻译结果。

解:1)n=6,k=3,共有8个码字。(3分)

2)设码字

()

012345C C C C C C C =

由T

T

HC

0=得

???

??=⊕⊕⊕=⊕⊕=⊕⊕0

000

135034012C C C C C C C C C C (3分)

令监督位为

()012C C C ,则有

???

??⊕=⊕=⊕=3

404513

52C

C C C C C C C C (3分)

信息论与编码期末考试题

生成矩阵为 ????

?

?????10

1

1

110010011001

(2分)

3)所有码字为000000,001101,010011,011110,100110,101011,110101,111000。(4分) 4)由T

T

HR S =得

()101

=S ,(2分)该码字在第5位发生错误,(101001)纠正为(101011),即译码为(101001)(1分)

(三)

一、概念简答题

1.什么是平均自信息量与平均互信息,比较一下这两个概念的异同?

2.简述最大离散熵定理。对于一个有m个符号的离散信源,其最大熵是多少?

3.解释信息传输率、信道容量、最佳输入分布的概念,说明平均互信息与信源的概率分布、信道的传递概率间分别是什么关系?

4.对于一个一般的通信系统,试给出其系统模型框图,并结合此图,解释数据处理定理。

5.写出香农公式,并说明其物理意义。当信道带宽为5000Hz,信噪比为30dB时求信道容量。

6.解释无失真变长信源编码定理。

7.解释有噪信道编码定理。

二、综合题

1.黑白气象传真图的消息只有黑色和白色两种,求:

1)黑色出现的概率为0.3,白色出现的概率为0.7。给出这个只有两个符号的信源X的数学模型。假设图上黑白消息出现前后没有关联,求熵;

信息论与编码期末考试题

2)假设黑白消息出现前后有关联,其依赖关系为:,,,,求其熵;

信息论与编码期末考试题

2.二元对称信道如图。;

1)若,,求和;

2)求该信道的信道容量和最佳输入分布。

3.信源空间为,试分别构造二元和三元霍夫曼码,计算其平均码长和编码效率。

4.设有一离散信道,其信道传递矩阵为,并设,试分别按最小错误概率准则与最大似然译码准则确定译码规则,并计算相应的平均错误概率。

5.5.已知一(8,5)线性分组码的生成矩阵为。

求:1)输入为全00011和10100时该码的码字;2)最小码距。

6.设某一信号的信息传输率为5.6kbit/s,在带宽为4kHz的高斯信道中传输,噪声功率谱NO=5×10-6mw/Hz。试求:(1)无差错传输需要的最小输入功率是多少?

(2)此时输入信号的最大连续熵是多少?写出对应的输入概率密度函数的形式。

答案

一、概念简答题

1.答:平均自信息为

表示信源的平均不确定度,也表示平均每个信源消息所提供的信息量。

平均互信息

表示从Y获得的关于每个X的平均信息量,也表示发X前后Y的平均不确定性减少的量,还表示通信前后整个系统不确定性减少的量。

2.答:最大离散熵定理为:离散无记忆信源,等概率分布时熵最大。

最大熵值为。

3.答:信息传输率R指信道中平均每个符号所能传送的信息量。信道容量是一个信道所能达到的最大信息传输率。信息传输率达到信道容量时所对应的输入概率分布称为最佳输入概率分布。

平均互信息是信源概率分布的∩型凸函数,是信道传递概率的U型凸函数。

4.答:通信系统模型如下:

信息论与编码期末考试题

数据处理定理为:串联信道的输入输出X、Y、Z组成一个马尔可夫链,且有,。说明经数据处理后,一般只会增加信息的损失。

5.答:香农公式为,它是高斯加性白噪声信道在单位时间内的信道容量,其值取决于信噪比和带宽。由得,则

6.答:只要,当N足够长时,一定存在一种无失真编码。

7.答:当R<C时,只要码长足够长,一定能找到一种编码方法和译码规则,使译码错误概率无穷小。

二、综合题

1.答:1)信源模型为

信息论与编码期末考试题

信息论与编码期末考试题

2)由得

2.答:1)

信息论与编码期末考试题

2),最佳输入概率分布为等概率分布。

3.答:1)二元码的码字依序为:10,11,010,011,1010,1011,1000,1001。

平均码长,编码效率

2)三元码的码字依序为:1,00,02,20,21,22,010,011。

平均码长,编码效率

4.答:1)最小似然译码准则下,有,

2)最大错误概率准则下,有,

5.答:1)输入为00011时,码字为00011110;输入为10100时,码字为10100101。2)

6.答:1)无错传输时,有

即则

2)在时,最大熵

对应的输入概率密度函数为

(四)

一、名词解释(25道) 1、“本体论”的信息(P3) 2、“认识论”信息(P3) 3、离散信源(11) 4、自信息量(12) 5、离散平稳无记忆信源(49) 6、马尔可夫信源(58) 7、信源冗余度 (66) 8、连续信源 (68) 9、信道容量 (95)

10、强对称信道 (99) 11、对称信道 (101-102)12、多符号离散信道(109) 13、连续信道 (124) 14、平均失真度 (136) 15、实验信道 (138) 16、率失真函数 (139) 17、信息价值率 (163) 18、游程序列 (181) 19、游程变换 (181) 20、L-D 编码(184)、 21、冗余变换 (184)

22、BSC 信道 (189) 23、码的最小距离 (193)24、线性分组码 (195) 25、循环码 (213)

二、填空(100道)

1、 在认识论层次上研究信息的时候,必须同时考虑到 形式、含义和效用 三个方面的因素。

2、 1948年,美国数学家 香农 发表了题为“通信的数学理论”的长篇论文,从而创立了信息论。

3、 按照信息的性质,可以把信息分成 语法信息、语义信息和语用信息 。

4、 按照信息的地位,可以把信息分成 客观信息和主观信息 。

5、 人们研究信息论的目的是为了 高效、可靠、安全 地交换和利用各种各样的信息。

6、 信息的 可度量性 是建立信息论的基础。

7、 统计度量 是信息度量最常用的方法。

8、 熵 是香农信息论最基本最重要的概念。

9、 事物的不确定度是用时间统计发生 概率的对数 来描述的。

10、单符号离散信源一般用随机变量描述,而多符号离散信源一般用 随机矢量 描述。

11、一个随机事件发生某一结果后所带来的信息量称为自信息量,定义为 其发生概率对数的负值 。 12、自信息量的单位一般有 比特、奈特和哈特 。 13、必然事件的自信息是 0 。

14、不可能事件的自信息量是 ∞ 。

15、两个相互独立的随机变量的联合自信息量等于 两个自信息量之和 。

16、数据处理定理:当消息经过多级处理后,随着处理器数目的增多,输入消息与输出消息之间的平均互信息量 趋于变小 。 17、离散平稳无记忆信源X 的N 次扩展信源的熵等于离散信源X 的熵的 N 倍 。 18、离散平稳有记忆信源的极限熵,=∞H )

/(lim 1

21-∞→N N

N X

X X X

H 。

19、对于n 元m 阶马尔可夫信源,其状态空间共有 n m

个不同的状态。

20、一维连续随即变量X 在[a ,b]区间内均匀分布时,其信源熵为 log 2(b-a ) 。

21、平均功率为P 的高斯分布的连续信源,其信源熵,H c (X )=eP

π2log

2

1

2

22、对于限峰值功率的N 维连续信源,当概率密度 均匀分布 时连续信源熵具有最大值。 23、对于限平均功率的一维连续信源,当概率密度 高斯分布 时,信源熵有最大值。

24、对于均值为0,平均功率受限的连续信源,信源的冗余度决定于平均功率的限定值P 和信源的熵功率P 之比 。 25、若一离散无记忆信源的信源熵H (X )等于2.5,对信源进行等长的无失真二进制编码,则编码长度至少为 3 。

26、m 元长度为k i ,i=1,2,···n 的异前置码存在的充要条件是:∑=-≤n

i k i

m

11

。 27、若把掷骰子的结果作为一离散信源,则其信源熵为 log 26 。

28、同时掷两个正常的骰子,各面呈现的概率都为1/6,则“3和5同时出现”这件事的自信息量是 log 218(1+2 log 23)。

29、若一维随即变量X 的取值区间是[0,∞],其概率密度函数为

m

x e

m

x p -

=

1)(,其中:0≥x ,m 是X 的数学期望,则X 的信源熵

=)(X H C me 2

log

30、一副充分洗乱的扑克牌(52张),从中任意抽取1张,然后放回,若把这一过程看作离散无记忆信源,则其信源熵为 52log 2

31、根据输入输出信号的特点,可将信道分成离散信道、连续信道、半离散或半连续 信道。 32、信道的输出仅与信道当前输入有关,而与过去输入无关的信道称为 无记忆 信道。 33、具有一一对应关系的无噪信道的信道容量C= log 2n 。 34、强对称信道的信道容量C= log 2n-H ni 。

35、对称信道的信道容量C= log 2m-H mi 。

36、对于离散无记忆信道和信源的N 次扩展,其信道容量C N = NC 。

37、对于N 个对立并联信道,其信道容量 C N = ∑=N

k k

C

1 。

38、多用户信道的信道容量用 多维空间的一个区域的界限 来表示。

39、多用户信道可以分成几种最基本的类型: 多址接入信道、广播信道 和相关信源信道。 40、广播信道是只有 一个输入端和多个输出端 的信道。

41、当信道的噪声对输入的干扰作用表现为噪声和输入的线性叠加时,此信道称为 加性连续信道 。

42、高斯加性信道的信道容量C=)

1(log 2

1

2N

X P P +

43、信道编码定理是一个理想编码的存在性定理,即:信道无失真传递信息的条件是 信息率小于信道容量 。

44、信道矩阵?

???

??10

02/12/1代表的信道的信道容量C= 1 。

45、信道矩阵????

?

?????100101代表的信道的信道容量C= 1 。

46、高斯加性噪声信道中,信道带宽3kHz ,信噪比为7,则该信道的最大信息传输速率C t = 9 kHz 。 47、对于具有归并性能的无燥信道,达到信道容量的条件是 p (y j )=1/m ) 。

48、信道矩阵?

??

???1001代表的信道,若每分钟可以传递6*105个符号,则该信道的最大信息传输速率C t

= 10kHz 。

49、信息率失真理论是量化、数模转换、频带压缩和 数据压缩 的理论基础。

50、求解率失真函数的问题,即:在给定失真度的情况下,求信息率的 极小值 。

51、信源的消息通过信道传输后的误差或失真越大,信宿收到消息后对信源存在的不确定性就 越大 ,获得的信息量就越小。 52、信源的消息通过信道传输后的误差或失真越大道传输消息所需的信息率 也越小 。

53、单符号的失真度或失真函数d (x i ,y j )表示信源发出一个符号x i ,信宿再现y j 所引起的 误差或失真 。

54、汉明失真函数 d (x i ,y j )=?

??≠=j i j i 10 。

55、平方误差失真函数d (x i ,y j )=(y j - x i )2。

56、平均失真度定义为失真函数的数学期望,即d (x i ,y j )在X 和Y 的 联合概率空间P (XY )中 的统计平均值。 57、如果信源和失真度一定,则平均失真度是 信道统计特性 的函数。

58、如果规定平均失真度D 不能超过某一限定的值D ,即:D D ≤。我们把D D ≤称为 保真度准则 。

59、离散无记忆N 次扩展信源通过离散无记忆N 次扩展信道的平均失真度是单符号信源通过单符号信道的平均失真度的 N 倍。

60、试验信道的集合用P D 来表示,则P D =

{}m

j n i D D x y

p i j ,,2,1,,,2,1;:)/( ==≤ 。

61、信息率失真函数,简称为率失真函数,即:试验信道中的平均互信息量的 最小值 。 62、平均失真度的下限取0的条件是失真矩阵的 每一行至少有一个零元素 。 63、平均失真度的上限D max 取{D j :j=1,2,···,m}中的 最小值 。 64、率失真函数对允许的平均失真度是 单调递减和连续的 。 65、对于离散无记忆信源的率失真函数的最大值是 log 2n 。

66、当失真度大于平均失真度的上限时D max 时,率失真函数R (D )= 0 。

67、连续信源X 的率失真函数R (D )=

)

;()/(Y X I P x y p Inf

D

∈ 。

68、当2

σ≤D 时,高斯信源在均方差失真度下的信息率失真函数为 =)(D R D 2

2

log

2

1

σ

69、保真度准则下的信源编码定理的条件是 信源的信息率R 大于率失真函数R (D ) 。

70、某二元信源??????=????

??2/12/110

)(X P X 其失真矩阵D=?

?????00a a ,则该信源的D max = a/2 。

71、某二元信源??????=????

?

?2/12

/110)(X P X 其失真矩阵D=?

?????00a

a ,则该信源的D min

= 0 。

72、某二元信源??????=????

??2/12/110)(X

P X 其失真矩阵D=?

?????00a a ,则该信源的R (D )= 1-H (D/a ) 。

73、按照不同的编码目的,编码可以分为三类:分别是 信源编码、信道编码和安全编码 。 74、信源编码的目的是: 提高通信的有效性 。

75、一般情况下,信源编码可以分为 离散信源编码、连续信源编码和相关信源编码 。 76、连续信源或模拟信号的信源编码的理论基础是 限失真信源编码定理 。 77、在香农编码中,第i 个码字的长度k i 和p (x i )之间有 )(log

1)(log

2

2

i i i x p k x p -<≤- 关系。

78、对信源??

?

???=?????

?16/116

/116

/116

/18

/18

/14

/14/1(87654321x x x x x x x x X P X )进行二进制费诺编码,其编码效率为 1 。

79、对具有8个消息的单符号离散无记忆信源进行4进制哈夫曼编码时,为使平均码长最短,应增加 2 个概率为0的消息。 80、对于香农编码、费诺编码和哈夫曼编码,编码方法惟一的是 香农编码 。

81、对于二元序列0011100000011111001111000001111111,其相应的游程序列是 23652457 。

82、设无记忆二元序列中,“0”和“1”的概率分别是p 0和p 1,则“0”游程长度L (0)的概率为 11

)0(0

)]0([p p L p L -= 。

83、游程序列的熵 等于 原二元序列的熵。 84、若“0”游程的哈夫吗编码效率为η0,“1”游程的哈夫吗编码效率为η1,且η0>η1对应的二元序列的编码效率为η,则三者的关系是 η0>η>η 1 。

85、在实际的游程编码过程中,对长码一般采取 截断 处理的方法。 86、“0”游程和“1”游程可以分别进行哈夫曼编码,两个码表中的码字可以重复,但 C 码 必须不同。 87、在多符号的消息序列中,大量的重复出现的,只起占时作用的符号称为 冗余位 。 88、“冗余变换”即:将一个冗余序列转换成一个二元序列和一个 缩短了的多元序列 。 89、L-D 编码是一种 分帧传送冗余位序列 的方法。 90、L-D 编码适合于冗余位 较多或较少 的情况。

91、信道编码的最终目的是 提高信号传输的可靠性 。 92、狭义的信道编码即:检、纠错编码 。 93、BSC 信道即:无记忆二进制对称信道 。 94、n 位重复码的编码效率是 1/n 。

95、等重码可以检验 全部的奇数位错和部分的偶数位错 。

96、任意两个码字之间的最小汉明距离有称为码的最小距d min ,则d min =

)

',(min '

c c

d c c ≠。

97、若纠错码的最小距离为d min ,则可以纠正任意小于等于t=

??????-21min d 个差错。 98、若检错码的最小距离为d min ,则可以检测出任意小于等于l= d min -1 个差错。

99、线性分组码是同时具有 分组特性和线性特性 的纠错码。 100、循环码即是采用 循环移位特性界定 的一类线性分组码。

三、判断(50道)

1、 必然事件和不可能事件的自信息量都是0 。错

2、 自信息量是

)

(i x p 的单调递减函数。对 3、 单符号离散信源的自信息和信源熵都具有非负性。对 4、 单符号离散信源的自信息和信源熵都是一个确定值。错

5、 单符号离散信源的联合自信息量和条件自信息量都是非负的和单调递减的。对

6、 自信息量、条件自信息量和联合自信息量之间有如下关系: )

/()()/()()(j

i j i j i j i y x I y I x y I x I y x I +=+= 对

7、 自信息量、条件自信息量和互信息量之间有如下关系:

)

/()()/()();(i

j j j i i j i x y I y I y x I x I y x I -=-= 对 8、 当随即变量X 和Y 相互独立时,条件熵等于信源熵。对 9、 当随即变量X 和Y 相互独立时,I (X ;Y )=H (X ) 。错 10、信源熵具有严格的下凸性。错

11、平均互信息量I (X ;Y )对于信源概率分布p (x i )和条件概率分布p (y j /x i )都具有凸函数性。 对 12、m 阶马尔可夫信源和消息长度为m 的有记忆信源,其所含符号的依赖关系相同。 错 13、利用状态极限概率和状态一步转移概率来求m 阶马尔可夫信源的极限熵。 对 14、N 维统计独立均匀分布连续信源的熵是N 维区域体积的对数。 对 15、一维高斯分布的连续信源,其信源熵只与其均值和方差有关。 错 16、连续信源和离散信源的熵都具有非负性。 错

17、连续信源和离散信源都具有可加性。 对

18、连续信源和离散信源的平均互信息都具有非负性。 对 19、定长编码的效率一般小于不定长编码的效率。 对

20、若对一离散信源(熵为H (X ))进行二进制无失真编码,设定长码子长度为K ,变长码子平均长度为K ,一般K >K 。 错 21、信道容量C 是I (X ;Y )关于p (x i )的条件极大值。 对

22、离散无噪信道的信道容量等于log 2n ,其中n 是信源X 的消息个数。 错

23、对于准对称信道,当

m y p j 1

)(

时,可达到信道容量C 。错 24、多用户信道的信道容量不能用一个数来代表。 对

25、多用户信道的信道容量不能用一个数来代表,但信道的信息率可以用一个数来表示。错 26、高斯加性信道的信道容量只与信道的信噪有关。 对 27、信道无失真传递信息的条件是信息率小于信道容量。对 28、最大信息传输速率,即:选择某一信源的概率分布(p (x i )),使信道所能传送的信息率的最大值。 错 29、对于具有归并性能的无燥信道,当信源等概率分布时(p (x i )=1/n ),达到信道容量。 错 30、求解率失真函数的问题,即:在给定失真度的情况下,求信息率的极小值。对

31、信源的消息通过信道传输后的误差或失真越大,信宿收到消息后对信源存在的不确定性就越小,获得的信息量就越小。 错 32、当p (x i )、p (y j /x i )和d (x i ,y j )给定后,平均失真度是一个随即变量。 错 33、率失真函数对允许的平均失真度具有上凸性。对 34、率失真函数没有最大值。 错 35、率失真函数的最小值是0 。对

36、率失真函数的值与信源的输入概率无关。错 37、信源编码是提高通信有效性为目的的编码。 对

38、信源编码通常是通过压缩信源的冗余度来实现的。 对

39、离散信源或数字信号的信源编码的理论基础是限失真信源编码定理。 错 40、一般情况下,哈夫曼编码的效率大于香农编码和费诺编码。 对

41、在编m (m>2)进制的哈夫曼码时,要考虑是否需要增加概率为0的码字,以使平均码长最短。 对 42、游程序列的熵(“0”游程序列的熵与“1”游程序列的熵的和)大于等于原二元序列的熵。 错 43、在游程编码过程中,“0”游程和“1”游程应分别编码,因此,它们的码字不能重复。 错 44、L-D 编码适合于冗余位较多和较少的情况,否则,不但不能压缩码率,反而使其扩张。 对 45、狭义的信道编码既是指:信道的检、纠错编码。 对

46、对于BSC 信道,信道编码应当是一对一的编码,因此,消息m 的长度等于码字c 的长度。 错 47、等重码和奇(偶)校验码都可以检出全部的奇数位错。 对 48、汉明码是一种线性分组码。对 49、循环码也是一种线性分组码。 对

50、卷积码是一种特殊的线性分组码。 错

四、简答(20道)

1、 信息的主要特征有哪些?(4)

2、 信息的重要性质有哪些?(4)

3、 简述几种信息分类的准则和方法。(5)

4、 信息论研究的内容主要有哪些?(8)

5、 简述自信息的性质。(13)

6、 简述信源熵的基本性质。(23)

7、 简述信源熵、条件熵、联合熵和交互熵之间的关系。(48) 8、 信道的分类方法有哪些?(93-94) 9、 简述一般离散信道容量的计算步骤。(107) 10、简述多用户信道的分类。(115-116) 11、简述信道编码定理。(128) 12、简述率失真函数的性质。(140-145)

13、简述求解一般离散信源率失真函数的步骤。(146-149) 14、试比较信道容量与信息率失真函数。(164) 15、简述编码的分累及各种编码的目的。(168) 16、简述费诺编码的编码步骤。(170) 17、简述二元哈夫曼编码的编码步骤。(173)

18、简述广义的信道编码的分类及各类编码的作用。(188) 19、简述线性分组码的性质。(196) 20、简述循环码的系统码构造过程。(221)