信息理论与编码课后答案第5章解析
第5章 有噪信道编码
5.1 基本要求
通过本章学习，了解信道编码的目的，了解译码规则对错误概率的影响，掌握两种典型的译码规则：最佳译码规则和极大似然译码规则。掌握信息率与平均差错率的关系，掌握最小汉明距离译码规则，掌握有噪信道编码定理（香农第二定理）的基本思想，了解典型序列的概念，了解定理的证明方法，掌握线性分组码的生成和校验。
5.2 学习要点
5.2.1 信道译码函数与平均差错率
5.2.1.1 信道译码模型
从数学角度讲，信道译码是一个变换或函数，称为译码函数，记为F 。信道译码模型如图5.1所示。 5.2.1.2 信道译码函数
信道译码函数F 是从输出符号集合B 到输入符号集合A 的映射：
*()j j F b a A =∈，1,2,...j s =
其含义是：将接收符号j b B ∈译为某个输入符号*
j a A ∈。译码函数又称译码规则。 5.2.1.3 平均差错率
在信道输出端接收到符号j b 时，按译码规则*
()j j F b a A =∈将j b 译为*j a ，若此时信道输入刚好是
*j a ，则称为译码正确，否则称为译码错误。
j b 的译码正确概率是后验概率：
*(|)()|j j j j P X a Y b P F b b ??===?? （5.1）
j b 的译码错误概率：
(|)()|1()|j j j j j P e b P X F b Y b P F b b ????=≠==-???? （5.2）
平均差错率是译码错误概率的统计平均，记为e P ：
{}
1
1
1
1
()(|)()1()|1(),1()|()s s
e j j j j j j j s
s
j j j j j j j P P b P e b P b P F b b P F b b P F b P b F b ====??==-??
??????=-=-??????
∑∑∑∑ （5.3）
5.2.2 两种典型的译码规则
两种典型的译码规则是最佳译码规则和极大似然译码规则。 5.2.2.1 最佳译码规则
图5.1 信道译码模型
DMC
,,}a ,}r a
使e P 达到最小的译码规则称为最佳译码规则。这种规则是按后验概率最大原则定出的，所以又称最大后验概率译码规则。
*
*
(),:(|)(|),j j j j j i j i F b a A b B
F P a b P a b a A
?=∈∈??∈??≥ （5.4） 上式中最大后验概率条件可等价成最大联合概率条件。
将*(|)(|)j j i j P a b P a b ≥两边乘以()j P b ，变换为*(,(,)j j i j P a b P a b )≥。
因此，最佳译码规则又可表示成：
**
(),:(,)(,),j j j j j i j i F b a A b B
F P a b P a b a A
?=∈∈??∈??≥ （5.5） 因为使用最大联合概率条件，所以又称为最大联合概率译码规则。 5.2.2.2 极大似然译码规则
按最大转移概率条件来确定的译码规则，称为极大似然译码规则：
**
(),:(|)(|),j j j j j j i i F b a A b B F P b a P b a a A
?=∈∈?
?∈??≥ （5.6） 虽然极大似然译码规则的平均差错率不是最小，不是最佳的，但最易找出。
可以证明，当信道输入等概时，极大似然译码规则与最大联合概率译码规则等价，此时极大似然译码规则也是最佳的。
5.2.3 信道编码对平均差错率和信息率的影响
信道编码（或称纠错编码）是靠增加冗余码元来克服或减轻噪声影响的。冗余是相对于信息的表示而言，但是对提高传送可靠性来说，冗余码元却提供了极宝贵的可靠性信息。
以下以两种简单信道编码方法来说明信道编码对平均差错率和信息率的影响。 5.2.3.1 “简单重复”编码
日常中人们可以通过重复某句话使别人听得更清楚。数字通信中，将符号重复传几次，也会提高传送可靠性。例如，“重复2次”编码，如图5.2所示。
编码规则为
图5.2 “重复2次”编码
112345672800000010100111001011101111f
f
u u αααααααα=??→========??→
=1
23
45
67
8
000001010011100101110111ββββββββ=======
=12000111αα=
=P 8,,}β8,,}
α
0000
:1111
f →??
→? 扩展信道的转移矩阵为
33
1
2
3
4
5
6
7
8
3
2222223132
2
22
223|8
[]Y X p p p p p pp p p pp pp p P p
pp pp p p
pp p p
p p
p ββββββββαα??=??????
按极大似然译码规则得译码函数：
1121314851
68
78
88
()()()()()()()()F F F F F F F F βαβαβαβαβαβαβαβα========
即
4162183758011000101001000111010110100111F
F
ββββααββββ==?
?
??==????
→=??
→=??==????==?
?
信道编码之后的信息率为
()
H U R N
=
bit /码元 （5.7） 若信源等概率分布，则
log M
R N
=
bit /码元 （5.8） 其中M 代表信源消息（符号）个数。
无编码 log 2
1
11
N R ==
= bit /码元 210e P -= “重复2次”编码 log 21
333N R === bit /码元 4310e P -=?
1
55N R == bit /码元 510e P -=
1
77
N R == bit /码元 7410e P -=?
随着“重复”次数的增加，e P 下降，但R 也跟着下降。即信息传输的有效性和可靠性是矛盾的。
5.2.3.2 对符号串编码
对信源的符号串进行编码，即增多消息个数M ，同时增大码长N ，有可能使平均差错率e P 降低到要求的范围以内，而又能使信息率R 降低得不多。
例如，取4M =（2次扩展信源）、5N =。4个消息记为123400,01,10,11s s s s ==== 编码函数为
1212345
:1,2,3,4i i i i i i i i i f s m m a a a a a i α=→==
1122
31241
1
12
i i i i i i i i i i i i a m a m a m m a m a m m ?=?=??=⊕??=??=⊕? 译码采用极大似然规则。编译码示意图见图5.3所示。
编码后的信息率R 和平均差错率e P 分别为
log 42
55R =
= bit /码元 543241
1(4208)7.86104
e P p p p p p -=-++≈?
与“重复2次”编码相比，R 略有增加，e P 处在同一数量级。因此，增大码长N 和适当增多消息个数M ，对兼顾e P （可靠性）和R （有效性）的要求是有效的。
5.2.4 最小汉明距离译码规则
5.2.4.1汉明距离
两个等长符号序列x 和y 之间的汉明距离，记为(,)D x y ，是x 与y 之间对应位置上不同符号的个数，用来定量描述符号序列之间的“相似”程度。 5.2.4.2汉明距离与信道编码性能的关系
码是码字的集合，码字则是由码元组成的符号序列。假如12{,,,}q C c c c =是等长码，则C 中任
意两个不同码字之间的汉明距离或码间距离为
(,),,,i j i j i j D c c c c c c C ≠∈
码C 的最小码间距离定义为
min min (,),i j i j i j d D c c c c c c C ??=≠∈??
最小码间距离min d 是衡量码的性能的重要参数，码的min d 小，说明其中有些码字受干扰后容易变为另一码字，译码时就会出错。因此，信道编码在选择码字时，应尽量使码的最小码间距离min d 大一些为好。
图5.3 4M = 、5n = 的编译码示意图
00000000101101
10101111111010
f
f
f f ??→??→??→??
→000000000100010001000100010000
1000100011011010110001111010010010111101111000111010111101101010110011
1111100111001101010011010110111100011110100100101001011
11001
000000110110111110105次扩展信道
对于二元对称信道，设信源有M 个消息12{,,,}M s s s ，输入和输出符号集分别为{0,1}A =和
{0,1}B =，其N 次扩展信道的入口符号集N A 和出口符号集N B 中都含有2N 个N 长二元符号串，即
122122{,,,}{,,
,}
N N N N
A B αααβββ==
从N
A 中选择M 个符号串当作码字组成码C ：
12{,,
,}M C c c c =
按极大似然译码规则进行译码时，可以推导出等价于以下规则，称为最小（汉明）距离译码规则：
**(),:(,)min (,),N
j j j N
j j i j i F c C B F D c D c c C A
ββββ?=∈∈?
???=∈????? （5.9） 其含意是：将接收序列j β译为与之最相似的输入序列（码字）*j c 。
5.2.5有噪信道编码定理（香农第二定理）
5.2.5.1有噪信道编码定理
若信道是离散、无记忆、平稳的，且信道容量为C ，只要待传送的信息率R C <，就一定能找到一种信道编码方法，使得码长N 足够大时，平均差错率e P 任意接近于零。
有噪信道编码定理实际上是一个存在性定理，它指出：在R C <时，肯定存在一种好的信道编码方法，用这种好码来传送消息可使e P 逼近零。但香农并没有给出具体编码方法。
对有噪信道编码定理的证明要用到联合典型序列。所谓典型序列，是指那些平均自信息量逼近熵的序列。联合ε典型序列，是指那些平均联合自信息量逼近联合熵的序列。
离散无记忆信源X 发出N 长序列12N i i i i x x x x =，若
()
()i I x H X N
ε-< （5.10） 则称i x 为X 的ε典型序列，否则称为X 的非ε典型序列。
若i x 和j y 分别是X 和Y 的N 长ε典型序列，且
(,)()i j I x y H XY N
ε-< （5.11）
则称序列对(,)i j x y 为X 与Y 的联合ε典型序列，否则称为非联合ε典型序列。 5.2.5.2有噪信道编码逆定理
若信道是离散、无记忆、平稳的，且信道容量为C ，如果信息率R C >，则肯定找不到一种信道编码方法，使得码长N 足够大时，平均差错率e P 任意接近于零。
对有噪信道编码逆定理的证明，要用到Fano 不等式。 Fano 不等式：
(|)(,1)log(1)e e e H X Y H P P P r -+-≤ （5.12）
式中r 是信道输入符号个数。
5.2.6 线性分组码
5.2.
6.1 基本概念
信道编码的目的是为了降低平均差错率。纠错编码理论几乎与信息论同时创立，创始人是汉明（R.W.Hamming ），他与信息论创始人香农都在贝尔实验室工作。
纠错编码的基本思路是在信息序列中引入可控冗余，或称校验码元，组成一个相关的码元序列——码字，译码时利用码元之间的相关性质来检测错误和纠正错误。
分组码：先将信息序列分成K 个符号一组，称为信息组，然后在信息组中加入一些校验码元组成N 长码字，由此得到的码称为(,)N K 分组码，校验位数目为r N K =-。
线性码：线性码满足线性特性，即码中任意两个码字的和仍为码字。否则为非线性码。
循环码：循环码是线性码的一个子集。循环码中任一码字循环移位后仍为该码的码字。否则为非循环码。
5.2.
6.2 生成矩阵和校验矩阵
编码函数f 可用矩阵表示成
=c mG （5.13）
其中m 是K 维信息组行矩阵，c 是N 维码字行矩阵，G 是码的生成矩阵。
[]12,{0,1}K i m m m m =∈m （5.14） []12
,{0,1}N i c c c c =∈c （5.15）
通过生成矩阵，可将信息组变换为相应的码字。
如果码字的前（或后）K 位照搬信息组的K 个信息元，这样形成的码称为系统码。 对于前K 位为信息元的系统码，生成矩阵G 可分块成
[]1112121
22
212
10001
00
1r r K K
K r K K Kr a a a a a a a a a ????
???
?==????????
G I A （5.16） 校验方程的矩阵形式则为
T =0cH 或T =0Hc （5.17）
式中H 为r N ?一致性校验矩阵，r N K =-为校验位数目。
5.2.
6.3 汉明距离和码的纠检错能力的关系
(1) 一个码能够检测出d t 个错误的充要条件是min 1d d t +≥； (2) 一个码能够纠正c t 个错误的充要条件是min 21c d t +≥；
(3) 一个码能够纠正c t 个错误，同时又能够检测出d c t t >个错误的充要条件是
min 21c d t +>和min 1c d d t t ++≥。
其中，min d 表示码的最小汉明距离，是衡量其纠、检错能力的重要参数。 5.2.6.4 伴随式与伴随式译码
用一致性校验矩阵H 对接收序列y 进行检验，检验结果记为s ，则
()T T T ==s =yH c +e H eH （5.18）
式中c 为发送码字。如果≠0s ，则表明有错误存在。s 是传输是否出错的标志，称为伴随式。e 称为差错图样。当码字第i 位发生错误时，1i e =，否则0i e =。
通过接收序列y 可以确定发送码字c 的估计值?c
： ?-⊕c
=y e =y e （5.19）
教材习题参考答案
5.1 译码规则与错误概率
5.1.1 （陈杰，红皮书，p139，例5.1）
例5.1 已知信道矩阵????
?
???
??=4.03.03
.05.03.02
.02.03.05.0P ，求E p 。 解：根据极大似然译码准则选择译码函数B
B ：()()()???
??===23
321
1a
b F a b F a b F
又设输入符号为等概率分布()31
=a p
则有
()()()()]4.02.03.03.03.02.0[31
31,+++++==
∑*-a b p p a X Y E
=0.567
若按下述译码函数A 计算平均错误概率E p '
()()()??
???===33221
1a
b F a b F a b F A ： 得
()a b p p a X Y E ∑*
-='
,31
()()()600.0]5.02.03.03.03.02.0[31
=+++++= 可见E E p p >' (平均错误概率)，即得以下结论：
答案~信息论与编码练习
1、有一个二元对称信道，其信道矩阵如下图所示。设该信道以1500个二元符号/秒的速度传输输入符号。现有一消息序列共有14000个二元符号，并设在这消息中P(0)=P(1)=1/2。问从信息传输的角度来考虑，10秒钟内能否将这消息序列无失真地传送完？ 解答：消息是一个二元序列，且为等概率分布，即P(0)=P(1)=1/2，故信源的熵为H(X)=1(bit/symbol)。则该消息序列含有的信息量＝14000(bit/symbol)。 下面计算该二元对称信道能传输的最大的信息传输速率： 信道传递矩阵为： 信道容量（最大信息传输率）为： C=1-H(P)=1-H(0.98)≈0.8586bit/symbol 得最大信息传输速率为： Rt ≈1500符号/秒× 0.8586比特/符号 ≈1287.9比特/秒 ≈1.288×103比特/秒 此信道10秒钟内能无失真传输得最大信息量＝10× Rt ≈ 1.288×104比特 可见，此信道10秒内能无失真传输得最大信息量小于这消息序列所含有的信息量，故从信息传输的角度来考虑，不可能在10秒钟内将这消息无失真的传送完。 2、若已知信道输入分布为等概率分布，且有如下两个信道，其转移概率矩阵分别为： 试求这两个信道的信道容量，并问这两个信道是否有噪声？ 3 、已知随即变量X 和Y 的联合分布如下所示： 01 100.980.020.020.98P ?? =?? ??11112222 1111222212111122221111222200000000000000000000000000000000P P ????????????==????????????11 222 2111 2222 2 log 4(00)1/()log 42/log 8(000000)2/(),H bit symbol H X bit symbol C C H bit symbol H X C =-===>=-==1解答：(1)由信道1的信道矩阵可知为对称信道故C 有熵损失，有噪声。(2)为对称信道，输入为等概率分布时达到信道容量无噪声
信息论与编码试卷与答案
一、（11’）填空题 （1）1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。 （2）必然事件的自信息是 0 。 （3）离散平稳无记忆信源X的N次扩展信源的熵等于离散信源X的熵的 N倍。 （4）对于离散无记忆信源，当信源熵有最大值时，满足条件为__信源符号等概分布_。 （5）若一离散无记忆信源的信源熵H（X）等于2.5，对信源进行等长的无失真二进制编码，则编码长度至少为 3 。 （6）对于香农编码、费诺编码和霍夫曼编码，编码方法惟一的是香农编码。（7）已知某线性分组码的最小汉明距离为3，那么这组码最多能检测出_2_______个码元错误，最多能纠正___1__个码元错误。 （8）设有一离散无记忆平稳信道，其信道容量为C，只要待传送的信息传输率R__小于___C（大于、小于或者等于），则存在一种编码，当输入序列长度n足够大，使译码错误概率任意小。（9）平均错误概率不仅与信道本身的统计特性有关，还与___译码规则____________和___编码方法___有关 三、（5'）居住在某地区的女孩中有25%是大学生，在女大学生中有75%是身高1.6米以上的，而女孩中身高1.6米以上的占总数的一半。 假如我们得知“身高1.6米以上的某女孩是大学生”的消息，问获得多少信息量？ 解：设A表示“大学生”这一事件，B表示“身高1.60以上”这一事件，则 P(A)=0.25 p(B)=0.5 p(B|A)=0.75 （2分） 故 p(A|B)=p(AB)/p(B)=p(A)p(B|A)/p(B)=0.75*0.25/0.5=0.375 （2分） I(A|B)=-log0.375=1.42bit （1分） 四、（5'）证明：平均互信息量同信息熵之间满足 I(X;Y)=H(X)+H(Y)-H(XY) 证明：
信息论与编码课程总结
信息论与编码 《信息论与编码》这门课程给我带了很深刻的感受。信息论是人类在通信工程实践之中总结发展而来的，它主要由通信技术、概率论、随机过程、数理统计等相结合而形成。它主要研究如何提高信息系统的可靠性、有效性、保密性和认证性，以使信息系统最优化。学习这门课程之后，我学到了很多知识，总结之后，主要有以下几个方面： 首先是基本概念。信息是指各个事物运动的状态及状态变化的方式。消息是指包括信息的语言、文字和图像等。信号是消息的物理体现，为了在信道上传输消息，就必须把消息加载到具有某种物理特性的信号上去。信号是信息的载荷子或载体。信息的基本概念在于它的不确定性，任何已确定的事物都不含有信息。信息的特征：（1）接收者在收到信息之前，对其内容是未知的。（2）信息是能使认识主体对某一事物的未知性或不确定性减少的有用知识。（3）信息可以产生，也可以消失，同时信息可以被携带、存储及处理。（4）信息是可以量度的，信息量有多少的差别。编码问题可分解为3类：信源编码、信道编 码、加密编码。= 理论上传输的最少信息量 编码效率实际需要的信息量。 接下来，学习信源，重点研究信源的统计特性和数学模型，以及各类离散信源的信息测度 —熵及其性质，从而引入信息理论的一些基本概念和重要结论。本章内容是香农信息论的基础。重点要掌握离散信源的自信息，信息熵（平均自信息量），条件熵，联合熵的的概念和求法及其它们之间的关系，离散无记忆的扩展信源的信息熵。另外要记住信源的数学模型。通过学习信源与信息熵的基本概念，了解了什么是无记忆信源。信源发出的序列的统计性质与时间的推移无关，是平稳的随机序列。当信源的记忆长度为m+1时，该时刻发出的符号与前m 个符号有关联性，而与更前面的符号无关，这种有记忆信源叫做m 阶马尔可夫信源。若上述条件概率与时间起点无关，则信源输出的符号序列可看成齐次马尔可夫链，这样的信源叫做齐次马尔可夫信源。之后学习了信息熵有关的计算，定义具有概率为 () i p x 的符号i x 的自信息量为：()log ()i i I x p x =-。自信息量具有下列特性：（1） ()1,()0i i p x I x ==（2）()0,()i i p x I x ==∞（3）非负性（4）单调递减性（5）可加 性。信源熵是在平均意义上来表征信源的总体特征，它是信源X 的 函数，一般写成H （X ）。信源熵：()()log ()i i i H X p x p x =-∑，条件熵：(|)(,)log (|) i j i j ij H X Y p x y p x y =-∑联合 熵(|)(,)log (,)i j i j ij H X Y p x y p x y =-∑，联合熵 H(X,Y)与熵H(X)及条件熵H(Y|X)的关系： (,)()(|)()(|)H X Y H X H Y X H X H X Y =+=+。互信息: ,(|)(|)(;)(,)log ()(|)log () () j i j i i j i j i ij i j j j p y x p y x I X Y p x y p x p y x p y p y = = ∑ ∑ 。熵的性质：非负性，对称性，确定 性，极值性。 接下来接触到信道，知道了信道的分类，根据用户数可以分为，单用户和多用户；根
信息论与编码课后习题答案
1． 有一个马尔可夫信源，已知p(x 1|x 1)=2/3，p(x 2|x 1)=1/3，p(x 1|x 2)=1，p(x 2|x 2)=0，试画出该信源的香农线图，并求出信源熵。 解：该信源的香农线图为： 1/3 ○ ○ 2/3 (x 1) 1 (x 2) 在计算信源熵之前，先用转移概率求稳定状态下二个状态x 1和 x 2 的概率)(1x p 和)(2x p 立方程：)()()(1111x p x x p x p =+)()(221x p x x p =)()(2132x p x p + )()()(1122x p x x p x p =+)()(222x p x x p =)(0)(2131x p x p + )()(21x p x p +=1 得4 3 1)(=x p 4 12)(=x p 马尔可夫信源熵H = ∑∑- I J i j i j i x x p x x p x p )(log )()( 得 H=0.689bit/符号 2．设有一个无记忆信源发出符号A 和B ，已知4 341)(.)(= =B p A p 。求： ①计算该信源熵； ②设该信源改为发出二重符号序列消息的信源，采用费诺编码方法，求其平均信息传输速率； ③又设该信源改为发三重序列消息的信源，采用霍夫曼编码方法，求其平均信息传输速率。 解：①∑- =X i i x p x p X H )(log )()( =0.812 bit/符号 ②发出二重符号序列消息的信源,发出四种消息的概率分别为 用费诺编码方法 代码组 b i BB 0 1 BA 10 2 AB 110 3 AA 111 3 无记忆信源 624.1)(2)(2 ==X H X H bit/双符号 平均代码组长度 2B =1.687 bit/双符号 B X H R )(22==0.963 bit/码元时间 ③三重符号序列消息有8个,它们的概率分别为 用霍夫曼编码方法 代码组 b i BBB 64 27 0 0 1 BBA 64 9 0 )(6419 1 110 3
信息论与编码试题集与答案(2014)
一填空题 1、平均自信息为 表示信源的平均不确定度，也表示平均每个信源消息所提供的信息量。 平均互信息 表示从Y 获得的关于每个X 的平均信息量，也表示发X 前后Y 的平均不确定性减少的量，还表示通信前 后整个系统不确定性减少的量。 2、最大离散熵定理为：离散无记忆信源，等概率分布时熵最大,最大熵值为。 3、香农公式为 为保证足够大的信道容量，可采用（1）用频带换信噪比； （2）用信噪比换频带。 4、只要，当N 足够长时，一定存在一种无失真编码。 5、当R ＜C 时，只要码长足够长，一定能找到一种编码方法和译码规则，使译码错误概率无穷小。 6、1948年，美国数学家 香农 发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。 7.人们研究信息论的目的是为了 高效、可靠、安全 地交换和利用各种各样的信息。 8.信息的 可度量性 是建立信息论的基础。 9.统计度量 是信息度量最常用的方法。 10、单符号离散信源一般用随机变量描述，而多符号离散信源一般用 随机矢量 描述。 11、一个随机事件发生某一结果后所带来的信息量称为自信息量，定义为 其发生概率对数的负值 。 12、自信息量的单位一般有 比特、奈特和哈特 。 13、必然事件的自信息是 0 。 14、不可能事件的自信息量是 ∞ 。 15、两个相互独立的随机变量的联合自信息量等于 两个自信息量之和 。 16、数据处理定理：当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量 趋于变小 。 17、离散平稳无记忆信源X 的N 次扩展信源的熵等于离散信源X 的熵的 N 倍 。 18、离散平稳有记忆信源的极限熵，=∞H )/(lim 121-∞→N N N X X X X H 。 19、对于n 元m 阶马尔可夫信源，其状态空间共有 n m 个不同的状态。 20、一维连续随即变量X 在[a ，b]区间内均匀分布时，其信源熵为 log2（b-a ） 。
信息论与编码试卷及答案(多篇)
一、概念简答题（每题5分，共40分） 1.什么是平均自信息量与平均互信息，比较一下这两个概念的异同？ 答：平均自信息为 表示信源的平均不确定度，也表示平均每个信源消息所提供的信息量。 平均互信息 表示从Y获得的关于每个X的平均信息量，也表示发X前后Y的平均不确定性减少的量，还表示通信前后整个系统不确定性减少的量。 2.简述最大离散熵定理。对于一个有m个符号的离散信源，其最大熵是多少？ 答：最大离散熵定理为：离散无记忆信源，等概率分布时熵最大。 最大熵值为。 3.解释信息传输率、信道容量、最佳输入分布的概念，说明平均互信息与信源的概率分布、信道的传递概率间分别是什么关系？ 答：信息传输率R指信道中平均每个符号所能传送的信息量。信道容量是一个信道所能达到的最大信息传输率。信息传输率达到信道容量时所对应的输入概率分布称为最佳输入概率分布。 平均互信息是信源概率分布的∩型凸函数，是信道传递概率的U型凸函数。 4.对于一个一般的通信系统，试给出其系统模型框图，并结合此图，解释数据处理定理。 答：通信系统模型如下：
数据处理定理为：串联信道的输入输出X、Y、Z组成一个马尔可夫链，且有， 。说明经数据处理后，一般只会增加信息的损失。 5.写出香农公式，并说明其物理意义。当信道带宽为5000Hz，信噪比为30dB时求信道容量。 .答：香农公式为，它是高斯加性白噪声信道在单位时间内的信道容量，其值取决于信噪比和带宽。 由得，则 6.解释无失真变长信源编码定理。 .答：只要，当N足够长时，一定存在一种无失真编码。 7.解释有噪信道编码定理。 答：当R＜C时，只要码长足够长，一定能找到一种编码方法和译码规则，使译码错误概率无穷小。 8.什么是保真度准则？对二元信源，其失真矩阵，求a>0时率失真函数的和？ 答：1）保真度准则为：平均失真度不大于允许的失真度。 2）因为失真矩阵中每行都有一个0，所以有，而。 二、综合题（每题10分，共60分） 1.黑白气象传真图的消息只有黑色和白色两种，求：
信息论复习知识点汇总
1、平均自信息为 表示信源的平均不确定度，也表示平均每个信源消息所提供的信息量。 平均互信息 表示从Y获得的关于每个X的平均信息量，也表示发X前后Y的平均不确定性减少的量，还表示通信前后整个系统不确定性减少的量。 2、最大离散熵定理为：离散无记忆信源，等概率分布时熵最大。 3、最大熵值为。 4、通信系统模型如下： 5、香农公式为为保证足够大的信道容量，可采用（1）用频带换信噪比；（2）用信噪比换频带。 6、只要，当N足够长时，一定存在一种无失真编码。 7、当R＜C时，只要码长足够长，一定能找到一种编码方法和译码规则，使译码错误概率无穷小。 8、在认识论层次上研究信息的时候，必须同时考虑到形式、含义和效用三个方面的因素。 9、1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。 按照信息的性质，可以把信息分成语法信息、语义信息和语用信息。
按照信息的地位，可以把信息分成 客观信息和主观信息 。 人们研究信息论的目的是为了 高效、可靠、安全 地交换和利用各种各样的信息。 信息的 可度量性 是建立信息论的基础。 统计度量 是信息度量最常用的方法。 熵 是香农信息论最基本最重要的概念。 事物的不确定度是用时间统计发生 概率的对数 来描述的。 10、单符号离散信源一般用随机变量描述，而多符号离散信源一般用 随机矢量 描述。 11、一个随机事件发生某一结果后所带来的信息量称为自信息量，定义为 其发生概率对数的负值 。 12、自信息量的单位一般有 比特、奈特和哈特 。 13、必然事件的自信息是 0 。 14、不可能事件的自信息量是 ∞ 。 15、两个相互独立的随机变量的联合自信息量等于 两个自信息量之和 。 16、数据处理定理：当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量 趋于变小 。 17、离散平稳无记忆信源X 的N 次扩展信源的熵等于离散信源X 的熵的 N 倍 。 18、离散平稳有记忆信源的极限熵，=∞H )/(lim 121-∞→N N N X X X X H Λ。 19、对于n 元m 阶马尔可夫信源，其状态空间共有 nm 个不同的状态。 20、一维连续随即变量X 在[a ，b]区间内均匀分布时，其信源熵为 log2（b-a ） 。 21、平均功率为P 的高斯分布的连续信源，其信源熵，Hc （X ）=eP π2log 21 2。 22、对于限峰值功率的N 维连续信源，当概率密度 均匀分布 时连续信源熵具
信息论期末总结
信息论期末总结
● 消息中包含信息，消息是信息的载体。 信息：信息是对事物运动状态或存在方 式的不确定性的描述。 ● 通信的过程就是消除不确定性的过程。 ● 信息与概率的关系： ● 事件发生的概率越大，该事件包含的信息量 越小； ● 如果一个事件发生的概率为1，那么它包含 的信息量为0； ● 两个相互独立事件所提供的信息量应等于 它们各自提供的信息量之和。 ● 某个消息的不确定性（含有的信息量）可以表示为： ● 信源的平均不确定性： ● 信源发出的消息的统计特性 ? 离散信源、连续信源、波形信源 ? 有记忆信源和无记忆信源 1()log log ()() i i i I x p x p x ==-∑=-=q i i i x p x p X H 1)(log )()(
?平稳信源和非平稳信源 ●编码器的功能：将消息变成适合信道传输的 信号 ●编码器包括：（1）信源编码器（2）信道编 码器（3）调制器 ●信源编码器：去除信源消息中的冗余度，提 高传输的有效性 ●信道编码器：将信源编码后的符号加上冗余 符号，提高传输的可靠性。 ●调制器： 功能：将信道编码后的符号变成适合信道传输的信号 目的：提高传输效率 ●信道的统计特性 无噪声信道、有噪声信道 离散信道、连续信道、波形信道 有记忆信道和无记忆信道 恒参信道（平稳信道）和随参信道（非平稳信道）单用户信道和多用户信道 ●信道传输信息的最高速率：信道容量 ●译码器的功能：从接收到的信号中恢复消 息。
包括：（1）解调器（2）信道译码器（3）信源译 码器 ● 提高有效性： （数据压缩） 信源编码：无失真信源编码和限失真信源编码 ● 提高可靠性： （可靠传输） 信道编码 ● 香农第一定理： 如果编码后的信源序列的 编码信息率不小于信源的熵，那么一定存在 一种无失真信源编码方法；否则，不存在这 样的一种无失真信源编码方法。 ● 香农第二定理：如果信道的信息传输 率小于信道容量，那么总可以找到一种编码 方式，使得当编码序列足够长时传输差错任 意小；否则，不存在使差错任意小的信道编 码方式。 ● 香农第三定理：对于任意的失真 度 ，只要码字足够长，那么总可以找 到一种编码方法，使编码后的编码信息 率 ，而码的平均失真 度 。 ● 公理性条件： (1) 如果p (x 1) < p (x 2)，则I (x 1) > I (x 2)， I (xi )0D ≥()R D ≥d D ≤
信息论与编码理论课后习题答案高等教育出版社
信息论与编码理论习题解 第二章-信息量和熵 解: 平均每个符号长为:154 4.0312.032= ?+?秒 每个符号的熵为9183.03log 3 1 23log 32=?+?比特/符号 所以信息速率为444.34 15 9183.0=?比特/秒 解: 同步信号均相同不含信息,其余认为等概, 每个码字的信息量为 3*2=6 比特； 所以信息速率为600010006=?比特/秒 解:(a)一对骰子总点数为7的概率是 36 6 所以得到的信息量为 585.2)366(log 2= 比特 (b) 一对骰子总点数为12的概率是36 1 所以得到的信息量为 17.536 1 log 2= 比特 解: (a)任一特定排列的概率为 ! 521 ,所以给出的信息量为 58.225! 521 log 2 =- 比特 (b) 从中任取13张牌,所给出的点数都不相同的概率为 1352 13 13 521344!13C A =? 所以得到的信息量为 21.134 log 1313 52 2=C 比特. 解:易证每次出现i 点的概率为 21 i ,所以
比特比特比特比特比特比特比特398.221 log 21)(807.1)6(070.2)5(392.2)4(807.2)3(392.3)2(392.4)1(6,5,4,3,2,1,21 log )(26 12=-==============-==∑ =i i X H x I x I x I x I x I x I i i i x I i 解: 可能有的排列总数为 27720! 5!4!3! 12= 没有两棵梧桐树相邻的排列数可如下图求得， Y X Y X Y X Y X Y X Y X Y X Y 图中X 表示白杨或白桦，它有???? ??37种排法，Y 表示梧桐树可以栽 种的位置，它有???? ??58种排法，所以共有???? ??58*???? ??37=1960种排法保证没有 两棵梧桐树相邻，因此若告诉你没有两棵梧桐树相邻时，得到关于树排列的信息为1960log 27720log 22-= 比特 解: X=0表示未录取，X=1表示录取； Y=0表示本市，Y=1表示外地； Z=0表示学过英语，Z=1表示未学过英语，由此得
信息论与编码期中试卷及答案
信息论与编码期中试题答案 一、（10’）填空题 （1）1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。 （2）必然事件的自信息是0 。 （3）离散平稳无记忆信源X的N次扩展信源的熵等于离散信源X的熵的N倍。 （4）对于离散无记忆信源，当信源熵有最大值时，满足条件为__信源符号等概分布_。 （5）若一离散无记忆信源的信源熵H（X）等于2.5，对信源进行等长的无失真二进制编码，则编码长度至少为 3 。 二、（10?）判断题 （1）信息就是一种消息。（? ） （2）信息论研究的主要问题是在通信系统设计中如何实现信息传输、存储和处理的有效性和可靠性。（? ） （3）概率大的事件自信息量大。（? ） （4）互信息量可正、可负亦可为零。（? ） （5）信源剩余度用来衡量信源的相关性程度，信源剩余度大说明信源符号间的依赖关系较小。 （? ） （6）对于固定的信源分布，平均互信息量是信道传递概率的下凸函数。（? ） （7）非奇异码一定是唯一可译码，唯一可译码不一定是非奇异码。（? ） （8）信源变长编码的核心问题是寻找紧致码（或最佳码）。 （? ） （9）信息率失真函数R(D)是关于平均失真度D的上凸函数. ( ? ) 三、（10?）居住在某地区的女孩中有25%是大学生，在女大学生中有75%是身高1.6米以上的，而女孩中身高1.6米以上的占总数的一半。 假如我们得知“身高1.6米以上的某女孩是大学生”的消息，问获得多少信息量？ 解：设A表示“大学生”这一事件，B表示“身高1.60以上”这一事件，则 P(A)=0.25 p(B)=0.5 p(B|A)=0.75 （5分） 故p(A|B)=p(AB)/p(B)=p(A)p(B|A)/p(B)=0.75*0.25/0.5=0.375 （4分） I(A|B)=-log0.375=1.42bit （1分）
信息论与编码课后答案
一个马尔可夫信源有3个符号{}1,23,u u u ，转移概率为：()11|1/2p u u =，()21|1/2p u u =， ()31|0p u u =，()12|1/3p u u =，()22|0p u u =，()32|2/3p u u =，()13|1/3p u u =，()23|2/3p u u =，()33|0p u u =，画出状态图并求出各符号稳态概率。 解：状态图如下 状态转移矩阵为： 1/21/2 01/302/31/32/30p ?? ?= ? ??? 设状态u 1，u 2，u 3稳定后的概率分别为W 1，W 2、W 3 由1231WP W W W W =??++=?得1231132231231 112331223 231W W W W W W W W W W W W ?++=???+=???=???++=? 计算可得1231025925625W W W ?=??? =?? ?=?? 由符号集{0，1}组成的二阶马尔可夫链，其转移概率为：(0|00)p =，(0|11)p =，(1|00)p =， (1|11)p =，(0|01)p =，(0|10)p =，(1|01)p =，(1|10)p =。画出状态图，并计算各状态 的稳态概率。 解：(0|00)(00|00)0.8p p == (0|01)(10|01)0.5p p == (0|11)(10|11)0.2p p == (0|10)(00|10)0.5p p == (1|00)(01|00)0.2p p == (1|01)(11|01)0.5p p == (1|11)(11|11)0.8p p == (1|10)(01|10)0.5p p ==
信息论与编码理论习题答案
第二章 信息量和熵 2.2 八元编码系统，码长为3，第一个符号用于同步，每秒1000个码字，求它的 信息速率。 解：同步信息均相同，不含信息，因此 每个码字的信息量为 2?8log =2?3=6 bit 因此，信息速率为 6?1000=6000 bit/s 2.3 掷一对无偏骰子，告诉你得到的总的点数为：(a) 7; (b) 12。问各得到多少信 息量。 解：(1) 可能的组合为 {1，6},{2，5},{3，4},{4，3},{5，2},{6，1} )(a p =366=6 1 得到的信息量 =) (1 log a p =6log =2.585 bit (2) 可能的唯一，为 {6，6} )(b p =361 得到的信息量=) (1 log b p =36log =5.17 bit 2.4 经过充分洗牌后的一副扑克（52张），问： (a) 任何一种特定的排列所给出的信息量是多少？ (b) 若从中抽取13张牌，所给出的点数都不相同时得到多少信息量？ 解：(a) )(a p =! 521 信息量=) (1 log a p =!52log =225.58 bit (b) ???????花色任选 种点数任意排列 13413!13 )(b p =13 52134!13A ?=1352 13 4C 信息量=1313 52 4log log -C =13.208 bit
2.9 随机掷3颗骰子，X 表示第一颗骰子的结果，Y 表示第一和第二颗骰子的 点数之和，Z 表示3颗骰子的点数之和，试求)|(Y Z H 、)|(Y X H 、 ),|(Y X Z H 、)|,(Y Z X H 、)|(X Z H 。 解：令第一第二第三颗骰子的结果分别为321,,x x x ，1x ，2x ，3x 相互独立， 则1x X =，21x x Y +=，321x x x Z ++= )|(Y Z H =)(3x H =log 6=2.585 bit )|(X Z H =)(32x x H +=)(Y H =2?( 361log 36+362log 18+363log 12+364log 9+365log 536)+36 6 log 6 =3.2744 bit )|(Y X H =)(X H -);(Y X I =)(X H -[)(Y H -)|(X Y H ] 而)|(X Y H =)(X H ，所以)|(Y X H = 2)(X H -)(Y H =1.8955 bit 或)|(Y X H =)(XY H -)(Y H =)(X H +)|(X Y H -)(Y H 而)|(X Y H =)(X H ，所以)|(Y X H =2)(X H -)(Y H =1.8955 bit ),|(Y X Z H =)|(Y Z H =)(X H =2.585 bit )|,(Y Z X H =)|(Y X H +)|(XY Z H =1.8955+2.585=4.4805 bit 2.10 设一个系统传送10个数字，0，1，…，9。奇数在传送过程中以0.5的概 率错成另外一个奇数，其余正确接收，求收到一个数字平均得到的信息量。 解： 8,6,4,2,0=i √ );(Y X I =)(Y H -)|(X Y H 因为输入等概，由信道条件可知，
信息论与编码试题集与答案
一填空题（本题20分，每小题2分） 1、平均自信息为 表示信源的平均不确定度，也表示平均每个信源消息所提供的信息量。 平均互信息 表示从Y获得的关于每个X的平均信息量，也表示发X前后Y的平均不确定性减少的量，还表示通信前后整个系统不确定性减少的量。 2、最大离散熵定理为：离散无记忆信源，等概率分布时熵最大。 3、最大熵值为。 4、通信系统模型如下： 5、香农公式为为保证足够大的信道容量，可采用（1）用频带换信噪比；（2）用信噪比换频带。 6、只要，当N足够长时，一定存在一种无失真编码。 7、当R＜C时，只要码长足够长，一定能找到一种编码方法和译码规则，使译码错误概率无穷小。 8、在认识论层次上研究信息的时候，必须同时考虑到形式、含义和效用三个方面的因素。 9、1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。 按照信息的性质，可以把信息分成语法信息、语义信息和语用信息。 按照信息的地位，可以把信息分成客观信息和主观信息。 人们研究信息论的目的是为了高效、可靠、安全地交换和利用各种各样的信息。 信息的可度量性是建立信息论的基础。 统计度量是信息度量最常用的方法。 熵是香农信息论最基本最重要的概念。 事物的不确定度是用时间统计发生概率的对数来描述的。 10、单符号离散信源一般用随机变量描述，而多符号离散信源一般用随机矢量描述。 11、一个随机事件发生某一结果后所带来的信息量称为自信息量，定义为其发生概率对数的负值。 12、自信息量的单位一般有比特、奈特和哈特。 13、必然事件的自信息是 0 。 14、不可能事件的自信息量是∞。 15、两个相互独立的随机变量的联合自信息量等于两个自信息量之和。 16、数据处理定理：当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量趋于变小。 17、离散平稳无记忆信源X的N次扩展信源的熵等于离散信源X的熵的 N倍。 18、离散平稳有记忆信源的极限熵，。 19、对于n元m阶马尔可夫信源，其状态空间共有 nm 个不同的状态。 20、一维连续随即变量X在[a，b]区间内均匀分布时，其信源熵为 log2（b-a）。
信息论与编码(第二版)曹雪虹(最全版本)答案
《信息论与编码（第二版）》曹雪虹答案 第二章 2.1一个马尔可夫信源有3个符号{}1,23,u u u ，转移概率为：()11|1/2p u u =，()21|1/2p u u =， ()31|0p u u =，()12|1/3p u u =，()22|0p u u =，()32|2/3p u u =，()13|1/3p u u =，()23|2/3p u u =，()33|0p u u =，画出状态图并求出各符号稳态概率。 解：状态图如下 状态转移矩阵为： 1/21/2 01/302/31/32/30p ?? ?= ? ??? 设状态u 1，u 2，u 3稳定后的概率分别为W 1，W 2、W 3 由1231WP W W W W =??++=?得1231132231231 112331223231W W W W W W W W W W W W ?++=???+=???=???++=? 计算可得1231025925625W W W ?=??? =? ? ?=?? 2.2 由符号集{0，1}组成的二阶马尔可夫链，其转移概率为：(0|00)p =0.8，(0|11)p =0.2， (1|00)p =0.2，(1|11)p =0.8，(0|01)p =0.5，(0|10)p =0.5，(1|01)p =0.5，(1|10)p =0.5。画出 状态图，并计算各状态的稳态概率。 解：(0|00)(00|00)0.8p p == (0|01)(10|01)0.5p p == (0|11)(10|11)0.2p p == (0|10)(00|10)0.5p p == (1|00)(01|00)0.2p p == (1|01)(11|01)0.5p p == (1|11)(11|11)0.8p p == (1|10)(01|10)0.5p p ==
信息论与编码总结
信息论与编码 1. 通信系统模型 信源—信源编码—加密—信道编码—信道—信道解码—解密—信源解码—信宿 | | | （加密密钥） 干扰源、窃听者 （解密秘钥） 信源：向通信系统提供消息的人或机器 信宿：接受消息的人或机器 信道：传递消息的通道，也是传送物理信号的设施 干扰源：整个系统中各个干扰的集中反映，表示消息在信道中传输受干扰情况 信源编码： 编码器：把信源发出的消息变换成代码组，同时压缩信源的冗余度，提高通信的有效性 （代码组 = 基带信号；无失真用于离散信源，限失真用于连续信源） 译码器：把信道译码器输出的代码组变换成信宿所需要的消息形式 基本途径：一是使各个符号尽可能互相独立，即解除相关性；二是使各个符号出现的概率尽可能相等，即概率均匀化 信道编码： 编码器：在信源编码器输出的代码组上增加监督码元，使之具有纠错或检错的能力，提高通信的可靠性 译码器：将落在纠检错范围内的错传码元检出或纠正 基本途径：增大码率或频带，即增大所需的信道容量 2. 自信息：()log ()X i i I x P x =-，或()log ()I x P x =- 表示随机事件的不确定度，或随机事件发生后给予观察者的信息量。 条件自信息：//(/)log (/)X Y i j X Y i j I x y P x y =- 联合自信息：(,)log ()XY i j XY i j I x y P x y =- 3. 互信息：;(/) () (;)log log ()()()i j i j X Y i j i i j P x y P x y I x y P x P x P y == 信源的先验概率与信宿收到符号消息后计算信源各消息的后验概率的比值，表示由事件y 发生所得到的关于事件x 的信息量。 4. 信息熵：()()log ()i i i H X p x p x =-∑ 表示信源的平均不确定度，或信源输出的每个信源符号提供的平均信息量，或解除信源不确定度所需的信息量。 条件熵：,(/)()log (/)i j i j i j H X Y P x y P x y =- ∑ 联合熵：,()()log ()i j i j i j H XY P x y P x y =-∑ 5. 平均互信息：,()(;)()log ()() i j i j i j i j p x y I X Y p x y p x p y =∑
信息论与编码理论习题答案全解
信息论与编码理论习题答案全解
第二章 信息量和熵 2.2 八元编码系统，码长为3，第一个符号用于同步，每秒1000个码字，求它的 信息速率。 解：同步信息均相同，不含信息，因此 每个码字的信息量为 2?8log =2?3=6 bit 因此，信息速率为 6?1000=6000 bit/s 2.3 掷一对无偏骰子，告诉你得到的总的点数为：(a) 7; (b) 12。问各得到多少 信息量。 解：(1) 可能的组合为 {1，6},{2，5},{3，4},{4，3},{5，2},{6，1} )(a p =366=6 1 得到的信息量 =) (1 log a p =6log =2.585 bit (2) 可能的唯一，为 {6，6} )(b p =361 得到的信息量=) (1 log b p =36log =5.17 bit 2.4 经过充分洗牌后的一副扑克（52张），问： (a) 任何一种特定的排列所给出的信息量是多少？ (b) 若从中抽取13张牌，所给出的点数都不相同时得到多少信息量？ 解：(a) )(a p =! 521 信息量=) (1 log a p =!52log =225.58 bit (b) ???????花色任选 种点数任意排列 13413!13 )(b p =13 52134!13A ?=1352 13 4C 信息量=1313 52 4log log -C =13.208 bit
2.9 随机掷3颗骰子，X 表示第一颗骰子的结果，Y 表示第一和第二颗骰子的 点数之和，Z 表示3颗骰子的点数之和，试求)|(Y Z H 、)|(Y X H 、 ),|(Y X Z H 、)|,(Y Z X H 、)|(X Z H 。 解：令第一第二第三颗骰子的结果分别为321,,x x x ，1x ，2x ，3x 相互独立， 则1x X =，21x x Y +=，321x x x Z ++= )|(Y Z H =)(3x H =log 6=2.585 bit )|(X Z H =)(32x x H +=)(Y H =2?( 361log 36+362log 18+363log 12+364log 9+365log 536)+36 6 log 6 =3.2744 bit )|(Y X H =)(X H -);(Y X I =)(X H -[)(Y H -)|(X Y H ] 而)|(X Y H =)(X H ，所以)|(Y X H = 2)(X H -)(Y H =1.8955 bit 或)|(Y X H =)(XY H -)(Y H =)(X H +)|(X Y H -)(Y H 而)|(X Y H =)(X H ，所以)|(Y X H =2)(X H -)(Y H =1.8955 bit ),|(Y X Z H =)|(Y Z H =)(X H =2.585 bit )|,(Y Z X H =)|(Y X H +)|(XY Z H =1.8955+2.585=4.4805 bit 2.10 设一个系统传送10个数字，0，1，…，9。奇数在传送过程中以0.5的概 率错成另外一个奇数，其余正确接收，求收到一个数字平均得到的信息量。 解： 信道 X Y 9,7,5,3,1=i 8,6,4,2,0=i √Χ );(Y X I =)(Y H -)|(X Y H 因为输入等概，由信道条件可知，
信息理论与编码期末试卷A及答案
一、填空题（每空1分，共35分） 1、1948年，美国数学家 发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。信息论的基础理论是 ，它属于狭义信息论。 2、信号是 的载体，消息是 的载体。 3、某信源有五种符号}{,,,,a b c d e ，先验概率分别为5.0=a P ，25.0=b P ，125.0=c P ，0625.0==e d P P ，则符号“a ”的自信息量为 bit ，此信源的熵为 bit/符号。 4、某离散无记忆信源X ，其概率空间和重量空间分别为1 234 0.50.250.1250.125X x x x x P ????=??? ?????和1234 0.5122X x x x x w ???? =??????? ? ，则其信源熵和加权熵分别为 和 。 5、信源的剩余度主要来自两个方面，一是 ，二是 。 6、平均互信息量与信息熵、联合熵的关系是 。 7、信道的输出仅与信道当前输入有关，而与过去输入无关的信道称为 信道。 8、马尔可夫信源需要满足两个条件：一、 ； 二、 。 9、若某信道矩阵为????? ????? ??01000 1 000001 100，则该信道的信道容量C=__________。 10、根据是否允许失真，信源编码可分为 和 。 11、信源编码的概率匹配原则是：概率大的信源符号用 ，概率小的信源符号用 。（填 短码或长码） 12、在现代通信系统中，信源编码主要用于解决信息传输中的 性，信道编码主要用于解决信息传输中的 性，保密密编码主要用于解决信息传输中的安全性。 13、差错控制的基本方式大致可以分为 、 和混合纠错。 14、某线性分组码的最小汉明距dmin=4，则该码最多能检测出 个随机错，最多能纠正 个随机错。 15、码字101111101、011111101、100111001之间的最小汉明距离为 。 16、对于密码系统安全性的评价，通常分为 和 两种标准。 17、单密钥体制是指 。 18、现代数据加密体制主要分为 和 两种体制。 19、评价密码体制安全性有不同的途径，包括无条件安全性、 和 。 20、时间戳根据产生方式的不同分为两类：即 和 。 二、选择题（每小题1分，共10分） 1、下列不属于消息的是（ ）。 A. 文字 B. 信号 C. 图像 D. 语言 2、设有一个无记忆信源发出符号A 和B ，已知4341)(,)(==B p A p ，发出二重符号序列消息的信源， 无记忆信源熵)(2X H 为（ ）。 A. 0.81bit/二重符号 B. 1.62bit/二重符号 C. 0.93 bit/二重符号 D . 1.86 bit/二重符号 3、 同时扔两个正常的骰子，即各面呈现的概率都是1/6，若点数之和为12，则得到的自信息为（ ）。 A. －log36bit B. log36bit C. －log (11/36)bit D. log (11/36)bit 4、 二进制通信系统使用符号0和1，由于存在失真，传输时会产生误码，用符号表示下列事件，x0: 发出一个0 、 x1: 发出一个1、 y0 : 收到一个0、 y1: 收到一个1 ，则已知收到的符号，被告知发出的符号能得到的信息量是（ ）。 A. H(X/Y) B. H(Y/X) C. H( X, Y) D. H(XY) 5、一个随即变量x 的概率密度函数P(x)= x /2，V 20≤≤x ，则信源的相对熵为（ ）。 A . 0.5bit B. 0.72bit C. 1bit D. 1.44bit 6、 下面哪一项不属于熵的性质： （ ） A ．非负性 B ．完备性 C ．对称性 D ．确定性 信息论与编码 信息论与编码
(完整版)信息论与编码概念总结
第一章 1.通信系统的基本模型: 2.信息论研究内容：信源熵，信道容量，信息率失真函数，信源编码，信道编码，密码体制的安全性测度等等 第二章 １.自信息量：一个随机事件发生某一结果所带的信息量。 ２.平均互信息量：两个离散随机事件集合X 和Y ，若其任意两件的互信息量为 I （Xi;Yj ），则其联合概率加权的统计平均值，称为两集合的平均互信息量，用I （X;Y ）表示 ３.熵功率：与一个连续信源具有相同熵的高斯信源的平均功率定义为熵功率。如果熵功率等于信源平均功率，表示信源没有剩余；熵功率和信源的平均功率相差越大，说明信源的剩余越大。所以信源平均功率和熵功率之差称为连续信源的剩余度。信源熵的相对率(信源效率)：实际熵与最大熵的比值 信源冗余度： 0H H ∞=ηη ζ-=1
意义：针对最大熵而言，无用信息在其中所占的比例。 ３.极限熵： 平均符号熵的N 取极限值，即原始信源不断发符号，符号间的统计关系延伸到无穷。 ４. ５.离散信源和连续信源的最大熵定理。 离散无记忆信源，等概率分布时熵最大。 连续信源，峰值功率受限时，均匀分布的熵最大。 平均功率受限时，高斯分布的熵最大。 均值受限时，指数分布的熵最大 ６.限平均功率的连续信源的最大熵功率： 称为平均符号熵。 定义：即无记忆有记忆N X H H X H N X H X NH X H X H X H N N N N N N )() ()()()()()(=≤∴≤≤
若一个连续信源输出信号的平均功率被限定为p ，则其输出信号幅度的概率密度分布是高斯分布时，信源有最大的熵，其值为 1log 22 ep π.对于N 维连续平稳信源来说，若其输出的N 维随机序列的协方差矩阵C 被限定，则N 维随机矢量为正态分布时信源 的熵最大，也就是N 维高斯信源的熵最大，其值为1log ||log 222N C e π+ 7.离散信源的无失真定长编码定理： 离散信源无失真编码的基本原理 原理图 说明： （1） 信源发出的消息：是多符号离散信源消息，长度为L,可以用L 次扩展信 源表示为： X L =(X 1X 2……X L ) 其中，每一位X i 都取自同一个原始信源符号集合（n 种符号）： X={x 1，x 2，…x n } 则最多可以对应n L 条消息。 （2）信源编码后，编成的码序列长度为k,可以用k 次扩展信宿符号表示为： Y k =(Y 1Y 2……Y k ) 称为码字/码组 其中，每一位Y i 都取自同一个原始信宿符号集合： Y={y 1，y 2，…y m } 又叫信道基本符号集合（称为码元，且是m 进制的） 则最多可编成m k 个码序列，对应m k 条消息 定长编码：信源消息编成的码字长度k 是固定的。对应的编码定理称为定长信源编码定理。 变长编码：信源消息编成的码字长度k 是可变的。 8.离散信源的最佳变长编码定理 最佳变长编码定理：若信源有n 条消息，第i 条消息出现的概率为p i ，且 p 1>=p 2>=…>=p n ，且第i 条消息对应的码长为k i ，并有k 1<=k 2<=…<=k n