第二章信源信息熵
第二章信源与信息熵
主要内容：（1）信源的描述与分类；（2）离散信源熵和互信息；（3）离散序列信源的熵；（4）连续信源的熵和互信息；（5）冗余度。
重点：离散/连续信源熵和互信息。
难点：离散序列有记忆信源熵。
说明：本章内容主要针对信源，但是很多基本概念却是整个信息论的基础，所以安排了较多课时。由于求熵涉及一些概率论的基础知识，考虑到大四的同学可能对这部分知识已经遗忘，故适当复习部分概率论知识。较难的 2.1.2节马尔可夫信源部分放置在本章最后讲，便于同学理解。本章概念和定理较多，比较抽象，课堂教学时考虑多讲述一些例题，通过例题来巩固概念和消化定理。
作业：
2．1—2．7，2．10，2．12。
课时分配：10课时。
板书及讲解要点：
在信息论中，信源是发出消息的源，信源输出以符号形式出现的具体消息。如果符号是确定的而且预先是知道的，那么该消息就无信息而言。只有当符号的出现是随机的，预先无法确定，一旦出现某个符合就给观察者提供了信息。因此应该用随机变量或随机矢量来表示信源，运用概率论和随机过程的理论来研究信息，这就是香农信息论的基本点。
2．1 信源的描述与分类
在通信系统中收信者在未收到消息以前对信源发出什么消息是不确定的，是随机的，所以可用随机变量、随机序列或随机过程来描述信源输出的消息，或者说用一个样本空间及其概率测度——概率空间来描述信源。
信源：产生随机变量、随机序列和随机过程的源。
信源的基本特性：具有随机不确定性。
信源的分类
离散信源：文字、数据、电报——随机序列
连续信源：话音、图像——随机过程
离散信源：输出在时间和幅度上都是离散分布的消息。
消息数是有限的或可数的，且每次只输出其中一个消息，即两两不相容。
发出单个符号的无记忆信源
离散无记忆信源： 发出符号序列的无记忆信源
离散信源
离散有记忆信源： 发出符号序列的有记忆信源 发出符号序列的马尔可夫信源
概率论基础：
无条件概率，条件概率和联合概率的性质和关系： （1） 非负性
0()()(/)(/)()1i j j i i j i j p x p y p y x p x y p x y ≤≤，，，， （2） 完备性
111
1
11
()1,()1,(/)1,
(/)1,()1
n m n
i
j
i
j
i j i m
m n
j
i i j j j i p x p y p x y p y
x p x y ===========∑∑∑∑∑∑
1
1
()(),()()n m
i
j
j
i
j
i
i j p x y p y p x y p x ====∑∑
（3） 联合概率
()()(/)()(/)()()()(/)()(/)()
i j i j i j i j i j i j j i j i j i p x y p x p y x p y p x y X Y p x y p x p y p y x p y p x y p x =====当与相互独立时，，
（4） 贝叶斯公式
1
1
()
()
(/)(/)()
()
i j i j i j j i n
m
i
j
i
j
i j p x y p x y p x y p y x p x y p x y ===
=
∑∑，
2.1.1 无记忆信源：
例如扔骰子，每次试验结果必然是1～6点中的某一个面朝上。可以用一个离散型随机变量X 来描述这个信源输出的消息。
?????
?=??????6/1,6/1,6/1,6/1,6/1,6/1,,,,,)(654321x x x x x x x p X 并满足
1)(6
1
=∑=i i
x P
在实际情况中，存在着很多这样的信源、例如投硬币、书信文字、计算机的代码、电报符号、阿拉伯数字码等等。这些信源输出的都是单个符号（或代码）的消息，它们符号集的取值是有限的或可数的。
我们可用一维离散型随机变量X 来描述这些信息的输出。这样的信息称为离散信源。
其数学模型就是离散型的概率空间：
??
??
??=??????)()()()(11n i n i x p x p x p x x x x p X ΛΛΛΛ
， 0≤p (x i )≤1 1)(1
=∑=n
i i
x p
p(x i )：信源输出符号x i （i =1，2，…，n ）的先验概率。
当信源给定，其相应的概率空间就已给定；反之，如果概率空间给定，这就表示相应的信源已给定。所以概率空间能表征这离散信源的统计特性。
上式表示信源可能的消息（符号）数是有限的，只有n 个：x 1 ,x 2 ,… ，x n ，而且每次必定选取其中一个消息输出，满足完备集条件。这是最基本的离散信源。
有的信源输出的消息也是单个符号，但消息的数量是无限的，如符号集A 的取值是介于a 和b 之间的连续值，或者取值为实数集R 等。
连续信源：输出在时间和幅度上都是连续分布的消息。
消息数是无限的或不可数的，且每次只输出其中一个消息。
我们可用一维的连续型随机变量X 来描述这些消息。其数学模型是连续型的概率空间
()
?????
?
=??????)(,x p b a P X X 或??
????)(x p R X ， 并满足 ?
=b
a
dx x p 1)(。
p(x)是随机变量X 的概率密度函数。
例如：随机取一干电池，测电压值作为输出符号,该信源每次输出一个符号,但符号的取值是在[0，1.5]之间的所有实数,每次测量值是随机的,可用连续型随机变最X 来描述。
在有些情况下，可将符号的连续幅度进行量化使其取值转换成有限的或可数
的离散值．也就是把连续信源转换成离散信源来处理。
很多实际信源输出的消息是由一系列符号组成，这种用每次发出1组含2个以上符号的符号序列来代表一个消息的信源叫做发出符号序列的信源。需要用随机序列(随机矢量) X =（X 1X 2…X l …X L ）来描述信源输出的消息，用联合概率分布来表示信源特件。
例如扔骰子：
?
?
?
???=??????6/16/16/16/16/16/1101100011010001000)(x p X 符号序列信源是L 为3的情况，此时信源X =(X 1X 2X 3)，X l 取={0,1} 离散随机序列X 的样值x 可表示为 x = (x 1…x 1…x L )
x ∈ n L = n ×n ×…×n （共L 个），即每个随机变量取值有n 种，那么L 个随机变量组成的随机序列，其样值共有n L 种可能取值。
有时将这种由信源X 输出的L 长随机序列X 所描述的信源叫做离散无记忆信源X 的L 次扩展信源。
其对应的概率为：
)
|()|()|()()|()|()|()()
()(11213121111231211--===L L l L L l x x p x x p x x p x p x x x p x x x p x x p x p x x x p x p ΛΛΛΛΛ 当信源无记忆时： p (x ) = p (x 1x 2…x L )
= p (x 1) p (x 2)…p (x L ) =∏=L
l l x p 1)(
扩展信源也满足完备性
1)(1
==∑=nL
i i
x X p
2.1.2有记忆信源
一般情况下,信源在不同时刻发出的符号之间是相互依赖的，
也就是信源输出
的平稳随机序列X 中，各随机变量X l 之间是有依赖的。如在汉字序列中前后文字的出现是有依赖的，不能认为是彼此不相关的。
例如布袋中有100个球，80个红球，20个白球。先取出一个球，记下颜色后不放回布袋，接着取另一个。而在取第二个球时布袋中的红球、白球概率已与取第一个球时不同，此时的概率分布与第1个球的颜色有关：
若第1个球为红色，则取第二个球时的概率p (a 1)=0.79，p (a 2)=0.2 若第1个球为白色，则取第二个球时的概率p (a 1)=0.8，p (a 2)=0.19
即组成消息的两个球的颜色之间有关联件,是有记忆的信源，这种信源就叫做发出符号序列的有记忆信原。例如由英文字母组成单词,字母间是有关联性的，不是任何字母的组合都能成为有意义的单词,同样不是任问单词的排列都能形成有意义的文章等。这些都是有记忆信源。
此时的联合概率表示比较复杂，需要引入条件概率来反映信源发出符号序列内各个符号之间的记忆特征
)
|()|()|()()
,,(1112312121x x x p x x x p x x p x p x x x p L L L ΛΛΛ-=
表述的复杂度将随着序列长度的增加而增加。
实际上信源发出的符号往往只与前若干个符号有较强的依赖关系，随着长度的增加依赖关系越来越弱，因此可以根据信源的特性和处理时的需要限制记忆的长度，使分析和处理简化。
在实际应用中还有一些信源输出的消息不仅在幅度上是连续的，在时间上或频率上也是连续的，即所谓的模拟信号。如话音信号、电视图像信号等都是时间连续、幅度连续的模拟信号。某一时刻的取值是随机的通常用随机过程{x(t)}来描述。为了与时间离散的连续信源相区别，有时也叫做随机波形信源。这种信源处理起来就更复杂了。
就统计特性而言，随机过程可分为平稳随机过程和非平稳随机过程两大类，最常见的平稳随机过程为遍历过程。
一般认为，通信系统中的信号都是平稳遍历的随机过程。
虽然受衰落现象干扰的无线电信号属于非平稳随机过程，但在正常通信条件下都近似地当作平稳随机过程来处理。因此一般用平稳遍历的随机过程来描述随机波形信源的输出。
对于确知的模拟信号可进行采样、量化，使其变换成时间和幅度都是离散的离散信号。
离散信源的统计特性：
①离散消息是从有限个符号组成的符号集中选择排列组成的随机序列（组成
离消息的信息源的符号个数是有限的）。
一篇汉文，尽管文章优美，词汇丰富，一般所用的词都是从常用 10 000个汉字里选出来的。一本英文书，不管它有多厚，总是从26个英文字母选出来，按一定词汇结构，文法关系排列起来的。
②在形成消息时，从符号集中选择各个符号的概率不同。
对大量的由不同符号组成的消息进行统计，结果发现符号集中的每一个符号都是按一定的概率在消息中出现的。例如在英文中，每一个英文字母都是按照一定概率出现的，符号“e”出现最多，“z”出现最少。
③组成消息的基本符号之间有一定的统计相关特性。
每一个基本符号在消息中，通常是按一定概率出现的。但在具体的条件下还应作具体的分析。如英文中出现字母h的概率约为 0.04305，这是指对大量文章统计后所得到的字母h出现的可能性；但是，h紧接在t后面的单词特别多，紧接在y后面的单词几乎没有。也就是说，在不同的具体条件下，同一个基本符号出现的概率是不同的。因此，做信源统计工作时，不仅需做每个独立的基本符号出现的概率，还须做前几个符号出现后下一个符号为某一基本符号的概率。
一般情况下，常常只考虑在前一个符号出现的条件下，下一个符号为某一基本符号的概率。
2.1.2 马尔可夫信源（马氏链）
我们讨论一类相对简单的离散平稳信源，该信源在某一时刻发出字母的概率除与该字母有关外，只与此前发出的有限个字母有关。若把这有限个字母记作一个状态S，则信源发出某一字母的概率除与该字母有关外，只与该时刻信源所处的状态有关。在这种情况下，信源将来的状态及其送出的字母将只与信源现在的状态有关，而与信源过去的状态无关。
这种信源的一般数学模型就是马尔可夫过程，所以称这种信源为马尔可夫信源。
1、马氏链的基本概念
m阶马尔可夫信源：信源输出某一符号的概率仅与以前的m个符号有关，而与更前面的符号无关。
p(x
|x t-1,x t-2, x t-3,…x t-m,…x1) = p(x t|x t-1,x t-2, x t-3,…x t-m)
t
???
???
??=??????+)|()(21121m i i i m i q x x x x p x x x x p X ΛΛ
令s i = (x i 1 x i 2 …x i m ) i 1,i 2…i m ∈(1,2, …q) 状态集S ={ s 1,s 2,…,s Q } Q = q m
信源输出的随机符号序列为：x 1,x 2,…x i -1, x i … 信源所处的随机状态序列为：s 1,s 2,…s i -1 ,s i ,…
例：二元序列为…01011100…
考虑m = 2，Q = q m =22= 4 s 1 = 00 s 2 = 01 s 3 = 10 s 4 = 11
变换成对应的状态序列为…s 2 s 3 s 2 s 4 s 4 s 3 s 1…
设信源在时刻m 处于s i 状态，它在下一时刻(m+1)状态转移到s j 的转移概率为：
p ij (m ) = p {S m+1=s j | S m = s i }={s j | s i }
p ij (m )：基本转移概率（一步转移概率）、
若p ij (m )与m 的取值无关，则称为齐次(时齐)马尔可夫链。
p ij = p {S m+1=s j | S m = s i }= p {S 2=s j | S 1= s i }
p ij 具有下列性质：
p ij ≥0
∑=j
ij
p
1
类似地，定义k 步转移概率为
p ij （k ）= p {S m+k =s j | S m = s i
}
由于系统在任一时刻可处于状态空间S ={ s 1,s 2,…,s Q }中的任意一个状态，因此状态转移时，转移概率是一个矩阵
????
????
?
?==QQ Q Q i j p p p p s s p P ΛM M
Λ1111)|( 也可将符号条件概率写成矩阵：
????
????
?
?==Qq Q q i j p p p p s x p P ΛM M
Λ
1111)|( 上两个矩阵，一般情况下是不同的。
齐次马尔可夫链可以用其状态转移图（香农线图）来表示，图是一个有着6个状态的齐次马尔可夫链。
齐次马尔可夫链中的状态可以根据其性质进行分类:
如状态s i 经若干步后总能到达状态s j ，即存在k ,使p ij (k )＞0，则称s i 可到达s j ; 若两个状态相互可到达,则称此二状态相通；
过渡态：一个状态经过若干步以后总能到达某一其他状态，但不能从其他状态返回,如图中的状态s 1；
吸收态：一个只能从自身返回到自身而不能到达其他任何状态的状态，如图中的状态s 6；
常返态：经有限步后迟早要返回的状态，如s 2、s 3、s 4和s 5；
周期性的：在常返态中，有些状态仅当k 能被某整数d ＞1整除时才有p ij (k )＞0，如图中的状态s 4和s 5，其周期为2；
非周期性的：对于p ij (k )＞0的所有k 值，其最大公约数为1。
遍历状态：非周期的、常返的状态,如图中的状态s 2和s 3。
闭集：状态空间中的某一子集中的任何一状态都不能到达子集以外的任何状态 不可约的：闭集中除自身全体外再没有其他闭集的闭集
一个不可约的、非周期的、状态有限的马尔可夫链其k 步转移概率p ij (k )
在k →∞时趋于一个和初始状态无关的极限概率p(s j )，它是满足方程组
()()()1j i ij
i
j
j i ij
j
i
p s p s p p s W W p ===∑∑∑，
亦既是
的唯一解；
p(s j )或Wj ：为马尔可夫链的一个平稳分布，
且p(s j )或Wj 就是系统此时处于状态s j 的概率。
d =1
{s 2s 3s 4s 5}{s 2s 3}{s 4s 5} {s 2s 3} {s 4s 5}
例题：
上图周期为2.因为从S 1出发再回到S 1所需的步数必为2，4，6，…，。
()()01/2
01/21/20
1/20()()01/201/21/201/20k
n k k ij p P P ?????
?==??
?
???
为： 当k 为奇数时：
()01/201/21/20
1/20()()()
01/201/21/20
1/20k k P P P ?????
?===??
?
???
当k 为偶数时：
()1/201/2001/2
01/2()()()
1/201/2001/2
01/2k k
P P P ?????
?==≠???
???
若起始状态为s 1，则经奇数步后，S k =s j 的概率为：
011/22031/2
4
j j j p j j =??=?=?
=??=?
经过偶数步后：
1/21021/231
4
j j j p j j =??=?=?
=??=?
所以虽然方程组i ij j i S
W p W ∈=∑是有解的，为1/4(1,2,3,4)j p j ==，但是达不到稳定状
态！为使马氏链最后稳定，成为遍历的马氏链，还必须有不可约性和非周期性。
2．2 离散信源熵和互信息
首先讨论离散信源。
提问：信息可否度量？信息量如何来量测？
2．2．1 自信息量
自信息量： 定义：一个随机事件的自信息量定义为其出现概率倒数的对数。即:
1
()log
log ()()
i i i I x p x p x ==- a) 因为概率()i p x 越小，i x 的出现就越稀罕，一旦出现，所获得的信息量也就较
大。由于i x 是随机出现的，它是X 的一个样值，所以是一个随机量。而()i I x 是
i x 的函数，它必须也是一个随机量。
b) 自信息量的单位的确定
?在信息论中常用的对数底是2，信息量的单位为比特（bit ：binary unit ）； ?若取自然对数，则信息量的单位为奈特（nat ： nature unit ）； ?若以10为对数底，则信息量的单位为哈特（det ：hartley ）。
221log 1.4331det log 10 3.322nat e bit bit
=≈=≈
c) 自信息量()i I x 的性质： i. ()i I x 是非负的；
ii. 当()i p x ＝1时，()i I x ＝0； iii. 当()i p x ＝0时，()i I x ＝∞；
iv. ()i I x 是()i p x 的单调递减函数，
即：若1()p x >2()p x ,1()I x <2()I x 。 v.
可加性
(,)(/)()
(,)()()
i j i j j i j i j I x y I x y I y I x y I x I y =+=+两者相互独立时，有
例题：
（1）一个以等概率出现的二进制码元（0，1）所包含的自信息量为：
(0)(1)I I 22＝＝-log (1/2)=log 2=1bit
（2）若是一个m 位的二进制数，因为该数的每一位可从0, 1两个数字中任取一个，因此有2m 个等概率的可能组合。所以I= -log 2(1/2m )=m bit ，就是需要m 比特的信息来指明这样的二进制数。
不确信度（不确定度）：
定义：随机事件的不确定度在数量上等于它的自信息量。
a .两者的单位相同，但含义却不相同。
b.具有某种概率分布的随机事件不管发生与否，都存在不确定度，不确定度表征了该事件的特性，而自信息量是在该事件发生后给予观察者的信息量。
c. 一个出现概率接近于1的随机事件，发生的可能性很大，所以它包含的不确定度就很小；反之，一个出现概率很小的随机事件，很难猜测在某个时刻它能否发生，所以它包含的不确定度就很大；
若是确定性事件，出现概率为1，则它包含的不确定度为0。
条件自信息
定义：在事件y j 出现的条件下，随机事件x i 发生的条件概率为(/)i j p x y ，则它的条件自信息量定义为条件概率对数的负值： (/)log (/)i j i j I x y p x y =-
注意：在给定y j 条件下，随机事件x i 所包含的不确定度在数值上与条件自信息量相同，但两者含义不同。 例2-2-2
一个布袋内放100个球，其中80个球是红色的，20个球是白色的，若随机摸取一个球，猜测其颜色，求平均摸取一次所能获得的自信息量。 解: 依据题意，这一随机事件的概率空间为
120.80.2x x X P ????=????????
其中：x 1表示摸出的球为红球事件，x 2表示摸出的球是白球事件。 a)如果摸出的是红球，则获得的信息量是
I （x 1）= -log 2p （x 1）= - log 20.8 bit b)如果摸出的是白球，则获得的信息量是
I （x 2）= -log 2p （x 2）= -log 20.2 bit
c) 如果每次摸出一个球后又放回袋中，再进行下一次摸取。则如此摸取n
次，红球出现的次数为np （x 1）次，白球出现的次数为np （x 2）次。随机摸取n 次后总共所获得信息量为
np （x 1）I （x 1）+np （x 2）I （x 2）
d)则平均随机摸取一次所获得的信息量为
H （X ）= 1/n[np （x 1）I （x 1）+np （x 2）I （x 2）]
= -[p （x 1）log 2p （x 1）+p （x 2）log 2p （x 2）] = 0.72比特/次
说明：
● 自信息量I （x 1）和I （x 2）只是表征信源中各个符号的不确定度，一个信源
总是包含着多个符号消息，各个符号消息又按概率空间的先验概率分布，因而各个符号的自信息量就不同。所以自信息量不能作为信源总体的信息量 ● 因为X 中各符号x i 的不确定度I （x i ）为非负值，p （x i ）也是非负值，且0 （x i ）>1，故信源的平均不确定度H （X ）也是非负量。 ● 平均不确定度H （X ）的定义公式与热力学中熵表示形式相同，所以又把H （X ） 称为信源X 的熵。熵是在平均意义上来表征信源的总体特性的，可以表征信源输出前，信源的平均不确定度。 离散信源熵(平均不确定度/平均信息量/平均自信息量) 定义：为信源中各个符号不确定度的数学期望，即 ()()()()log ()i i i i i i H X p x I x p x p x ==-∑∑ 单位为：比特/符号 或者 比特/符号序列. ? 信息熵H(X)是表示信源输出后，每个消息(或符号)所提供的平均信息量。 某一信源，不管它是否输出符号，只要这些符号具有某些概率特性，必有信源的熵值。 ? 信息量则只有当信源输出符号而被接收者收到后，才有意义，这就是给予接 收者的信息度量，这值本身也可以是随机量，也可以与接收者的情况有关。 ? 当某一符号x i 的概率()i p x 为零时，2log i i p p 在熵公式中无意义，为此规定这 时的2log i i p p 也为零。 当信源X 中只含一个符号X 时，必定有p(x)=1，此时信源熵H （X ）为零。 例 2－2－3 电视屏上约有 500 × 600= 3 × 105个格点，按每点有 10个不同的灰度等级考虑，则共能组成n=103x105个不同的画面。按等概率1/103x105计算，平均每个画面可提供的信息量为 5 310 221 5()()log ()log 103 10 3.32 bit/n i i i H X p x p x -?==-=-=??∑画面 ?有一篇千字文章，假定每字可从万字表中任选，则共有不同的千字文 N=100001000 =104000 篇,仍按等概率1/100001000计算，平均每篇千字文可提供的信息量为 H （X ）＝log 2N ＝4 × 103 × 3．32 ＝1．3 × 104 比特／千字文 可见：“一个电视画面”平均提供的信息量远远超过“一篇千字文”提供的信息量。 例2－2－4 ?设信源符号集X={x 1,x 2,x 3}，每个符号发生的概率分别为p （x 1）=1/2，p （x 2）＝l ／4，p （x 3）＝1／4。 则信源熵为 H （X ）=1/2log 22+1/4log 24+1/4log 24=1.5 比特/符号 例2－2－5 该信源X 输出符号只有两个，设为0和1。输出符号发生的概率分别为p 和q ，p ＋q=l 。即信源的概率空间为 01X P p q ????= ? ????? 则二元信源熵为 H(X)=-plogp-qlogq =-plogp-(1-p)log(1-p) =H(p) 从图中看出，如果二元信源的输出符号是确定的，即p=1或q=1，则该信源不提供任何信息。反之，当二元信源符号0和1以等概率发生时，信源熵达到极大值.等于1比特信息量。 条件熵 定义：在给定某个y j 条件下，x i 的条件自信息量为I(x i /y j )，X 集合的条件熵H （X/y j ）为 ,,(/)(/)(/) Y X H(X/Y)()(/)()(/)(/)()(/) j i j i j i j j j i j i j j i j i j i j i j H X y p x y I x y p y H X y p y p x y I x y p x y I x y ===∑∑∑∑在给定条件下，集合的条件熵为： H(X/Y)= 相应地，在给定X （即各个x i ）的条件下，Y 集合的条件熵H(Y/X)定义为: ,,(/)()(/)()log (/)i j j i i j j i i j i j H Y X p x y I y x p x y p y x ==-∑∑ 联合熵 定义：联合熵是联合符号集合 XY 上的每个元素对x i y j 的自信息量的概率加权统计平均值，表示X 和Y 同时发生的不确定度。 ,,()()()()log ()i j i j i j i j i j i j H XY p x y I x y p x y p x y ==-∑∑ 联合熵与条件熵有下列关系式： 1) H （XY ）＝H （X ）＋H （Y ／X ） 2) H （XY ）＝H （Y ）＋H （X ／Y ） 证明如下： 1） ()()(/) ()(/) i j i j i j i j p x y p x p y x p y p x y == ,()() () i j i i j i j j p x y p x p y ==∑∑ ∑ 所以： ,,,()()()()log () ()log ()(/) i j i j i j i j i j i j i j i j i i j H XY p x y I x y p x y p x y p x y p x p y x ==-=-∑∑∑ ,,,()log ()()log (/) ()log ()()log (/)()(/) i j i i j j i i j i j i i i j j i i i j p x y p x p x y p y x p x p x p x y p y x H X H Y X =--=--=+∑∑∑∑ 2）同理可证。 2．2．3 互信息 在下图中，信源发出某一符号x i (i=1,2,…,n)后，它提供多少信息量？ 在通信的一般情况下，收信者所获取的信息量，在数量上等于通信前后不确定性的消除(减少)的量。 用I(x i ; y j )表示收到y j 后，从y j 中获取关于x i 的信息量, I(x i ; y j )＝收到y j 前，收信者对x i 存在的不确定性(先验不定度) — 收到y j 后，收信者对x i 仍然存在的不确定性(后验不定度) ＝ 收信者收到y j 前、后，对x i 存在的不确定性的消除。 即 ＝()(/)i i j I x I x y - 定义： 互信息 (/)(;)log log (1,2,...,,1,...,)() i j i j i p x y I x y i n j m p x ====后验概率先验概率 所以有： (;)log ()log (/)))((/i j i i i j i j I x y p x p I x I x x y y -=-+= (/)()(;)log ()() ..............()()() i j j i j i i j j i j p x y p y I I x I y I x y x y p x p x ==+- 互信息的性质： ?对称性: (;)(;);i j j i I x y I y x = ((/)(/)log log ()()() () ()()j i j j i i j i j i p x y p y x p x p y p y p x p y p x =) ?当X 和Y 相互独立时，互信息为0 ()()(()()();())()[]i j i j j i j i j i I x y I x I I y I x I x y I x I y y +-=++-= ?互信息量可为正值或负值。 平均互信息I （X ；Y ） 1) 互信息量 I (x i ;y j ) 在X 集合上的统计平均值为 (/) (/)(;)(/)log ((;))j i j i j i j i j i i i p x y p x y I x y I X y p x y p x ==∑∑ 2)上述I （X;y j ）在Y 集合上的概率加权统计平均值: ,,(/)()log () (/)()(;)()(/)log () (;)i j i j i j i i j j j j i j j i j i p x y p x y p x p x y p y I X y p y p x y p x I X Y ===∑∑∑ 说明： a .在通信系统中，若发端的符号是X ，而收端的符号是Y ，I （X ；Y ）就是在 接收端收到Y 后所能获得的关于X 的信息。 b.若干扰很大，Y 基本上与X 无关，或说X 与Y 相互独立，那时就收不到任何关于X 的信息. c.若没有干扰，Y 是X 的确知一一对应函数，那就能完全收到X 的信息H （X ）。 平均互信息的性质： i.对称性：(;)(;)I X Y I Y X = ii.非负性：(;)0I X Y ≥ iii.极值性： (;)() (;)() I X Y H X I Y X H Y ≤≤ iv.凸函数性 （1）平均互信息量(;)I X Y 是输入信源概率分布()i p x 的上凸函数，这一点 研究信道容量的理论基础。 （2）平均互信量(;)I X Y 是信道转移概率p(y j /x i )的下凸函数，这一点是研究信源的信息率失真函数的理论基础。 平均互信息和联合熵间的关系 1) I （X ；Y ）= H （X ）一H （X ／Y ） 2) I （Y ；X ）= H （Y ）一H （Y ／X ） = I （X ；Y ） 3）I （X ；Y ）= H （X ）+H （Y ）-H （XY ） 证明：1）。 ,,,(/)(;)()(/)log () ()(/)log (/) ()log (/)()log () ()(/) i j j i j i j i j i j i j i j i j i j i i i j i p x y I X Y p y p x y p x p y p x y P x y p x y P x y p x P x H X H X Y ===-=-∑∑∑∑ 3).由H （XY ）＝H （Y ）＋H （X ／Y ）可得。 疑义度 信道上的干扰和噪声所造成的对信源符号X 的平均不确定度H （X ／Y ） ，表示在输出端收到全部输出符号Y 集后，对于输入端的符号集X 尚存在的不确定性(存在疑义)，故称为疑义度。 I （X ；Y ）是有扰离散信道上能传输的平均信息量，而H （X ／Y ）可以看作由于信道上存在干扰和噪声而损失掉的平均信息量。 噪声熵 条件熵H （Y ／X ）表示发出X 后，对Y 仍然存在的平均不确定度。主要是由于噪声的影响，可看唯一地确定信道噪声所需要的平均信息量，故又称噪声熵或散布度。 图2－5 收发两端的熵关系 两个特殊的信道: 全损离散信道： H （X ／Y ）=H （X ），I （X ；Y ）= 0 无扰离散信道： H （Y ／X ）＝0，I （X ；Y ）＝H （X ） 例题:2-8 P20 二进制信源X 发出符号集{0,1},经过离散无记忆信道传输，信道输出用Y 表示。由于噪声的存在，接收端除了收到0和1以外，还有不确定的符号，用“？”来表 示，如下图所示。已知X 的先验概念P(x=0)=2/3,P(x=1)=1/3, 符号转移概率为P(y=0/x=0)=3/4, P(y=?/x=0)=1/4, P(y=1/x=1)=1/2, P(y=?/x=1)=1/2, 其余为零。 解： 已知：1 01/32/3X P ????=???? ???? 要求：01Y P ???? =???? ????？ 直接求出： 1/3,2/3()()0.92/H X H bit ==符号 联合概率： (0/0)(0)1(0,0)/2P y x P y P x x ======= 同理可求： (0,?)1/6,(0,1)0, (1,0)0,(1,?)1/6,(1,1)1/6 P x y P x y P P P y ========== 则条件熵： 2 2 11 (/)(,)log (/)0.88/i j j i i j H Y X p x y p y x bit ===-=∑ ∑符号 联合熵： (,)()(/)0.18/H X Y H X H Y X bit =+=符号 另一方面： 0,0)(1,0)(0)1/2 P x y P x y P y ==+=====(0,1)(1,1)1/2,1(11/6/3,1/(?1/3()()0,?)( 1.47/61,?)x y P x y x y P P y P y H Y H bit x y ==+=========+===）＝）＝则可求： P(P(符号 后验概率可以求出： X 0 1 Y 0 ? 1 1/4 1/2 1/2 3/4 (0,0)1/2 (0/0)1 (0)1/2 (1/0)0 (0/1)0(0/?)1/2(1/1)1 (1/?)1/2 P x y P x y P y P x y P x y P x y P x y P x y ======================= 可以求出损失熵： 2 11 3 (/)(,)log (,)i j i j i j H X Y p x y p x y ===∑∑＝0.33bit/符号 同样可以求出联合熵： (,)()(/) 1.8/H X Y H Y H X Y bit =+=符号 多个变量得互信息 符号x i 与符号对y j z k 之间的互信息量定义为： (/,),log () (;)i j k i i j k p x y z p x I x y z = 定义：(;/)i j k I x y z 是在给定z k 条件下，x i 与y j 之间的条件互信息量 (/,)log (/) (;/)i j k i k i j k p x y z p x z I x y z = 则有：I （x i ;y j ,z k ）＝I （x i ; z k ）＋I （x i ;y j /z k ） 证明： (/) l (/)(;)log () (/)lo (/)log (/(/og (g ) ()(/)() (;/;))) i j k i j k i i j k i k i j k i i k i i k i k i i j k k p x z p x z p x z p x p x y z I x y z p x p x y z p x p x y z p x z I x I x y z z ===+=? + 说明：一个联合事件y j z k 出现后所提供的有关x i 的信息量I(x i ;y j,z k )等于z k 事件出现后提供的有关x i 的信息量I （x i ;z k ）,加上在给定z k 条件下再出现y j 事件后所提供的有关x i 的信息量 I （x i ;y j /z k ）。 同理，还有以下公式： (;)(;)(;/)i j k i j i k j I x y z I x y I x z y =+ (;)(;)i j k i k j I x y z I x z y =，， 三维联合集XYZ 上的平均互信息量： 第二章： 试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍 解： 四进制脉冲可以表示4个不同的消息，例如：{0, 1, 2, 3} 八进制脉冲可以表示8个不同的消息，例如：{0, 1, 2, 3, 4, 5, 6, 7} 二进制脉冲可以表示2个不同的消息，例如：{0, 1} 假设每个消息的发出都是等概率的，则： 四进制脉冲的平均信息量H(X 1) = log 2n = log 24 = 2 bit/symbol 八进制脉冲的平均信息量H(X 2) = log 2n = log 28 = 3 bit/symbol 二进制脉冲的平均信息量H(X 0) = log 2n = log 22 = 1 bit/symbol 《 所以： 四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的2倍和3倍。 居住某地区的女孩子有25%是大学生，在女大学生中有75%是身高160厘米以上的，而女孩子中身高160厘米以上的占总数的一半。假如我们得知“身高160厘米以上的某女孩是大学生”的消息，问获得多少信息量 解： 设随机变量X 代表女孩子学历 X x 1（是大学生） x 2（不是大学生） P(X) ( 设随机变量Y 代表女孩子身高 Y y 1（身高>160cm ） y 2（身高<160cm ） P(Y) " 已知：在女大学生中有75%是身高160厘米以上的 即：p(y 1/ x 1) = 求：身高160厘米以上的某女孩是大学生的信息量 即：bit y p x y p x p y x p y x I 415.15.075.025.0log )()/()(log )/(log )/(2111121111=??? ???-=? ? ????-=-= 一副充分洗乱了的牌（含52张牌），试问 (1) 任一特定排列所给出的信息量是多少 (2) 若从中抽取13张牌，所给出的点数都不相同能得到多少信息量 》 解： (1) 52张牌共有52！种排列方式，假设每种排列方式出现是等概率的则所给出的信息量是： bit x p x I i i 581.225!52log )(log )(2==-= (2) 52张牌共有4种花色、13种点数，抽取13张点数不同的牌的概率如下： · 1 · 2.1 试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍？ 解： 四进制脉冲可以表示4个不同的消息，例如：{0, 1, 2, 3} 八进制脉冲可以表示8个不同的消息，例如：{0, 1, 2, 3, 4, 5, 6, 7} 二进制脉冲可以表示2个不同的消息，例如：{0, 1} 假设每个消息的发出都是等概率的，则： 四进制脉冲的平均信息量H(X 1) = log 2n = log 24 = 2 bit/symbol 八进制脉冲的平均信息量H(X 2) = log 2n = log 28 = 3 bit/symbol 二进制脉冲的平均信息量H(X 0) = log 2n = log 22 = 1 bit/symbol 所以： 四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的2倍和3倍。 2.2 居住某地区的女孩子有25%是大学生，在女大学生中有75%是身高160厘米以上的，而女孩子中身高160厘米以上的占总数的一半。假如我们得知“身高160厘米以上的某女孩是大学生”的消息，问获得多少信息量？ 解： 设随机变量X 代表女孩子学历 X x 1（是大学生） x 2（不是大学生） P(X) 0.25 0.75 设随机变量Y 代表女孩子身高 Y y 1（身高>160cm ） y 2（身高<160cm ） P(Y) 0.5 0.5 已知：在女大学生中有75%是身高160厘米以上的 即：p(y 1/ x 1) = 0.75 求：身高160厘米以上的某女孩是大学生的信息量 即：bit y p x y p x p y x p y x I 415.15.075.025.0log )()/()(log )/(log )/(2111121111=??? ???-=? ? ????-=-= 2.3 一副充分洗乱了的牌（含52张牌），试问 (1) 任一特定排列所给出的信息量是多少？ (2) 若从中抽取13张牌，所给出的点数都不相同能得到多少信息量？ 解： (1) 52张牌共有52！种排列方式，假设每种排列方式出现是等概率的则所给出的信息量是： bit x p x I i i 581.225!52log )(log )(2==-= (2) 52张牌共有4种花色、13种点数，抽取13张点数不同的牌的概率如下： bit C x p x I C x p i i i 208.134 log )(log )(4)(1352 13 2 213 52 13 =-=-== 2.1 试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍？ 解： 四进制脉冲可以表示4个不同的消息，例如：{0, 1, 2, 3} 八进制脉冲可以表示8个不同的消息，例如：{0, 1, 2, 3, 4, 5, 6, 7} 二进制脉冲可以表示2个不同的消息，例如：{0, 1} 假设每个消息的发出都是等概率的，则： 四进制脉冲的平均信息量symbol bit n X H / 24log log )(1=== 八进制脉冲的平均信息量symbol bit n X H / 38log log )(2=== 二进制脉冲的平均信息量symbol bit n X H / 12log log )(0=== 所以： 四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的2倍和3倍。 2.2 居住某地区的女孩子有25%是大学生，在女大学生中有75%是身高160厘米以上的，而女孩子中身高160厘米以上的占总数的一半。假如我们得知“身高160厘米以上的某女孩是大学生”的消息，问获得多少信息量？ 解： 设随机变量X 代表女孩子学历 X x 1（是大学生） x 2（不是大学生） P(X) 0.25 0.75 设随机变量Y 代表女孩子身高 Y y 1（身高>160cm ） y 2（身高<160cm ） P(Y) 0.5 0.5 已知：在女大学生中有75%是身高160厘米以上的 即：bit x y p 75.0)/(11= 求：身高160厘米以上的某女孩是大学生的信息量 即：bit y p x y p x p y x p y x I 415.15 .075.025.0log )()/()(log )/(log )/(11111111=?-=-=-= 2.3 一副充分洗乱了的牌（含52张牌），试问 (1) 任一特定排列所给出的信息量是多少？ (2) 若从中抽取13张牌，所给出的点数都不相同能得到多少信息量？ 解： (1) 52张牌共有52！种排列方式，假设每种排列方式出现是等概率的则所给出的信息量是： ! 521)(=i x p bit x p x I i i 581.225!52log )(log )(==-= (2) 52张牌共有4种花色、13种点数，抽取13张点数不同的牌的概率如下： 第二章 信源与信息度量 习题 1. 某大学设置五个学院，每个学院的学生数分别为 学院： 数学 物理 外语 外贸 医学 人数： 300 400 500 600 200 问“某学生王某是外语学院学生”这一消息提供的信息量是多少？ 2. 同时扔出两个正常的骰子，也就是各面呈现的概率都是1/6，求： （1） 事件“2和5同时呈现”的自信息量； （2） 事件“两个4同时呈现”的自信息量； （3） 事件“至少呈现一个1”的自信息量。 3. 字母“e ” 在英文中出现的概率是0.103，字母“c ”出现的概率为0.022，字母“x ”出现的概率是0.001，求这些字母各自的自信息量。 4. 某电子厂共能生产A 、B 、C 、D 四种仪器，其中A 因技术落后停产了，B 占全部产量的20%，C 占30%，D 占50%。有两个消息“现在完成1台仪器B ”，和“现在完成1台仪器C ”，试确定哪一种消息提供的信息量大些？其中有什么规律？ 5. 某地，35%的女孩上大学，65%的女大学生身高超过1.6米，而一个女孩身高超过1.6米的概率是50%，现有一条消息：说某一个身高超过1.6米的女孩是大学生，求这条消息的信息量。 6. 试求： （1） 在一付标准的扑克牌中抽出一张（每张牌均认为是不同的）的平均信息量。 （2） 若扑克牌仅按它的等级鉴定而不问它的花色(大、小王属同一等级)，重复上述计算。 7. 某地的天气预报为：晴（占4/8），多云（占2/8），雨（占1/8），雪（占1/8），冰雹（占0/8）；而当地老农对天气的预测只能做到：晴（占7/8），雨（占1/8）。试求两者对天气预报各自提供的平均信息量，并说明从中得到的规律。 8. 某离散无记忆平稳信源的概率空间为：12340123()3/81/41/41/8X x x x x p X ====????=????? ???，若某消息符号序列为：202 120 130 213 001 203 210 110 321 010 021 032 011 223 210，求： （1） 该消息的自信息量； （2） 该消息平均每个符号携带的信息量。 9. 若每帧电视图像由3×105 个像素组成，且像素是独立变化的。每个像素取128个不同的亮度电平，并设亮度电平等概率出现。 第2章离散信源与信息熵 信号 信号+干扰 消息 干扰 消息 信源 编码器 信道 译码器 信宿 噪声源 通信系统模型 信息 2.1 信源的分类和描述 信源是信息的发源地，可以是人、生物、机器或其他事物。信源的输出是包含信息的消息。消息的形式可以是离散的或连续的。 信源输出为连续信号形式（如语音），可用连续随机变量描述。 连续信源←→模拟通信系统 信源输出是离散的消息符号（如书信），可用离散随机变量描述。 离散信源←→数字通信系统 离散信源…X i…X j… 离散无记忆信源：输出符号X i X j 之间相互无影响； 离散有记忆信源：输出符号X i X j 之间彼此依存。 3 离散信源 无记忆 有记忆发出单个符号发出符号序列马尔可夫信源 非马尔可夫信源 y j 将一粒棋子随意地放 在棋盘中的某列； 棋子放置的位置是一 个随机事件； 可看做一个发出单个 符号的离散信源。 x i 1212,,...,(),(),...,()m m x x x X P p x p x p x ????=???????? 就数学意义来讲，信源就是一个概率场，可用概率空间来描述信源。由离散随机变量X 表示棋子位置： 10()1,()1m i i i p x p x =≤≤=∑i x 其中，代表随机事件的某一结果。 2.2离散信源的信息熵信息的可度量性是信息论建立的基础； 香农的信息论用事件发生概率的对数来描述事件的不确定性，得到消息的信息量，建立熵的概念。 2.2.1自信息量 –定义2.1 任意随机事件x i 的自信息量定义为： i i i 1(x )log log (x )(x ) I P P ==- 第二章信源与信息熵 主要内容：（1）信源的描述与分类；（2）离散信源熵和互信息；（3）离散序列信源的熵；（4）连续信源的熵和互信息；（5）冗余度。 重点：离散/连续信源熵和互信息。 难点：离散序列有记忆信源熵。 说明：本章内容主要针对信源，但是很多基本概念却是整个信息论的基础，所以安排了较多课时。由于求熵涉及一些概率论的基础知识，考虑到大四的同学可能对这部分知识已经遗忘，故适当复习部分概率论知识。较难的 2.1.2节马尔可夫信源部分放置在本章最后讲，便于同学理解。本章概念和定理较多，比较抽象，课堂教学时考虑多讲述一些例题，通过例题来巩固概念和消化定理。 作业： 2．1—2．7，2．10，2．12。 课时分配：10课时。 板书及讲解要点： 在信息论中，信源是发出消息的源，信源输出以符号形式出现的具体消息。如果符号是确定的而且预先是知道的，那么该消息就无信息而言。只有当符号的出现是随机的，预先无法确定，一旦出现某个符合就给观察者提供了信息。因此应该用随机变量或随机矢量来表示信源，运用概率论和随机过程的理论来研究信息，这就是香农信息论的基本点。 2．1 信源的描述与分类 在通信系统中收信者在未收到消息以前对信源发出什么消息是不确定的，是随机的，所以可用随机变量、随机序列或随机过程来描述信源输出的消息，或者说用一个样本空间及其概率测度——概率空间来描述信源。 信源：产生随机变量、随机序列和随机过程的源。 信源的基本特性：具有随机不确定性。 信源的分类 离散信源：文字、数据、电报——随机序列 连续信源：话音、图像——随机过程 离散信源：输出在时间和幅度上都是离散分布的消息。 消息数是有限的或可数的，且每次只输出其中一个消息，即两两不相容。 发出单个符号的无记忆信源 离散无记忆信源： 发出符号序列的无记忆信源 离散信源 离散有记忆信源： 发出符号序列的有记忆信源 发出符号序列的马尔可夫信源 概率论基础： 无条件概率，条件概率和联合概率的性质和关系： （1） 非负性 0()()(/)(/)()1i j j i i j i j p x p y p y x p x y p x y ≤≤，，，， （2） 完备性 111 1 11 ()1,()1,(/)1, (/)1,()1 n m n i j i j i j i m m n j i i j j j i p x p y p x y p y x p x y ===========∑∑∑∑∑∑ 1 1 ()(),()()n m i j j i j i i j p x y p y p x y p x ====∑∑ （3） 联合概率 ()()(/)()(/)()()()(/)()(/)() i j i j i j i j i j i j j i j i j i p x y p x p y x p y p x y X Y p x y p x p y p y x p y p x y p x =====当与相互独立时，， （4） 贝叶斯公式 1 1 () () (/)(/)() () i j i j i j j i n m i j i j i j p x y p x y p x y p y x p x y p x y === = ∑∑， 2.1.1 无记忆信源： 例如扔骰子，每次试验结果必然是1～6点中的某一个面朝上。可以用一个离散型随机变量X 来描述这个信源输出的消息。 · 1 · 第二章： 2.1 试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍？ 解： 四进制脉冲可以表示4个不同的消息，例如：{0, 1, 2, 3} 八进制脉冲可以表示8个不同的消息，例如：{0, 1, 2, 3, 4, 5, 6, 7} 二进制脉冲可以表示2个不同的消息，例如：{0, 1} 假设每个消息的发出都是等概率的，则： 四进制脉冲的平均信息量H(X 1) = log 2n = log 24 = 2 bit/symbol 八进制脉冲的平均信息量H(X 2) = log 2n = log 28 = 3 bit/symbol 二进制脉冲的平均信息量H(X 0) = log 2n = log 22 = 1 bit/symbol 所以： 四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的2倍和3倍。 2.2 居住某地区的女孩子有25%是大学生，在女大学生中有75%是身高160厘米以上的，而女孩子中身高160厘米以上的占总数的一半。假如我们得知“身高160厘米以上的某女孩是大学生”的消息，问获得多少信息量？ 解： 设随机变量X 代表女孩子学历 X x 1（是大学生） x 2（不是大学生） P(X) 0.25 0.75 设随机变量Y 代表女孩子身高 Y y 1（身高>160cm ） y 2（身高<160cm ） P(Y) 0.5 0.5 已知：在女大学生中有75%是身高160厘米以上的 即：p(y 1/ x 1) = 0.75 求：身高160厘米以上的某女孩是大学生的信息量 即：bit y p x y p x p y x p y x I 415.15.075.025.0log )()/()(log )/(log )/(2111121111=??? ???-=? ? ????-=-= 2.3 一副充分洗乱了的牌（含52张牌），试问 (1) 任一特定排列所给出的信息量是多少？ (2) 若从中抽取13张牌，所给出的点数都不相同能得到多少信息量？ 解： (1) 52张牌共有52！种排列方式，假设每种排列方式出现是等概率的则所给出的信息量是： bit x p x I i i 581.225!52log )(log )(2==-= (2) 52张牌共有4种花色、13种点数，抽取13张点数不同的牌的概率如下： bit C x p x I C x p i i i 208.134 log )(log )(4)(1352 13 2 213 52 13=-=-== 试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍 解： 四进制脉冲可以表示4个不同的消息，例如：{0, 1, 2, 3} 八进制脉冲可以表示8个不同的消息，例如：{0, 1, 2, 3, 4, 5, 6, 7} 二进制脉冲可以表示2个不同的消息，例如：{0, 1} 假设每个消息的发出都是等概率的，则： 四进制脉冲的平均信息量symbol bit n X H / 24log log )(1=== 八进制脉冲的平均信息量symbol bit n X H / 38log log )(2=== 二进制脉冲的平均信息量symbol bit n X H / 12log log )(0=== 所以： 四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的2倍和3倍。 一副充分洗乱了的牌（含52张牌），试问 (1) 任一特定排列所给出的信息量是多少 (2) 若从中抽取13张牌，所给出的点数都不相同能得到多少信息量 解： (1) 52张牌共有52！种排列方式，假设每种排列方式出现是等概率的则所给出的信息量是： ! 521)(= i x p bit x p x I i i 581.225!52log )(log )(==-= (2) 52张牌共有4种花色、13种点数，抽取13张点数不同的牌的概率如下： (a)p(x i )=52/52 * 48/51 * 44/50 * 40/49 * 36/48 * 32/47 * 28/46 * 24/45 * 20/44 * 16/43 * 12/42 * 8/41 * 4/40= (b)总样本：C 1352, 其中13点数不同的数量为4*4*4*…*4=413 。所以，抽取13张点数不同的牌的概率： bit C x p x I C x p i i i 208.134 log )(log )(4)(1352 13 13 52 13 =-=-== 居住某地区的女孩子有25%是大学生，在女大学生中有75%是身高160厘米以上的，而女孩子中身高160厘米以上的占总数的一半。假如我们得知“身高160厘米以上的某女孩是大学生”的消息，问获得多少信息量 解： 设随机变量X 代表女孩子学历 X x 1（是大学生） x 2（不是大学生） P(X) 设随机变量Y 代表女孩子身高 Y y 1（身高>160cm ） y 2（身高<160cm ） P(Y) 已知：在女大学生中有75%是身高160厘米以上的 第二章: 2、1 试问四进制、八进制脉冲所含信息量就是二进制脉冲得多少倍？ 解: 四进制脉冲可以表示4个不同得消息,例如:{0, 1, 2, 3} 八进制脉冲可以表示8个不同得消息,例如:{0, 1, 2, 3, 4, 5, 6, 7} 二进制脉冲可以表示2个不同得消息,例如:{0, 1} 假设每个消息得发出都就是等概率得,则: 四进制脉冲得平均信息量H(X 1) = log 2n = log 24 = 2 bit/symbol 八进制脉冲得平均信息量H(X 2) = log 2n = log 28 = 3 bit/symbol 二进制脉冲得平均信息量H(X 0) = log 2n = log 22 = 1 bit/symbol 所以: 四进制、八进制脉冲所含信息量分别就是二进制脉冲信息量得2倍与3倍。 2、2 居住某地区得女孩子有25%就是大学生,在女大学生中有75%就是身高160厘米以上得,而女孩子中身高160厘米以上得占总数得一半。假如我们得知“身高160厘米以上得某女孩就是大学生”得消息,问获得多少信息量？ 解: 设随机变量X 代表女孩子学历 X x 1(就是大学生) x 2(不就是大学生) P(X) 0、25 0、75 设随机变量Y 代表女孩子身高 Y y 1(身高>160cm) y 2(身高<160cm) P(Y) 0、5 0、5 已知:在女大学生中有75%就是身高160厘米以上得 即:p(y 1/ x 1) = 0、75 求:身高160厘米以上得某女孩就是大学生得信息量 即:bit y p x y p x p y x p y x I 415.15.075.025.0log )()/()(log )/(log )/(2111121111=??? ???-=? ? ?? ??-=-= 2、3 一副充分洗乱了得牌(含52张牌),试问 (1) 任一特定排列所给出得信息量就是多少？ (2) 若从中抽取13张牌,所给出得点数都不相同能得到多少信息量？ 解: (1) 52张牌共有52！种排列方式,假设每种排列方式出现就是等概率得则所给出得信息量就是: (2) 52张牌共有4种花色、13种点数,抽取13张点数不同得牌得概率如下: 2、4 设离散无记忆信源,其发出得信息为(23211223210),求 (1) 此消息得自信息量就是多少？ (2) 此消息中平均每符号携带得信息量就是多少？ 解: (1) 此消息总共有14个0、13个1、12个2、6个3,因此此消息发出得概率就是: 此消息得信息量就是: (2) 此消息中平均每符号携带得信息量就是: 2、5 从大量统计资料知道,男性中红绿色盲得发病率为7%,女性发病率为0、5%,如果您问一位男士:“您就是否就是色盲？”她得回答可能就是“就是”,可能就是“否”,问这两个回答中各含多少信息量,平均每个回答中含有多少信息量？如果问一位女士,则答案中含有得平均自信息量就是多少？ 第二章： 2.1 试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍？ 解： 四进制脉冲可以表示4个不同的消息，例如：{0, 1, 2, 3} 八进制脉冲可以表示8个不同的消息，例如：{0, 1, 2, 3, 4, 5, 6, 7} 二进制脉冲可以表示2个不同的消息，例如：{0, 1} 假设每个消息的发出都是等概率的，则： 四进制脉冲的平均信息量H(X 1) = log 2n = log 24 = 2 bit/symbol 八进制脉冲的平均信息量H(X 2) = log 2n = log 28 = 3 bit/symbol 二进制脉冲的平均信息量H(X 0) = log 2n = log 22 = 1 bit/symbol 所以： 四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的2倍和3倍。 2.2 居住某地区的女孩子有25%是大学生，在女大学生中有75%是身高160厘米以上的，而女孩子中身高160厘米以上的占总数的一半。假如我们得知“身高160厘米以上的某女孩是大学生”的消息，问获得多少信息量？ 解： 设随机变量X 代表女孩子学历 X x 1（是大学生） x 2（不是大学生） P(X) 0.25 0.75 设随机变量Y 代表女孩子身高 Y y 1（身高>160cm ） y 2（身高<160cm ） P(Y) 0.5 0.5 已知：在女大学生中有75%是身高160厘米以上的 即：p(y 1/ x 1) = 0.75 求：身高160厘米以上的某女孩是大学生的信息量 即：bit y p x y p x p y x p y x I 415.15.075.025.0log )()/()(log )/(log )/(2111121111=??? ???-=? ? ????-=-= 2.3 一副充分洗乱了的牌（含52牌），试问 (1) 任一特定排列所给出的信息量是多少？ (2) 若从中抽取13牌，所给出的点数都不相同能得到多少信息量？ 解： (1) 52牌共有52！种排列方式，假设每种排列方式出现是等概率的则所给出的信息量是： bit x p x I i i 581.225!52log )(log )(2==-= (2) 52牌共有4种花色、13种点数，抽取13点数不同的牌的概率如下： bit C x p x I C x p i i i 208.134 log )(log )(4)(1352 13 2 213 52 13 =-=-==信源及信源熵习题答案
第二章信源熵-习题答案(精品文档)
信息论与编码第二章 信源熵习题的答案[最新]
第二章 信源与信息度量 习题
2015秋.信息论.第2章离散信源与信息熵
第二章信源信息熵
信源及信源熵习题答案
信息论第二章答案
信源及信源熵习题答案
信源及信源熵习题问题详解