第5讲信息熵课件
1
第5讲 随机变量的信息熵
在概率论和统计学中，随机变量表示随机试验结果的观测值。随机变量的取值是不确定的，但是服从一定的概率分布。因此，每个取值都有自己的信息量。平均每个取值的信息量称为该随机变量的信息熵。
信息熵这个名称是冯诺依曼向香农推荐的。在物理学中，熵是物理系统的状态函数，用于度量一个物理系统内部状态和运动的无序性。物理学中的熵也称为热熵。信息熵的表达式与热熵的表达式类似，可以视为热熵的推广。香农用信息熵度量一个物理系统内部状态和运动的不确定性。
信息熵是信息论的核心和基础概念，具有多种物理意义。香农所创立的信息论是从定义和研究信息熵开始的。这一讲我们学习信息熵的定义和性质。
1. 信息熵
我们这里考虑离散型随机变量的信息熵，连续型随机变量的信息熵以后有时间再讨论，读者也可以看课本上的定义，先简单地了解一下。 定义1.1 设离散型随机变量X 的概率空间为
1
21
2
......n n x x x X p p p P ??
??=????????
我们把X 的所有取值的自信息的期望称为X 的平均自信息量，通常称为信息熵，简称熵（entropy ），记为H(X)，即
1
1
()[()]log
n
i i i
H X E I X p p ===
∑ (比特)
信息熵也称为香农熵。
注意，熵H (X )是X 的概率分布P 的函数，因此也记为H (P )。
定义1.2 信息熵表达式中的对数底可取任何大于等于2的整数r ，所得结果称为r-进制熵，记为H r (X )，其单位为“r-进制单位”。 我们有
2
()()
log r X H H r
X =
注意，在关于熵的表达式中，我们仍然约定
0log 00 0log
00
x
==， 信息熵的物理意义：
信息熵可从多种不同角度来理解。
（1） H(X)是随机变量X 的取值所能提供的平均信息量。
（2） 统计学中用H(X)表征随机变量X 的不确定性，也就是随机性的大小。
例如，假设有甲乙两只箱子，每个箱子里都存放着100个球。甲里面有红蓝色球各50个，乙里面红、蓝色的球分别为99个和1个。显然，甲里面球的颜色更具有不确定性。从两个箱子各摸出一个球，甲里面摸出的球更不好猜。
（3） 若离散无记忆信源的符号概率分布为P ，则H(P)是该信源的所有无损编码的“平均
码长”的极限。
令X 是离散无记忆信源的符号集，所有长度为n 的消息集合为
{1,2,
,}n M X =
每个消息i 在某个无损编码下的码字为w i ，码字长为l i 比特。假设各消息i 出现的概率为p i ，则该每条消息的平均码长为
1
M
n i i i L p l ==∑
因此，平均每个信源符号的码长为
1
1M
n i i i L p l n n ==∑ 这个平均每个信源符号的码长称为该编码的平均码长，其量纲为（码元/信源）。 我们有
() lim () n n n L L
H X H X n
n →∞≥=且
这是信源编码定理的推论。
3
例1.3 课本第26页例2.4. 天气预报的平均信息量。 练习：
在电脑主板上，串行接口（Serial Interface ）用于向外设输出数据，每次输出1比特符号，若某段时间内输出符号的概率分布为
11/32/3X p ????=????????
求此时段内该串行接口的信息率，即平均每符号所传递的信息（单位为“比特/符号”）。
4
练习解答：输出0所传递的信息为
1
(0)
l o g l o g 3 (3
I =-=比特)
输出1所传递的信息为
2
(1)log
log 3 1 (3
I =-=-比特) 因此，输出符号的信息熵为 122
()log 3(log 31)log 3333
H X =
+-=-≈0.919(比特) 于是所求的信息速率为0.919比特每符号。
说明：上述信息熵H (X )反映了串行接口传输信息的速率，称为该接口的信息率。
2. 熵函数H(P)的性质 性质1. 非负性和确定性 H (P )≥0
其中H(P)=0 当且仅当P 为退化分布。
一个随机变量的概率分布为退化分布，当且仅当该随机变量是常量，即取值唯一（所以其取值是确定的）。
性质2. 对称性 11(,,,,,,)(,,,,,,)i j n j i n H p p p p H p p p p =
性质3. 连续性 1(,,)n H p p 对于其中任何变量i p 是连续的。
5
性质4. 扩展性 可扩展性1： 11(,,,0)(,,)n n H p p H p p =
可扩展性2：
证明：由连续性和可扩展性1立即可得。 证毕
意义：可扩展性表明，一个小概率事件对于熵的影响很小，可以忽略不计。 在熵的计算中，可以忽略其中一部分小概率事件。
例2.1 《中华字海》中收录了85000多个汉字，而常用汉字仅有3000个左右。（据统计现代汉语中这2400个汉字在一般书刊文章中所占的字数比例是99%）在计算汉字的熵时，大部分汉字都可以忽略不计，仅统计常用汉字出现的频率，以此作为这些汉字出现的概率，从而计算出汉字的熵。
性质5. 可加性
注意：即课本第31页的“递增性”。课本上的“可加性”事实上是联合熵的链法则，涉及到条件熵，放在此处不妥，后面再讨论。我们将赋予“递增性”更贴切的含义。 定理2.2（可加性公式）
其中令12n m p q q q =++
+
证明：可用熵函数的定义证明，细节留给读者完成。 证毕 可加性公式让我们不断降低信息熵中概率分布的维度，将高维计算简化为低维计算。有的教材称可加性为递推性。 例2.3 应用熵函数的可加性计算
1111
(,,,)3366
H 121211212(,,,,,,,)(,,
,),,
,
m n m n n n n
n q q q
H p p p q q q H p p p p H p p p -??=+ ???
12112210
lim (,,
,,,)(,,,,,)
n n n n n H p p p p H p p p p p εεε---→-=
6
解：
1111111111(,,,)(,,)(,)3366333322
1
log3 3
1.918 (bit)
H H H =+=+≈
注意，可连续应用可加性公式：
111121211111(,,,)(,)(,)(,)33663332232221(,) 1 33
H H H H H =++=+
连续应用可加性公式，我们有 定理2.4 （更一般的可加性公式）
其中1
i
r i ij
j p p
==
∑
解释：我们可以把可加性理解为分步试验结果的熵等于各步试验结果熵的加权组合。。 设一个随机试验分为两个步骤。第1步共有n 个可能结果11,2,X n =，，其概率分布为
12(,,,)n p p p 。这一步试验结果的熵为12(,,,)n H p p p 。
在第1步试验结果的基础上进行第2步试验。假设当第1步试验结果1X i =时，第2步试验共有i r 个可能结果，并且其概率分布为
12
,,,i ir i i i i
i p p p p p p ??
???
12111212112121(,
,,,,,
,,
,)
(,,
,),,
, (2.1)n i r r n nr n
ir i i n i i i i
i H p p p p p p p p p
H p p p p H p p p =??=+ ???
∑
7
对应的熵为
12,,,i ir i i i i
i p p p H p p p ?? ???
因此，第2步传递的平均信息量为
121,,,
i n
ir i i i i i i
i p p p p H p p p =??
???
∑ 两步所获得的平均信息量之和就是上述（2.1）中的右式。 左式可解释为第2步试验的所有可能结果的平均信息量。 练习：应用熵函数的可加性计算
(1/6,1/6,1/6,1/9,1/9,1/12,1/12)H
性质6. 递增性
低维分布分解为高维分布时，信息熵严格递增。
定理2.5 将n-维概率分布分解为n+1维分布后，熵增大：
证明：由可加性立即可得。 证毕
性质7. 严格上凸性
定理2.6 熵函数H (P )是严格上凸函数。
证明：根据严格上凸性定义，我们设P =(p 1, p 2, …, p n )与Q=(q 1,q 2, …, q n )是两个不同的概率分布并且设12(,)λλ为非退化分布，只需证明下列不等式
1212()()() (1)H P H Q H P Q λλλλ+<+
即
12121(,,,)(,,,,,) (0<)
n n n n H p p p H p p p p p εεε-<-<
8
1
2
12121
1
1
l o g l o g ()l o g ()
n n
n
i
i
i
i i i i i
i i i p p q
q p q p q λλλλλλ===--<-++∑∑∑ 合并同类项后，上述不等式等价变换为
12121211log log 0
n
n
i i i i i i i i i i p q p q
p q p q λλλλλλ==+++<∑∑ 注意，12P Q λλ+是一个n-维概率分布，根据预备知识中所证明的“信息不等式”，我们有
121
log
0 n
i i
i i i
p q p p λλ=+≤∑（2）
其中等号成立当且仅当12P P Q λλ=+，即P =Q 。我们前面已假设P ≠Q ，所以上述不等式中的等号不成立。同理我们有
121
log
0 n
i i
i i i
p q q q λλ=+<∑（3）
由（2）和（3）可得（1）。 证毕
不等式（1）也可以用基本对数不等式证明。
不等式（1）的第二个证明：取12i i
i
p q x p λλ+=
，由
1
ln
1 x x
≥- 得
12212ln
() (4)i
i i i i i i i i
p p p p q p q p q λλλλλ≥--=-+
根据预备知识中证明的基本对数不等式，（4）中等号成立的充要条件是12P P Q λλ=+，即P =Q 。我们前面已假设P ≠Q ，所以不等式（4）中的等号不成立。因此，我们有
9
1
12ln
0 (5)n
i
i i i i
p p p q λλ=>+∑
同理我们有
1
12ln
0 (6)n
i
i i i i
q q p q λλ=>+∑
由（5）和（6）可得（1）。 证毕
性质8. 极值性（最大离散熵原理）
定理2.7（最大离散熵原理）对于任何n 维概率分布p ，
()log H p n
≤
其中，等号成立的充要条件是p 为均匀分布，即
(1/,1/,
,1/)p n n n =
证明： 令q 为均匀分布(1/n ,1/n ,…,1/n )，应用信息不等式立刻可得该定理成立。 证毕
记号：我们用H 0表示一个随机变量的最大熵。当且仅当某随机变量共有n 种取值时，
0log ()H n =比特
例2.8 二十问题游戏（the game of twenty problems ）。甲心里想到一个事物，让乙猜。乙可以向甲提问，甲只回答是或者不是。若乙在20个问题之内猜出答案，则乙胜，否则甲胜。 猜数：一个比较简单的实例是猜数。要猜出一个100以内的正整数至少需要几个问题？至多需几个问题？ 练习：
设一条电线上串联了8个灯泡，如图所示。假设其中有且只有一个灯泡坏了，并且各灯泡
的损坏概率相同，用万用电表通过测量断路找出坏灯泡。
（1）平均需要获得多少信息，才能找出其中的坏灯泡。
（2）一次测量所获得的信息的最大期望值是多少？
（3）试设计一个最佳测量方案，即测量次数的期望值最小的测量方案。
作业
1.试证明信息熵的可加性。
2.伪币称量问题：今有12枚金币，其中1枚是伪币，其重量不同于真币。
用一台没有砝码的天平通过比较金币重量可以找出这枚伪币。
（1）用这台天平找出伪币并知道其偏重还是偏轻需获得多少信息？
（2）求天平的3种称量结果，即等重、左重和右重，的最大平均自信息。
（3）试证明找出这枚伪币至少需要称量3次。
（4）试设计最优的第1次称量方案。
（5）若第1次称量结果为1-4号钱币的总重量大于5-8号钱币的总重量，试设计最优的第2次称量方案。
3.编程2：输入有限维概率分布，输出该分布的熵。
附录：热熵
1854年克劳修斯定义了物理系统的一种状态函数S，他之称为熵（entropy），现在也称为热熵。一个物理系统从状态o到状态A的熵增量定义为
10
11
A
o o
dQ
S S T
-=?
其中
克劳修斯的热力学第二定律：0dS ≥
德国物理学家玻尔兹曼的熵公式：划时代的发现 log e S k W =
其中W 是物理系统的（宏观）状态所对应的所有可能微观状态数，k 称为玻尔兹曼常数。 伟大意义：
（1）将宏观量S 与微观状态数W 相联系，架设了宏观与微观之间的桥梁。
（2）物理概念第一次用概率形式表达，意义深远。
（3）已成为物理学中最重要公式之一。
棋盘游戏：40X40的棋盘中间10X10位置上放着100颗棋子。这10X10位置构成系统I ，其它位置构成系统II 。将I 中棋子挪动到II 中，两个系统的状态都发生改变。求两个系统各自的熵与总熵，有 I II I II S S S +=+
第五章微机原理课后习题参考答案_2012
习题五 一. 思考题 ⒈半导体存储器主要分为哪几类？简述它们的用途和区别。 答：按照存取方式分，半导体存储器主要分为随机存取存储器RAM（包括静态RAM和动态RAM）和只读存储器ROM（包括掩膜只读存储器，可编程只读存储器，可擦除只读存储器和电可擦除只读存储器）。 RAM在程序执行过程中，能够通过指令随机地对其中每个存储单元进行读\写操作。一般来说，RAM中存储的信息在断电后会丢失，是一种易失性存储器；但目前也有一些RAM 芯片，由于内部带有电池，断电后信息不会丢失，具有非易失性。RAM的用途主要是用来存放原始数据，中间结果或程序，与CPU或外部设备交换信息。 而ROM在微机系统运行过程中，只能对其进行读操作，不能随机地进行写操作。断电后ROM中的信息不会消失，具有非易失性。ROM通常用来存放相对固定不变的程序、汉字字型库、字符及图形符号等。 根据制造工艺的不同，随机读写存储器RAM主要有双极型和MOS型两类。双极型存储器具有存取速度快、集成度较低、功耗较大、成本较高等特点，适用于对速度要求较高的高速缓冲存储器；MOS型存储器具有集成度高、功耗低、价格便宜等特点，适用于内存储器。 ⒉存储芯片结构由哪几部分组成？简述各部分的主要功能。 答：存储芯片通常由存储体、地址寄存器、地址译码器、数据寄存器、读\写驱动电路及控制电路等部分组成。 存储体是存储器芯片的核心，它由多个基本存储单元组成，每个基本存储单元可存储一位二进制信息，具有0和1两种状态。每个存储单元有一个唯一的地址，供CPU访问。 地址寄存器用来存放CPU访问的存储单元地址，该地址经地址译码器译码后选中芯片内某个指定的存储单元。通常在微机中，访问地址由地址锁存器提供，存储单元地址由地址锁存器输出后，经地址总线送到存储器芯片内直接进行译码。 地址译码器的作用就是用来接收CPU送来的地址信号并对它进行存储芯片内部的“译码”，选择与此地址相对应的存储单元，以便对该单元进行读\写操作。 读\写控制电路产生并提供片选和读\写控制逻辑信号，用来完成对被选中单元中各数据位的读\写操作。 数据寄存器用于暂时存放从存储单元读出的数据，或暂时存放从CPU送来的要写入存储器的数据。暂存的目的是为了协调CPU和存储器之间在速度上的差异。
实验一-信息熵与图像熵计算-正确
实验一信息熵与图像熵计算（2 学时） 一、实验目的 1.复习MATLAB的基本命令，熟悉MATLAB下的基本函数； 2.复习信息熵基本定义,能够自学图像熵定义和基本概念。 二、实验内容 1.能够写出MATLAB源代码，求信源的信息熵； 2.根据图像熵基本知识，综合设计出MATLAB程序，求出给定图像的图像熵。 三、实验仪器、设备 1.计算机－系统最低配置256M内存、P4 CPU； 2.MATLAB编程软件。 四实验流程图 五实验数据及结果分析
四、实验原理 1.MATLAB中数据类型、矩阵运算、图像文件输入与输出知识复习。 2.利用信息论中信息熵概念，求出任意一个离散信源的熵（平均自信息量）。自信息是一个随机变量,它是指某一信源发出某一消息所含有的信息量。所发出的消息不同，它们所含有的信息量也就不同。任何一个消息的自信息量都代表不了信源所包含的平均自信息量。不能作为整个信源的信息测度，因此定义自信息量的数学期望为信源的平均自信息量： 1( ) 1 ( ) [log ] ( ) log ( ) i n i i p a i H E p a p a X 信息熵的意义：信源的信息熵H是从整个信源的统计特性来考虑的。它是从平均意
义上来表征信源的总体特性的。对于某特定的信源，其信息熵只有一个。不同的信源因统计特性不同，其熵也不同。 3.学习图像熵基本概念，能够求出图像一维熵和二维熵。 图像熵是一种特征的统计形式，它反映了图像中平均信息量的多少。图像的一维熵表示图像中灰度分布的聚集特征所包含的信息量，令Pi表示图像中灰度值为i的像素所占的比例，则定义灰度图像的一元灰度熵为： 2550 log i i i p p H 图像的一维熵可以表示图像灰度分布的聚集特征，却不能反映图像灰度分布的空间特征，为了表征这种空间特征，可以在一维熵的基础上引入能够反映灰度分布空间特征的特征量来组成图像的二维熵。选择图像的邻域灰度均值作为灰度2
信息熵
信息熵在遥感影像中的应用 所谓信息熵，是一个数学上颇为抽象的概念，我们不妨把信息熵理解成某种特定信息的出现概率。信源各个离散消息的自信息量得数学期望（即概率加权的统计平均值）为信源的平均信息量，一般称为信息源，也叫信源熵或香农熵，有时称为无条件熵或熵函数，简称熵。 一般而言，当一种信息出现概率更高的时候，表明它被传播得更广泛，或者说，被引用的程度更高。我们可以认为，从信息传播的角度来看，信息熵可以表示信息的价值。这样子我们就有一个衡量信息价值高低的标准，可以做出关于知识流通问题的更多推论。 利用信息论中的熵模型，计算信息量是一种经典的方法，广泛应用于土地管理，城市扩张以及其他领域。熵值可以定量的反应信息的分散程度，将其应用于遥感图像的解译中可以定量的描述影像包含的信息量，从而为基于影像的研究提供科学的依据。利用信息熵方法对遥感影像的光谱特征进行离散化，根据信息熵的准则函数，寻找断点，对属性进行区间分割，以提高数据处理效率。 遥感影像熵值计算大致流程为：遥感影像数据经过图像预处理之后，进行一系列图像配准、校正，图像增强，去除噪声、条带后，进行图像的分类，然后根据研究区域进行数据的提取，结合一些辅助数据对图像进行监督分类后生成新的图像，将新的图像与研究区边界图和方格图生成的熵单元图进行进一步的融合便可得到熵分值图。 1.获得研究区遥感影像 以研究区南京市的2009 年6 月的中巴资源二号卫星分辨率20 米得影像为例，影像是有三幅拼接完成。通过ArGIS9.2 中的选择工具从全国的行政区域图中提取边界矢量图，再通过掩膜工具获得研究区的影像。分辨率的为90 米得DEM 图有两副影像拼接而得，操作的步骤与获取影像一致，为开展目视解译工作提供参考。然后依照相关学者的相关研究以及城市建设中的一些法律法规，参照分类标准，开展影像解译工作，对于中巴资源二号影像开展监督分类，以及开展目视解译工作。 2.二值图像的建立 将两种解译所得的图像按照一定的标准转化为城镇用地和非城镇用地两种，进一步计算二值图像的熵值。 3.熵值单元图 根据一些学者对城市边缘带的研究，其划分的熵值单元为 1 km ×1 km，针对样 区的具体情况，采用500 m ×500 m 的熵值单元。在ERDAS 软件和
指标权重确定方法之熵权法计算方法参考
指标权重确定方法之熵权法 一、熵权法介绍 熵最先由申农引入信息论，目前已经在工程技术、社会经济等领域得到了非常广泛的应用。 熵权法的基本思路是根据指标变异性的大小来确定客观权重。 一般来说，若某个指标的信息熵越小，表明指标值得变异程度越大，提供的信息量越多，在综合评价中所能起到的作用也越大，其权重也就越大。相反，某个指标的信息熵越大，表明指标值得变异程度越小，提供的信息量也越少，在综合评价中所起到的作用也越小，其权重也就越小。 二、熵权法赋权步骤 1.数据标准化 将各个指标的数据进行标准化处理。 假设给定了k个指标，其中。假设对各指标数据标准化后的值为，那么。 2.求各指标的信息熵 根据信息论中信息熵的定义，一组数据的信息熵。其中，如果，则定义。 3.确定各指标权重 根据信息熵的计算公式，计算出各个指标的信息熵为。通过信息熵计算各指标的权重：。
三、熵权法赋权实例 1.背景介绍 某医院为了提高自身的护理水平，对拥有的11个科室进行了考核，考核标准包括9项整体护理，并对护理水平较好的科室进行奖励。下表是对各个科室指标考核后的评分结果。 但是由于各项护理的难易程度不同，因此需要对9项护理进行赋权，以便能够更加合理的对各个科室的护理水平进行评价。 2.熵权法进行赋权 1）数据标准化 根据原始评分表，对数据进行标准化后可以得到下列数据标准化表 表2 11个科室9项整体护理评价指标得分表标准化表 科室X1X2X3X4X5X6X7X8X9 A B C D
E F G H I J K 2）求各指标的信息熵 根据信息熵的计算公式，可以计算出9项护理指标各自的信息熵如下： 表3 9项指标信息熵表 X1X2X3X4X5X6X7X8X9 信息熵 3）计算各指标的权重 根据指标权重的计算公式，可以得到各个指标的权重如下表所示： 表4 9项指标权重表 W1W2W3W4W5W6W7W8W9权重 3.对各个科室进行评分 根据计算出的指标权重，以及对11个科室9项护理水平的评分。设Z l为第l个科室的最终得分，则，各个科室最终得分如下表所示 表5 11个科室最终得分表 科室A B C D E F G H I J K 得分
信息熵与图像熵计算
p (a i ) ∑ n 《信息论与编码》课程实验报告 班级：通信162 姓名：李浩坤 学号：163977 实验一 信息熵与图像熵计算 实验日期：2018.5.31 一、实验目的 1. 复习 MATLAB 的基本命令，熟悉 MATLAB 下的基本函数。 2. 复习信息熵基本定义, 能够自学图像熵定义和基本概念。 二、实验原理及内容 1.能够写出 MATLAB 源代码，求信源的信息熵。 2.根据图像熵基本知识，综合设计出 MATLAB 程序，求出给定图像的图像熵。 1.MATLAB 中数据类型、矩阵运算、图像文件输入与输出知识复习。 2.利用信息论中信息熵概念，求出任意一个离散信源的熵（平均自信息量）。自信息是一个随机变量,它是指某一信源发出某一消息所含有的信息量。所发出 的消息不同，它们所含有的信息量也就不同。任何一个消息的自信息量都代表不了信源所包含的平均自信息量。不能作为整个信源的信息测度，因此定义自信息量的数学期望为信源的平均自信息量： H (X ) = E [ log 1 ] = -∑ p (a i ) log p (a i ) i =1 信息熵的意义：信源的信息熵H 是从整个信源的统计特性来考虑的。它是从平均意义上来表征信源的总体特性的。对于某特定的信源，其信息熵只有一个。不同的信源因统计特性不同，其熵也不同。 1. 学习图像熵基本概念，能够求出图像一维熵和二维熵。 图像熵是一种特征的统计形式，它反映了图像中平均信息量的多少。图像的一维熵表示图像中灰度分布的聚集特征所包含的信息量，令 P i 表示图像中灰度值为 i 的像素所占的比例，则定义灰度图像的一元灰度熵为： 255 H = p i log p i i =0
微机原理与接口技术第五章课后答案
第五章参考答案 1.简述SRAM芯片与DRAM芯片的共同点与不同点。 答：SRAM与DRAM的共同点：都属于随机存取存储器，具有易失性。 SRAM与DRAM的共同点：SRAM利用双稳态触发器电路保存信息，集成度比DRAM低，功耗比DRAM大；DRAM利用MOS管栅极和源极之间的极间电容C保存信息，需要刷新电路保证信息较长时间保存。 2.叙述ROM芯片的常见分类，各种ROM芯片的特点及其适用场合。 答：ROM的常用分类结果： 掩膜ROM：生产完成的芯片已保存了信息，保存的信息无法修改，适用于大批量的定型产品中。 PROM：PROM可以一次写入信息，一旦写入无法更改，适用于小批量的定型产品中。 EPROM：紫外线擦除可多次编程的存储器，适用于新产品的开发。 EEPROM：电擦除可多次编程的存储器，适用于需要在线修改的场合。 3.利用4片6116（2K×8位）芯片设计连续存储器，采用全地址译码。设起始地址为60000H，求存储器的最后一个单元地址。 答：存储器的最后一个单元地址为：61FFFH. 4．用6264 RAM（8K×8位）芯片构成256K字节存储器系统，需要多少片6264芯片20位地址总线中有多少位参与片内寻址有多少位可用作片选控制信号 答：需要32片6264芯片。 20位地址总线中有13位参与片内寻址；有7位可用作片选控制信号。 5.某微机系统中ROM区有首地址为9000H，末地址为FFFFH，求其ROM区域的存储容量。答：其ROM区域的存储容量为28K。 6．在8088CPU的系统中扩展32K字节的RAM，其扩充存储空间的起始地址为08000H。设系统的地址总线为A19~A0，数据总线为D7~D0，存储器芯片选用6264。利用74LS138译码器设计译码电路，并画出扩充的存储器系统的连线图。 解： 8088 BUS D0~D7 MEMW MEMR
最新信息熵的matlab程序实例资料
求一维序列的信息熵（香浓熵）的matlab程序实例 对于一个二维信号，比如灰度图像，灰度值的范围是0-255，因此只要根据像素灰度值(0-255)出现的概率，就可以计算出信息熵。 但是，对于一个一维信号，比如说心电信号，数据值的范围并不是确定的，不会是(0-255)这么确定，如果进行域值变换，使其转换到一个整数范围的话，就会丢失数据，请高手指点，怎么计算。 比如数字信号是x(n),n=1~N (1)先用Hist函数对x(n)的赋值范围进行分块，比如赋值范围在0~10的对应第 一块，10~20的第二块，以此类推。这之前需要对x(n)做一些归一化处理 (2)统计每一块的数据个数，并求出相应的概率 (3)用信息熵公式求解 以上求解方法获得的虽然是近似的信息熵，但是一般认为，这么做是没有问题的 求一维序列的信息熵的matlab程序代码如下：（已写成调用的函数形式） 测试程序： fs=12000; N=12000; T=1/fs; t=(0:N-1)*T; ff=104; sig=0.5*(1+sin(2*pi*ff*t)).*sin(2*pi*3000*t)+rand(1,length(t)); Hx=yyshang(sig,10) %———————求一维离散序列信息熵matlab代码 function Hx=yyshang(y,duan) %不以原信号为参考的时间域的信号熵 %输入：maxf:原信号的能量谱中能量最大的点 %y:待求信息熵的序列 %duan:待求信息熵的序列要被分块的块数 %Hx:y的信息熵 %duan=10;%将序列按duan数等分，如果duan=10,就将序列分为10等份 x_min=min(y); x_max=max(y); maxf(1)=abs(x_max-x_min); maxf(2)=x_min; duan_t=1.0/duan; jiange=maxf(1)*duan_t; % for i=1:10 % pnum(i)=length(find((y_p>=(i-1)*jiange)&(y_p 1 第5讲 随机变量的信息熵 在概率论和统计学中，随机变量表示随机试验结果的观测值。随机变量的取值是不确定的，但是服从一定的概率分布。因此，每个取值都有自己的信息量。平均每个取值的信息量称为该随机变量的信息熵。 信息熵这个名称是冯诺依曼向香农推荐的。在物理学中，熵是物理系统的状态函数，用于度量一个物理系统内部状态和运动的无序性。物理学中的熵也称为热熵。信息熵的表达式与热熵的表达式类似，可以视为热熵的推广。香农用信息熵度量一个物理系统内部状态和运动的不确定性。 信息熵是信息论的核心和基础概念，具有多种物理意义。香农所创立的信息论是从定义和研究信息熵开始的。这一讲我们学习信息熵的定义和性质。 1. 信息熵 我们这里考虑离散型随机变量的信息熵，连续型随机变量的信息熵以后有时间再讨论，读者也可以看课本上的定义，先简单地了解一下。 定义1.1 设离散型随机变量X 的概率空间为 1 21 2 ......n n x x x X p p p P ?? ??=???????? 我们把X 的所有取值的自信息的期望称为X 的平均自信息量，通常称为信息熵，简称熵（entropy ），记为H(X)，即 1 1 ()[()]log n i i i H X E I X p p === ∑ (比特) 信息熵也称为香农熵。 注意，熵H (X )是X 的概率分布P 的函数，因此也记为H (P )。 定义1.2 信息熵表达式中的对数底可取任何大于等于2的整数r ，所得结果称为r-进制熵，记为H r (X )，其单位为“r-进制单位”。 我们有 2 ()() log r X H H r X = 注意，在关于熵的表达式中，我们仍然约定 0log 00 0log 00 x ==， 信息熵的物理意义： 信息熵可从多种不同角度来理解。 （1） H(X)是随机变量X 的取值所能提供的平均信息量。 （2） 统计学中用H(X)表征随机变量X 的不确定性，也就是随机性的大小。 例如，假设有甲乙两只箱子，每个箱子里都存放着100个球。甲里面有红蓝色球各50个，乙里面红、蓝色的球分别为99个和1个。显然，甲里面球的颜色更具有不确定性。从两个箱子各摸出一个球，甲里面摸出的球更不好猜。 （3） 若离散无记忆信源的符号概率分布为P ，则H(P)是该信源的所有无损编码的“平均 码长”的极限。 令X 是离散无记忆信源的符号集，所有长度为n 的消息集合为 {1,2, ,}n M X = 每个消息i 在某个无损编码下的码字为w i ，码字长为l i 比特。假设各消息i 出现的概率为p i ，则该每条消息的平均码长为 1 M n i i i L p l ==∑ 因此，平均每个信源符号的码长为 1 1M n i i i L p l n n ==∑ 这个平均每个信源符号的码长称为该编码的平均码长，其量纲为（码元/信源）。 我们有 () lim () n n n L L H X H X n n →∞≥=且 这是信源编码定理的推论。 中文信息处理报告 课题名称搜索引擎中的关键技术及解决学院（系）电子信息与工程学院 专业计算机科学与技术 学号072337 学生姓名张志佳 完成时间2009年1月 3 日 目前，国内的每个行业，领域都在飞速发展，这中间产生了大量的中文信息资源，为了能够及时准确的获取最新的信息，中文搜索引擎应运而生。中文搜索引擎与西文搜索引擎在实现的机制和原理上大致相同，但由于汉语本身的特点，必须引入对于中文语言的处理技术，而汉语自动分词技术就是其中很关键的部分，也是进行后续语义或者是语法分析的基础。汉语自动分词到底对搜索引擎有多大影响？对于搜索引擎来说，最重要的并不是找到所有结果，最重要的是把最相关的结果排在最前面，这也称为相关度排序。中文分词的准确与否，常常直接影响到对搜索结果的相关度排序。分词准确性对搜索引擎来说十分重要，但如果分词速度太慢，即使准确性再高，对于搜索引擎来说也是不可用的，在Internet上有上百亿可用的公共Web页面，如果分词耗用的时间过长，会严重影响搜索引擎内容更新的速度。因此对于搜索引擎来说，分词的准确性和速度，都需要达到很高的要求。 更具体的说，现在的搜索引擎要达到下面的三要求，才能适应当今这样一个信息爆炸的时代，分别是：数据量达到亿，单次查询毫秒级，每日查询总数能支持千万级。撇开搜索引擎要用到的数量庞大的服务器硬件和速度巨快的网络环境不提，就单单说说搜索引擎中软件部分的三大核心技术。我个人以为：一个优秀的搜索引擎，它必需在下面三个方面的技术必须是优秀的：中文分词，网络机器人（Spider）和后台索引结构。而这三方面又是紧密相关的，想要解决中文分词问题，就要解决搜索时间和搜索准确率两方面的难题。而搜索时间上便是通过网络机器人（Spider）和后台索引结构的改进实现的，搜索准确率则是通过分词本身算法的求精来实现的。下面的文章将从这两个大的方面来解决这两方面的问题。 为了能够更清楚的来说明现在的搜索引擎是如何解决这几个难题的，首先对搜索引擎的组成及工作原理在这里简要的说明一下。 搜索引擎的工作，可以看做三步：从互联网上抓取网页，建立索引数据库，在索引数据库中搜索排序。从互联网上抓取网页利用能够从互联网上自动收集网页的Spider系统程序，自动访问互联网，并沿着任何网页中的所有URL爬到其它网页，重复这过程，并把爬过的所有网页收集回来。下面是搜索引擎的工作原理图：Array 搜索引擎工作原理图1 习题五 一.思考题 ⒈半导体存储器主要分为哪几类？简述它们的用途和区别。 答：按照存取方式分，半导体存储器主要分为随机存取存储器RAM （包括静态 RAM 和动态 RAM ）和只读存储器ROM （包括掩膜只读存储器，可编程只读存储器，可擦除只读存 储器和电可擦除只读存储器）。 RAM 在程序执行过程中，能够通过指令随机地对其中每个存储单元进行读写操作。一般来说，RAM 中存储的信息在断电后会丢失，是一种易失性存储器；但目前也有一些RAM 芯片，由于内部带有电池，断电后信息不会丢失，具有非易失性。RAM 的用途主要是用来存放原始数据，中间结果或程序，与CPU或外部设备交换信息。 而 ROM 在微机系统运行过程中，只能对其进行读操作，不能随机地进行写操作。断电 后 ROM 中的信息不会消失，具有非易失性。ROM 通常用来存放相对固定不变的程序、汉字 字型库、字符及图形符号等。 根据制造工艺的不同，随机读写存储器RAM 主要有双极型和MOS 型两类。双极型存储 器具有存取速度快、集成度较低、功耗较大、成本较高等特点，适用于对速度要求较高的高速 缓冲存储器； MOS 型存储器具有集成度高、功耗低、价格便宜等特点，适用于内存储器。 ⒉ 存储芯片结构由哪几部分组成？简述各部分的主要功能。 答：存储芯片通常由存储体、地址寄存器、地址译码器、数据寄存器、读写驱动电路及控制电路等部分组成。 存储体是存储器芯片的核心，它由多个基本存储单元组成，每个基本存储单元可存储一 位二进制信息，具有0和 1两种状态。每个存储单元有一个唯一的地址，供CPU访问。 地址寄存器用来存放 CPU访问的存储单元地址，该地址经地址译码器译码后选中芯片内 某个指定的存储单元。通常在微机中，访问地址由地址锁存器提供，存储单元地址由地址锁 存器输出后，经地址总线送到存储器芯片内直接进行译码。 地址译码器的作用就是用来接收CPU送来的地址信号并对它进行存储芯片内部的“译码”，选择与此地址相对应的存储单元，以便对该单元进行读写操作。 读写控制电路产生并提供片选和读写控制逻辑信号，用来完成对被选中单元中各数据 位的读写操作。 数据寄存器用于暂时存放从存储单元读出的数据，或暂时存放从CPU送来的要写入存储 器的数据。暂存的目的是为了协调CPU和存储器之间在速度上的差异。 实验一 灰度图像信息熵的相关计算与分析 一、实验目的 1、复习信息熵，条件熵，联合熵，互信息，相对熵的基本定义, 掌握其计算方法，学习互信息与相对熵的区别之处并比较两者的有效性，加深对所学理论理论知识的理解。 2、掌握图像的的基本处理方法，了解图像的编码原理。 3、学习使用matlab ，掌握matlab 的编程。 4、通过对比分析，。在解决问题的过程中，锻炼自身对问题的研究能力。 二、实验内容与要求 1、计算灰度图像的信息熵，条件熵，联合熵，互信息，相对熵，并比较互信息和相对熵在判别两幅图像的联系与区别。 2、利用matlab 编程计算，并书写完整实验报告。 三、实验原理 1、信息熵 离散随机变量X 的熵H(X)为： ()()log () x H X p x p x χ ∈=-∑ 图像熵是一种特征的统计形式，它反映了图像中平均信息量的多少。图像的一 维熵表示图像中灰度分布的聚集特征所包含的信息量，将图像的灰度值进行数学统计，便可得到每个灰度值出现的次数及概率，则定义灰度图像的一元灰度熵为： 255 log i i i H p p ==-∑ 利用信息熵的计算公式便可计算图像的信息熵，求出任意一个离散信源的熵（平均自信息量）。自信息是一个随机变量,它是指某一信源发出某一消息所含有的信息量。所发出的消息不同，它们所含有的信息量也就不同。任何一个消息的自信息量都代表不了信源所包含的平均自信息量。 信息熵的意义：信源的信息熵H 是从整个信源的统计特性来考虑的。它是从平均意义上来表征信源的总体特性的。对于某特定的信源，其信息熵只有一个。不同的信源因统计特性不同，其熵也不同。 图像的一维熵可以表示图像灰度分布的聚集特征，却不能反映图像灰度分布的空间特征，为了表征这种空间特征，可以在一维熵的基础上引入能够反映灰度分布空间特征的特征量来组成图像的二维熵。选择图像的邻域灰度均值作为灰度分布的空间特征量，与图像的像素灰度组成特征二元组，记为( i, j )，其中i 表示像素的灰度值(0255)i ≤≤，j 表示邻域灰度(0255)j ≤≤, 2 (,)/ij P f i j N = 信息论 实验一计算信息熵及其互信息 实验者：王国星 班级：09030701 学号：2007302147 2009年10月20日 实验一计算信息熵及其互信息一．实验目的 1.理解信源的概念。 2.了解如何获得信息。 3.学会计算信息熵。 4.学会计算两个信息的互信息。 二．实验原理 1.信息论是运用概率论与数理统计的方法研究信息、信息熵、通信系统、数据传输、密码学、数据压缩等问题的应用数学学科。 信息论将信息的传递作为一种统计现象来考虑，给出了估算通信信道容量的方法。信息传输和信息压缩是信息论研究中的两大领域。这两个方面又由信息传输定理、信源－信道隔离定理相互联系。 香农(Claude Shannon)被称为是“信息论之父”。人们通常将香农于1948年10月发表于《贝尔系统技术学报》上的论文《A Mathe matical Theory of Communication》（通信的数学理论）作为现代信息论研究的开端。这一文章部分基于哈里·奈奎斯特和拉尔夫·哈特利先前的成果。在该文中，香农给出了信息熵（以下简称为“熵”）的定义： 这一定义可以用来推算传递经二进制编码后的原信息所需的信道带宽。熵度量的是消息中所含的信息量，其中去除了由消息的固有结构 所决定的部分，比如，语言结构的冗余性以及语言中字母、词的使用频度等统计特性。 信息论中熵的概念与物理学中的热力学熵有着紧密的联系。玻尔兹曼与吉布斯在统计物理学中对熵做了很多的工作。信息论中的熵也正是受之启发。 互信息(Mutual Information)是另一有用的信息度量，它是指两个事件集合之间的相关性。两个事件X和Y的互信息定义为： I(X,Y) = H(X) + H(Y) - H(X,Y) 其中H(X,Y) 是联合熵(Joint Entropy)，其定义为： 互信息与多元对数似然比检验以及皮尔森χ2校验有着密切的联系。 2. MATLAB 是美国MathWorks公司出品的商业数学软件，用于算法开发、数据可视化、数据分析以及数值计算的高级技术计算语言和交互式环境，主要包括MATLAB和Simulink两大部分。它在数学类科技应用软件中在数值计算方面首屈一指。 MATLAB可以进行矩阵运算、绘制函数和数据、实现算法、创建用户界面、连接其他编程语言的程序等，主要应用于工程计算、控制设计、信号处理与通讯、图像处理、信号检测、金融建模设计与分析等领域。本次试验我们将利用MATLAB对图像的信息熵和互信息进行计算。 三．实验内容 习 题 五 一. 思考题 二. 综合题 ⒈ 已知一个SRAM 芯片的容量为16KB×4，该芯片的地址线为多少条？数据线为多少条？ 答：芯片容量为142B ，所以该芯片的地址线为14条，数据线为4条。 ⒉ 巳知一个DRAM 芯片外部引脚信号中有4条数据线，7条地址线，计算其存储容量。 答：7 421284?=?位。 3.某存储芯片上有1024个存储单元，每个存储单元可存放4位二进制数值，则该存储芯片的存储容量是多少字节。 答：512B 。 4. 某 RAM 芯片的存储容量为 1024×8 位，该芯片的外部引脚最少应有几条？其中几条地址线？几条数据线？若已知某 RAM 芯片引脚中有 13 条地址线，8 条数据线，那么该芯片的存储容量是多少？ 答：该芯片外部引脚最少应有18条；其中10条地址线，8条数据线。 芯片的存储容量是32KB 。 5. 在部分译码电路中，若CPU 的地址线A 15、A 14和A 13未参加译码，则存储单元的重复地址有多少个。 答：328=个。 6. 假设选用一片6264芯片和一片2764芯片构成内存储系统。采用线选法控制片选端，至少需要多少条片选地址线？若采用部分译码法控制片选端，至少需要多少条片选地址线？采用全部译码法控制片选端，则需要多少条的片选地址线？ 答：用线选法控制片选端，至少需要2条片选地址线；若采用部分译码法控制片选端，至少需要1条片选地址线；采用全部译码法控制片选端，则需要1条的片选地址线。 7.设某微型机的内存RAM 区的容量为128KB ，若用 2164 芯片构成这样的存储器，需多少片 2164？至少需多少根地址线？其中多少根用于片内寻址？多少根用于片选译码？ 答：需16片 2164；至少需8根地址线；其中7根用于片内寻址；1根用于片选译码。 8. 设有一个存储器系统，由2个8KB 的6264SRAM 芯片构成。其中1#芯片的地址范围为0A6000H~0A7FFFH ，2#芯片的地址范围为0AA000H~0ABFFFH ，下图画出了74LS138译码器、存储器与8088CPU 的连接图，但只画出了连线图的一部分，请将电路连接图补充完整。 图像的信息熵的程序 >> A=imread('C:\Users\dmin\Desktop\133194489.jpg'); >> [M,N]=size(A); temp=zeros(1,256); for m=1:M; for n=1:N; if A(m,n)==0; i=1; else i=A(m,n); end temp(i)=temp(i)+1; end end temp=temp/(M*N); result=0; for i=1:length(temp) if temp(i)==0; result=result; else result=result-temp(i)*log2(temp(i)); end end result 运行MATLAB结果如下 result = 6.8645 黑白图片 >> A=imread('C:\Users\dmin\Desktop\t011168b065a19ba23d.jpg'); >> [M,N]=size(A); temp=zeros(1,256); for m=1:M; for n=1:N; if A(m,n)==0; i=1; else i=A(m,n); end temp(i)=temp(i)+1; end end temp=temp/(M*N); result=0; for i=1:length(temp) if temp(i)==0; result=result; else result=result-temp(i)*log2(temp(i)); end end result 运行MATLAB结果如下 result = 7.0214 第五章 参考答案 1.简述SRAM 芯片与DRAM 芯片的共同点与不同点。 答：SRAM 与DRAM 的共同点：都属于随机存取存储器，具有易失性。 SRAM 与DRAM 的共同点：SRAM 利用双稳态触发器电路保存信息，集成度比DRAM 低，功耗比DRAM 大；DRAM 利用MOS 管栅极和源极之间的极间电容C 保存信息，需要刷新电路保证信息较长时间保存。 2.叙述ROM 芯片的常见分类，各种ROM 芯片的特点及其适用场合。 答：ROM 的常用分类结果： 掩膜ROM ：生产完成的芯片已保存了信息，保存的信息无法修改，适用于大批量的定型产品中。 PROM ：PROM 可以一次写入信息，一旦写入无法更改，适用于小批量的定型产品中。 EPROM ：紫外线擦除可多次编程的存储器，适用于新产品的开发。 EEPROM ：电擦除可多次编程的存储器，适用于需要在线修改的场合。 3.利用4片6116（2K ×8位）芯片设计连续存储器，采用全地址译码。设起始地址为60000H ，求存储器的最后一个单元地址。 答：存储器的最后一个单元地址为：61FFFH. 4．用6264 RAM （8K ×8位）芯片构成256K 字节存储器系统，需要多少片6264芯片？20位地址总线中有多少位参与片内寻址？有多少位可用作片选控制信号？ 答：需要32片6264芯片。 20位地址总线中有13位参与片内寻址；有7位可用作片选控制信号。 5.某微机系统中ROM 区有首地址为9000H ，末地址为FFFFH ，求其ROM 区域的存储容量。 答：其ROM 区域的存储容量为28K 。 6．在8088CPU 的系统中扩展32K 字节的RAM ，其扩充存储空间的起始地址为08000H 。设系统的地址总线为A 19~A 0，数据总线为D 7~D 0，存储器芯片选用6264。利用74LS138译码器设计译码电路，并画出扩充的存储器系统的连线图。 解： 7．选用2764、6264存储器芯片，为8086 CPU 最小方式系统设计16K 字节的ROM 和256K 字节的RAM ，利用74LS138译码器画出译码电路和存储器芯片的连接图。 8088系统 BUS D 0~D 7 MEMW MEMR A 0~A 12 A 19 A 18 A 17 A 16 A 15 A 14 A 13 信息熵 熵的概念是由德国物理学家克劳修斯于1865年所提出。熵最初是被用在热力学方面的，由热力学第二定律可以推出熵增的结论，然后熵是用来对一个系统可以达到的状态数的一个度量，能达到的状态数越多熵越大。信息熵也基本是很类似的，是香农1948年的一篇论文《A Mathematical Theory of Communication》提出了信息熵的概念，并且以后信息论也被作为一门单独的学科。 信息熵是用来衡量一个随机变量出现的期望值，一个变量的信息熵越大，那么他出现的各种情况也就越多，也就是包含的内容多，我们要描述他就需要付出更多的表达才可以，也就是需要更多的信息才能确定这个变量。在吴军老师的那篇《汉语信息熵和语言模型的复杂度》文章里说，只考虑字频的话英文是4.46比特/字符的信息熵，汉字是9.6比特/字符，直观上很容易理解，英文字母只有26个，所以描述一个字母所需要的信息表示不多，而中文字却很多，就需要更多的信息量才能表示。用点通俗的来讲，信息熵衡量了一个系统的复杂度，比如当我们想要比较两门课哪个更复杂的时候，信息熵就可以为我们作定量的比较，信息熵大的就说明那门课的信息量大，更加复杂。 那么信息熵可以做什么呢，首先信息熵作为衡量一个系统复杂度的表示，在压缩时就相当于一个压缩极限的下限，不同的内容，如果他的信息熵越小，说明信息量越小，也就是压缩后所占的体积能够更小，信息熵在人工智能方面也有很多的应用，其中最有名的就是最大熵原理，保留尽可能大的不确定性而作出最佳的尽量无偏差的决定。 最后来看看信息熵的公式 为什么会有这样的公式呢，很多地方都直接没有说这个问题，这个公式并不是香农随便乱说的，在香农1948年的那篇文章里就可以看到，这个公式是推导出来的。香农说，熵这个公式需要满足这么几条性质，对于随机变量S的取值(s1,s2...sn)发生的概率是(p1,p2...pn)，那么 信息熵对于pi应该是连续的 如果所有的pi都相等，也就是pi=1/n那么信息熵应该是关于n的单调递增函数 实验一信息熵与图像熵计算 一、实验目的 1．复习MATLAB 的基本命令，熟悉MATLAB 下的基本函数。 2．复习信息熵基本定义, 能够自学图像熵定义和基本概念。 二、实验仪器、设备 1．计算机－系统最低配置 256M 内存、P4 CPU。 2．Matlab 仿真软件－ 7.0 / 7.1 / 2006a 等版本Matlab 软件。 三、实验内容与原理 （1）内容： 1．能够写出MATLAB 源代码，求信源的信息熵。 2．根据图像熵基本知识，综合设计出MATLAB 程序，求出给定图像的图像熵。（2）原理 1． MATLAB 中数据类型、矩阵运算、图像文件输入与输出知识复习。 2．利用信息论中信息熵概念，求出任意一个离散信源的熵（平均自信息量）。自信息是一个随机变量,它是指某一信源发出某一消息所含有的信息量。所发出 的消息不同，它们所含有的信息量也就不同。任何一个消息的自信息量都代表不了信源所包含的平均自信息量。不能作为整个信源的信息测度，因此定义自信息量的 数学期望为信源的平均自信息量： 信息熵的意义：信源的信息熵H是从整个信源的统计特性来考虑的。它是从平均意义上来表征信源的总体特性的。对于某特定的信源，其信息熵只有一个。不同的信源因统计特性不同，其熵也不同。 3．学习图像熵基本概念，能够求出图像一维熵和二维熵。 图像熵是一种特征的统计形式，它反映了图像中平均信息量的多少。图像的一 维熵表示图像中灰度分布的聚集特征所包含的信息量，令P i 表示图像中灰度值为i的像素所占的比例，则定义灰度图像的一元灰度熵为： 255 log i i i p p = =∑ H 图像的一维熵可以表示图像灰度分布的聚集特征，却不能反映图像灰度分布的空间 特征，为了表征这种空间特征，可以在一维熵的基础上引入能够反映灰度分布空间 特征的特征量来组成图像的二维熵。选择图像的邻域灰度均值作为灰度分布的空间 特征量，与图像的像素灰度组成特征二元组，记为( i, j )，其中i 表示像素的灰度值 (0 <= i <= 255)，j 表示邻域灰度(0 <= j <= 255), 2 (,)/ ij P f i j N = 上式能反应某像素位置上的灰度值与其周围像素灰度分布的综合特征，其中f(i, j) 为特征二元组(i, j)出现的频数，N 为图像的尺度，定义离散的图像二维熵为：255 log ij ij i p p = =∑ H 构造的图像二维熵可以在图像所包含信息量的前提下，突出反映图像中像素位置的灰度信息和像素邻域内灰度分布的综合特征. 实验二 熵的计算 一、实验目的 通过本次实验的练习，使学生进一步巩固熵的基本概念，掌握熵的统计方法，培养学生使用编程工具进行分析计算的基本能力。 二、实验仪器与软件 1. PC 机 1台 2. MATLAB7.0环境 三、实验原理 (一)信息熵的基本原理 离散信源数学模型如下（设该信源可能取的符号有n 个）： ? ?????=??????)(,),(,),(),( ,, , , , )( 2121n i n i a p a p a p a p a a a a X P X 则该信源的信息熵为 )(log )()(21i n i i x p x p X H ∑== H(X)是信源X 中每个事件出现的平均信息量，或者说H(X)表示了信源X 中各符号出现的平均不确定性。 图像的信息熵 设数字图像的灰度级集合为{r 1,r 2,…,r m }，其对应的概率分别为p (r 1),p (r 2),…,p (r m )，则图像的信息熵可以定义为： 图像的信息熵表示像素各个灰度级位数的统计平均值，它给出了对此输入灰度级集合进行无失真图像编码时所需要的平均位数的下限。 （二）图像文件的读取 （1）函数imread （） MATLAB 通过函数imread 完成图像的读取，该函数语法格式如下： I = imread(filename,fmt) 用于读取由filename 指定的图像数据到数组A 中，参数fmt 对应于所有图像处理工具所支持的图像文件格式。如I=imread （'rice.tif'）； （2）函数imhist （） 显示图像的直方图。 用法： imhist(I,n) 计算和显示图像I 的直方图，n 为指定的灰度级数目，默认为256。如果I 是二值图像，那么n 仅有两个值。 [counts,x] = imhist(I) 返回直方图数据向量counts 或相应的色彩值向量x 。 （3）函数size(a) 表示矩阵a 每个维度的长度 如size([1 2 3;4 5 6])，返回[2 3]，表示该矩阵有2行3列 实验一信息熵的表示和计算 （实验估计时间：120 分钟） 1.1.1 背景知识 信息熵是美国贝尔实验室数学家仙侬(SHANNON)在1948年他的"通讯数学理论"那篇文章中首先提出的. 仙侬也因此获得了现代信息通讯技术之父的美称. 他对信息通讯的贡献可以说是对世纪进入信息时代奠定了最重要的基础理论. 要简单说信息熵(ENTROPY)的概念很不容易,不过你只要把它看做是信息的一种数量化的衡量尺度就八九不离十了. 就象世界原来并没有时间这个东西,但是处于测度生命和运动过程的需要,人们发明了时间的概念.同样,信息原本并没有测度标准,但是出于衡量信息传递量和速度的需要,仙侬先生发明了对于信息的一个度量方法,这就是信息熵,它的单位是BIT. 为什么用BIT? 因为在二次大战结束后,世界通讯领域发展很快,电报,电话,电传等普及了,而这些以电脉冲为信号载体的设备的最基本的结构就是只具有两种状态的开关(继电器). 所以二进制的通讯信号已经是最普及的信息通讯编码方式,以它作为信息的测度尺寸也是最自然的选择. 以英文为例看如何计算信息熵. 我们都知道英文使用26个字母,如果我们把字母在所传输信息中出现的频率看做是随机的,而且具有同样的概率. 那么要传输26个字母中的任何一个就至少需要4个多BIT才够(4位最大是16个,5位最大是32个,26个字母介于两者之间). 当然,每个字母在传输信息中出现的概率不可能一样,比如 A是1/16; Ｂ是1/13; ...Z是1/126;(它们的和是1),那么通过计算可以得出英文的信息熵是4.03(根据参考文章介绍的数据). 2n = X; 其中 X 就是传输信息所需要的字符集的大小减去它的冗余度. 公式: H(信息熵) = -∑ P i log 2 (P i ); P i :为每个字母在信息中出现的概率; 计算公式并不复杂. 取以2为底的对数的道理也很简单,因为如果: 2n = X 的话,那么logX = n; 所以可以看出所谓信息熵就二进制的字符集在去掉冗余度后的二进制编码位数.冗余度是通过统计每个字符出现概率获得的。 小知识 冯志伟先生将仙侬的信息熵的计算用于非拼音的汉字字符集的信息熵的计算,这是一项工作量很大的任务.因为我们都知道,汉字的字符集很大,常用的有6-7000个,当然随着字符集的扩大,每个汉字出现的概率是不同的,有些罕用字 基于互信息的特征选择 1. 模型 定义D1 病集S 由有关心脏病病种i X ( i =1, 2, …, n) 组成, 令患者的疾病信息熵1-2为: )(1log )()(1i n i i X P X P X H ∑=-= (1) 显然疾病信息熵具有Shannon 信息熵的性质, 反映了临床中具体病人的客观信息及实际医疗干预过程中所表现的信息在总体特征上的平均不确定性. 定义D2: 一个诊断病例库能够表示为关于病例特征的矩阵形式 n m ij x Casebase ?=][ (2) 其中, ij x —病例库中第j 个病例的第i 个属性值; m —病例特征数量; n —病例库规模; 定义D3: 一个信息系统( IS) 能够表示为 ,,,r r f R I U R V f ∈=<> (3) 其中, U 是对象的非空有限集合, R 是属性的非空有限集合, r r R V V ∈= 是属性值 的集合, V r 表示了属性任意r R ∈时的属性值范围, :r f U R V ?→ 是一个信息函数, 它指定U 中每一个对象 x 的属性值. 1 马笑潇, 黄席樾, 等. 基于信息熵的诊断过程认知信息流分析[J]. 重庆大学学报: 自然科学版, ,25(5):25-28. 2 王园, 吉国力, 魏磊. 信息熵在临床定量诊断分析中的研究及应用[J]. 厦门大学学报: 自然科学版, ,43(B08):353-356. 当R 中的属性集可进一步分解为条件属性集合C 和决策属性集合D, 且满足 ,R C D C D =? ?=?时, 信息系统(IS)称为决策系统(DS)3. a i 为某一条件属性, 则决策属性D 对某一条件属性a i 的依赖程度能够利用下式计算4-5: ( 4) 式中, R C 、 R D 分别表示条件属性集合C 和策属性集合D 在论域上的等价关 系.()D C R H R 表示R D 相对于R C 的条件熵.(,)i I a D 的值越大, 则条件属性a i 对决策属性D 的重要性越大.如果(,)0i I a D =, 则说明a i 对于D 不起作用, 能够删除.在基于属性信息增益的约简方法中, 计算案例库属性集的每个属性的信息增益, 并约定属性的信息增益大于某个阈值时就将该属性归入最优属性子集, 否则弃用属性. 1.3 基于互信息的特征选择6: 三种经典的基于互信息的特征选择算法, 分别为信息增益、 互信息和交叉熵, 以及于互信息最大化的特征选择算法7。 3 张文宇. 数据挖掘与粗糙集方法[M]. 西安电子科技大学出版社, : 49. 4 屈利, 苑津莎, 李丽. 基于事例推理的电力系统短期负荷预测[J]. 电力科学与工程, ,24(2):59-63. 5 程其云, 孙才新, 周湶, 等. 粗糙集信息熵与自适应神经网络模糊系统相结合的电力短期负荷预测模型及方法[J]. 电网技术, ,28 (17): 72-75. 6 Li Y F, Xie M, Goh T N. A study of mutual information based feature selection for case based reasoning in software cost estimation [J]. Expert Systems with Applications, , 36(3, Part 2): 5921-5931. 7唐亮,段建国,许洪波,梁玲.基于互信息最大化的特征选择算法及应用[J]. 计算机工程与应用, ,44(13):130-133第5讲信息熵课件
中文公众事件信息熵计算方法
第五章微机原理课后习题参考答案_2012
实验一-灰度图像信息熵的相关计算与分析
计算信息熵及其互信息
微机原理第五章习题答案
求图像信息熵,基于matlab
微机原理与接口技术第五章课后答案
信息熵个人总结超全
信息熵与图像熵的计算
信息论编码实验二熵的计算
信息熵的表示和计算
信息熵特征选择方案样本