信息复杂程度熵原理

为“信息、复杂程度、熵原理”统一定做的知识体系--组成理论

张学文

（中国气象局乌鲁木齐沙漠气象研究所）

一、从信息、熵、复杂性的关系谈起

现代科学中有一些已经被广泛使用而含义不十分清楚的概念，如“信息”、“熵”、“复杂性”。什么是信息，什么是复杂性？它们分别有数十个定义。什么是熵，很多人难理解，可爱因斯坦说熵原理是自然界的最高法则。关于“信息、熵、复杂性”，已经发表了大量见解，其中一些涉及这三个概念之间的关系，使人隐约感到这三个概念不是彼此孤立无关的概念。人们期待科学界为这三个概念提出清楚的定义、明确的关系，使它们成为互相补充、互相印证的概念，而不是互不相容、互相拆台，引发混乱的根源。如果可以引出一种比较严密的理论认识，可以把三个概念的含义和关系统一地表达清楚，那就是认识上的重要进步。

《组成论》[1]一书用所谓“广义集合”的模型看待各种具体的客观事物。在此基础上（含引入的个体概念和标志概念）自然地引出分布函数概念，利用它定义了“复杂程度”概念。《组成论》给出了“复杂程度”概念与信息（熵）的定量关系，也指出热力学熵只是客观事物的复杂程度的一种特例、熵原理只是它提出的“最复杂原理”的特例。可以说“组成理论”是为“信息、复杂程度、熵原理”统一量身定做的知识体系。“组成理论”没有从含糊不清的概念出发泛议它们的关系，它从更基础的、清楚概念出发，慢慢地、逻辑地回答了这些重要问题，并且引出很多有启发性的新认识。

二、“组成”问题具有普遍性

现代科学的分科已经有数千种之多，分科越来越细固然是科学发展的重要趋势，但隔行如隔山，忽视了对客观事物的某些共同概念、模型、规律的探求。《组成论》提出一种新的视角，横向地分析各个领域的客观事物普遍存在的“组成”问题。

天体主要由星系组成的，地球表面由海洋和陆地组成，生物是由微生物、植物、动物组成，而所有这些又是由分子、原子或者更小的基本粒子组成的。社会科学和生活中有大量的组成问题，国土由各个省区组成，社会由不同人群组成，政府由各个职能部门组成，人体由各个器官组成，一本书由各个章组成，一场演出由各个节目组成。一套体操、一首歌曲、一付中药都有组成问题。一切事物尽管极不相同，但都存在内部组成问题。“组成”问题的普遍存在，要求研究它的共同概念、模型、方法、技术和原理。组成理论用新视角分析各个领域中存在的组成问题，同时也摆正了信息-复杂性-熵的关系。

三、新视角下的基本概念

如何摆脱各个领域关于组成问题的具体内容，又要在更高的层次体现它的基本特征？组成论认为，首先要提炼描述组成问题的通用概念。能否树立通用于描述组成问题的基本概念（模型）是非常重要的一环。“组成理论”为此提供了三个基本概念：广义集合、分布函数和复杂程度。

经典集合概念可以区分一个总体内不同的个体有哪些，却不分析相同的个体有多少。如

对图中的场合，经典集合（set ）概念认为框内只有两种不同的元素a 和b 。而组成论引入的“广义集合”概念认为这里有5个个体，两个a 和三个b 。基本概念上的这个很小的区别就引出了新事物。广义集合概念与所谓多重集合概念（multiset ）类似，但是强调了“个体”概念。它首先把研究对象看作一个总体（系统、集体、客观事物），由N 个（整数）地位相同、又具有一定的独立地位的个体组成，对于某个（可能多个）标志而言，每个个体在给定的时刻都有确定的标志值（如10个学生，每个都有确定的身高）。上图中有5个地位相等的个体（字符），其中3个的标志值是b ，另外两个的标志值是a 。

对每个具体的广义集合都可以提出这样一个问题：不同标志值的个体各有多少（如一页汉字文章中不同的汉字各有多少，一个班的同学中不同体重的学生各有多少，一药店中不同名称的药品各有多少）。这类问题的答案统称为分布函数，它描述了不同标志值（字符、体重、药品）在该总体内占有的个体的数量（关系）。如果一个广义集合内的N 个个体具有k 种不同的标志值x 1，x 2，而且它们分别具有的个体的数量为下表

x

n

那么组成论推荐计算这样一个综合性的物理量C ∑=-=k i i i N

n n C 1log

N 是总体（广义集合）的个体总量。根据分析C 不仅总为正值，而且具有描述广义集合内各个个体的状态（标志值）的丰富（复杂）程度的能力。“组成理论”把这个物理量称为该广义集合的内部状态的复杂程度。

“广义集合”在描述很多组成问题时简单又得力。每个明确的广义集合必然伴有一个具体的“分布函数”。对分布函数进行上面的运算就得到一个数值、指标，它恰好描述了广义集合（研究对象）的内部状态（组成、构成、成分）的“复杂（丰富）程度”。这样定义的三个概念符合吴学谋提出的建立概念要具有“相对普适性”、“相对确切性”和“形式的相对具体性”[2]。广义集合、分布函数和复杂程度是从新视角研究组成问题的三块基石。“组成理论”就踩着这很少的基本概念展开其视野。

集合与多重集合概念在数学领域广为应用（广义集合概念中又补进了“个体”概念），分布函数概念在物理学、概率论中早已应用（组成论仅是利用广义集合定义它，泛化它）。

但是组织论的广义集合、分布函数、复杂程度概念的应用领域要广泛得多。“组成理论”里给出了在多个领域的上百类的例子。分析表明，复杂程度概念与信息论中的信息熵成正比例，而物理学中的热力学熵就是事物复杂程度的一种。复杂程度概念的明朗化为信息概念进入物理学以及唯物论搭起了桥梁，也为神秘的熵概念的通俗化、准确化提供了思路和语汇。据此我们建议把熵改称为复杂程度。

组成问题是系统科学的初级的、重要的内容。姜璐认为：“熵是系统科学的基本概念”

[3]，由于熵就是复杂程度，复杂程度也应当是系统科学的基本概念。复杂性研究正在成为一个新热点，如何研究复杂性？组成论定义的复杂程度应当是复杂性研究的基础部分。组成论与系统科学、信息论、热力学、概率论、复杂性研究都有关系。

四、通用的规律

如果定义了很多新概念而没有发现用它们表述的客观规律，新概念是否值得提出就会受到质疑。在引入了三个基本概念之后就应当揭示对应的客观规律。“组成理论”指出一些具有普遍适用（普适）意义的规律。目前主要介绍最复杂原理。

介绍三个基本概念、最复杂原理及其应用是组成论的主轴线。最复杂原理是物理学中神秘的熵原理在新概念下的泛化，也是信息论最大熵方法的物质化。最复杂原理存在于具有随机性的客观事物中。它不是说这个原理非常复杂，而是说客观事物的复杂程度自动地最大化。火车上有1000位乘客，他们的目的地都相同吗？不会，根据最复杂原理。其目的地自动地最复杂化（去向的复杂程度达到最大值）。进商场的每个人都买了相同的商品吗？不会，他（她）们购买的商品自动最复杂化。允许自行谋生以后，大家的收入都一样多么？不会，最复杂原理指出，贫穷者与富翁占的比例自动达到最复杂的程度。一场篮球赛结果是80:70，这150分都是靠三分球得到的，或者都是靠罚球得的分吗？最复杂原理指出，投篮得分方式的复杂程度自动地达到最大值。一根麻线缠到一起了，用一把快刀砍上1000次，得到的碎线头都一样长吗？不可能，根据最复杂原理，可以计算出不同长度的线段占的百分比符合负指数分布规律[4]。这个答案恰好定量回答了不同线段所占的比例（组成）问题。

利用最复杂原理可以从理论上得到很多广义集合的分布函数。

为什么会存在最复杂原理？这里给的答案是它来源于客观事物自身具有随机性（各个个体的独立性）。为了严格这个逻辑链条，组成论引入了一个非常浅显的公理。最复杂原理是这个公理的一种推论。

复杂程度概念帮助信息（熵）概念物质化了，也帮助熵概念走出了热力学。复杂程度是各个层次的客观事物本身具有的物理量。化学家通过化学变化时物质的总质量的不变性证实了质量守恒性，物理学通过不同形态的能量变化时其总能量不变性证实了能量守恒性，组成论讨论了物质在变化时其不同形态的复杂程度的互相转化问题，指出了客观事物的不同形

态的复杂程度也具有互相转化现象。还提出了“信息不可增殖”、客观事物的复杂程度（时间平均值）也具有守恒性的观点，即物质的质量守恒、物质的能量守恒和物质的复杂程度守恒是对称的三个定律（也可以归入爱因斯坦质量、能量公式的扩大化的思路中）。

由于复杂程度联系着客观事物的组成问题，最复杂原理也就是关于各种事物的组成的通用原理（如果它具有随机性）。这不仅为描述组成问题提供了新的概念，也揭示了关于它的一般原理（实为熵原理的泛化）。而这也使熵原理走出了物理学。

组成论主张把熵原理改称为最复杂原理，这样做通俗，又不失准确性，也有利于它迈入诸如社会科学等这些与物理学相距甚远的领域。

史定华提出了关于密度演化的理论和方法[5]。密度演化也就是分布函数随时间的变化。例如马尔科夫过程、哈密顿方程等等仅是他列举的个例。很显然，这些知识也可以归入组成论中。实际上流体的连续方程以至量子力学中的波动方程都是关于事物的分布函数（或者是其变态）的有关规律。组成论成为一个知识的集中点以后，可以归入其中的规律是很多的。

五、广泛的应用

组成论把各个学科中的组成问题归入自己的视野，所以各个领域用各种仪器、方法得到的一切资料都是它研究的对象。即各个学科天然地为此提供了非常丰富的客观事实。从应用角度看，组成论可以做四件事：

用统一的语言、公式、表格概括各个领域关于组成问题的客观事实（如某些经验公式）；

用最复杂原理等规律与具体约束相结合，定性或者定量解释已经知道的客观事实；

把一般规律与各个具体领域的特殊条件相结合，预言存在某种现象、规律（公式）；

把发现的规律用于指导实践（社会实践、生产实践、科学实践）。

各个学科都存在组成问题，但是它们在描述客观事物组成时用的描述工具各不相同。有的给出一个非常简练的公式表示它，有的使用表格，更多的是定性语言描述、罗列现象或者数字（也有规定了一些很专门的符号描述它）。组成论认为，分布函数是描述组成问题的简繁适度的工具，它还为描述离散型的分布函数给出一种特殊的“多项式”表示方法[6]。利用广义集合分布函数概念，容易把组成问题归结为寻找一个表示分布函数的经验公式。

各个领域都发现了大量的经验公式（唯象关系），其中有一部分就是分布函数。对于这些经验公式经常没有理论说明。于是人们期盼着对应的理论的出现。最复杂原理的最重要的应用就是配合该领域的特殊条件从理论上推导出定量的分布函数，即从理论上得出客观事物的组成情况。前面的“斩乱麻问题”就是例子。

在各个学科努力引用数学的潮流中，统计数学被推广应用到很多领域。统计数学中介绍十多种经常用到的概率分布公式，并且指出很多客观事物符合这种分布或者另外一种。它们为什么符合这一种或者那一种？对此统计学或者概率论没有统一的说明。组成论中的最复杂原理可以说明符合那一些约束条件的客观事物必然具有那一种分布函数。最复杂原理为众多概率分布给出了格式统一（约束条件不同）的理论说明，不仅使很多经验公式找到了步入理

论殿堂的途径，也提高了概率分布函数知识的系统性。分散在各个学科中的符合分布函数含义的经验公式（概率分布）成千上万，其中80%可能仅停留在经验事实阶段，没有理论解释。最复杂原理就是一个新武器，它很有可能帮助您把很多经验公式提高到理论高度。理解、掌握和应用最复杂原理既帮助您取得了新的科学研究成果，也提高了科学研究水平、扩大了知识领域。

组成论属于初创，三个概念和一个原理，连同某些概率论、热力学、信息论知识等，都是组成论的最早居民。

六、与其他学科的关系

组成论是一组定位特殊的知识体系，但是它也与某些科学知识体系有关。

统计与概率：统计学广泛应用于各个领域。统计学研究的对象是什么？哪些对象可以计算平均值？这些一般统计学问题用组成论中的广义集合等语言会表述的更清楚。概率论中有很多概率分布函数。它们为什么是这样？组成论用最复杂原理对一些概率分布提出了统一的物理（原因性的）说明。

物理学：组成论基本思想来自统计物理学，但是又设法使它们泛化（也通俗化）了。统计物理学中和概率论中的分布函数概念的泛化就是广义集合的分布函数概念。热力学第二定律（熵增加原理）和信息论中的最大熵原理（方法）的泛化就是最复杂原理。

信息论：申农的信息论是组成论思想泛化的一种重要基础。复杂程度概念就是落实到物质科学中的信息熵。关于信息量的一些知识是组成论的组成部分。

系统论：系统论主要研究事物内各个元素的特性、组成、功能、结构和关系。组成论是研究系统组成的基础（初级）工具。它为系统论提供了一些基本概念和规律。系统论强调“全量大于分量和”，而无以明确这个“量”究竟是什么，组成论指出有时两个系统（广义集合）的合并可以使新系统的复杂程度大于各个广义集合的复杂程度的“和”。组成论是系统科学的一部分。

复杂性研究：近年来复杂性研究逐渐成为热门。但是把各种领域的复杂问题在没有得力的新概念的情况下都罗列出来会使复杂性研究很快进入死路。对“复杂”进行定量度量是进行复杂性研究的基础一环。组成论中定义的复杂程度正是复杂性研究的基础工作，而这里的最复杂原理是复杂性研究的重要原理。所以把组成论看成是对复杂性的一种（初级、基础）研究是妥当的。组成论不是复杂性研究的全部，但是组成论是复杂性研究不可能回避的部分。

【点评一】作者提出的“组成论”，将熵的度量改称为复杂性的度量，但是一般认为，物理热力学中的熵，推广应用是衡量有序性与无序性的度量。完全有序的确定性问题是简单的，完全无序的随机性也是简单的，恰恰是既确定、又不确定，是复杂的，因此复杂性的度量也是复杂的。（马蔼乃）

【点评二】本文定义的复杂程度C所度量的其实是广义集合元素的差异程度，元素异质性是也只是事物复杂性的一个方面，远不能全面反映复杂性，似宜称为差异程度。（苗东升）

参考文献

1 张学文，组成论，合肥：中国科学技术大学出版社，2003

2 吴学谋，从泛系观看世界，北京：中国人民大学出版社，76，1990

3 姜璐，熵-系统科学基本概念，沈阳：沈阳出版社，1997

4 张学文，马力.斩乱麻问题，数理统计与应用概率，12卷（4），315-321，1997

5 史定华，密度演化理论简介，自然杂志，22（6），323~327，2000

6 张学文，字符多项式和表格数学，计算机工程与应用，38卷（增刊），124-126，128，2002

▁▁▁▁▁▁▁▁▁▁▁▁▁▁▁▁▁▁▁▁▁▁▁▁▁▁▁▁▁▁

作者通讯地址：830002，中国气象局乌鲁木齐沙漠气象研究所，zhangxw@https://www.wendangku.net/doc/b212012359.html,

最大熵算法笔记

最大熵算法笔记 最大熵，就是要保留全部的不确定性，将风险降到最小，从信息论的角度讲，就是保留了最大的不确定性。 最大熵原理指出，当我们需要对一个随机事件的概率分布进行预测时，我们的预测应当满足全部已知的条件，而对未知的情况不要做任何主观假设。在这种情况下，概率分布最均匀，预测的风险最小。因为这时概率分布的信息熵最大，所以人们称这种模型叫"最大熵模型"。 匈牙利著名数学家、信息论最高奖香农奖得主希萨（Csiszar）证明，对任何一组不自相矛盾的信息，这个最大熵模型不仅存在，而且是唯一的。而且它们都有同一个非常简单的形式-- 指数函数。 我们已经知道所有的最大熵模型都是指数函数的形式，现在只需要确定指数函数的参数就可以了，这个过程称为模型的训练。 最原始的最大熵模型的训练方法是一种称为通用迭代算法GIS (generalized iterative scaling) 的迭代算法。GIS 的原理并不复杂，大致可以概括为以下几个步骤： 1. 假定第零次迭代的初始模型为等概率的均匀分布。 2. 用第N 次迭代的模型来估算每种信息特征在训练数据中的分布，如果超过了实际的，就把相应的模型参数变小；否则，将它们便大。 3. 重复步骤2 直到收敛。 GIS 最早是由Darroch 和Ratcliff 在七十年代提出的。但是，这两人没有能对这种算法的物理含义进行很好地解释。后来是由数学家希萨（Csiszar) 解释清楚的，因此，人们在谈到这个算法时，总是同时引用Darroch 和Ratcliff 以及希萨的两篇论文。GIS 算法每

次迭代的时间都很长，需要迭代很多次才能收敛，而且不太稳定，即使在64 位计算机上都会出现溢出。因此，在实际应用中很少有人真正使用GIS。大家只是通过它来了解最大熵模型的算法。 八十年代，很有天才的孪生兄弟的达拉皮垂(Della Pietra) 在IBM 对GIS 算法进行了两方面的改进，提出了改进迭代算法IIS （improved iterative scaling）。这使得最大熵模型的训练时间缩短了一到两个数量级。这样最大熵模型才有可能变得实用。即使如此，在当时也只有IBM 有条件是用最大熵模型。 由于最大熵模型在数学上十分完美，对科学家们有很大的诱惑力，因此不少研究者试图把自己的问题用一个类似最大熵的近似模型去套。谁知这一近似，最大熵模型就变得不完美了，结果可想而知，比打补丁的凑合的方法也好不了多少。于是，不少热心人又放弃了这种方法。第一个在实际信息处理应用中验证了最大熵模型的优势的，是宾夕法尼亚大学马库斯的另一个高徒原IBM 现微软的研究员拉纳帕提(Adwait Ratnaparkhi)。拉纳帕提的聪明之处在于他没有对最大熵模型进行近似，而是找到了几个最适合用最大熵模型、而计算量相对不太大的自然语言处理问题，比如词性标注和句法分析。拉纳帕提成功地将上下文信息、词性（名词、动词和形容词等）、句子成分（主谓宾）通过最大熵模型结合起来，做出了当时世界上最好的词性标识系统和句法分析器。拉纳帕提的论文发表后让人们耳目一新。拉纳帕提的词性标注系统，至今仍然是使用单一方法最好的系统。科学家们从拉纳帕提的成就中，又看到了用最大熵模型解决复杂的文字信息处理的希望。

流体最小熵产生原理与最小能耗率原理_

2003年6月 水 利 学 报 SHUILI XUEBAO 第6期 收稿日期:2002 09 22 基金项目:国家自然科学基金资助项目(59979020) 作者简介:徐国宾(1956-),男,河北石家庄人,高级工程师,博士,主要从事水力学及河流动力学研究工作。 文章编号:0559 9350(2003)06 0043 05 流体最小熵产生原理与最小能耗率原理( ) 徐国宾 1,2 ,练继建 1 (1 天津大学建筑工程学院,天津 300072;2 水利部天津水利水电勘测设计研究院,天津 300222) 摘要:本文是 流体最小熵产生原理与最小能耗率原理 的第 篇。在这篇中,一是阐明了最小熵产生原理等价于最小能耗率原理;二是基于最小熵产生原理,利用流体力学的3个基本方程,即连续方程、运动方程和能量方程以及热力学的吉布斯公式,推导出了流体最小能耗率原理数学表达式。该式适用于:(1)具有稳定边界的任何开放的流体系统,如河流;(2)恒定非均匀流或均匀流;(3)层流或紊流。关键词:流体;河流;开放系统;最小能耗率原理;最小熵产生原理;非平衡态热力学中图分类号:TV131 文献标识码:A 作者在 流体最小熵产生原理与最小能耗率原理( ) 一文中介绍了非平衡态热力学中的最小熵产生原理。本文基于该原理推导出了流体最小能耗率原理数学表达式。 1 最小熵产生原理与最小能耗率原理等价 以普利高津为首的布鲁塞尔学派在推导最小熵产生原理时,使用了系统的局域熵产生 [1] ,但是 利用能量耗散函数 也能得出同样结论。局域熵产生 和能量耗散函数 有下列关系[2,3] : =T (1) 式中:T 为绝对温度; 称为能量耗散函数,具有单位时间单位体积能量的量纲,表示系统在单位时 间内单位体积耗散掉的能量,它是由不可逆过程引起的。 类似于局域熵产生可以写成广义力和广义流乘积的总和,能量耗散函数也可写成[3] : = m j =1 J j X j (2) 式(2)中广义力和广义流的选取原则与文献[4]式(26)中的广义力和广义流选取原则相同,只不过是广义力和广义流的乘积必须具有能量耗散函数 的量纲。 根据式(1),可得到能耗率 与熵产生P 之间的关系: = V d V =T V d V = TP (3) 那么,现在就可以用能耗率 替代熵产生P 来表示最小熵产生原理,可得: d d t 0(4)所以,线性区的最小熵产生原理亦可称为最小能耗率原理,二者是等价关系。即在非平衡线性区,一个开放系统内的不可逆过程总是向熵产生或能耗率减小的方向进行,当熵产生或能耗率减小至最小值时,系统的状态不再随时间变化。此时,系统处于与外界约束条件相适应的非平衡定态。 43

浅谈最大熵原理和统计物理学

浅谈最大熵原理和统计物理学 摘要 在本文中我们将分别从物理和信息论角度简单讨论熵的意义并介绍由 E.T.Jaynes 所奠立基础的最大熵原理的原始理解。透过研究理想气体，我们将阐述如何运用最大熵 原理研究真实问题。同时藉由简短分析统计物理学研究方法的问题，本文会给出最大熵 原理更深层涵义及其应用。我们将称之为最大熵原理第二延伸。最后透过真实气体的研 究，我们将描绘出如何运用第二延伸来帮助我们思考及研究热力学系统。 一、前言 长时间以来人们对于熵有物理上的理解也有二、最大熵原理 (Information theory) 上的理解。物理上l、什么是最大熵原理信息论 的熵可以说明热力学系统的演化方向、热平衡的达相信物理系学生和物理研究人员都很熟悉成与否亦或是代表系统的混乱程度等[1-3]。在信Clausius的经验准则-热力学第二定律[1,2]。该定息论里，信息熵则代表量测信息系统的可信度或者律说明当一个热力学系统达到最后热平衡状态时，是忽略度[3,4]。然而不管物理或是信息论上对熵该系统的熵会达到最大值。进一步的研究指出当系的理解，实际上仍局限于将熵视为一个量测的工统的熵最大时，其自由能将会成为最小。在此一具。正如我们可藉由系统能量的量测来了解系统状特性的影响下人们惯性的倾向于将熵视为类似能态稳定与否。然而由于E.T.Jaynes的贡献，熵可量的巨观物理量。此一物理量成为描述系统乱度的

依据。此后由于 Gibbs 引入 ensemble 观念，开视为一种研究问题的推理工具，这一层意义才为人 所知[5,6]。时至今日，我们虽然仍无法全盘了解启微观角度的研究方法因而奠立近代统计力学理熵的真正意含，但是我们也渐渐掌握熵在物理学尤解熵的理论基础。在统计力学的观念中，观察者所其是统计物理中所能扮演的角色。通过本文浅显的量测到该系统热力学性质之巨观物理量诸如系统介绍，我们将从过去Jaynes对于熵的认识到今日内能或压力，基本上只能以平圴值来表现。原因在我们的新发现，掀开熵的神秘面纱。于观察者无法明确掌握系统微观状态。此种不确定 性可以藉由机率分布如canonical ensemble来量定义为忽略度 (degree of ignorance) 或者描述化表示。古典系统熵便可由此机率分布来定义出不了选取系统信息的倾向程度，称之为倾向度 (degree Of likelihood) 。通过 Cox 和 Skilling 连续表示， 完全不同的论证[5,7]，信息熵的机率分布型式类 似于热力学熵。所不同者在于热力学熵含有波兹曼， (1) S,,kPlogP,biii常数。这样的相似性直到 Jaynes 在1957 年的研式中代表波兹曼常数而为观察者量测到kPbi究才证明这个相似其实是相等[5]。信息熵和热力系统处在状态时的机率分布。或者是连续表示， i学熵实际上具有相同的含意。Jaynes更进一步指出且证明最大熵原理 (maximum entropy principle) ，，，，S,,kdqPqlogPq ， (2) 并不只是单纯的热力学第二定律。他的研究指出，bNNN, 最大熵原理不具任何物理意义仅是一个推论的工 具。藉由此原理，观察者所拥有的相关系统信息可式中，，代表空间和动量参数且q,r,pN以公正客观的被编入特定机率分布中来描述观察，，表示观察者量

信息熵.doc

一些信息熵的含义 (1) 信息熵的定义：假设X是一个离散随即变量，即它的取值范围R={x1，x2...}是有限可数的。设p i=P{X=x i}，X的熵定义为： (a) 若(a)式中，对数的底为2，则熵表示为H2(x)，此时以2为基底的熵单位是bits，即位。若某一项p i=0，则定义该项的p i logp i-1为0。 (2) 设R={0,1}，并定义P{X=0}=p，P{X=1}=1-p。则此时的H(X)=-plogp-(1-p)log(1-p)。该H(x)非常重要，称为熵函数。熵函数的的曲线如下图表示： 再者，定义对于任意的x∈R，I(x)=-logP{X =x}。则H(X)就是I(x)的平均值。此时的I(x)可视为x所提供的信息量。I(x)的曲线如下： (3) H(X)的最大值。若X在定义域R={x1,x2,...x r}，则0<=H(X)<=logr。 (4) 条件熵：定义

推导：H(X|Y=y)= ∑p(x|y)log{1/p(x,y)} H(X|Y)=∑p(y)H(X|Y=y)= ∑p(y)*∑p(x|y)log{1/p(x/y)} H(X|Y)表示得到Y后，X的平均信息量，即平均不确定度。 (5) Fano不等式：设X和Y都是离散随机变量，都取值于集合{x1,x2,...x r}。则 H(X|Y)<=H(Pe)+Pe*log(r-1) 其中Pe=P{X≠Y}。Fano表示在已经知道Y后，仍然需要通过检测X才能获得的信息量。检测X的一个方法是先确定X=Y。若X=Y，就知道X；若X≠Y，那么还有r-1个可能。 (6) 互信息量：I(X;Y)=H(X)-H(X|Y)。I(X;Y)可以理解成知道了Y后对于减少X的不确定性的贡献。 I(X;Y)的公式： I(X;Y)=∑(x,y)p(x,y)log{p(y|x)/p(y)} (7)联合熵定义为两个元素同时发生的不确定度。 联合熵H(X,Y)= ∑(x,y)p(x,y)logp(x,y)=H(X)+H(Y|X) (8)信道中互信息的含义 互信息的定义得： I(X,Y)=H(X)-H(X|Y)= I(Y,X)=H(Y)-H(Y|X) 若信道输入为H(X)，输出为H(Y)，则条件熵H(X|Y)可以看成由于信道上存在干扰和噪声而损失掉的平均信息量。条件熵H(X|Y)又可以看成由于信道上的干扰和噪声的缘故，接收端获得Y后还剩余的对符号X的平均不确定度，故称为疑义度。 条件熵H(Y|X)可以看作唯一地确定信道噪声所需要的平均信息量，故称为噪声熵或者散布度。 (9)I(X,Y)的重要结论

熵产生原理与不可逆过程热力学简介

熵产生原理与不可逆过程热力学简介 一、熵产生原理（Principle of Entropy-Production ） 熵增加原理是热力学第二定律的熵表述。而这个原理用于判断任一给定过程能否发生，仅限于此过程发生在孤立体系内。而对于给定的封闭体系中，要判断任一给定的过程是否能够发生，除了要计算出体系内部的熵变，同时还要求出环境的熵变，然后求总体的熵变。这个过程就相当于把环境当成一个巨大的热源，然后与封闭体系结合在一起当成孤立体系研究。但是一般来说，绝对的孤立体系是不可能实现的。就以地球而言，任何时刻，宇宙射线或高能粒子不断地射到地球上。另外，敞开体系也不能忽视，就以生物体为例，需要不停地与环境进行物质交换，这样才能保证它们的生存。1945年比利时人I. Prigogine 将热力学第二定律中的熵增加原理进行了推广，使之能够应用于任何体系（封闭的、敞开的和孤立的）。任何一个热力学体系在平衡态时，描述系统混乱度的状态函数S 有唯一确定值，而这个状态函数可以写成两部分的和，分别称为外熵变和内熵变。外熵变是由体系与环境通过界面进行热交换和物质交换时进入或流出体系的熵流所引起的。熵流（entropy flux ）的概念把熵当作一种流体，就像是历史上曾经把热当作流体一样。内熵变则是由于体系内部发生的不可逆过程（例如，热传导、扩散、化学反应等）所引起的熵产生（entropy-production ）。 由上述的概念，可以得到在任意体系中发生的一个微小过程，有：S d S d dS i e sys +==S d T Q i +δ (1-1)，式中S d e 代表外熵变，S d i 代表内熵变。这样子 就将熵增加原理推广到了熵产生原理。而判断体系中反应的进行，与熵增加原理一致，即 0≥S d i （> 不可逆过程；= 可逆过程） (1-2) 而文字的表述就是：“体系的熵产生永不为负值，在可逆过程中为0，在不可逆过程中大于0”。式（1-1）与（1-2）都是不可逆过程热力学的基本公式。 下面我们对熵流项和熵产生项作一些简单的分析。对于一个体系，其广度量L 一般具有下列形式的平衡方程： dt L d dt L d dt dL i e += （1-3） dt dL 是体系L 的变化速率，dt L d e 是L 通过体系表面进入或者是流出的速率，dt L d i 是体系内部L 的产生速率。将熵函数与之相对应，可以得到（1-1）式。由熵流的定义，热流和物质流对熵流才有贡献，而做功仅仅引起熵变，而不引起熵流。所以我们将熵流写成下式： ∑∑+=B B B B B B e dn S T Q S d δ （1-4） 稍微加以变形就可以得到外熵变的变化速率：∑∑+=B B B B B B e dt dn S dt T Q dt S d δ （1-5） 由分析过程不难得到（1-5）中各个表达式的意义：dt Q B δ是体系中B 物质在B T 时热量流入体系的速率，dt dn B 是物质B 流入体系的速率，B S 是物质B 的偏摩尔熵。这样，熵的平衡方程就可以写成：

实验一-信息熵与图像熵计算-正确

实验一信息熵与图像熵计算（2 学时） 一、实验目的 1.复习MATLAB的基本命令，熟悉MATLAB下的基本函数； 2.复习信息熵基本定义,能够自学图像熵定义和基本概念。 二、实验内容 1.能够写出MATLAB源代码，求信源的信息熵； 2.根据图像熵基本知识，综合设计出MATLAB程序，求出给定图像的图像熵。 三、实验仪器、设备 1.计算机－系统最低配置256M内存、P4 CPU； 2.MATLAB编程软件。 四实验流程图 五实验数据及结果分析

四、实验原理 1.MATLAB中数据类型、矩阵运算、图像文件输入与输出知识复习。 2.利用信息论中信息熵概念，求出任意一个离散信源的熵（平均自信息量）。自信息是一个随机变量,它是指某一信源发出某一消息所含有的信息量。所发出的消息不同，它们所含有的信息量也就不同。任何一个消息的自信息量都代表不了信源所包含的平均自信息量。不能作为整个信源的信息测度，因此定义自信息量的数学期望为信源的平均自信息量： 1( ) 1 ( ) [log ] ( ) log ( ) i n i i p a i H E p a p a X 信息熵的意义：信源的信息熵H是从整个信源的统计特性来考虑的。它是从平均意

义上来表征信源的总体特性的。对于某特定的信源，其信息熵只有一个。不同的信源因统计特性不同，其熵也不同。 3.学习图像熵基本概念，能够求出图像一维熵和二维熵。 图像熵是一种特征的统计形式，它反映了图像中平均信息量的多少。图像的一维熵表示图像中灰度分布的聚集特征所包含的信息量，令Pi表示图像中灰度值为i的像素所占的比例，则定义灰度图像的一元灰度熵为： 2550 log i i i p p H 图像的一维熵可以表示图像灰度分布的聚集特征，却不能反映图像灰度分布的空间特征，为了表征这种空间特征，可以在一维熵的基础上引入能够反映灰度分布空间特征的特征量来组成图像的二维熵。选择图像的邻域灰度均值作为灰度2

现代熵理论在社会科学中的应用

现代熵理论在社会科学中的应用 摘要：文章简述了热学熵的理论及其统计解释,介绍了熵增原理，最大最小熵原理，对现代熵理论在人类社会，生态环境，致冷技术上的应用作了浅显 的说明，使人类意识到加强熵观念以维护良好社会秩序及生态环境的必 要性，最后讲解了现代熵理论在社会科学中的应用对我的启发与影响。 关键词: 现代熵现代熵理论现代熵与人类社会现代熵与生态环境 现代熵与致冷技术制冷技术现代熵理论的应用对我的启发 正文： 一. 现代熵理论的基本概念 1. 热熵的基本概念 克劳修斯引入了状态函数熵，记为 S。他采用宏观分析的方法得出 : 对于一个封闭系统 , 可逆过程的熵变 dS与系统从外界所吸收的热量 dQ和系统的温度 T之间存在如下关系: dS = dQ T 上式称为熵的克劳修斯关系式。由此定义的熵称为热力学熵 (或宏观熵 , 克劳修斯熵 ) 。 2. 统计熵 (或玻尔兹曼熵 )的概念 在克劳修斯给出热力学熵的定义以后 ,玻尔兹曼又从微观 (气体动理论 )的角 度 , 深入研究了状态函数熵 , 给出了一个统计物理学的解释。在等概率原理 的前提下 , 任一给定的宏观状态所包含的微观状态数的数目称为该宏观状态的热力学概率 , 用 Q表示。据此 , 玻尔兹曼对气体分子的运动过程进行了研 究 ,将熵 S和热力学概率Ω联系起来得出 S∝ lnΩ的关系 ,在 1900年由普朗克引进比例常数 k而成为 S = klnΩ。这就是统计物理的玻尔兹曼熵 关系式 ,其中 k为玻尔兹曼常量。由此定义的熵称为统计熵 (或玻尔兹曼熵 )。二．现代熵理论的原理 现代熵理论有熵增加原理，最大最小熵原理等。 1. 熵增原理： 处于平衡态的孤立系统的熵增加原理在定义熵的概念以后 ,克劳修斯把热 力学第二定律中熵用式中等号对应可逆过程 , 大于号对应不可逆过程。即在绝热过程中熵不可能减少，这就是熵增原理。

信息熵理论

信息熵理论 在通信系统中，信息从发送到接收的传输过程是一个有干扰的信息复制过程。 对每一个具体的应用而言，传输的信息是确定的，有明确的应用目的。 对一个通信系统而言主，不同的用户要传送的具体的信息内容是不同的，则如何从这些繁杂的具体信息中提炼出它们的共同特征，并可进行量化估计是shannon 信息论研究的基础。 所谓量化估计就是用提炼的共同特征估计与某些具体内容所对应的需要传输的信息量大小。 信息量定义的另一个重要特征是它能保证信息量值的大小与具体的信息内容无关。 1.定义信息熵： 设X 是一个离散的随机变量，其定义空间为一个字符集E 。 ()()E x x X P x p ∈==,，表示相应的概率分布函数，则 ()()()()x p x p X H x log ∑-=称为离散随机变量的熵。 有时记()()()()(){}X p E x p x p p H p x log log -=-=∑ {}p E 表示以概率分布()x p 对某随机变量或随机函数求概率平均。 2.定义联合熵： 设X ﹑Y 是丙个离散的随机变量，（X,Y ）的联合概率分布函数为()()y Y x X P y x p ===,,，则 ()()()y x p y x P Y X H x y ,log ,,∑∑-= 称为离散随机变量X 与Y 的联合熵。 有时记为： ()()()(){}Y X p E y x p y x p Y X H p x y ,log ,log ,,-=-=∑∑ 3.定义条件熵： 如果()(),,~,y x p Y X 则条件熵()X Y H /定义为 ()()() ∑=-=x x X Y H x p X Y H // ()()()∑∑- =x y x y p x y p x p /log / ()()∑∑-=x y x y p y x p /log , (){}X Y p E /log -= 条件熵等于零的条件为()1==Y X p 事实上，对任意的y x ,都有()()0/log /=x y p x y p ，从而得()()1/0/==x y p x y p 或，又因为X 与Y 是取值空间完全相同的随机变量，所以有()1/=X Y p

信息熵与图像熵计算

p (a i ) ∑ n 《信息论与编码》课程实验报告 班级：通信162 姓名：李浩坤 学号：163977 实验一 信息熵与图像熵计算 实验日期：2018.5.31 一、实验目的 1. 复习 MATLAB 的基本命令，熟悉 MATLAB 下的基本函数。 2. 复习信息熵基本定义, 能够自学图像熵定义和基本概念。 二、实验原理及内容 1.能够写出 MATLAB 源代码，求信源的信息熵。 2.根据图像熵基本知识，综合设计出 MATLAB 程序，求出给定图像的图像熵。 1.MATLAB 中数据类型、矩阵运算、图像文件输入与输出知识复习。 2.利用信息论中信息熵概念，求出任意一个离散信源的熵（平均自信息量）。自信息是一个随机变量,它是指某一信源发出某一消息所含有的信息量。所发出 的消息不同，它们所含有的信息量也就不同。任何一个消息的自信息量都代表不了信源所包含的平均自信息量。不能作为整个信源的信息测度，因此定义自信息量的数学期望为信源的平均自信息量： H (X ) = E [ log 1 ] = -∑ p (a i ) log p (a i ) i =1 信息熵的意义：信源的信息熵H 是从整个信源的统计特性来考虑的。它是从平均意义上来表征信源的总体特性的。对于某特定的信源，其信息熵只有一个。不同的信源因统计特性不同，其熵也不同。 1. 学习图像熵基本概念，能够求出图像一维熵和二维熵。 图像熵是一种特征的统计形式，它反映了图像中平均信息量的多少。图像的一维熵表示图像中灰度分布的聚集特征所包含的信息量，令 P i 表示图像中灰度值为 i 的像素所占的比例，则定义灰度图像的一元灰度熵为： 255 H = p i log p i i =0

基于最大熵原理的语言建模

基于最大熵原理的语言建模 1 问题的引入 在自然语言处理中，为了建立语言模型，需要使用上下文文本中的信息特征，利用不同的信息特征所建立的语言模型，对当前词预测所得的概率结果可能会有所不同，这样的信息特征在上下文 中有多种。例如，利用当前词w i 前面的连续n-1个词(∈-+-1 i 1n i w h)作为历史信息特征构造的n-gram 模型，其概率估计为)W |W (P 1i 1n i i -+-；而触发对语言模型，则是利用当前词前面的某个历史窗口中的 词作为触发词，要预测的当前词作为被触发词，该模型中所用的历史信息特征和n-gram 中的就不同，它可以是历史窗口中与当前词相距为d 的某个词或词串。例如，如果我们想估计在给定的文本历史情况下词“模型”的出现概率P(模型｜h)，如果使用Bigram 模型，则就会将事件空间（h,模型）根据h 的最后一个词划分成几个等价类，比如说，在训练文本中可能有“数学模型”、“语言模型”、“工程模型”、“汽车模型”等这样的短语，因此，“模型”一词的历史文本h 的最后一个词可能就是“数学”、“语言”、“工程”、“汽车”等，并将它们分别看作一个等价类，Bigram 模型为每个等价类赋以相同的概率。例如： ｛语言，模型｝ 模型｜语言）＝K (P Bigram (1) 这里，K {语言,模型}定义如下： ) Count() ,Count(},{语言模型语言模型语言= K (2) Count(语言,模型)是“语言”与“模型”两个词在训练语料中的同现次数，Count(语言)是“语 言”在训练语料中出现的次数。另一种对“模型”出现概率的估计方法就是根据特殊的触发对，比如说“建立汉语语言模型”或“使用语言模型”，我们就要考察在相同的历史信息h 中，是否有“建立”或“使用”这样的词，这样，又可以形成对事件空间（h,模型）的另一种划分，利用Trigger 模型，可以为同一个等价类赋以相同的概率： 模型） 建立 模型建立建立模型,(h h K )|(P ∈=∈→ (3) 这里定义模型） 建立 ,(h K ∈为： ) C() ,C(K h h ,(h ∈∈∈建立模型建立＝ 模型） 建立 (4) 显然，利用Bigram 和Trigger 模型所使用的信息特征估计得到的“模型”出现概率是不一样的，同理，用前面提到的其他信息特征所得到的概率也会不一样，能不能将它们协调一致，建立一个符合多个信息特征约束的统一模型框架呢？1992年，Della Pietra 等人利用最大熵原理建立语言模型就是对这一想法的尝试。 2 最大熵原理 2.1 基本思想 最大熵原理是E.T.Jayness 于1950年提出的，其基本思想是：假设｛X ｝是一个事件空间，有许多种能够刻画该事件空间的信息源特征（或称约束），可以用来对事件的出现概率P(X)进行表述，假设每个约束i 与一个约束函数f i (X)和一个数学期望K i 相联系，则该约束可以写为：

信息熵理论的应用研究

信息熵理论的应用研究 [摘要] 广告活动是信息的活动，信息熵是信息活动的度量标准。本文利用信息熵理论对广告活动中的信息处理、广告传播、广告效果测定和广告受众进行了论证，指出了广告信息活动的规律。 [关键词] 信息熵；负熵；广告活动；广告受众 广告是一种非人际的信息传播，是信息交流的工具。广告系统实质上是信息系统，它具备了信息传播的五要素：谁——通过什么媒介——对谁——说了什么——取得了什么效果。广告的信息传播包括：广告发布者(包括广告主、广告制作者和传播者，即信息源)、广告信息内容、广告媒介、广告受众、广告效果等要素。信息熵理论是描述信息系统发展的基本理论，利用信息熵从信息的角度分析广告行为、预判广告活动的发展趋势，是研究广告活动的一种新方法。 一、熵、信息熵与广告活动的理论分析 熵是一个重要的物理概念，热力学中的熵通常被用于表征一个物理系统的无序程度。随着科学综合化的发展，熵又远远超出物理学范围。1948年，香农(shannon)第一次将熵这一概念引入到信息论中，从此，熵这一概念被广泛用于信息的度量，在自然科学和社会科学众多领域中得到广泛应用，并成为一些新学科的理论基础，由狭义熵发展为广义熵。正如爱因斯坦的评价那样：“熵理论对于整个科学来说是第一法则”。熵表示的是系统固有的、规律性的本质。在没有外界作用下，一个系统的熵越增，不可用能就越大，动力越小；换言之，一个系统的熵不相同时，对于相等的进程，它们的利用价值可以大不相同。一个孤立系统的熵永不减少，这叫做熵增原理。根据这一原理，以熵变为判据，不仅可以判断过程进行的方向，而且还能给出孤立系统达到平衡的条件。熵增原理揭示了一切自发过程都是不可逆的这一共同本质。为了打破平衡，必须与外部系统交换熵，从外部系统得到的熵称为负熵，目的是使本系统的熵值减少，更具有活力。

最大熵原理在气象学中的应用

第六章最大熵原理在气象学中的应用 上一章我们把熵原理作了简要介绍，并附带提及了它在一些领域的应用。由于熵原理的普遍的适用性，因而认真分析它在气象上的应用潜力是十分值得的。很显然，用熵原理说明的气象学中的问题越多，不仅越加显示熵原理的重要性，显示宇宙真理的统一性，而且也为气象学找到了新的理论武器，而这势必也提高了气象学的科学性和实用性。 在这一章我们就重点讨论最大熵原理怎样应用于各种气象问题之中，以及由此得出的结果。把最大熵原理用于说明气象现象大致包含如下步骤： ◆首先把气象问题归结为某种分布函数(这在第二章 已列出约30个分布函数的个例)。 ◆找出形成上述分布函数的物理(气象)过程中有哪些 重要的约束条件。 ◆从物理(气象)过程含有随机性引出对应的熵达到极 大值(即随机性导致最混乱)。 ◆进行数学处理，从熵理论导出分布函数。 ◆用实际资料验证理论结果(如不符，可再重复上述过 程)。 后边的介绍就是把上述步骤分别用于各个具体的气象分布问题中，并从中逐步加深对最大熵原理的认识。 另外，从70年代以来Paltridge[1]等人从热力学熵平衡角度研究地球纬圈上的气温分布的工作，也应属于试着用熵原理的一种事例。这个工作中尽管在原理上尚有不清楚之处，但其结果与实况的一致性和引用极值原理都是很有意义的。鉴于汤懋苍[2]近年对此已有介绍，我们这里就不再评述

了。 顺便指出，早在上世纪，从力学中发展起来的最小作用原理就从力学领域体现了自然界遵守某种极值原理的精神。 在气象界，罗伦茨[3]在60年代就设想大气也应当遵守某种极值原理。而我们指出有一些气象分布函数可以从熵达极大的角度推导出来，这可以看成是罗伦茨思想从统计角度(非决定论角度)的具体体现。 所以，最大熵原理在气象学中的应用不仅应看作是随机论(非决定论)的胜利，也应当看成广义的极值原理的胜利。 §1 大气的温度场和气压场 从最大熵原理出发，很容易说明大气中的温度场和气压场的分布。在第二章第4节我们已经论证了大气的温度场和气压场的分布。对气压场，我们从简单的分析得出它应是均匀分布，对温度场则从平均图上得出其分布也是均匀分布。这就是说，如果从大气中纯随机地抽取一个空气样品，则其气压(气温)为各种可能值的出现概率都是相等的，或者说各种可能的气压(温度)占有的大气质量是一样的。图2．5 就是其代表。 大气温度为什么恰为均匀分布(它竟然遵守如此简单的分布，确实有些出人意料！）? 形成现今温度分布的原因当然是太阳辐射和大气的对外辐射，这使我们想到如图6．1的极简单的模型。图的左侧有一高温的恒定热源，其温度为T1，左侧有一低温的恒定热汇，其温度为T0。介质处于T1和T0两个温度之间，它的温度在各处不会都是T1或T0，从而构成了一个温度场。如果介质仅能从左右两端吞吐热量而其他界面与外界绝缘，那么介质中的温度场理应会形成如图所示的等温线呈均匀分布之形状。此时介质上的温度分布函数应为均匀分布，对此我们也可以从解热传导方程中得出来。

信息熵在图像处理中的应用

信息熵在图像处理中的应用 摘要：为了寻找快速有效的图像处理方法，信息理论越来越多地渗透到图像处理技术中。文章介绍了信息熵在图像处理中的应用，总 结了一些基于熵的图像处理特别是图像分割技术的方法，及其在这一领域内的应用现状和前景 同时介绍了熵在织物疵点检测中的应用。 Application of Information Entropy on Image Analysis Abstract ：In order to find fast and efficient methods of image analysis ，information theory is used more and more in image analysis ．The paper introduces the application of information entropy on the image analysis ，and summarizes some methods of image analysis based on information entropy ，especially the image segmentation method ．At the same time ，the methods and application of fabric defect inspection based on information entropy ale introduced ． 信息论是人们在长期通信实践活动中，由通信技术与概率论、随机过程、数理统计等学科相结合而逐步发展起来的一门新兴交叉学科。而熵是信息论中事件出现概率的不确定性的量度，能有效反映事件包含的信息。随着科学技术，特别是信息技术的迅猛发展，信息理论在通信领域中发挥了越来越重要的作用，由于信息理论解决问题的思路和方法独特、新颖和有效，信息论已渗透到其他科学领域。随着计算机技术和数学理论的不断发展，人工智能、神经网络、遗传算法、模糊理论的不断完善，信息理论的应用越来越广泛。在图像处理研究中，信息熵也越来越受到关注。 1 信息熵 1948年，美国科学家香农(C ．E ．Shannon)发表了一篇著名的论文《通信的数学理论》 。他从研究通信系统传输的实质出发，对信息做了科学的定义，并进行了定性和定量的描述。 他指出，信息是事物运动状态或存在方式的不确定性的描述。其通信系统的模型如下所示： 图1 信息的传播 信息的基本作用就是消除人们对事物的不确定性。信息熵是信息论中用于度量信息量的一个概念。假定X 是随机变量χ的集合，p （x ）表示其概率密度，计算此随机变量的信息熵H （x ）的公式是 P （x ，y ）表示一对随机变量的联合密度函数，他们的联合熵H （x ，y ）可以表示为 信息熵描述的是信源的不确定性，是信源中所有目标的平均信息量。信息量是信息论的中心概念，将熵作为一个随机事件的不确定性或信息量的量度，它奠定了现代信息论的科学理论基础，大大地促进了信息论的发展。设信源X 发符号a i ，的概率为Pi ，其中i=1，2，…，r ，P i >O ，要∑=r i Pi 1=1，则信息熵的代数定义形式为：

局域熵产生率及最小熵产生定理

分类号:O551.1 单位代码:10452 毕业论文（设计） 局域熵产生率的推导及最小熵产生定理 姓名徐峰 学号 200901020118 年级 2009 专业物理学 系（院）理学院 指导教师艾树涛 2013年04月17日

摘要 本文用类比的方法对熵函数进行分析讨论,简要介绍了熵理论的发展.基于非平衡系统的局域平衡假设,把热力学基本微分方程、能量守恒定律和物质守恒定律应用于热力学中的不可逆过程.通过两个例子对不可逆过程进行热力学分析,探讨了不可逆过程中熵的处理的一般方法,得到了不可逆过程熵产生率的表达式,此表达式具有普遍性意义.参照扩散不可逆过程中熵流密度与局域熵产生率的计算,介绍单纯热传导过程和单纯扩散过程的最小熵产生定理,推导了最小熵产生定理表达式.简单的阐述了局域熵产生率和最小熵产生定理的研究意义. 关键字:熵函数;熵流密度;局域熵产生率;最小熵产生定理

ABSTRACT In this paper, we use the method of analogism to Entropy function for discussing and analyzing, introduced the development of the theory of entropy local equilibriu -m assumption briefly. Based on non-equilibrium system, the basic differential equa- tions of thermodynamics, energy conservation law and the law of conservation of matter used in thermodynamics of irreversible processes and thermodynamic ana- lysis. Though two examples of irreversible process to analysis the entropy of irrever- -sible process and general expression of the irreversible process of entropy production rate, this expression has universal significance. Depend on the density of entropy flow -calculation and the entropy production rate in spread irreversible process, introduced the theory of minimum entropy production in pure heat conduction and simple dif- fusion process.Infer the theorem of the local entropy production rate and minimum entropy production theorem expressions. Simple expositions of the local entropy production rate and the minimum entropy production theorem significance. Key words:Entropy function; Entropy flux density; Local entropy production rate; Minimum entropy production theorem

第5讲信息熵课件

1 第5讲 随机变量的信息熵 在概率论和统计学中，随机变量表示随机试验结果的观测值。随机变量的取值是不确定的，但是服从一定的概率分布。因此，每个取值都有自己的信息量。平均每个取值的信息量称为该随机变量的信息熵。 信息熵这个名称是冯诺依曼向香农推荐的。在物理学中，熵是物理系统的状态函数，用于度量一个物理系统内部状态和运动的无序性。物理学中的熵也称为热熵。信息熵的表达式与热熵的表达式类似，可以视为热熵的推广。香农用信息熵度量一个物理系统内部状态和运动的不确定性。 信息熵是信息论的核心和基础概念，具有多种物理意义。香农所创立的信息论是从定义和研究信息熵开始的。这一讲我们学习信息熵的定义和性质。 1. 信息熵 我们这里考虑离散型随机变量的信息熵，连续型随机变量的信息熵以后有时间再讨论，读者也可以看课本上的定义，先简单地了解一下。 定义1.1 设离散型随机变量X 的概率空间为 1 21 2 ......n n x x x X p p p P ?? ??=???????? 我们把X 的所有取值的自信息的期望称为X 的平均自信息量，通常称为信息熵，简称熵（entropy ），记为H(X)，即 1 1 ()[()]log n i i i H X E I X p p === ∑ (比特) 信息熵也称为香农熵。 注意，熵H (X )是X 的概率分布P 的函数，因此也记为H (P )。 定义1.2 信息熵表达式中的对数底可取任何大于等于2的整数r ，所得结果称为r-进制熵，记为H r (X )，其单位为“r-进制单位”。 我们有

2 ()() log r X H H r X = 注意，在关于熵的表达式中，我们仍然约定 0log 00 0log 00 x ==， 信息熵的物理意义： 信息熵可从多种不同角度来理解。 （1） H(X)是随机变量X 的取值所能提供的平均信息量。 （2） 统计学中用H(X)表征随机变量X 的不确定性，也就是随机性的大小。 例如，假设有甲乙两只箱子，每个箱子里都存放着100个球。甲里面有红蓝色球各50个，乙里面红、蓝色的球分别为99个和1个。显然，甲里面球的颜色更具有不确定性。从两个箱子各摸出一个球，甲里面摸出的球更不好猜。 （3） 若离散无记忆信源的符号概率分布为P ，则H(P)是该信源的所有无损编码的“平均 码长”的极限。 令X 是离散无记忆信源的符号集，所有长度为n 的消息集合为 {1,2, ,}n M X = 每个消息i 在某个无损编码下的码字为w i ，码字长为l i 比特。假设各消息i 出现的概率为p i ，则该每条消息的平均码长为 1 M n i i i L p l ==∑ 因此，平均每个信源符号的码长为 1 1M n i i i L p l n n ==∑ 这个平均每个信源符号的码长称为该编码的平均码长，其量纲为（码元/信源）。 我们有 () lim () n n n L L H X H X n n →∞≥=且 这是信源编码定理的推论。

耗散结构理论

耗散结构理论 耗散结构理论是指用热力学和统计物理学的方法，研究耗散结构形成的条件、机理和规律的理论。 耗散结构理论的创始人是伊里亚·普里戈金(Ilya Prigogine)教授，由于对非平衡热力学尤其是建立耗散结构理论方面的贡献，他荣获了1977年诺贝尔化学奖。普里戈金的早期工作在化学热力学领域，1945年得出了最小熵产生原理，此原理和翁萨格倒易关系一起为近平衡态线性区热力学奠定了理论基础。普里戈金以多年的努力，试图把最小熵产生原理延拓到远离平衡的非线性区去，但以失败告终，在研究了诸多远离平衡现象后，使他认识到系统在远离平衡态时，其热力学性质可能与平衡态、近平衡态有重大原则差别。以普里戈金为首的布鲁塞尔学派又经过多年的努力，终于建立起一种新的关于非平衡系统自组织的理论──耗散结构理论。这一理论于1969年由普里戈金在一次“理论物理学和生物学”的国际会议上正式提出。 耗散结构理论提出后，在自然科学和社会科学的很多领域如物理学、天文学、生物学、经济学、哲学等都产生了巨大影响。著名未来学家阿尔文·托夫勒在评价普里戈金的思想时，认为它可能代表了一次科学革命。 耗散结构理论可概括为：一个远离平衡态的非线性的开放系统(不管是物理的、化学的、生物的乃至社会的、经济的系统)通过不断地与外界交换物质和能量，在系统内部某个参量的变化达到一定的阈值时，通过涨落，系统可能发生突变即非平衡相变，由原来的混沌无序状态转变为一种在时间上、空间上或功能上的有序状态。这种在远离平衡的非线性区形成的新的稳定的宏观有序结构，由于需要不断与外界交换物质或能量才能维持，因此称之为“耗散结构”(dissipative structure)。可见，要理解耗散结构理论，关键是弄清楚如下几个概念：远离平衡态、非线性、开放系统、涨落、突变。 (1)远离平衡态 远离平衡态是相对于平衡态和近平衡态而言的。平衡态是指系统各处可测的宏观物理性质均匀(从而系统内部没有宏观不可逆过程)的状态，它遵守热力学第一定律：dE=dQ-pdV，即系统内能的增量等于系统所吸收的热量减去系统对外所做的功；热力学第二定律：dS/dt>=0，即系统的自发运动总是向着熵增加的方向；和波尔兹曼有序性原理：pi=e-Ei/kT，即温度为T的系统中内能为Ei的子系统的比率为pi. 近平衡态是指系统处于离平衡态不远的线性区，它遵守昂萨格(Onsager)倒易关系和最小熵产生原理。前者可表述为：Lij=Lji，即只要和不可逆过程i相应的流Ji受到不可逆过程j的力Xj的影响，那么，流Ji也会通过相等的系数Lij受到力Xi的影响。后者意味着，当给定的边界条件阻止系统达到热力学平衡态(即零熵产生)时，系统就落入最小耗散(即最小熵产生)的态。 远离平衡态是指系统内可测的物理性质极不均匀的状态，这时其热力学行为与用最小熵产生原理所预言的行为相比，可能颇为不同，甚至实际上完全相反，正如耗散结构理论所指出的，系统走向一个高熵产生的、宏观上有序的状态。 (2)非线性 系统产生耗散结构的内部动力学机制，正是子系统间的非线性相互作用，在临界点处，非线性机制放大微涨落为巨涨落，使热力学分支失稳，在控制参数越过临界点时，非线性机制对涨落产生抑制作用，使系统稳定到新的耗散结构分支上。 (3)开放系统