《信息论的应用》
信息论的应用
13348108 吴泽焕13331138梁伟军
（中山大学信息科学与技术学院通信工程广州510006）
摘要：信息论是关于信息的本质和传送规律的科学理论，其主要特点是理论的成功应用。而信息论不仅仅在通信领域起作用，还在所有与信息有关的领域都发挥着重要作用。本文主要对信息论的一些原理做一个简单的综述。同时，将香农的信息论原理与人的主观世界结合，对主观领域定量分析，并利用信息论解释人的认识过程和记忆、遗忘的原因，拓展信息论的应用领域。
关键词：信息论；学习和记忆；应用
Application of information theory Abstract:Information theory is a scientific theory about the essence and the
transmission of information, its main characteristic is the successful application. Whereas the theory not only plays an important role in the field of communication, but also plays an important role in other related fields. This article mainly makes a brief summary on the information theory. At the same time, we will combine Shannon's theory with human's subjective world to quantitatively analyse the subjective field,.and then use the information theory to explain the process of human's learning, as well as the cause of human forgetting, aiming to expand its application field.
Key words:Information theory; Learning and memory; Application
0引言
通过课上老师对信息论的总体介绍，我们对信息论有了初步的认识。信息论在科学领域和日常生活中都有着非常重要的应用。
在当今信息社会中，信息是社会与社会生产力发展的动力与资源。信息作为一种资源，如何开发、利用、共享是值得关注的问题。作为通信工程专业的学生，一提起信息论的应用，我们首先想到了其在通信领域中的广泛应用。但是，信息论的实际应用远不止于通信领域，它在其他领域中也发挥着不可忽视的作用。据此，我们将信息论原理结合到学习生活当中，并利用信息论解释人的认识过程和记忆、遗忘的原因，拓展信息论的应用领域。
1理论简述与延伸
信息论是一门应用数理统计方法来研究信息的度量、传递和变换规律的科学。狭义上说，它主要是研究通讯和控制系统中普遍存在着信息传递的共同规律，以及研究最佳解决信息的获限、度量、变换、储存和传递等问题的基础理论。而广义的信息论还包括所有与信息有关的领域，如心理学、语言学、神经心理学、语义学等。随着信息时代的到来，信息论被提到了越来越重要的位置，也为很多领域研究的科学化提供了很大的帮助，其中就包括对人的认识和记忆的研究。
1.1 相关概念
人的学习和记忆过程都是在原有知识体系基础上搭建新的知识体系。我们学习记忆的对象在信息论中称为信源，而将学习到的知识所表达的对象称为信宿。信息论中引进统计学中的概率来对信息源的信息量进行描述。
1.2 信息量最优化原理
信息论中对通讯系统模型描述为：信源→信源编码→信道编码→信道→信道译码→信源译码→信宿。对于人的认识过程同样可以做相同的类比。大脑的信息传输模型如图1所示：
图1
大脑对信源的编码是指大脑使用已掌握的知识对信源进行推理与压缩，然后传递到大脑记忆体；译码是指大脑对知识进行推理与扩展后表达出去。信息量最优化原理体现在：人的大脑处在外在因素与内在因素稳定的状态时，对信息量越小的知识越容易记住。因为信息量越小表示主观概率越大，认识的对象就越熟悉，
因此需要记忆的的内容就越少，也就更容易记住。外在环境因素在大脑的信息传输模型中影响着大脑的编码译码的速度和效率以及信息传输至大脑长期记忆体的速度等。引入信息量最优化原理，即可利用信息论对主观领域定量分析，为建立认识过程的数学模型提供思路。
1.3 空间马尔可夫链知识结构
人在学习记忆过程对认识的编码就是在构成马尔可夫链，并且是空间网状结构。设人们在一段时间内认识两个新知识点为X、Y，当不了解认识对象时，先面对哪一个的概率都一样，即可以认为X、Y之间独立统计:
H1(XY)=H(X)+H(Y)
由于实际上新知识点X、Y之间是存在关联的，根据信息熵可加性的公式以及条件熵与无条件熵的关系有：H2(XY)=H(X)+H(Y|X) 且H(Y|X)≤H(Y) 故有关系式：H2(XY)≤H1(XY)
利用马尔可夫链中正确的顺序学习，大脑有效地进行编码，信息量就会大大减少。譬如我们想学习高频电路，就应该按照“电路基础→模拟电路→高频电路”的知识链顺序，如果先直接学习高频电路，再学习电路基础，就会因为非最优化选择导致信息量过于巨大，使人的大脑难以接受。
2信息论在学习和记忆中的应用
2.1 信息论在学习中的应用
链条马尔可夫链知识结构是最基本的认识方式，即把知识排序，知识点一环扣一环成单链条状。譬如学习《信号与系统》对“连续系统的频域分析、连续系统的s域分析、连续系统的z域分析”三章内容按顺序学。网状马尔可夫链知识结构更进了一步，指了解知识点之间关系后，对新知识组合然后对比、类比着进行学习，使多条知识链相互交织。例如在学习中会发现傅里叶变换、拉普拉斯
变换、z变换有很多性质有类似，可以对比着学习。空间马尔可夫链知识结构是在上面第二点基础上，寻找旧知识网与新知识网的融合。这样知识的信息量将在理论上被有效的降低了。
2.2 信息论在记忆中的应用
2.2.1遗忘的原因
科学家证明有几种干扰的情况会造成遗忘，包括向前的干扰、向后的干扰、互相的干扰等，其本质就是新旧知识相互干扰。如果用信息量最优化原理的逆否命题分析造成干扰原因：在一个稳定的条件下，大脑很难记住信息量大的知识。其原因在于：大脑短暂存储体不稳定，因此其中的旧知识概率容易受到影响。新的知识冲击短暂储存体内旧的知识体系，使旧知识概率分布发生变化，原先熟悉的知识(大概率事件)概率分布趋于平均，导致信息量俱增(信息嫡的上凸性)，大脑当然会对旧知识的记忆产生模糊，记忆模糊首先影响编码准确性导致误码率上升，同时影响了马尔可夫链知识结构，导致新知识信息量太大，于是就“越学越忘”。了解了遗忘的原因，就可以利用上文的各种理论有效防止遗忘。
2.2.2增进记忆力方法
结合上文的理论，下面再通过分析著名的记忆方法概括最佳记忆原理。此方法的基础是联想，具体分析步骤如下:
第一，先把数字编号1到20与一系列地名联系起来。数字的作用主要是排序、分类，体现了最大距离编码准则、有噪信源编码原理。但是数字属于抽象思维，而人天生就对形象思维的记忆力就好，因此要把数字与地名联系起来，利用不同数字、地点差异的特性先在大脑中安排好大概的码元，有效地防止大脑信道的反馈作用，减少遗忘。
第二，这些地名应当是你很熟悉的，是真实的而不是想象出来的。越熟悉的事物信息量越小，越容易记住，即体现了信息量最优化原理。在越熟悉的知识基础上建立新知识所形成的马尔可夫链知识结构信息熵也越小。
第三，赋予每个地名一个名词，学会快速地将新的词语和编好的地名联系起来，以及把不同地名联系起来。新的名词本身就是已经压缩好的信源，代表一部分信息，体现了保真度准则下信源编码定理。新的词语与地名联系就是建立空间马尔可夫链知识结构；而新的词语与地名联系也是利用最熟悉的码元对信源进行
编码，体现了无失真信源编码定理。
第四，通过各种不寻常的场景帮助记忆。一般认为“不寻常”的事一定是小概率事件，那信息量会很大，这仿佛违背了信息量最优化原理。那先请看两个例子：A) 我家的猫会说话；B )某地区某家的猫会说话。这两个例子中, 明显我容易记住A ，某地区某家的人容易记住B。这里可看出令我影响深刻的不寻常的事与我的关系最紧密(可编码的码元丰富)。且不寻常的事会引起人主观因素发生变化，例如好奇、惊讶，使信息在大脑刷新了很多次，当然容易记住，因此并没有违背信息量最优化原理。
2.3 香农三大定理的应用
2.3.1无失真变长信源编码定理
人在认识过程中先组合知识点，再按霍夫曼编码原理用旧知识对新知识进行“编码”，对容易理解的知识给予简单的逻辑推理思考，对于复杂的知识给予复杂的类比推理，从而使信息尽可能多的传递至大脑。例如：背英语单词时，没人愿意背字典，因信息量大且“编码”效率不高。但是参考辅助参考书如《GRE词汇精选》时，我们会发现里面的单词已经赋予了词根词缀法、分拆联想记忆法、拼音发音记忆法等；例如背abacus 时, 书中用中文发音“爱拨个死”表示“很喜欢拨算盘”来帮助记忆“算盘”这个意思，这样我们背起来就轻松多了。2.3.2最大距离编码准则与有噪信道编码原理
与最大距离编码准则的定义类似：对新知识编码时, 面对不同但类似的知识点尽可能采取差别大的码来编码。例如: 学习形近单词babble 、bubble 、cobbler 三者时, 用三种区别很大的编码方法记忆，如下表所示：
可见利用“最大距离编码准则”大大减小误码率，提高记忆效率。在此准
则基础上可分析有噪信道编码原理的意义：人在有噪声有损失的条件下学习时，可以利用各种有效学习方法降低的错误概率，提高学习效率。
2.3.3保真度准则下的信源编码定理
其定理可解释: 我们看书时经常需要跳读，略读，提取重点，目的在于尽可能的压缩知识量达到大脑接受范围。而压缩的知识可以在大脑中进行解压，虽然存在失真，但是不影响整体的知识的把握。例如: 背诵单词时，也许在短期内可以记住中文意思，但是写作文时仍需要查字典以明确正确的拼写与用法，这就是因为压缩后存在着失真。
3 结束语
随着近几年信息论研究的不断发展，信息论方法在各领域的应用已获得很大的成功，比如与之相关较近的通信、计算机、信号处理和自动控制等领域，除此之外，其延伸的方法还渗透到生物学、心理学、语言学、社会学和经济学等领域。由此可见，信息论的应用范围十分广泛，涵盖科学领域以及我们生活的方方面面，能够为我们解决实际问题提供良好的、有效的方法。
本文提出了信息量最优化、空间马尔科夫链、信源编码等概念，着重讨论了信息论在我们在学习知识与记忆当中的应用。通过对信息论方法原理的类比，我们把解决问题的相关思路应用到以上两者延伸领域当中，使得信息论方法的运用能更好地指导我们如何有效地学习知识和进行记忆。而理论上的分析更需要实践的考验以及日后更深层次的研究。
参考文献
[1] 傅祖芸. 信息论一基础理论与应用[M] . 北京：电子工业出版社，2011.
[2] 沈世镒,吴忠华.信息论基础与应用[M].北京:高等教育出版社，2004.
[3] 朱雪龙. 应用信息论基础[M]. 北京：清华大学出版社， 2001.
[4] 周叶林. 科学研究中的信息论及其应用[J].今日南国,2009(5):201-202.
[5] 谢家安. 有效发挥大脑潜能[M]. 北京：科学出版社，2010.
[6] 迈克尔?J?A?豪. 实用记忆心理学[M].陕西人民出版社,1988.
信息论与编码在处理网络问题中的应用报告
信息论与编码在处理网络问题中的应用 摘要 随着计算机技术、通信技术和网络技术等信息技术的快速发展，信息技术已经成为当今社会应用范围最广的高新技术之一。信息论是信息技术的主要理论技术基础之一，它的一些基本理论在通信、计算机、网络等工程领域中得到了广泛的应用。其中信息论与编码与网络结合的更为紧密，在网络方面得到了广泛的应用。本文主要从这个方面作为切入点，介绍了信息论与编码在网络编码、基于网络编码的路由选择、在网络安全方面的放窃听的网络编码，还有就是在网络数据挖掘这方面的应用。 1.引言 人类社会的生存和发展无时不刻都离不开信息的获取、传递、再生、控制和利用。信息论正式一门把信息作为研究对象的科学，以揭示信息的本质特性和规律为基础，应用概率论。随机过程和树立统计等方法来研究信息的存储、传输、处理、控制和利用。它主要研究如何提高信息系统的可靠性、有效性、保密性和认证性，以使信息系统最优化。许多科学技术问题（如无线电通讯、电视、遥测、图像和声音识别等）都必须以信息论为理论指导才能很好地解决。信息论的研究对象又可以是广义的信息传输和信息处理系统。从最普通的电报、电话、传真、电视、雷达、声纳,一直到各类生物神经的感知系统,以及大到人类社会系统,可以用同一的信息论观点加以阐述,?都可以概括成某种随机过程或统计学的数学模型加以深入研究。 2.概述 2.1信息与信息论 1948年6月和10月香农在贝尔实验室出版的著名的《贝尔系统技术》杂志上发表了两篇有关《通信的数学理论》的文章。在这两篇文章中，他用概率测度和数理统计的方法系统的讨论了通信得基本问题，首先严格定义了信息的度量—
—熵的概念，又定义了信道容量的概念，得出了几个重要而带有普遍意义的结论，并由此奠定了现代信息论的基础。 Shannon理论的核心是：揭示了在通信系统中采用适当的编码后能够实现高效率和高可靠地传输信息，并得出了信源编码定理和信道编码定理。从数学观点看，这些定理是最优编码的存在定理。但从工程观点看，这些定理不是结构性的，不能从定理的结果直接得出实现最优编码的具体途径。然而，它们给出了编码的性能极限，在理论上阐明了通信系统中各种因素的相互关系，为人们寻找出最佳通信系统提供了重要的理论依据。 而其理论到目前主要经历了以下几个方面的发展：Shannon信息理论的数学严格化、无失真信源编码定力和技术的发展、信道纠错编码的发展、限失真信源编码的提出和发展、多用户、网络信息论的发展、信息保密与安全理论的提出与发展，从此以后，纠错码和密码学相结合的研究迅速发展起来。 2.2网络与信息论 网络信息论的发展前期是多用户信息论，在20世纪70、80年代有很大的发展，当时的多用户信息论已具有网络结构的特征，其中的信源与信道模型已具有多数人多输出的结构，对信道还有并联与串联的结构等模型，多用户信息论就是解决这些模型的编码问题，一时成为信息论研究的热点问题。到20世纪90年代，由于网络通信的兴起，网络模型远比多用户模型复杂，网络中的通信、数据压缩、资源共享与安全管理将是信息论发展的重要领域。 2.3网络编码 2000 年Ahlswede 等人首次提出了网络编码理论, 通过网络编码可以实现网络流量的最大化.2003年, Li , Yeung 和Cai证明了线性网络编码就可以实现网络的最大流.随后T .Ho 等人提出了随机网络编码理论, 其思想是在网络中参与传输的节点, 其输出信道上传输的数据是该点多条输入信道上传输的数据的随机线性组合, 他们并且证明了接收节点能以很大的概率正确恢复出信源所发送的信息. 传统的通信网络传送数据的方式是存储转发，即除了数据的发送节点和接收节点以外的节点只负责路由，而不对数据内容做任何处理，中间节点扮演着转发
信息论的应用
学号：201122010835 姓名：李毅 信息论在图像处理中的应用 摘要：把信息论的基本原理应用到图像处理中具有十分重要的价值。本文主要从评估图像捕捉部分性能的评估、图像分割算法这两个个方面阐述信息论在图像处理中的应用。 通过理论分析来说明使用信息论的基本理论对图像处理的价值。 关键字：信息论；图像捕捉；图像分割 第1章 引言 随着科学技术的不断发展，人们对图形图像认识越来越广泛，图形图像处理的应用领域也将随之不断扩大。为了寻找快速有效的图像处理方法，信息理论越来越多地渗透到图像处理技术中。文章介绍了信息论基本理论在图像处理中的应用，并通过理论分析说明其价值。把通信系统的基本理论信息论应用于采样成像系统，对系统作端到端的系统性能评价，从而优化采样成像系统的设计，是当前采样成像系统研究的分支之一。有些图像很繁杂，而我们只需要其中有意义的一部分，图像分割就是将图像分为一些有意义的区域，然后对这些区域进行描述，就相当于提取出某些目标区域图像的特征，随后判断这些图像中是否有感兴趣的目标。 第2章 图像捕捉部分性能评估 2.1 图像捕捉的数学模型 图像捕捉过程如图1所示。G 为系统的稳态增益，),(y x p 是图像捕捉设备的空间响应函数，),(y x n p 是光电探索的噪声。),(y x comb 代表采样网格函数，),(),,(y x s y x o 分别为输入、输出信号。 在这种模型下的输出信号 ),(),()],(),([),(y x n y x comb y x p y x Go y x s p +*= 其中，∑--= n m n y m x y x comb ,),(),(δ，代表在直角坐标系下，具有单位采样间隔的采样设备的采样函数。
信息论应用调研报告
信息论基础调研报告 一.信息论的起源： 信息论理论基础的建立，一般来说开始于1948年美国数学家香农在《贝尔系统电话杂志》发表题为“通信的数学理论”的长篇论文。这篇论文以概率论为工具，深刻阐释了通信工程的一系列基本理论问题，给出了计算信源信息量和信道容量的方法和一般公式，得出了一组表征信息传递重要关系的编码定理，从而创立了信息论。 信息论自诞生到现在不过60多年，在人类科学史上是相当短暂的。但它的发展对学术界以及人类社会的影响是相当广泛和深刻的。信息作为一种资源，如何开发、利用、共享，是人们普遍关心的问题。 信息论是研究信息的传输、存储和处理的学科，亦称“信息论”为“通信的数学理论”。它主要研究在通信系统设计中如何实现信息传输的有效性和可靠性。 因此，信息论与通信技术、统计数学信号处理等密切相关。 二.信息技术的发展： 现代信息论其实是从上世纪二十年代奈奎斯特和哈特莱的研究开始的，他们最早开始研究了通信系统传输信息的能力，并且试图度量系统的信道容量。 香农于1940年在普林斯顿高级研究所期间开始思考信息论与有效通信系统的问题。经过8年的努力，1948年，来自贝尔研究所的Claude Shannon（克劳德·香农）的《通信的数学理论》论文公诸于世，从此宣告了崭新的一门关于信息发面的学科──信息论的诞生。1949年，香农又在该杂志上发表了另一著名论文《噪声下的通信》。在这两篇论文中，香农阐明了通信的基本问题，给出了通信系统的模型，提出了信息量的数学表达式，并解决了信道容量、信源统计特性、信源编码、信道编码等一系列基本技术问题。两篇论文成为了信息论的奠基性著作。这两篇论文一起阐述了现代信息论的基础。并且香农开始创造性的定义了“信息”。 信息论自从二十世纪四十年代中叶到二十一世纪初期，现已成为一门独立的理论科学，他给出一切传输、存储、处理信息系统的一般理论，并指出，实现有效、可靠地传输和存储信息的途径是走数字化的道路。这是通信技术领域数字化革命的数学或理论基础。1946年的计算机和1947年晶体管的诞生和相应技术的发展，是这一革命的物理或物质基础。信息论是在长期的通信工程实践和理论研究的基础上发展起来的。 20世纪50年代，包括香农在内的一些科学家做了大量的工作，发表了许多重要文章，将香农的科学论断进一步推广，同时信道编码理论有了较大的发展。20世纪60年代，信道编码技术已经成为信息论的又一重要分支。它把代数方法引入到纠错码的研究，使分组码技术达到了高峰，找到了可纠正多个错误的码，并提出了可实现的译码方法。其次是卷积码和概率译码有了重大突破，提出了序列译码和维特比译码方法。 1961年，香农的重要论文“双路通信信道”开拓了多用户信息理论的研究。到70年代，由于数字计算机的广泛应用，通讯系统的能力也有很大提高，如何
信息论基础理论与应用考试题及答案
信息论基础理论与应用考试题 一﹑填空题（每题2分，共20分） 1.信息论研究的目的就是要找到信息传输过程的共同规律，以提高信息传输的 （可靠性）﹑（有效性）﹑保密性和认证性，使信息传输系统达到最优化。 （考点：信息论的研究目的） 2.电视屏上约有500×600=3×510个格点，按每点有10个不同的灰度等级考虑，则可组成5 31010?个不同的画面。按等概计算，平均每个画面可提供的信息量约为（610bit /画面）。 （考点：信息量的概念及计算） 3.按噪声对信号的作用功能来分类信道可分为 （加性信道）和 （乘性信道）。 （考点：信道按噪声统计特性的分类） 4.英文电报有32个符号（26个英文字母加上6个字符），即q=32。若r=2，N=1，即对信源S 的逐个符号进行二元编码，则每个英文电报符号至少要用 （5）位二元符号编码才行。 （考点：等长码编码位数的计算） 5.如果采用这样一种译码函数，它对于每一个输出符号均译成具有最大后验概率的那个输入符号，则信道的错误概率最小，这种译码规则称为（最大后验概率准则）或（最小错误概率准则）。 （考点：错误概率和译码准则的概念） 6.按码的结构中对信息序列处理方式不同，可将纠错码分为（分组码）和（卷积码）。 （考点：纠错码的分类） 7.码C=｛（0，0，0，0），（0，1，0，1），（0，1，1，0），（0，0，1，1）｝是（（4， 2））线性分组码。 （考点：线性分组码的基本概念） 8.定义自信息的数学期望为信源的平均自信息量，即（11()log ()log ()()q i i i i H X E P a P a P a =??==-????∑）。
信息论发展
信息论发展 现代信息论是从上世纪二十年代奈奎斯特和哈特莱的研究开始的,他们最早开始研究了通信系统传输信息的能力,并且试图度量系统的信道容量。香农于1940年在普林斯顿高级研究所期间开始思考信息论与有效通信系统的问题。经过8年的努力,1948年,来自贝尔研究所的ClaudeShannon（克劳德·香农）的《通信的数学理论》论文公诸于世,从此宣告了崭新的一门关于信息发面的学科──信息论的诞生。1949年,香农又在该杂志上发表了另一著名论文《噪声下的通信》。在这两篇论文中,香农阐明了通信的基本问题,给出了通信系统的模型,提出了信息量的数学表达式,并解决了信道容量、信源统计特性、信源编码、信道编码等一系列基本技术问题。两篇论文成为了信息论的奠基性著作。这两篇论文一起阐述了现代信息论的基础。并且香农开始创造性的定义了“信息”。 信息论自从二十世纪四十年代中叶到二十一世纪初期,现已成为一门独立的理论科学,他给出一切传输、存储、处理信息系统的一般理论,并指出,实现有效、可靠地传输和存储信息的途径是走数字化的道路。这是通信技术领域数字化革命的数学或理论基础。1946年的计算机和1947年晶体管的诞生和相应技术的发展,是这一革命的物理或物质基础。信息论是在长期的通信工程实践和理论研究的基础上发展起来的。当物理学中的电磁理论以及后来的电子学理论一旦有某些进展,很快就会促进电信系统的创造发明或改进。这是因为通信系统对人类社会的发展,其关系实在是太密切了。日常生活、工农业生产、科学研究以及战争等等,一切都离不开消息传递和信息流动。通信系统是人类社会的神经系统,即使在原始社会也存在着最简单的通信工具和通信系统,这方面的社会实践是悠久漫长的。自从香农十九世纪四十年代末两篇论文发表后,前苏联和美国的科学家采取了不同的研究途径经一部发展了信息论。柯尔莫哥洛夫、宾斯基和达布鲁新为首的一批著名数学家致力于信息论的公理化体系和更一般更抽象的数学模型,对信息论的基本定理给出了更为普遍的结果,为信息论发展成数学的一个分支作出了贡献。而在美国测试有一批数学修养很高的工程技术人员致力于信息有效处理和可靠传输的可实现性,维信息论转化为信息技术作出了贡献。 20世纪50年代,信息论向各门学科发起冲击；60年代信息论进入一个消化、
信息论概述及其应用.docx
信息论概述及其应用 信息的概念 人类从产生的那天起,就生活在信息的海洋之中。 人类社会的生存和发展,无时无刻都离不开接收信息,传递信息,处理信息和利用信息。 比如原始人的“结绳记事”也许是最初期的表达,存储和传送信息的办法,古代的“烽火告警”是一种最早的快速,远距离的传递信息的方式。 近现代以来,由于电子计算机的迅速发展和广泛应用,尤其个人微型计算机得以普及,大大提高了人们处理加工信息,存储信息及控制和管理信息的能力。 随着计算机技术,微电子技术,传感技术,激光技术,卫星通讯,移动通讯等等新技术的发展和应用,尤其是近年来以计算机为主体的互联网技术的兴起与发展,他们相互结合,相互促进,以前所未有的的威力推动着人类经济和社会的高速发展。这是这些现代新科学,新技术,将人类社会推入到高度信息化时代。 信息与信号,消息的比较 消息是信息的数学载体,信号是信息的物理载体。 信号是具体的,物理的 消息是具体的,非物理的 信息是非具体的,非物理的 信号最具体,它是一物理量,可测量,可显示,可描述,同时它又是载荷信息的试题信息的物理层表达。 消息是具体的,非物理的,可以描述为语言文字,符号,数据,图片,能够被感觉到,同时它也是信息的载荷体。是信息论中的主要描述形式。 信息是抽象的,非物理的,是哲学层的表达。
信息的定义 关于信息的科学定义,到目前为止,国内外已有上百种说法,他们都是从不同侧面和不同的层次来揭露信息的本质。 最早对信息进行科学定义的是莱哈特。他在1928年发表的《信息传输》一文中,首先提出信息这个概念。 但是哈莱特这种理解在一定程度上能够解释通信工程中的一些信息问题,但他存在着严重的局限性。 1948年,控制论的创始人之一,美国科学家维纳出版了《控制论——动物和机器中通讯与控制问题》一书。他指出了,信息就是信息自己,不是其他什么东西的替代物,它是与物质,能量等同等重要的基本概念。正是维纳,首先将信息上升到了最基本概念的位置。 香农在1948年发表了一篇著名的论文—《通信的数学理论》。他从研究通信的系统传输的实质出发,对信息做了科学的定义,并进行了定性和定量的描述。 香农信息论是以概率论、随机过程为基本研究工具,研究广义通信系统的整个过程,而不是整个环节,并以编、译码器为重点,其关心的是最优系统的性能及如何达到该性能（并不具体设计环节,也不研究信宿）。目前,香农信息论方面值得注意的研究方向有信息概念的深化问题、信息失真理论的发展及在数据压缩中的应用、以计算机为中心的信息处理系统的基本理论等。 信息论研究的对象,目的和内容 信息论研究的对象是统一的通信系统模型。 通信系统模型主要分成下列五部分。 1，信息源：信源是产生消息和消息序列的源。
信息论发展史和展望 蒲鹤升
信息论发展史和展望 蒲鹤升（020150802） 一、信息论定义 信息论，顾名思义是一门研究信息的处理和传输的科学；即用概率论与数理统计方法来探究信息的度量、传递和变换规律的一门学科。它主要是研究通讯和控制系统中普遍存在着信息传递的共同规律以及研究最佳解决信息的获限、度量、变换、储存和传递等问题的基础理论。信息论将信息的传递作为一种统计现象来考虑，给出了估算通信信道容量的方法，信息传输和信息压缩是信息论研究中的两大领域，这两个方面又由信息传输理论、信源－信道隔离定理相互联系。信息是系统传输和处理的对象，它载荷于语言、文字、图像、数据等之中。这就是现代信息论的出发点。 二、狭义与广义 狭义的信息论是应用数理统计方法来研究信息处理和信息传递的科学，它研究存在于通讯和控制系统中普遍存在着的信息传递的共同规体，以及如何提高各信息传输系统的有效性和可能性的一门通讯理论。狭义信息论是申农氏于1948年创立的，其主要内容就是研究信源、信宿、传递及编码问题，因此它主要应用于通讯工作。后来信息论发展很快，将申农氏信息论的观点做为研究一切问题的理论，即广义信息论。信息论是建立在信息基础上的理论，所谓信息，即人类凭借感觉器官感知的周围一切变化，都可称作信息。 三、相关人物贡献 20世纪通信技术的发展推动了信息理论的研究. 美国科学家H.Nyquist 于1924年解释了信号带宽和信息速率之间的关系 美国科学家L.V.R.Hartley 于1928年开始研究通信系统传输信息的能力，给出了信息的度量方法 美国科学家C.E.Shannon 于1948年发表的著名论文《通信的数学理论》 A Mathematical Theory of Communication奠定了信息论的理论基础 四、各发展阶段 第一阶段：1948年贝尔研究所的香农在题为《通讯的数学理论》的论文中系统地提出了关于信息的论述,创立了信息论. 第二阶段：20世纪50年代,信息论向各门学科发起冲击；60年代信息论进入一个消化、理解的时期,在已有的基础上进行重大建设的时期.研究重点是信息和信源编码问题.
信息论在图像处理中的应用
信息论在图像处理中的应用 摘要：把信息论的基本原理应用到图像处理中具有十分重要的价值。本文主要从评估图像捕捉部分性能的评估、图像分割算法这两个个方面阐述信息论在图像处理中的应用。 通过理论分析来说明使用信息论的基本理论对图像处理的价值。 关键字：信息论；图像捕捉；图像分割 第1章 引言 随着科学技术的不断发展，人们对图形图像认识越来越广泛，图形图像处理的应用领域也将随之不断扩大。为了寻找快速有效的图像处理方法，信息理论越来越多地渗透到图像处理技术中。文章介绍了信息论基本理论在图像处理中的应用，并通过理论分析说明其价值。把通信系统的基本理论信息论应用于采样成像系统，对系统作端到端的系统性能评价，从而优化采样成像系统的设计，是当前采样成像系统研究的分支之一。有些图像很繁杂，而我们只需要其中有意义的一部分，图像分割就是将图像分为一些有意义的区域，然后对这些区域进行描述，就相当于提取出某些目标区域图像的特征，随后判断这些图像中是否有感兴趣的目标。 第2章 图像捕捉部分性能评估 2.1 图像捕捉的数学模型 图像捕捉过程如图1所示。G 为系统的稳态增益，),(y x p 是图像捕捉设备的空间响应 函数，),(y x n p 是光电探索的噪声。),(y x comb 代表采样网格函数，),(),,(y x s y x o 分别为输入、输出信号。 在这种模型下的输出信号 ),(),()],(),([),(y x n y x comb y x p y x Go y x s p +*= 其中，∑--= n m n y m x y x comb ,),(),(δ，代表在直角坐标系下，具有单位采样间隔的采样设备的采样函数。 输出信号的傅立叶变换为： ),(),(),(),(v u N v u P v u GO v u S += 其中：),(v u O 是输入信号的傅立叶变换，),(v u N 是欠采样噪声和光电探测器噪声和，
信息论论文
信息论及其应用 摘要 信息论是在人们长期的通信工程实践中，由通信技术和概率论、随机过程和数理统计相结合而逐步发展起来的一门应用数学学科，能够运用概率论和数理统计的方法来研究信息、信息熵、通信系统、数据传输、密码学、数据压缩等问题。本文主要介绍信息论的一些基本知识以及它在数据压缩、密码学、统计及信号处理中的应用。 关键字：信息论三大定律应用 一信息论的产生及发展 信息论是20世纪40年代由当代伟大的数学家、美国贝尔实验室杰出的科学家香农提出的，他在1948年发表了著名的论文《通信的数学理论》，为信息论奠定了理论基础。 信息论有狭义和广义之分。狭义信息论即香农早期的研究成果，它以编码理论为中心，主要研究信息系统模型、信息的度量、信息容量、编码理论及噪声理论等。广义信息论又称信息科学，是以信息为主要研究对象，以信息及其运动规律为主要研究内容，以信息科学方法论为主要研究方法，以扩展人的信息器官的功能为主要研究目标的一门新兴的横向科学。它把各种事物都看作是一个信息流动的系统，通过对信息流程的分析和处理，达到对事物复杂运动规律认识的一种科学方法。它的特点是撇开对象的具体运动形态，把它作为一个信息流通过程加以分析。 信息论与编码研究的是整个通信的最基本的问题，可以说信息论是我们专业的大纲，从香农1948年发表《通信中的数学原理》到现在60余年的时间，信息论对整个行业的发展有着不可替代的指导意义。
信息论中最著名的是香农的四大定理（国内一般称三大定理），第一定理信源编码定理，是解决通信中信源的压缩问题，也是后来图像和视频压缩的基本定理；第二定理信道编码定理，是解决通信中数据能够在特定信道中传输的最大值的问题，即最大数据速率小于信道容量，容量问题是通信中研究最活跃的问题之一；第三定理有损信源编码定理解决了在允许一定失真的情况下的信源编码问题，比如jpeg图像编码，mp3音频编码，都是有损的编码，其都是在香农第三定理的界之下得出的；第四定理信源信道分离定理，解决了信源编码和信道编码能够分开来解决的问题，所以现在做信源编码的可以是一部分人，做信道编码的可以是另一部分人。 二信息论的研究内容 实际通信系统比较复杂，但是任何通信系统都可以抽象为信息源发送机信道接收机收信者，因此，通信过程中信息的定量表示信源和信宿信道和信道容量编码和译码等方面的问题，就构成了信息论的基本内容。信息论将信息的传递作为一种统计现象来考虑，给出了估算通信信道容量的方法。信息传输和信息压缩是信息论研究中的两大领域这两个方面又由信息传输定理信源信道隔离定理相互联系。 1. 信息。从广义上讲，信息是指不同物质在运动过程中发出的各种信号；从狭义上讲，信息是指各种物质在运动过程中发出的映出来的数据。指令消息情报图象信号等对于信息的定义，目前学术界还没有一个一致的看法，信息论的创始人申农认为，信息就是用以消除随机的不定性的东西；控制论的创始人维纳认为，信息是人与环境相互交换内容的名称，也可以叫负商。 2. 信息量。它是信息多少的量度许多科学家对信息进行深入的研究以后，发现事件的信息量与事件出现的概率有密切的关系：事件发生的概率大，信息量就越小；反之，事件发生的概率就越小，信息量就越大。例如：池塘周围的护栏越密，小孩或大人掉进池塘的可能性就越少；反之则反[4]。 3. 信源和信宿。信源即消息的来源消息一般以符号的形式发出，通常就有随即性信源是多方面的，自然界的一切物体都可以成为信源。如果信源发出的信号是确定的，即是事先知道的，就不会传输任何信息如果符号的出现是时刻变化
信息论基础理论与应用测验题及答案
信息论基础理论与应用测验题及答案
————————————————————————————————作者：————————————————————————————————日期：
信息论基础理论与应用考试题 一﹑填空题（每题2分，共20分） 1.信息论研究的目的就是要找到信息传输过程的共同规律，以提高信息传输的 （可靠性）﹑（有效性）﹑保密性和认证性，使信息传输系统达到最优化。 （考点：信息论的研究目的） 2.电视屏上约有500×600=3×510个格点，按每点有10个不同的灰度等级考虑，则可组成5 31010?个不同的画面。按等概计算，平均每个画面可提供的信息量约为（610bit /画面）。 （考点：信息量的概念及计算） 3.按噪声对信号的作用功能来分类信道可分为 （加性信道）和 （乘性信道）。 （考点：信道按噪声统计特性的分类） 4.英文电报有32个符号（26个英文字母加上6个字符），即q=32。若r=2，N=1，即对信源S 的逐个符号进行二元编码，则每个英文电报符号至少要用 （5）位二元符号编码才行。 （考点：等长码编码位数的计算） 5.如果采用这样一种译码函数，它对于每一个输出符号均译成具有最大后验概率的那个输入符号，则信道的错误概率最小，这种译码规则称为（最大后验概率准则）或（最小错误概率准则）。 （考点：错误概率和译码准则的概念） 6.按码的结构中对信息序列处理方式不同，可将纠错码分为（分组码）和（卷积码）。 （考点：纠错码的分类） 7.码C=｛（0，0，0，0），（0，1，0，1），（0，1，1，0），（0，0，1，1）｝是（（4，2））线性分组码。 （考点：线性分组码的基本概念） 8.定义自信息的数学期望为信源的平均自信息量，即 （11()log ()log ()()q i i i i H X E P a P a P a =?? ==-??? ?∑） 。
信息论与编码的应用和发展
信息论与编码的应用与发展 通过信道编码器和译码器实现的用于提高信道可靠性的理论和方法。信息论的内容之一。信道编码大致分为两类：①信道编码定理，从理论上解决理想编码器、译码器的存在性问题，也就是解决信道能传送的最大信息率的可能性和超过这个最大值时的传输问题。②构造性的编码方法以及这些方法能达到的性能界限。编码定理的证明，从离散信道发展到连续信道，从无记忆信道到有记忆信道，从单用户信道到多用户信道，从证明差错概率可接近于零到以指数规律逼近于零，正在不断完善。编码方法，在离散信道中一般用代数码形式，其类型有较大发展，各种界限也不断有人提出，但尚未达到编码定理所启示的限度，尤其是关于多用户信道，更显得不足。在连续信道中常采用正交函数系来代表消息，这在极限情况下可达到编码定理的限度。不是所有信道的编码定理都已被证明。只有无记忆单用户信道和多用户信道中的特殊情况的编码定理已有严格的证明；其他信道也有一些结果，但尚不完善。 信道编码技术 数字信号在传输中往往由于各种原因，使得在传送的数据流中产生误码，从而使接收端产生图象跳跃、不连续、出现马赛克等现象。所以通过信道编码这一环节，对数码流进行相应的处理，使系统具有一定的纠错能力和抗干扰能力，可极大地避免码流传送中误码的发生。误码的处理技术有纠错、交织、线性内插等。 提高数据传输效率，降低误码率是信道编码的任务。信道编码的本质是增加通信的可靠性。但信道编码会使有用的信息数据传输减少，信道编码的过程是在源数据码流中加插一些码元，从而达到在接收端进行判错和纠错的目的，这就是我们常常说的开销。这就好象我们运送一批玻璃杯一样，为了保证运送途中不出现打烂玻璃杯的情况，我们通常都用一些泡沫或海棉等物将玻璃杯包装起来，这种包装使玻璃杯所占的容积变大，原来一部车能装5000各玻璃杯的，包装后就只能装4000个了，显然包装的代价使运送玻璃杯的有效个数减少了。同样，在带宽固定的信道中，总的传送码率也是固定的，由于信道编码增加了数据量，其结果只能是以降低传送有用信息码率为代价了。将有用比特数除以总比特数就等于编码效率了，不同的编码方式，其编码效率有所不同。 数字电视中常用的纠错编码，通常采用两次附加纠错码的前向纠错（FEC）编码。RS编码属于第一个FEC，188字节后附加16字节RS码，构成（204，188）RS码，这也可以称为外编码。第二个附加纠错码的FEC 一般采用卷积编码，又称为内编码。外编码和内编码结合一起，称之为级联编码。级联编码后得到的数据流再按规定的调制方式对载频进行调制。 前向纠错码（FEC）的码字是具有一定纠错能力的码型，它在接收端解码后，不仅可以发现错误，而且能够判断错误码元所在的位置，并自动纠错。这种纠错码信息不需要储存，不需要反馈，实时性好。所以在广播系统（单向传输系统）都采用这种信道编码方式。 下面是纠错码的各种类型: 1、RS编码
《信息论》实验指导书— 应用MATLAB软件实现
《信息与编码理论》上机实验指导书———————应用MATLAB软件实现 UPC通信工程系
前言 本实验系列是采用MATLAB软件，主要针对《信息论基础》课程中的相关内容进行的实验。 MATLAB是一完整的并可扩展的计算机环境，是一种进行科学和工程计算的交互式程序语言。它的基本数据单元是不需要制定维数的矩阵，它可直接用于表达数学的算式和技术概念，解决同样的数值计算问题，使用MATLAB要比使用Basic、Fortran和C语言等提高效率许多倍。MATLAB还是一种有利的教学工具，在大学的线性代数课程以及其它领域的高一级课程的教学中，已称为标准的教学工具。 该指导书共安排了4个实验，现就一些情况作简要说明： 各实验要求学生在MATLAB系统上尽量独立完成，弄懂。实验内容紧扣课程教学内容的各主要基本概念，希望同学们在完成每个实验后，对所学的内容起到巩固和加深理解的作用。 每个实验做完后必须交一份实验报告。 恳请各位实验老师和同学在实验中提出宝贵意见，以利于以后改进提高。
目录 实验一离散信源及其信息测度 (3) 实验二离散信道及其容量 (6) 实验三无失真信源编码 (8) 实验四有噪信道编码 (10) 附录部分常用MATLAB命令 (12)
实验一 离散信源及其信息测度 一、[实验目的] 离散无记忆信源是一种最简单且最重要的信源，可以用完备的离散型概率空间来描述。本实验通过计算给定的信源的熵，加深对信源及其扩展信源的熵的概念的理解。 二、[实验环境] windows XP,MATLAB 三、[实验原理] 信源输出的各消息的自信息量的数学期望为信源的信息熵，表达式如下 1()[()]()log ()q i i i H X E I xi p x p x ===-∑ 信源熵是信源的统计平均不确定性的描述，是概率函数()p x 的函数。 四、[实验内容] 1、有条100字符英文信息，假定其中每字符从26个英文字母和1个空格中等概选取，那么每条信息提供的信息量为多少？若将27个字符分为三类，9个出现概率占2/7,13个出现概率占4/7，5个出现占1/7，而每类中符号出现等概，求该字符信源的信息熵。 2、二进制通信系统使用0、1,由于存在失真，传输会产生误码，用符号表示下列事件：u0:一个0发出；u1:一个1发出；v0:一个0收到；v1:一个1收到；给定下列概率：p(u0)=1/2,p(v0|u0)=3/4,p(v0|u1)=1/2。求：(a)已知发出一个0，求收到符号后得到的信息量；(b)已知发出的符号，求收到符号后得到的信息量； 3、给定离散无记忆信源X ，其概率空间为 010.70.3X P ????=???? ???? 求该信源的熵和其二次、三次扩展信源的熵。(编写一M 函数文件： function [H_X1,H_X2,H_X3]=t03(X1,P1) %t03 求信源和其二次、三次扩展信源的熵 %输入为X1,P1,分别为信源符号和概率阵 %输出为原离散信源的熵H_X1和二次、三次扩展信源的熵H_X2、H_X3
信息论基础理论及应用
信息论形成的背景与基础 人们对于信息的认识和利用，可以追溯到古代的通讯实践可以说是传递信息的原始方式。随着社会生产的发展，科学技术的进步，人们对传递信息的要求急剧增加。到了20世纪20年代，如何提高传递信息的能力和可靠性已成为普遍重视的课题。美国科学家N.奈奎斯特、德国K.屈普夫米勒、前苏联A.H.科尔莫戈罗夫和英国R.A.赛希尔等人，从不同角度研究信息，为建立信息论做出了很大贡献。 信息论是在人们长期的通信工程实践中，由通信技术和概率论、随机过程和数理统计相结合而逐步发展起来的一门学科。信息论的奠基人是美国伟大的数学家、贝尔实验室杰出的科学家 C.E.香农(被称为是“信息论之父”)，他在1948年发表了著名的论文《通信的数学理论》，1949年发表《噪声中的通信》，为信息论奠定了理论基础。20世纪70年代以后，随着数学计算机的广泛应用和社会信息化的迅速发展，信息论正逐渐突破香农狭义信息论的范围，发展为一门不仅研究语法信息，而且研究语义信息和语用信息的科学。近半个世纪以来，以通信理论为核心的经典信息论，正以信息技术为物化手段，向高精尖方向迅猛发展，并以神奇般的力量把人类社会推入了信息时代。信息是关于事物的运动状态和规律，而信息论的产生与发展过程，就是立足于这个基本性质。随着信息理论的迅猛发展和信息概念的不断深化，信息论所涉及的内容早已超越了狭义的通信工程范畴，进入了信息科学领域。
信息论定义及概述 信息论是运用概率论与数理统计的方法研究信息、信息熵、通信系统、数据传输、密码学、数据压缩等问题的应用数学学科。核心问题是信息传输的有效性和可靠性以及两者间的关系。它主要是研究通讯和控制系统中普遍存在着信息传递的共同规律以及研究最佳解决信息的获限、度量、变换、储存和传递等问题的基础理论。基于这一理论产生了数据压缩技术、纠错技术等各种应用技术，这些技术提高了数据传输和存储的效率。信息论将信息的传递作为一种统计现象来考虑，给出了估算通信信道容量的方法。信息传输和信息压缩是信息论研究中的两大领域。这两个方面又由信息传输定理、信源－信道隔离定理相互联系 信息论作为一门科学理论，发端于通信工程。它的研究范围极为广阔，一般把信息论分成三种不同类型： 狭义信息论。狭义信息论主要总结了Shannon的研究成果，因此又称为Shannon信息论。在信息可以度量的基础上，研究如何有效、可靠地传递信息。有效、可靠地传递信息必然贯穿于通信系统从信源到信宿的各个部分，狭义信息论研究的是收、发端联合优化的问题，而重点在各种编码。它是通信中客观存在的问题的理论提升。 一般信息论。研究从广义的通信引出的基础理论问题：Shannon 信息论；Wiener的微弱信号检测理论。微弱信号检测又称最佳接收研究是为了确保信息传输的可靠性，研究如何从噪声和干扰中接收信道传输的信号的理论。主要研究两个方面的问题：从噪声中去判决有用
信息论与编码在现实中的运用
信息论与编码在现实中的运用 之从信息论的观点来看学习中文与英文的难易比较学院：电气学院专业：通信工程姓名：孙大山学号：1043031420 教师：王忠 【摘要】当今世界是一个充满信息的世界，没有信息的世界是混乱的世界。因而信息十分重要，随着社会信息化进程的加速，人们对信息的依赖程度会越来越高。为此，有关信息研究的科学——信息论也就应运而生，其中研究信息论的佼佼者与先驱便是香农，他为信息论的发展做出了巨大贡献。为此，信息论也叫做香农信息论。信息论自诞生现在不到60年的时间，在人类科学史上是短暂的，但他的发展对学术界与人类社会的影响是相当广泛的。信息在信息化程度越来越高的现代社会将起到越来越重要的作用，是比物质和能量更为宝贵的资源。全面掌握，理解运用它，有效的利用信息，更能为人类服务。就如，在日常学习英文与中文中。 【关键词】信息、香农信息论、学习中文、学习英文 1、信息论的发展过程 一般认为信息论的创始人是香农和维纳，但由于香农的贡献更大，所以更多人认为香农更合适。?维纳，美国数学家，控制论的创始人。1894年11月26日生于密苏里州的哥伦比亚，1964年3月18日卒于斯德哥尔摩。?维纳在其50年的科学生涯中，先后涉足哲学、数学、物理学和工程学，最后转向生物学，并且在各个领域中都取得了丰硕的成果，称得上是恩格斯颂扬过的、本世纪多才多艺和学识渊博的科学巨人。他一生发表论文240多篇，著作14本，自传两本《昔日神童》和《我是一个数学家》。?维纳的主要成果有八个方面：建立维纳测度、引进巴拿赫—维纳空间、位势理论、发展调和分析、发现维纳—霍普夫方法、提出维纳滤波理论、开创维纳信息论、创立控制论。 2、目前的发展香农信息论： 信息概念的深化；网络信息理论和多重相关信源编码理论的发展和应用；通信网的一般信息理论研究；信息率失真理论的发展及其在数据压缩和图像处理中的应用；信息论在大规模集成电路中的应用；磁记录信道的研究等。纠错码理论：在工程方面应用及最优编码方法研究。维纳信息论：对量子检测和估计理论、非参数检测和估计理论以及非线性检测与估计理论的研究。 3、信息论研究的问题： 信息论是运用概率论与数理统计的方法研究信息、信息熵、通信系统、数据传输、密码学、数据压缩等问题的应用数学学科。信息论将信息的传递作为一种统计现象来考虑，给出了估算通信信道容量的方法。信息传输和信息压缩是信息论研究中的两大领域。这两个方面又由信息传输定理、信源－信道隔离定理相互联系。 香农被称为是“信息论之父”。人们通常将香农于1948年10月发表于《贝尔系统技术学报》上的论文《A Mathematical Theory of Communication》（通信的数学理论）作为现代信息论研究的开端。这一文章 部分基于哈里·奈奎斯特和拉尔夫·哈特利先前的成 果。在该文中，香农给出了信息熵（以下简称为“熵”） 的定义： 香农 （1916.4.30—2001.2.26 美国数学家、信息论的创 始人）
浅谈信息论及其应用
浅谈信息论及其应用 摘要 本文主要研究了信息论的起源、信息论的分类、信息论研究的主要内容以及信息论在现实生活中的运用，信息论是运用概率论与数理统计的方法研究信息信息熵通信系统数据传输密码学数据压缩等问题的应用数学学科。主要介绍信息论在数据压缩、密码学、统计及信号处理中的应用。 关键字：信息论数据压缩密码学
一、信息论的起源 随着社会的发展，科学技术的不断进步，近些年信息论，控制论和系统论被作为一种新的理论方法，在社会科学各个领域中被加以尝试和运用。信息反馈控制机制稳定性等大量新概念和新名词被人们所接受，并涌进许多传统的社会科学领域这是一场方法论的革命，为社会科学各个领域带来了朝气。 信息论最早是美国研究所（信息论之父）克劳德·申农提出[1]，他于1948年10月发表于贝尔系统技术学报上的论文《通信的数学原理》作为现代信息论研究的开端。 二、信息论的定义与分类 （一）定义[2] 1.申农认为信息论是：通讯的基本问题就是精确地或近似地在一端复现在另一端所挑选的信号。 2.信息论是关于信息的本质和传送规律的科学理论，是研究信息的计量、发送、传递、交换、接收和储存的一门新兴科学。 （二）分类 1.狭义信息论：是用统计学的方法研究通讯系统中存在的信息传递和处理的规律的科学。 2.广义信息论：是用数学和其他有关科学的方法研究一切现实系统中存在的信息传递、处理识别和利用的共同规律的科学。 三、信息论研究的基本内容 实际通信系统比较复杂，但是任何通信系统都可以抽象为信息源发送机信道接收机收信者，因此，通信过程中信息的定量表示信源和信宿信道和信道容量编码和译码等方面的问题，就构成了信息论的基本内容。信息论是运用概率论与数理统计的方法研究信息信息熵通信系统数据传输密码学数据压缩等问题的应用数学学科。信息论将信息的传递作为一种统计现象来考虑，给出了估算通信信道
信息论发展史和展望-蒲鹤升
信息论发展史和展望 蒲鹤升（0201５0802） 一、信息论定义 信息论,顾名思义是一门研究信息的处理和传输的科学；即用概率论与数理统计方法来探究信息的度量、传递和变换规律的一门学科。它主要是研究通讯和控制系统中普遍存在着信息传递的共同规律以及研究最佳解决信息的获限、度量、变换、储存和传递等问题的基础理论。信息论将信息的传递作为一种统计现象来考虑,给出了估算通信信道容量的方法，信息传输和信息压缩是信息论研究中的两大领域,这两个方面又由信息传输理论、信源－信道隔离定理相互联系。信息是系统传输和处理的对象，它载荷于语言、文字、图像、数据等之中。这就是现代信息论的出发点。 二、狭义与广义 狭义的信息论是应用数理统计方法来研究信息处理和信息传递的科学,它研究存在于通讯和控制系统中普遍存在着的信息传递的共同规体,以及如何提高各信息传输系统的有效性和可能性的一门通讯理论。狭义信息论是申农氏于1948年创立的，其主要内容就是研究信源、信宿、传递及编码问题,因此它主要应用于通讯工作。后来信息论发展很快,将申农氏信息论的观点做为研究一切问题的理论，即广义信息论。信息论是建立在信息基础上的理论,所谓信息，即人类凭借感觉器官感知的周围一切变化，都可称作信息。 三、相关人物贡献 20世纪通信技术的发展推动了信息理论的研究.美国科学家H.Nｙqｕisｔ于１92４年解释了信号带宽和信息速率之间的关系 美国科学家Ｌ.V．Ｒ．Haｒｔｌeｙ于１92８年开始研究通信系统传输信息的能力,给出了信息的度量方法 美国科学家Ｃ.E.Sｈａnnon于１948年发表的著名论文《通信的数学理论》 ＡMatheｍaｔical Theory of Ｃoｍmuniｃation奠定了信息论的理论基础 四、各发展阶段 第一阶段：1948年贝尔研究所的香农在题为《通讯的数学理论》的论文中系统地提出了关于信息的论述,创立了信息论.?第二阶段:20世纪50年代，信息论向各门学科发起冲击;6０年代信息论进入一个消化、理解的时期,在已有的基础上进行重大建设的时期.研究重点是信息和信源编码问题．
信息论的国内外研究现状
信息论的国内外研究现状 有关香农的信息论的国内外的研究现状 【摘要】随着计算机技术、通信技术和网络技术等信息技术的快速发展信息技术已经成为当今社会应用范围最广的高新技术之一。信息论是信息技术的主要理论技术基础之一 它的一些基本理论在通信、计算机、网络等工程领域中得到了广泛的应用。目前信息论所研究的范畴已经超过了通信及其相近学科，在其他学科应用也很广泛。本学期我们开设了“电子信息工程导论”这一课程，我在其中对信息论的基础理论有了初步的了解借此文对信息论的国内外研究现状进行简单的论述。 【关键词】香农研究信息论 【正文】香农信息论的局限性很早就被认识到，包括香农本人。香农的信息论诞生不久，许多人将它推广到日常信息交流场合，于是出现纰漏。香农也曾经辑文反对信息论的滥用。和Shannon合著《通信的数学理论》一书的W. Weaver就提出通信的三个水平，而香农理论仅仅是其中一个水平。为了解决语义信息问题，R. Carnap等人提出用逻辑概率代替普通概率，然后用Shannon 熵度量语义信息。50年代末，Kullback提出Kullback信息公式。60年代初，Brillouin提出可用Hartley公式的改进形式来度量非概率信息，比如测量数据的信息。1965年，L. A. Zadeh提出模糊集合论，1968年，他又提出模糊事件，即模糊集合A中事件的概率，和模糊集合的熵。1972年,德鲁卡和特尔米尼提出了用来测度模糊事件的信息量的模糊信息熵公式。70年代，H. Gottinger提出非概率信息，S.Guiasu提出了加权熵和效用信息，都产生了一定影响。G. Jumarie还提出采用洛伦兹变换的相对信息，可惜相对信息的定义并不自然，它与本项目的相对信息有很大的差别。此后，R. Yager，M. Higashi和G. Klir，D. Dubois和H. Prade等人又提出或讨论了可能不确定性测度及相应的广义熵，这类方法只采用隶属度等主观测度而不使用事件发生的概率。吴伟陵教授对广义熵和模糊信息做过探讨。我国学者钟义信先生1981年针对香农信息论的熵公式只能度量概率信息的缺陷,提出了一种"广义信息函数"。1985年,他又把该公式推广到语义信息和语用信息的度量,得到了语法,语义和语用信息的综合测度公式,即所谓"全信息"的计量模型。1993年，鲁晨光提出广义信息论，指出香农信息论的局限性具体表现在:不便于度量语义信息、感觉信息、信源信道可变时的信息以及单个信号的信息。鲁晨光提出了广义通信模型和可度量语义信息、感觉信息及测量信号信息的广义信息测度；讨论了预测和检测的信息准则和优化理论。George J. Klir 则在模糊逻辑，不分明集这些不确定性方面作出了许多的研究。斯托尼尔在90年代初提出统一的信息理论,他把信息看成是宇宙的一种基本属性,其目标是在信息物理学的基础上,并综合现有的控制论,符号学,语言学,认知心理学等学科,构建一个所谓一般信息理论的框架。这些新的理论都是在香农的基础上进行扩展，认识到了香农的一些局限性，都很重视对单重不确定性（信息熵）的研究，但是都没有考虑的信息的可靠性这一问题，即信息与客观事实和真理的符合程度，从信息表示的角度，也就是说没有考虑到信息的表示是不确定性的，如信息的表达中概率是变动的，随机的。此外关于信息的定义非常多，但是并不存在公认的定义，绝大多数定义都没有考虑信息的可靠性，信息的定义也是以“信息是消除不确定性的东西”