文档库 最新最全的文档下载
当前位置:文档库 › 信息论基础C 复习课

信息论基础C 复习课

信息论基础C 复习课
信息论基础C 复习课

信息论与编码第一章答案

第一章信息论与基础 1.1信息与消息的概念有何区别? 信息存在于任何事物之中,有物质的地方就有信息,信息本身是看不见、摸不着的,它必须依附于一定的物质形式。一切物质都有可能成为信息的载体,信息充满着整个物质世界。信息是物质和能量在空间和时间中分布的不均匀程度。信息是表征事物的状态和运动形式。 在通信系统中其传输的形式是消息。但消息传递过程的一个最基本、最普遍却又十分引人注意的特点是:收信者在收到消息以前是不知道具体内容的;在收到消息之前,收信者无法判断发送者将发来描述何种事物运动状态的具体消息;再者,即使收到消息,由于信道干扰的存在,也不能断定得到的消息是否正确和可靠。 在通信系统中形式上传输的是消息,但实质上传输的是信息。消息只是表达信息的工具,载荷信息的载体。显然在通信中被利用的(亦即携带信息的)实际客体是不重要的,而重要的是信息。 信息载荷在消息之中,同一信息可以由不同形式的消息来载荷;同一个消息可能包含非常丰富的信息,也可能只包含很少的信息。可见,信息与消息既有区别又有联系的。 1.2 简述信息传输系统五个组成部分的作用。 信源:产生消息和消息序列的源。消息是随机发生的,也就是说在未收到这些消息之前不可能确切地知道它们的内容。信源研究主要内容是消息的统计特性和信源产生信息的速率。 信宿:信息传送过程中的接受者,亦即接受消息的人和物。 编码器:将信源发出的消息变换成适于信道传送的信号的设备。它包含下述三个部分:(1)信源编码器:在一定的准则下,信源编码器对信源输出的消息进行适当的变换和处理,其目的在于提高信息传输的效率。(2)纠错编码器:纠错编码器是对信源编码器的输出进行变换,用以提高对于信道干扰的抗击能力,也就是说提高信息传输的可靠性。(3)调制器:调制器是将纠错编码器的输出变换适合于信道传输要求的信号形式。纠错编码器和调制器的组合又称为信道编码器。 信道:把载荷消息的信号从发射端传到接受端的媒质或通道,包括收发设备在内的物理设施。信道除了传送信号外,还存储信号的作用。 译码器:编码的逆变换。它要从受干扰的信号中最大限度地提取出有关信源输出消息的信息,并尽可能地复现信源的输出。 1.3 同时掷一对骰子,要得知面朝上点数之和,描述这一信源的数学 模型。 解:设该信源符号集合为X

信息论基础各章参考答案

各章参考答案 2.1. (1)4.17比特 ;(2)5.17比特 ; (3)1.17比特 ;(4)3.17比特 2.2. 1.42比特 2.3. (1)225.6比特 ;(2)13.2比特 2.4. (1)24.07比特; (2)31.02比特 2.5. (1)根据熵的可加性,一个复合事件的平均不确定性可以通过多次实验逐步解除。如果我们使每次实验所获得的信息量最大。那么所需要的总实验次数就最少。用无砝码天平的一次称重实验结果所得到的信息量为log3,k 次称重所得的信息量为klog3。从12个硬币中鉴别其中的一个重量不同(不知是否轻或重)所需信息量为log24。因为3log3=log27>log24。所以在理论上用3次称重能够鉴别硬币并判断其轻或重。每次实验应使结果具有最大的熵。其中的一个方法如下:第一次称重:将天平左右两盘各放4枚硬币,观察其结果:①平衡 ②左倾 ③右倾。ⅰ)若结果为①,则假币在未放入的4枚币,第二次称重:将未放入的4枚中的3枚和已称过的3枚分别放到左右两盘,根据结果可判断出盘中没有假币;若有,还能判断出轻和重,第三次称重:将判断出含有假币的三枚硬币中的两枚放到左右两盘中,便可判断出假币。ⅱ)若结果为②或③即将左盘中的3枚取下,将右盘中的3枚放到左盘中,未称的3枚放到右盘中,观察称重砝码,若平衡,说明取下的3枚中含假币,只能判出轻重,若倾斜方向不变,说明在左、右盘中未动的两枚中其中有一枚为假币,若倾斜方向变反,说明从右盘取过的3枚中有假币,便可判出轻重。 (2)第三次称重 类似ⅰ)的情况,但当两个硬币知其中一个为假,不知为哪个时, 第三步用一个真币与其中一个称重比较即可。 对13个外形相同的硬币情况.第一次按4,4,5分别称重,如果假币在五个硬币的组里,则鉴 别所需信息量为log10>log9=2log3,所以剩下的2次称重不能获得所需的信息. 2.6. (1)215 log =15比特; (2) 1比特;(3)15个问题 2. 7. 证明: (略) 2.8. 证明: (略) 2.9. 31)(11= b a p ,121 )(21=b a p , 121 )(31= b a p , 61)()(1312= =b a b a p p , 241)()()()(33233222= ===b a b a b a b a p p p p 。 2.10. 证明: (略) 2.11. 证明: (略)

信息论基础及答案

《信息论基础》试卷第1页 《信息论基础》试卷答案 一、填空题(共25分,每空1分) 1、连续信源的绝对熵为 无穷大。(或()()lg lim lg p x p x dx +∞-∞ ?→∞ --?? ) 2、离散无记忆信源在进行无失真变长信源编码时,编码效率最大可以达到 1 。 3、无记忆信源是指 信源先后发生的符号彼此统计独立 。 4、离散无记忆信源在进行无失真变长编码时,码字长度是变化的。根据信源符号的统计特性,对概率大的符号用 短 码,对概率小的符号用 长 码,这样平均码长就可以降低,从而提高 有效性(传输速率或编码效率) 。 5、为了提高系统的有效性可以采用 信源编码 ,为了提高系统的可靠性可以采用 信道编码 。 6、八进制信源的最小熵为 0 ,最大熵为 3bit/符号 。 7、若连续信源输出信号的平均功率为1瓦特,则输出信号幅度的概率密度函数为 高斯分布(或()0,1x N 2 2 x - )时,信源具有最大熵,其值为 0.6155hart(或 1.625bit 或 1lg 22 e π)。 8、即时码是指 任一码字都不是其它码字的前缀 。 9、无失真信源编码定理指出平均码长的理论极限值为 信源熵(或H r (S)或()lg H s r ),此 时编码效率为 1 ,编码后的信息传输率为 lg r bit/码元 。 10、一个事件发生的概率为0.125,则自信息量为 3bit/符号 。 11、信源的剩余度主要来自两个方面,一是 信源符号间的相关性 ,二是 信源符号概率分布的不均匀性 。 12、m 阶马尔可夫信源的记忆长度为 m+1 ,信源可以有 q m 个不同的状态。 13、同时扔出一对均匀的骰子,当得知“两骰子面朝上点数之和为2”所获得的信息量为 lg36=5.17 比特,当得知“面朝上点数之和为8”所获得的信息量为 lg36/5=2.85 比特。 14.在下面空格中选择填入的数学符号“=,≥,≤,>”或“<” H(XY) = H(Y)+H(X ∣Y) ≤ H(Y)+H(X)

信息论基础》试卷(期末A卷

《信息论基础》答案 一、填空题(本大题共10小空,每小空1分,共20分) 1.按信源发出符号所对应的随机变量之间的无统计依赖关系,可将离散信源分为有记忆信源和无记忆信源两大类。 2.一个八进制信源的最大熵为3bit/符号 3.有一信源X ,其概率分布为1 23x x x X 1 11P 244?? ?? ? =?? ????? ,其信源剩余度为94.64%;若对该信源进行十次扩展,则每十个符号的平均信息量是 15bit 。 4.若一连续消息通过放大器,该放大器输出的最大瞬间电压为b ,最小瞬时电压为a 。若消息从放大器中输出,则该信源的绝对熵是∞;其能在每个自由度熵的最大熵是log (b-a )bit/自由度;若放大器的最高频率为F ,则单位时间内输出的最大信息量是 2Flog (b-a )bit/s. 5. 若某一 信源X ,其平均功率受限为16w ,其概率密度函数是高斯分布时,差熵的最大值为 1 log32e 2 π;与其熵相等的非高斯分布信源的功率为16w ≥ 6、信源编码的主要目的是提高有效性,信道编码的主要目的是提高可靠性。 7、无失真信源编码的平均码长最小理论极限制为信源熵(或H(S)/logr= H r (S))。 8、当R=C 或(信道剩余度为0)时,信源与信道达到匹配。 9、根据是否允许失真,信源编码可分为无失真信源编码和限失真信源编码。 10、在下面空格中选择填入数学符号“,,,=≥≤?”或“?” (1)当X 和Y 相互独立时,H (XY )=H(X)+H(X/Y)。 (2)假设信道输入用X 表示,信道输出用Y 表示。在无噪有损信道中,H(X/Y)> 0, H(Y/X)=0,I(X;Y)

信息论基础理论与应用考试题及答案

信息论基础理论与应用考试题 一﹑填空题(每题2分,共20分) 1.信息论研究的目的就是要找到信息传输过程的共同规律,以提高信息传输的 (可靠性)﹑(有效性)﹑保密性和认证性,使信息传输系统达到最优化。 (考点:信息论的研究目的) 2.电视屏上约有500×600=3×510个格点,按每点有10个不同的灰度等级考虑,则可组成5 31010?个不同的画面。按等概计算,平均每个画面可提供的信息量约为(610bit /画面)。 (考点:信息量的概念及计算) 3.按噪声对信号的作用功能来分类信道可分为 (加性信道)和 (乘性信道)。 (考点:信道按噪声统计特性的分类) 4.英文电报有32个符号(26个英文字母加上6个字符),即q=32。若r=2,N=1,即对信源S 的逐个符号进行二元编码,则每个英文电报符号至少要用 (5)位二元符号编码才行。 (考点:等长码编码位数的计算) 5.如果采用这样一种译码函数,它对于每一个输出符号均译成具有最大后验概率的那个输入符号,则信道的错误概率最小,这种译码规则称为(最大后验概率准则)或(最小错误概率准则)。 (考点:错误概率和译码准则的概念) 6.按码的结构中对信息序列处理方式不同,可将纠错码分为(分组码)和(卷积码)。 (考点:纠错码的分类) 7.码C={(0,0,0,0),(0,1,0,1),(0,1,1,0),(0,0,1,1)}是((4, 2))线性分组码。 (考点:线性分组码的基本概念) 8.定义自信息的数学期望为信源的平均自信息量,即(11()log ()log ()()q i i i i H X E P a P a P a =??==-????∑)。

信息论基础与编码课后题答案第三章

3-1 设有一离散无记忆信源,其概率空间为12()0.60.4X x x P x ???? =? ??? ???? ,信源发出符号通过一干扰信道,接收符号为12{,}Y y y =,信道传递矩阵为516 61344P ???? =? ?????? ? ,求: (1)信源X 中事件1x 和2x 分别含有的自信息量; (2)收到消息j y (j =1,2)后,获得的关于i x (i =1,2)的信息量; (3)信源X 和信宿Y 的信息熵; (4)信道疑义度(/)H X Y 和噪声熵(/)H Y X ; (5)接收到消息Y 后获得的平均互信息量(;)I X Y 。 解:(1)12()0.737,() 1.322I x bit I x bit == (2)11(;)0.474I x y bit =,12(;) 1.263I x y bit =-,21(;) 1.263I x y bit =-, 22(;)0.907I x y bit = (3)()(0.6,0.4)0.971/H X H bit symbol == ()(0.6,0.4)0.971/H Y H bit symbol == (4)()(0.5,0.1,0.1,0.3) 1.685/H XY H bit symbol == (/) 1.6850.9710.714/H X Y bit symbol =-= (/)0.714/H Y X bit symbol = (5)(;)0.9710.7140.257/I X Y bit symbol =-= 3-2 设有扰离散信道的输入端是以等概率出现的A 、B 、C 、D 四个字母。该信道的正 确传输概率为0.5,错误传输概率平均分布在其他三个字母上。验证在该信道上每个字母传输的平均信息量为0.21比特。 证明:信道传输矩阵为:

信息论基础理论与应用考试题及答案

信息论基础理论与应用考试题及答案

信息论基础理论与应用考试题 一﹑填空题(每题2分,共20分) 1.信息论研究的目的就是要找到信息传输过程的共同规律,以提高信息传输的 (可靠性)﹑(有效性)﹑保密性和认证性,使信息传输系统达到最优化。 (考点:信息论的研究目的) 2.电视屏上约有500×600=3×510个格点,按每点有10个不同的灰度等级考虑, 则可组成5 31010?个不同的画面。按等概计算,平均每个画面可提供的信息量约 为(610bit /画面)。 (考点:信息量的概念及计算) 3.按噪声对信号的作用功能来分类信道可分为 (加性信道)和 (乘性信道)。 (考点:信道按噪声统计特性的分类) 4.英文电报有32个符号(26个英文字母加上6个字符),即q=32。若r=2,N=1, 即对信源S 的逐个符号进行二元编码,则每个英文电报符号至少要用 (5)位 二元符号编码才行。 (考点:等长码编码位数的计算) 5.如果采用这样一种译码函数,它对于每一个输出符号均译成具有最大后验概 率的那个输入符号,则信道的错误概率最小,这种译码规则称为(最大后验 概率准则)或(最小错误概率准则)。 (考点:错误概率和译码准则的概念) 6.按码的结构中对信息序列处理方式不同,可将纠错码分为(分组码)和(卷 积码)。 (考点:纠错码的分类) 7.码C={(0,0,0,0),(0,1,0,1),(0,1,1,0),(0,0,1,1)}是((4, 2))线性分组码。 (考点:线性分组码的基本概念) 8.定义自信息的数学期望为信源的平均自信息量,即(11()log ()log ()()q i i i i H X E P a P a P a =??==-????∑)。

2004信息论基础试题

2004信息论基础试题 xx年香农在贝尔杂志上发表了两篇有关的“通信的数学理论”文章,该文用 2 对信源的不确定性的度量,是衡量信息量大小的一个尺度;用 3 来度量两事件的依赖程度,表现在通信领域就是输入和输出两事件的相互的信息量,若把它取最大值,就是通信线路的 4 ,若把它取最小值,就是 5 ;无失真压缩的理论依据: 6 ,限失真压缩理论依据: 7 ;香农第一定理又称 8 编码定理,编码后的码符号信源尽可能为 11 ,使每个码符号平均所含的信息量达到 9 ,要做到无失真编码,变换每个信源符号平均所需最少的r元码元数就是信源的 10 。 二简答题 1.简述最大离散熵定理。对于一个有m个符号的离散信源,其最大熵是多少? 2.连续信源的绝对熵多大,你想到了什么? 3.用一个实例说明你对信号、消息、信息的理解。 4.写出香农公式,并说明其物理意义。当信道带宽为5000Hz,信噪比为30dB时求信道容量。 5.解释下图阴影部分含义。 R(D)1R'(D)(实际)R(D) 1/2D 6.比较信息熵和互信息两个概念的异同之处及相互关

系。 7.解释等长信源编码定理和无失真变长信源编码定理,说明对于等长码和变长码,最佳码的每符号平均码长最小为多少?编码效率最高可达多少? 8.分别说明信源的概率分布和信道转移概率对平均互信息的影响,说明平均互信息与信道容量的关系。 9.二元无记忆信源,有求: 某一信源序列100个二元符号组成,其中有m个“1”,求其自信息量?求100个符号构成的信源序列的熵。 10.求一一对应确定信道P1的信道容量:三计算题 1.黑白气象传真图的消息只有黑色和白色两种,求: 1)黑色出现的概率为,白色出现的概率为。给出这个只有两个符号的信源X的数学模型。假设图上黑白消息出现前后没有关联,求熵 ; 2)假设黑白消息出现前后有关联,其依赖关系为:, ,求其熵H∞; ,, 3)比较H(X)和H∞的大小,并说明其物理含义。 2.二元对称信道如图。 1)若,,求和;

信息论基础》试卷(期末A卷

重庆邮电大学2007/2008学年2学期 《信息论基础》试卷(期末)(A卷)(半开卷) 一、填空题(本大题共10小空,每小空1分,共20分) 1.按信源发出符号所对应的随机变量之间的无统计依赖关系,可将离散信源分为有记忆信源和无记忆信源两大类。 2.一个八进制信源的最大熵为3bit/符号 3.有一信源X,其概率分布为 123 x x x X 111 P 244 ?? ?? ? = ?? ? ?? ?? ,其信源剩余度为94.64%;若对该信源进行十次扩展,则 每十个符号的平均信息量是 15bit。 4.若一连续消息通过放大器,该放大器输出的最大瞬间电压为b,最小瞬时电压为a。若消息从放大器中输出,则该信源的绝对熵是∞;其能在每个自由度熵的最大熵是log(b-a)bit/自由度;若放大器的最高频率为F,则单位时间内输出的最大信息量是 2Flog(b-a)bit/s. 5. 若某一信源X,其平均功率受限为16w,其概率密度函数是高斯分布时,差熵的最大值为1 log32e 2 π;与其 熵相等的非高斯分布信源的功率为16w ≥ 6、信源编码的主要目的是提高有效性,信道编码的主要目的是提高可靠性。 7、无失真信源编码的平均码长最小理论极限制为信源熵(或H(S)/logr= H r(S))。 8、当R=C或(信道剩余度为0)时,信源与信道达到匹配。 9、根据是否允许失真,信源编码可分为无失真信源编码和限失真信源编码。 10、在下面空格中选择填入数学符号“,,, =≥≤?”或“?” (1)当X和Y相互独立时,H(XY)=H(X)+H(X/Y)。 (2)假设信道输入用X表示,信道输出用Y表示。在无噪有损信道中,H(X/Y)> 0, H(Y/X)=0,I(X;Y)

互信息凸性

互信息函数),(Q P I 的性质2的证明。 对于确定的条件概率矩阵Q 互信息函数),(Q P I 是概率矢量空间S 上的上凸函数。 (其中S ={P :P =(1p , 2p …, K p ), ,,...2,1,10K k p k =≤≤而∑==K k k p 1 1}) 证明:首先由定义知:),(Y X I =)(Y H -)(X Y H 其中 )(Y H =∑=- J j j j b p b p 1 )(log )( =∑∑∑===- J j k j K k k j k K k a b p a p b a p 11 1)()(log ),( =∑∑∑===- J j k j K k k k j k K k a b p a p a b p a p 1 1 1 )()(log )()( )(X Y H = ∑∑ ==-J j k j j k K k a b p b a p 1 1)/(log ),( =∑∑==- J j k j k j k K k a b p a b p a p 1 1 )/(log )()( 可知对于确定的Q ,)(Y H 和)(X Y H 都是S 上的函数,且)(X Y H 关于P 是线性的。 下面将证明)(Y H 是S 上的上凸函数。即对?1P ),...,,(11211K p p p =, 2P ),...,,(22221K p p p =∈S ,及λ,λ,.1,10λλλ-=≤≤ 成立 ∑∑∑ ===++-J j k j k k k k K k k j k k k j k k K k a b p a p a p a b p a p a b p a p 1 211 211 ) ()]()([log )]/()()()([λλλλ≥ ∑∑∑ ===-J j k j K k k k k j k k K k a b p a p a b p a p 1 1 111) ()(log )()(λ

信息论期末复习

第二章 信源熵 一、自信息量 1. 定义:一个随机事件发生某一结果后所带来的信息量称为自信息量,简称自信息。定 义为其发生概率对数的负值。若随机事件发生i a 的概率为)(i a p ,那么它的自信 息量为:)(log )(2i i a p a I -= (bit ) 2. 性质:在事件发生前,)(i a I 表示该事件发生的不确定性。 在事件发生后,)(i a I 表示事件发生所提供的信息量。 二、信源熵 1. 定义: 已知单符号离散无记忆信源的数学模型 我们定义信源各个离散消息的自信息量的数学期望为信源的平均信息量,一般称为信 源的平均信息量: )(log )(])(1[log )]([)( 212i n i i i i a p a p a p E a I E X H ∑=-=== 2. 信源熵与平均自信息量之间的区别 两者在数值上是相等的,但含义不同。信源熵表征信源的平均不确定度,平均自信息量是消除不确定度所需要的信息的度量。信源一定,不管它是否输出离散消息,只要这些离散消息具有一定的概率特性,必有信源的熵值,该熵值在总体平均的意义上才有意义,因而是一个确定值, 。在离散信源的情况下,信源熵的值是有限的。而信息量只有当信源输出离散消息并被接收后,才有意义,这就是给予接收者的信息度量。 3. 最大离散熵定理:信源X 中包含n 个不同离散消息时,信源熵H(X)有: n X H 2log )(≤ 当且仅当X 中各个消息出现的概率全相等时,上式取等号。 4. 扩展信源的信源熵:N 次扩展信源的信源熵:)()(X NH X H N = )(,),(,),(),( , , , , ,)( 2121? ?????=??????n i n i a p a p a p a p a a a a X P X

信息论基础理论与应用考试题及答案.doc

信息论基础理论与应用考试题 一、填空题(每题2分,共20分) 1.信息论研究的ri的就是要找到信息传输过程的共同规律,以提高信息传输的 (可靠性)、(有效性)、保密性和认证性,使信息传输系统达到最优化。(考点:信息论的研究目的) 2.电视屏上约有500X600=3X 1O,个格点,按每点有10个不同的灰度等级考虑, 则可组成IO’加'个不同的画面。按等概计算,平均每个画面可提供的信息量约为(I()6bit/画面)。 (考点:信息量的概念及计算) 3.按噪声对信号的作用功能来分类信道可分为(加性信道)和(乘性信道)。(考点:信道按噪声统计特性的分类) 4.英文电报有32个符号(26个英文字母加上6个字符),即q二32。若r=2, N=l, 即对信源S的逐个符号进行二元编码,则每个英文电报符号至少要用(5)位二元符号编码才行。 (考点:等长码编码位数的计算) 5.如果采用这样一种译码函数,它对于每一个输出符号均译成具有最大后验概率的那个输入符号,则信道的错误概率最小,这种译码规则称为(最大后验概率准则)或(最小错误概率准则)。 (考点:错误概率和译码准则的概念) 6.按码的结构中对信息序列处理方式不同,可将纠错码分为(分组码)和(卷积也。 (考点:纠错码的分类) 7.码C=((0, 0, 0, 0), (0, 1, 0, 1), (0, 1, 1, 0), (0, 0, 1, 1)}是(Gb 2)?线性分组码。 (考点:线性分组码的基本概念) 8.定义自信息的数学期望为信源的平均自信息量,即 MB | q

(H(X) = E log—— =-£p(%)logP(q))。 P(q)/=i ■ ■ ■ (考点:平均信息量的定义) 9.对于一个(n,k)分组码,其最小距离为d,那么,若能纠正t个随机错误,同时能检测e (eNt)个随机错误,则要求(dNt+e+1 )。 (考点:线性分组码的纠检错能力概念) 10.和离散信道一?样,对于固定的连续信道和波形信道都有一?个最大的信息传输速率,称之为(信道容量)。 (考点:连续信道和波形信道的信道容量) 二、判断题(每题2分,共10分) 1.信源剩余度的大小能很好地反映离散信源输出的符号序列中符号之间依赖关系的强弱,剩余度越大,表示信源的实际嫡越小。(对)(考点:信源剩余度的基本概念) 2.信道的噪声是有色噪声,称此信道为有色噪声信道,一?般有色噪声信道都是无 记忆信道。(错)(考点:有色噪声信道的概念) 3.若一组码中所有码字都不相同,即所有信源符号映射到不同的码符号序列,则 称此码为非奇异码。(对)(考点:非奇异码的基本概念) 4.在一个二元信道的n次无记忆扩展信道中,输入端有2。个符号序列可以作为消息。(对) 5.卷积码的纠错能力随着约束长度的增加而增大,-?般情况下卷积码的纠错能力 劣于分组码。(错)(考点:卷积码的纠错能力) 三、名词解释(每题3分,共12分) 1 .信源编码

信息论基础答案2

《信息论基础》答案 一、填空题(共15分,每空1分) 1、若一连续消息通过某放大器,该放大器输出的最大瞬时电压为b,最小瞬时电压为a。 若消息从放大器中输出,则该信源的绝对熵是无穷大;其能在每个自由度熵的最 大熵是log b-a 。 2、高斯白噪声信道是指信道噪声服从正态分布,且功率谱为常数。 3、若连续信源的平均功率为 5 W,则最大熵为1.2 Iog10 e ,达到最大值的条件是高 斯信道。 4、离散信源存在剩余度的原因是信源有记忆(或输岀符号之间存在相关性)和不 等概。 5、离散无记忆信源在进行无失真变长信源编码时,编码效率最大可以达到 1 。 6、离散无记忆信源在进行无失真变长信源编码时,码字长度是变化的。根据信源符号 的统计特性,对概率大的符号用短码,对概率小的符号用长码,这样平均码长 就可以降低,从而提高编码效率。 7、八进制信源的最小熵为0 ,最大熵为3bit 。 8、一个事件发生概率为,则自信息量为3bit 。 9、在下面空格中选择填入数字符号“,,,”或“ <” H XY 二HY HXY HY H X 二、判断题(正确打",错误打X)(共5分,每小题1分) 1)离散无(")记忆等概信源的剩余度为0 。 2) 离散无记忆信源N次扩展源的熵是原信息熵的N倍(") 3) 互信息可正、可负、可为零。 (") 4) 信源的真正功率P 永远不会大于熵功率P ,即P P (X ) 5) 信道容量与信源输出符号的概率分布有关。 (X ) 、(5分)已知信源的概率密度函数p x如下图所示,求信源的相对熵

* p x 0.5 4 h x 2 p x log p x dx 1bit自由度 四、(15分)设一个离散无记忆信源的概率空间为P x 0.5 0.5 它们通过干扰信道,信道输出端的接收信号集为丫= 示。 试计算: (1)信源X中事件x的自信息量;(3分) (2)信源X的信息熵;(3分) (3)共熵H XY ; ( 3 分) (4)噪声熵H Y X ;(3分) (5)收到信息丫后获得的关于信源X的平均信息量。(1)I x11bit (2)H丄,丄1bit/符号 2 2,已知信道出书概率如下图所 (3 分)

《信息论基础》试卷(期末)(B2卷)

试题编号: 重庆邮电大学2008/2009学年2学期 《信息论基础》试卷(期末)(B卷)(开卷) 一、填空题(共25分,每空1分) 1、连续信源的绝对熵为。 2、离散无记忆信源在进行无失真变长信源编码时,编码效率最大可以达到。 3、无记忆信源是指。 4、离散无记忆信源在进行无失真变长信源编码时,码字长度是变化的。根据信源符号的统计特性,对概率大的符号用码,对概率小的符号用码,这样平均码长就可以降低,从而提高。 5、为了提高系统的有效性可以采用,为了提高系统的可靠性可以采用。 6、八进制信源的最小熵为,最大熵为。 《信息论基础》试卷第1页

7、若连续信源输出信号的平均功率为1瓦特,则输出信号幅度的概率密度函数为 时,信源具有最大熵,其值为。 8、即时码是指。 9、无失真信源编码定理指出平均码长的理论极限值为,此时编码效率为,编码后的信息传输率为。 10、一个事件发生概率为0.125,则自信息量为。 11、信源的剩余度主要来自两个方面,一是,二是。 12、m阶马尔可夫信源的记忆长度为,信源可以有个不同的状态。 13、同时扔一对均匀的骰子,当得知“两骰子面朝上点数之和为2”所获得的信息量为 比特,当得知“面朝上点数之和为8”所获得的信息量为比特。14、在下面空格中选择填入数学符号“=,≥,≤,>”或“<” () +()()X H Y H+。 H| Y XY H H()()Y X 《信息论基础》试卷第2页

二、(5分)已知信源的概率密度函数为 1 () a x b p x b a ? ≤≤ ? =- ? ??其他 , 计算信源的相对熵。 三、(10分)一个平均功率受限的连续信道,信道带宽为1MHz,信道噪声为高斯白噪声。(1)已知信道上的信号与噪声的平均功率比值为20,计算该信道的信道容量。 (2)如果信道上的信号与噪声的平均功率比值降为10,要达到相同的信道容量,信道带宽应为多少? (3)如果信道带宽降为0.5MHz,要达到相同的信道容量,信道上的信号与噪声的平均功率比值应为多少? 《信息论基础》试卷第3页

信息论基础1答案

信息论基础1答案

《信息论基础》答案 一、填空题(本大题共10小空,每小空1分,共20分) 1.按信源发出符号所对应的随机变量之间的无统计依赖关系,可将离散信源分为有记忆信源和无记忆信源两大类。 2.一个八进制信源的最大熵为3bit/符号 3.有一信源X ,其概率分布为 123x x x X 111P 2 44?? ?? ?=?? ??? ?? , 其信源剩余度为94.64%;若对该信源进行十次扩展,则每十个符号的平均信息量是 15bit 。 4.若一连续消息通过放大器,该放大器输出的最大瞬间电压为b ,最小瞬时电压为a 。若消息从放大器中输出,则该信源的绝对熵是 ∞ ;其能在每个自由度熵的最大熵是log (b-a ) bit/自由度;若放大器的最高频率为F ,则单位时间内输出的最大信息量是 2Flog (b-a )bit/s. 5. 若某一 信源X ,其平均功率受限为

16w,其概率密度函数是高斯分布时,差熵的 最大值为1log32e π;与其熵相等的非高斯分布信2 源的功率为16w ≥ 6、信源编码的主要目的是提高有效性,信道编码的主要目的是提高可靠性。 7、无失真信源编码的平均码长最小理论极限 (S))。 制为信源熵(或H(S)/logr= H r 8、当R=C或(信道剩余度为0)时,信源与信道达到匹配。 9、根据是否允许失真,信源编码可分为无失真信源编码和限失真信源编码。 10、在下面空格中选择填入数学符号“,,, =≥≤?”或“?” (1)当X和Y相互独立时,H(XY)=H(X)+H(X/Y)。 (2)假设信道输入用X表示,信道输出用Y 表示。在无噪有损信道中,H(X/Y)> 0, H(Y/X)=0,I(X;Y)

学科导论学习报告

学科导论学习报告

目录 目录 (2) 学科导论学习报告 (3) (1)对电子通信学科的认识 (3) ①对学科的简介: (3) ②培养方向: (4) ③培养目标: (4) ④就业方向: (5) ⑤主要课程: (5) ⑥专业特点: (5) (2)对学科导论课程的评价与认识 (5) ①优点: (6) ②不足与改进: (6) (3)有关本专业新技术——NGN新技术的简述。 (7) ①基本简介: (7) ②主要技术: (7) ③特点: (9) (4)通过学习后的心得体会: (9) ①学习方法的改进: (10) ②我的简单职业生涯规划: (10) 1.学业为主 (10) 2.学业家庭并重: (11) 3.家庭为主: (11) 4.学习上的目标 (11) 5具体三年规划 (11) 6.短期计划: (12) 7.大学四年最终目标 (12)

学科导论学习报告 每周二晚上尽管时间很匆忙,仍然坚持对学科导论的学习。尽管学习的时间很短,但通过对本专业《学科导论》的学习,我不仅仅对信息工程专业有了更深的了解,更重要的是对本专业有了融厚的兴趣以及掌握了一些有用的学习方法。我相信会为我以后的学习,给以很大的帮助。同时给我在成就美丽人生的路上,倍添了信心。 (1)对电子通信学科的认识 通过课程的学习以及网上查找资料,我得到相关的认识如下:本专业是建立在超大规模集成电路技术和现代计算机技术基础上,研究信息处理理论、技术和工程实现的专门学科。该专业以研究信息系统和控制系统的应用技术为核心,在面向21世纪信息社会化的过程中具有十分重要的地位。 在课堂上老师介绍了信息科学与技术导论,其中详细包括了大科学观,信息基础,信息获取,信息传递,信息处理,信息执行,学科关系,学习方法,未来趋势,放眼社会。对科学、技术、信息等词语都做出了详细的解释以及生动的举例。技术,也叫工艺学,是人类创造的关于如何认识自然和如何改造自然的工艺方法体系,它从实践过程中被人们逐渐总结出来,或在科学理论指导下被人们发明出来,经过实践的检验而得到确认和应用。 这些使我了解了很多,同时激励我不断地对问题思考与总结。 ①对学科的简介:

广义信息熵的推广与应用

青岛农业大学 本科生课程论文 论文题目广义信息熵的推广与应用 学生专业班级信息与计算科学09级02班学生姓名(学号)(20094052) 指导教师吴慧 完成时间 2012年6月28日 2012 年 6 月 28 日

课程论文任务书 学生姓名指导教师吴慧 论文题目广义信息熵的推广与应用 论文内容:本文先介绍了Shannon 信息熵的定义,并对其进行了一 定的分析,介绍了它的一些基本性质。其次,说明Shannon 熵的局 限性,以此引出了广义信息熵。然后对常用的Renyi 熵、Tsallis 熵 进行讨论,说明它们与Shannon 熵的联系。最后介绍了广义熵在实 际生活中的应用。 资料、数据、技术水平等方面的要求:论文要符合一般学术论文的写 作规范,具备学术性、科学性和一定的创造性。文字要流畅、语言要 准确、论点要清楚、论据要准确、论证要完整、严密,有独立的观点 和见解。涉及到他人的观点、统计数据或计算公式等要标明出处,结 论要写的概括简短。 发出任务书日期 2012-6-5 完成论文日期 2012-6-19 教研室意见(签字) 院长意见(签字)

广义信息熵的推广与应用 信息与计算科学 指导教师吴慧 摘要:本文先介绍了Shannon 熵,由Shannon 熵推广到一般的广义信息熵,使其适用范围更广。然后在Shannon 熵的基础上介绍了两种最常用的广义信息熵:Renyi 熵和Tsallis 熵,说明了这两种广义信息熵的简单性质,以及与Shannon 熵的联系和性质上的差异。最后介绍了广义熵在实际生活中的应用。 关键词:Shannon 熵;广义信息熵;应用 The promotion and application of the generalized information entropy Student majoring in Information and Computing Science ZhuMeng Tutor WuHui Abstract:At the beginning of this article it introduced the Shannon entropy.Then, it described the two most commonly used generalized information entropy: Renyi entropy and Tsallis entropy on the basis of the Shannon entropy.What is more,this article not only described the simple nature of the generalized information entropy but also described their contact with the Shannon entropy as well as the different nature between them.Finally, it introduced the application of the generalized entropy in real life. Keywords: Shannon entropy; generalized information entropy; application

信息论基础及答案

《信息论基础》试卷答案 一、填空题(共25分,每空1分) 1、连续信源的绝对熵为 无穷大。(或()()lg lim lg p x p x dx +∞ -∞?→∞ --??) 2、离散无记忆信源在进行无失真变长信源编码时,编码效率最大可以达到 1 。 3、无记忆信源是指 信源先后发生的符号彼此统计独立 。 4、离散无记忆信源在进行无失真变长编码时,码字长度是变化的。根据信源符号的统计特性,对概率大的符号用 短 码,对概率小的符号用 长 码,这样平均码长就可以降低,从而提高 有效性(传输速率或编码效率) 。 5、为了提高系统的有效性可以采用 信源编码 ,为了提高系统的可靠性可以采用 信道编码 。 6、八进制信源的最小熵为 0 ,最大熵为 3bit/符号 。 7、若连续信源输出信号的平均功率为1瓦特,则输出信号幅度的概率密度函数为 高斯分布(或()0,1x N 2 2 x -)时,信源具有最大熵,其值为 0.6155hart(或1.625bit 或1lg 22 e π)。 8、即时码是指 任一码字都不是其它码字的前缀 。 9、无失真信源编码定理指出平均码长的理论极限值为 信源熵(或H r (S)或()lg H s r ),此时编码效率为 1 ,编码后的信息传输率为 lg r bit/码元 。 10、一个事件发生的概率为0.125,则自信息量为 3bit/符号 。 11、信源的剩余度主要来自两个方面,一是 信源符号间的相关性 ,二是 信源符号概率分布的不均匀性 。 12、m 阶马尔可夫信源的记忆长度为 m+1 ,信源可以有 q m 个不同 的状态。 13、同时扔出一对均匀的骰子,当得知“两骰子面朝上点数之和为2”所获得的信息量为 lg36=5.17 比特,当得知“面朝上点数之和为8”所获得的信息量为 lg36/5=2.85 比特。 14.在下面空格中选择填入的数学符号“=,≥,≤,>”或“<” H(XY) = H(Y)+H(X ∣Y) ≤ H(Y)+H(X)

信息论基础理论与应用测验题及答案

信息论基础理论与应用测验题及答案

————————————————————————————————作者:————————————————————————————————日期:

信息论基础理论与应用考试题 一﹑填空题(每题2分,共20分) 1.信息论研究的目的就是要找到信息传输过程的共同规律,以提高信息传输的 (可靠性)﹑(有效性)﹑保密性和认证性,使信息传输系统达到最优化。 (考点:信息论的研究目的) 2.电视屏上约有500×600=3×510个格点,按每点有10个不同的灰度等级考虑,则可组成5 31010?个不同的画面。按等概计算,平均每个画面可提供的信息量约为(610bit /画面)。 (考点:信息量的概念及计算) 3.按噪声对信号的作用功能来分类信道可分为 (加性信道)和 (乘性信道)。 (考点:信道按噪声统计特性的分类) 4.英文电报有32个符号(26个英文字母加上6个字符),即q=32。若r=2,N=1,即对信源S 的逐个符号进行二元编码,则每个英文电报符号至少要用 (5)位二元符号编码才行。 (考点:等长码编码位数的计算) 5.如果采用这样一种译码函数,它对于每一个输出符号均译成具有最大后验概率的那个输入符号,则信道的错误概率最小,这种译码规则称为(最大后验概率准则)或(最小错误概率准则)。 (考点:错误概率和译码准则的概念) 6.按码的结构中对信息序列处理方式不同,可将纠错码分为(分组码)和(卷积码)。 (考点:纠错码的分类) 7.码C={(0,0,0,0),(0,1,0,1),(0,1,1,0),(0,0,1,1)}是((4,2))线性分组码。 (考点:线性分组码的基本概念) 8.定义自信息的数学期望为信源的平均自信息量,即 (11()log ()log ()()q i i i i H X E P a P a P a =?? ==-??? ?∑) 。

信息论第1章

第一章信息的定性描述 第一节对信息的初步认识 一. 信息社会 当今,世界上信息革命的热潮一浪高过一浪。近年来,移动电话、个人电脑和网络用户正以高于摩尔定律的速度迅猛增长。人们都在谈论着信息社会、信息革命和网络时代,信息似乎成了个很时髦的字眼儿。就连中国人平常打招呼的话“你吃饭了吗?”也被有些人改成“你上网了吗?”但这绝不是什么赶时髦,也绝不是什么偶然现象,而是社会发展的必然趋势。因为在信息社会里,人们最关心的是信息问题,而不是吃饭问题。“民以食为天”的信条将会逐渐被“民以信为天”所代替。社会学家和未来学家普遍认为,20世纪末和21世纪初,是信息革命爆发的时期。一些新技术的突破和新产业的出现,使社会生产力发生了新的飞跃,人们的生活也发生了新的变化,人类社会正在进入信息化社会。所谓信息化社会,就是以信息产业为中心,使社会生产、生活和经济都发展起来的社会。在这种社会中, ◆信息成了比物质或能源更为重要的资源, ◆对信息产业成了重要的产业。 ◆从事信息工作者成了主要的劳动者。 ◆信息和知识成了生产力发展的决定因素。 二. 信息的普遍性 其实,信息并不是什么新鲜东西, 信息无时不在,无处不有。 人们生活在信息的海洋里,天天都要通过自己的感觉器官感受各种外界信息。例如,衣食住行,读书看报,听广播,看电视等等。人们要进行社会活动就需要有信息交流。例如,除了书信、电话、电报之外,天天都要同许多人交谈、交往。人们还要进行信息处理和存储。例如,要把观察、接收到的大量事物、数据和资料进行分类、分析、整理和纪录。 不仅如此,信息也是人类自身进化的一个基本条件。恩格斯对于人类的进化过程,曾有过这样一段极其精彩的描述:“……这些猿类,大概是首先由于它们生活方式的影响……渐渐直立行走……手变得自由了……随着手的发展,随着劳动而开始的人对自然的统治,在每一个新的发展中扩大了人的眼界。……另一方面,劳动的发展必然促使社会成员更加紧密地互相结合起来,因为它使互相帮助和共同协作的场合增多了,并且使每个人都清楚地意识到这种共同协作的好处。一句话,这些正在形成中的人,已经到了彼此间有些什么非说不可的地步了。需要产生了自己的器官:猿类不发达的喉头,由于音调的抑扬顿挫的不断加多,缓慢地然而肯定地得到改造,而口部的器官也逐渐学会了发出一个个清晰的音节……首先是劳动,然后是语言和劳动一起,成了两个最主要的推动力,在它们的影响下,猿的脑髓就逐渐地变成人的脑髓……由于随着完全形成的人的出现而产生了新的因素——社会。”在这里,我们看到了一幅清晰的图景,它说明这些正在形成中的人,怎样在与外部的联系中产生了感知信息与利用信息的需要,因而逐渐形成和发展了自己的信息器官:眼、耳、口、脑等等。形成和发展这些器官,形成和发展语言,正是为了从自然界取得信息和利用信息来强化自己,

相关文档
相关文档 最新文档