当前位置：文档库 › 信息论基础试卷及详细答案

信息论基础试卷及详细答案

信息论基础各章参考答案

各章参考答案 2．1．（1）4.17比特；（2）5.17比特；（3）1.17比特；（4）3.17比特 2．2． 1.42比特 2．3．（1）225.6比特；（2）13.2比特 2．4．（1）24.07比特；（2）31.02比特 2．5．（1）根据熵的可加性，一个复合事件的平均不确定性可以通过多次实验逐步解除。如果我们使每次实验所获得的信息量最大。那么所需要的总实验次数就最少。用无砝码天平的一次称重实验结果所得到的信息量为log3,k 次称重所得的信息量为klog3。从12个硬币中鉴别其中的一个重量不同（不知是否轻或重）所需信息量为log24。因为3log3=log27>log24。所以在理论上用3次称重能够鉴别硬币并判断其轻或重。每次实验应使结果具有最大的熵。其中的一个方法如下：第一次称重：将天平左右两盘各放4枚硬币，观察其结果：①平衡 ②左倾 ③右倾。ⅰ）若结果为①，则假币在未放入的4枚币，第二次称重：将未放入的4枚中的3枚和已称过的3枚分别放到左右两盘，根据结果可判断出盘中没有假币；若有，还能判断出轻和重，第三次称重：将判断出含有假币的三枚硬币中的两枚放到左右两盘中，便可判断出假币。ⅱ）若结果为②或③即将左盘中的3枚取下，将右盘中的3枚放到左盘中，未称的3枚放到右盘中，观察称重砝码，若平衡，说明取下的3枚中含假币，只能判出轻重，若倾斜方向不变，说明在左、右盘中未动的两枚中其中有一枚为假币，若倾斜方向变反，说明从右盘取过的3枚中有假币，便可判出轻重。（2）第三次称重类似ⅰ）的情况，但当两个硬币知其中一个为假，不知为哪个时, 第三步用一个真币与其中一个称重比较即可。对13个外形相同的硬币情况.第一次按4,4,5分别称重,如果假币在五个硬币的组里,则鉴别所需信息量为log10>log9=2log3,所以剩下的2次称重不能获得所需的信息. 2．6．（1）215 log ＝15比特；（2） 1比特；（3）15个问题 2． 7. 证明：（略） 2．8．证明：（略） 2．9． 31)(11= b a p ，121 )(21=b a p ， 121 )(31= b a p ， 61)()(1312= =b a b a p p ， 241)()()()(33233222= ===b a b a b a b a p p p p 。 2．10．证明：（略） 2．11. 证明：（略）

信息论基础及答案

《信息论基础》试卷第1页《信息论基础》试卷答案一、填空题（共25分，每空1分） 1、连续信源的绝对熵为无穷大。（或()()lg lim lg p x p x dx +∞-∞ ?→∞ --?? ） 2、离散无记忆信源在进行无失真变长信源编码时，编码效率最大可以达到 1 。 3、无记忆信源是指信源先后发生的符号彼此统计独立。 4、离散无记忆信源在进行无失真变长编码时，码字长度是变化的。根据信源符号的统计特性，对概率大的符号用短码，对概率小的符号用长码，这样平均码长就可以降低，从而提高有效性(传输速率或编码效率) 。 5、为了提高系统的有效性可以采用信源编码，为了提高系统的可靠性可以采用信道编码。 6、八进制信源的最小熵为 0 ，最大熵为 3bit/符号。 7、若连续信源输出信号的平均功率为1瓦特，则输出信号幅度的概率密度函数为高斯分布(或()0,1x N 2 2 x - )时，信源具有最大熵，其值为 0.6155hart(或 1.625bit 或 1lg 22 e π)。 8、即时码是指任一码字都不是其它码字的前缀。 9、无失真信源编码定理指出平均码长的理论极限值为信源熵(或H r (S)或()lg H s r )，此时编码效率为 1 ，编码后的信息传输率为 lg r bit/码元。 10、一个事件发生的概率为0.125，则自信息量为 3bit/符号。 11、信源的剩余度主要来自两个方面，一是信源符号间的相关性，二是信源符号概率分布的不均匀性。 12、m 阶马尔可夫信源的记忆长度为 m+1 ，信源可以有 q m 个不同的状态。 13、同时扔出一对均匀的骰子，当得知“两骰子面朝上点数之和为2”所获得的信息量为 lg36=5.17 比特，当得知“面朝上点数之和为8”所获得的信息量为 lg36/5=2.85 比特。 14.在下面空格中选择填入的数学符号“=，≥，≤，>”或“<” H(XY) = H(Y)+H(X ∣Y) ≤ H(Y)+H(X)

朱雪龙《应用信息论基础》习题第三章答案

第三章习题答案 3.1 解： 3.2 解： (1) ?? ???≠==? ?????=?? ?????≤??? ??-??? ??-???? ???????????≤---+-=? ?????≤+∞04m o d 004m o d )43()41(4104141l o g 43l o g 043l o g 4341l o g 4143l o g )(41l o g ),(100)()(log 4344000000N N C N n P N n P N n N n P n N n U H N U P P N N N 则上式变为的个数为，则出现的个数为设该序列中出现时 δδ (2) ?? ???≤-=∑-k N k k C k k N k k N 没有满足上述条件的满足概率为同样可推得典型序列的时 03log 20141)43()41(05.0δ 3.3 0.469 bit/sample 3.4 1) 不妨设)20,0(2j j k j k M <≤≥+=，可进行如下编码：首先作一深度为j i K i i i N N N N N P P U H U H X X X P U H X X X P N log )())(exp(),(lim )(),(log 1lim 12121∑=∞→∞→-=-=∴-=其中

的二叉满树，并在j 2个叶子节点中取k 个节点，以这k 个节点为根节点，生成k 个深度为1的子树，于是得到了一个有 M k k j =-+22个叶子的二叉树，对此二叉树的叶子按Halfman 方法进行编码，即得到最优的二元即时码。 2）M M k j k j M k j M I 2log 212)1(1=+=??+?+?= 当且仅当k=0，即j M 2=时，M I 2log = 3.5 解：不妨设i u ( i =…-2,-1,0,1,2, …) 取自字母表{1a ，2a …n a }，设一阶转移概率为 ????????????nn n n n n P P P P P P P P P 2 12222111211，所以在当前码字j u 进行编码时，由k j a u =-1，对j u 可能的取值，依概率分布(kn k P P 1) 进行Halfman 编码，即是最佳压缩方案。 3.6 0.801 bit/sample 3.7 1) 7 6 bit/sample 2) P(1)= 72 P(2)=73 P(3)=72 如按无记忆信源进行编码，则根据信源所处的的1，2，3三个状态对应编码成00，1，01。平均码长为：72×2+73×1+72×2=7 11 bit/sample 如果按马尔可夫信源进行编码：状态1时：a →0, b →10, c →11 状态2时：a →0, b →1 状态3时：无需发任何码字 ∴平均码长： 76072)121121(73)241241121(72=?+?+??+?+?+?? bit/sample 3.8 x 22j I -+= 3.9 1) H(X) = －（plog p+qlog q ） bit/sample H(Y)= －（plog p+qlog q ） bit/sample

信息论基础》试卷(期末A卷

《信息论基础》答案一、填空题（本大题共10小空，每小空1分，共20分） 1.按信源发出符号所对应的随机变量之间的无统计依赖关系，可将离散信源分为有记忆信源和无记忆信源两大类。 2.一个八进制信源的最大熵为3bit/符号 3.有一信源X ，其概率分布为1 23x x x X 1 11P 244?? ?? ? =?? ????? ，其信源剩余度为94.64%；若对该信源进行十次扩展，则每十个符号的平均信息量是 15bit 。 4.若一连续消息通过放大器，该放大器输出的最大瞬间电压为b ，最小瞬时电压为a 。若消息从放大器中输出，则该信源的绝对熵是∞；其能在每个自由度熵的最大熵是log （b-a ）bit/自由度；若放大器的最高频率为F ，则单位时间内输出的最大信息量是 2Flog （b-a ）bit/s. 5. 若某一信源X ，其平均功率受限为16w ，其概率密度函数是高斯分布时，差熵的最大值为 1 log32e 2 π；与其熵相等的非高斯分布信源的功率为16w ≥ 6、信源编码的主要目的是提高有效性，信道编码的主要目的是提高可靠性。 7、无失真信源编码的平均码长最小理论极限制为信源熵（或H(S)/logr= H r (S)）。 8、当R=C 或（信道剩余度为0）时，信源与信道达到匹配。 9、根据是否允许失真，信源编码可分为无失真信源编码和限失真信源编码。 10、在下面空格中选择填入数学符号“,,,=≥≤?”或“?” （1）当X 和Y 相互独立时，H （XY ）=H(X)+H(X/Y)。（2）假设信道输入用X 表示，信道输出用Y 表示。在无噪有损信道中，H(X/Y)> 0, H(Y/X)=0,I(X;Y)

信息论基础》试卷(期末A卷

重庆邮电大学2007/2008学年2学期《信息论基础》试卷（期末）（A卷）（半开卷）一、填空题（本大题共10小空，每小空1分，共20分） 1.按信源发出符号所对应的随机变量之间的无统计依赖关系，可将离散信源分为有记忆信源和无记忆信源两大类。 2.一个八进制信源的最大熵为3bit/符号 3.有一信源X，其概率分布为 123 x x x X 111 P 244 ?? ?? ? = ?? ? ?? ?? ，其信源剩余度为94.64%；若对该信源进行十次扩展，则每十个符号的平均信息量是 15bit。 4.若一连续消息通过放大器，该放大器输出的最大瞬间电压为b，最小瞬时电压为a。若消息从放大器中输出，则该信源的绝对熵是∞；其能在每个自由度熵的最大熵是log（b-a）bit/自由度；若放大器的最高频率为F，则单位时间内输出的最大信息量是 2Flog（b-a）bit/s. 5. 若某一信源X，其平均功率受限为16w，其概率密度函数是高斯分布时，差熵的最大值为1 log32e 2 π；与其熵相等的非高斯分布信源的功率为16w ≥ 6、信源编码的主要目的是提高有效性，信道编码的主要目的是提高可靠性。 7、无失真信源编码的平均码长最小理论极限制为信源熵（或H(S)/logr= H r(S)）。 8、当R=C或（信道剩余度为0）时，信源与信道达到匹配。 9、根据是否允许失真，信源编码可分为无失真信源编码和限失真信源编码。 10、在下面空格中选择填入数学符号“,,, =≥≤?”或“?” （1）当X和Y相互独立时，H（XY）=H(X)+H(X/Y)。（2）假设信道输入用X表示，信道输出用Y表示。在无噪有损信道中，H(X/Y)> 0, H(Y/X)=0,I(X;Y)

信息论试卷含答案

《信息论基础》模拟试卷一、填空题（共15分，每空1分） 1、信源编码的主要目的是，信道编码的主要目的是。 2、信源的剩余度主要来自两个方面，一是，二是。 3、三进制信源的最小熵为，最大熵为。 4、无失真信源编码的平均码长最小理论极限制为。 5、当时，信源与信道达到匹配。 6、根据信道特性是否随时间变化，信道可以分为和。 7、根据是否允许失真，信源编码可分为和。 8、若连续信源输出信号的平均功率为2σ，则输出信号幅度的概率密度是时，信源具有最大熵，其值为值。 9、在下面空格中选择填入数学符号“,,,=≥≤?”或“?” （1）当X 和Y 相互独立时，H （XY ） H(X)+H(X/Y) H(Y)+H(X)。（2）()() 1222 H X X H X = ()()12333H X X X H X = （3）假设信道输入用X 表示，信道输出用Y 表示。在无噪有损信道中，H(X/Y) 0, H(Y/X) 0,I(X;Y) H(X)。二、（6分）若连续信源输出的幅度被限定在【2,6】区域内，当输出信号的概率密度是均匀分布时，计算该信源的相对熵，并说明该信源的绝对熵为多少。三、（16分）已知信源 1234560.20.20.20.20.10.1S s s s s s s P ????=???????? （1）用霍夫曼编码法编成二进制变长码；（6分）（2）计算平均码长L ;（4分）（3）计算编码信息率R ';（2分）（4）计算编码后信息传输率R ;（2分）（5）计算编码效率η。（2分）四、（10分）某信源输出A 、B 、C 、D 、E 五种符号，每一个符号独立出现，出现概率分别为1/8、1/8、1/8、1/2、1/8。如果符号的码元宽度为0.5s μ。计算：（1）信息传输速率t R 。（5分）（2）将这些数据通过一个带宽为B=2000kHz 的加性白高斯噪声信道传输，噪声的单边功率谱密度为 6010W n Hz -=。试计算正确传输这些数据最少需要的发送功率P 。（5分）

信息论基础7答案

《信息论基础》参考答案一、填空题（共15分，每空1分） 1、信源编码的主要目的是提高有效性，信道编码的主要目的是提高可靠性。 2、信源的剩余度主要来自两个方面，一是信源符号间的相关性，二是信源符号的统计不均匀性。 3、三进制信源的最小熵为0，最大熵为32log bit/符号。 4、无失真信源编码的平均码长最小理论极限制为信源熵（或H(S)/logr= H r (S)）。 5、当R=C 或（信道剩余度为0）时，信源与信道达到匹配。 6、根据信道特性是否随时间变化，信道可以分为恒参信道和随参信道。 7、根据是否允许失真，信源编码可分为无失真信源编码和限失真信源编码。 8、若连续信源输出信号的平均功率为2σ，则输出信号幅度的概率密度是高斯分布或正态分布或( )22 2x f x σ-时，信源具有最大熵，其值为值21 log 22 e πσ。 9、在下面空格中选择填入数学符号“,,,=≥≤?”或“?” （1）当X 和Y 相互独立时，H （XY ）=H(X)+H(X/Y)=H(Y)+H(X)。（2）()() 1222 H X X H X =≥() ()12333H X X X H X = （3）假设信道输入用X 表示，信道输出用Y 表示。在无噪有损信道中，H(X/Y)> 0, H(Y/X)=0,I(X;Y)

2004信息论基础试题

2004信息论基础试题 xx年香农在贝尔杂志上发表了两篇有关的“通信的数学理论”文章，该文用 2 对信源的不确定性的度量，是衡量信息量大小的一个尺度；用 3 来度量两事件的依赖程度，表现在通信领域就是输入和输出两事件的相互的信息量，若把它取最大值，就是通信线路的 4 ，若把它取最小值，就是 5 ；无失真压缩的理论依据： 6 ，限失真压缩理论依据： 7 ；香农第一定理又称 8 编码定理，编码后的码符号信源尽可能为 11 ，使每个码符号平均所含的信息量达到 9 ，要做到无失真编码，变换每个信源符号平均所需最少的r元码元数就是信源的 10 。二简答题 1.简述最大离散熵定理。对于一个有m个符号的离散信源，其最大熵是多少？ 2.连续信源的绝对熵多大，你想到了什么？ 3.用一个实例说明你对信号、消息、信息的理解。 4.写出香农公式，并说明其物理意义。当信道带宽为5000Hz，信噪比为30dB时求信道容量。 5.解释下图阴影部分含义。 R(D)1R'(D)(实际)R(D) 1/2D 6.比较信息熵和互信息两个概念的异同之处及相互关

系。 7.解释等长信源编码定理和无失真变长信源编码定理，说明对于等长码和变长码，最佳码的每符号平均码长最小为多少？编码效率最高可达多少？ 8.分别说明信源的概率分布和信道转移概率对平均互信息的影响，说明平均互信息与信道容量的关系。 9.二元无记忆信源，有求：某一信源序列100个二元符号组成，其中有m个“1”，求其自信息量？求100个符号构成的信源序列的熵。 10.求一一对应确定信道P1的信道容量：三计算题 1.黑白气象传真图的消息只有黑色和白色两种，求： 1）黑色出现的概率为，白色出现的概率为。给出这个只有两个符号的信源X的数学模型。假设图上黑白消息出现前后没有关联，求熵； 2）假设黑白消息出现前后有关联，其依赖关系为：，，求其熵H∞；，， 3）比较H(X)和H∞的大小，并说明其物理含义。 2.二元对称信道如图。 1）若，，求和；

信息论基础与编码课后题答案第三章

3-1 设有一离散无记忆信源，其概率空间为12()0.60.4X x x P x ???? =? ??? ???? ，信源发出符号通过一干扰信道，接收符号为12{,}Y y y =，信道传递矩阵为516 61344P ???? =? ?????? ? ，求：（1）信源X 中事件1x 和2x 分别含有的自信息量；（2）收到消息j y （j ＝1，2）后，获得的关于i x （i ＝1，2）的信息量；（3）信源X 和信宿Y 的信息熵；（4）信道疑义度(/)H X Y 和噪声熵(/)H Y X ；（5）接收到消息Y 后获得的平均互信息量(;)I X Y 。解：（1）12()0.737,() 1.322I x bit I x bit == （2）11(;)0.474I x y bit =，12(;) 1.263I x y bit =-，21(;) 1.263I x y bit =-， 22(;)0.907I x y bit = （3）()(0.6,0.4)0.971/H X H bit symbol == ()(0.6,0.4)0.971/H Y H bit symbol == （4）()(0.5,0.1,0.1,0.3) 1.685/H XY H bit symbol == (/) 1.6850.9710.714/H X Y bit symbol =-= (/)0.714/H Y X bit symbol = （5）(;)0.9710.7140.257/I X Y bit symbol =-= 3-2 设有扰离散信道的输入端是以等概率出现的A 、B 、C 、D 四个字母。该信道的正确传输概率为0.5，错误传输概率平均分布在其他三个字母上。验证在该信道上每个字母传输的平均信息量为0.21比特。证明：信道传输矩阵为：

重庆理工大学2019年《813信息论基础》考研专业课真题试卷

重庆理工大学硕士研究生招生考试试题专用纸第1页重庆理工大学2019年攻读硕士学位研究生入学考试试题学院名称：电气与电子工程学院学科、专业名称：信息与通信工程考试科目（代码）：信息论基础（813）(A 卷) （试题共 3 页）一、填空题（30分，每题3分） 1、根据计算自信息量的对数底的不同选择，自信息量的单位有三种，当对数底为2时对应的单位为。 2、是指包含信息的语言、文字和图像等，例如我们每天从报纸、电视节目和互联网中获得的各种新闻等。 3、有记忆信源是指信源发出的前后符号之间是具有性。 4、信道上所能传输的最大信息量称之为。 5、为了定量地描述信号传输的差错，定义收发码之“差”为。 6、码字110111010和码字010101011的码间距离为。 7、已知某线性分组码的码间最小距离为6，其最多能独立纠正的码元位数为。 8、具有6.5MHz 带宽的某高斯信道，若信道中信号功率与噪声功率之比255,则该信道上所能传输的最高信息速率为 M bit/s 。 9、克劳夫特(Kraft)不等式可以用来判断满足某种码长的唯一可译码是否存在。假设进行2进制编码，共有N 个不同的码字，第i 个码字对应的码长为i K ，其克劳夫特不等式为。 10、无失真的信源定长编码定理说明，当码字长度L 足够大时，只要码字所携带的信息量信源序列输出的信息量，则可以使传输几乎无失真。二、简述题（60分，每题15分） 1、试从信息论与编码角度简述数字通信系统的基本模型。画出模型框图，并阐述模型中各部分的主要作用。 2、请给出至少3条熵的性质，并进行简单阐述。 3、什么是信源的冗余度？产生冗余度的两个主要原因是什么？

信息论基础理论与应用考试题及答案

信息论基础理论与应用考试题一﹑填空题（每题2分，共20分） 1.信息论研究的目的就是要找到信息传输过程的共同规律，以提高信息传输的（可靠性）﹑（有效性）﹑保密性和认证性，使信息传输系统达到最优化。（考点：信息论的研究目的） 2.电视屏上约有500×600=3×510个格点，按每点有10个不同的灰度等级考虑，则可组成5 31010?个不同的画面。按等概计算，平均每个画面可提供的信息量约为（610bit /画面）。（考点：信息量的概念及计算） 3.按噪声对信号的作用功能来分类信道可分为（加性信道）和（乘性信道）。（考点：信道按噪声统计特性的分类） 4.英文电报有32个符号（26个英文字母加上6个字符），即q=32。若r=2，N=1，即对信源S 的逐个符号进行二元编码，则每个英文电报符号至少要用（5）位二元符号编码才行。（考点：等长码编码位数的计算） 5.如果采用这样一种译码函数，它对于每一个输出符号均译成具有最大后验概率的那个输入符号，则信道的错误概率最小，这种译码规则称为（最大后验概率准则）或（最小错误概率准则）。（考点：错误概率和译码准则的概念） 6.按码的结构中对信息序列处理方式不同，可将纠错码分为（分组码）和（卷积码）。（考点：纠错码的分类） 7.码C=｛（0，0，0，0），（0，1，0，1），（0，1，1，0），（0，0，1，1）｝是（（4， 2））线性分组码。（考点：线性分组码的基本概念） 8.定义自信息的数学期望为信源的平均自信息量，即（11()log ()log ()()q i i i i H X E P a P a P a =??==-????∑）。

信息论基础答案2

《信息论基础》答案一、填空题（共15分，每空1分） 1、若一连续消息通过某放大器，该放大器输出的最大瞬时电压为b,最小瞬时电压为a。若消息从放大器中输出，则该信源的绝对熵是无穷大；其能在每个自由度熵的最大熵是log b-a 。 2、高斯白噪声信道是指信道噪声服从正态分布，且功率谱为常数。 3、若连续信源的平均功率为 5 W,则最大熵为1.2 Iog10 e ，达到最大值的条件是高斯信道。 4、离散信源存在剩余度的原因是信源有记忆（或输岀符号之间存在相关性）和不等概。 5、离散无记忆信源在进行无失真变长信源编码时，编码效率最大可以达到 1 。 6、离散无记忆信源在进行无失真变长信源编码时，码字长度是变化的。根据信源符号的统计特性，对概率大的符号用短码,对概率小的符号用长码,这样平均码长就可以降低，从而提高编码效率。 7、八进制信源的最小熵为0 ，最大熵为3bit 。 8、一个事件发生概率为，则自信息量为3bit 。 9、在下面空格中选择填入数字符号“，，，”或“ <” H XY 二HY HXY HY H X 二、判断题（正确打"，错误打X）（共5分，每小题1分） 1）离散无（"）记忆等概信源的剩余度为0 。 2) 离散无记忆信源N次扩展源的熵是原信息熵的N倍(") 3) 互信息可正、可负、可为零。 (") 4) 信源的真正功率P 永远不会大于熵功率P ，即P P (X ) 5) 信道容量与信源输出符号的概率分布有关。 (X ) 、（5分）已知信源的概率密度函数p x如下图所示，求信源的相对熵

* p x 0.5 4 h x 2 p x log p x dx 1bit自由度四、（15分）设一个离散无记忆信源的概率空间为P x 0.5 0.5 它们通过干扰信道，信道输出端的接收信号集为丫= 示。试计算：（1）信源X中事件x的自信息量；（3分）（2）信源X的信息熵；（3分）（3）共熵H XY ; （ 3 分）（4）噪声熵H Y X ；（3分）（5）收到信息丫后获得的关于信源X的平均信息量。（1）I x11bit （2）H丄，丄1bit/符号 2 2，已知信道出书概率如下图所（3 分）

信息论基础》试卷(期末A卷

试题编号：重庆邮电大学2007/2008学年2学期《信息论基础》试卷（期末）（A 卷）（半开卷）一、填空题（本大题共10小空，每小空1分，共20分） 1.按信源发出符号所对应的随机变量之间的无统计依赖关系，可将离散信源分为和 2.一个八进制信源的最大熵为 3.有一信源X ，其概率分布为??? ? ????=??????414121 32 1 x x x P X ，其信源剩余度为；若对该信源进行十次扩展，则每十个符号的平均信息量是。 4.若一连续消息通过放大器，该放大器输出的最大瞬间电压为b ，最小瞬时电压为a 。若消息从放大器中输出，则该信源的绝对熵是；其能在每个自由度熵的最大熵是；若放大器的最高频率为F ，则单位时间内输出的最大信息量是 . 5. 若某一信源X ，其平均功率受限为16w ，其概率密度函数是高斯分布时，差熵的最大值为；与其熵相等的非高斯分布信源的功率为 6、信源编码的主要目的是，信道编码的主要目的是。

7、无失真信源编码的平均码长最小理论极限制为 . 8、当时，信源与信道达到匹配。 9、根据是否允许失真，信源编码可分为和。 10、在下面空格中选择填入数学符号“,,, =≥≤?”或“?” （1）当X和Y相互独立时，H（XY） H(X)+H(X/Y)。（2）假设信道输入用X表示，信道输出用Y表示。在无噪有损信道中，H(X/Y) 0, H(Y/X) 0,I(X;Y) H(X)。二、（8分）掷两粒骰子，各面出现的概率都是1/6，计算信息量： 1.当点数和为3时，该消息包含的信息量是多少？ 2.当点数和为7是，该消息包含的信息量是多少？ 3.两个点数中没有一个是1的自信息是多少？三、（12分）设X、Y是两个相互统计独立的二元随机变量，其取-1或1的概率相等。定义另一个二元随机变量Z，取Z=YX（一般乘积）。试计算： 1.H（Y）、H（Z）； 2.H（XY）、H（YZ）； 3.I（X;Y）、I（Y;Z）；四、(15分)如图所示为一个三状态马尔科夫信源的转移概率矩阵 P= 11 22 11 0 22 111 424?? ? ? ? ? ? ? ???

信息论基础1答案

16w，其概率密度函数是高斯分布时，差熵的最大值为1log32e π；与其熵相等的非高斯分布信2 源的功率为16w ≥ 6、信源编码的主要目的是提高有效性，信道编码的主要目的是提高可靠性。 7、无失真信源编码的平均码长最小理论极限 (S)）。制为信源熵（或H(S)/logr= H r 8、当R=C或（信道剩余度为0）时，信源与信道达到匹配。 9、根据是否允许失真，信源编码可分为无失真信源编码和限失真信源编码。 10、在下面空格中选择填入数学符号“,,, =≥≤?”或“?” （1）当X和Y相互独立时，H（XY）=H(X)+H(X/Y)。（2）假设信道输入用X表示，信道输出用Y 表示。在无噪有损信道中，H(X/Y)> 0, H(Y/X)=0,I(X;Y)

信息论基础理论与应用考试题及答案

《信息论基础》试卷(期末)(B2卷)

试题编号：重庆邮电大学2008/2009学年2学期《信息论基础》试卷（期末）（B卷）（开卷）一、填空题（共25分，每空1分） 1、连续信源的绝对熵为。 2、离散无记忆信源在进行无失真变长信源编码时，编码效率最大可以达到。 3、无记忆信源是指。 4、离散无记忆信源在进行无失真变长信源编码时，码字长度是变化的。根据信源符号的统计特性，对概率大的符号用码，对概率小的符号用码，这样平均码长就可以降低，从而提高。 5、为了提高系统的有效性可以采用，为了提高系统的可靠性可以采用。 6、八进制信源的最小熵为，最大熵为。《信息论基础》试卷第1页

7、若连续信源输出信号的平均功率为1瓦特，则输出信号幅度的概率密度函数为时，信源具有最大熵，其值为。 8、即时码是指。 9、无失真信源编码定理指出平均码长的理论极限值为，此时编码效率为，编码后的信息传输率为。 10、一个事件发生概率为0.125，则自信息量为。 11、信源的剩余度主要来自两个方面，一是，二是。 12、m阶马尔可夫信源的记忆长度为，信源可以有个不同的状态。 13、同时扔一对均匀的骰子，当得知“两骰子面朝上点数之和为2”所获得的信息量为比特，当得知“面朝上点数之和为8”所获得的信息量为比特。14、在下面空格中选择填入数学符号“=，≥，≤，>”或“<” () +()()X H Y H+。 H| Y XY H H()()Y X 《信息论基础》试卷第2页

二、（5分）已知信源的概率密度函数为 1 () a x b p x b a ? ≤≤ ? =- ? ??其他，计算信源的相对熵。三、（10分）一个平均功率受限的连续信道，信道带宽为1MHz，信道噪声为高斯白噪声。（1）已知信道上的信号与噪声的平均功率比值为20，计算该信道的信道容量。（2）如果信道上的信号与噪声的平均功率比值降为10，要达到相同的信道容量，信道带宽应为多少？（3）如果信道带宽降为0.5MHz，要达到相同的信道容量，信道上的信号与噪声的平均功率比值应为多少？《信息论基础》试卷第3页

信息论基础理论与应用考试题及答案.doc

信息论基础理论与应用考试题一、填空题（每题2分，共20分） 1.信息论研究的ri的就是要找到信息传输过程的共同规律，以提高信息传输的（可靠性）、（有效性）、保密性和认证性，使信息传输系统达到最优化。（考点：信息论的研究目的） 2.电视屏上约有500X600=3X 1O,个格点，按每点有10个不同的灰度等级考虑, 则可组成IO’加'个不同的画面。按等概计算，平均每个画面可提供的信息量约为（I（）6bit/画面）。（考点：信息量的概念及计算） 3.按噪声对信号的作用功能来分类信道可分为（加性信道）和（乘性信道）。（考点：信道按噪声统计特性的分类） 4.英文电报有32个符号（26个英文字母加上6个字符），即q二32。若r=2, N=l, 即对信源S的逐个符号进行二元编码，则每个英文电报符号至少要用（5）位二元符号编码才行。（考点：等长码编码位数的计算） 5.如果采用这样一种译码函数，它对于每一个输出符号均译成具有最大后验概率的那个输入符号，则信道的错误概率最小，这种译码规则称为（最大后验概率准则）或（最小错误概率准则）。（考点：错误概率和译码准则的概念） 6.按码的结构中对信息序列处理方式不同，可将纠错码分为（分组码）和（卷积也。（考点：纠错码的分类） 7.码C=（（0, 0, 0, 0）, （0, 1, 0, 1）, （0, 1, 1, 0）, （0, 0, 1, 1）｝是（Gb 2）?线性分组码。（考点：线性分组码的基本概念） 8.定义自信息的数学期望为信源的平均自信息量，即 MB | q

（H（X） = E log—— =-￡p（%）logP（q））。 P（q）/=i ■ ■ ■ （考点：平均信息量的定义） 9.对于一个（n,k）分组码，其最小距离为d,那么，若能纠正t个随机错误，同时能检测e （eNt）个随机错误，则要求（dNt+e+1 ）。（考点：线性分组码的纠检错能力概念） 10.和离散信道一?样，对于固定的连续信道和波形信道都有一?个最大的信息传输速率，称之为（信道容量）。（考点：连续信道和波形信道的信道容量）二、判断题（每题2分，共10分） 1.信源剩余度的大小能很好地反映离散信源输出的符号序列中符号之间依赖关系的强弱，剩余度越大，表示信源的实际嫡越小。（对）（考点：信源剩余度的基本概念） 2.信道的噪声是有色噪声，称此信道为有色噪声信道，一?般有色噪声信道都是无记忆信道。（错）（考点：有色噪声信道的概念） 3.若一组码中所有码字都不相同，即所有信源符号映射到不同的码符号序列，则称此码为非奇异码。（对）（考点：非奇异码的基本概念） 4.在一个二元信道的n次无记忆扩展信道中，输入端有2。个符号序列可以作为消息。（对） 5.卷积码的纠错能力随着约束长度的增加而增大，-?般情况下卷积码的纠错能力劣于分组码。（错）（考点：卷积码的纠错能力）三、名词解释（每题3分，共12分） 1 .信源编码

朱雪龙《应用信息论基础》习题答案

信息论基础试题

通信02级信息论基础试题姓名班级学号（100分钟）一填空题（20分） 1、信息论是应用近代数理统计方法研究信息的传输、存储与处理的科学，故称为 1 ；1948年香农在贝尔杂志上发表了两篇有关的“通信的数学理论”文章，该文用 2 对信源的不确定性的度量，是衡量信息量大小的一个尺度；用 3 来度量两事件的依赖程度，表现在通信领域就是输入和输出两事件的相互的信息量，若把它取最大值，就是通信线路的 4 。 2、信源的 5 是衡量信源的有效性，是无失真压缩的理论基础，它告诉了无失真压缩的极限，我们可以通过 6 减少信源的剩余度，形成新的信源来传输，而使新信源接近7 ，这样新信源的消息通过信道的信息传输率接近最大值，剩余率接近于零，提高通信的有效性。 3、8 是信源在允许失真的条件下，信源熵所能压缩的极限，是限失真压缩的理论基础，它给出了在指定的9 条件下，信源熵H(X)所能压缩的10 ，但没有给出具体的压缩方法。二计算题（共60分） 1、有两个二元随机变量X和Y，它们的联合概率为：（15分） X Y x1=0 x2=1 y1=0 1/8 3/8 y2=1 3/8 1/8 求H(X)、H(XY)、H(Y/X)、I(X;Y) 2、每帧电视图像可以认为是由300000个像素组成的，所有像素均是独立变化，且每像素又取128个不同的亮度电平，并设亮度电平是等概出现，（15分）1）问每帧图像含有多少信息量？ 2）若有一个广播员，在常用的8192个汉字中来口述此电视图像（假设汉字字汇是等概率分布，并彼此无依赖），至少需要多少汉字？ 3）你对第二问的结果想到了什么？

3、离散无记忆信源P(x1)=1/2；P(x2)=1/4；P(x3)=1/8；P(x4)=1/8；（15分） (1) 计算对信源的逐个符号进行二元定长编码码长和编码效率； (2) 对信源编二进制哈夫曼码，并计算平均码长和编码效率。 (3) 你做出一个结论。 4、设一个二元对称信道，其信道矩阵P为： 0.98 0.02 P= 0.02 0.98 现有一消息序列共有15000个符号，并设在这消息中P(0)=P(1)=1/2，要求10秒内无失真传送完，问该信道至少要以每秒多少个二元符号传输输入符号。（15分）三用信息论的理论简单解释下列现象（20分） 1 选派中南大学的100m冠军参加奥运会100m决赛对比赛结果无任何影响。《摘自笑话与幽默》 2 一个最古老的问题：已知12个球中有一个球的重量与其它球不同，其它球均等重。用无砝码的天平至少须称3次才能找出此球。 3 【日经BP社报道】在MPEG-4规格里，“MPEG- 4 Advanced Video Codec（A VC）”压缩率可以超过200倍，最高可达400倍，而仍然保有极佳的音质和画质。 4 中新网3月23日电据路透社报道，美国联邦法院今天裁决：特莉·夏沃的进食管已于18日被移除，即被执行安乐死。法院今日的裁决意味着，这名因心脏病而导致脑部瘫痪，卧床15年之久的美国植物人走到了生命的尽头。

信息论基础及答案

《信息论基础》试卷答案一、填空题（共25分，每空1分） 1、连续信源的绝对熵为无穷大。（或()()lg lim lg p x p x dx +∞ -∞?→∞ --??） 2、离散无记忆信源在进行无失真变长信源编码时，编码效率最大可以达到 1 。 3、无记忆信源是指信源先后发生的符号彼此统计独立。 4、离散无记忆信源在进行无失真变长编码时，码字长度是变化的。根据信源符号的统计特性，对概率大的符号用短码，对概率小的符号用长码，这样平均码长就可以降低，从而提高有效性(传输速率或编码效率) 。 5、为了提高系统的有效性可以采用信源编码，为了提高系统的可靠性可以采用信道编码。 6、八进制信源的最小熵为 0 ，最大熵为 3bit/符号。 7、若连续信源输出信号的平均功率为1瓦特，则输出信号幅度的概率密度函数为高斯分布(或()0,1x N 2 2 x -)时，信源具有最大熵，其值为 0.6155hart(或1.625bit 或1lg 22 e π)。 8、即时码是指任一码字都不是其它码字的前缀。 9、无失真信源编码定理指出平均码长的理论极限值为信源熵(或H r (S)或()lg H s r )，此时编码效率为 1 ，编码后的信息传输率为 lg r bit/码元。 10、一个事件发生的概率为0.125，则自信息量为 3bit/符号。 11、信源的剩余度主要来自两个方面，一是信源符号间的相关性，二是信源符号概率分布的不均匀性。 12、m 阶马尔可夫信源的记忆长度为 m+1 ，信源可以有 q m 个不同的状态。 13、同时扔出一对均匀的骰子，当得知“两骰子面朝上点数之和为2”所获得的信息量为 lg36=5.17 比特，当得知“面朝上点数之和为8”所获得的信息量为 lg36/5=2.85 比特。 14.在下面空格中选择填入的数学符号“=，≥，≤，>”或“<” H(XY) = H(Y)+H(X ∣Y) ≤ H(Y)+H(X)