文档库 最新最全的文档下载
当前位置:文档库 › 信息论 复习题

信息论 复习题

信息论 复习题
信息论 复习题

【3.2】设8个等概率分布的消息通过传递概率为p的BSC进行传送,8个消息相应编成下述码字:

M1=0000,M2=0101,M3=0110,M4=0011

M5=1001,M6=1010,M7=1100,M8=1111

试问:

(1)接收到第一个数字0与M1之间的互信息;

(2)接收到第二个数字也是0时,得到多少关于M1的附加互信息;(3)接收到第三个数字仍为0时,又增加了多少关于M1的互信息;(4)接收到第四个数字还是0时,再增加了多少关于M1的互信息。

解:

各个符号的先验概率均为1/8

(1)根据已知条件,有

因此接收到第一个数字

0与M1之间的互信息为:

(2)根据已知条件,有因此接收到第二个数字也是0时,得到多少关于M1的互信息为:

得到的附加信息为:(3)根据已知条件,有

因此接收到第三个数字也是0时,得到多少关于M1的互信息为:

此时得到的附加信息为:

(4)根据已知条件,有

因此接收到第四个符号

为0时,得到的关于M1

的互信息为

此时得到的附加信息为

【3.3】设二元对称信道的传递矩阵为

(1)若P(0)=3/4,P(1)=1/4,求H(X ),H(X | Y ),H(Y | X )和I (X;Y);(2)求该信道的信道容量及其达到信道容量时的输入概率分布。

解:(1)根据已知条件,有

【3.5】若X、Y 和Z 是三个随机变量,试证明:

(1)I (X;YZ) = I(X;Y) + I(X;Z | Y) = I (X;Z) + I (X;Y | Z) (2)I (X;Y | Z) = I (Y; X | Z) = H(X | Z) - H(X | YZ) (3)I (X;Y | Z) 30当且仅当(X, Z,Y)是马氏链时等式成立。

(3)

【3.10】求下列两个信道的信道容量,并加以比较

因此有

【4.17】在图片传输中,每帧约个像素,为了能很好地重现图像,需分16个亮度电平,并假设亮度电平等概率分布。试计算每秒钟传送30帧图片所需

信道的带宽(信噪功率比为30dB)。

解:每秒需要传输的信息量为:

【4.18】设在平均功率受限高斯加性波形信道中,信道带宽为3kHz,又设(信号功率+噪声功率)/噪声功率=10dB。

(1)试计算该信道传送的最大信息率(单位时间);

(2)若功率信噪比降为5dB,要达到相同的最大信息传输率,信道带宽应为多少?解:(1)根据已知条件有,

(2)如果功率信噪比降为5dB,即因此

信息论编码》模拟试题一及参考答案

模拟试题一 一、概念简答题(共10题,每题5分) 1.简述离散信源和连续信源的最大熵定理。 2.什么是平均自信息(信息熵)?什么是平均互信息?比较一下两个概念的异同之处。 3.解释等长信源编码定理和无失真变长信源编码定理,说明对于等长码和变长码,最佳码的每符号平均码长最小为多少?编码效率最高可达多少? 4.解释最小错误概率译码准则,最大似然译码准则和最小距离译码准则,说明三者的关系。 5.设某二元码字C={111000,001011,010110,101110}, ①假设码字等概率分布,计算此码的编码效率? ②采用最小距离译码准则,当接收序列为110110时,应译成什么码字? 6.一平稳二元信源,它在任意时间,不论以前发出过什么符号,都按 发出符号,求

和平均符号熵 7.分别说明信源的概率分布和信道转移概率对平均互信息的影响,说明平均互信息与信道容量的关系。 8.二元无记忆信源,有求: (1)某一信源序列由100个二元符号组成,其中有m个“1”,求其自信息量?

(2)求100个符号构成的信源序列的熵。 9.求以下三个信道的信道容量: , ,10.已知一(3,1,3)卷积码编码器,输入输出关系为:

试给出其编码原理框图。 二、综合题(共5题,每题10分) 1.二元平稳马氏链,已知P(0/0)=0.9,P(1/1)=0.8,求: (1)求该马氏信源的符号熵。 (2)每三个符号合成一个来编二进制Huffman码,试建立新信源的模型,给出编码结果。 (3)求每符号对应的平均码长和编码效率。 2.设有一离散信道,其信道矩阵为,求:(1)最佳概率分布?

信息论基础各章参考答案

各章参考答案 2.1. (1)4.17比特 ;(2)5.17比特 ; (3)1.17比特 ;(4)3.17比特 2.2. 1.42比特 2.3. (1)225.6比特 ;(2)13.2比特 2.4. (1)24.07比特; (2)31.02比特 2.5. (1)根据熵的可加性,一个复合事件的平均不确定性可以通过多次实验逐步解除。如果我们使每次实验所获得的信息量最大。那么所需要的总实验次数就最少。用无砝码天平的一次称重实验结果所得到的信息量为log3,k 次称重所得的信息量为klog3。从12个硬币中鉴别其中的一个重量不同(不知是否轻或重)所需信息量为log24。因为3log3=log27>log24。所以在理论上用3次称重能够鉴别硬币并判断其轻或重。每次实验应使结果具有最大的熵。其中的一个方法如下:第一次称重:将天平左右两盘各放4枚硬币,观察其结果:①平衡 ②左倾 ③右倾。ⅰ)若结果为①,则假币在未放入的4枚币,第二次称重:将未放入的4枚中的3枚和已称过的3枚分别放到左右两盘,根据结果可判断出盘中没有假币;若有,还能判断出轻和重,第三次称重:将判断出含有假币的三枚硬币中的两枚放到左右两盘中,便可判断出假币。ⅱ)若结果为②或③即将左盘中的3枚取下,将右盘中的3枚放到左盘中,未称的3枚放到右盘中,观察称重砝码,若平衡,说明取下的3枚中含假币,只能判出轻重,若倾斜方向不变,说明在左、右盘中未动的两枚中其中有一枚为假币,若倾斜方向变反,说明从右盘取过的3枚中有假币,便可判出轻重。 (2)第三次称重 类似ⅰ)的情况,但当两个硬币知其中一个为假,不知为哪个时, 第三步用一个真币与其中一个称重比较即可。 对13个外形相同的硬币情况.第一次按4,4,5分别称重,如果假币在五个硬币的组里,则鉴 别所需信息量为log10>log9=2log3,所以剩下的2次称重不能获得所需的信息. 2.6. (1)215 log =15比特; (2) 1比特;(3)15个问题 2. 7. 证明: (略) 2.8. 证明: (略) 2.9. 31)(11= b a p ,121 )(21=b a p , 121 )(31= b a p , 61)()(1312= =b a b a p p , 241)()()()(33233222= ===b a b a b a b a p p p p 。 2.10. 证明: (略) 2.11. 证明: (略)

信息论试题1

《信息论基础》答案 一、填空题(本大题共10小空,每小空1分,共20分) 1.按信源发出符号所对应的随机变量之间的无统计依赖关系,可将离散信源分为有记忆信源和无记忆信源两大类。 2.一个八进制信源的最大熵为3bit/符号 3.有一信源X,其概率分布为 123 x x x X 111 P 244 ?? ?? ? = ?? ? ?? ?? ,其信源剩余度为94.64%;若 对该信源进行十次扩展,则每十个符号的平均信息量是15bit。 4.若一连续消息通过放大器,该放大器输出的最大瞬间电压为b,最小瞬时电压为a。若消息从放大器中输出,则该信源的绝对熵是∞;其能在每个自由度熵的最大熵是log(b-a)bit/自由度;若放大器的最高频率为F,则单位时间内输出的最大信息量是2Flog (b-a)bit/s. 5.若某一信源X,其平均功率受限为16w,其概率密度函数是高斯分布时,差熵 的最大值为1 log32e 2 π;与其熵相等的非高斯分布信源的功率为16w ≥ 6、信源编码的主要目的是提高有效性,信道编码的主要目的是提高可靠性。 7、无失真信源编码的平均码长最小理论极限制为信源熵(或H(S)/logr= H r(S))。 8、当R=C或(信道剩余度为0)时,信源与信道达到匹配。 9、根据是否允许失真,信源编码可分为无失真信源编码和限失真信源编码。 10、在下面空格中选择填入数学符号“,,, =≥≤?”或“?” (1)当X和Y相互独立时,H(XY)=H(X)+H(X/Y)。 (2)假设信道输入用X表示,信道输出用Y表示。在无噪有损信道中,H(X/Y)> 0, H(Y/X)=0,I(X;Y)

信息论考题及答案

一、(25分)如果X 和Y 相互独立,证明X 和Y 的熵满足可加性,即 H(Y)H(X)Y)H(X,+= 证明:设P(x,y)=P(x)P(y),则有 1 H(X,Y)()()log P()()11()()log ()()log ()()11()log ()log ()() ()() xy xy xy x y P x P y x P y P x P y P x P y P x P y P x P y P x P y H X H Y ==+=+=+∑∑∑∑∑ 二、(50分)联合总体X ,Y 具有如下联合分布。 X Y 分别计算 (1) 联合熵H(X,Y)是多少? (2)边缘熵H(X)和H(Y)是多少? (3)对于每一个y 值,条件熵H(X ︱y)是多少? (4)条件熵H(X ︱Y)是多少? (5)X 和Y 之间的互信息是多少? 解答:(1) H(X,Y)=3.375 (2) H(X)=2, H(Y)=1.75 (3) H(X|y=1)=2,H(X|y=1)=1.875,H(X|y=1)=1.875, H(X|y=4)=0.5 (4)H(X|Y)=1.1264 (5)I(X;Y)=H(X)-H(X|Y)=2-1.1264=0.8736 三、(25分)考虑一个差错概率为f=0.15的二进制对称信道。输入总体为x Ω:{0P =0.9,1p =0.1},假设观察到y=1,请计算(1|1)P x y ==? 解: (1|1)P x y === (1|1)(1) (1|)() x P y x P x P y x P x ===∑= = 9.015.01.085.01 .085.0?+?? =22 .0085 .0=0.39

信息论基础及答案

《信息论基础》试卷第1页 《信息论基础》试卷答案 一、填空题(共25分,每空1分) 1、连续信源的绝对熵为 无穷大。(或()()lg lim lg p x p x dx +∞-∞ ?→∞ --?? ) 2、离散无记忆信源在进行无失真变长信源编码时,编码效率最大可以达到 1 。 3、无记忆信源是指 信源先后发生的符号彼此统计独立 。 4、离散无记忆信源在进行无失真变长编码时,码字长度是变化的。根据信源符号的统计特性,对概率大的符号用 短 码,对概率小的符号用 长 码,这样平均码长就可以降低,从而提高 有效性(传输速率或编码效率) 。 5、为了提高系统的有效性可以采用 信源编码 ,为了提高系统的可靠性可以采用 信道编码 。 6、八进制信源的最小熵为 0 ,最大熵为 3bit/符号 。 7、若连续信源输出信号的平均功率为1瓦特,则输出信号幅度的概率密度函数为 高斯分布(或()0,1x N 2 2 x - )时,信源具有最大熵,其值为 0.6155hart(或 1.625bit 或 1lg 22 e π)。 8、即时码是指 任一码字都不是其它码字的前缀 。 9、无失真信源编码定理指出平均码长的理论极限值为 信源熵(或H r (S)或()lg H s r ),此 时编码效率为 1 ,编码后的信息传输率为 lg r bit/码元 。 10、一个事件发生的概率为0.125,则自信息量为 3bit/符号 。 11、信源的剩余度主要来自两个方面,一是 信源符号间的相关性 ,二是 信源符号概率分布的不均匀性 。 12、m 阶马尔可夫信源的记忆长度为 m+1 ,信源可以有 q m 个不同的状态。 13、同时扔出一对均匀的骰子,当得知“两骰子面朝上点数之和为2”所获得的信息量为 lg36=5.17 比特,当得知“面朝上点数之和为8”所获得的信息量为 lg36/5=2.85 比特。 14.在下面空格中选择填入的数学符号“=,≥,≤,>”或“<” H(XY) = H(Y)+H(X ∣Y) ≤ H(Y)+H(X)

信息论试卷题目及标准答案

信息论试卷题目及答案

————————————————————————————————作者:————————————————————————————————日期: 2

中国海洋大学2008—2009学年第一学期 一、填空题(每空2分,共20分) 1、1948年,美国数学家 香农 发表了题为“通信的数学理论”的长篇论文,从而创立了信息论。 2、信源编码的目的是提高通信的有效性。信道编码的最终目的是提高信号传输的可靠性。 3、离散平稳无记忆信源X 的N 次扩展信源的熵等于离散信源X 的熵的N 倍。 4、对于香农编码、费诺编码和哈夫曼编码,编码方法惟一的是香农编码。 5、信道输入与输出间的平均互信息是信道转移概率的 下凸 函数,是输入概率的 上凸 函数。 6、信道矩阵??????10002/12/1代表的信道的信道容量C=符号/1bit ,达到信道容量的条件是输入符号等概分布。 7、 设某二进制码{00011,10110,01101,11000,10010,10001},则码的最小距离是2 ,假设码字等概分布,则该码的码率为 0.517比特/符号 ,这时若通过二元对称信道接收码字为01100和00110时,应译为01101 , 10110 。。 二、判断题(每题2分,共10分) 1、必然事件和不可能事件的自信息量都是0 。(错) 2、最大后验概率准则与最大似然准则是等价的。(错) 3、如果信息传输速率大于信道容量,就不存在使传输差错率任意小的信道编码。(对) 4、连续信源和离散信源的熵都具有非负性。(错) 5、相同功率的噪声中,高斯噪声使信道容量最小。(对) 三、简答题(第1、2题各6分,第三题10分,共22分) 1、简述最大离散熵定理。对于一个有m 个符号的离散信源,其最大熵是什么? 答:最大离散熵定理为:离散无记忆信源,等概率分布时熵最大。 (3分) 最大熵值为 m H 2max log = (3分) 2、对于任意概率事件集X 、Y 、Z ,证明下述三角不等式成立()()()Z X H Z Y H Y X H ≥+ 证:因为)|()|(Y X H YZ X H ≤ ,(3分) 所以: ) |()|()|() |,() |()|()|()|(Z Y H XZ Y H Z Y H Z Y X I YZ X H Z X H Y X H Z X H ≤-==-≤-(3分)

信息论考试题

2009-2010学年第二学期末考试试题 信息论与编码理论 一、(共10分) 简述最大熵原理与最小鉴别信息原理,并说明两者之间的关系。 二、(共12分) 某一无记忆信源的符号集为{0, 1},已知P(0) = 1/4,P(1) = 3/4。 1) 求符号的平均熵; 2) 有100个符号构成的序列,求某一特定序列(例如有m个“0”和(100 - m)个“1”)的自信息量的表达式; 3) 计算2)中序列的熵。

三、(共12分) 一阶马尔可夫信源的状态图如下图所示。信源X 的符号集为{0, 1, 2}。 1) 求平稳后信源的概率分布; 2) 求)(X H ; 3) 求上述一阶马尔可夫信源的冗余度。 P P

四、(共10分) 设离散型随机变量XYZ 的联合概率满足xyz ?)()()()(y z p x y p x p xyz p =。 求证:);();(Z Y X I Y X I ≥ 五、(共12分) 设有一离散无记忆信道,输入信号为321,,x x x ,输出为321,,y y y ,其信道转移矩阵为???? ??????=214141412141414121Q ,61)(,32)(21==x P x P 。 试分别按理想译码准则与最大似然译码准则确定译码规则,并计算相应的平均译码差错概率。

六、(共14分) 设有一离散信道,输入X ,输出Y ,其信道转移矩阵为?? ????7.01.02.02.01.07.0, 求:1)信道的信道容量及达到信道容量时的输入分布? 2)当输入X 分布为7.0)(1=x P 3.0)(2=x P 时,求平均互信息);(Y X I 及信道疑义度)(X Y H 。

信息论复习题

1、求基本高斯信源的差熵。(10分) 2、一个随机变量x 的概率密度函数为kx x p =)(,V x 20≤≤。试求该信源的相对熵。 3、黑白气象传真图的消息只有黑色和白色两种,即信源{}黑,白=X ,设黑色的出现概率为3.0(=黑) P ,白色的出现概率为7.0(=白)P 。 (1)假设图上黑白消息出现前后没有关联,求熵)(X H 。 (2)假设消息前后有关联,其依赖关系为9.0/(=白)白P ,1.0/(=白)黑P ,2.0/(=黑)白P ,8.0/(=黑)黑P ,求此平稳离散信源的熵)(2X H 。 (3)分别求上述两种信源的剩余度,比较)(X H 和)(2X H 的大小。 4、给出求一般离散信道的信道容量的计算步骤并用拉格朗日乘子法加以证明。 5、给出离散无记忆信源的信息率失真函数的参量表述并用拉格朗日乘子法加以证明。 6、若信道的输入和输出分别是N 长序列X 和Y ,且信道是无记忆的,则 ∑=≤N k k k Y X I Y X I 1 ),();(,这里k X 和k Y 分别是序列X 和Y 中第k 位随机变量;并且证明当 且仅当信源也是无记忆信源时等号成立。 7、有一并联高斯加性信道,各子信道的噪声均值为0,方差为2 i σ: ! 21σ=,22σ=,23σ=,24σ=,25σ=,26σ=,27σ=,28σ=,29σ=,210σ=(W )。输入信 号X 是10个相互统计独立、均值为0、方差为i P 的高斯变量,且满足:)(110 1 W P i i =∑=。求 各子信道的信号功率分配方案。 8、给定语音信号样值x 的概率密度函数为x e x p λλ-= 2 1)(,∞<<∞-x ,求)(X H c ,并比较)(X H c 与具有同样方差的正态变量的连续熵的大小。 9、某二元信源??????=???? ??5.05.010)(x p X ,其失真矩阵定义为? ? ????=00a a D ,求该信源的max D ,min D 和该信源的信息率失真函数)(D R 。 10、设连续信源X ,其概率密度函数为x a e a x p -=2 )(,失真度为y x y x d -=),(,试求此信源的)(D R 函数。

信息论与编码期末考试题(全套)..

于信源爛H(X). () 2.由于构成同一空间的基底不是唯一的,所以不同的基底或生成矩阵有可能生成同一码集. () 3.—般情况下,用变长编码得到的平均码长比定长编码 大得多. () 4.只要信息传输率大于信道容量,总存在一种信道编译 码,可以以所要求的任意小的误差概率实现可靠的通信 . () 5.务码字的长度符合克拉夫特不等式,是唯一可译码存在的充分和必要条件.() &连续信源和离散信源的爛都具有非负性. () 7.信源的消息通过信道传输后的误差或失真越大,信宿收到消息后对信源存在的不确 定性就越小,获得的信息戢就越小. 8.汉明码是一种线性分组码. () 9.率失真函数的最小值是0 . () 10.必然事件和不可能事件的自信息量都是0 . () 二、填空题共6小题,满分20分. 1 、码的检、纠错能力取决 于______________________________ . 2、___________________________________ 信源编码的目的是:信道编码 的目的是____________________ . 3、把信息组原封不动地搬到码字前k位的(仏灯码就叫 做___________________ ? 4、香农信息论中的三大极限建理 是____________________ 、 ____________________ 、■ 5、耳信道的输入与输出随机序列分别为X和Y ,则 KX\Y N)=NI(X,Y)成立的 条件______________________________ ? 6、对于香农-费诺编码、原始香农-费诺编码和哈夫曼编码, 编码方法惟一的是 O ",则该信源的Dmax= ________ a 0 三、本题共4小题,满分50分. K某信源发送端有2种符号x,i = 1,2), /心)=a:接收端 有3种符号y r. () = 123),转移概率矩阵为 1/2 1/2 0 P = ? 1/2 1/4 1/4. (1)计算接收端的平均不确定 度 (2)计算由于噪声产生的不确 定度H(rix): (3)计算信道容量以及最佳入 口分布. 2、一阶马尔可夫信源的状态转移 (1) 求信源平稳后的概率分布: (2) 求此信源的燔: (3) 近似地认为此信源为无记忆时,符号的概率分布为 稳分布?求近似信源的爛H(X)并与Hs进行比较. 4、设二元(7,4)线性分组码的生成矩阵为0 0 0 10 0 0 1 0 0 0 1 (1)给岀该码的一致校验矩阵,写出 所有的陪集首和与之相对应的伴随式: (2)若接收矢gv = (0001011),试讣 算出其对应的伴 随式S并按照最小距离译码准则试着对其译码. (二) 一、填空题(共15分,每空1分) 一、判断题共10小J满分20分. 1.当随机变量X和丫相互独立时,条件爛H(XI Y)等 7、某二元信源[爲冷打加其失真矩阵 图如右图所示, 信源X的符号集为{0丄2}? 1 1 0 1 G = 1 1 0 1 1 0 1 0 1 0

(整理)信息论期末考试试题1.

安徽大学2011—2012学年第1学期 《信息论》考试试卷(AB 合卷) 院/系 年级 专业 姓名 学号 一、填空题 1、接收端收到y 后,获得关于发送的符号是x 的信息量是 。 2、香农信息的定义 。 3、在已知事件z Z ∈的条件下,接收到y 后获得关于事件x 的条件互信息(;|)I x y z 的表达式为 。 4、通信系统模型主要分成五个部分分别为: 。 5、研究信息传输系统的目的就是要找到信息传输过程的共同规律,以提高信息传输的可靠性、有效性、 和 ,使信息传输系统达到最优化。 6、某信源S 共有32个信源符号,其实际熵H ∞=1.4比特/符号,则该信源剩余度为 。 7、信道固定的情况下,平均互信息(;)I X Y 是输入信源概率分布()P x 的 型凸函数。 信源固定的情况下,平均互信息(;)I X Y 是信道传递概率(|)P y x 的 型凸函数。 8、当信源与信道连接时,若信息传输率达到了信道容量,则称此信源与信道达到匹配。信道剩余度定义为 。 9、已知信源X 的熵H (X )=0.92比特/符号,则该信源的五次无记忆扩展信源X 5的信息熵 5()H X = 。

10、将∞H ,6H ,0H ,4H ,1H 从大到小排列为 。 11、根据香农第一定理,对于离散无记忆信源S ,用含r 个字母的码符号集对N 长信源符号序列进行变长编码,总能找到一种无失真的唯一可译码,使每个信源符号所需平均码长满足: 。 12、多项式剩余类环[]())q F x f x 是域的充要条件为 。 13、多项式剩余类环[](1)n q F x x -的任一理想的生成元()g x 与1n x -关系为 。 14、有限域12 2F 的全部子域为 。 15、国际标准书号(ISBN )由十位数字12345678910a a a a a a a a a a 组成(诸i a ∈11F ,满足: 10 1 0(mod11)i i ia =≡∑) ,其中前九位均为0-9,末位0-10,当末位为10时用X 表示。《Handbook of Applied Cryptography 》的书号为ISBN :7-121-01339- ,《Coding and Information Theory 》的书号为ISBN :7-5062-3392- 。 二、判断题 1、互信息(;)I x y 与平均互信息(;)I X Y 都具有非负性质。 ( ) 2、离散信源的信息熵是信源无失真数据压缩的极限值。 ( ) 3、对于无噪无损信道,其输入和输出有确定的一一对应关系。 ( ) 4、对于有噪无损信道,其输入和输出有确定的一一对应关系。 ( ) 5、设有噪信道的信道容量为C ,若信息传输率R C >,只要码长n 足够长,必存在一种信道编码和相应的译码规则,使译码平均错误概率E P 为任意小。反之,若R C <则不存在以R 传输信息而E P 为任意小的码。 ( ) 6、在任何信息传输系统中,最后获得的信息至多是信源所提供的信息。如果一旦在某一

级信息论复习题

1、求基本高斯信源的差熵。 2、一个随机变量x 的概率密度函数为kx x p =)(,V x 20≤≤。试求该信源的相对熵。 3、一个随机变量x 的概率密度函数为2 )(kx x p =,V x 20≤≤。试求该信源的相对熵。 4、黑白气象传真图的消息只有黑色和白色两种,即信源{ }黑,白=X ,设黑色的出现概率为3.0(=黑) P ,白色的出现概率为7.0(=白)P 。 (1)假设图上黑白消息出现前后没有关联,求熵)(X H 。 (2)假设消息前后有关联,其依赖关系为9.0/(=白) 白P ,1.0/(=白)黑P ,2.0/(=黑)白P ,8.0/(=黑)黑P ,求此平稳离散信源的熵)(2X H 。 (3)分别求上述两种信源的剩余度,比较)(X H 和)(2X H 的大小。 5、给出求一般离散信道的信道容量的计算步骤并用拉格朗日乘子法加以证明。 6、给出离散无记忆信源的信息率失真函数的参量表述并用拉格朗日乘子法加以证明。 7、给出R(D)的定义域的一般表达式并加以证明。 8、证明R(D)是平均失真度D 的下凸函数。 9、在平方误差失真下,给出高斯信源的信息率失真函数的表达式并加以证明。 10、若信道的输入和输出分别是N 长序列X 和Y ,且信道是无记忆的,则 ∑=≤N k k k Y X I Y X I 1),();(,这里k X 和k Y 分别是序列X 和Y 中第k 位随机变量;并且证明当 且仅当信源也是无记忆信源时等号成立。 11、有一并联高斯加性信道,各子信道的噪声均值为0,方差为2 i σ: 21σ=,22σ=,23σ=,24σ=,25σ=,26σ=,27σ=,28σ=,29σ=,210σ=(W )。输入 信号X 是10个相互统计独立、均值为0、方差为i P 的高斯变量,且满足: )(1101W P i i =∑=。求各子信道的信号功率分配方案。 12、给定语音信号样值x 的概率密度函数为x e x p λλ-=2 1)(,∞<<∞-x ,求)(X H c ,并比较)(X H c 与具有同样方差的正态变量的连续熵的大小。 13、某二元信源??????=??????5.05.010)(x p X ,其失真矩阵定义为?? ????=00a a D ,求该信源的max D ,min D 和该信源的信息率失真函数)(D R 。

信息论与编码试题集与答案(新)

1. 在无失真的信源中,信源输出由 H (X ) 来度量;在有失真的信源中,信源输出由 R (D ) 来度量。 2. 要使通信系统做到传输信息有效、可靠和保密,必须首先 信源 编码, 然后_____加密____编码,再______信道_____编码,最后送入信道。 3. 带限AWGN 波形信道在平均功率受限条件下信道容量的基本公式,也就是有名的香农公式是log(1)C W SNR =+;当归一化信道容量C/W 趋近于零时,也即信道完全丧失了通信能力,此时E b /N 0为 -1.6 dB ,我们将它称作香农限,是一切编码方式所能达到的理论极限。 4. 保密系统的密钥量越小,密钥熵H (K )就越 小 ,其密文中含有的关于明文的信息量I (M ;C )就越 大 。 5. 已知n =7的循环码4 2 ()1g x x x x =+++,则信息位长度k 为 3 ,校验多项式 h(x)= 3 1x x ++ 。 6. 设输入符号表为X ={0,1},输出符号表为Y ={0,1}。输入信号的概率分布为p =(1/2,1/2),失真函数为d (0,0) = d (1,1) = 0,d (0,1) =2,d (1,0) = 1,则D min = 0 ,R (D min )= 1bit/symbol ,相应的编码器转移概率矩阵[p(y/x )]=1001?? ???? ;D max = 0.5 ,R (D max )= 0 ,相应的编码器转移概率矩阵[p(y/x )]=1010?? ? ??? 。 7. 已知用户A 的RSA 公开密钥(e,n )=(3,55),5,11p q ==,则()φn = 40 ,他的秘密密钥(d,n )=(27,55) 。若用户B 向用户A 发送m =2的加密消息,则该加密后的消息为 8 。 二、判断题 1. 可以用克劳夫特不等式作为唯一可译码存在的判据。 (√ ) 2. 线性码一定包含全零码。 (√ ) 3. 算术编码是一种无失真的分组信源编码,其基本思想是将一定精度数值作为序列的 编码,是以另外一种形式实现的最佳统计匹配编码。 (×) 4. 某一信源,不管它是否输出符号,只要这些符号具有某些概率特性,就有信息量。 (×) 5. 离散平稳有记忆信源符号序列的平均符号熵随着序列长度L 的增大而增大。 (×) 6. 限平均功率最大熵定理指出对于相关矩阵一定的随机矢量X ,当它是正态分布时具 有最大熵。 (√ ) 7. 循环码的码集中的任何一个码字的循环移位仍是码字。 (√ ) 8. 信道容量是信道中能够传输的最小信息量。 (×) 9. 香农信源编码方法在进行编码时不需要预先计算每个码字的长度。 (×) 10. 在已知收码R 的条件下找出可能性最大的发码i C 作为译码估计值,这种译码方 法叫做最佳译码。 (√ )

信息论与编码试卷及答案(多篇)

一、概念简答题(每题5分,共40分) 1.什么是平均自信息量与平均互信息,比较一下这两个概念的异同? 答:平均自信息为 表示信源的平均不确定度,也表示平均每个信源消息所提供的信息量。 平均互信息 表示从Y获得的关于每个X的平均信息量,也表示发X前后Y的平均不确定性减少的量,还表示通信前后整个系统不确定性减少的量。 2.简述最大离散熵定理。对于一个有m个符号的离散信源,其最大熵是多少? 答:最大离散熵定理为:离散无记忆信源,等概率分布时熵最大。 最大熵值为。 3.解释信息传输率、信道容量、最佳输入分布的概念,说明平均互信息与信源的概率分布、信道的传递概率间分别是什么关系? 答:信息传输率R指信道中平均每个符号所能传送的信息量。信道容量是一个信道所能达到的最大信息传输率。信息传输率达到信道容量时所对应的输入概率分布称为最佳输入概率分布。 平均互信息是信源概率分布的∩型凸函数,是信道传递概率的U型凸函数。 4.对于一个一般的通信系统,试给出其系统模型框图,并结合此图,解释数据处理定理。 答:通信系统模型如下:

数据处理定理为:串联信道的输入输出X、Y、Z组成一个马尔可夫链,且有, 。说明经数据处理后,一般只会增加信息的损失。 5.写出香农公式,并说明其物理意义。当信道带宽为5000Hz,信噪比为30dB时求信道容量。 .答:香农公式为,它是高斯加性白噪声信道在单位时间内的信道容量,其值取决于信噪比和带宽。 由得,则 6.解释无失真变长信源编码定理。 .答:只要,当N足够长时,一定存在一种无失真编码。 7.解释有噪信道编码定理。 答:当R<C时,只要码长足够长,一定能找到一种编码方法和译码规则,使译码错误概率无穷小。 8.什么是保真度准则?对二元信源,其失真矩阵,求a>0时率失真函数的和? 答:1)保真度准则为:平均失真度不大于允许的失真度。 2)因为失真矩阵中每行都有一个0,所以有,而。 二、综合题(每题10分,共60分) 1.黑白气象传真图的消息只有黑色和白色两种,求:

信息论与编码期末考试题----学生复习用

《信息论基础》参考答案 一、填空题 1、信源编码的主要目的是提高有效性,信道编码的主要目的是提高可靠性。 2、信源的剩余度主要来自两个方面,一是信源符号间的相关性,二是信源符号的统计不均匀性。 3、三进制信源的最小熵为0,最大熵为32log bit/符号。 4、无失真信源编码的平均码长最小理论极限制为信源熵(或H(S)/logr= H r (S))。 5、当R=C 或(信道剩余度为0)时,信源与信道达到匹配。 6、根据信道特性是否随时间变化,信道可以分为恒参信道和随参信道。 7、根据是否允许失真,信源编码可分为无失真信源编码和限失真信源编码。 8、若连续信源输出信号的平均功率为2σ,则输出信号幅度的概率密度是高斯分布或正态分布或()22 212x f x e σπσ -= 时,信源 具有最大熵,其值为值21 log 22 e πσ。 9、在下面空格中选择填入数学符号“,,,=≥≤?”或“?” (1)当X 和Y 相互独立时,H (XY )=H(X)+H(X/Y)=H(Y)+H(X)。 (2)()() 1222H X X H X =≥()()12333 H X X X H X = (3)假设信道输入用X 表示,信道输出用Y 表示。在无噪有损信道中,H(X/Y)> 0, H(Y/X)=0,I(X;Y)

信息论与编码题库(最新整理六套)

(一) 一、填空题 1. 在无失真的信源中,信源输出由 H (X ) 来度量;在有失真的信源中,信源输出由 R (D ) 来度量。 2. 要使通信系统做到传输信息有效、可靠和保密,必须首先 信源 编码, 然后_____加密____编码,再______信道_____编码,最后送入信道。 3. 带限AWGN 波形信道在平均功率受限条件下信道容量的基本公式,也就是有名的香农公式是log(1)C W SNR =+;当归一化信道容量C/W 趋近于零时,也即信道完全丧失了通信能力,此时E b /N 0为 -1.6 dB ,我们将它称作香农限,是一切编码方式所能达到的理论极限。 4. 保密系统的密钥量越小,密钥熵H (K )就越 小 ,其密文中含有的关于明文的信息量I (M ; C )就越 大 。 5. 已知n =7的循环码4 2 ()1g x x x x =+++,则信息位长度k 为 3 ,校验多项式 h(x)= 31x x ++ 。 6. 设输入符号表为X ={0,1},输出符号表为Y ={0,1}。输入信号的概率分布为p =(1/2,1/2),失真函数为d (0,0) = d (1,1) = 0,d (0,1) =2,d (1,0) = 1,则D min = 0 , R (D min )= 1bit/symbol ,相应的编码器转移概率矩阵[p(y/x )]=1001?? ???? ;D max = 0.5 ,R (D max )= 0 ,相应的编码器转移概率矩阵[p(y/x )]=1010?? ? ??? 。 7. 已知用户A 的RSA 公开密钥(e,n )=(3,55),5,11p q ==,则()φn = 40 ,他的秘密密钥(d,n )=(27,55) 。若用户B 向用户A 发送m =2的加密消息,则该加密后的消息为 8 。 二、判断题 1. 可以用克劳夫特不等式作为唯一可译码存在的判据。 (√ ) 2. 线性码一定包含全零码。 (√ ) 3. 算术编码是一种无失真的分组信源编码,其基本思想是将一定精度数值作为序列的 编码,是以另外一种形式实现的最佳统计匹配编码。 (×) 4. 某一信源,不管它是否输出符号,只要这些符号具有某些概率特性,就有信息量。(×) 5. 离散平稳有记忆信源符号序列的平均符号熵随着序列长度L 的增大而增大。 (×) 6. 限平均功率最大熵定理指出对于相关矩阵一定的随机矢量X ,当它是正态分布时具 有最大熵。 (√ ) 7. 循环码的码集中的任何一个码字的循环移位仍是码字。 (√ ) 8. 信道容量是信道中能够传输的最小信息量。 (×) 9. 香农信源编码方法在进行编码时不需要预先计算每个码字的长度。 (×) 10. 在已知收码R 的条件下找出可能性最大的发码i C 作为译码估计值,这种译码方 法叫做最佳译码。 (√ ) 三、计算题

信息论与编码试题集与答案

一填空题(本题20分,每小题2分) 1、平均自信息为 表示信源的平均不确定度,也表示平均每个信源消息所提供的信息量。 平均互信息 表示从Y获得的关于每个X的平均信息量,也表示发X前后Y的平均不确定性减少的量,还表示通信前后整个系统不确定性减少的量。 2、最大离散熵定理为:离散无记忆信源,等概率分布时熵最大。 3、最大熵值为。 4、通信系统模型如下: 5、香农公式为为保证足够大的信道容量,可采用(1)用频带换信噪比;(2)用信噪比换频带。 6、只要,当N足够长时,一定存在一种无失真编码。 7、当R<C时,只要码长足够长,一定能找到一种编码方法和译码规则,使译码错误概率无穷小。 8、在认识论层次上研究信息的时候,必须同时考虑到形式、含义和效用三个方面的因素。 9、1948年,美国数学家香农发表了题为“通信的数学理论”的长篇论文,从而创立了信息论。 按照信息的性质,可以把信息分成语法信息、语义信息和语用信息。

按照信息的地位,可以把信息分成 客观信息和主观信息 。 人们研究信息论的目的是为了 高效、可靠、安全 地交换和利用各种各样的信息。 信息的 可度量性 是建立信息论的基础。 统计度量 是信息度量最常用的方法。 熵 是香农信息论最基本最重要的概念。 事物的不确定度是用时间统计发生 概率的对数 来描述的。 10、单符号离散信源一般用随机变量描述,而多符号离散信源一般用 随机矢量 描述。 11、一个随机事件发生某一结果后所带来的信息量称为自信息量,定义为 其发生概率对数的负值 。 12、自信息量的单位一般有 比特、奈特和哈特 。 13、必然事件的自信息是 0 。 14、不可能事件的自信息量是 ∞ 。 15、两个相互独立的随机变量的联合自信息量等于 两个自信息量之和 。 16、数据处理定理:当消息经过多级处理后,随着处理器数目的增多,输入消息与输出消息之间的平均互信息量 趋于变小 。 17、离散平稳无记忆信源X 的N 次扩展信源的熵等于离散信源X 的熵的 N 倍 。 18、离散平稳有记忆信源的极限熵,=∞H )/(lim 121-∞→N N N X X X X H 。 19、对于n 元m 阶马尔可夫信源,其状态空间共有 nm 个不同的状态。 20、一维连续随即变量X 在[a ,b]区间内均匀分布时,其信源熵为 log2(b-a ) 。 21、平均功率为P 的高斯分布的连续信源,其信源熵,Hc (X )=eP π2log 212。 22、对于限峰值功率的N 维连续信源,当概率密度 均匀分布 时连续信源熵具有最大值。 23、对于限平均功率的一维连续信源,当概率密度 高斯分布 时,信源熵有最大值。 24、对于均值为0,平均功率受限的连续信源,信源的冗余度决定于平均功率的限定值P 和信源的熵功

信息论与编码试题集与答案(新)

" 1. 在无失真的信源中,信源输出由 H (X ) 来度量;在有失真的信源中,信源输出由 R (D ) 来度量。 2. 要使通信系统做到传输信息有效、可靠和保密,必须首先 信源 编码, 然后_____加密____编码,再______信道_____编码,最后送入信道。 3. 带限AWGN 波形信道在平均功率受限条件下信道容量的基本公式,也就是有名的香农公式是log(1)C W SNR =+;当归一化信道容量C/W 趋近于零时,也即信道完全丧失了通信能力,此时E b /N 0为 dB ,我们将它称作香农限,是一切编码方式所能达到的理论极限。 4. 保密系统的密钥量越小,密钥熵H (K )就越 小 ,其密文中含有的关于明文的信息量I (M ;C )就越 大 。 5. 已知n =7的循环码4 2 ()1g x x x x =+++,则信息位长度k 为 3 ,校验多项式 h(x)= 3 1x x ++ 。 6. ? 7. 设输入符号表为X ={0,1},输出符号表为Y ={0,1}。输入信号的概率分布为p =(1/2,1/2),失真函数为d (0,0) = d (1,1) = 0,d (0,1) =2,d (1,0) = 1,则D min = 0 ,R (D min )= 1bit/symbol ,相应的编码器转移概率矩阵[p(y/x )]=1001?? ???? ;D max = ,R (D max )= 0 ,相应的编码器转移概率矩阵[p(y/x )]=1010?? ? ??? 。 8. 已知用户A 的RSA 公开密钥(e,n )=(3,55),5,11p q ==,则()φn = 40 ,他的秘密密钥(d,n )=(27,55) 。若用户B 向用户A 发送m =2的加密消息,则该加密后的消息为 8 。 二、判断题 1. 可以用克劳夫特不等式作为唯一可译码存在的判据。 ( ) 2. 线性码一定包含全零码。 ( ) 3. 算术编码是一种无失真的分组信源编码,其基本思想是将一定精度数值作为序列的 编码,是以另外一种形式实现的最佳统计匹配编码。 (×) 4. " 5. 某一信源,不管它是否输出符号,只要这些符号具有某些概率特性,就有信息量。 (×) 6. 离散平稳有记忆信源符号序列的平均符号熵随着序列长度L 的增大而增大。 (×) 7. 限平均功率最大熵定理指出对于相关矩阵一定的随机矢量X ,当它是正态分布时具 有最大熵。 ( ) 8. 循环码的码集中的任何一个码字的循环移位仍是码字。 ( ) 9. 信道容量是信道中能够传输的最小信息量。 (×) 10. 香农信源编码方法在进行编码时不需要预先计算每个码字的长度。 (×) 11. ! 12. 在已知收码R 的条件下找出可能性最大的发码i C 作为译码估计值,这种译码方

信息论与编码复习题

一、填空题 1.设信源X 包含4个不同离散消息,当且仅当X 中各个消息出现的概率为___Pi=1/4___时,信源熵达到最大值,为__2bit_,此时各个消息的自信息量为____2bit_______。 2.如某线性分组码的最小汉明距dmin=4,则该码最多能检测出___3_____个随机错,最多能 纠正___INT__个随机错。 3.克劳夫特不等式是唯一可译码___存在___的充要条件。 4.平均互信息量I(X;Y)与信源熵和条件熵之间的关系是_I (X :Y )=H (X )-H (X/Y ) 5.__信源__编码的目的是提高通信的有效性,_信道_编码的目的是提高通信的可靠性,__ 加密__编码的目的是保证通信的安全性。 6.信源编码的目的是提高通信的 有效性 ,信道编码的目的是提高通信的 可靠性 ,加密 编码的目的是保证通信的 安全性 。 7.设信源X 包含8个不同离散消息,当且仅当X 中各个消息出现的概率为__1/8_____时,信 源熵达到最大值,为___3bit/符号_________。 8.自信息量表征信源中各个符号的不确定度,信源符号的概率越大,其自信息量越__小____。 9.信源的冗余度来自两个方面,一是信源符号之间的_相关性__,二是信源符号分布的 __不均匀性___。 10.最大后验概率译码指的是 译码器要在已知r 的条件下找到可能性最大的发码Ci 作为移 码估值 。 11.常用的检纠错方法有__前向纠错__、反馈重发和混合纠错三种。 二、单项选择题 1.下面表达式中正确的是( A )。 A. ∑=j i j x y p 1)/( B.∑=i i j x y p 1)/( C.∑=j j j i y y x p )(),(ω D.∑=i i j i x q y x p )(),( 2.彩色电视显像管的屏幕上有5×105 个像元,设每个像元有64种彩色度,每种彩度又有 16种不同的亮度层次,如果所有的彩色品种和亮度层次的组合均以等概率出现,并且各个 组合之间相互独立。每秒传送25帧图像所需要的信道容量( C )。 A. 50106 B. 75106 C. 125106 D. 250106

信息论试题6

一、填空题(共15分,每空1分) 1、当 时,信源与信道达到匹配。 2、若高斯白噪声的平均功率为6 W ,则噪声熵为 。如果一个平均功率为9 W 的连续信源的熵等于该噪声熵,则该连续信源的熵功率为 。 3、信源符号的相关程度越大,信源的符号熵越 ,信源的剩余度越 。 4、离散无记忆信源在进行无失真变长信源编码时,码字长度是变化的。根据信源符号的统计特性,对概率 的符号用短码,对概率 的符号用长码,从而减少平均码长,提高编码效率。 8、香农第一编码定理指出平均码长的理论极限值为 ,此时编码效率为 。 4、在下面空格中选择填入数学符号“=,≥,≤,>”或“<” (1)()()2212X X H H = X ()X 3H = ()3 321X X X H (2)()XY H ()()Y X H Y H |+ ()()X H Y H +。 9、有一信源X ,其概率分布为??? ? ????=??????818141214321x x x x P X ,若对该信源进行100次扩展, 则每扩展符号的平均信息量是 。

11、当时,信源熵为最大值。8进制信源的最大熵为。 二、判断题(正确打√,错误打×)(共5分,每小题1分) 1)噪声功率相同的加性噪声信道中以高斯噪声信道的容量为最大。 () 2)即时码可以在一个码字后面添上一些码元构成另一个码 字。() 3)连续信源的熵可正、可负、可为 零,() 4)平均互信息始终是非负 的。() 5)信道容量C只与信道的统计特性有关,而与输入信源的概率分布无关。()

三、(10分)计算机终端发出A 、B 、C 、D 、E 五种符号,出现概率分别为1/16,1/16,1/8,1/4,1/2。通过一条带宽为18kHz 的信道传输数据,假设信道输出信噪比为2047,试计算: 1) 香农信道容量; 2) 无误码传输的最高符号速率。 四、(10分)有一信源发出恒定宽度,但不同幅度的脉冲,幅度值x 处在1a 和2a 之间。此信源连至信道,信道接收端接收脉冲的幅度y 处在1b 和2b 之间。已知随机变量X 和Y 的联合概率密度函数 ) )((1)(1212b b a a xy p --= 试计算)(),(),(XY h Y h X h 和);(Y X I

相关文档