信息论与编码技术复习题2

《信息论与编码技术》复习题（2）

一、（32分）综合概念题

1. 什么是系统码和典型矩阵？写出常用的典型生成矩阵的两种形式。

2. 根据平均互信息定义的信道容量是指：

a. 信道固定时的最大平均互信息；

b. 信道固定时的最小平均互信息；

c. 信源固定时的信道的最小平均互信息；

d. 信源固定时的信道的最大平均互信息。

3. 什么是离散平稳信源？

a. 任意两个不同时刻随机矢量的各维概率分布都相同；

b. 任意两个不同时刻随机矢量的各维概率分布都不相同；

c. 任意两个不同时刻随机矢量的各维概率密度函数都相同；

d. 任意两个不同时刻随机矢量的各维概率密度函数都不相同。

4. 设计一个信道容量为22 kbit/s 的电话信道，若信道上的信号与噪声的平均功率比值为20 dB ，请问该信道的通频带应该为多少？

5. 设信源有q 个符号，则当信源 分布时熵最大，其最大值为 。

6. 当信道固定时，平均互信息是输入分布的 函数；当信源固定时，平均互信息是信道转移概率的 函数。

7. 信源编码是通过压缩信源冗余度来提高 ，而信道编码是增加冗余度来提高 。

8. 请判断具有下列码长{1, 2, 3, 3, 3, 4}的二进制码是否可构成唯一可译码。

二、（10分）设有对称信源(s = r = 4)，信源X = {a 1, a 2, ..., a r } = {0, 1, 2, 3}，信宿Y = { b 1, b 2, ..., b s } = {0, 1, 2, 3}。若失真度定义为：d (a i , b j ) = (b j -a i )2，求其失真矩阵D 。

三、（15分）某离散无记忆信源??

????=??????4.06.0)(21a a x p X ，通过图1的信道传输，求：

图1 离散信道

（1）该信源中a 1和 a 2分别含有的自信息；

（2）X 和Y 的信息熵；

（3）信道的疑义度H (X|Y )；

（4）接收到信息Y 后获得的平均互信息量。

四、（16分）设有一个离散无记忆信源??

????=??????5.03.02.0)(321a a a x p X ， （1）对该信源进行二元费诺编码，计算其平均码长和编码效率；

（2）对信源进行二元霍夫曼编码，计算其平均码长和编码效率。

五、（15分）已知(7, 4)循环码的生成多项式1)(3++=x x x g ，求：

（1）该码的编码效率；

（2）该码的生成矩阵和校验矩阵；

（3）若消息码多项式为1)(2++=x x x m ，求其码字。

六、（12分，电子信息专业）二元对称信道的信道矩阵为??

????9.01.01.09.0，信道传输速度为1500二元符号/秒，设信源为等概率分布，信源消息序列共有13000个二元符号，问：

（1）能否在10秒内将信源消息序列无失真传送完毕？

（2）若信源概率分布为p (0)=0.7，p (1)=0.3，则无失真传送以上信源消息序列至少需要多长时间？

七（12分，通信工程专业）已知卷积码的编码器如图2所示，试用生成矩阵法分析当输入信息序列为11001时的输出码字。

图2 卷积码编码器

信息论与编码复习题目

信息论复习提纲 第一章绪论 1．通信系统模型； 2．香浓信息的概念； 3．信源、信道、信源编码和信道编码研究的核心问题。 第二章离散信源及信源熵 1．离散信息量、联合信息量、条件信息量、互信息量定义； 2．信源熵、条件熵、联合熵定义； 3．平均互信息量定义、性质、三种表达式及物理意义，与其它熵的关系（不证明）； 4．最大信源熵定理及证明； 5．本章所有讲过的例题； 第三章离散信源的信源编码 1．信息传输速率、编码效率定义； 2．最佳编码定理（即节定理：概率越大，码长越小；概率越小，码长越大）及证明； 3．码组为即时码的充要条件； 4．单义可译定理（Kraft不等式）及应用； 5．费诺编码方法、霍夫曼编码方法应用（二进制，三进制，四进制）；6．本章所有讲过的例题； 第四章离散信道容量 1．利用信道矩阵计算信道容量（离散无噪信道、强对称离散信道、对称离

散信道、准对称离散信道）； 2．本章讲过的例题； 第五章连续消息和连续信道 1．相对熵的定义； 2．均匀分布、高斯分布、指数分布的相对熵及证明； 3．峰值功率受限条件下的最大熵定理及证明，平均功率受限条件下的最大熵定理及证明，均值受限条件下的最大熵定理及证明； 4．香农公式及意义； 5．本章所有讲过的例题； 第六章差错控制 1．重量、最小重量、汉明距离、最小汉明距离、编码效率的定义；2．最小距离与检错、纠错的关系（即节定理）； 3．本章所有讲过的例题； 第七章线性分组码 1．线性分组码定义； 2．线性分组码的最小距离与最小重量的关系及证明； 3．生成矩阵、一致校验矩阵定义，给出线性方程组求出生成矩阵和一致校验矩阵的标准形式，生成矩阵与一致校验矩阵的关系； 4．制作标准阵列并利用标准阵列译码； 5．本章所有讲过的例题； 第八章循环码 1．生成多项式的特点，有关定理（三定理1，定理2，定理3）及证明；

2015年12月信息技术会考题及答案讲解

重庆市普通高中2015年12月学生学业水平考试 信息技术试卷 注意事项： 1．本试卷总分为100分，考试时间为90分钟。 2．答题前，考生务必将考场地点、毕业学校、姓名、准考证号、考试科目等填写在答题卡上的规定位置，并用2B 铅笔填涂相关信息。 3．所有试题的答案请用2B 铅笔填涂在答题卡上。 一、判断题（共22题,每题1分，共计22分） 1．信息论的奠基人之一香农认为信息是“用来消除不确定性的东西”，指的是有新内容或新知识的消息。（ ） A ．正确 B ．错误 2．文本信息加工中字体的选用，可以根据个人的风格、审美爱好和报告的性质进行选择，但必须保证读者能够清楚、方便且迅速地阅读。( ) A ．正确 B ．错误 3．在编排报刊类文档时，文本框工具不能用来在版面中灵活放置文本。( ) A ．正确 B ．错误 4．Excel 中“求和”的函数是Sum()。（ ） A ．正确 B ．错误 5．一个Excel 工作薄只能有一张工作表。（ ） A ．正确 B ．错误 6．某老师用数码摄像机拍摄了学生秋游的视频 ，现在她想给这些视频加上合适的背景音乐，这项工作可以选用画图软件完成。( ) A ．正确 B ．错误 7．使用“Windows 照片查看器”打开“蝶.jpg ”图片，用鼠标拖动滑块按钮改变图像大小(如右图左下角方框所示)，则该图片的像素将会增加。( ) A ．正确 B ．错误 8．在使用应用程序的过程中，可能会遇到一些灰色或暗淡 的菜单命令，这些命令是不可用的。（ ）

A．正确B．错误 9．用计算机高级语言编写的程序代码需要“翻译”为机器语言程序（由1和0代码 组成），才可以让计算机执行。( ) A．正确B．错误 10．VB赋值语句“n = 1”的作用是把赋值运算符“=”右边的值“1”赋给左边的变 量n。( ) A．正确B．错误 11．我国“蛟龙”号深潜器操作员，使用计算机模拟系统进行深潜作业训练，这一系 统主要采用的是虚拟现实技术。（） A．正确B．错误 12．“微信朋友圈”是腾讯微信上的一个社交功能，用户可以通过朋友圈发表文字和 图片，但不可以将文章或者音乐分享到朋友圈。（） A．正确B．错误 13．Access属于数据库管理系统。（） A．正确B．错误 14．计算机感染病毒后，可以采用强制关闭计算机清除病毒。（） A．正确B．错误 15．我们在网上与他人交流时，要注意保护好个人隐私，同时也要尊重他人，文明用网。（） A．正确B．错误 16．关于电子邮件，只能给别人发电子邮件，不能给自己发送。（）A．正确B．错误 17．用右键单击网页中的图片，选择“图片另存为”，可以将图片保存到计算机中。（） A．正确B．错误 18．全景环视技术是把相机环绕360o拍摄的一组照片拼接成一个全景图像，用播放软 件在互联网上显示。从严格意义上讲，全景环视技术并不是真正意义上的三维图形技术。( ) A．正确B．错误 19．在WWW服务中，统一资源定位符（URL）由协议、域名与文件名三部分组成。( ) A．正确B．错误 20．网络协议制定了计算机之间交换信息的规则和约定。( ) A．正确B．错误 21．网页上只要有“动”的效果就是动态网页。（） A．正确B．错误

答案~信息论与编码练习

1、有一个二元对称信道，其信道矩阵如下图所示。设该信道以1500个二元符号/秒的速度传输输入符号。现有一消息序列共有14000个二元符号，并设在这消息中P(0)=P(1)=1/2。问从信息传输的角度来考虑，10秒钟内能否将这消息序列无失真地传送完？ 解答：消息是一个二元序列，且为等概率分布，即P(0)=P(1)=1/2，故信源的熵为H(X)=1(bit/symbol)。则该消息序列含有的信息量＝14000(bit/symbol)。 下面计算该二元对称信道能传输的最大的信息传输速率： 信道传递矩阵为： 信道容量（最大信息传输率）为： C=1-H(P)=1-H(0.98)≈0.8586bit/symbol 得最大信息传输速率为： Rt ≈1500符号/秒× 0.8586比特/符号 ≈1287.9比特/秒 ≈1.288×103比特/秒 此信道10秒钟内能无失真传输得最大信息量＝10× Rt ≈ 1.288×104比特 可见，此信道10秒内能无失真传输得最大信息量小于这消息序列所含有的信息量，故从信息传输的角度来考虑，不可能在10秒钟内将这消息无失真的传送完。 2、若已知信道输入分布为等概率分布，且有如下两个信道，其转移概率矩阵分别为： 试求这两个信道的信道容量，并问这两个信道是否有噪声？ 3 、已知随即变量X 和Y 的联合分布如下所示： 01100.980.020.020.98P ?? =?? ??11112222 1111222212111122221111222200000000000000000000000000000000P P ???????? ????==???? ????????11 2222111 22222log 4(00)1/()log 42/log 8(000000)2/(),H bit symbol H X bit symbol C C H bit symbol H X C =-===>=-==1解答：(1)由信道1的信道矩阵可知为对称信道故C 有熵损失，有噪声。(2)为对称信道，输入为等概率分布时达到信道容量无噪声

信息论与编码试题集与答案(新)

1. 在无失真的信源中，信源输出由 H (X ) 来度量；在有失真的信源中，信源输出由 R (D ) 来度量。 2. 要使通信系统做到传输信息有效、可靠和保密，必须首先 信源 编码， 然后_____加密____编码，再______信道_____编码，最后送入信道。 3. 带限AWGN 波形信道在平均功率受限条件下信道容量的基本公式，也就是有名的香农公式是log(1)C W SNR =+；当归一化信道容量C/W 趋近于零时，也即信道完全丧失了通信能力，此时E b /N 0为 -1.6 dB ，我们将它称作香农限，是一切编码方式所能达到的理论极限。 4. 保密系统的密钥量越小，密钥熵H (K )就越 小 ，其密文中含有的关于明文的信息量I (M ；C )就越 大 。 5. 已知n ＝7的循环码4 2 ()1g x x x x =+++，则信息位长度k 为 3 ，校验多项式 h(x)= 3 1x x ++ 。 6. 设输入符号表为X ＝{0，1}，输出符号表为Y ＝{0，1}。输入信号的概率分布为p ＝(1/2，1/2)，失真函数为d (0，0) = d (1，1) = 0，d (0，1) =2，d (1，0) = 1，则D min ＝ 0 ，R (D min )＝ 1bit/symbol ，相应的编码器转移概率矩阵[p(y/x )]＝1001?? ???? ；D max ＝ 0.5 ，R (D max )＝ 0 ，相应的编码器转移概率矩阵[p(y/x )]＝1010?? ? ??? 。 7. 已知用户A 的RSA 公开密钥(e,n )=(3,55)，5,11p q ==,则()φn = 40 ，他的秘密密钥(d,n )＝(27,55) 。若用户B 向用户A 发送m =2的加密消息，则该加密后的消息为 8 。 二、判断题 1. 可以用克劳夫特不等式作为唯一可译码存在的判据。 （√ ） 2. 线性码一定包含全零码。 （√ ） 3. 算术编码是一种无失真的分组信源编码，其基本思想是将一定精度数值作为序列的 编码，是以另外一种形式实现的最佳统计匹配编码。 （×） 4. 某一信源，不管它是否输出符号，只要这些符号具有某些概率特性，就有信息量。 （×） 5. 离散平稳有记忆信源符号序列的平均符号熵随着序列长度L 的增大而增大。 （×） 6. 限平均功率最大熵定理指出对于相关矩阵一定的随机矢量X ，当它是正态分布时具 有最大熵。 （√ ） 7. 循环码的码集中的任何一个码字的循环移位仍是码字。 （√ ） 8. 信道容量是信道中能够传输的最小信息量。 （×） 9. 香农信源编码方法在进行编码时不需要预先计算每个码字的长度。 （×） 10. 在已知收码R 的条件下找出可能性最大的发码i C 作为译码估计值，这种译码方 法叫做最佳译码。 （√ ）

信息论与编码技术复习题2

《信息论与编码技术》复习题（2） 一、（32分）综合概念题 1. 什么是系统码和典型矩阵？写出常用的典型生成矩阵的两种形式。 2. 根据平均互信息定义的信道容量是指： a. 信道固定时的最大平均互信息； b. 信道固定时的最小平均互信息； c. 信源固定时的信道的最小平均互信息； d. 信源固定时的信道的最大平均互信息。 3. 什么是离散平稳信源？ a. 任意两个不同时刻随机矢量的各维概率分布都相同； b. 任意两个不同时刻随机矢量的各维概率分布都不相同； c. 任意两个不同时刻随机矢量的各维概率密度函数都相同； d. 任意两个不同时刻随机矢量的各维概率密度函数都不相同。 4. 设计一个信道容量为22 kbit/s 的电话信道，若信道上的信号与噪声的平均功率比值为20 dB ，请问该信道的通频带应该为多少？ 5. 设信源有q 个符号，则当信源 分布时熵最大，其最大值为 。 6. 当信道固定时，平均互信息是输入分布的 函数；当信源固定时，平均互信息是信道转移概率的 函数。 7. 信源编码是通过压缩信源冗余度来提高 ，而信道编码是增加冗余度来提高 。 8. 请判断具有下列码长{1, 2, 3, 3, 3, 4}的二进制码是否可构成唯一可译码。 二、（10分）设有对称信源(s = r = 4)，信源X = {a 1, a 2, ..., a r } = {0, 1, 2, 3}，信宿Y = { b 1, b 2, ..., b s } = {0, 1, 2, 3}。若失真度定义为：d (a i , b j ) = (b j -a i )2，求其失真矩阵D 。 三、（15分）某离散无记忆信源?? ????=??????4.06.0)(21a a x p X ，通过图1的信道传输，求： 图1 离散信道 （1）该信源中a 1和 a 2分别含有的自信息； （2）X 和Y 的信息熵； （3）信道的疑义度H (X|Y )； （4）接收到信息Y 后获得的平均互信息量。 四、（16分）设有一个离散无记忆信源?? ????=??????5.03.02.0)(321a a a x p X ， （1）对该信源进行二元费诺编码，计算其平均码长和编码效率；

高中信息技术会考模拟题+答案5

2013-网络技术应用模拟卷—五 学号：80066 ：周亦楠得分：1 1. [ 单选题 1 分 ] 使用电脑既能听音乐，又能看影碟，这是利用了计算机的（）。 A、多媒体技术 B、信息管理技术 C、自动控制技术 D、人工智能技术 得分：0分 标准答案：A 解题指导： 2. [ 单选题 1 分 ] 使用某一数据库系统可以实现（）。 A、不能查询信息 B、只能查询某一信息 C、查询数据库中的所有信息 D、只能查询部份信息 得分：0分 标准答案：C 解题指导： 3. [ 单选题 1 分 ] 使用数据库应用系统的优势，不正确的说法是（）。 A、能够存储大量数据，且占用空间少 B、管理操作方便、快捷、数据维护简单、安全 C、检索统计准确、迅速、高效；数据应用共享性好 D、存储和管理数据的多少不受限制 得分：0分 标准答案：D 解题指导：

4. [ 单选题 1 分 ] 使用数据库管理系统管理、维护数据（）。 A、复杂、安全性差 B、专业人员才能完成管理工作 C、简单、安全 D、绝对不存在安全问题 得分：0分 标准答案：C 解题指导： 5. [ 单选题 1 分 ] 学号字段中含有1、2、3……等数值，则在Access表设计器中，该字段可以设置为（）类型。 A、货币 B、文本 C、备注 D、日期 得分：0分 标准答案：B 解题指导： 6. [ 单选题 1 分 ] 实习医生可以通过计算机仿真系统练习外科手术，从而理快掌握手术技巧，这体现了信息技术正向（）方向发展。 A、多元化 B、网络化 C、虚拟化 D、多媒体化 得分：0分 标准答案：C 解题指导： 7. [ 单选题 1 分 ] 建立一个数据库首先要收集相关的信息，然后从中分析并抽取（），确定特征之间的关系。 A、信息的特征 B、信息的需求

信息论与编码复习题,德州学院

一、填空 1. 信息论基础主要研究信息的测度、 信道容量 、 信源和信道编码理论 等问题。 2. 必然事件的自信息量是0，不可能事件的自信息量是无穷大。 3. 若把掷骰子的结果作为一离散信源，则信源熵为 2log 。 4. 当事件i x 和j y 彼此之间相互独立时，平均互信息量为 0 。 5. 若二维平稳信源的信源熵为3bit/sign ，则其平均符号熵为1.5bit/sign 。 6. 信源熵H(X)表示信源输出后每个消息所提供的 平均信息量 。 7. 布袋中有红白球各50只，若从中随意取出一只球，则判断其颜色所需的信息量为 1bit 。 8. 单符号离散信源是用随机变量来描述的，则多符号离散信源用随机矢量来描述。 9. 平均互信息量与信息熵、联合熵的关系是I(X;Y)=H(X)+H(Y)-H(XY) 。 10. 条件熵H （x|y ）和无条件熵H （X ）的关系是小于等于。 11. 对于理想信道，H （x|y ）等于0 ；I （x ；y ）= H （X ）。 12. 若YZ 统计独立，则H （YZ ）和H （Y ）、H （Z ）之间的关系是H （YZ ）=H （Y ）+H （Z ） 。 13. 对某含有7个消息的信源，其熵的最大值为2log 7，对应为等概分布分布。 14. 对某含有8个消息的信源，其熵的最大值为2log 8，对应为等概分布。 15. 对某含有6个消息的信源，其熵的最大值为2log 6，对应为等概分布。 16. 对某含有9个消息的信源，其熵的最大值为2log 9，对应为等概分布。 17. 十六进制脉冲所含的信息量是四进制脉冲的2 倍。 18. 八进制脉冲所含的信息量是二进制脉冲的3倍。 19. 十六进制脉冲所含的信息量是二进制脉冲的 4倍。 20. 离散平稳无记忆信源的N 次扩展信源的熵等于离散信源熵的N 倍。 21. 离散信源的熵越小，则该信源消息之间的平均不确定性越弱。 22. 对于r 进制树图，n 级节点的个数一般为n r 。 23. 信道中任一时刻输出符号仅统计依赖于对应时刻的输入符号，而与非对应时刻的输入符号及其它任何 时刻的输出符号无关，这种信道称之为 有干扰无记忆信道 。 24. 对于某一信源和某一符号集来说，若有一个唯一可译码，其平均码长小于所有其它唯一可译码的平均 码长，则称该码为紧致码或最佳码 。 25. 分组码是前向纠错码 ，它可以在无需重新发射的情况下检测出有限个错码，并加以纠正。 26. 信源编码的目的是提高通信的有效性。 27. 对于香农编码和哈夫曼编码，编码方法唯一的是香农编码 。 28. 若纠错码的最小距离为dmin,则可以纠错任意小于等于（dmin-1）/2个差错。 29. 线性分组码是同时具有线性特性和分组特性的纠错码。 30. 道的输出仅与当前输入有关，而与过去无关的信道称无记忆信道。 31. 唯一可译码存在的充要条件是 1 1i n k i m -=≤∑ 。 32. 编码分为信源编码和信道编码两种。 33. 信道无失真传输信息的条件是信息传输速率小于信道容量。 34. 对称信道中，信源的最佳分布为等概分布。 35. 信源编码和信道编码的最大区别在于信源编码需减少信源的冗余度，而信道编码需增加信源的冗余。 36. 信道编码的目的是提高通信的可靠性。 37. 离散信源分为离散无记忆信源 和 离散有记忆信源。

2017年信息技术会考试题真题附带答案

2017年辽宁省普通高中学生学业水平考试信息技术 （本试卷分为第I卷和第II卷，满分100分，考试时间为50分钟） 第I卷选择题 一、选择题（本大题包括15小题，每小题3分，共45分，每小题只有一个选项符合题意） 1．下列关于信息的描述，正确的是（） A.人们看到的文字和听到的声音就是信息 B.信息是一种使用后悔产生消耗的资源 C.信息时区别于物质和能量的第三类资源 D.信息就是书包和电视等 2．在ASCll码表中，字符“f”的ASCll码是102，字符“n”的ASCll码是（） A.94 B.81 C.103 D.110 3. 下列二进制数与十进制数29等值的是（） A.11110 B.10101 C.11011 D.11101 4. 在Excel2003的工作表C1单元格中输入公式“=7+7*7”，按下回车键后，C1单元格中显示的数值是（） A.56 B.98 C.8 D.21 5. 下列各项属于信息技术的是（） A.生物技术 B.纳米技术 C.传感技术 D.手工雕刻技术 6. 下列能够录制教师上课音频信息的是（） A. 绘图仪 B. 耳机 C.扫描仪 D.录音笔 7. 下列关键词最精确搜索到“中国诗词大会”视频的是（） A. 中国诗词大会 B. 中国诗词大会视频 C. 中国诗词大会网站 D. 中央视频网站 8. 下列软件适合制作“爱护环境，从我做起”活动电子板报的是（） A.Excel 2003 B. Word 2003 C.IE D.Access2003 9. 下列文件可使用Audition软件创建生成的是（） A.辽宁男篮.avi B.始祖鸟.bmp C.辽宁历史文化.mp3 D.长城.txt 10. 人工智能的应用非常广泛，如①金山快译②指纹识别③手写输入④语音识别。其中，属于模式识别的是（） A.①②③ B. ①②④ C. ①③④ D.②③④ 11. 下列各项属于计算机硬件输出设备的是（） A. 扫描仪 B. 打印机 C. 硬盘 D.鼠标 12. 在word 2003中，要把图片设置为“冲蚀”效果，应使用“图片工具栏中的按钮是（）。

信息论与编码期中试卷及答案

信息论与编码期中试题答案 一、（10’）填空题 （1）1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。 （2）必然事件的自信息是0 。 （3）离散平稳无记忆信源X的N次扩展信源的熵等于离散信源X的熵的N倍。 （4）对于离散无记忆信源，当信源熵有最大值时，满足条件为__信源符号等概分布_。 （5）若一离散无记忆信源的信源熵H（X）等于2.5，对信源进行等长的无失真二进制编码，则编码长度至少为 3 。 二、（10?）判断题 （1）信息就是一种消息。（? ） （2）信息论研究的主要问题是在通信系统设计中如何实现信息传输、存储和处理的有效性和可靠性。（? ） （3）概率大的事件自信息量大。（? ） （4）互信息量可正、可负亦可为零。（? ） （5）信源剩余度用来衡量信源的相关性程度，信源剩余度大说明信源符号间的依赖关系较小。 （? ） （6）对于固定的信源分布，平均互信息量是信道传递概率的下凸函数。（? ） （7）非奇异码一定是唯一可译码，唯一可译码不一定是非奇异码。（? ） （8）信源变长编码的核心问题是寻找紧致码（或最佳码）。 （? ） （9）信息率失真函数R(D)是关于平均失真度D的上凸函数. ( ? ) 三、（10?）居住在某地区的女孩中有25%是大学生，在女大学生中有75%是身高1.6米以上的，而女孩中身高1.6米以上的占总数的一半。 假如我们得知“身高1.6米以上的某女孩是大学生”的消息，问获得多少信息量？ 解：设A表示“大学生”这一事件，B表示“身高1.60以上”这一事件，则 P(A)=0.25 p(B)=0.5 p(B|A)=0.75 （5分） 故p(A|B)=p(AB)/p(B)=p(A)p(B|A)/p(B)=0.75*0.25/0.5=0.375 （4分） I(A|B)=-log0.375=1.42bit （1分）

信息论和编码理论习题集答案解析

第二章 信息量和熵 2.2 八元编码系统，码长为3，第一个符号用于同步，每秒1000个码字，求它 的信息速率。 解：同步信息均相同，不含信息，因此 每个码字的信息量为 2?8log =2?3=6 bit 因此，信息速率为 6?1000=6000 bit/s 2.3 掷一对无偏骰子，告诉你得到的总的点数为：(a) 7; (b) 12。问各得到多 少信息量。 解：(1) 可能的组合为 {1，6},{2，5},{3，4},{4，3},{5，2},{6，1} )(a p = 366=6 1 得到的信息量 =) (1 log a p =6log =2.585 bit (2) 可能的唯一，为 {6，6} )( b p = 36 1 得到的信息量=) (1 log b p =36log =5.17 bit 2.4 经过充分洗牌后的一副扑克（52张），问： (a) 任何一种特定的排列所给出的信息量是多少？ (b) 若从中抽取13张牌，所给出的点数都不相同时得到多少信息量？

解：(a) )(a p = ! 521 信息量=) (1 log a p =!52log =225.58 bit (b) ???????花色任选 种点数任意排列 13413!13 )(b p =13 52 134!13A ?=135213 4C 信息量=1313 52 4log log -C =13.208 bit 2.9 随机掷3颗骰子，X 表示第一颗骰子的结果，Y 表示第一和第二颗骰子的点 数之和，Z 表示3颗骰子的点数之和，试求)|(Y Z H 、)|(Y X H 、),|(Y X Z H 、 )|,(Y Z X H 、)|(X Z H 。 解：令第一第二第三颗骰子的结果分别为321,,x x x ，1x ，2x ，3x 相互独立， 则1x X =，21x x Y +=，321x x x Z ++= )|(Y Z H =)(3x H =log 6=2.585 bit )|(X Z H =)(32x x H +=)(Y H =2?( 361log 36+362log 18+363log 12+364log 9+365log 536)+36 6log 6 =3.2744 bit )|(Y X H =)(X H -);(Y X I =)(X H -[)(Y H -)|(X Y H ] 而)|(X Y H =)(X H ，所以)|(Y X H = 2)(X H -)(Y H =1.8955 bit 或)|(Y X H =)(XY H -)(Y H =)(X H +)|(X Y H -)(Y H 而)|(X Y H =)(X H ，所以)|(Y X H =2)(X H -)(Y H =1.8955 bit

信息论与编码复习题

一、填空题 1.设信源X 包含4个不同离散消息，当且仅当X 中各个消息出现的概率为___Pi=1/4___时，信源熵达到最大值，为__2bit_，此时各个消息的自信息量为____2bit_______。 2.如某线性分组码的最小汉明距dmin=4，则该码最多能检测出___3_____个随机错，最多能 纠正___INT__个随机错。 3.克劳夫特不等式是唯一可译码___存在___的充要条件。 4.平均互信息量I(X;Y)与信源熵和条件熵之间的关系是_I （X ：Y ）=H （X ）-H （X/Y ） 5.__信源__编码的目的是提高通信的有效性，_信道_编码的目的是提高通信的可靠性，__ 加密__编码的目的是保证通信的安全性。 6.信源编码的目的是提高通信的 有效性 ，信道编码的目的是提高通信的 可靠性 ，加密 编码的目的是保证通信的 安全性 。 7.设信源X 包含8个不同离散消息，当且仅当X 中各个消息出现的概率为__1/8_____时，信 源熵达到最大值，为___3bit/符号_________。 8.自信息量表征信源中各个符号的不确定度，信源符号的概率越大，其自信息量越__小____。 9.信源的冗余度来自两个方面，一是信源符号之间的_相关性__，二是信源符号分布的 __不均匀性___。 10.最大后验概率译码指的是 译码器要在已知r 的条件下找到可能性最大的发码Ci 作为移 码估值 。 11.常用的检纠错方法有__前向纠错__、反馈重发和混合纠错三种。 二、单项选择题 1.下面表达式中正确的是（ A ）。 A. ∑=j i j x y p 1)/( B.∑=i i j x y p 1)/( C.∑=j j j i y y x p )(),(ω D.∑=i i j i x q y x p )(),( 2.彩色电视显像管的屏幕上有5×105 个像元，设每个像元有64种彩色度，每种彩度又有 16种不同的亮度层次，如果所有的彩色品种和亮度层次的组合均以等概率出现，并且各个 组合之间相互独立。每秒传送25帧图像所需要的信道容量（ C ）。 A. 50106 B. 75106 C. 125106 D. 250106

高中信息技术会考试题(课件)

高中信息技术会考试题 信息技术会考必修部分 主题一:信息技术与社会 （一）信息及其特征 1、现代社会中，人们把（Ｂ)称为构成世界的三大要素。 A.物质、能量、知识B．信息、物质、能量Ｃ.财富、能量、知识 D.精神、物质、知识２、盲人摸象体现了信息交流的重要性,信息可以交流说明了信息具有( D ） A．价值性Ｂ.时效性C．载体依附性 D.共享性 3、下列叙述中,其中（Ｄ）是错误的 A.信息可以被多个信息接收者接收并且多次使 用Ｂ．信息具有时效性特征 C．同一个信息可以依附于不同的载体 D.获取了一个信息后,它的价值将永远存在。

4、网络上的信息被人下载和利用，这正说明信息具有( A ）Ａ．价值性 B.时效性Ｃ．载体依附性 D.可转换性 5、（ B ）不属于信息的主要特征 A.时效性Ｂ．不可能增值Ｃ.可传递、共享D．依附性 6、下面哪一个不属于信息的一般特征?（ D ） A．载体依附性 B.价值性 C.时效性Ｄ.独享性 7、天气预报、市场信息都会随时间的推移而变化,这体现了信息的( C ) A.载体依附性 B.共享性C．时效性 D.必要性 8、交通信号灯能同时被行人接收,说明信息具有（Ｂ)。A．依附性 B.共享性 C．价值性 D.时效性 ９、关于信息特征,下列说法正确的是( B ）

A:信息能够独立存在Ｂ：信息需要依附于一定的载体 C:信息不能分享D: 信息反映的是时间永久状态 10、下面对信息特征的理解,错误的( B ) A.天气预报、情报等引出信息有时效 性 B.信息不会随时间的推移而变化 C.刻在甲骨文上的文字说明信息的依附 性D．盲人摸象引出信息具有不完全性 11、在朝鲜战争即将爆发的时候,蓝德公司向美国政局高价兜售一份调查报告没被理会，战后美国政府分文未花就得到该报告，这体现了信息的：（Ｄ)...文档交流仅供参考... Ａ：价值性B:可伪性 C：具有可传递 性D：具有失效性 12、关于信息共享与物质的共享的差别，以下说法正确的是：C

信息论与编码期末试卷

上海大学2011～2012学年度冬季学期试卷（A卷） 课程名:信息论与编码课程号: 07276033学分: 4 应试人声明： 我保证遵守《上海大学学生手册》中的《上海大学考场规则》，如有考试违纪、作弊行为，愿意接受《上海大学学生考试违纪、作弊行为界定及处分规定》的纪律处分。 应试人应试人学号应试人所在院系 题号 1 2 3 4 得分——————————————————————————————————————一：填空题(每空2分，共40分) 1：掷一个正常的骰子，出现‘5’这一事件的自信息量为________,同时掷两个正常的骰子，‘点数之和为5’这一事件的自信息量为___________.（注明物理单位） 2：某信源包含16个不同的离散消息，则信源熵的最大值为___________,最小值为_____________. 3：信源X经过宥噪信道后，在接收端获得的平均信息量称为______________. 4：一个离散无记忆信源输出符号的概率分别为p(0)=0.5,p(1)=0.25,p(2)=0.25,则由60个符号构成的消息的平均自信息量为__________. 5：信源编码可提高信息传输的___有效___性，信道编码可提高信息传输的___可靠_性. 6:若某信道的信道矩阵为 ? ? ? ? ? ? ? ? ? ? ? ? 001 100 010 100 ，则该信道为具有____归并____性能的信道 7：根据香农第一定理（定长编码定理）若一个离散无记忆信源X的信源熵为H(X)，对其n个符号进行二元无失真编码时，其码字的平均长度必须大于____________ 8：若某二元序列是一阶马尔科夫链，P(0/0)=0.8，P(1/1)=0.7，则‘0’游程长度为4的概率为____________,若游程序列为312314，则原始的二元序列为_________. 9:若循环码的生成多项式为1 ) (2 3+ + =x x x g，则接收向量为（1111011）的伴随多项式为_______________ 10:对有32个符号的信源编4进制HUFFMAN码，第一次取_______个信源进行编码. 11:若一个线性分组码的所有码字为：00000,10101,01111,11010，则该码为（____,_____）,该码最多可以纠正_______位错误，共有________陪集. 12：码长为10的线性分组码若可以纠正2个差错,其监督吗至少有__5____位. 13：（7,4）汉明码的一致校验矩阵为 ? ? ? ? ? ? ? ? ? ? 1,0,1,0,1, ,1 0,1,1,0,0, ,1 0,0,0,1,1, ,1 3 2 1 r r r ，则3 2 1 r r r 为__________. _______________________________________________________________ 草稿纸 成绩

信息论与编码复习题

1.从大量统计中知道，男性红绿色盲的发病率为 1 16 ，女性发病率为1 64，如果你问一对男女“你是否是红绿色盲？”他们分别回答可能是“是”。问此回答各含多少信息量？平均每个回答各含多少信息量？4,6,11/32 2. 地区的女孩中有25％是大学生，在女大学生中有75％是身高1.6米以上的，而女孩中身高1.6米以上的占半数一半。假如我们得知“身 高1.6米以上的某女孩是大学生”的消息，问获得多少信息量？28 log 3 3.设有一连续随机变量，其概率密度函数为：2,01 ()0,bx x p x others ?≤≤=??， 试求这随机变量的熵。又若1(0)Y X K K =+>，22Y X =，试分别求出 1Y 和2Y 的熵1()C H Y 和2()C H Y 。 4. 设随机变量X 取值于0{}k X k +∞==， ()k P X k P ==，0,1,,k = 已知X 的数学期望0EX A =>,求使()H X 达到最大的概率分布和该分布的熵. 5.设Markov 信源的状态空间为：12{,}{0,1}S S =，其一步转移概率如下: 11211222(|)0.25, (|)0.75, (|)0.6, (|)0.4. P S S P S S P S S P S S ==== 1)画出状态转移图？ 2)求该信源的平稳分布.4/9,5/9

3)求该信源的极限分布. 6. 一信源产生概率为995.0)0(,005.0)1(==P P 的统计独立二进制数符。这些数符组成长度为100的数符组。我们为每一个含有3个或少于3个“1”的源数符组提供一个二进制码字，所有码字的长度相等。 ①求出为所规定的所有源符组都提供码字所需的最小码长。18 ②求信源发出一数符组，而编码器无相应码字的概率。0.00168515 7 .设有一Markov 信源，其状态集为123{,,}S s s s =，符号集为123{,,}x x x ，在某状态下发出符号的概率如图所示。 （1）、证明该信源的遍历性，并求其稳定分布； （2）、求该信源的极限熵； 10/9 （3）、求信源稳定后符号123{,,}x x x 的概率分布。 15/27,5/27,7/27 8. 离散无记忆信道的转移概率矩阵为[]12 3412340 10011102 3600101110 6 3 2b b b b a a P a a ????? ? ??=? ????????? ，求该信道的信道容量，及其最佳输入分布。 9.设离散无记忆信道的转移概率矩阵为??? ? ? ??--=εεεε 1010001 Q ，求出信道容量及其达到信道容量的最佳输入概率分布。并求当210和=ε时的信道容量。

信息论复习笔记

信息论回答了通信的两个最基本问题: （1）数据压缩的极限； （2）信道传输速率的极限； 信息、消息和信号 消息：信息的載體（能被感知和理解、進行傳遞和獲取） 信息：事物運動狀態或存在方式的不確定性的描述（香農）先驗概率：P(a i) 自信息：I(a i)=log[P-1(a i)]；（信息接收的不確定性） 互信息：I(a i;b i)= log[P-1(a i)]- log[P-1(a i|b i)]; （信息接收的多少度量） （若信道無干擾，則互信息等於自信息等於0） 優點：明確的數學模型、定量計算； 缺點：有適用範圍； 信號； 通信系统的模型 通信系统的基本要求:有效、可靠、保密、认证 2. 离散信源及其信息测度 ﹣离散信源的定义：輸出信息數有限、每次只輸出一個； ﹣自信息的定义及物理意义 事件發生前：事件發生的不確定性； 事件發生后：時間含有的信息量； 信息熵的定义及物理意义,信息熵的基本性质 定義：自信息的數學期望（ H(X)= -∑[ P(a i)logP(a i) ] ）信源的總體信息測度 （1）每個消息所提供的平均信息量；

（2）信源輸出前，信源的平均不確定性； 性質：（1）對稱性；（2）確定性； （3）非負性；（4）擴展性（可拆開）； （5）可加性；[ H(XY)=H(X)+H(Y) ] （6）強可加性；[ H(XY)=H(X)+H(Y|X) ] （7）遞增性； （8）極值性; [ H(p1,p2,p3…,p q)≤H(q-1,,…, q-1)= logq ] 等概率分佈信源的平均不確定性最大，稱為最大離散熵定理； —离散无记忆信源的扩展信源 —扩展信源的熵 H(X) = NH(X) —离散平稳信源：联合概率分布与时间起点无关； 熵：联合熵 H(X1X2)=∑∑P(a i a j)logP(a i a j) 条件熵 H(X2|X1)=-∑∑P(a i a j)logP(a i|a j) 关系：H(X1X2)=H(X1)+H(X2|X1) 熵率:离散平稳信源的极限熵 = limH(X N|X1X2…X N-1) —马尔可夫信源:某一时刻的输出只与此刻信源所处的状态有关而与以前的状态及以前的输出符号都无关； —马尔可夫信源的熵：H m+1=H(X m+1|X1X2…X m) —信源剩余度 熵的相对率η= H极限/H0 信源剩余度（输出符号间依赖强度）γ= 1-η=1-H极限/H0 3. 离散信道及其信道容量 —H(X;Y)=H(X)-H(X|Y) —离散信道的数学模型 —信道矩阵性質 （1）P(a i bj)=P(a i)P(b j|a i)=P(b j)P(a i|b j)；

2010年信息技术会考模拟题库试题集

2010年信息技术学科水平模拟题库试题 一、判断题（共50个，每题2分） 1、在不同的搜索引擎中输入完全相同的关键词，那么搜索到的信息也是完全一样的。( 错) 2、我们只能通过计算机来对信息进行处理。( 错) 3、现在比较流行的下载工具一般都具有断点续传、多线程下载、批量下载等特点。( 对) 4、小明把自己购买的正版电影上传到网络上允许任何人下载，这种行为是合法的。( 错) 5、信息是无处不在、无时不有的，所以任何信息对我们来说都是有用的。( 错) 6、要想使用或加工数据库中的数据，一般只能通过数据库管理系统或数据库应用系统来实 现。( 对) 7、一般来说，从文件的扩展名可以看出这个文件的类型。( 对) 8、因为计算机是由人制造的，所以计算机解决问题和人解决问题没有什么区别。( 错) 9、由一些二维表构成的数据库就叫做关系数据库。( 错) 10、有一个音频文件“北京欢迎您.mp3”，如果想截取其中的一部分，那么可以使用Windows 系统自带的“录音机”来完成这个工作。( 错) 11、在Windows系统的资源管理器中，用鼠标左键将“D:\”下的一个文件按住不放并拖动 到“C:\”，这实际上就是把这个文件从“D:\”剪切到了“C:\”。( 错) 12、网址“https://www.wendangku.net/doc/126328821.html,”中的“https://www.wendangku.net/doc/126328821.html,”表示域名，“http”表示浏览该 页面应该采用文件传输协议。( 错) 13、在Windows系统中，可以在一个文件夹中再建二个与之同名的子文件夹。( 错) 14、在Windows系统的资源管理器中删除了某个文件夹，那么该文件夹下的所有子文件夹 被删除，而文件被保留。( 错) 15、在计算机上安装防杀病毒软件、并定期升级和检测病毒，同时做好病毒的预防工作，这 样就绝对不会再感染病毒了。( 错) 16、在网络交流中，尽量不要泄漏个人信息、不要和不认识的网友见面，这样可以有效避免 网络陷阱的伤害。( 对) 17、在一个Access数据库文件中有一张学生信息表，包含学号、姓名、年龄、性别等字段

《信息论与编码技术》复习题3-4

一、填空题（共20分，每空2分） 1. 信息的基本概念在于它的 。 2. 一个随机事件的 定义为其出现概率对数的负值。 3. 按树图法构成的码一定满足 的定义。 4. 称为香农第二极限定理。 5. 纠错码的检、纠错能力是指 。 6. 信息率失真函数R (D )是关于D 的严格单调 函数。 7. 如果转移概率矩阵P 的每一行 ，称该矩阵是输入对称的。 8. 加密编码的主要目的是 。 9. 若最小码距为d min 的码同时能检测e d 个错误、纠正e c 个错误，则三个量之间的关系为 。 10. 稳定的马尔可夫信源必须有不可约性和 。 二、选择题（共10分，每题2分） 1. 给定x i 条件下，随机事件y j 所包含的不确定度和条件自信息量I (y j |x i )， （a ）数量上不等，单位不同；（b ）数量上不等，单位相同； （c ）数量上相等，单位不同；（d ）数量上相等，单位相同。 2. 下面哪一项不属于熵的性质： （a ）非负性；（b ）完备性；（c ）对称性；（d ）确定性。 3. 下面哪一项不是增加信道容量的途径： （a ）减小信道噪声功率；（b ）增大信号功率；（c ）增加码长；（d ）增加带宽。 4. 香农编码方法是根据 推导出来的。 （a ）香农第一极限定理；（b ）香农第二极限定理； （c ）香农第三极限定理；（d ）香农第四极限定理。 5. 下面哪一项不属于最简单的通信系统模型： （a ）信源；（b ）加密；（c ）信道；（d ）信宿。 三、名词解释（共10分，每题5分） 1. 唯一可译码。 2. 最小码距。 四、简答题（共20分，每10分） 1. 利用公式介绍无条件熵、条件熵、联合熵和平均互信息量之间的关系。 2. 简单介绍霍夫曼编码的步骤。 五、计算题（共40分）（log 2(3)=1.585，log 2(5)=2.322） 1. 某信源含有三个消息，概率分别为p (0)=0.2，p (1)=0.3，p (2)=0.5，失真矩阵为??????????=102230124D 。求D max 、D min 和R (D max )。（10分） 2. 设对称离散信道矩阵为?? ????=3/13/16/16/16/16/13/13/1P ，求信道容量C 。（10分） 3. 有一稳态马尔可夫信源，已知转移概率为p(S 1/S 1)=2/3，p(S 1/S 2)=1。求： （1）画出状态转移图和状态转移概率矩阵； （2）求出各状态的稳态概率； （3）求出信源的极限熵。（20分）

信息论期末复习

第二章 信源熵 一、自信息量 1. 定义：一个随机事件发生某一结果后所带来的信息量称为自信息量，简称自信息。定 义为其发生概率对数的负值。若随机事件发生i a 的概率为)(i a p ，那么它的自信 息量为：)(log )(2i i a p a I -= （bit ） 2. 性质：在事件发生前，)(i a I 表示该事件发生的不确定性。 在事件发生后，)(i a I 表示事件发生所提供的信息量。 二、信源熵 1. 定义： 已知单符号离散无记忆信源的数学模型 我们定义信源各个离散消息的自信息量的数学期望为信源的平均信息量，一般称为信 源的平均信息量： )(log )(])(1[log )]([)( 212i n i i i i a p a p a p E a I E X H ∑=-=== 2. 信源熵与平均自信息量之间的区别 两者在数值上是相等的，但含义不同。信源熵表征信源的平均不确定度，平均自信息量是消除不确定度所需要的信息的度量。信源一定，不管它是否输出离散消息，只要这些离散消息具有一定的概率特性，必有信源的熵值，该熵值在总体平均的意义上才有意义，因而是一个确定值， 。在离散信源的情况下，信源熵的值是有限的。而信息量只有当信源输出离散消息并被接收后，才有意义，这就是给予接收者的信息度量。 3. 最大离散熵定理：信源X 中包含n 个不同离散消息时，信源熵H(X)有： n X H 2log )(≤ 当且仅当X 中各个消息出现的概率全相等时，上式取等号。 4. 扩展信源的信源熵：N 次扩展信源的信源熵：)()(X NH X H N = )(,),(,),(),( , , , , ,)( 2121? ?????=??????n i n i a p a p a p a p a a a a X P X