信息论IT_15_信道编码定理
作业参考答案信息论
2.3 一副充分洗乱的牌（含52张），试问： （1）任一特定排列所给出的不确定性是多少？ （2）随机抽取13张牌，13张牌的点数互不相同时的不确定性是多少？ 解：（1）52张扑克牌可以按不同的顺序排列，所有可能的不同排列数就是全排列种数，为 526752528.06610P =!≈? 因为扑克牌充分洗乱，任一特定排列出现的概率相等，设事件A 为任一特定排列，则其发 生概率为 ()681 1.241052P A -=≈?! 可得，该排列发生所给出的信息量为 ()()22log log 52225.58I A P A =-=!≈ bit 67.91≈ dit （2）设事件B 为从中抽取13张牌，所给出的点数互不相同。 扑克牌52张中抽取13张，不考虑排列顺序，共有13 52C 种可能的组合。13张牌点数 互不相同意味着点数包括A ，2，…，K ，而每一种点数有4种不同的花色意味着每个点数可以取4中花色。所以13张牌中所有的点数都不相同的组合数为13 4。因为每种组合都是等概率发生的，所以 ()131341352441339 1.05681052P B C -?!! ==≈?! 则发生事件B 所得到的信息量为 ()()13 21352 4log log 13.208I B P B C =-=-≈ bit 3.976≈ dit 2.5 设在一只布袋中装有100只对人手的感觉完全相同的木球，每只上涂有1种颜色。100只球的颜色有下列三种情况： (1) 红色球和白色球各50只； (2) 红色球99只，白色球1只； (3) 红，黄，蓝，白色各25只。 求从布袋中随意取出一只球时，猜测其颜色所需要的信息量。 解：猜测木球颜色所需要的信息量等于木球颜色的不确定性。令 R ——“取到的是红球”，W ——“取到的是白球”， Y ——“取到的是黄球”，B ——“取到的是蓝球”。 （1）若布袋中有红色球和白色球各50只，即 ()()501 1002P R P W == = 则 ()()221 log log 212 I R I W ==-== bit （2）若布袋中红色球99只，白色球1只，即
2020北邮移动通信作业01
一、判断题（共10道小题，共100.0分） 1. (错误) 2. 信道编码(差错控制)的目的是增加信息在信道传输中的冗余度，使其具有检错或纠错能力，提高信道传输质量；信道解码是检错、纠错的过程。 3. 1.正确 2.错误 4. 扰码SC本身的功能是完成“多址”的功能，在上行方向(反向)区分不同用户，在下行方向(前向)区分不同小区。 5. 1.正确 2.错误 6. (错误) 7. 扩频码是信道化码和扰码的结合，扩频调制可能是由信道化码、扰码单独或联合完成的。
8. 1.正确 2.错误 9. 在无线接入网（RAN）结构层面，为了降低用户面延迟，LTE取消了重要的网元—无线网络控制器（RNC）。 10. 1.正确 2.错误 11. 为了实现LTE所需的大系统带宽，从采用的无线接入技术来看，3GPP不得不选择放弃长期采用的CDMA技术作为核心技术，选用了新的核心传输技术，即OFDM/MIMO技术。 12. 1.正确 2.错误 13. 电磁波的频率、波长与速度的关系如下： f= λ/ c
1.正确 2.错误 15. 电磁波是人类用于远距离实时接收和发送信息的主要载体之一。 16. 1.正确 2.错误 17. 扩频码序列起扩展信号频谱的作用，它与所传的原始信息数据是有关的，会影响信息传输的透明性。 18. 1.正确 2.错误 19. 小区地址用来区分不同基站或扇区；数量上有一定要求，但没有用户地址数量要求大，在质量上要求各小区之间正交(准正交)，以减少小区间的干扰。
1.正确 2.错误 21. 5G技术创新主要来源于无线技术和网络技术两方面。 22. 1.正确 2.错误
信息论与编码课后习题答案
1． 有一个马尔可夫信源，已知p(x 1|x 1)=2/3，p(x 2|x 1)=1/3，p(x 1|x 2)=1，p(x 2|x 2)=0，试画出该信源的香农线图，并求出信源熵。 解：该信源的香农线图为： 1/3 ○ ○ 2/3 (x 1) 1 (x 2) 在计算信源熵之前，先用转移概率求稳定状态下二个状态x 1和 x 2 的概率)(1x p 和)(2x p 立方程：)()()(1111x p x x p x p =+)()(221x p x x p =)()(2132x p x p + )()()(1122x p x x p x p =+)()(222x p x x p =)(0)(2131x p x p + )()(21x p x p +=1 得4 3 1)(=x p 4 12)(=x p 马尔可夫信源熵H = ∑∑- I J i j i j i x x p x x p x p )(log )()( 得 H=0.689bit/符号 2．设有一个无记忆信源发出符号A 和B ，已知4 341)(.)(= =B p A p 。求： ①计算该信源熵； ②设该信源改为发出二重符号序列消息的信源，采用费诺编码方法，求其平均信息传输速率； ③又设该信源改为发三重序列消息的信源，采用霍夫曼编码方法，求其平均信息传输速率。 解：①∑- =X i i x p x p X H )(log )()( =0.812 bit/符号 ②发出二重符号序列消息的信源,发出四种消息的概率分别为 用费诺编码方法 代码组 b i BB 0 1 BA 10 2 AB 110 3 AA 111 3 无记忆信源 624.1)(2)(2 ==X H X H bit/双符号 平均代码组长度 2B =1.687 bit/双符号 B X H R )(22==0.963 bit/码元时间 ③三重符号序列消息有8个,它们的概率分别为 用霍夫曼编码方法 代码组 b i BBB 64 27 0 0 1 BBA 64 9 0 )(6419 1 110 3
香农编码--信息论大作业
香农编码--信息论大作业-标准化文件发布号：（9456-EUATWK-MWUB-WUNN-INNUL-DDQTY-KII
信息论与编码课程大作业 题目：香农编码 学生姓名： ****** 学号： &********** 专业班级： ******************* 2013 年 5 月 10 日
香农编码 1.香农编码的原理/步骤 香农第一定理指出了平均码长与信源之间的关系，同时也指出了可以通过编码使平均码长达到极限值，这是一个很重要的极限定理。如何构造这种码？香农第一定理指 出，选择每个码字的长度K i将满足式I(x i)≤K i＜I p(x i)+1就可以得到这种码。这种编码方法就是香农编码。 香农编码步骤如下: (1)将信源消息符按从大到小的顺序排列。 (2)计算p[i]累加概率； (3)确定满足自身要求的整数码长； (4)将累加概率变为二进制数； (5)取P[i]二进制数的小数点后Ki位即为该消息符号的二进制码字。 2. 用C语言实现 #include
信息论基础课程作业汇总
信息论基础课程作业汇总 2015/03/23 作业1 1. 查资料了解香农的研究生涯及其信息论的主要内容和应用。 作业2 1. 用微分或者积分中值定理证明基本对数不等式。 2. 用Jessen 不等式证明对数和不等式。 作业3 1. 在伪币称量问题中，若用天平比较两枚金币的重量，则三种结果的信息量分别是多少？ 2. 在掷色子游戏中，当得知两个色子的点数之和为3时获得多少比特的信息？ 3. 已知平均100人中有2人患有某种疾病，为了查明病情，必须进行某项指标的化验。这 种化验的结果对于有病的人总是阳性的，对于健康的人来说有一半可能为阳性、一半可能为阴性。若x 表示有这种病，y 表示化验结果为阳性，试计算I (x |y )与I (x ;y )并说明其含义。 4. 试证明()()() ;|I x y I x I x y =- 作业4 1. 中科大杨孝先版教材第52页，习题 2.3。 2. 设一条电线上串联了8个灯泡，如图所示。假设其中有且只有一个灯泡坏了，并且各灯 泡的损坏概率相同，用万用电表通过测量断路找出坏灯泡。 （1）平均需要获得多少信息，才能找出其中的坏灯泡。 （2）一次测量所获得的信息的最大期望值是多少？ （3）试设计一个最佳测量方案，即测量次数的期望值最小的测量方案。 3. 伪币称量问题：今有12枚金币，其中1枚是伪币，其重量不同于真币。 （1） 要找出这枚伪币需获得多少信息？ （2） 确定伪币比真币重还是轻需多少信息？ （3） 用一台无砝码的天平称量一次，平均最多可获得多少信息？
（4） 试设计一个称量方案，用3次称量找出伪币。 4. 程序设计1：输入有限概率分布，输出该分布的熵。 作业5 1. 设一个信源有6种信号，先后输出的信号是独立同分布的，其概率分布为 (1/2, 1/4, 1/8, 1/16, 1/32, 1/32) （1）该信源输出1个符号所提供的平均信息量。 （2）该信源输出100个符号所提供的平均信息量。 2. 在一段时间内，某城市交通的忙闲天数按天气阴晴和气温冷暖进行分类统计如下： （1） 计算交通忙闲状态的无条件熵。 （2） 计算天气和气温状态下的条件熵。 （3） 计算从天气和气温状态所获得的关于交通状态的信息。 3. 世界职业棒球锦标赛为7场赛制，只要其中一队赢得4场，比赛就结束。设随机变量X 代表在比赛中A 队和B 队较量的可能结果（X 的可能取值如AAAA ，BABABAB 和BBBAAAA ，其中A,B 分别表示A 队和B 对获胜）。设Y 代表比赛的场数，取值范围为4到7。假设A 队和B 队是同等水平的，且每场比赛相互独立。试计算H(X)，H(Y), H(Y|X)和H(X|Y)。 作业6 1. 设二元对称信道的误码率为1%，当输入符号的概率分布为均匀分布时，计算该信道的 损失熵和信息传输率，并说明其意义。 作业7 1. 证明平均符号熵序列是单调递减的，即对于任何n ， 1212+1()() +1n n H X X X H X X X n n 晴 阴 暖 8天 忙 冷 27天 暖 16天 晴 阴 暖 15天 闲 冷 4天 暖 12天 冷 12天 冷 8天
信息论与编码理论课后习题答案高等教育出版社
信息论与编码理论习题解 第二章-信息量和熵 解: 平均每个符号长为:154 4.0312.032= ?+?秒 每个符号的熵为9183.03log 3 1 23log 32=?+?比特/符号 所以信息速率为444.34 15 9183.0=?比特/秒 解: 同步信号均相同不含信息,其余认为等概, 每个码字的信息量为 3*2=6 比特； 所以信息速率为600010006=?比特/秒 解:(a)一对骰子总点数为7的概率是 36 6 所以得到的信息量为 585.2)366(log 2= 比特 (b) 一对骰子总点数为12的概率是36 1 所以得到的信息量为 17.536 1 log 2= 比特 解: (a)任一特定排列的概率为 ! 521 ,所以给出的信息量为 58.225! 521 log 2 =- 比特 (b) 从中任取13张牌,所给出的点数都不相同的概率为 1352 13 13 521344!13C A =? 所以得到的信息量为 21.134 log 1313 52 2=C 比特. 解:易证每次出现i 点的概率为 21 i ,所以
比特比特比特比特比特比特比特398.221 log 21)(807.1)6(070.2)5(392.2)4(807.2)3(392.3)2(392.4)1(6,5,4,3,2,1,21 log )(26 12=-==============-==∑ =i i X H x I x I x I x I x I x I i i i x I i 解: 可能有的排列总数为 27720! 5!4!3! 12= 没有两棵梧桐树相邻的排列数可如下图求得， Y X Y X Y X Y X Y X Y X Y X Y 图中X 表示白杨或白桦，它有???? ??37种排法，Y 表示梧桐树可以栽 种的位置，它有???? ??58种排法，所以共有???? ??58*???? ??37=1960种排法保证没有 两棵梧桐树相邻，因此若告诉你没有两棵梧桐树相邻时，得到关于树排列的信息为1960log 27720log 22-= 比特 解: X=0表示未录取，X=1表示录取； Y=0表示本市，Y=1表示外地； Z=0表示学过英语，Z=1表示未学过英语，由此得
信息论与编码大作业
广西科技大学 大作业 课程名称：信息论与编码 题目：信道编码对通信系统性能的影响学院：电气与信息工程学院 专业：电子信息工程 班级： 学号： 成绩： 姓名： 电话号码：
信道编码对通信系统性能的影响 [摘要] 简述信道编码理论，详细说明分组码的编译原理、实现方法及检错纠错能力，用MATLAB仿真有无信道编码条件下对通信系统性能的影响及信道编码在不同信道下对通信系统性能的影响，如AWGN信道和深衰落信道。 [关键词] 信道编码、分组码、MATLAB仿真、性能 一、引言 提高信息传输的有效性和可靠性始终是通信技术所追求的目标，而信道编码能够显著的提升信息传输的可靠性。1948年,信息论的奠基人C.E.Shannon在他的开创性论文“通信的数学理论”中,提出了著名的有噪信道编码定理.他指出：对任何信道,只要信息传输速率R不大于信道容量C, 就一定存在这样的编码方法：在采用最大似然译码时,其误码率可以任意小.该定理在理论上给出了对给定信道通过编码所能达到的编码增益的上限,并指出了为达到理论极限应采用的译码方法.在信道编码定理中,香农提出了实现最佳编码的三个基本条件：(1 )采用随机编译码方式；(2 )编码长度Ｌ→∞ , 即分组的码组长度无限；(3)译码采用最佳的最大似然译码算法。 二、信道编码理论 1、信道编码的概念与目的 进行信道编码是为了提高信号传输的可靠性，改善通信系统的传输质量，研究信道编码的目标是寻找具体构造编码的理论与方法。从原理上，构造信道码的基本思路是根据一定的规律在待发送的信息码元中人为的加入一定的多余码元，以引入最小的多余度为代价来换取最好的抗干扰性能。信道编码是通过信道编码器和译码器实现的用于提高信道可靠性的理论和方法，是信息论的内容之一。信道编码大致分为两类：①信道编码定理，从理论上解决理想编码器、译码器的存在性问题，也就是解决信道能传送的最大信息率的可能性和超过这个最大值时的传输问题。②构造性的编码方法以及这些方法能达到的性能界限。编码定理的证明，从离散信道发展到连续信道，从无记忆信道到有记忆信道，从单用户信道到多用户信道，从证明差错概率可接近于零到以指数规律逼近于零，正在不断完善。编码方法，在离散信道中一般用代数码形式，其类型有较大发展，各种界限也不断有人提出，但尚未达到编码定理所启示的限度。在连续信道中常采用正交函数系来代表消息，这在极限情况下可达到编码定理的限度，不是所有信道的编码定理都已被证明。 2、信道编码的分类
第五章 信道编码 习题解答
第五章 信道编码 习题解答 1．写出与10011的汉明距离为3的所有码字。 解：共有10个：01111，00101，00000，01010，01001，00110，11101，10100，11000，11110。 2． 已知码字集合的最小码距为d ，问利用该组码字可以纠正几个错误可以发现几个错误请写出一般关系式。 解：根据公式： (1)1d e ≥+ 可发现e 个错。 (2)21d t ≥+ 可纠正t 个错。 得出规律： （1）1d = ，则不能发现错及纠错。 （2）d 为奇数：可纠 1 2 d -个码元错或发现1d -个码元错。 （3）d 为偶数：可纠 12 d -个码元错，或最多发现1d -个码元错。 （4）码距越大，纠、检错能力越强。 3．试计算（8，7）奇偶校验码漏检概率和编码效率。已知码元错误概率为4 10e p -=。 解：由于4 10e p -=较小，可只计算错两个码元（忽略错4或6个码元）的情况： 228788! 10 2.8106!2! e p C p --== ?=?? 7 87.5%8 η= = 4．已知信道的误码率4 10e p -=，若采用“五三”定比码，问这时系统的等效（实际）误码率为多少 解：由于4 10e p -=较小，可只计算错两个码元的情况 11252112 83232(1)610e e e p C C p p C C p --=-≈=?
5．求000000，110110，011101，101011四个汉明码字的汉明距离，并据此求出校正错误用的校验表。 解：先求出码字间距离： 000000 110110 011101 101011 000000 4 4 4 110110 4 4 4 011101 4 4 4 101011 4 4 4 汉明距离为4，可纠一位错。 由于一个码字共有6个码元，根据公式：21617r n ≥+=+= 得 3r = 即每个码字应有3位监督码元，6-3=3位信息码元。 直观地写出各码字：123456 000000110110011101101011 x x x x x x 令456x x x 为监督码元，观察规律则可写出监督方程：4135236 12x x x x x x x x x =⊕?? =⊕??=⊕? 从而写出校验子方程：113422353126s x x x s x x x s x x x *** *** ***?=⊕⊕?=⊕⊕??=⊕⊕? 列出校验表： 6．写出信息位6k =，且能纠正1个错的汉明码。 解：汉明码的信息码元为六个，即：6k =。监督码元数r 应符合下式：217r k r r ≥++=+
信息论与编码课后答案
一个马尔可夫信源有3个符号{}1,23,u u u ，转移概率为：()11|1/2p u u =，()21|1/2p u u =， ()31|0p u u =，()12|1/3p u u =，()22|0p u u =，()32|2/3p u u =，()13|1/3p u u =，()23|2/3p u u =，()33|0p u u =，画出状态图并求出各符号稳态概率。 解：状态图如下 状态转移矩阵为： 1/21/2 01/302/31/32/30p ?? ?= ? ??? 设状态u 1，u 2，u 3稳定后的概率分别为W 1，W 2、W 3 由1231WP W W W W =??++=?得1231132231231 112331223 231W W W W W W W W W W W W ?++=???+=???=???++=? 计算可得1231025925625W W W ?=??? =?? ?=?? 由符号集{0，1}组成的二阶马尔可夫链，其转移概率为：(0|00)p =，(0|11)p =，(1|00)p =， (1|11)p =，(0|01)p =，(0|10)p =，(1|01)p =，(1|10)p =。画出状态图，并计算各状态 的稳态概率。 解：(0|00)(00|00)0.8p p == (0|01)(10|01)0.5p p == (0|11)(10|11)0.2p p == (0|10)(00|10)0.5p p == (1|00)(01|00)0.2p p == (1|01)(11|01)0.5p p == (1|11)(11|11)0.8p p == (1|10)(01|10)0.5p p ==
信息论基础与编码(第五章)
5-1 有一信源，它有六种可能的输出，其概率分布如下表所示，表中给出了对应的六种编码12345C C C C C 、、、、和6C 。 （1） 求这些码中哪些是唯一可译码； （2） 求哪些是非延长码（即时码）； （3） 对所有唯一可译码求出其平均码长。 解：（1(2)1,3,6是即时码。 5-2证明若存在一个码长为12,,,q l l l ???的唯一可译码，则一定存在具有相同码长的即时码。 证明：由定理可知若存在一个码长为Lq L L ,,2,1 的唯一可译码，则必定满足kraft 不等式 ∑=-q i l i r 1 ≤1。 由定理44?可知若码长满足kraft 不等式，则一定存在这样码长的即时码。所以若存在码长Lq L L ,,2,1 的唯一可译码，则一定存在具有相同码长P （y=0）的即时码。 5-3设信源1 2 61 26()s s s S p p p P s ??? ?? ??=???? ??? ????，61 1i i p ==∑。将此信源编码成为r 元唯一可译变长码（即码符号集12{,,,}r X x x x =???），其对应的码长为（126,,,l l l ???）=（1，1，2，3，2，3），求r 值的最小下限。 解：要将此信源编码成为 r 元唯一可译变长码，其码字对应的码长 （l 1 ,l 2 ,l 3, l 4,l 5, l 6）=(1,1,2,3,2,3) 必须满足克拉夫特不等式，即 1 3232116 1 ≤+++++=------=-∑r r r r r r r i li
所以要满足 12 223 2≤++r r r ，其中 r 是大于或等于1的正整数。 可见，当r=1时，不能满足Kraft 不等式。 当r=2, 18 2 4222>++，不能满足 Kraft 。 当r=3, 127 262729232<=++，满足Kraft 。 所以，求得r 的最大值下限值等于3。 5-4设某城市有805门公务电话和60000门居民电话。作为系统工程师，你需要为这些用户分配电话号码。所有号码均是十进制数，且不考虑电话系统中0、1不可用在号码首位的限制。（提示：用异前缀码概念） （1）如果要求所有公务电话号码为3位长，所有居民电话号码等长，求居民号码长度1L 的最小值； （2）设城市分为A 、B 两个区，其中A 区有9000门电话，B 区有51000门电话。现进一步要求A 区的电话号码比B 区的短1位，试求A 区号码长度2L 的最小值。 解：(a) 805门电话要占用1000个3位数中的805个，即要占用首位为0～ 7的所有数字及以8为首的5个数字。因为要求居民电话号码等长， 以9为首的数字5位长可定义10 000个号码，6位长可定义100 000 个号码。所以min L 16=。 或由Craft 不等 式，有 8051060000101 31?+?≤--L 解得 L 1103 180******** 5488≥--?=-log .， 即 min L 16= (b) 在(a)的基础上，将80为首的数字用于最后5个公务电话，81～86 为首的6位数用于B 区51 000个号码，以9为首的5位数用于A 区9 000 个号码。所以，min L 25=。或 由Draft 不等式，有 80510 900010510001013 122?+?+?≤---+L L () 或 80510 900051000101013 12?++??≤---()L 解得L 210 3 18051090005100 4859≥--?+=-log . 即min L 25= 5-5求概率分布为)152,152,51,51,31(的信源的二元霍夫曼码。讨论此码对于概率分布为 )5 1 ,51,51,51,51(的信源也是最佳二元码。
信息论与编码课程大作业信道容量的迭代算法
信息论与编码课程大作业 题目：信道容量的迭代算法 学生姓名： 学号：2010020200 专业班级：10电子信息工程 2013 年5 月18 日
信道容量的迭代算法 1信道容量的迭代算法的步骤 一、用了matlab 实现DMC 容量迭代的算法如下： 第一步：首先要初始化信源分布：.0deta 10,1,0,1 ) (>>=?==，选置，，k r i r P k i 即选取一个精度，本次中我选deta=0.000001。 第二步：}{,) ()()() (k ij i ji k i ji k i k ij t p p p p t 得到反向转移概率矩阵根据式子∑= 。 第三步： ()()()()(){} 111] log exp[] log exp[+++== ∑∑∑k i k i j ij k ji j ij k ji k i p P t p t p p 计算由式。 第四步： () ()() ()()()。 C t p t P I C k r i s j k ij ji k k k 10011log exp log ,+==++????? ???????????==∑∑计算由式 第五步： 若 a C C C k k k det ) 1() ()1(>-++，则执行k=k+1，然后转第二步。直至转移条件不成立，接着 执行下面的程序。 第六步：输出迭代次数k 和()1+k C 和1+k P ，程序终止。 2. Matlab 实现 clear; r=input('输入信源个数：'); s=input('输入信宿个数：'); deta=input('输入信道容量的精度： '); Q=rand(r,s); %形成r 行s 列随机矩阵Q
《通信系统原理》作业题
《通信系统原理》作业题 第1章绪论 1.画出数字通信系统模型。 噪声源 数 字 解 调 信 道 译 码 解 密 信 源 译 码 信 宿 数 字 调 制 信 道 编 码 加 密 信 源 编 码 信 源 信道 2.衡量数字通信系统的有效性和可靠性的性能指标有哪些？ 答：码元传输速率信息传输速率频带利用率误码率误信率 3.说明通信系统的分类。 4．一个由字母A，B，C，D组成的字，对于传输的每一个字母用二进制脉冲编码，00代替A，01代替B，10代替C，11代替D，每个脉冲宽度为5ms. (1)不同的字母是等概率出现时，试计算每个字母的传输速率和信息速率； (2)若每个字母出现的概率分别为 10 3 , 4 1 , 4 1 , 5 1 = = = = D C B A P P P P 试计算每个字母的传输速率和信息速率。
第2章确知信号 1. 画出单位冲击函数的时域波形及频谱密度,并说明各波形表示的含义。 2.求一个矩形脉冲的频谱密度及能量谱密度。 G a( f 1/τ 2/ -2/τ -1/
第5章 模拟调制系统 1. 比较AM 与DSB 两种调制方式的优缺点。 AM ：优点是接收设备简单；缺点是功率利用率低，抗干扰能力差。主要用在中波和短波调幅广播。 DSB ：优点是功率利用率高，带宽与AM 相同。主要用于调频立体声中的差信号调制，彩色TV 中的色差信号调制 2. 已知线性调制信号为 t t c ωcos )sin 0.51（Ω+，式中Ω=6c ω，画出波形与频谱。
3. 已知调制信号)4000cos()2000cos()( t t t m ππ+=载波为t π4 10cos ，进行单边带调制，试确定该单边带信号的表达式，并画出频谱图。
信息论大作业
信息论大作业 电子工程学院 班 号 1.Huffman编码 1． Huffman 编码原理： ①将信源符号按概率从大到小的顺序排列，令p(x1)≥ p(x2)≥…≥ p(xn) ②给两个概率最小的信源符号p(xn-1)和p(xn)各分配一个码位“0”和“1”，将这两个信源符号合并成一个新符号，并用这两个最小的概率之和作为新符号的概率，结果得到一个只包含(n－1)个信源符号的新信源。称为信源的第一次缩减信源，用S1表示。
③将缩减信源S1的符号仍按概率从大到小顺序排列，重复步骤2，得到只含(n －2)个符号的缩减信源S2。 ④重复上述步骤，直至缩减信源只剩两个符号为止，此时所剩两个符号的概率之和必为1。然后从最后一级缩减信源开始，依编码路径向前返回，就得到各信源符号所对应的码字。 2. 霍夫曼编码优缺点： 1)编出来的码都是异字头码，保证了码的唯一可译性。 2) 由于编码长度可变。因此译码时间较长，使得霍夫曼编码的压缩与还原相当费时。 3) 编码长度不统一，硬件实现有难度。 4) 对不同信号源的编码效率不同，当信号源的符号概率为2的负幂次方时，达到100％的编码效率；若信号源符号的概率相等，则编码效率最低。 5) 由于0与1的指定是任意的，故由上述过程编出的最佳码不是唯一的，但其平均码长是一样的，故不影响编码效率与数据压缩性能。 3.编码流程： 读入一幅图像的灰度值; 1.将矩阵的不同数统计在数组c的第一列中; 2.将相同的数占站整个数组总数的比例统计在数组p中; 3.找到最小的概率,相加直到等于1,把最小概率的序号存在tree第一列中,次 小放在第二列,和放在p像素比例之后; 4.C数组第一维表示值,第二维表示代码数值大小,第三维表示代码的位数； 5.把概率小的值为1标识，概率大的值为0标识； 6.计算信源的熵； 7.计算平均码长； 8.计算编码效率'； 9.计算冗余度。 源程序： p=input('请输入数据:'); n=length(p); for i=1:n if p(i)<0 fprintf('\n 提示：概率值不能小于0!\n');
信息论与编码理论习题答案全解
信息论与编码理论习题答案全解
第二章 信息量和熵 2.2 八元编码系统，码长为3，第一个符号用于同步，每秒1000个码字，求它的 信息速率。 解：同步信息均相同，不含信息，因此 每个码字的信息量为 2?8log =2?3=6 bit 因此，信息速率为 6?1000=6000 bit/s 2.3 掷一对无偏骰子，告诉你得到的总的点数为：(a) 7; (b) 12。问各得到多少 信息量。 解：(1) 可能的组合为 {1，6},{2，5},{3，4},{4，3},{5，2},{6，1} )(a p =366=6 1 得到的信息量 =) (1 log a p =6log =2.585 bit (2) 可能的唯一，为 {6，6} )(b p =361 得到的信息量=) (1 log b p =36log =5.17 bit 2.4 经过充分洗牌后的一副扑克（52张），问： (a) 任何一种特定的排列所给出的信息量是多少？ (b) 若从中抽取13张牌，所给出的点数都不相同时得到多少信息量？ 解：(a) )(a p =! 521 信息量=) (1 log a p =!52log =225.58 bit (b) ???????花色任选 种点数任意排列 13413!13 )(b p =13 52134!13A ?=1352 13 4C 信息量=1313 52 4log log -C =13.208 bit
2.9 随机掷3颗骰子，X 表示第一颗骰子的结果，Y 表示第一和第二颗骰子的 点数之和，Z 表示3颗骰子的点数之和，试求)|(Y Z H 、)|(Y X H 、 ),|(Y X Z H 、)|,(Y Z X H 、)|(X Z H 。 解：令第一第二第三颗骰子的结果分别为321,,x x x ，1x ，2x ，3x 相互独立， 则1x X =，21x x Y +=，321x x x Z ++= )|(Y Z H =)(3x H =log 6=2.585 bit )|(X Z H =)(32x x H +=)(Y H =2?( 361log 36+362log 18+363log 12+364log 9+365log 536)+36 6 log 6 =3.2744 bit )|(Y X H =)(X H -);(Y X I =)(X H -[)(Y H -)|(X Y H ] 而)|(X Y H =)(X H ，所以)|(Y X H = 2)(X H -)(Y H =1.8955 bit 或)|(Y X H =)(XY H -)(Y H =)(X H +)|(X Y H -)(Y H 而)|(X Y H =)(X H ，所以)|(Y X H =2)(X H -)(Y H =1.8955 bit ),|(Y X Z H =)|(Y Z H =)(X H =2.585 bit )|,(Y Z X H =)|(Y X H +)|(XY Z H =1.8955+2.585=4.4805 bit 2.10 设一个系统传送10个数字，0，1，…，9。奇数在传送过程中以0.5的概 率错成另外一个奇数，其余正确接收，求收到一个数字平均得到的信息量。 解： 信道 X Y 9,7,5,3,1=i 8,6,4,2,0=i √Χ );(Y X I =)(Y H -)|(X Y H 因为输入等概，由信道条件可知，
信息论 研究生练习题
第2章作业 1． 同时扔一对均匀的骰子，当得知“两骰子面朝上点数之和为2”或“面朝上点数之和为 8”或“两骰子面朝上点数是3和4”时，试问这三种情况分别获得多少信息量？ 2． 居住在某地区的女孩中有25%是大学生,在大学生中有75%是身高1.6以上的，而女孩中 身高1.6米以上的占总数一半。假如我们得知“身高1.6米以上的某女孩是大学生”的消息，问获得多少信息量？ 3． 设离散无记忆信源123401233/81/41/41/8X a a a a P ====????=???????? ，其发出的消息为（202 120 130 213 001 203 210 110 321 010 021 032 011 223 210）。 （1） 求每个符号的自信息量； （2） 求消息序列的自信息量及平均每个符号携带的信息量。 4． 有一信源输出X ∈{0,1,2}，其概率为p 0=1/4，p 1=1/4，p 2=1/2。设计两个独立实验去观察它，其结果为Y 1∈{0,1}和Y 2∈{0,1}。已知条件概率为 P(Y 1|X) 0 1 P(Y 2|X) 0 1 1 0 0 1 0 1 0 1 1 1 0 2 1/2 1/2 2 0 1 求： （1） I (X ;Y 1)和I (X ;Y 2)，并判断哪一个实验好些。 （2） I (X ;Y 1,Y 2)，并计算做Y 1和Y 2两个实验比做Y 1或Y 2中的一个实验各可多得多 少关于X 的信息。 （3） I (X ;Y 1/Y 2)和I (X ;Y 2/Y 1)，并解释它们的含义。 5． 为了传输一个由字母A 、B 、C 、D 组成的符号集，把每个字母编码成两个二元码脉冲序 列，以00代表A,01代表B,10代表C,11代表D 。每个二元码脉冲宽度为5ms 。 （1） 不同字母等概率出现时，计算传输的平均信息速率？ （2） 若每个字母出现的概率分别为p A =1/5，p B =1/4，p C =1/4，p D =3/10，试计算传输 的平均信息速率？ 6． （1）为了使电视图像获得良好的清晰度和规定的适当的对比度，需要用5×105个像素和 10个不同亮度电平，设每秒要传送30帧图像，所有像素是独立变化的，且所有亮度电平等概率出现，求传送此图像所需的信息率（bit/s ）。 （2）设某彩电系统，除了满足对于黑白电视系统的上述要求外，还必须有30个不同的色彩度，试证明传输这彩色系统的信息率要比黑白系统的信息率大约2.5倍。 7． 设有一个信源，它产生0、1序列的消息。它在任意时间而且不论以前发生过什么符号， 均按P(0)=0.4，P(1)=0.6概率发出符号。 （1）试问这个信源是否平稳的？ （2）试计算H (2 X )，H (X 3/ X 1 X 2)及∞→N lim H N (X )。 （3）试计算H (4X )并写出4X 信源中可能有的所有符号。 8． 给定语声样值X 的概率密度为1(),2 x X p x e x λλ?=?∞<<∞ 求H C (X )，并证明它小于同样方差的正态变量的微分熵。
信道编码误码影响
卷积码对误码率影响探究 一、实验要求及目的 在通信中，由于各种实际中存在的各种干扰，严重影响通信质量。在前面实现的QBSK信号的模拟信道的加噪传输的基础上加上信道编码技术，观察信道编码技术对误码率的改善。本实验中采取（2,1,7）卷积码对基带序列进行编码，观察软、硬判决方法对传输误码率的改善作用。 二、实验原理 在实验中加高斯白噪声来模拟实际通信中的复杂的外界干扰条件，根据不同的归一化信噪比值计算加到每个信号上的能量，得到模拟的经过信道的加噪信号。 卷积码译码方法有两大类：大数逻辑译码，又称门限译码（硬判决）；另一种是概率译码（软判决），概率译码又分为维特比译码和序列译码。硬判决是以分组码理论为基础的，其译码设备简单，速度快，但其误码性能要比概率译码差。 在硬判决译码中，我们将从模拟信道上得到的信号进行解调，得到信息比特流，在进行硬判决。取一个判决长度，在实际应用中，一般取其基本信码单元的六到八倍，因而，本实验中取6，则在译码前的比特流中以12位为一组，进行加比选运算，得到最佳路径，确定码序列。软判决主要是利用高斯白噪声的概率密度函数，对信道上下来的信号直接进行处理，进行判决。计算每个原信息比特对应现在新的信道比特对应的错误
该概率，然后计算器对数释然比，进行量化软判决。得到信息比特流，与原始信息比特进行比较并统计其错误码元数，从而得到误码率。 三、实验步骤及实验软件平台 本模拟实验程序在MATLAB2009A中运行良好，如果程序在传递过程中格式发生变化，改成M文件的格式即可运行。 下面对本程序设计思路流程进行介绍： （1）设计参数框，达到实验变量可调，试验参数包括基带码元个数、信噪比起始值、信噪比终止值、默认 的调制方式MPSK，M可以变化，但大于等于4且为 2的整数次幂。 （2）进行卷积码编码，主要运用库函数实现，卷积码为（2,1,7）卷积码，卷积码参数为[171,133]。 （3）调整基带码元序列，转化为PSKMOD函数所需的进制序列；由归一化信噪比的值计算加到每个调制后码 元上的噪声大小；进行QPSK调制，并在调制后的基 带序列上加噪。 （4）在这一步将分为两种方式进行解调，硬判决，按正常的解调方式解调QPSK信号，进行卷积码的硬判决， 得到传输得到的基带码元序列；软判决，计算QPSK 四个星座点对应的条件概率，计算Q值，利用库函 数进行卷积码的软判决，得到传输后的基带码元序
信息论与编码理论第二章习题答案
I (X ;Y=1)= P(x/Y 1)I(x;Y 1) x P(x/Y 1)log P(x/Y 1) P(x) = P(X 0/Y 1)log P(X 0/Y 1) P(X 0) P(X 1/Y 1)log P(X 1/Y 1) P(X 1) 部分答案，仅供参考。 信息速率是指平均每秒传输的信息量点和划出现的信息量分别为log3Jog3， 2’ 一秒钟点和划出现的次数平均为 1 15 2 1 ~4 0.20.4 - 3 3 一秒钟点和划分别出现的次数平均为巴5 4 4 那么根据两者出现的次数，可以计算一秒钟其信息量平均为10 log 3 5 竺 5 4 2 4 4 2 解： ⑻骰子A和B，掷出7点有以下6种可能： A=1,B=6; A=2,B=5; A=3,B=4; A=4,B=3; A=5,B=2; A=6,B=1 概率为6/36=1/6，所以信息量 -log(1/6)=1+log3 ~ bit (b)骰子A和B,掷出12点只有1种可能： A=6,B=6 概率为1/36，所以信息量 -log(1/36)=2+log9 ~ bit 解： 出现各点数的概率和信息量： 1 点：1/21 , log21 ?bit ; 2 点：2/21 , log21-1 ?bit ; 3 点：1/7 , log7 4 点：4/21 , log21-2 5 点：5/21 , log (21/5 )~; 6 点：2/ 7 , log(7/2)? 平均信息量： (1/21) X +(2/21) X +(1/7) X +(4/21) X +(5/21) X +(2/7) 解： X=1:考生被录取；X=0考生未被录取； Y=1：考生来自本市；Y=0考生来自外地； Z=1:考生学过英语；z=o：考生未学过英语 P(X=1)=1/4, P( X=q=3/4; P( Y=1/ X=1)=1/2 ；P( Y=1/ X=0)=1/10 ；P(Z=1/ Y=1 )=1, P( Z=1/ X=0, Y=0 )=, P( Z=1/ X=1, Y=0 )=, P(Z=1/Y=0)= (a)P(X=0,Y=1)=P(Y=1/X=0)P(X=0)=, P(X=1,Y=1)= P(Y=1/X=1)P(X=1)= P(Y=1)= P(X=0,Y=1)+ P(X=1,Y=1)= P(X=0/Y=1)=P(X=0,Y=1)/P(Y=1)=, P(X=1/Y=1)=P(X=1,Y=1)/P(Y=1)=
信息论第二次作业
3.5 AEP. Let ,,21X X be independent identically distributed random variables drawn according to the probability mass function {}m x x p ,2,1),(∈. Thus ∏==n i i n x p x x x p 1 21)(),,,( . We know that )(),,,(log 1 21X H X X X p n n →- in probability. Let ∏==n i i n x q x x x q 1 21)(),,,( , where q is another probability mass function on { }m ,2,1. (a) Evaluate ),,,(log 1 lim 21n X X X q n -, where ,,21X X are i.i.d. ~ )(x p . 8.1 Preprocessing the output. One is given a communication channel with transition probabilities )|(x y p and channel capacity );(max )(Y X I C x p =. A helpful statistician preprocesses the output by forming )(_ Y g Y =. He claims that this will strictly improve the capacity. (a) Show that he is wrong. (b) Under what condition does he not strictly decrease the capacity? 8.3 An addition noise channel. Find the channel capacity of the following discrete memoryless channel: Where {}{}2 1Pr 0Pr ====a Z Z . The alphabet for x is {}1,0=X . Assume that Z is independent of X . Observe that the channel capacity depends on the value of a .