信息论作业原题chapter2、3
第二、三章 习题
4.1 同时掷两个正常的骰子，也就是各面呈现的概率是
6
1，求：
（1）“3和5同时出现”这一事件的自信息量。 （2）“两个1同时出现”这一事件的自信息量。
（3）两个点数的各种组合（无序对）的熵或平均信息量。 （4）两个点数之和（即2，3…12构成的子集）的熵。 （5）两个点数中至少有一个是1的自信息。
4.2 消息符号集的概率分布和二进制代码如下表
（1）求消息的符号熵。
（2）每个消息符号所需要的平均二进制码的个数或平均代码长度。进而用这个结果求码序列中的一个二进制码的熵。
（3）当消息是由符号序列组成时，各符号之间若相互独立，求其对应的二进制码序列中出现0和1的无条件概率0p 和1p ，求相邻码间的条件概率10110100,,,P P P P 。
4.3 某一无记忆信源的符号集为{0，1}，已知0p =
14
，1p =
34
（1）求符号的平均信息熵。
（2）由100个符号构成的序列，求某一特定序列（例如有m 个“0”和（m -100）个“1”）的自信息量的表达式。
（3）计算（2）中的序列的熵
4.6 有两个离散随机变量X 和Y ，其和为Y X Z +=（一般加法），若X 和Y 相互独立， 求证：
（1）)()(Z H X H ≤
)()(Z H Y H ≤
（2）)()(Z H XY H ≥
4.7 对于任意的三个离散随机变量X ，Y ，Z ，
求证：
（1） (;)(;)(;)(;)(;)(;)I X Y Z I X Y I Y Z X I Y Z I Z X Y I Z X -=-=- （2） ()()()(;)I XYZ H XZ H Y X I Z Y X =+- （3） )()()()(X H ZX H XY H XYZ I -≤-
4.9 一个等概率的信源符号有八种字母，分别是10000x =
，20011x =
，30101x =
，
40110x = ，51001x = ，61010x = ，71100x = ，81111x =
，用实验测定上述码字中的
每个二进制符号，可得二元输出y ，已知条件概率为00P =11P =1-ε
10P =01P =ε。实验结果得y
=0000。求：
（1）第一位码测定后所得的关于1x
的自信息。
（2）第二，第三，第四位码测定后各得多少关于1x
的自信息。 （3）全部结果y =0000关于1x
的自信息。 （4）讨论0=ε和2
1=
ε时上述各自信息的情况。
4.12 两个n 元的随机变量X 和Y 。都取值于}{21n a a a A ?=定义(x )i i P a p ==，
(y |x )j i ji P a a P ===以及∑
∑≠=
i
j ji i i
e P p P ；
求证：()log(1)(,1)e e e H X Y P n H P P ≤-+-其中H 是熵函数
4.14 有一个一阶平稳马尔柯夫链??r X X X ,,21，各r X 取值于集},,{321a a a A =。已知起始概率)(r X P 为11=
p ，132=
=p p ，转移概率为
（1）求123X X X 的联合熵和平均符号熵。 （2）求这个链的极限平均符号熵。
（3）求012,,H H H 和它们所对应的冗长度。
4.17给定语声信号样值x 的概率密度为：1()02
x
x p x e
λλλ--∞<<+∞?=
?
>?
；
； 求：随机变量x 的相对熵并验证其在相同方差下小于高斯熵。
4.18 连续变量X 和Y 的联合概率密度为：
2
2
11(,)[(1)2]}2N p x y x xy y N
S
=
-
+
-+
求：()C H X ，()C H Y ，()C H Y X 和(;)I X Y 。
4.23 令)(x f 是定义在连续区间B 上取值于非负实数的连续函数，若连续随机变量X 的概率密度()0()p x x B =?，且()()B
f x p x dx A =?，并定义()
()sf x B
G s e
dx -=
?
（1）试证必存在一个0s ，使
A s G s G -=)
()(00'
（2）若有当x B ∈时，0()
0()()
s f x e
q x G s -=
；x B ?时，()q x =0
求证熵的上界式为00()log ()H X G s s A ≤+，当且仅当()q x 是X 的概率密度时成立。 （3）用上述一般结论，求下列各)(x f 下的熵上界公式
a) x x f log )(= )(1,B ∞= b) x x f =)( )(0,B ∞= c) ||)(x x f = ),(-B ∞∞=
概率统计练习题3答案
概率统计练习题3答案 《概率论与数理统计》练习题3答案考试时间：120分钟题目部分，一、选择题1、设A,B,C 为随机试验中的三个事件，则A?B?C等于()。A、A?B?C B、A?B?C C、A?B?C D、A?B?C 答案：B 2、同时抛掷3枚匀称的硬币，则恰好有两枚正面向上的概率为()。A、B、C、0125.D、答案：D 3、设?是一个连续型变量，其概率密度为?(x)，分布函数为F(x)，则对于任意x 值有()。A、P(??0)?0 B、F?(x)??(x)C、P(??x)??(x)D、P(??x)?F(x) 答案：A 4、设?,?相互独立，并服从区间[0，1]上的均匀分布则()。A、?????服从[0，2]上的均匀分布，B、?????服从[??1，1]上的均匀分布，C、??Max{?,?}服从[0，1]上的均匀分布，D、(?,?)服从区域?答案：D
5、随机变量?服从[?3, 3]上的均匀分布，则E(?)?()。A、3 B、2?0?x?1上的均匀分布0?y?1?9 C、9D、18 2答案：A 试卷答案第 1 页 6、D??4, D??1, ????，则D(3??2?)?()。A、40B、34C、D、答案：C 7、设?1,?2,???,?100服从同一分布，它们的数学期望和方差均是2，那么n??P?0???i?4n??()。i?1??A、12n?111B、C、D、2n22nn答案：B 8、设T~t(n),则T2~()。A、t(2n) 答案：D 9、设某种零件的寿命Y~N(?,?2)，其中?和?均未知。现随机抽取4只，测得寿命(单位小时)为1502,1453,1367,1650，则用矩法估计可求得2B、?2(n) C、F(n,1)D、F(1, n) ?2=___________。?=________ __,??答案：1493,14069 10、设对统计假设H0构造了一种显著性检验方法,则下列结论错误的是()。A、对
作业参考答案信息论
2.3 一副充分洗乱的牌（含52张），试问： （1）任一特定排列所给出的不确定性是多少？ （2）随机抽取13张牌，13张牌的点数互不相同时的不确定性是多少？ 解：（1）52张扑克牌可以按不同的顺序排列，所有可能的不同排列数就是全排列种数，为 526752528.06610P =!≈? 因为扑克牌充分洗乱，任一特定排列出现的概率相等，设事件A 为任一特定排列，则其发 生概率为 ()681 1.241052P A -=≈?! 可得，该排列发生所给出的信息量为 ()()22log log 52225.58I A P A =-=!≈ bit 67.91≈ dit （2）设事件B 为从中抽取13张牌，所给出的点数互不相同。 扑克牌52张中抽取13张，不考虑排列顺序，共有13 52C 种可能的组合。13张牌点数 互不相同意味着点数包括A ，2，…，K ，而每一种点数有4种不同的花色意味着每个点数可以取4中花色。所以13张牌中所有的点数都不相同的组合数为13 4。因为每种组合都是等概率发生的，所以 ()131341352441339 1.05681052P B C -?!! ==≈?! 则发生事件B 所得到的信息量为 ()()13 21352 4log log 13.208I B P B C =-=-≈ bit 3.976≈ dit 2.5 设在一只布袋中装有100只对人手的感觉完全相同的木球，每只上涂有1种颜色。100只球的颜色有下列三种情况： (1) 红色球和白色球各50只； (2) 红色球99只，白色球1只； (3) 红，黄，蓝，白色各25只。 求从布袋中随意取出一只球时，猜测其颜色所需要的信息量。 解：猜测木球颜色所需要的信息量等于木球颜色的不确定性。令 R ——“取到的是红球”，W ——“取到的是白球”， Y ——“取到的是黄球”，B ——“取到的是蓝球”。 （1）若布袋中有红色球和白色球各50只，即 ()()501 1002P R P W == = 则 ()()221 log log 212 I R I W ==-== bit （2）若布袋中红色球99只，白色球1只，即
香农编码--信息论大作业
香农编码--信息论大作业-标准化文件发布号：（9456-EUATWK-MWUB-WUNN-INNUL-DDQTY-KII
信息论与编码课程大作业 题目：香农编码 学生姓名： ****** 学号： &********** 专业班级： ******************* 2013 年 5 月 10 日
香农编码 1.香农编码的原理/步骤 香农第一定理指出了平均码长与信源之间的关系，同时也指出了可以通过编码使平均码长达到极限值，这是一个很重要的极限定理。如何构造这种码？香农第一定理指 出，选择每个码字的长度K i将满足式I(x i)≤K i＜I p(x i)+1就可以得到这种码。这种编码方法就是香农编码。 香农编码步骤如下: (1)将信源消息符按从大到小的顺序排列。 (2)计算p[i]累加概率； (3)确定满足自身要求的整数码长； (4)将累加概率变为二进制数； (5)取P[i]二进制数的小数点后Ki位即为该消息符号的二进制码字。 2. 用C语言实现 #include
人教版高中数学必修三第二章单元测试(二)及参考答案
2018-2019学年必修三第二章训练卷 统计(二) 注意事项： 1.答题前,先将自己的姓名、准考证号填写在试题卷和答题卡上,并将准考证号条形码粘贴在答题卡上的指定位置。 2.选择题的作答：每小题选出答案后,用2B 铅笔把答题卡上对应题目的答案标号涂黑,写在试题卷、草稿纸和答题卡上的非答题区域均无效。 3.非选择题的作答：用签字笔直接答在答题卡上对应的答题区域内。写在试题卷、草稿纸和答题卡上的非答题区域均无效。 4.考试结束后,请将本试题卷和答题卡一并上交。 一、选择题(本大题共12个小题,每小题5分,共60分,在每小题给出的四个选项中,只有一项是符合题目要求的) 1.已知x ,y 是两个变量,下列四个散点图中,x ,y 是负相关趋势的是( ) A. B. C. D. 2.一组数据中的每一个数据都乘以2,再减去80,得到一组新数据,若求得新的数据的平均数是1.2,方差是4.4,则原来数据的平均数和方差分别是( ) A.40.6,1.1 B.48.8,4.4 C.81.2,44.4 D.78.8,75.6 3.某篮球队甲、乙两名运动员练习罚球,每人练习10组,每组罚球40个.命中个数的茎叶图如右图,则下面结论中错误的一个是( ) A.甲的极差是29 B.乙的众数是21 C.甲罚球命中率比乙高 D .甲的中位数是24 4.某学院A ,B ,C 三个专业共有1200名学生,为了调查这些学生勤工俭学的情况,拟采用分层抽样的方法抽取一个容量为120的样本.已知该学院的A 专业有380名学生,B 专业有420名学生,则在该学院的C 专业应抽取的学生人数为( ) A.30 B.40 C.50 D.60 5.在一次歌手大奖赛上,七位评委为某歌手打出的分数如下：9.4、8.4、9.4、9.9、9.6、9.4、9.7,去掉一个最高分和一个最低分后,所剩数据的平均值和方差分别为( ) A.9.4,0.484 B.9.4,0.016 C.9.5,0.04 D.9.5,0.016 6.两个变量之间的相关关系是一种( ) A.确定性关系 B.线性关系 C.非确定性关系 D.非线性关系 7.如果在一次实验中,测得(x ,y )的四组数值分别是A (1,3),B (2,3.8),C (3,5.2),D (4,6),则y 与x 之间的回归直线方程是( ) A.y ＝x ＋1.9 B.y ＝1.04x ＋1.9 C.y ＝0.95x ＋1.04 D.y ＝1.05x －0.9 8.现要完成下列3项抽样调查： ①从10盒酸奶中抽取3盒进行食品卫生检查. ②科技报告厅有32排,每排有40个座位,有一次报告会恰好坐满了听众,报告会结束后,为了听取意见,需要请32名听众进行座谈. ③东方中学共有160名教职工,其中一般教师120名,行政人员16名,后勤人员24名.为了了解教职工对学校在校务公开方面的意见,拟抽取一个容量为20的样本. 较为合理的抽样方法是( ) A.①简单随机抽样,②系统抽样,③分层抽样 B.①简单随机抽样,②分层抽样,③系统抽样 C.①系统抽样,②简单随机抽样,③分层抽样 D.①分层抽样,②系统抽样,③简单随机抽样 9.从存放号码分别为1,2,…,10的卡片的盒子中,有放回地取100次,每次取一张卡片并记下号码,统计结果如下： 此卷只装 订 不 密 封 班级 姓名 准考证号 考场号 座位号
信息论与编码习题参考答案(全)
信息论与编码习题参考答案 第一章 单符号离散信源 同时掷一对均匀的子，试求： (1)“2和6同时出现”这一事件的自信息量； (2)“两个5同时出现”这一事件的自信息量； (3)两个点数的各种组合的熵； (4)两个点数之和的熵； (5)“两个点数中至少有一个是1”的自信息量。 解： bit P a I N n P bit P a I N n P c c N 17.536log log )(36 1 )2(17.418log log )(362)1(36 662221111 616==-=∴====-=∴== =?==样本空间： * (3)信源空间： bit x H 32.436log 36 16236log 36215)(=??+?? =∴
bit x H 71.3636 log 366536log 3610 436log 368336log 366236log 36436log 362)(=??+?+?+??= ∴＋＋ (5) bit P a I N n P 17.111 36 log log )(3611333==-=∴== ? 如有6行、8列的棋型方格，若有两个质点A 和B ，分别以等概落入任一方格内，且它们的坐标分别为（Xa ，Ya ）, （Xb ，Yb ）,但A ，B 不能同时落入同一方格内。 （1） 若仅有质点A ，求A 落入任一方格的平均信息量； （2） 若已知A 已落入，求B 落入的平均信息量； （3） 若A ，B 是可辨认的，求A ，B 落入的平均信息量。 解： ！ bit a P a P a a P a I a P A i 58.548log )(log )()(H 48log )(log )(481 )(:)1(48 1 i i i i i ==-=∴=-=∴= ∑=落入任一格的概率 bit b P b P b b P b I b P A i 55.547log )(log )()(H 47 log )(log )(47 1 )(:B ,)2(48 1i i i i i ==-=∴=-=∴=∑=落入任一格的概率是落入任一格的情况下在已知 bit AB P AB P AB H AB P AB I AB P AB i i i i i i i 14.11)4748log()(log )()() (log )(47 1 481)()3(47481 =?=-=-=∴?=∑?=是同时落入某两格的概率 从大量统计资料知道,男性中红绿色盲的发病率为7%,女性发病率为%.如果你问一位男士：“你是否是红绿色盲”他的回答可能是：“是”，也可能“不是”。问这两个回答中各含有多少信息量平均每个回答中各含有多少信息量如果你问一位女士，则她的答案中含有多少平均信息量 解：
信息论基础课程作业汇总
信息论基础课程作业汇总 2015/03/23 作业1 1. 查资料了解香农的研究生涯及其信息论的主要内容和应用。 作业2 1. 用微分或者积分中值定理证明基本对数不等式。 2. 用Jessen 不等式证明对数和不等式。 作业3 1. 在伪币称量问题中，若用天平比较两枚金币的重量，则三种结果的信息量分别是多少？ 2. 在掷色子游戏中，当得知两个色子的点数之和为3时获得多少比特的信息？ 3. 已知平均100人中有2人患有某种疾病，为了查明病情，必须进行某项指标的化验。这 种化验的结果对于有病的人总是阳性的，对于健康的人来说有一半可能为阳性、一半可能为阴性。若x 表示有这种病，y 表示化验结果为阳性，试计算I (x |y )与I (x ;y )并说明其含义。 4. 试证明()()() ;|I x y I x I x y =- 作业4 1. 中科大杨孝先版教材第52页，习题 2.3。 2. 设一条电线上串联了8个灯泡，如图所示。假设其中有且只有一个灯泡坏了，并且各灯 泡的损坏概率相同，用万用电表通过测量断路找出坏灯泡。 （1）平均需要获得多少信息，才能找出其中的坏灯泡。 （2）一次测量所获得的信息的最大期望值是多少？ （3）试设计一个最佳测量方案，即测量次数的期望值最小的测量方案。 3. 伪币称量问题：今有12枚金币，其中1枚是伪币，其重量不同于真币。 （1） 要找出这枚伪币需获得多少信息？ （2） 确定伪币比真币重还是轻需多少信息？ （3） 用一台无砝码的天平称量一次，平均最多可获得多少信息？
（4） 试设计一个称量方案，用3次称量找出伪币。 4. 程序设计1：输入有限概率分布，输出该分布的熵。 作业5 1. 设一个信源有6种信号，先后输出的信号是独立同分布的，其概率分布为 (1/2, 1/4, 1/8, 1/16, 1/32, 1/32) （1）该信源输出1个符号所提供的平均信息量。 （2）该信源输出100个符号所提供的平均信息量。 2. 在一段时间内，某城市交通的忙闲天数按天气阴晴和气温冷暖进行分类统计如下： （1） 计算交通忙闲状态的无条件熵。 （2） 计算天气和气温状态下的条件熵。 （3） 计算从天气和气温状态所获得的关于交通状态的信息。 3. 世界职业棒球锦标赛为7场赛制，只要其中一队赢得4场，比赛就结束。设随机变量X 代表在比赛中A 队和B 队较量的可能结果（X 的可能取值如AAAA ，BABABAB 和BBBAAAA ，其中A,B 分别表示A 队和B 对获胜）。设Y 代表比赛的场数，取值范围为4到7。假设A 队和B 队是同等水平的，且每场比赛相互独立。试计算H(X)，H(Y), H(Y|X)和H(X|Y)。 作业6 1. 设二元对称信道的误码率为1%，当输入符号的概率分布为均匀分布时，计算该信道的 损失熵和信息传输率，并说明其意义。 作业7 1. 证明平均符号熵序列是单调递减的，即对于任何n ， 1212+1()() +1n n H X X X H X X X n n 晴 阴 暖 8天 忙 冷 27天 暖 16天 晴 阴 暖 15天 闲 冷 4天 暖 12天 冷 12天 冷 8天
必修三数学第二章统计
必修三 第二章统计 考试时间：1２0分钟；满分１５０分 第I 卷（选择题） 一、选择题（每题５分，总分６０分） 为：96, 112, 97, 108, 99, 104, 86, 98，则他们的中位数是( ) A ．100 B ．99 C ．98.5 D ．98 2．用样本频率分布估计总体频率分布的过程中，下列说法准确的是（ ） A ．总体容量越大，估计越精确 B ．总体容量越小，估计越精确 C ．样本容量越大，估计越精确 D ．样本容量越小，估计越精确 3．已知某赛季甲、乙两名篮球运动员每场比赛得分的茎叶图(如图所示)，则 ( ) A 、甲篮球运动员比赛得分更稳定，中位数为26 B 、甲篮球运动员比赛得分更稳定，中位数为27 C 、乙篮球运动员比赛得分更稳定，中位数为31 D 、乙篮球运动员比赛得分更稳定，中位数为36 4．甲校有3600名学生，乙校有5400名学生，丙校有1800名学生，为统计三校学生某方面的情况，计划采用分层抽样法，抽取一个样本容量为90人的样本，应在这三校分别抽取学生（ ） A.30人, 30人，30人 B.30人，45人，15人 C.20人，30人，10人 D.30人，50人，10人 5 第三组的频数和频率分别是 ( ) A ．14和0.14 B ．0.14和14 C ． 141和0.14 D ． 31和141 6．完成下列两项调查：①从某社区125户高收入家庭、280户中等收入家庭、95户低收入家庭中选出100户，调查社会购买水平的某项指标；②从某中学的15名艺术特长 生中选出3名调查学习负担情况，宜采用的抽样方法依次是（ ） A ．①简单随机抽样，②系统抽样 B ．①分层抽样，②简单随机抽样 C ．①系统抽样，②分层抽样 D ．①②都用分层抽样 7．已知随机变量,x y 的值如下表所示，如果x 与y 线性相关且回归直线方程为 7 ?2 y bx =+，则实数b =（ ） 6 7
信息论与编码第一章答案
第一章信息论与基础 1.1信息与消息的概念有何区别？ 信息存在于任何事物之中,有物质的地方就有信息，信息本身是看不见、摸不着的，它必须依附于一定的物质形式。一切物质都有可能成为信息的载体，信息充满着整个物质世界。信息是物质和能量在空间和时间中分布的不均匀程度。信息是表征事物的状态和运动形式。 在通信系统中其传输的形式是消息。但消息传递过程的一个最基本、最普遍却又十分引人注意的特点是：收信者在收到消息以前是不知道具体内容的；在收到消息之前，收信者无法判断发送者将发来描述何种事物运动状态的具体消息；再者，即使收到消息，由于信道干扰的存在，也不能断定得到的消息是否正确和可靠。 在通信系统中形式上传输的是消息,但实质上传输的是信息。消息只是表达信息的工具，载荷信息的载体。显然在通信中被利用的（亦即携带信息的）实际客体是不重要的，而重要的是信息。 信息载荷在消息之中，同一信息可以由不同形式的消息来载荷；同一个消息可能包含非常丰富的信息，也可能只包含很少的信息。可见，信息与消息既有区别又有联系的。 1.2 简述信息传输系统五个组成部分的作用。 信源：产生消息和消息序列的源。消息是随机发生的，也就是说在未收到这些消息之前不可能确切地知道它们的内容。信源研究主要内容是消息的统计特性和信源产生信息的速率。 信宿：信息传送过程中的接受者，亦即接受消息的人和物。 编码器：将信源发出的消息变换成适于信道传送的信号的设备。它包含下述三个部分：(1)信源编码器：在一定的准则下，信源编码器对信源输出的消息进行适当的变换和处理，其目的在于提高信息传输的效率。(2)纠错编码器：纠错编码器是对信源编码器的输出进行变换，用以提高对于信道干扰的抗击能力，也就是说提高信息传输的可靠性。(3)调制器：调制器是将纠错编码器的输出变换适合于信道传输要求的信号形式。纠错编码器和调制器的组合又称为信道编码器。 信道：把载荷消息的信号从发射端传到接受端的媒质或通道，包括收发设备在内的物理设施。信道除了传送信号外，还存储信号的作用。 译码器：编码的逆变换。它要从受干扰的信号中最大限度地提取出有关信源输出消息的信息，并尽可能地复现信源的输出。 1.3 同时掷一对骰子，要得知面朝上点数之和，描述这一信源的数学 模型。 解：设该信源符号集合为X
概率统计第二章答案
概率论与数理统计作业 班级 姓名 学号 任课教师 第二章 随机变量及其分布 教学要求： 一、理解随机变量的概念；理解离散型随机变量及其分布律的定义，理解分布律的性质；掌 握(0-1)分布、二项分布、Poisson 分布的概念、性质；会计算随机变量的分布律. 二、理解分布函数的概念及其性质；理解连续型随机变量的定义、概率密度函数的基本性质， 并熟练掌握有关的计算；会由分布律计算分布函数,会由分布函数计算密度函数,由密度函数计算分布函数. 三、掌握均匀分布、正态分布和指数分布的概念、性质. 一、掌握一维随机变量函数的分布． 重点:二项分布、正态分布，随机变量的概率分布． 难点:正态分布，随机变量函数的分布． 练习一 随机变量、离散型随机变量及其分布律 1．填空、选择 (1)抛一枚质地均匀的硬币，设随机变量?? ?=，，出现正面 ，，出现反面H T X 10 则随机变量X 在区间 ]22 1 ，（上取值的概率为21. (2)一射击运动员对同一目标独立地进行4次射击,以X 表示命中的次数,如果 {}81 80 1= ≥X P ,则{}==1X P 8. (3)设离散型随机变量X 的概率分布为{},,2,1, ===i cp i X P i 其中0>c 是常数， 则（ B ） （A ）11-=c p ； （B ）1 1 +=c p ； （C ）1+=c p ； （D ）0>p 为任意常数 2．一袋中装有5只球，编号为1,2,3,4,5.在袋中同时取出3只球,以X 表示取出的3只球中的最大号码,写出随机变量X 的分布律. 解：从1～5中随机取3个共有103 5=C 种取法. 以X 表示3个中的最大值.X 的所有可能取值为;5,4,3 {}3=X 表示取出的3个数以3为最大值,其余两个数是1,2,仅有这一种情况,则
信息论与编码大作业
广西科技大学 大作业 课程名称：信息论与编码 题目：信道编码对通信系统性能的影响学院：电气与信息工程学院 专业：电子信息工程 班级： 学号： 成绩： 姓名： 电话号码：
信道编码对通信系统性能的影响 [摘要] 简述信道编码理论，详细说明分组码的编译原理、实现方法及检错纠错能力，用MATLAB仿真有无信道编码条件下对通信系统性能的影响及信道编码在不同信道下对通信系统性能的影响，如AWGN信道和深衰落信道。 [关键词] 信道编码、分组码、MATLAB仿真、性能 一、引言 提高信息传输的有效性和可靠性始终是通信技术所追求的目标，而信道编码能够显著的提升信息传输的可靠性。1948年,信息论的奠基人C.E.Shannon在他的开创性论文“通信的数学理论”中,提出了著名的有噪信道编码定理.他指出：对任何信道,只要信息传输速率R不大于信道容量C, 就一定存在这样的编码方法：在采用最大似然译码时,其误码率可以任意小.该定理在理论上给出了对给定信道通过编码所能达到的编码增益的上限,并指出了为达到理论极限应采用的译码方法.在信道编码定理中,香农提出了实现最佳编码的三个基本条件：(1 )采用随机编译码方式；(2 )编码长度Ｌ→∞ , 即分组的码组长度无限；(3)译码采用最佳的最大似然译码算法。 二、信道编码理论 1、信道编码的概念与目的 进行信道编码是为了提高信号传输的可靠性，改善通信系统的传输质量，研究信道编码的目标是寻找具体构造编码的理论与方法。从原理上，构造信道码的基本思路是根据一定的规律在待发送的信息码元中人为的加入一定的多余码元，以引入最小的多余度为代价来换取最好的抗干扰性能。信道编码是通过信道编码器和译码器实现的用于提高信道可靠性的理论和方法，是信息论的内容之一。信道编码大致分为两类：①信道编码定理，从理论上解决理想编码器、译码器的存在性问题，也就是解决信道能传送的最大信息率的可能性和超过这个最大值时的传输问题。②构造性的编码方法以及这些方法能达到的性能界限。编码定理的证明，从离散信道发展到连续信道，从无记忆信道到有记忆信道，从单用户信道到多用户信道，从证明差错概率可接近于零到以指数规律逼近于零，正在不断完善。编码方法，在离散信道中一般用代数码形式，其类型有较大发展，各种界限也不断有人提出，但尚未达到编码定理所启示的限度。在连续信道中常采用正交函数系来代表消息，这在极限情况下可达到编码定理的限度，不是所有信道的编码定理都已被证明。 2、信道编码的分类
信息论大作业
信息论大作业 电子工程学院 班 号 1.Huffman编码 1． Huffman 编码原理： ①将信源符号按概率从大到小的顺序排列，令p(x1)≥ p(x2)≥…≥ p(xn) ②给两个概率最小的信源符号p(xn-1)和p(xn)各分配一个码位“0”和“1”，将这两个信源符号合并成一个新符号，并用这两个最小的概率之和作为新符号的概率，结果得到一个只包含(n－1)个信源符号的新信源。称为信源的第一次缩减信源，用S1表示。
③将缩减信源S1的符号仍按概率从大到小顺序排列，重复步骤2，得到只含(n －2)个符号的缩减信源S2。 ④重复上述步骤，直至缩减信源只剩两个符号为止，此时所剩两个符号的概率之和必为1。然后从最后一级缩减信源开始，依编码路径向前返回，就得到各信源符号所对应的码字。 2. 霍夫曼编码优缺点： 1)编出来的码都是异字头码，保证了码的唯一可译性。 2) 由于编码长度可变。因此译码时间较长，使得霍夫曼编码的压缩与还原相当费时。 3) 编码长度不统一，硬件实现有难度。 4) 对不同信号源的编码效率不同，当信号源的符号概率为2的负幂次方时，达到100％的编码效率；若信号源符号的概率相等，则编码效率最低。 5) 由于0与1的指定是任意的，故由上述过程编出的最佳码不是唯一的，但其平均码长是一样的，故不影响编码效率与数据压缩性能。 3.编码流程： 读入一幅图像的灰度值; 1.将矩阵的不同数统计在数组c的第一列中; 2.将相同的数占站整个数组总数的比例统计在数组p中; 3.找到最小的概率,相加直到等于1,把最小概率的序号存在tree第一列中,次 小放在第二列,和放在p像素比例之后; 4.C数组第一维表示值,第二维表示代码数值大小,第三维表示代码的位数； 5.把概率小的值为1标识，概率大的值为0标识； 6.计算信源的熵； 7.计算平均码长； 8.计算编码效率'； 9.计算冗余度。 源程序： p=input('请输入数据:'); n=length(p); for i=1:n if p(i)<0 fprintf('\n 提示：概率值不能小于0!\n');
概率统计2.第3章作业题
第三章作业题 一. 填空： 1、已知二维随机变量),(Y X 的联合分布函数为),(y x F ，试用),(y x F 表示概率 =>>),(b Y a X P . 2．已知),(Y X 的联合分布函数为),(y x F ，且d c b a <<,，则=≤<≤<),(d Y c b X a P 3. 已知随机变量),(Y X 的联合分布密度函数如下, 则常数=K =),(y x f ? ??≤≤≤≤-其它。,0;0,10),1(x y x x y K 二、选择 1、设随机变量X 和Y 相互独立, 且都服从)1,0(区间上的均匀分布, 则仍服从 均匀分布的随机变量是 )(A Y X Z += )(B Y X Z -= )(C ),(Y X )(D ),(2Y X 2、设二维随机变量(X,Y)取下列数组(-1,0)，(-1,1)，(0,0)，(1,0)的概率依次为3/(4c)， 1/(2c)，3/(4c)，1/c ，其余数组概率为0，则c 的取值为( ) A . 1 B . 2 C . 3 D . 4 三、综合 1．已知随机变量X ，Y 的联合概率分布如下表 （1）写出X 与Y 的边缘概率分布. （2）Y X ,是否相互独立？为什么？ (3) 写出XY , Y X -的分布
（4） 求1X =的条件下Y 的条件分布 2. 已知随机变量X ，Y 的联合概率密度函数为 ???>>=+-其它,00,0,6),() 32(y x e y x f y x （1）求X 与Y 的边缘密度)(x f X 及)(y f Y （2）判断X 与Y 是否相互独立，为什么？ （3）求概率(1)P X Y +≤,(1,2)P X Y ≤≤ 3．设二维随机变量（X,Y ）在区域 }||,10|),({x y x y x G ≤≤≤= 上服从 均匀分布。求：边缘密度函数(),()X Y f x f y . 4．设随机变量X 与Y 相互独立，X ，Y 分别服从参数为)(,μλμλ≠的指数 分布，试求Y X Z 23+=的密度函数)(z f Z . 5．设二维随机向量),(Y X 的联合密度函数为 2,01,(,)0, C x x y x f x y ?<<<<=??其他， 试求：（1）常数C ； （2）边际密度函数(),()X Y f x f y ，并讨论X 和Y 的独立性； （3）)2(X Y P < 。
信息论与编码课程大作业信道容量的迭代算法
信息论与编码课程大作业 题目：信道容量的迭代算法 学生姓名： 学号：2010020200 专业班级：10电子信息工程 2013 年5 月18 日
信道容量的迭代算法 1信道容量的迭代算法的步骤 一、用了matlab 实现DMC 容量迭代的算法如下： 第一步：首先要初始化信源分布：.0deta 10,1,0,1 ) (>>=?==，选置，，k r i r P k i 即选取一个精度，本次中我选deta=0.000001。 第二步：}{,) ()()() (k ij i ji k i ji k i k ij t p p p p t 得到反向转移概率矩阵根据式子∑= 。 第三步： ()()()()(){} 111] log exp[] log exp[+++== ∑∑∑k i k i j ij k ji j ij k ji k i p P t p t p p 计算由式。 第四步： () ()() ()()()。 C t p t P I C k r i s j k ij ji k k k 10011log exp log ,+==++????? ???????????==∑∑计算由式 第五步： 若 a C C C k k k det ) 1() ()1(>-++，则执行k=k+1，然后转第二步。直至转移条件不成立，接着 执行下面的程序。 第六步：输出迭代次数k 和()1+k C 和1+k P ，程序终止。 2. Matlab 实现 clear; r=input('输入信源个数：'); s=input('输入信宿个数：'); deta=input('输入信道容量的精度： '); Q=rand(r,s); %形成r 行s 列随机矩阵Q
高中数学必修三第二章统计综合训练(含答案)
高中数学必修三统计综合训练 一、单选题 1.某县教育局为了解本县今年参加一次大联考的学生的成绩，从5000名参加今年大联考的学生中抽取了250名学生的成绩进行统计，在这个问题中，下列表述正确的是（） A. 5000名学生是总体 B. 250名学生是总体的一个样本 C. 样本容量是250 D. 每一名学生是个体 2.某连队身高符合建国60周年国庆阅兵标准的士兵共有45人，其中18岁-19岁的士兵有15人，20岁-22岁的士兵有20人，23岁以上的士兵有10人，若该连队有9个参加阅后的名额，如果按年龄分层选派士兵，那么，该连队年龄在23岁以上的士兵参加阅兵的人数为（） A. 5 B. 4 C. 3 D. 2 3.下列结论正确的是（） ①函数关系是一种确定性关系；②相关关系是一种非确定性关系；③回归分析是对具有函数关系的两个变量进行统计分析的一种方法；④回归分析是对具有相关关系的两个变量进行统计分析的一种常用方法． A. ①② B. ①②③ C. ①②④ D. ①②③④ 4.在频率分布直方图中，小长方形的面积是（） A. 频率/样本容量 B. 组距×频率 C. 频率 D. 样本数据 5.在如图所示的“茎叶图”表示的数据中，众数和中位数分别是（） A. 23与26 B. 31与26 C. 24与30 D. 26与30 6.将参加夏令营的600名学生编号为：001，002，…,600. 采用系统抽样方法抽取一个容量为50的样本，且随机抽得的号码为003．这600名学生分住在三个营区，从001到300在第Ⅰ营区，从301到495住在第Ⅱ营区，从496到600在第Ⅲ营区，三个营区被抽中的人数依次为( ) A. 26, 16, 8, B. 25，17，8 C. 25，16，9 D. 24，17，9 7.某学校为了调查高三年级的200名文科学生完成课后作业所需时间，采取了两种抽样调查的方式：第一种由学生会的同学随机抽取20名同学进行调查；第二种由教务处对该年级的文科学生进行编号，从001到200，抽取学号最后一位为2的同学进行调查，则这两种抽样的方法依次为（） A. 分层抽样，简单随机抽样 B. 简单随机抽样，分层抽样 C. 分层抽样，系统抽样 D. 简单随机抽样，系统抽样 8.一批灯泡400只，其中20 W、40 W、60 W的数目之比为4∶3∶1，现用分层抽样的方法产生一个容量为40的样本，三种灯泡依次抽取的个数为（） A. 20 ,10 , 10 B. 15 , 20 , 5 C. 20, 5, 15 D. 20, 15, 5 9.（2014?湖南）对一个容量为N的总体抽取容量为n的样本，当选取简单随机抽样、系统抽样和分层抽
信息论习题集
信息论习题集 第一章、判断题 1、信息论主要研究目的是找到信息传输过程的共同规律，提高信息传输的可靠性、有效性、保密性和认证性，以达到信息传输系统的最优化。（√） 2、同一信息，可以采用不同的信号形式来载荷；同一信号形式可以表达不同形式的信息。（√） 3、通信中的可靠性是指使信源发出的消息准确不失真地在信道中传输；（√） 4、有效性是指用尽量短的时间和尽量少的设备来传送一定量的信息。（√） 5、保密性是指隐蔽和保护通信系统中传送的消息，使它只能被授权接收者获取，而不能被未授权者接收和理解。（√） 6、认证性是指接收者能正确判断所接收的消息的正确性，验证消息的完整性，而不是伪造的和被窜改的。（√） 7、在香农信息的定义中，信息的大小与事件发生的概率成正比，概率越大事件所包含的信息量越大。（×） 第二章 { 一、判断题 1、通信中获得的信息量等于通信过程中不确定性的消除或者减少量。（√） 2、离散信道的信道容量与信源的概率分布有关，与信道的统计特性也有关。（×） 3、连续信道的信道容量与信道带宽成正比，带宽越宽，信道容量越大。（×） 4、信源熵是信号符号集合中，所有符号的自信息的算术平均值。（×） 5、信源熵具有极值性，是信源概率分布P的下凸函数，当信源概率分布为等概率分布时取得最大值。（×） 6、离散无记忆信源的N次扩展信源，其熵值为扩展前信源熵值的N倍。（√） 7、互信息的统计平均为平均互信息量，都具有非负性。（×） 8、信源剩余度越大，通信效率越高，抗干扰能力越强。（×） 9、信道剩余度越大，信道利用率越低，信道的信息传输速率越低。（×） | 10、信道输入与输出之间的平均互信息是输入概率分布的下凸函数。（×） 11、在信息处理过程中，熵是不会增加的。（√） 12、熵函数是严格上凸的。（√） 13、信道疑义度永远是非负的。（√） 14、对于离散平稳信源，其极限熵等于最小平均符号熵。（√） 2-1 同时掷两个正常的骰子，也就是各面呈现的概率都是l/6，求： (1) “3和5同时出现”事件的自信息量； (2)“两个1同时出现”事件的自信息量； (3)两个点数的各种组合（无序对）的熵或平均信息量； (4) 两个点数之和(即2，3，…，12构成的子集）的熵； ~ (5)两个点数中至少有一个是1的自信息。 2-2 居住某地区的女孩中有25％是大学生，在女大学生中有75％身高为以 上，而女孩中身高以上的占总数一半。假如得知“身高以上的某女孩是大学 生”的消息，问获得多少信息量、
必修3第二章统计初步测试题2
必修3第二章统计初步测试题（二） 一．选择题： 1．下列说法正确的是（ ） （A ）“总体中的个体取不同的值很少”是指“总体中的个体很少” （B ）频率分布直方图下的横坐标是一个数，这个数是离散型的随机变量 （C ）频率分布直方图的高表示该组上的个体在样本中出现的频率 （D ）频率分布表中列出的是所取样本在各个不同区间内取值的频率 2．已知样本：12，7，11，12，11，12，10，10，9，8，13，12，10，9，6，11，8，9，8，10，那么频率为0.25的范围是（ ） （A ）[5,5，7.5] （B ）[7.5，9.5] （C ）[9.5，11.5] （D ）[11.5，13.5] 3．某人从湖中打了一网鱼共m 条，作上记号再放回湖中，数日后又打了一网鱼共n 条，其中k 条有记号，湖中共有鱼估计为（ ） （A ） m k （B ）n m k ? （C ）n m k k ?? （D ）无法估计 4．为了考察某地高中毕业生的英语会考成绩，从中抽了300名考生的成绩，这300名考生的英语成 绩是（ ） （A ）总体 （B ）个体 （C ）样本容量 （D ）一个样本 5．设有一个样本x 1，x 2，……，x n ，其标准差为s x ，另有一个样本y 1，y 2，……，y n ，且y k =3x k +5(k =1，2，……，n )，其标准差为S y ，则（ ） （A ）S y =3s x +5 （B ）s y =3s x （C ）y x s = （D ）5y x s + 6．从总体中抽样本3，7，4，6，5，则样本的平均数为（ ） （A ）7 （B ）6 （C ）5 （D ）4 7．某市政府在人代会上，要从农业、工业和教育系统的代表对政府工作报告的意见中抽样，为了更具代表性，抽样应采用（ ） （A ）抽签法 （B ）随机数表法 （C ）系统抽样法 （D ）分层抽样法 8．在用样本频率估计总体分布的过程中，下列说法正确的是（ ） （A ）总体容量越大，估计越精确 （B ）总体容量越小，估计越精确 （C ）样本容量越大，估计越精确 （D ）样本容量越小，估计越精确 9．研究统计问题的基本思想是（ ） （A ）随机抽样 （B ）使用先进的科学计算器计算样本的方差等 （C ）用总体中的小概率事件理论控制生产 （D ）用样本估计总体 10．线性回归直线方程为?y bx a =+表示的直线必过点（ ） （A ）(0，0) （B ）(x ，0) （C ）(0，y ) （D ）(x ，y ) 11．下列说法中不正确的是（ ） （A ）从总体中抽一个样本，用样本频率分布估计总体分布，一般地，样本容量越大，这种估计越精确 （B ）频率分布直方图中，小长方形的面积等于相应各组的频数 （C ）总体密度曲线反映了总体分布，即反映了总体在整个范围内取值的频率 （D ）频率分布直方图反映了样本的频率分布，总体密度曲线反映了总体的概率分别 12．一个容量为20的样本，已知某组的频率为0.25，则该组的频数为（ ） （A ）2 （B ）5 （C ）10 （D ）20 二．填空题： 13．从总体中抽取样本的常用方法有 ； ； 。 14．已知回归直线方程为?0.500.81y x =-，则x =25时，y 的估计值为 。
信息论第二次作业
3.5 AEP. Let ,,21X X be independent identically distributed random variables drawn according to the probability mass function {}m x x p ,2,1),(∈. Thus ∏==n i i n x p x x x p 1 21)(),,,( . We know that )(),,,(log 1 21X H X X X p n n →- in probability. Let ∏==n i i n x q x x x q 1 21)(),,,( , where q is another probability mass function on { }m ,2,1. (a) Evaluate ),,,(log 1 lim 21n X X X q n -, where ,,21X X are i.i.d. ~ )(x p . 8.1 Preprocessing the output. One is given a communication channel with transition probabilities )|(x y p and channel capacity );(max )(Y X I C x p =. A helpful statistician preprocesses the output by forming )(_ Y g Y =. He claims that this will strictly improve the capacity. (a) Show that he is wrong. (b) Under what condition does he not strictly decrease the capacity? 8.3 An addition noise channel. Find the channel capacity of the following discrete memoryless channel: Where {}{}2 1Pr 0Pr ====a Z Z . The alphabet for x is {}1,0=X . Assume that Z is independent of X . Observe that the channel capacity depends on the value of a .
概率统计章节练习题(1-3章)
第一章练习题 1. 选择题 (1) 掷两颗均匀的骰子，事件“点数之和为3”的概率是（ ） （A ） 36 1； （B ）181； （C ） 121； （D ） 61 (2) 设,A B ? 则下列正确的为（ ） )(1)()(A P AB P A -= )()()()(A P B P A B P B -=- )()()(B P A B P C = )()()(A P B A P D = (3) 设事件A 与B 互斥，且1)(0<A P ，则下列结论正确的是（ ） )()()()()(B P A P A P A B P A -≥ )()()()()(B P A P A P A B P B +≥ )()()()()(B P A P A P A B P C -≥+ )()()()()(B P A P A P A B P D +≥ 2. 填空题 (1) 若P A P AB ().,().==0403，则P A B ()+= 。 (2) 某射手在三次射击中至少命中一次的概率为0.875，则这射手在一次射击中命中的 概率为 。 (3) 设B A ,为两相互独立的事件，4.0)(,6.0)(==A P B A P ，则=)(B P 。 (4) 已知7.0)(=A P ，3.0)(=-B A P ，则=)(AB P 。 (5) 将数字5,4,3,2,1写在5张卡片，任意取出三张排列成三位数，这个数是奇数的概率 =)(A P 。 (6) 假设一批产品中一、二、三等品各占60%，30%，10%，从中随意取出一件，结果不 是三等品，则取到的是一等品的概率为 。 (7) 设A 、B 、C 表示三个随机事件，试用A 、B 、C 表示下列事件：①三个事件都发 生________________；②A 、B 发生，C 不发生_____________；③三个事件中至