信息论试题new
EEE315 Information Theory and Coding
Assignment 1
Date Performed: 2011.11.4 Date Submitted: 2011.11.5
Introduction
Information theory answers two fundamental questions in communication theory: what is the ultimate data compression and what is the ultimate transmission rate of commu-nication. These two aspects can be also regard as the entropy H and the channel capacity C. In the early 1940s, Shannon raised that random processes have an irreduci-ble complexity below which the signal cannot be compress and this he named entropy. He also argued that if the entropy of the source is less than the capacity of the channel, then asymptotically error free communication can be achieved.
Shannon's information content
Shannon’s information content short for SIC also named as self-information. In infor-mation theory, it is a measure of the information content contains in a single event. By definition, the amount of SIC contained in a probabilistic event depends only on the probability of that event, and SIC has an inverse relationship with probability. The natural measure of the uncertainty of an event X is the probability of X denote by px. By definition, the information content in an event as
Info{X} = - logpx
The measure of information has some intuitive properties such as:
https://www.wendangku.net/doc/739803706.html,rmation contained in the events ought to be defined in terms of some
measure of uncertainty of the event.
2.Less certain events ought to contain more information than more certain events.
3.The information of unrelated events taken as a single event should equal the
sum of the information of the unrelated events.
The unit of SIC is “bits” if base 2 is used for the logarithm, and “nats” if the natural logarithm is used.
Entropy
The entropy quantifies the expected value of the information contained in a message. The entropy can be viewed as:
1. A measure of the minimum cost needed to send some form of information.
2.“The amount of surprise factor” of the information measured in bits.
3.Or how much energy it is worth spending to carry the information which
translates to the minimum number of bits needed to code the information.
The entropy is defined as
HX=-x∈Xpxlogpx
It can be viewed from a number of perspectives:
1.The average SIC of X
2.The amount of information gained if its values are known.
3.The average number of binary question needed to find out its value is in
[H(X),H(X)+1]
Entropy is quantified in terms of Nats or Bits.
If the source is continuous, the entropy can be written as
HX=-x pxlogpxdx
Mutual Information
Mutual information of two random variables is a quantity that measures the mutual dependence of the two random variables. It is reduction in the uncertainty of one random variable due to the knowledge of the other. The most common unit of measure-ment of mutual information is the bit, when logarithms to the base 2 are used. Consider two RVs X,Y. The mutual information I(X,Y) is the relative entropy between the joint distribution P(X,Y) and the product distribution P(X)P(Y).
IX;Y=x∈Ax∈Bpx,ylogpx,ypx)p(y
The case of continuous random variables, the mutual information is
IX;Y=X Y px,ylogpx,ypx)p(ydydx
where p(x) and(y) are the marginal probability distribution functions of X and Y respectively.
Mutual information can be equivalent expressed as
IX;Y=HX-HXY
= HY-HYX
=HX,Y- HYX-HXY
=HX- H(Y)-H(X,Y)
The relationship between Mutual Information and Various Entropies shows as Fig.1
Fig.1
Individual H(X), H(Y), joint H(X,Y) and conditional entropies for a pair of correlated subsystems X,Y with mutual information I(X;Y).
Question 1
The code of the first question shows as follows:
The running result shows as follows:
Question 2
By definition of the channel capacity, the information channel capacity of a discrete memoryless channel as
C=maxIX;Y
where the maximum is taken over all possible input distributions p(x).
The mutual information between X and Y is
IX;Y=x∈Ax∈Bpx,ylogpx,ypx)p(y=x∈Bpxx∈Bpx|ylog2px,ypx)p(y
=x,ypyxpxlogpyxpy
=py=0x=0px=0logpy=0x=0py=0+py=1x=0px=0logpy=1x=0py=1+py=0x=1p y=1logp(y=0|x=1)p(y=0)+py=1x=1px=1logp(y=1|x=1)p(y=1)
The fig.2 illustrates that
py=0x=0=py=1x=1=1-p
py=1x=0=py=0x=1=p
The equations reveal that when p=0.5, the uniform distributed input alphabet can get the maximum mutual information. Therefore, the capacity of the BSC is
C=1-Hp bit & Hp?-plogp-1-plog1-p
Therefore the C is
C=1+plogp+1-plog1-p bit
Fig.2
The Matlab code for this question is
The result is
Fig.3 The capacity of a BSC with cross probability p as function of p where 0 Based on the previous question IX;Y=py=0x=0px=0logpy=0x=0py=0+py=1x=0px=0logpy=1x=0py=1+py=0x=1py=1 logp(y=0|x=1)p(y=0)+py=1x=1px=1logp(y=1|x=1)p(y=1) Due to: p(Y=0|X=1)=0.1; P(Y=1|X=0)=0.2; So P(Y=1|X=1)=0.9; P(Y=0|X=0)=0.8; Moreover: P(X=1)=P; P(X=0)=1-P; P(Y=1)=0.2+0.7P; P(Y=0)=0.8-0.7P; Insert these values into the mutual information equation derived in the previous question IX;Y=0.81-plog0.80.8-0.7p+0.21-plog0.20.2+0.7p+0.1plog0.10.8-0.7p +0.9plog(0.90.2+0.7p) The Matlab code for the question is The corresponding result is Fig.4 Mutual Information between input and output of the function of p where pis the probability of transmitting a ‘1’ Discussion Question 2 can be regard as a special case of question 3 because it is a binary symmetric channel. According to the second question, the lowest capacity C happens when probability p is zero or one, and when p is 0.5, the C is zero. At two terminals of p-axis, C reaches its top value that is 1. For the third question, the figure is similar with the previous one but inversed. When p is 0.5, the Mutual Information reaches maximum value 0.4, when p is 0 and 1, the Mutual Information I is zero. Conclusion The assignment firstly stated the concept of Shannon’s Information Content, Entropy and Mutual Information. Then it answered three questions, the first question related to entropy calculation via using Matlab. The second question asked to find out the minimum capacity of binary symmetric channel, i.e. when p is 0.5, the c is zero via plotting the graph through Matlab. The last question was to calculate the maximum Mutual Information for a binary non-symmetric channel which is 0.4 when p is 0.5. 模拟试题一 一、概念简答题（共10题，每题5分） 1.简述离散信源和连续信源的最大熵定理。 2.什么是平均自信息（信息熵）？什么是平均互信息？比较一下两个概念的异同之处。 3.解释等长信源编码定理和无失真变长信源编码定理，说明对于等长码和变长码，最佳码的每符号平均码长最小为多少？编码效率最高可达多少？ 4.解释最小错误概率译码准则，最大似然译码准则和最小距离译码准则，说明三者的关系。 5.设某二元码字C={111000，001011，010110，101110}， ①假设码字等概率分布，计算此码的编码效率？ ②采用最小距离译码准则，当接收序列为110110时，应译成什么码字？ 6.一平稳二元信源，它在任意时间，不论以前发出过什么符号，都按 发出符号，求 和平均符号熵 7.分别说明信源的概率分布和信道转移概率对平均互信息的影响，说明平均互信息与信道容量的关系。 8.二元无记忆信源，有求： （1）某一信源序列由100个二元符号组成，其中有m个“1”，求其自信息量？ （2）求100个符号构成的信源序列的熵。 9.求以下三个信道的信道容量： ， ，10.已知一（3，1，3）卷积码编码器，输入输出关系为： 试给出其编码原理框图。 二、综合题（共5题，每题10分） 1.二元平稳马氏链，已知P（0/0）=0.9，P（1/1）=0.8，求： （1）求该马氏信源的符号熵。 （2）每三个符号合成一个来编二进制Huffman码,试建立新信源的模型，给出编码结果。 （3）求每符号对应的平均码长和编码效率。 2.设有一离散信道，其信道矩阵为，求：（1）最佳概率分布？ 《信息论基础》答案 一、填空题（本大题共10小空，每小空1分，共20分） 1.按信源发出符号所对应的随机变量之间的无统计依赖关系，可将离散信源分为有记忆信源和无记忆信源两大类。 2.一个八进制信源的最大熵为3bit/符号 3.有一信源X，其概率分布为 123 x x x X 111 P 244 ?? ?? ? = ?? ? ?? ?? ，其信源剩余度为94.64%；若 对该信源进行十次扩展，则每十个符号的平均信息量是15bit。 4.若一连续消息通过放大器，该放大器输出的最大瞬间电压为b，最小瞬时电压为a。若消息从放大器中输出，则该信源的绝对熵是∞；其能在每个自由度熵的最大熵是log（b-a）bit/自由度；若放大器的最高频率为F，则单位时间内输出的最大信息量是2Flog （b-a）bit/s. 5.若某一信源X，其平均功率受限为16w，其概率密度函数是高斯分布时，差熵 的最大值为1 log32e 2 π；与其熵相等的非高斯分布信源的功率为16w ≥ 6、信源编码的主要目的是提高有效性，信道编码的主要目的是提高可靠性。 7、无失真信源编码的平均码长最小理论极限制为信源熵（或H(S)/logr= H r(S)）。 8、当R=C或（信道剩余度为0）时，信源与信道达到匹配。 9、根据是否允许失真，信源编码可分为无失真信源编码和限失真信源编码。 10、在下面空格中选择填入数学符号“,,, =≥≤?”或“?” （1）当X和Y相互独立时，H（XY）=H(X)+H(X/Y)。 （2）假设信道输入用X表示，信道输出用Y表示。在无噪有损信道中，H(X/Y)> 0, H(Y/X)=0,I(X;Y) 一、（25分）如果X 和Y 相互独立，证明X 和Y 的熵满足可加性，即 H(Y)H(X)Y)H(X,+= 证明：设P(x,y)=P(x)P(y),则有 1 H(X,Y)()()log P()()11()()log ()()log ()()11()log ()log ()() ()() xy xy xy x y P x P y x P y P x P y P x P y P x P y P x P y P x P y H X H Y ==+=+=+∑∑∑∑∑ 二、（50分）联合总体X ，Y 具有如下联合分布。 X Y 分别计算 (1) 联合熵H(X,Y)是多少？ (2)边缘熵H(X)和H(Y)是多少? (3)对于每一个y 值，条件熵H(X ︱y)是多少？ (4)条件熵H(X ︱Y)是多少？ (5)X 和Y 之间的互信息是多少？ 解答：(1) H(X,Y)=3.375 (2) H(X)=2, H(Y)=1.75 (3) H(X|y=1)=2,H(X|y=1)=1.875,H(X|y=1)=1.875, H(X|y=4)=0.5 (4)H(X|Y)=1.1264 (5)I(X;Y)=H(X)-H(X|Y)=2-1.1264=0.8736 三、（25分）考虑一个差错概率为f=0.15的二进制对称信道。输入总体为x Ω:{0P =0.9，1p =0.1}，假设观察到y=1，请计算(1|1)P x y ==？ 解： (1|1)P x y === (1|1)(1) (1|)() x P y x P x P y x P x ===∑= = 9.015.01.085.01 .085.0?+?? =22 .0085 .0=0.39 一、设X 、Y 就是两个相互统计独立的二元随机变量,其取-1或1的概率相等。定义另一个二元随机变量Z,取Z=YX(一般乘积)。试计算: 1、H(Y)、H(Z); 2、H(YZ); 3、I(X;Y)、I(Y;Z); 二、如图所示为一个三状态马尔科夫信源的转移概率矩阵 1. 绘制状态转移图; 2、 求该马尔科夫信源的稳态分布; 3、 求极限熵 ; 三、在干扰离散对称信道上传输符号1与0,已知P(0)=1/4,P(1)=3/4,试求: 1. 信道转移概率矩阵P 2、信道疑义度 3、信道容量以及其输入概率分布 四、某信道的转移矩阵?? ????=1.006.03.001.03.06.0P ,求信道容量,最佳输入概率分布。 五、求下列各离散信道的容量(其条件概率P(Y/X)如下 :) 六、求以下各信道矩阵代表的信道的容量 答案 一、设X 、Y 就是两个相互统计独立的二元随机变量,其取-1或1的概率相等。定义另一个二元随机变量Z,取Z=YX(一般乘积)。试计算: 1、H(Y)、H(Z); 2、H(XY)、H(YZ); 3、I(X;Y)、I(Y;Z); 解:1、 2 i 11111H Y P y logP y log log 2222i i =??=-+????∑（）=-（）（）=1bit/符号 Z=YX 而且X 与Y 相互独立 ∴ 1(1)(1)(1)P P X P Y P X ?=+=-?=-（Z =1）=P(Y=1)= 1111122222 ?+?= 2(1)(1)(1)P P X P Y P X ?=-+=-?=（Z =-1）=P(Y=1)= 1111122222 ?+?= 故H(Z)= i 2i 1(z )log (z )i P P =- ∑=1bit/符号 2、从上式可以瞧出:Y 与X 的联合概率分布为: 《信息论基础》试卷第1页 《信息论基础》试卷答案 一、填空题（共25分，每空1分） 1、连续信源的绝对熵为 无穷大。（或()()lg lim lg p x p x dx +∞-∞ ?→∞ --?? ） 2、离散无记忆信源在进行无失真变长信源编码时，编码效率最大可以达到 1 。 3、无记忆信源是指 信源先后发生的符号彼此统计独立 。 4、离散无记忆信源在进行无失真变长编码时，码字长度是变化的。根据信源符号的统计特性，对概率大的符号用 短 码，对概率小的符号用 长 码，这样平均码长就可以降低，从而提高 有效性(传输速率或编码效率) 。 5、为了提高系统的有效性可以采用 信源编码 ，为了提高系统的可靠性可以采用 信道编码 。 6、八进制信源的最小熵为 0 ，最大熵为 3bit/符号 。 7、若连续信源输出信号的平均功率为1瓦特，则输出信号幅度的概率密度函数为 高斯分布(或()0,1x N 2 2 x - )时，信源具有最大熵，其值为 0.6155hart(或 1.625bit 或 1lg 22 e π)。 8、即时码是指 任一码字都不是其它码字的前缀 。 9、无失真信源编码定理指出平均码长的理论极限值为 信源熵(或H r (S)或()lg H s r )，此 时编码效率为 1 ，编码后的信息传输率为 lg r bit/码元 。 10、一个事件发生的概率为0.125，则自信息量为 3bit/符号 。 11、信源的剩余度主要来自两个方面，一是 信源符号间的相关性 ，二是 信源符号概率分布的不均匀性 。 12、m 阶马尔可夫信源的记忆长度为 m+1 ，信源可以有 q m 个不同的状态。 13、同时扔出一对均匀的骰子，当得知“两骰子面朝上点数之和为2”所获得的信息量为 lg36=5.17 比特，当得知“面朝上点数之和为8”所获得的信息量为 lg36/5=2.85 比特。 14.在下面空格中选择填入的数学符号“=，≥，≤，>”或“<” H(XY) = H(Y)+H(X ∣Y) ≤ H(Y)+H(X) 信息论试卷题目及答案 ————————————————————————————————作者：————————————————————————————————日期： 2 中国海洋大学2008—2009学年第一学期 一、填空题（每空2分，共20分） 1、1948年，美国数学家 香农 发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。 2、信源编码的目的是提高通信的有效性。信道编码的最终目的是提高信号传输的可靠性。 3、离散平稳无记忆信源X 的N 次扩展信源的熵等于离散信源X 的熵的N 倍。 4、对于香农编码、费诺编码和哈夫曼编码，编码方法惟一的是香农编码。 5、信道输入与输出间的平均互信息是信道转移概率的 下凸 函数，是输入概率的 上凸 函数。 6、信道矩阵??????10002/12/1代表的信道的信道容量C=符号/1bit ，达到信道容量的条件是输入符号等概分布。 7、 设某二进制码｛00011，10110，01101，11000，10010，10001｝，则码的最小距离是2 ，假设码字等概分布，则该码的码率为 0.517比特/符号 ，这时若通过二元对称信道接收码字为01100和00110时，应译为01101 ， 10110 。。 二、判断题（每题2分，共10分） 1、必然事件和不可能事件的自信息量都是0 。（错） 2、最大后验概率准则与最大似然准则是等价的。（错） 3、如果信息传输速率大于信道容量，就不存在使传输差错率任意小的信道编码。（对） 4、连续信源和离散信源的熵都具有非负性。（错） 5、相同功率的噪声中，高斯噪声使信道容量最小。（对） 三、简答题（第1、2题各6分，第三题10分，共22分） 1、简述最大离散熵定理。对于一个有m 个符号的离散信源，其最大熵是什么？ 答：最大离散熵定理为：离散无记忆信源，等概率分布时熵最大。 (3分) 最大熵值为 m H 2max log = (3分) 2、对于任意概率事件集X 、Y 、Z ，证明下述三角不等式成立()()()Z X H Z Y H Y X H ≥+ 证：因为)|()|(Y X H YZ X H ≤ ，(3分) 所以： ) |()|()|() |,() |()|()|()|(Z Y H XZ Y H Z Y H Z Y X I YZ X H Z X H Y X H Z X H ≤-==-≤-(3分) 一、（11’）填空题 （1）1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。 （2）必然事件的自信息是 0 。 （3）离散平稳无记忆信源X的N次扩展信源的熵等于离散信源X的熵的 N倍。 （4）对于离散无记忆信源，当信源熵有最大值时，满足条件为__信源符号等概分布_。 （5）若一离散无记忆信源的信源熵H（X）等于2.5，对信源进行等长的无失真二进制编码，则编码长度至少为 3 。 （6）对于香农编码、费诺编码和霍夫曼编码，编码方法惟一的是香农编码。（7）已知某线性分组码的最小汉明距离为3，那么这组码最多能检测出_2_______个码元错误，最多能纠正___1__个码元错误。 （8）设有一离散无记忆平稳信道，其信道容量为C，只要待传送的信息传输率R__小于___C（大于、小于或者等于），则存在一种编码，当输入序列长度n足够大，使译码错误概率任意小。（9）平均错误概率不仅与信道本身的统计特性有关，还与___译码规则____________和___编码方法___有关 三、（5'）居住在某地区的女孩中有25%是大学生，在女大学生中有75%是身高1.6米以上的，而女孩中身高1.6米以上的占总数的一半。 假如我们得知“身高1.6米以上的某女孩是大学生”的消息，问获得多少信息量？ 解：设A表示“大学生”这一事件，B表示“身高1.60以上”这一事件，则 P(A)=0.25 p(B)=0.5 p(B|A)=0.75 （2分） 故 p(A|B)=p(AB)/p(B)=p(A)p(B|A)/p(B)=0.75*0.25/0.5=0.375 （2分） I(A|B)=-log0.375=1.42bit （1分） 四、（5'）证明：平均互信息量同信息熵之间满足 I(X;Y)=H(X)+H(Y)-H(XY) 证明： 2009-2010学年第二学期末考试试题 信息论与编码理论 一、（共10分） 简述最大熵原理与最小鉴别信息原理,并说明两者之间的关系。 二、（共12分） 某一无记忆信源的符号集为{0, 1}，已知P(0) = 1/4，P(1) = 3/4。 1) 求符号的平均熵； 2) 有100个符号构成的序列，求某一特定序列（例如有m个“0”和（100 - m）个“1”）的自信息量的表达式； 3) 计算2)中序列的熵。 三、（共12分） 一阶马尔可夫信源的状态图如下图所示。信源X 的符号集为{0, 1, 2}。 1) 求平稳后信源的概率分布； 2) 求)(X H ； 3) 求上述一阶马尔可夫信源的冗余度。 P P 四、（共10分） 设离散型随机变量XYZ 的联合概率满足xyz ?)()()()(y z p x y p x p xyz p =。 求证：);();(Z Y X I Y X I ≥ 五、（共12分） 设有一离散无记忆信道，输入信号为321,,x x x ，输出为321,,y y y ，其信道转移矩阵为???? ??????=214141412141414121Q ，61)(,32)(21==x P x P 。 试分别按理想译码准则与最大似然译码准则确定译码规则，并计算相应的平均译码差错概率。 六、（共14分） 设有一离散信道，输入X ，输出Y ，其信道转移矩阵为?? ????7.01.02.02.01.07.0， 求：1）信道的信道容量及达到信道容量时的输入分布？ 2）当输入X 分布为7.0)(1=x P 3.0)(2=x P 时，求平均互信息);(Y X I 及信道疑义度)(X Y H 。 于信源爛H(X). () 2.由于构成同一空间的基底不是唯一的，所以不同的基底或生成矩阵有可能生成同一码集. () 3.—般情况下，用变长编码得到的平均码长比定长编码 大得多. () 4.只要信息传输率大于信道容量，总存在一种信道编译 码，可以以所要求的任意小的误差概率实现可靠的通信 . () 5.务码字的长度符合克拉夫特不等式，是唯一可译码存在的充分和必要条件.() &连续信源和离散信源的爛都具有非负性. () 7.信源的消息通过信道传输后的误差或失真越大，信宿收到消息后对信源存在的不确 定性就越小，获得的信息戢就越小. 8.汉明码是一种线性分组码. () 9.率失真函数的最小值是0 . () 10.必然事件和不可能事件的自信息量都是0 . () 二、填空题共6小题，满分20分. 1 、码的检、纠错能力取决 于______________________________ . 2、___________________________________ 信源编码的目的是:信道编码 的目的是____________________ . 3、把信息组原封不动地搬到码字前k位的(仏灯码就叫 做___________________ ? 4、香农信息论中的三大极限建理 是____________________ 、 ____________________ 、■ 5、耳信道的输入与输出随机序列分别为X和Y ,则 KX\Y N)=NI(X,Y)成立的 条件______________________________ ? 6、对于香农-费诺编码、原始香农-费诺编码和哈夫曼编码， 编码方法惟一的是 O "，则该信源的Dmax= ________ a 0 三、本题共4小题，满分50分. K某信源发送端有2种符号x,i = 1,2), /心)=a：接收端 有3种符号y r. () = 123),转移概率矩阵为 1/2 1/2 0 P = ? 1/2 1/4 1/4. (1)计算接收端的平均不确定 度 (2)计算由于噪声产生的不确 定度H(rix)： (3)计算信道容量以及最佳入 口分布. 2、一阶马尔可夫信源的状态转移 (1) 求信源平稳后的概率分布： (2) 求此信源的燔： (3) 近似地认为此信源为无记忆时，符号的概率分布为 稳分布?求近似信源的爛H(X)并与Hs进行比较. 4、设二元(7,4)线性分组码的生成矩阵为0 0 0 10 0 0 1 0 0 0 1 (1)给岀该码的一致校验矩阵，写出 所有的陪集首和与之相对应的伴随式： (2)若接收矢gv = (0001011),试讣 算出其对应的伴 随式S并按照最小距离译码准则试着对其译码. (二) 一、填空题(共15分，每空1分) 一、判断题共10小J满分20分. 1.当随机变量X和丫相互独立时，条件爛H(XI Y)等 7、某二元信源［爲冷打加其失真矩阵 图如右图所示, 信源X的符号集为{0丄2}? 1 1 0 1 G = 1 1 0 1 1 0 1 0 1 0 《信息论基础》模拟试卷 一、填空题（共15分，每空1分） 1、信源编码的主要目的是 ，信道编码的主要目的是 。 2、信源的剩余度主要来自两个方面，一是 ，二是 。 3、三进制信源的最小熵为 ，最大熵为 。 4、无失真信源编码的平均码长最小理论极限制为 。 5、当 时，信源与信道达到匹配。 6、根据信道特性是否随时间变化，信道可以分为 和 。 7、根据是否允许失真，信源编码可分为 和 。 8、若连续信源输出信号的平均功率为2σ，则输出信号幅度的概率密度是 时，信源具有最大熵，其值为值 。 9、在下面空格中选择填入数学符号“,,,=≥≤?”或“?” （1）当X 和Y 相互独立时，H （XY ） H(X)+H(X/Y) H(Y)+H(X)。 （2）()() 1222 H X X H X = ()()12333H X X X H X = （3）假设信道输入用X 表示，信道输出用Y 表示。在无噪有损信道中，H(X/Y) 0, H(Y/X) 0,I(X;Y) H(X)。 二、（6分）若连续信源输出的幅度被限定在【2,6】区域内，当输出信号的概率密度是均匀分布时，计算该信源的相对熵，并说明该信源的绝对熵为多少。 三、（16分）已知信源 1234560.20.20.20.20.10.1S s s s s s s P ????=???????? （1）用霍夫曼编码法编成二进制变长码；（6分） （2）计算平均码长L ;（4分） （3）计算编码信息率R ';（2分） （4）计算编码后信息传输率R ;（2分） （5）计算编码效率η。（2分） 四、（10分）某信源输出A 、B 、C 、D 、E 五种符号，每一个符号独立出现，出现概率分别为1/8、1/8、1/8、1/2、1/8。如果符号的码元宽度为0.5s μ。计算： （1）信息传输速率t R 。（5分） （2）将这些数据通过一个带宽为B=2000kHz 的加性白高斯噪声信道传输，噪声的单边功率谱密度为 6010W n Hz -=。试计算正确传输这些数据最少需要的发送功率P 。（5分） 安徽大学2011—2012学年第1学期 《信息论》考试试卷（AB 合卷） 院/系 年级 专业 姓名 学号 一、填空题 1、接收端收到y 后，获得关于发送的符号是x 的信息量是 。 2、香农信息的定义 。 3、在已知事件z Z ∈的条件下，接收到y 后获得关于事件x 的条件互信息(;|)I x y z 的表达式为 。 4、通信系统模型主要分成五个部分分别为： 。 5、研究信息传输系统的目的就是要找到信息传输过程的共同规律，以提高信息传输的可靠性、有效性、 和 ，使信息传输系统达到最优化。 6、某信源S 共有32个信源符号，其实际熵H ∞=1.4比特/符号，则该信源剩余度为 。 7、信道固定的情况下，平均互信息(;)I X Y 是输入信源概率分布()P x 的 型凸函数。 信源固定的情况下，平均互信息(;)I X Y 是信道传递概率(|)P y x 的 型凸函数。 8、当信源与信道连接时，若信息传输率达到了信道容量，则称此信源与信道达到匹配。信道剩余度定义为 。 9、已知信源X 的熵H (X )=0.92比特/符号,则该信源的五次无记忆扩展信源X 5的信息熵 5()H X = 。 10、将∞H ，6H ，0H ，4H ，1H 从大到小排列为 。 11、根据香农第一定理，对于离散无记忆信源S ，用含r 个字母的码符号集对N 长信源符号序列进行变长编码，总能找到一种无失真的唯一可译码，使每个信源符号所需平均码长满足： 。 12、多项式剩余类环[]())q F x f x 是域的充要条件为 。 13、多项式剩余类环[](1)n q F x x -的任一理想的生成元()g x 与1n x -关系为 。 14、有限域12 2F 的全部子域为 。 15、国际标准书号（ISBN ）由十位数字12345678910a a a a a a a a a a 组成（诸i a ∈11F ，满足： 10 1 0(mod11)i i ia =≡∑） ，其中前九位均为0-9，末位0-10，当末位为10时用X 表示。《Handbook of Applied Cryptography 》的书号为ISBN ：7-121-01339- ，《Coding and Information Theory 》的书号为ISBN ：7-5062-3392- 。 二、判断题 1、互信息(;)I x y 与平均互信息(;)I X Y 都具有非负性质。 （ ） 2、离散信源的信息熵是信源无失真数据压缩的极限值。 （ ） 3、对于无噪无损信道，其输入和输出有确定的一一对应关系。 （ ） 4、对于有噪无损信道，其输入和输出有确定的一一对应关系。 （ ） 5、设有噪信道的信道容量为C ，若信息传输率R C >，只要码长n 足够长，必存在一种信道编码和相应的译码规则，使译码平均错误概率E P 为任意小。反之，若R C <则不存在以R 传输信息而E P 为任意小的码。 （ ） 6、在任何信息传输系统中，最后获得的信息至多是信源所提供的信息。如果一旦在某一 1. 在无失真的信源中，信源输出由 H (X ) 来度量；在有失真的信源中，信源输出由 R (D ) 来度量。 2. 要使通信系统做到传输信息有效、可靠和保密，必须首先 信源 编码， 然后_____加密____编码，再______信道_____编码，最后送入信道。 3. 带限AWGN 波形信道在平均功率受限条件下信道容量的基本公式，也就是有名的香农公式是log(1)C W SNR =+；当归一化信道容量C/W 趋近于零时，也即信道完全丧失了通信能力，此时E b /N 0为 -1.6 dB ，我们将它称作香农限，是一切编码方式所能达到的理论极限。 4. 保密系统的密钥量越小，密钥熵H (K )就越 小 ，其密文中含有的关于明文的信息量I (M ；C )就越 大 。 5. 已知n ＝7的循环码4 2 ()1g x x x x =+++，则信息位长度k 为 3 ，校验多项式 h(x)= 3 1x x ++ 。 6. 设输入符号表为X ＝{0，1}，输出符号表为Y ＝{0，1}。输入信号的概率分布为p ＝(1/2，1/2)，失真函数为d (0，0) = d (1，1) = 0，d (0，1) =2，d (1，0) = 1，则D min ＝ 0 ，R (D min )＝ 1bit/symbol ，相应的编码器转移概率矩阵[p(y/x )]＝1001?? ???? ；D max ＝ 0.5 ，R (D max )＝ 0 ，相应的编码器转移概率矩阵[p(y/x )]＝1010?? ? ??? 。 7. 已知用户A 的RSA 公开密钥(e,n )=(3,55)，5,11p q ==,则()φn = 40 ，他的秘密密钥(d,n )＝(27,55) 。若用户B 向用户A 发送m =2的加密消息，则该加密后的消息为 8 。 二、判断题 1. 可以用克劳夫特不等式作为唯一可译码存在的判据。 （√ ） 2. 线性码一定包含全零码。 （√ ） 3. 算术编码是一种无失真的分组信源编码，其基本思想是将一定精度数值作为序列的 编码，是以另外一种形式实现的最佳统计匹配编码。 （×） 4. 某一信源，不管它是否输出符号，只要这些符号具有某些概率特性，就有信息量。 （×） 5. 离散平稳有记忆信源符号序列的平均符号熵随着序列长度L 的增大而增大。 （×） 6. 限平均功率最大熵定理指出对于相关矩阵一定的随机矢量X ，当它是正态分布时具 有最大熵。 （√ ） 7. 循环码的码集中的任何一个码字的循环移位仍是码字。 （√ ） 8. 信道容量是信道中能够传输的最小信息量。 （×） 9. 香农信源编码方法在进行编码时不需要预先计算每个码字的长度。 （×） 10. 在已知收码R 的条件下找出可能性最大的发码i C 作为译码估计值，这种译码方 法叫做最佳译码。 （√ ） 一、概念简答题（每题5分，共40分） 1.什么是平均自信息量与平均互信息，比较一下这两个概念的异同？ 答：平均自信息为 表示信源的平均不确定度，也表示平均每个信源消息所提供的信息量。 平均互信息 表示从Y获得的关于每个X的平均信息量，也表示发X前后Y的平均不确定性减少的量，还表示通信前后整个系统不确定性减少的量。 2.简述最大离散熵定理。对于一个有m个符号的离散信源，其最大熵是多少？ 答：最大离散熵定理为：离散无记忆信源，等概率分布时熵最大。 最大熵值为。 3.解释信息传输率、信道容量、最佳输入分布的概念，说明平均互信息与信源的概率分布、信道的传递概率间分别是什么关系？ 答：信息传输率R指信道中平均每个符号所能传送的信息量。信道容量是一个信道所能达到的最大信息传输率。信息传输率达到信道容量时所对应的输入概率分布称为最佳输入概率分布。 平均互信息是信源概率分布的∩型凸函数，是信道传递概率的U型凸函数。 4.对于一个一般的通信系统，试给出其系统模型框图，并结合此图，解释数据处理定理。 答：通信系统模型如下： 数据处理定理为：串联信道的输入输出X、Y、Z组成一个马尔可夫链，且有， 。说明经数据处理后，一般只会增加信息的损失。 5.写出香农公式，并说明其物理意义。当信道带宽为5000Hz，信噪比为30dB时求信道容量。 .答：香农公式为，它是高斯加性白噪声信道在单位时间内的信道容量，其值取决于信噪比和带宽。 由得，则 6.解释无失真变长信源编码定理。 .答：只要，当N足够长时，一定存在一种无失真编码。 7.解释有噪信道编码定理。 答：当R＜C时，只要码长足够长，一定能找到一种编码方法和译码规则，使译码错误概率无穷小。 8.什么是保真度准则？对二元信源，其失真矩阵，求a>0时率失真函数的和？ 答：1）保真度准则为：平均失真度不大于允许的失真度。 2）因为失真矩阵中每行都有一个0，所以有，而。 二、综合题（每题10分，共60分） 1.黑白气象传真图的消息只有黑色和白色两种，求： 《信息论基础》参考答案 一、填空题 1、信源编码的主要目的是提高有效性，信道编码的主要目的是提高可靠性。 2、信源的剩余度主要来自两个方面，一是信源符号间的相关性，二是信源符号的统计不均匀性。 3、三进制信源的最小熵为0，最大熵为32log bit/符号。 4、无失真信源编码的平均码长最小理论极限制为信源熵（或H(S)/logr= H r (S)）。 5、当R=C 或（信道剩余度为0）时，信源与信道达到匹配。 6、根据信道特性是否随时间变化，信道可以分为恒参信道和随参信道。 7、根据是否允许失真，信源编码可分为无失真信源编码和限失真信源编码。 8、若连续信源输出信号的平均功率为2σ，则输出信号幅度的概率密度是高斯分布或正态分布或()22 212x f x e σπσ -= 时，信源 具有最大熵，其值为值21 log 22 e πσ。 9、在下面空格中选择填入数学符号“,,,=≥≤?”或“?” （1）当X 和Y 相互独立时，H （XY ）=H(X)+H(X/Y)=H(Y)+H(X)。 （2）()() 1222H X X H X =≥()()12333 H X X X H X = （3）假设信道输入用X 表示，信道输出用Y 表示。在无噪有损信道中，H(X/Y)> 0, H(Y/X)=0,I(X;Y) 一填空题（本题20分，每小题2分） 1、平均自信息为 表示信源的平均不确定度，也表示平均每个信源消息所提供的信息量。 平均互信息 表示从Y获得的关于每个X的平均信息量，也表示发X前后Y的平均不确定性减少的量，还表示通信前后整个系统不确定性减少的量。 2、最大离散熵定理为：离散无记忆信源，等概率分布时熵最大。 3、最大熵值为。 4、通信系统模型如下： 5、香农公式为为保证足够大的信道容量，可采用（1）用频带换信噪比；（2）用信噪比换频带。 6、只要，当N足够长时，一定存在一种无失真编码。 7、当R＜C时，只要码长足够长，一定能找到一种编码方法和译码规则，使译码错误概率无穷小。 8、在认识论层次上研究信息的时候，必须同时考虑到形式、含义和效用三个方面的因素。 9、1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。 按照信息的性质，可以把信息分成语法信息、语义信息和语用信息。 按照信息的地位，可以把信息分成 客观信息和主观信息 。 人们研究信息论的目的是为了 高效、可靠、安全 地交换和利用各种各样的信息。 信息的 可度量性 是建立信息论的基础。 统计度量 是信息度量最常用的方法。 熵 是香农信息论最基本最重要的概念。 事物的不确定度是用时间统计发生 概率的对数 来描述的。 10、单符号离散信源一般用随机变量描述，而多符号离散信源一般用 随机矢量 描述。 11、一个随机事件发生某一结果后所带来的信息量称为自信息量，定义为 其发生概率对数的负值 。 12、自信息量的单位一般有 比特、奈特和哈特 。 13、必然事件的自信息是 0 。 14、不可能事件的自信息量是 ∞ 。 15、两个相互独立的随机变量的联合自信息量等于 两个自信息量之和 。 16、数据处理定理：当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量 趋于变小 。 17、离散平稳无记忆信源X 的N 次扩展信源的熵等于离散信源X 的熵的 N 倍 。 18、离散平稳有记忆信源的极限熵，=∞H )/(lim 121-∞→N N N X X X X H 。 19、对于n 元m 阶马尔可夫信源，其状态空间共有 nm 个不同的状态。 20、一维连续随即变量X 在[a ，b]区间内均匀分布时，其信源熵为 log2（b-a ） 。 21、平均功率为P 的高斯分布的连续信源，其信源熵，Hc （X ）=eP π2log 212。 22、对于限峰值功率的N 维连续信源，当概率密度 均匀分布 时连续信源熵具有最大值。 23、对于限平均功率的一维连续信源，当概率密度 高斯分布 时，信源熵有最大值。 24、对于均值为0，平均功率受限的连续信源，信源的冗余度决定于平均功率的限定值P 和信源的熵功 " 1. 在无失真的信源中，信源输出由 H (X ) 来度量；在有失真的信源中，信源输出由 R (D ) 来度量。 2. 要使通信系统做到传输信息有效、可靠和保密，必须首先 信源 编码， 然后_____加密____编码，再______信道_____编码，最后送入信道。 3. 带限AWGN 波形信道在平均功率受限条件下信道容量的基本公式，也就是有名的香农公式是log(1)C W SNR =+；当归一化信道容量C/W 趋近于零时，也即信道完全丧失了通信能力，此时E b /N 0为 dB ，我们将它称作香农限，是一切编码方式所能达到的理论极限。 4. 保密系统的密钥量越小，密钥熵H (K )就越 小 ，其密文中含有的关于明文的信息量I (M ；C )就越 大 。 5. 已知n ＝7的循环码4 2 ()1g x x x x =+++，则信息位长度k 为 3 ，校验多项式 h(x)= 3 1x x ++ 。 6. ? 7. 设输入符号表为X ＝{0，1}，输出符号表为Y ＝{0，1}。输入信号的概率分布为p ＝(1/2，1/2)，失真函数为d (0，0) = d (1，1) = 0，d (0，1) =2，d (1，0) = 1，则D min ＝ 0 ，R (D min )＝ 1bit/symbol ，相应的编码器转移概率矩阵[p(y/x )]＝1001?? ???? ；D max ＝ ，R (D max )＝ 0 ，相应的编码器转移概率矩阵[p(y/x )]＝1010?? ? ??? 。 8. 已知用户A 的RSA 公开密钥(e,n )=(3,55)，5,11p q ==,则()φn = 40 ，他的秘密密钥(d,n )＝(27,55) 。若用户B 向用户A 发送m =2的加密消息，则该加密后的消息为 8 。 二、判断题 1. 可以用克劳夫特不等式作为唯一可译码存在的判据。 （ ） 2. 线性码一定包含全零码。 （ ） 3. 算术编码是一种无失真的分组信源编码，其基本思想是将一定精度数值作为序列的 编码，是以另外一种形式实现的最佳统计匹配编码。 （×） 4. " 5. 某一信源，不管它是否输出符号，只要这些符号具有某些概率特性，就有信息量。 （×） 6. 离散平稳有记忆信源符号序列的平均符号熵随着序列长度L 的增大而增大。 （×） 7. 限平均功率最大熵定理指出对于相关矩阵一定的随机矢量X ，当它是正态分布时具 有最大熵。 （ ） 8. 循环码的码集中的任何一个码字的循环移位仍是码字。 （ ） 9. 信道容量是信道中能够传输的最小信息量。 （×） 10. 香农信源编码方法在进行编码时不需要预先计算每个码字的长度。 （×） 11. ！ 12. 在已知收码R 的条件下找出可能性最大的发码i C 作为译码估计值，这种译码方 一、填空题（共15分，每空1分） 1、当 时，信源与信道达到匹配。 2、若高斯白噪声的平均功率为6 W ，则噪声熵为 。如果一个平均功率为9 W 的连续信源的熵等于该噪声熵，则该连续信源的熵功率为 。 3、信源符号的相关程度越大，信源的符号熵越 ，信源的剩余度越 。 4、离散无记忆信源在进行无失真变长信源编码时，码字长度是变化的。根据信源符号的统计特性，对概率 的符号用短码，对概率 的符号用长码，从而减少平均码长，提高编码效率。 8、香农第一编码定理指出平均码长的理论极限值为 ，此时编码效率为 。 4、在下面空格中选择填入数学符号“=，≥，≤，>”或“<” （1）()()2212X X H H = X ()X 3H = ()3 321X X X H （2）()XY H ()()Y X H Y H |+ ()()X H Y H +。 9、有一信源X ，其概率分布为??? ? ????=??????818141214321x x x x P X ，若对该信源进行１００次扩展， 则每扩展符号的平均信息量是 。 11、当时，信源熵为最大值。８进制信源的最大熵为。 二、判断题（正确打√，错误打×）（共5分，每小题1分） 1）噪声功率相同的加性噪声信道中以高斯噪声信道的容量为最大。 （） 2）即时码可以在一个码字后面添上一些码元构成另一个码 字。（） 3）连续信源的熵可正、可负、可为 零，（） 4）平均互信息始终是非负 的。（） 5）信道容量C只与信道的统计特性有关，而与输入信源的概率分布无关。（） 三、（10分）计算机终端发出A 、B 、C 、D 、E 五种符号，出现概率分别为1/16，1/16，1/8，1/4，1/2。通过一条带宽为18kHz 的信道传输数据，假设信道输出信噪比为2047，试计算： 1） 香农信道容量； 2） 无误码传输的最高符号速率。 四、（10分）有一信源发出恒定宽度，但不同幅度的脉冲，幅度值x 处在1a 和2a 之间。此信源连至信道，信道接收端接收脉冲的幅度y 处在1b 和2b 之间。已知随机变量X 和Y 的联合概率密度函数 ) )((1)(1212b b a a xy p --= 试计算)(),(),(XY h Y h X h 和);(Y X I 一、设X 、Y 是两个相互统计独立的二元随机变量，其取-1或1的概率相等。定义另一个二元随机变量Z ，取Z=YX （一般乘积）。试计算： 1.H （Y ）、H （Z ）； 2.H （YZ ）； 3.I （X;Y ）、I （Y;Z ）； 二、如图所示为一个三状态马尔科夫信源的转移概率矩阵 1. 绘制状态转移图； 2. 求该马尔科夫信源的稳态分布； 3. 求极限熵； 三、在干扰离散对称信道上传输符号1和0，已知P （0）=1/4,P(1)=3/4,试求： 1. 信道转移概率矩阵P 2.信道疑义度 3.信道容量以及其输入概率分布 四、某信道的转移矩阵? ? ? ? ??=1.006.03.001.03.06.0P ，求信道容量，最佳输入概率分布。 五、求下列各离散信道的容量（其条件概率P(Y/X)如下：） 六、求以下各信道矩阵代表的信道的容量 答案 一、设X 、Y 是两个相互统计独立的二元随机变量，其取-1或1的概率相等。定义另一个二元随机变量Z ，取Z=YX （一般乘积）。试计算： 1.H （Y ）、H （Z ）； 2.H （XY ）、H （YZ ）； 3.I （X;Y ）、I （Y;Z ）； 解：1. 2 i 1 1 111H Y P y logP y log log 2222i i =??=-+????∑（）=- （）（）=1bit/符号 Z=YX 而且X 和Y 相互独立 ∴ 1(1)(1)(1)P P X P Y P X ?=+=-?=-（Z =1）=P(Y=1)= 11111 22222?+?= 2(1)(1)(1)P P X P Y P X ?=-+=-?=（Z =-1）=P(Y=1)= 11111 22222 ?+?= 故H(Z)= i 2 i 1 (z )log (z )i P P =-∑=1bit/符号 2.从上式可以看出:Y 与X 的联合概率分布为: 重庆邮电大学2007/2008学年2学期 《信息论基础》试卷（期末）（A卷）（半开卷） 一、填空题（本大题共10小空，每小空1分，共20分） 1.按信源发出符号所对应的随机变量之间的无统计依赖关系，可将离散信源分为有记忆信源和无记忆信源两大类。 2.一个八进制信源的最大熵为3bit/符号 3.有一信源X，其概率分布为 123 x x x X 111 P 244 ?? ?? ? = ?? ? ?? ?? ，其信源剩余度为94.64%；若对该信源进行十次扩展， 则每十个符号的平均信息量是15bit。 4.若一连续消息通过放大器，该放大器输出的最大瞬间电压为b，最小瞬时电压为a。若消息从放大器中输出，则该信源的绝对熵是∞；其能在每个自由度熵的最大熵是log（b-a）bit/自由度；若放大器的最高频率为F，则单位时间内输出的最大信息量是2Flog（b-a）bit/s. 5. 若某一信源X，其平均功率受限为16w，其概率密度函数是高斯分布时，差熵的最大值为1 log32e 2 π；与 其熵相等的非高斯分布信源的功率为16w ≥ 6、信源编码的主要目的是提高有效性，信道编码的主要目的是提高可靠性。 7、无失真信源编码的平均码长最小理论极限制为信源熵（或H(S)/logr= H r(S)）。 8、当R=C或（信道剩余度为0）时，信源与信道达到匹配。 9、根据是否允许失真，信源编码可分为无失真信源编码和限失真信源编码。 10、在下面空格中选择填入数学符号“,,, =≥≤?”或“?” （1）当X和Y相互独立时，H（XY）=H(X)+H(X/Y)。 （2）假设信道输入用X表示，信道输出用Y表示。在无噪有损信道中，H(X/Y)> 0, H(Y/X)=0,I(X;Y) 信息论基础理论与应用考试题及答案 信息论基础理论与应用考试题 一﹑填空题（每题2分，共20分） 1.信息论研究的目的就是要找到信息传输过程的共同规律，以提高信息传输的 （可靠性）﹑（有效性）﹑保密性和认证性，使信息传输系统达到最优化。 （考点：信息论的研究目的） 2.电视屏上约有500×600=3×510个格点，按每点有10个不同的灰度等级考虑， 则可组成5 31010?个不同的画面。按等概计算，平均每个画面可提供的信息量约 为（610bit /画面）。 （考点：信息量的概念及计算） 3.按噪声对信号的作用功能来分类信道可分为 （加性信道）和 （乘性信道）。 （考点：信道按噪声统计特性的分类） 4.英文电报有32个符号（26个英文字母加上6个字符），即q=32。若r=2，N=1， 即对信源S 的逐个符号进行二元编码，则每个英文电报符号至少要用 （5）位 二元符号编码才行。 （考点：等长码编码位数的计算） 5.如果采用这样一种译码函数，它对于每一个输出符号均译成具有最大后验概 率的那个输入符号，则信道的错误概率最小，这种译码规则称为（最大后验 概率准则）或（最小错误概率准则）。 （考点：错误概率和译码准则的概念） 6.按码的结构中对信息序列处理方式不同，可将纠错码分为（分组码）和（卷 积码）。 （考点：纠错码的分类） 7.码C=｛（0，0，0，0），（0，1，0，1），（0，1，1，0），（0，0，1，1）｝是（（4， 2））线性分组码。 （考点：线性分组码的基本概念） 8.定义自信息的数学期望为信源的平均自信息量，即（11()log ()log ()()q i i i i H X E P a P a P a =??==-????∑）。信息论编码》模拟试题一及参考答案
信息论试题1
信息论考题及答案
信息论测试题及答案
信息论基础及答案
信息论试卷题目及标准答案
信息论与编码试卷与答案
信息论考试题
信息论与编码期末考试题(全套)..
信息论试卷含答案
(整理)信息论期末考试试题1.
信息论与编码试题集与答案(新)
信息论与编码试卷及答案(多篇)
信息论与编码期末考试题----学生复习用
信息论与编码试题集与答案
信息论与编码试题集与答案(新)
信息论试题6
信息论测试题及答案
信息论基础试卷(期末A卷
信息论基础理论与应用考试题及答案