信息率失真函数的定义

第四章_信息率失真函数-习题答案

4.1 一个四元对称信源? ?????=??????4/14/1324/14/110)(X P X ，接收符号Y = {0, 1, 2, 3}，其失真矩阵为????? ???????0111 101111011110，求D max 和D min 及信源的R(D)函数，并画出其曲线（取4至5个点）。 解： 0041041041041),(min )(43041141141141),()(min min min max =?+?+?+?===?+?+?+?===∑∑i j i j i i j i i j j y x d x p D y x d x p D D 因为n 元等概信源率失真函数： ?? ? ??-??? ??-+-+=a D a D n a D a D n D R 1ln 11ln ln )( 其中a = 1, n = 4, 所以率失真函数为： ()()D D D D D R --++=1ln 13 ln 4ln )( 函数曲线： D 其中： symbol nat D R D symbol nat D R D symbol nat D R D symbol nat R D /0)(,4 3/12ln 2 14ln )(,21/3 16ln 214ln )(,41/4ln )0(,0==-==-==== 4.2 若某无记忆信源??????-=??????3/113/13/101)(X P X ，接收符号??????-=21,21Y ，其失真矩阵???? ??????=112211D 求信源的最大失真度和最小失真度，并求选择何种信道可达到该D max 和D min 的失真度。

第四章 信息率失真函数-习题答案

4.1 一个四元对称信源? ?????=??????4/14/1324/14/110)(X P X ，接收符号Y = {0, 1, 2, 3}，其失真矩阵为????? ???????0111 101111011110，求D max 和D min 及信源的R(D)函数，并画出其曲线（取4至5个点）。 解： 0041041041041),(min )(43041141141141),()(min min min max =?+?+?+?===?+?+?+?===∑∑i j i j i i j i i j j y x d x p D y x d x p D D 因为n 元等概信源率失真函数： ?? ? ??-??? ??-+-+=a D a D n a D a D n D R 1ln 11ln ln )( 其中a = 1, n = 4, 所以率失真函数为： ()()D D D D D R --++=1ln 13 ln 4ln )( 函数曲线： D 其中： sym bol nat D R D sym bol nat D R D sym bol nat D R D sym bol nat R D /0)(,4 3/12ln 2 14ln )(,21/3 16ln 214ln )(,41/4ln )0(,0==-==-==== 4.2 若某无记忆信源??????-=??????3/113/13/101)(X P X ，接收符号??????-=21,21Y ，其失真矩阵???? ??????=112211D 求信源的最大失真度和最小失真度，并求选择何种信道可达到该D max 和D min 的失真度。 4.3 某二元信源??????=??????2/12/110)(X P X 其失真矩阵为?? ????=a a D 00求这信源的D max 和D min 和R(D)

信息率失真函数.doc

第四章信息率失真函数（第九讲） （2课时） 主要内容：（1）平均失真和信息率失真函数（2）离散信源和连续信源的R（D）计算重点：失真函数、平均失真、信息率失真函数R（D）、信息率失真函数的计算。 难点：信息率失真函数R（D）、信息率失真函数的计算。 作业：4、lo 说明：本堂课推导内容较多，枯燥平淡，不易激发学生兴趣，要注意多讨论用途。另外，注意，解题方法。多加一些内容丰富知识和理解。 §4-1引言 （一）引入限失真的必要性： 失真在传输中是不可避免的； 接收者（信宿）无论是人还是机器设备，都有一定的分辨能力与灵敏度，超过分辨能力与灵敏度的信息传送过程是毫无意义的； 即使信宿能分辨、能判别，但对通信质量的影响不大，也可以称它为允许范围内的失真； 我们的目的就是研究不同的类型的客观信源与信宿，在给定的Qos要求下的最大允许（容忍）失真D,及其相应的信源最小信息率R（D）. 对限失真信源，应该传送的最小信息率是R（D）,而不是无失真情况下的信源爛H（U）. 显然H（U）2R（D）. 当且仅当D=0时，等号成立； 为了定量度量D,必须建立信源的客观失真度量，并与D建立定量关系； R（D）函数是限失真信源信息处理的理论基础； （二）R（D）函数的定义 信源与信宿联合空间上失真测度的定义：d （见叩:t/xV^/r[0,oo） 其屮：u*U（单消息信源空I'可） v y eV （单消息信宿空间） 则有 万=Y工〃（吧 称7为统计平均失真，它在信号空I'可屮可以看作一类“距离”，它有性质 1〉= 0,当比=Vj 2〉min 〃（吧）=°

3〉05〃(比/匕)<00 对离散信源：i=j=l,2............. n , d(upj) = djj, 则有： d 」0,当；可(无失真) 厂］〉0,当iHj (有失真) 若取冷为汉明距离，则有： Jo,当i = j (无失真) 厂［1,当iHj (有失真) 对连续信源，失真可用二元函数d(u,v)表示。 推而广之，d(u,v)可表示任何用V 表达U 时所引进的失真，误差，损失，风险，甚至是 主观感觉 上的差异等等。 进一步定义允许失真D 为平均失真的上界: D>d =工=工工〃￡皿???对离散 ? ? ? ? 在讨论信息率失真函数时，考虑到信源与信宿之I'可有一个无失真信道，称它为试验信 道，对离散信源可记为p 〃，对限失真信源这一试验信道集合可定义为： P D =\P ji -D>d = YLP ：P J^ 根据前面在互信息中已讨论过的性质: 1(U\ I,p ；j\ 且互信息是门的上凸函数，其极限值存在且为信道容量：C = max/(卫: p< ? 这里，我们给出其对偶定义： R(D)= mi 1Y U # ) m"pQp2,_ D P j f P D 陆 j i P D 即互信息是◎的下凸函数。其极限值存在且为信息率失真函数。 它还存在下列等效定义： D(R) = minD>d =工工门叽 < P 泸 P R i J P R = {? : /(t/；V) < R (给定速率)} 称D(R)为失真信息率函数，是R(D)的逆函数，它是求在允许最大速率情况下的最大 失真Do 至此，我们已给定R(D)函数一个初步描述。 则有: d(u. v)= (w-仍 H = \u-v

【免费下载】第四章 信息率失真函数 习题答案

4.1 一个四元对称信源，接收符号Y = {0, 1, 2, 3}，其失??????=??????4/14/1324/14/110)(X P X 真矩阵为，求D max 和D min 及信源的R(D)函数，并画出其曲线（取4至5个点）。????????????0111101111011110解： 0041041041041),(min )(43041141141141),()(min min min max =?+?+?+?===?+?+?+?===∑∑i j i j i i j i i j j y x d x p D y x d x p D D 因为n 元等概信源率失真函数：??? ??-??? ??-+-+=a D a D n a D a D n D R 1ln 11ln ln )(其中a = 1, n = 4, 所以率失真函数为： ()()D D D D D R --++=1ln 13ln 4ln )(函数曲线： D 其中：symbol nat D R D symbol nat D R D symbol nat D R D symbol nat R D /0)(,43/12ln 214ln )(,21/316ln 214ln )(,41/4ln )0(,0==-==-====4.2 若某无记忆信源，接收符号，其失真矩阵求信??????-=??????3/113/13/101)(X P X ??????-=21,21Y ??????????=112211D 源的最大失真度和最小失真度，并求选择何种信道可达到该D max 和D min 的失真度。

4.3 某二元信源其失真矩阵为求这信源的D max 和D min 和R(D)??????=??????2/12/110)(X P X ?? ????=a a D 00函数。解：0021021),(min )(202121),()(min min min max =?+?===?+?===∑∑i j i j i i j i i j j y x d x p D a a y x d x p D D 因为二元等概信源率失真函数：??? ??-=a D H n D R ln )(其中n = 2, 所以率失真函数为： ????????? ??-??? ??-+-=a D a D a D a D D R 1ln 1ln 2ln )(4.4 已知信源X = {0, 1}，信宿Y = {0, 1, 2}。设信源输入符号为等概率分布，而且失真函数，求信源的率失真函数R(D)。??????∞∞=1100D 4.5 设信源X = {0, 1, 2, 3}，信宿Y = {0, 1, 2, 3, 4, 5, 6}。且信源为无记忆、等概率分布。失真函数定义为 证明率失真函数R(D)如图所示。???????∞ ======且且且且53,21 41,010),(j i j i j i y x d j i log22log2D 4.6 设信源X = {0, 1, 2}，相应的概率分布p (0) = p (1) = 0.4，p (2) = 0.2。且失真函数为)2,1,0,(10),(=???≠==j i j i j i y x d j i (1) 求此信源的R(D)； (2) 若此信源用容量为C 的信道传递，请画出信道容量C 和其最小误码率P k 之间的曲线关系。 4.7 设0 < α, β < 1, α + β = 1。试证明：αR(D’) +βR(D”) ≥ R(αD’ +βD”) 4.8 试证明对于离散无记忆N 次扩展信源，有R N (D) = NR(D)。其中N 为任意正整数，D ≥ D min 。 4.9 设某地区的“晴天”概率p (晴) = 5/6，“雨天”概率p (雨) = 1/6，把“晴天”预报为“雨天”，把“雨天”预报为“晴天”造成的损失为a 元。又设该地区的天气预报系统把“晴天”预报为“晴天”，“雨天”预报为“雨天”的概率均为0.9；把把“晴天”预报为“雨天”，把“雨天”预报为“晴天”的概率均为

第4章 信息率失真函数

第四章 信息率失真函数 无失真信源编码和有噪信道编码告诉我们：只要信道的信息传输速率 R 小于信道容量 C ，总能找到一种编码方法,使得在该信道上的信息传输的差错概率 P e 任意小；反之，若信道的信息传输速率大于信道容量，则不可能使信息传输差错概率任意小。但是，无失真的编码并非总是必要的。无失真的编码并非总是可能的。在实际信息传输系统中，失真是不可避免的，有时甚至是必须的。 香农首先定义了信息率失真函数R(D)，并论述了关于这个函数的基本定理。定理指出：在允许一定失真度D 的情况下，信源输出的信息传输率可压缩到R(D)值，这就从理论上给出了信息传输率与允许失真之间的关系，奠定了信息率失真理论的基础。信息率失真理论是进行量化、数模转换、频带压缩和数据压缩的理论基础。 本章主要介绍信息率失真理论的基本内容，侧重讨论离散无记忆信源。首先给出信源的失真度和信息率失真函数的定义与性质；然后讨论离散信源和连续信源的信息率失真函数计算；在这基础上论述保真度准则下的信源编码定理。 1 失真测度 1.1 失真度 从直观感觉可知，若允许失真越大，信息传输率可 越小；若允许失真越小，信息传输率需越大。所以信息传输率与信源编码所引起的失真(或误差)是有关的。 离散无记忆信源U ，信源变量U ＝{u1,u2,…ur}，概率分布为P(u)＝[P(u1),P(u2),…P(ur)] 。 信源符号通过信道传输到某接收端，接收端的接收变量V ＝ {v1,v2,…vs} 。 对应于每一对(u,v)，我们指定一个非负的函数： 称为单个符号的失真度(或失真函数)。 通常较小的d 值代表较小的失真，而d(ui,vj)＝0表示没有失真。 若信源变量U 有r 个符号，接收变量V 有s 个符号，则d(ui,vj)就有r ×s 个,它可以排列成矩阵形式，即： 它为失真矩阵D ，是 r ×s 阶矩阵。 须强调: 这里假设U 是信源，V 是信宿，那么U 和V 之间必有信道。实际这里U 指的是原始的未失真信源，而V 是指失真以后的信源。因此，从U 到V 之间实际上是失真算法，所以这里的转移概率p(vj/ui)是指一种失真算法，有时又把p(vj/ui) 称为试验信道的转移概率，如图所示： j i j i v u d j i ≠=???>=)0(0),(α????????????=),(...),(),(:...::),(...),(),(),(...),(),(212221212111s r r r s s v u d v u d v u d v u d v u d v u d v u d v u d v u d D

信息率失真函数

第四章 信息率失真函数（第九讲） （2课时） 主要内容：（1）平均失真和信息率失真函数（2）离散信源和连续信源的R(D)计算 重点：失真函数、平均失真、信息率失真函数R(D)、信息率失真函数的计算。 难点：信息率失真函数R(D)、信息率失真函数的计算。 作业：4、1。 说明：本堂课推导内容较多，枯燥平淡，不易激发学生兴趣，要注意多讨论用途。另外，注意，解题方法。多加一些内容丰富知识和理解。 §4-1 引言 （一） 引入限失真的必要性： 失真在传输中是不可避免的; 接收者（信宿）无论是人还是机器设备，都有一定的分辨能力与灵敏度，超过分辨能力与灵敏度的信息传送过程是毫无意义的; 即使信宿能分辨、能判别，但对通信质量的影响不大，也可以称它为允许范围内的失真； 我们的目的就是研究不同的类型的客观信源与信宿，在给定的Qos 要求下的最大允许（容忍）失真D ，及其相应的信源最小信息率R(D). 对限失真信源，应该传送的最小信息率是R(D)，而不是无失真情况下的信源熵H(U). 显然 H(U)≥R(D). 当且仅当 D=0时，等号成立； 为了定量度量D ，必须建立信源的客观失真度量，并与D 建立定量关系； R(D)函数是限失真信源信息处理的理论基础； （二） R(D)函数的定义 信源与信宿联合空间上失真测度的定义：()i j d u v : [0,)U V R + ?→∞ 其中： i u U ∈ （单消息信源空间） j v V ∈ （单消息信宿空间） 则有 ()()i j i j i j u v d p u v d u v =∑∑ 称d 为统计平均失真，它在信号空间中可以看作一类“距离”，它有性质 1〉()0i j d u v =, 当i j u v = 2〉 ,()0min i j i j u U v V d u v ∈∈=