信息率失真函数
第四章 信息率失真函数（第九讲）
（2课时）
主要内容：（1）平均失真和信息率失真函数（2）离散信源和连续信源的R(D)计算 重点：失真函数、平均失真、信息率失真函数R(D)、信息率失真函数的计算。 难点：信息率失真函数R(D)、信息率失真函数的计算。 作业：4、1。
说明：本堂课推导内容较多，枯燥平淡，不易激发学生兴趣，要注意多讨论用途。另外，注意，解题方法。多加一些内容丰富知识和理解。
§4-1 引言
（一） 引入限失真的必要性： 失真在传输中是不可避免的;
接收者（信宿）无论是人还是机器设备，都有一定的分辨能力与灵敏度，超过分辨能力与灵敏度的信息传送过程是毫无意义的;
即使信宿能分辨、能判别，但对通信质量的影响不大，也可以称它为允许范围内的失真；
我们的目的就是研究不同的类型的客观信源与信宿，在给定的Qos 要求下的最大允许（容忍）失真D ，及其相应的信源最小信息率R(D).
对限失真信源，应该传送的最小信息率是R(D)，而不是无失真情况下的信源熵H(U). 显然 H(U)≥R(D).
当且仅当 D=0时，等号成立；
为了定量度量D ，必须建立信源的客观失真度量，并与D 建立定量关系； R(D)函数是限失真信源信息处理的理论基础； （二） R(D)函数的定义
信源与信宿联合空间上失真测度的定义：()i j d u v : [0,)U V R +
?→∞
其中： i u U ∈ （单消息信源空间） j v V ∈ （单消息信宿空间） 则有
()()i
j
i j i j u v d p u v d u v =∑∑
称d 为统计平均失真，它在信号空间中可以看作一类“距离”，它有性质 1〉()0i j d u v =, 当i j u v = 2〉
,()0min i j i j
u U v V
d u v ∈∈=
3〉0()i j d u v ≤<∞
对离散信源：i=j=1,2……..n, (),i j ij d u v d = 则有：
0,i j()
0,i j()ij d =?=?
≠?当无失真〉当
有失真 若取ij d 为汉明距离，则有： 0,i j()
1,i j()ij d =?=?
≠?
当无失真当有失真 对连续信源，失真可用二元函数d(u,v)表示。 则有：
2(,)()d u v u v u v
=-≠
=-
推而广之，d(u,v)可表示任何用v 表达u 时所引进的失真，误差，损失，风险，甚至是主观感觉上的差异等等。
进一步定义允许失真D 为平均失真的上界：
(,)(,)i j i j i ji ij i
j
i
j
D d p u v d u v p P d ≥==∑∑∑∑--对离散
在讨论信息率失真函数时，考虑到信源与信宿之间有一个无失真信道，称它为试验信道，对离散信源可记为ji P ，对限失真信源这一试验信道集合可定义为：
:D ji i ji ij i j P P D d p P d ??=≥=????
∑∑
根据前面在互信息中已讨论过的性质： (;)(;)i ji I U V I p P =
且互信息是i p 的上凸函数，其极限值存在且为信道容量：max (;)i
i ji p C I p P =
这里，我们给出其对偶定义：
()m i n (;)
m i n 4j i D
j i D
i j P P P P
R D I U V I p a c ∈∈== 即互信息是ji P 的下凸函数。其极限值存在且为信息率失真函数。 它还存在下列等效定义：
{}()min :(;)()ji R i ji ij
P P i j
R ji D R D d p P d P P I U V R ∈?=≥=??
?=≤?
∑∑给定速率 称D(R)为失真信息率函数，是R(D)的逆函数，它是求在允许最大速率情况下的最大失真D 。
至此，我们已给定R(D)函数一个初步描述。
)(U H D
由定义，R(D)函数是在限定失真为最大允许失真为D 时信源最小信息速率，它是通过改变试验信道ji p 特性（实际上是信源编码）来达到的。所以R(D)是表示不同D 值时对应的理论上最小信息速率值。
然而对于不同的实际信源，存在着不同类型的信源编码，即不同的试验信道特性'ji p 并可以求解出不同的信息率失真R ’(D)函数，它与理论上最佳的R(D)之间存在着差异，它反映了不同方式信源编码性能的优劣，这也正是R(D)函数的理论价值所在。特别对于连续信源，无失真是毫无意义的，这时R(D)函数具有更大的价值。
例：若有一个离散、等概率单消息（或无记忆）二元信源：011
()()2
p u p u ==
,且采用汉明距离作为失真度量标准：即????
?≠==j
i j i ij u u u u d 当当,
1,
0 若有一具体信源编码方案为：N 个
码元中允许错一个码元，实现时N 个码元仅送N-1个，剩下一个不送，在接收端用随机方式决定（为掷硬币方式）。此时，速率R ’及平均失真D 相应为：
11
'1/111,
2211'()112122N R b N N D N N R D D N N
-==-=?=∴
=-
=-?=-符号
若已知这一类信源理论上的1
()()()2
R D H H D =-（后面将进一步给出计算），则有
D
阴影范围表示实际信源编码方案与理论值间的差距，我们完全可以找到更好，即更靠近理论值，缩小阴影范围的信源编码，这就是工程界寻找好的信源编码的方向和任务。
§4-2 R(D)函数的性质
讨论R(D)性质以前先简要介绍R(D)的定义域。 对离散：[]max 0,D
对应R(D)值：(0)max ()()
R R D H p == max ()min (),0R D R D R D =→即当时值。
对连续：[]min max ,D D
min max ()()()min (),
0c R D H p R D R D R D ==∞=→即当时值
R(D)函数性质可用下列定理总结：
定理4－2－1：对离散、单个消息限定失真信源，其R(D)函数满足下列性质： （1）R(D)是D 的下凸（
?）函数；
（2）R(D)是D 的单调非增函数； （3）R(D)是D 的连续函数； （4）(0)()R D H p ==；
证明：（1）证明思路：根据R(D)函数定义，与下凸函数定义，只需证明： ['(1)"](')(1)(")R D D D R D R D θ
θθθθ=+-≤+-
首先证ji D P P θθ
∈，再利用互信息对ji P 的下凸性。即：若用ji P '与ji P ''表示达到(')R D 与(")R D 时的条件分布，且'"
(1)ji ji ji
P P P θθθ=+- 则有：
()[(1)]ji i ji ij i ji
ji ij i
j
i
j
d P p P d p P P d θθ
θθ'''==+-∑∑∑∑
(1)()(1)()'(1)"i ji
ij i ji ij i
j
i
j
ji
ji p P d p P d d P d P D D D θθθθθθθ'''=+-'''=+-≤+-=∑∑∑∑
这里()'ji
d P D '≤，()"ji d P D ''≤ 由{:()}ji ji D P P d P D θθθθ
=≤ 可得 ji D P P θθ
∈
再利用互信息对ji P 的下凸性，有
()min (;)(;)
(;)(1)(;)(')(1)(")
ji D i ji P P
i ji i ji
i ji R D I p P I p P I p P I p P R D R D θ
θ
θθ
θ
θθθθ∈=≤'''≤+-=+-
（2）设21D D ≥ 则21D D P P ?
2
1
21min (;)min (;)
()()
ji D ji D i ji i ji P P P P I p P I p P R D R D ∈∈∴
≤∴
≤
即R(D)是D 的单调非增函数。 （3）设'0'D D D D δ
δ=+→→当。
由D P 定义，有'D D P P →。
同时，由于(;)i ji I p P 是ji P 连续函数。 即当0,ji P δ→ 有(;)(;)i ji ji i ji I p P P I p P δ+→
'
(')min (;)()min (;)ji D ji D
i ji ji i ji P P P P R D I p P P R D I p P δ∈∈∴=+→= 即(')()R D R D →，R(D)是D
的连续函数。
（4）当0D =，即无失真时，i j u v ?，一一对应
1,0ji ij i j P i j δ=?==?
≠?时，，
时，
(0)(;)
(;)
log
1log
()
i ji i ij ij
i ij i
j
i
i i j
i
R I p P I p p p p p H p δδδ=∴=====∑∑∑
§4-3 离散信源R(D)函数计算： ()min (;)ji D
i ji P P R D I p p ∈=
可见，求解R(D)实质上是求解互信息的条件极值，可采用拉氏乘子法求解。但是，在一般情况下只能求得用参量（R(D)的斜率S ）来描述的参量表达式，并借助计算机进行迭代运算。
由信道容量C 与R(D)数学上对偶关系：
max (;)
()min (;)ji D
i
P P p C I X Y R D I U V ∈==
其迭代运算与求信道容量迭代运算相仿的。在正式讨论R(D)迭代运算前，这里，我们先介绍特殊情况下的R(D)计算。
具有等概率、对称失真信源的R(D)计算：
例1：有一个二元等概率平稳无记忆信源U ，且失真函数为：
1
2
1
0()1
10ij d ∞?? ?= ? ?∞?
?
试求其R(D)=? 解：由：i ji
ij i
j
D d p P d
≥=
∑∑
为了运算方便，取i ji
ij
i
j
D p P d
=
∑∑
上式中，已知：1
2
i p =
，D （允许失真）给定。 则ji ij P d ?一一对应。
这时，由概率归一性，可进一步假设：
100
1ji A A P A
A -??=
?-??
可见：0110A A ???
?-??∞??
代入上述公式，有
11
[00(1)1][00(1)1]2211
(1)(1)(1)22
i ji ij
i
j
D p P d A A A A A A A ==?+?∞+-?+?∞+?+-?=-+-=-∑∑再将它代入转移概率公式中：
10
1ji D D P D
D -??=
?-??
由：j i j i i
q p P =
∑
，得：11()(,,)22
j D D
q D --=
则：11()()(
,,)22
j D D H V H q H D --==
(/)()(1,)ji H V U H P H D D ==-
()(;)
[()(/)]
11(,,(1,)
22
112log log (1)log(1)log 22
(1)log 2(1)log(1)(1)log(1)(1)log 2
D D R D I U V H V H V U D D H D H D D D D
D D D D D D
D D D D D D ∴==---=---=?-+--+=----+--=-参量
参量
）－－
0=D 1
=D
例2：若有一个n 元等概率、平稳无记忆信源U ，且规定失真函数为：
1
12
2
n
n
????
????
?
??
------=011111101111110)(
n n n n n n d ij
试求R(D)=? 解：
110110()()11011
ij ji A A n n A
d P A A n n -?
??
?
?
?
--
? ?
? ?
=?=
? ? ? ?- ? ? ? ?--????
由1i p n =，求得 1(1)101(1)i ji ij i
j
A A
D p P d n n n A
n n n
-==-?
?+??=--∑∑
111[1(1)]1j i ji i A q p P n n n n n -==?+-?=-∑111
[1(1)]1j i ji i A q p P n n n n n -==?+-?=-∑
∴
()(;)[()()]j ji D D R D I U V H q H P ==-参量
参量
()(;)[()()]j ji D D R D I U V H q H P ==-参量参量
11(
)(1,)1
1
D D
H H D n
n n n =---- log (1)log(1)(1)
log
11
D D
n D D n n n =+--+--- log (,1)log(1)n H D D D n =----
取2n =，4，8，有
D
由上图可见 无失真0D =时 8(0)()3n R H p bit ===， ， 4(0)()2n R H p bi ===， ，
2(0)()1n R H p bit ===， ，
有失真，比如0.2D =时
OF
OE
K n OD OC
K n OB OA K n =
====
=248248，压缩比：，压缩比：，压缩比：
显然 ① 248K K K >>，进制n 越小，压缩比K 越大；
② D K ↑↑，，但相对关系不变，
允许失真D 越大，压缩比亦越大。
R(D)的参量表达式： 要讨论R(D)的计算，由R(D)函数定义，需要求下列约束条件下的互信息极值。
① {:
};D ji i ji
ij
i
j
P P p P d
d D ==≤∑∑
②
112 ji
j
P
i i n =?=∑，对，，；
③01
1
ji P i j i n j m ≥?==，对，，，；
求解这类极值有好几种方法：
变分法、拉氏乘子法、凸规划方法等等。这里引用最简单的拉氏乘子法。但是
它不能处理不等式约束关系，因此需对上述条件进行必要的修改，这时上述问题可归纳为在下列(1)n +组约束条件下：
）组约束（，，，对12111
+????
???=?===∑∑∑=n n i i P d P p d D m
j ji i j ij
ji i 求互信息(;)log
ji j ji i ji i
j
j
P I q P p P q =∑∑的极小值。
引用拉氏乘子法，并设S 与(12i i n μ=，
）分别表示(1)n +个约束条件的待定参
数，则有：
[(;)]0(1log )(1log )0
i ji i ji i j
ji j i ji i i ij i I p P SD P P q p P p Sp d μμ?
--=?-+++--=∑∑
求得 ij
Sd ji j i P q e λ= —— ①
由归一化条件有 1ij
Sd ji j i i
j
P q e
λ=
=∑∑
求得
1
ij
i Sd j j
q e
λ=
∑ —— ② 再将①式两边同乘i p 并对i 求和，且设q j
>0，则有
ij
Sd j i ji i j i i
i
q p P p q e
λ==∑∑
∴
1ij
Sd i i i
p e
λ=∑ —— ③
代②入③，得：
11ij
ij
Sd i
Sd i
j j
p e q e
=∑∑ —— ④
当信源给定0
i i p p =，选定S 与ij d 以后，它是一个求解m 个j q 的方程组，则可按下列
顺序求解：
(1,2)(1,)()()j i ji q j m i n P D S R S λ=??→=??→→→
最后求得参量方程如下：
()
()log ij ij ij Sd i j i ij i j Sd Sd j i i j i i j j D S p q e d q e
R S p q e q λλλ?=??
????=??
∑∑∑∑棗 ⑤
(l o g i
i i
SD S p
λ=+∑）
—— ⑥
这就是用参量s [()R D 的斜率]表达的()R D 函数形式，又称为参量方程。 定理4-3-1：'()R D S =，即R(D)斜率为参量S 。证明从略。
例：引用上述参量方程求解一个二进不等概率离散信源：121p p p p ==-，，且
01ij i j d i j =?=?
≠?，当，
，当，
其中12i j =，，，试求()?R D = 解：首先求参量
1λ与2λ
由公式③，有：
1111222111122222
exp()exp()1
exp()exp()1p Sd p Sd p Sd p Sd λλλλ+=??
+=? 求得
121[1]
1
(1)[1]
S S p e p e λλ=
+=
-+ 将它带入式②，有
1
11212112122221exp()exp()1exp()exp()q Sd q Sd q Sd q Sd λλ?
+=??
?
?+=
??
求得
12(1)1(1)1S S
S
S
p p e q e p pe q e --=
---=
- 再将1212q q λλ，带入⑤式()D S 中：
11111111121212()exp()exp()D S p q d Sd p q d Sd λλ=+
22121212222222exp()exp()p q d Sd p q d Sd λλ++
1S S
e e =+ ? log 1D
S D
=- 再将它带入
)(S R ，有：
12
log
log
11()()()log (1)log D D S S D
D
R D R S SD S p p λλ==--==++-
[log (1)log(1)][log (1)log(1)]
[,1][,1]
p p p p D D D D H p p H D D =-+--++--=---
取111
248
p =
，，，的曲线：
D
由图可见：
无失真：12
00
1D R bit ==，（） 14
0.8R bit =（） 18
0.6R bit =（） 限失真，比如0.1D =时
1112
48
1.00.80.6
0.670.450.17K K K ≈
<=<= 结论：1) 信源概率分布越不均匀，压缩比越大；
2) D 越大，压缩比也越大。
R(D)函数的迭代算法
首先让我们从信道容量C 与()R D 函数定义与数学上的对偶性来分析：
max (;)()max (;)
()max (;)
i
ji D
i i i
p P P p f F
C I X Y R
D I U V C F I X Y ∈≤===∑，
显然，我们可以利用求解信道容量的计算迭代公式的方法与思路求解()R D 函数。其关键步骤为：
1)寻求两个决定互信息的互为因果关系的自变量对，这里选
0(;),
j ji i i I q P p p =，且通过ji P 求极值；
2)对互信息求条件极值（极小值），引用拉氏乘子法；
具体求解步骤如下：
1) 两个自变量中首先固定ji P 值，则在满足
1j
j
q
=∑和i ji ij i
j
D p P d =∑∑的约束条
件下求(;)j j i I q P 的极小值。引用拉氏乘子法，有：
[(;)]0j ji j j
j I q P SD q q λ?
-+=?∑
即 0ji
i
j
i
P p
q λ-
+=∑ ， 求得：
1
j i
ji
i
q p P λ
=
∑，再由归一化条件
1
1
1j i ji j
i
j q p P λ
λ
==
=
∑∑∑? 1λ=，
再代入原式得： *
j i j i i
q p P =∑
—— ①
2) 再固定j q 值，在满足
1ji
j
P
=∑（对所有i 值）和i ji ij i
j
D p P d =∑∑的约束条件下求
(;)j ji I q P 极值：
[(;)]0j j i i j i i j
ji I q P SD P P λ?
-+=?∑∑ [1log
]0ji i i ij i j
P p Sp d q λ+-+=
?exp[(
1)]i
ji j ij i
P q Sd p λ=-+
由归一化条件，有
[
1]
1[]i
ij
i
Sd p ji j j
j
P q e
e
λ-+==?∑∑
求出： [
1]
1
i i
ij
p Sd j j
e
q e
λ-+=
∑ 再将它带入ji P 表达式，求得
*
ij
ij
Sd j ji Sd j
j
q e
P q e
=
∑ ——②
式与②式是两个基本迭代公式
若假设一个S 值，比如1S S =，通过①②逐次迭代，求得**
11(),()j ji q S P S ，代入互信
息公式中，求得
**
111()[(),()]j ji R S I q S P S =
再继续假设2S S =、3S 、4S 、5S 等。求得相应的2()R S 、3()R S 、4()R S 、5()R S 。最后再将其值连成一个曲线，即为()R D 函数曲线。
下面，为了迭代方便，可将①②改写为：
1ij
ij
n n
j i ji i Sd n j
n ji Sd n j j q p P q e P q e +?=???=??
?
∑∑棗 ③迭代公式棗 ④ 假设1S S =，则可按下列顺序迭代：（当信源给定0i i p p =，选一初始分布1
1
ji P m
=
） 12111+?→??→??→??→??→??→?=r ji r j r ji ji j ji
P q P P q m
P ④
③④④③
)1()()1()21()11(+≥≥-≥≥≥r r R r r R r r R R R ，，，，，
)(1S R
上述迭代至前后两值间误差小于给定值ε为止。可求得
111()
l i m m i n [();()]
j i
j
r r
j ji r P q R S I q S P
S →∞=
重新假设2S S =、3S 、4S 、5S ，分别求得2()R S 、3()R S 、4()R S 、5()
R S 。最
后连接各()i R S 值为一条曲线，即为所求的()R D 函数曲线。
§4-4 连续信源R(D)函数
⒈连续信源比离散信源更需要R(D)函数。因为连续信源信息量为无限大（取值无限），传送
∞信息量既无必要，也不可能。所以连续信源都是属于限失真范畴；
⒉连续信源R(D)与离散信源R(D)类似： 只需将概率换为概率密度 ()i p p u ? 求和换为积分 i
du ∑??
(;)ij d d u v ?
min inf ?
则当已知信源概率分布密度为()p u 、条件密度为()v P u
、失真函数为(,)d u v 、
信源平均失真(,)()()(,)v d u v p u P d u v dudv u ∞
-∞
=
??
而 {():()()(,)}D v v P P D d p u P d u v dudv u u ∞
-∞
=≥=?? 则有： ()()inf (;)D
v P P u
R D I U V ∈=
同样，可以求出类似于离散的参量表达式：
即在下述限制条件下：
()()(,)()1v D p u P d u v dudv
u
v P dv u u ∞-∞∞
-∞
?=???=????（对所有值）
求互信息
(;)()()log ()()log ()v v I U V p u P P dudv
u u q v q v dv
∞
-∞
∞
-∞=-???
的下确界。
引用变分，并引入待定常数S 和任意函数()u μ，再对()v P u
取变分，并置之为0。
所谓变分是指求泛函的极值。即
[(;)()()]0v I U V SD u du P dv u δμ∞∞
-∞-∞
--=?? 其求解顺序完全类似于离散情况，但需求解一个积分方程。最后结果为：
(,)()()()()(,)()()()log ()Sd u v D S p u q v e u d u v dudv
R S SD S p u u du λλ∞-∞∞
-∞
?=?
??=+????
连续信源能否有类似于离散信源的一些特殊情况，不需求解繁琐的积分方程
呢？的确存在，在某些情况下，比如(,)()d u v d u v =-时，求解可大大减化。即
若二元函数(,)d u v 仅与u 与v 差值有关，比如
22
()(,)u v d u v u v θ
θ?-=?=?
-=??
这时令参量()()()
k S u p u λ=
，设()0p u >，其中()
1
()Sd k S e
d θθ
∞
-∞
=?
，且()
()()Sd S k S e
g θθ=，
这时可求得：0()()()S p u q u g u =?
可见，由上述卷积表达式，无需求解积分方程就可以求得分布密度0()q u 。
进一步，若令()p z Φ、()S g z Φ和0()q z Φ分别表示()p u 、()S g u 和0()q u 的特征
函数，则由以上时域的卷积关系，求得下列特征函数间的关系如下：0()()()S p g q z z z Φ=Φ?Φ
∴ 0()()()
S p q g z z z ΦΦ=
Φ
则 001
()()2i z u
q q u z e d
z π
∞
--∞
=
Φ?
再由类似于离散信源的下列求解顺序：
0()()()()q u u D S R S λ→→→
例：若
2
2
()222()(,)()u m p u d u v u v σθ--?=
???=-=?棗正态棗
均方准则
当0S <时，求
2
1
()S k S e
d θθ
∞
-∞
=
=
?
则2
()
()()Sd S S g k S e
θθθ==
21
122S
θ-
-?=
即 1
()
(0,)2S g N S
θ-～
∴ 2222111()2242()g s
S z z z S
S
g z e
e
e σ---Φ===
而信源p(u)的特征函数为
()22
12
22
122
1122
4204()()()
2104()()~,imz z p s z g s s
imz z p z imz z e
q z e s z e
z e
q N m σσσσ--Φ-+ΦΦ=∴Φ=
=
=??∴+?
?
再由00()()q D s R s λ→→→最后求得：
2
2
()222()(,)()u m p u d u v u v σθ--?=
???=-=?棗正态棗
均方准则
11
21()log D
R D σ==当时
定理2-4-1：对任一连续非正态信源，若已知其方差为2
σ，熵为()c H U ，并规定失真
函数为2
(,)()d u v u v =-，则其R(D)满足下列不等式：
2
11
22()log2()log D
H U eD R D σπ-≤≤ （正态） （上限） 可见，在平均功率2
σ受限条件下，正态分布R(D)函数值最大，它是其他一切分布的上限值，也是信源压缩比中最小的。所以人们往往将它作为连续信源压缩比中最保守的估计值。
例：对连续有记忆信源R(D)函数计算相当复杂，下面考虑一个简单的特例：对一个广
义平稳遍历马氏链信源，且有2
()R τ
τσρ=，其中01ρ<<。现求其R(D)函数。
下面我们仅给出结果：
2
2(1)
12()log
D
R D σ
ρ-=
而 2(1)1D σρρ
-+≤
2
3
结论：
1）ρ↑（越大）， ()R D ↓（越小）， 压缩比↑ 2）
2
D
σ↑ ， ()R D ↓ ， 压缩比K ↑
下面利用连续信源的R(D)函数，进一步分析语音的波形编码： 为了分析方便，假设语音遵从平稳正态分布： 例1：分析PCM 编码及其压缩潜力：
现有PCM 编码是8KHz 采样率，8位编码，8*8=64Kb/s ，它认为样点间独立，且
每个样点8bit ，这时信噪比可达到入公用网26dB 的要求，在语音编码中信噪比是
2
2
26400()D D dB σσξ=??=倍，其中D 为噪声（允许失真）功率，由正态分布的信息率失
真函数的公式：
2
122122()log log 4004.3D
R D bit
σ===
实际语音的R(D)值要小于 4.3bit ，因为语音不遵从正态分布，而是近似遵从Laplace 分布（一级近似）、Gamma 分布（二级近似）。它们的R(D)函数值均小于正态分布的R(D)值，。可见，4.3bit 至PCM 8bit ，大约有一倍差距。
例2：若对语音编码进一步计入相关性，则其R(D)函数为：2212()log (1)R D D σρ=-，
则可算出其R(D)值，即对应压缩比（相对于PCM 编码64Kb/s ）
若计入语音分布R(D)值小于正态分布值，以及R(D)的主观特征，在25-26dB 要求
下，实际R(D)值大约等于2左右，可以获得大约4倍的压缩比。
例3：参量编码：
以英语为例，其音素大约为128~256个，按照通常讲话速率，每秒大约平均发出
10 个音素，这时语音信源给出的信息率为：
102102log (256)80/log (128)70/64914706480080I bit s I bit s
Kbit
K bit Kbit K bit
=======?上限下限上限下限
（倍）（倍）
第四章_信息率失真函数-习题答案
4.1 一个四元对称信源? ?????=??????4/14/1324/14/110)(X P X ，接收符号Y = {0, 1, 2, 3}，其失真矩阵为????? ???????0111 101111011110，求D max 和D min 及信源的R(D)函数，并画出其曲线（取4至5个点）。 解： 0041041041041),(min )(43041141141141),()(min min min max =?+?+?+?===?+?+?+?===∑∑i j i j i i j i i j j y x d x p D y x d x p D D 因为n 元等概信源率失真函数： ?? ? ??-??? ??-+-+=a D a D n a D a D n D R 1ln 11ln ln )( 其中a = 1, n = 4, 所以率失真函数为： ()()D D D D D R --++=1ln 13 ln 4ln )( 函数曲线： D 其中： symbol nat D R D symbol nat D R D symbol nat D R D symbol nat R D /0)(,4 3/12ln 2 14ln )(,21/3 16ln 214ln )(,41/4ln )0(,0==-==-==== 4.2 若某无记忆信源??????-=??????3/113/13/101)(X P X ，接收符号??????-=21,21Y ，其失真矩阵???? ??????=112211D 求信源的最大失真度和最小失真度，并求选择何种信道可达到该D max 和D min 的失真度。
第四章 信息率失真函数-习题答案
4.1 一个四元对称信源? ?????=??????4/14/1324/14/110)(X P X ，接收符号Y = {0, 1, 2, 3}，其失真矩阵为????? ???????0111 101111011110，求D max 和D min 及信源的R(D)函数，并画出其曲线（取4至5个点）。 解： 0041041041041),(min )(43041141141141),()(min min min max =?+?+?+?===?+?+?+?===∑∑i j i j i i j i i j j y x d x p D y x d x p D D 因为n 元等概信源率失真函数： ?? ? ??-??? ??-+-+=a D a D n a D a D n D R 1ln 11ln ln )( 其中a = 1, n = 4, 所以率失真函数为： ()()D D D D D R --++=1ln 13 ln 4ln )( 函数曲线： D 其中： sym bol nat D R D sym bol nat D R D sym bol nat D R D sym bol nat R D /0)(,4 3/12ln 2 14ln )(,21/3 16ln 214ln )(,41/4ln )0(,0==-==-==== 4.2 若某无记忆信源??????-=??????3/113/13/101)(X P X ，接收符号??????-=21,21Y ，其失真矩阵???? ??????=112211D 求信源的最大失真度和最小失真度，并求选择何种信道可达到该D max 和D min 的失真度。 4.3 某二元信源??????=??????2/12/110)(X P X 其失真矩阵为?? ????=a a D 00求这信源的D max 和D min 和R(D)
信息率失真函数.doc
第四章信息率失真函数（第九讲） （2课时） 主要内容：（1）平均失真和信息率失真函数（2）离散信源和连续信源的R（D）计算重点：失真函数、平均失真、信息率失真函数R（D）、信息率失真函数的计算。 难点：信息率失真函数R（D）、信息率失真函数的计算。 作业：4、lo 说明：本堂课推导内容较多，枯燥平淡，不易激发学生兴趣，要注意多讨论用途。另外，注意，解题方法。多加一些内容丰富知识和理解。 §4-1引言 （一）引入限失真的必要性： 失真在传输中是不可避免的； 接收者（信宿）无论是人还是机器设备，都有一定的分辨能力与灵敏度，超过分辨能力与灵敏度的信息传送过程是毫无意义的； 即使信宿能分辨、能判别，但对通信质量的影响不大，也可以称它为允许范围内的失真； 我们的目的就是研究不同的类型的客观信源与信宿，在给定的Qos要求下的最大允许（容忍）失真D,及其相应的信源最小信息率R（D）. 对限失真信源，应该传送的最小信息率是R（D）,而不是无失真情况下的信源爛H（U）. 显然H（U）2R（D）. 当且仅当D=0时，等号成立； 为了定量度量D,必须建立信源的客观失真度量，并与D建立定量关系； R（D）函数是限失真信源信息处理的理论基础； （二）R（D）函数的定义 信源与信宿联合空间上失真测度的定义：d （见叩:t/xV^/r[0,oo） 其屮：u*U（单消息信源空I'可） v y eV （单消息信宿空间） 则有 万=Y工〃（吧 称7为统计平均失真，它在信号空I'可屮可以看作一类“距离”，它有性质 1〉= 0,当比=Vj 2〉min 〃（吧）=°
3〉05〃(比/匕)<00 对离散信源：i=j=l,2............. n , d(upj) = djj, 则有： d 」0,当；可(无失真) 厂］〉0,当iHj (有失真) 若取冷为汉明距离，则有： Jo,当i = j (无失真) 厂［1,当iHj (有失真) 对连续信源，失真可用二元函数d(u,v)表示。 推而广之，d(u,v)可表示任何用V 表达U 时所引进的失真，误差，损失，风险，甚至是 主观感觉 上的差异等等。 进一步定义允许失真D 为平均失真的上界: D>d =工=工工〃￡皿???对离散 ? ? ? ? 在讨论信息率失真函数时，考虑到信源与信宿之I'可有一个无失真信道，称它为试验信 道，对离散信源可记为p 〃，对限失真信源这一试验信道集合可定义为： P D =\P ji -D>d = YLP ：P J^ 根据前面在互信息中已讨论过的性质: 1(U\ I,p ；j\ 且互信息是门的上凸函数，其极限值存在且为信道容量：C = max/(卫: p< ? 这里，我们给出其对偶定义： R(D)= mi 1Y U # ) m"pQp2,_ D P j f P D 陆 j i P D 即互信息是◎的下凸函数。其极限值存在且为信息率失真函数。 它还存在下列等效定义： D(R) = minD>d =工工门叽 < P 泸 P R i J P R = {? : /(t/；V) < R (给定速率)} 称D(R)为失真信息率函数，是R(D)的逆函数，它是求在允许最大速率情况下的最大 失真Do 至此，我们已给定R(D)函数一个初步描述。 则有: d(u. v)= (w-仍 H = \u-v
【免费下载】第四章 信息率失真函数 习题答案
4.1 一个四元对称信源，接收符号Y = {0, 1, 2, 3}，其失??????=??????4/14/1324/14/110)(X P X 真矩阵为，求D max 和D min 及信源的R(D)函数，并画出其曲线（取4至5个点）。????????????0111101111011110解： 0041041041041),(min )(43041141141141),()(min min min max =?+?+?+?===?+?+?+?===∑∑i j i j i i j i i j j y x d x p D y x d x p D D 因为n 元等概信源率失真函数：??? ??-??? ??-+-+=a D a D n a D a D n D R 1ln 11ln ln )(其中a = 1, n = 4, 所以率失真函数为： ()()D D D D D R --++=1ln 13ln 4ln )(函数曲线： D 其中：symbol nat D R D symbol nat D R D symbol nat D R D symbol nat R D /0)(,43/12ln 214ln )(,21/316ln 214ln )(,41/4ln )0(,0==-==-====4.2 若某无记忆信源，接收符号，其失真矩阵求信??????-=??????3/113/13/101)(X P X ??????-=21,21Y ??????????=112211D 源的最大失真度和最小失真度，并求选择何种信道可达到该D max 和D min 的失真度。
4.3 某二元信源其失真矩阵为求这信源的D max 和D min 和R(D)??????=??????2/12/110)(X P X ?? ????=a a D 00函数。解：0021021),(min )(202121),()(min min min max =?+?===?+?===∑∑i j i j i i j i i j j y x d x p D a a y x d x p D D 因为二元等概信源率失真函数：??? ??-=a D H n D R ln )(其中n = 2, 所以率失真函数为： ????????? ??-??? ??-+-=a D a D a D a D D R 1ln 1ln 2ln )(4.4 已知信源X = {0, 1}，信宿Y = {0, 1, 2}。设信源输入符号为等概率分布，而且失真函数，求信源的率失真函数R(D)。??????∞∞=1100D 4.5 设信源X = {0, 1, 2, 3}，信宿Y = {0, 1, 2, 3, 4, 5, 6}。且信源为无记忆、等概率分布。失真函数定义为 证明率失真函数R(D)如图所示。???????∞ ======且且且且53,21 41,010),(j i j i j i y x d j i log22log2D 4.6 设信源X = {0, 1, 2}，相应的概率分布p (0) = p (1) = 0.4，p (2) = 0.2。且失真函数为)2,1,0,(10),(=???≠==j i j i j i y x d j i (1) 求此信源的R(D)； (2) 若此信源用容量为C 的信道传递，请画出信道容量C 和其最小误码率P k 之间的曲线关系。 4.7 设0 < α, β < 1, α + β = 1。试证明：αR(D’) +βR(D”) ≥ R(αD’ +βD”) 4.8 试证明对于离散无记忆N 次扩展信源，有R N (D) = NR(D)。其中N 为任意正整数，D ≥ D min 。 4.9 设某地区的“晴天”概率p (晴) = 5/6，“雨天”概率p (雨) = 1/6，把“晴天”预报为“雨天”，把“雨天”预报为“晴天”造成的损失为a 元。又设该地区的天气预报系统把“晴天”预报为“晴天”，“雨天”预报为“雨天”的概率均为0.9；把把“晴天”预报为“雨天”，把“雨天”预报为“晴天”的概率均为
第4章 信息率失真函数
第四章 信息率失真函数 无失真信源编码和有噪信道编码告诉我们：只要信道的信息传输速率 R 小于信道容量 C ，总能找到一种编码方法,使得在该信道上的信息传输的差错概率 P e 任意小；反之，若信道的信息传输速率大于信道容量，则不可能使信息传输差错概率任意小。但是，无失真的编码并非总是必要的。无失真的编码并非总是可能的。在实际信息传输系统中，失真是不可避免的，有时甚至是必须的。 香农首先定义了信息率失真函数R(D)，并论述了关于这个函数的基本定理。定理指出：在允许一定失真度D 的情况下，信源输出的信息传输率可压缩到R(D)值，这就从理论上给出了信息传输率与允许失真之间的关系，奠定了信息率失真理论的基础。信息率失真理论是进行量化、数模转换、频带压缩和数据压缩的理论基础。 本章主要介绍信息率失真理论的基本内容，侧重讨论离散无记忆信源。首先给出信源的失真度和信息率失真函数的定义与性质；然后讨论离散信源和连续信源的信息率失真函数计算；在这基础上论述保真度准则下的信源编码定理。 1 失真测度 1.1 失真度 从直观感觉可知，若允许失真越大，信息传输率可 越小；若允许失真越小，信息传输率需越大。所以信息传输率与信源编码所引起的失真(或误差)是有关的。 离散无记忆信源U ，信源变量U ＝{u1,u2,…ur}，概率分布为P(u)＝[P(u1),P(u2),…P(ur)] 。 信源符号通过信道传输到某接收端，接收端的接收变量V ＝ {v1,v2,…vs} 。 对应于每一对(u,v)，我们指定一个非负的函数： 称为单个符号的失真度(或失真函数)。 通常较小的d 值代表较小的失真，而d(ui,vj)＝0表示没有失真。 若信源变量U 有r 个符号，接收变量V 有s 个符号，则d(ui,vj)就有r ×s 个,它可以排列成矩阵形式，即： 它为失真矩阵D ，是 r ×s 阶矩阵。 须强调: 这里假设U 是信源，V 是信宿，那么U 和V 之间必有信道。实际这里U 指的是原始的未失真信源，而V 是指失真以后的信源。因此，从U 到V 之间实际上是失真算法，所以这里的转移概率p(vj/ui)是指一种失真算法，有时又把p(vj/ui) 称为试验信道的转移概率，如图所示： j i j i v u d j i ≠=???>=)0(0),(α????????????=),(...),(),(:...::),(...),(),(),(...),(),(212221212111s r r r s s v u d v u d v u d v u d v u d v u d v u d v u d v u d D
信息率失真函数
第四章 信息率失真函数（第九讲） （2课时） 主要内容：（1）平均失真和信息率失真函数（2）离散信源和连续信源的R(D)计算 重点：失真函数、平均失真、信息率失真函数R(D)、信息率失真函数的计算。 难点：信息率失真函数R(D)、信息率失真函数的计算。 作业：4、1。 说明：本堂课推导内容较多，枯燥平淡，不易激发学生兴趣，要注意多讨论用途。另外，注意，解题方法。多加一些内容丰富知识和理解。 §4-1 引言 （一） 引入限失真的必要性： 失真在传输中是不可避免的; 接收者（信宿）无论是人还是机器设备，都有一定的分辨能力与灵敏度，超过分辨能力与灵敏度的信息传送过程是毫无意义的; 即使信宿能分辨、能判别，但对通信质量的影响不大，也可以称它为允许范围内的失真； 我们的目的就是研究不同的类型的客观信源与信宿，在给定的Qos 要求下的最大允许（容忍）失真D ，及其相应的信源最小信息率R(D). 对限失真信源，应该传送的最小信息率是R(D)，而不是无失真情况下的信源熵H(U). 显然 H(U)≥R(D). 当且仅当 D=0时，等号成立； 为了定量度量D ，必须建立信源的客观失真度量，并与D 建立定量关系； R(D)函数是限失真信源信息处理的理论基础； （二） R(D)函数的定义 信源与信宿联合空间上失真测度的定义：()i j d u v : [0,)U V R + ?→∞ 其中： i u U ∈ （单消息信源空间） j v V ∈ （单消息信宿空间） 则有 ()()i j i j i j u v d p u v d u v =∑∑ 称d 为统计平均失真，它在信号空间中可以看作一类“距离”，它有性质 1〉()0i j d u v =, 当i j u v = 2〉 ,()0min i j i j u U v V d u v ∈∈=