第四章(Part2) 信息论基础知识(1)
信息论基础知识主要内容：
信源的数学模型
信源编码定理
信源编码算法
信道容量
通信的容限
引言
一、信息论的研究范畴
信息论是研究信息的基本性质及度量方法，研究信息的
获取、传输、存储和处理的一般规律的科学。
狭义信息论：通信的数学理论，主要研究信息的度量方法，各种信源、信道的描述和信源、信道的编码定理。
实用信息论：信息传输和处理问题，也就是狭义信息论方法在调制解调、编码译码以及检测理论等领域的应用。
广义信息论，包括信息论在自然和社会中的新的应用，
如模式识别、机器翻译、自学习自组织系统、心理学、生物学、经济学、社会学等一切与信息问题有关的领域。
信息进行压缩后，依然可以从已压缩信息中以无差错或低差错恢复的最低速率是多少？通信信道中，信息能够可靠传输的最高速率是多少？二、信息论回答的问题噪声信道编码定理香农信源编码理论
最佳系统的复杂度是多少？
三、香农的贡献
美国数学家，信息论的创始人。
创造性的采用概率论的方法来研究通信中的问题，并且对信息给予了科学的定量描述，第一次提出了信息熵的概念。
1948年，《通信的数学理论》(A mathematical theory of communication ) 以及1949年，《噪声下的通信》标志了信息论的创立。
1949年，《保密通信的信息理论》，用信息论的观点对信息保密问题做
了全面的论述，奠定了密码学的基础。
1959年，《保真度准则下的离散信源编码定理》，它是数据压缩的数学
基础，为信源编码的研究奠定了基础。
1961年发表“双路通信信道”，开拓了多用户信息理论（网络信息论）
的研究；
四、信息论发展历史
1924年奈奎斯特(Nyquist,H.)总结了信号带宽和信息速率之
间的关系。
1928年哈特莱(Hartley,L.V.R)研究了通信系统传输信息的能
力，给出了信息度量的方法。
1936年阿姆斯特朗(Armstrong)提出增大带宽可以使抗干扰
能力加强。
1948年香农，《通信的数学理论》(A mathematical theory
of communication )标志了信息论的创立；
1949年香农，《保密通信的信息理论》，用信息论的观点
对信息保密问题做了全面的论述，奠定了密码学的基础。
1959年香农，《无失真信源编码》，它是数据压缩的数学
基础，为信源编码的研究奠定了基础。
1972年盖弗的广播信道研究论文，研究热点转向多用户。
A1、信息论的应用（通信领域）
限失真信源编码的应用：语音信号压缩，根据香农定理语音信号所需的编码速率可以远低于奈奎斯特采样定理所决定的
速率：
1972年长途电话网标准的编码速率为64kbit/s，到1995年则为6.3kbit/s
；1989年GSM标准的编码速率为13.2kbit/s，1994年降至5.6kbit/s
；
在实验室目前已经实现600bit/s的低速率语音编码，特别是按音素识别与合成原理构造的声码器其速率可低于100bit/s，这已经接近香农极限。无失真信源编码的应用
：文件和图像的压缩
1989年的电视电话/会议压缩标准H.261
；
1991年的“多灰度静止图像压缩编码标准”JPEG
；
随后的MPEG-1、MPEG-2以及目前的MPEG-4。
有噪信道编码的应用：模拟话路中数据传输速率的提高早期的调制解调器300bit/s；
随后速率逐步提高4800bit/s，9600bit/s，14.4kbits/s，
19.2kbits/s，28.8kbits/s，56kbits/s；
目前2Mkbits/s
信源是产生消息的源，根据信源的不同情况可分为：
离散信源
消息集X
为离散集
合。波形信源时间连续的信源。
连续信源时间离散而空间连续的信
源。无记忆信源X 的各时刻取值相互独立。
有记忆信源X 的各时刻取值互相有关联。
信源的数学模型
根据信源的统计特性，离散信源又分为两种：
离散无记忆信源(Discrete Memoryless Source ，简记为DMS)是时间离散、幅度离散的随机过程。不同时刻的随机变量是独立同分布的，且符号集中的符号数目是有限的或可数的。离散无记忆信源的数学模型为离散型的概率空间，即：
1212()()()()N N x x x X P X P x P x P x ????=????????
P (x i )：信源输出符号x i 的先验概率;
满足：0 ≤P (x i ) ≤1，1 ≤i ≤N ，1
()1N i
i P x ==∑一、离散无记忆信源
二、离散信源的信息量
一个符号它所携带的信息量是和该符号出现的概率有关，即概率可以表征其自信息量的大小。
1()log log ()()
i i i I x P x P x ==-
三、信源的熵
自信息量的加权平均值为信源的平均信息量，即信源的熵
1()()log ()
N
i i i H X P x P x ==-∑信源的熵具有以下两种物理含义：
1）表示信源输出前信源的平均不确定性。
2）表示信源输出后，每个符号所携带的平均信息量。
四、信息速率
信息速率：信源每秒钟发出的熵（bit/s ）
1
()()log ()
N
i i i R rH X r P x P x ===-∑r 为信源发出的消息速率，这里的消息可以为符号、码源、采样值等。
例1: 一个带宽为4000Hz 的信源以奈奎斯特速率抽样，设其抽样序列可表示为符号集为{-2，-1，0，1，2}的DMS ，相应的概率为{1/2，1/4，1/8，1/16，1/16}。求信息速率。解：信源的熵为
111115()log 2log 4log82log16/248168
H X bit Sample =+++?=根据奈奎斯特抽样定理，抽样速率为每秒8000次，
则信息速率为：
15()8000150008
R rH X bps ==?=
五、联合熵和条件熵
1、两个随机变量(X ,Y )的联合熵定义为：
(,)(,)log (,)
i j i j i j
H X Y P x y P x y =-∑∑2、随机变量X 对应于给定随机变量Y 的条件熵定义为：
(|)(,)log (|)
i j i j i j
H X Y P x y P x y =-∑∑(,)()(|)
H X Y H Y H X Y =+(,)()(|)
H X Y H X H Y X =+3、二者的联系：
六、互信息
(;)()(|)()(|)
I X Y H X H X Y H Y H Y X =-=-七、微分熵（连续信源熵）
()()log ()X X h X f x f x dx
+∞
-∞=-?两个离散随机变量X 和Y 的互信息量定义为：
连续信源定义一个类似熵的量，称微分熵：
微分熵不具有离散熵的直观意义。
信源编码定理
信源编码定理（香农第一定理）：对于熵为H的信源，当信源速率为R时，只要R>H，就能以任意小的错误概率进行编码。反之，如果R 信源的熵为H时进行无失真编码的理论极限。低于此极 限的无失真编码方法是不存在的，这是熵编码的理论基础。 该定理给出了信源编码的存在性，但是并没有给出编码的算法和如何达到预期的性能。 无记忆离散信道的容量定义为其中信道输入X 和输出Y 的互信息量。为信源的概率分布。如果传输速率R 速率R 和容量C 的单位都是比特/传输一次。 容量C 还可以用单位时间内传输的比特数来表示。 信道编码定理和信道容量 ()max (;)i P x C I X Y (;)I X Y ()i P x 一、有噪信道编码定理 1、香农公式：假设信道的带宽为B (Hz)，信道输出的信号功率为S (W)及输出加性带限高斯白噪声功率为N (W)，则信道的容量为 (bit/s) 1log 2??? ? ?+=N S B C 信息论中著名的香农（Shannon ）公式。 当信号与作用在信道上的起伏噪声的平均功率给定时，在具有一定频带宽度B 的信道上，理论上单位时间内可能传输的信息量的极限数值。 二、香农公式 2、香农公式的另一形式：若噪声单边功率谱密度为n 0，噪声功率N =n 0B ，则(bit/s) 1log 02??? ? ??+=B n S B C a) 增大信号功率S 可以增加信道容量C 。 若信号功率S 趋于无穷大时，则信道容量C 也趋于无穷大 20lim lim log 1S S S C B n B →∞→∞??=+→∞ ?? ?b) 减小噪声功率谱密度n 0也可以增加信道容量C 。 若n 0趋于零，则C 趋于无穷大 3、关于香农公式的几点讨论 （1）在给定B、S/N的情况下，信道的极限传输能力为C，而且此时能够做到无差错传输（即差错率为零）。 （2）提高信道容量的方法: 002000lim lim log 1n n S C B n B →→??=+→∞ ?? ? 当信道带宽B 趋于无穷大时，信道容量C 的极限值为 20lim lim log 1B B S C B n B →∞→∞??=+ ?? ?0200lim log 1B n B S S n S n B →∞??=+ ??? 2044.1log n S e n S ==c)增大信道带宽B 可以增加信道容量C ，但不能使信道容量C 无限制地增大。 （3）信道容量可以通过系统带宽与信噪比的互换而保持不变。 若增加信道带宽，可以适当降低信噪比，反之亦然。当信道容量C 给定时，B 1，S 1/N 1和B 2，S 2/N 2分别表示互换前后的带宽和信噪比，则有 ???? ? ?+=???? ??+222211211log 1log N S B N S B （4）当信道传输的信息量不变时，信道带宽B、信噪比S/N 及传输时间三者是可以互换的。 若信噪比不变，那么增加信道带宽可以换取传输时间的减少，反之亦然。