第四章-信息率失真函数（一）

第4章　信息率失真函数

主要内容 ：

4.1  平均失真和信息率失真函数

4.2  离散信源和连续信源的R(D)的计算

4.1  平均失真和信息率失真函数

4.1.1  失真函数

假如某一信源X，输出样值为xi，xi{a1,…an}，经过有失真的信源编码器，输出Y，样值为yj，yj {b1,…bm}。如果xi＝yj，则认为没有失真；如果xi  yj，那么就产生了失真。失真的大小，用一个量来表示，即失真函数d(xi，yj)，以衡量用yj代替xi所引起的失真程度。一般失真函数定义为

失真矩阵

单个符号的失真度的全体构成的矩阵，称为失真矩阵

最常用的失真函数

前三种失真函数适用于连续信源，后一种适用于离散信源。  

序列失真函数

推广到序列编码

如果假定离散信源输出符号序列X=(X1X2…Xl…XL)，其中L长符号序列样值xi＝(xi1xi2…xil…xiL)，经信源编码后，输出符号序列Y=(Y 1Y 2…Y l…Y L)，其中L长符号序列样值yj＝(yj1yj2…yjl…yjL)，则失真函数定义为：  

其中d(xil，yjl)是信源输出L长符号样值xi中的第l个符号xil时，编码输出L长符号样值yj中的第l个符号yjl的失真函数。

4.1.2  平均失真                  

xi和yj都是随机变量，失真函数d(xi，yj)也是随机变量

限失真时的失真值，只能用它的数学期望或统计平均值，因此将失真函数的数学期望称为平均失真，记为  

对于连续随机变量同样可以定义平均失真

对于L长序列编码情况，平均失真为

4.1.3  信息率失真函数R(D)

信源编码器的目的

使编码后所需的信息传输率R尽量小

R越小，引起的平均失真就越大

给出一个失真的限制值D，在满足平均失真 D的条件下，选择一种编码方法使信息率R尽可能小。

信息率R就是所需输出的有关信源X的信息量。

将此问题对应到信道，

接收端Y需要获得的有关X的信息量，也就是互信息I(X;Y)。

这样，选择信源编码方法的问题就变成了选择假想信道的问题，符号转移概率p(yj/xi)就对应信道转移概率。

1、 D允许试验信道

平均失真由信源分布p(xi)、假想信道的转移概率p(yj/xi)和失真函数d(xi，yj)决定，若p(xi)和d(xi，yj)已定，则可给出满足x下式条件的所有转移概率分布pij，它们构成了一个信道集合PD

称为D允许试验信道。

l  满足保真度准则下，寻找再现信源消息所必须获得的最低平均信息量

l  接收端获得的平均信息量可用平均互信息I(X;Y)来表示

l  问题转化成：满足保真度准则的条件下，寻找平均互信息I(X;Y)的最小值

l  在D失真许可的所有试验信道集合PD中，寻找一个信道p(yj/xi)，使I(X;Y)取极小值

2、  信息率失真函数R(D)

互信息取决于信源分布和信道转移概率分布

当p(xi)一定时，互信息I是关于p(yj/xi) 的U型凸函数，存在极小值。

在上述允许信道PD中，可以寻找一种信道pij，使给定的信源p(xi)经过此信道传输后，互信息I(X；Y)达到最小。

该最小的互信息就称为信息率失真函数R(D)，即

单位：bit/信源符号

对于离散无记忆信源，R(D)函数可写成

p(ai)，i＝1，2，…，n     是信源符号概率分布；

p(bj/ai)，i＝1，2，…，n，j＝1，2，…，m  是转移概率分布；

p(bj)，j＝1，2，…，m    是接收端收到符号概率分布。

信息率失真函数给出了熵压缩编码可能达到的最小熵率与失真的关系

4.1.4  信息率失真函数的性质

1. R(D)函数的定义域和值域

    ⑴  定义域

     [0, Dmax]

     Dmin和R(Dmin)

         Dmin＝0   

          对于连续信源

   (2)  D_max和R(D_max)

选择所有满足R(D)＝0中D的最小值，定义为R(D)定义域的上限Dmax，即

因此可以得到R(D)的定义域为

2、R(D)函数的下凸性和连续性

3、R(D)函数的单调递减性

    容许的失真度越大，所要求的信息率越小。反之亦然。

结论：

l  R(D)是非负的实数，即R(D)  0。

l  定义域为0～Dmax，其值为0～H(X)。

l  当D>Dmax时，R(D)  0。

l  R(D)是关于D的下凸函数，因而也是关于D的连续函数。

l  R(D)是关于D的严格递减函数。

对一般R(D)曲线的形态可以画出来：