4.2 离散无记忆信源R(D)的计算解析
信息率失真函数
描述某个信源在某一试验信道传输下的 失真大小,它对信源和信道进行了统计平 均,是从总体上描述整个系统的失真
8
3、L长序列编码平均失真
❖ 如X编长l…果 码 符假 后 号Xn,定 序}输,其离 列出中散y符j=L信[号长y源j1序符y输j2列号…入Y序y=符j列L{Y]号x1iY序=2[…列xi1YXxil＝2……{YXxmi1L}X],,其经2…中信L源
❖ 离散无记忆信源
13
例2 已知编码器输入的概率分布为p(x)={0.5 ,0.5} 信道矩阵 求互信息
14
若编码器输入的概率分布不变仍为p(x)={0.5 ,0.5} 但信道矩阵 求互信息
• 可见当p(x)一定时,I (X,Y)随信道矩阵p(yj|xi)而变。 • 因为p(x)分布一定时,信道受干扰不同所能传递的
信道容量：
信息率失真函数：
16
信道容量和信息率失真函数的区别
2、反映的事物不同
• 信道容量：
– 假定信道固定的前提下,选择一种试验信源使信息 传输率最大。
– 它所反映的是信道传输信息的能力,是信道可靠传 送的最大信息传输率。
• 一旦找到了信道容量,它就与信源不再有关,而是信
道特性的参量,随信道特性的变化而变化
6
4.11、.2单平符号均离失散信真源的平均失真
❖ x是i和随y机j都变是量随,有机限变失量真,所时以的失信真源函（数总d(体xi,）yj)失也 真值只能用数学期望表示
❖ 将失真函数的数学期望称为平均失真：
7
2、两者的区别平均失真
失真函数d(xi,yj)： 描述了某个信源符号通过传输后失真的 大小
信息量是不同的。 • 当p(x)一定时,I (X,Y)是关于p(yj|xi)的下凸函数。 • 因此当改变p(yj|xi)时,I (X,Y)有一极小值。
信息论与编码2016(第4章)
§4.2 离散无记忆信道 对称DMC容量的计算
P的所有列都是第一列的一种置换，信 道是关于输出对称的
0 .8 0 .2 P 0 .5 0 .5 0 .2 0 .8
§4.2 离散无记忆信道
命题2 若DMC关于输出为对称的，则当输入分布等概时，输 出分布等概。 证明 此时{p(y|x)，x=0~ K-1}与{p(0|x)，x=0~ K-1}互为置换。 设q(x)=1/K，x∈{0, 1, …, K-1}。则
q( z ) p( y | z )
都取一个相同的值；对任何满足q(k)=0的k，I(X=k; Y)都 不大于此相同的值。 （2）此时此相同的值恰好就是信道容量C。
§4.2 离散无记忆信道
注解
如果对DMC信道没有任何简化，要计算最佳输 入分布并不容易。但是，通常使用的DMC是很简单 的（比如，以下的准对称信道和对称信道），最佳 输入分布很容易求出。
§4.2 ቤተ መጻሕፍቲ ባይዱ散无记忆信道
定理4.2.2(p91) （1）输入概率分布{x, q(x), x∈{0, 1, …, K-1}}是最佳输入分 布的充分必要条件为：对任何满足q(k)>0的k，
I ( X k ; Y ) p( y | k ) log K 1
y 0 z 0 J 1
p( y | k )
第四章：信道及其容量
§4.1 §4.2 §4.5 §4.6 §4.7 信道分类 离散无记忆信道 信道的组合 时间离散的无记忆连续信道 波形信道
5
§4.1 信道分类
所有信道都有一个输入集A，一个输出集B以及 两者之间的联系，如条件概率P(y│x)，x∈A， y∈B。这些参量可用来规定一条信道。
《信号处理原理》 第4章 信息失真率
d(0,2)=d(1,2)=0.5
则得失真矩阵
d
0 1
1 0
0.5 0.5
4.1 平均失真和信息率失真函数
说明：失真函数d (xi, yj) 的数值是依据实际应 用情况，用 yj代替xi, 所导致的失真大小是人为决 定的。比如上例中，用y=2代替x=0和x=1所导致 的失真程度相同，用0.5表示；而用y=0代替x=1 所导致的失真程度要大，用1表示。失真函数d (xi, yj) 的函数形式可以根据需要任意选取，例如平方 代价函数、绝对代价函数、均匀代价函数等。
信源编码器的目的是使编码后所需的信 息传输率R尽量小，然而R越小，引起的平 均失真就越大。给出一个失真的限制值D，
在满足平均失真 D D的条件下，选择一种
编码方法使信息率R尽可能小。信息率R就 是所需输出的有关信源X的信息量。
16
4.1 平均失真和信息率失真函数
将此问题对应到信道，即为接收端Y需要 获得的有关X的信息量，也就是互信息 I(X;Y)。这样，选择信源编码方法的问题就 变成了选择假想信道的问题，符号转移概 率p(yj/xi)就对应信道转移概率。
输入符号集 X:{a1, a2, …, an}中有n种不同的符 号xi (i =1, 2, …, n) ；输出符号集Y:{b1, b2, …, bm}中有m种不同的符号yj (j =1, 2, …, m)；对于 图所示的系统，对应于每一对(xi, yj)(i = 1, 2, …,n；j=1, 2, …, m)，定义一个非负实值函数
平均失真D是对给定信源分布p(ai)经过某一种 转移概率分布为p(bj|ai)的有失真信源编码器后产 生失真的总体量度。
13
4.1 平均失真和信息率失真函数
信息论与编码第三版 第4章
p( x)
信息论与编码
3. 根据平均互信息量I（X; Y）达到信道容量的充要条件式对C进行验证：
p ( y j ) p ( xi ) p ( y j / xi )
i 1 3
1 P 0 0
0 1/ 2 0
0 1/ 2 0
0 0 1/6
x1 x2 x3 x4 x5
1 1 1 1 1
y1 y2 y3 y4 y5
1 0 P 0 0 0
0 1 0 0 0
0 0 1 0 0
0 0 0 1 0
0 0 0 0 1
【解】 该信道的信道容量为：
C max I ( X ; Y ) max H ( X ) log 5
C max I ( X ; Y ) max H (Y )
p( x) p( x)
由于
p( y ) p( x) p( y / x)，由于信道转移概率是确定的，求使H (
X
Y)
达到最大值的p ( x )的最佳分布就转化为求p ( y )的最佳分布。由极大离 散熵定理知，在p ( y )等概率分布时，H ( Y ) 达到最大，则
I ( x2 ; Y ) p ( y j / x2 ) log
j 1 2
p ( y j / x2 ) p( y j ) p ( y j / x3 ) p( y j ) p ( y j / x4 ) p( y j ) p ( y j / x5 ) p( y j )
1 log
1 1/ 2
log 2
I ( x3 ; Y ) p ( y j / x3 ) log
j 1 2
1 log
离散无记忆信道的信道容量计算实验报告PPT课件
2.信道容量算法
信道容量是互信息的最大值，首先要将信道容量求极值得问题表示 为二重交替优化问题。
（1）
• 运行结 果
(2)
实验结果(1)：输入概率转移矩阵是之前例题中的概率转移矩阵，迭代 次数为11和70次，经验证，迭代程序结果比例题中的一般信道容量算 法更为精确。
实验结果(2)：迭代次数为4，迭代结果为1.3219，经验算发现此输入 概率转移矩阵的实际结果为1.329，误差不大，符合要求，另外精度越 高，结果越接近。
离散无记忆信道的迭代运算
一、为什么要迭代？
(*)
（1）解方程组求出的输入分布 {P(x)}可能不唯一，因为可能有多个 极值点；
（2）需要验证求出的输入分布序列 是否符合要求。
（2）从达到DMC的信道容量的充要条件出发:
二、Blahut-Arimoto算法
1.交替优化
（2）、通过轮流固定f的其中一个自变量，对另一个没固定的 自变量求极值，由此来确定受此自变量影响下的最值。下一 次对另一个自变量也如此操作，循环往复形成迭代。
程序部分
• 程序设计思路
• （1）参数输入模块
• （2）判断模块
判断矩阵中的元素是否 >=0且<=1
判断矩阵的行相加是否 都为1
• （3）迭代模块1
• （4）迭代模块2
• （5）输出模块Байду номын сангаас
• P116 4.3 (b)
• 一般的DMC
• 一般的DMC
概率矩阵：
参考文献
[1]王育民、李晖 .《信息论与编码理论第二版》[M]北京：高等教育出版社，2013.4 96-101 [2]辛英.《离散信道容量的迭代算法及其实现》[D]山东：山东工商学院，1994 [3]徐伟业 耿苏燕 马湘蓉 冯月芹.《任意DMC信道容量的计算与仿真》[D]南京：南京工程学院 2017
信息论基础与编码课件第四章 信息率失真函数
同样，可得Pij时的平均互信息为 I''(X;Y)0.37b9i/t符号
从此例我们可以看到，若固定P(x)不变时，平均互信息量随信
道的转移概率的变化而变化。这是因为信道受到干扰的作用 不同，传递的信息量也不同。可以证明这样一个结论：P(x)一 定时，平均互信息量I(X;Y)是关于信道的转移概率的下凸函数， 即存在一极小值。
m × n个 p i j 的值，代入平均失真的公式中，可解出随S参数值变
化的D值，即
D (S ) p ip j id ij p ip ij ie S d ijd ij （4-16）
ij
ij
25
离散信源的R(D)函数及其计算(续)
信源的信息率失真函数R(D)为
R (S ) i
j
pi p j i e Sdij
源输出符号序列 X (X 1 ,X 2 , ,X L ) ，其中L长符号序列样
值 Y(Y 1,Y 2, ,Y L) ，经信源编码后，输出符号序
列 x i (x i1 ,x i2 , ,x iL )
，其中L长符号序列样
值 y i (y i1 ,y i2 , ,y iL )，则失真函数定义为：
1L
dL(xi,yj)Ll1d(xil,yjl)
其中d(xil，yjl)是信源输出L长符号样值 x i 中的第l个符号xil时，
编码输出L长符号样值 中的y i 第l个符号yjl的失真函数。
7
平均失真
定义平均失真度为失真函数的数学期望，即 d ( xi , yj ) 在 X 和 Y的 联合概率空间 P(XY ) 中的统计平均值
nm
D E [d (x i,y j)] p (x i)p (y j|x i)d (x i,y j) （4-4） i 1j 1
第5讲离散无记忆信源
尤为重要的是：
一类重要的符号序列有记忆离散信源----马尔可夫 信源： 某一个符号出现的概率只与前面一个或有限个 符号有关，而不依赖更前面的那些符号。
2.2 离散无记忆扩展信源
1. 单个符号的离散信源----每次只发出一个符号代表一 个消息，且消息数量有限。
a1 X P p ( a1 ) a2 p ( a2 ) p ( ar ) ar
则称此信源为离散平稳信源。 注：平稳信源既是指在发出符号不变的前提下，发出符号 概率不依时间而改变，今后不特别说明时，我们提到的信 源都是平稳信源。
2、平稳信源等价条件
p ( xk ) p ( xt ) p( x x ) p( x x ) k k 1 t t 1 (1) p ( xk xk N ) p ( xt xt N )
符号集
X {a1 , a2 ,
r
, ar },
i
p ai 0
p(a ) 1
i 1
2. 发出符号序列离散信源－－每次发出一组 含两个以上的符号序列来代表一个消息
信源X输出用N维随机序列（随机矢量）
X X 1 X2 Xl X N 来描述信源输出的消息，
用联合概率分布来表示信源特性。在上述随机矢量 中，若每个随机变量 X i (i 1, 2,
中每个符号才能使得X i 有r N 个，因此相当如后式中的i1 ,
, iN 都从
注2、
H(XN)=NH(X):每个消息所能提供的平均信息量为每个信源
符号平均信息量的N倍。
X a1 例1、设信源空间 1 P 4 信源的熵？
解：X 2的概率空间为
a2 1 2
4.2 离散无记忆信源R(D)的计算_万方通信
2019/1/14
7
例：求d(x,y)=(y-x)2的Dmax和信息率失真 函数R(D)。 min[ p( x)d ( x, y)dx] 解：连续信源的Dmax， D
max y
y
而 （x ）p( x)dx ，即 x p( x)dx
2 2 2
2
D
Dmax min[ 2 2 2 y y 2 ]
y
2
2019/1/14
10
结论：
若失真函数为均方失真，即d(x,y)=(x-y)2时,连续 1 D 信源的信息率失真函数 R( D) ln( max ) ，且
第4章 信息率失真函数
2019/1/14
1
4.1 基本概念
4.2 离散无记忆信源R(D)的计算 4.3 连续无记忆信源R(D)的计算 4.4 信道容量和信息率失真函数的比较
2019/1/14
2
4.2 离散无记忆信源R(D)的计算
参量表达式法求R(D)及P(Y/X)，具体推导略， 见p111页。
X x1 x2 0 1 ，其中 p ，失真矩阵为 D , 输出Y 0,1 P( X ) p 1 p 2 0
Dj 解：（1） Dmax min j 0 min p 1 p j 0 min(1 p ) , p
依据：平均互信息I是信源概率分布p(xi)的严格上 凸函数。
（2）信息率失真函数：求选择某一试验信道（转 移概率分布）的情况下，依据保真度准则，求平均 互信息的极小值。
信息论与编码技术Chap4 思考题与习题 khdaw
， λ 满足
∑D
k =1
K
k
=D
(a) m
(b ) m
≥ ∑ h( x i ) − ∑ h( x i | x ˆi ) i =1 i =1
m
m
m
(c) m
i =1
(d ) m
其中 D = E ( X − ˆ i X
课
真函数定义，（d）高斯变量的率失真函数。式中有两个不等号，其中 （b）
当q( x | x ˆ i) = ∏ q( x i | x ˆ i)时，等号成立。
或
D =λ
i
'
D m
D 2 ≤ min{σ i } 时 i m
这表示当失真分配给各分量时，最佳分配方案是每个分量等失真。但这仅当 才可行，当某个分量的
σ
2
i
小于
D 时 就 不 行 了 ， 必 须 利 用 K-T 条 件 来 解 ， 即 选 λ 使 m
2 ⎧ 1 1 ∂J ⎪ 0, D i < σ i =− +λ⎨ 2 2 Di ∂D ⎪ ⎩≤ 0, D i ≥ σ i
⎡1 0 ⎤ ⎡0 1⎤ ⎡α 1 − α ⎤ ⎥ ⎢ ⎥ ⎢ ⎥ 0 ≤α ≤1 [ P(υ j | u i )] = ⎢ ⎢1 0 ⎥ , ⎢0 1⎥ 或 ⎢α 1 − α ⎥ ， ⎢ ⎣1 0 ⎥ ⎦ ⎢ ⎣0 1⎥ ⎦ ⎢ ⎣α 1 − α ⎥ ⎦
w. kh d
aw .
co m
3
1 [1 + 1 + 1] = 1 3
所以
无噪无损信道中进行传输，而信道每秒钟只传递二个二元符号。 (1)试问信源能否在此信道中进行无失真的传输。 解：（1）此信源的熵 H(s)=1 （比特/符号）
第4章 离散无记忆信源无失真编码
第4章离散无记忆信源无失真编码主要内容1、基本概念2、码的唯一可译性3、定长编码定理和定长编码方法4、变长编码定理5 变长编码方法6 几种实用的无失真信源编码1、基本概念信源发出的消息序列通常不能直接送给信道传输，需要经过信源编码和信道编码。
信道编码的目的是降低差错率，提高传送的可靠性。
信源编码的目的是为了降低冗余度，提高通信的有效性。
编码是一种映射，是将输入符号映射成码字。
无失真编码，映射一一对应，可逆。
编码器模型：码长：码字所含码元的个数定长编码：所有码字均有相同的码长，对应的码叫做定长码(FLC ，Fixed Length code)；否则为变长编码。
编码器12{,,,}q u u u 12{,,,}r x x x WU12{,,,}q w w w X信源平均码长：码中所有码字码长的统计平均，即码元/符号编码效率：编码后的实际信息率与编码后的最大信息率之比冗余度：l l l2、码的唯一可译性（1）基本概念奇异码：一组码中含相同码字。
非奇异码：所有的码字都不相同。
唯一可译性：码字组成的任意有限长码字序列都能恢复成唯一的信源序列。
续长码：有些码字是在另一些码字后面添加码元得来的。
及时码：码字的最后一个码元出现时，译码器能立即判断一个码字已经结束，可以立即译码。
非续长码：任一码字都不是其它码字的延长。
唯一可译码定长非奇异码非续长码非奇异码5种不同的码35124121142183184()00001000100001001101001110011111110111111i P u W W W W W U u u u u（2）码树和Kraft不等式从树根开始，生长r个树枝，在节点处再各自生长r个树枝。
节点：树枝与树枝的交点。
l阶节点：经过l根树枝到达的节点。
整树：节点长出的树枝数等于r定理：对于任一r进制非续长码，各码字的码长必须满足Kraft不等式：反过来，若上式成立，就一定能构造一个r 进制非续长码。
二元信源R(D)的求解
摘要在实际信息处理过程中，往往允许有一定的失真，例如连续信源发出的消息，由于其可能取值有无限多种，信源熵H（U）无穷大，想要传输这样的信息，必须经过A/D转换这就会引起量化失真。
人们是视觉和听觉都允许有一定的失真，电影和电视就利用了人的视觉残留，使人没有发觉影片是由一张张画面快速连接起来的。
所以，一般可以对信源输出的信息进行失真处理，降低信息率提高传输效率。
引入失真函数R（D）后，对规定失真限度，和定量的失真测度后，使用MATLAB对信号的失真率进行分析，观察模拟出的波形和数据，以便有效改善信号传输质量。
关键词：失真；R（D）；MA TLAB目录1 课题描述 (1)2设计原理 (1)2.1R(D)函数的定义 (1)2.2R(D)函数的性质 (3)3设计过程 (3)3.1设计思路 (3)3.2设计内容 (4)3.3 设计程序 (5)总结 (8)参考文献 (9)1 课题描述失真在传输中是不可避免的，接收者（信宿）无论是人还是机器设备，都有一定的分辨能力与灵敏度，超过分辨能力与灵敏度的信息传送过程是毫无意义的。
即使信宿能分辨、能判别，但对通信质量的影响不大，也可以称它为允许范围内的失真。
我们的目的就是研究不同的类型的客观信源与信宿，在给定的Qos 要求下的最大允许（容忍）失真D ，及其相应的信源最小信息率R(D).对限失真信源，应该传送的最小信息率是R(D)，而不是无失真情况下的信源熵H(U).显然 H(U)≥R(D).当且仅当 D=0时，等号成立；为了定量度量D ，必须建立信源的客观失真度量，并与D 建立定量关系；R(D)函数是限失真信源信息处理的理论基础。
本课题主要针对二元信源失真函数R （D ）进行规划、求解、编程、仿真。
2设计原理2.1 R(D)函数的定义信源与信宿联合空间上失真测度的定义)(ji vu d:),0[∞→⨯+RV U (2.1.1)其中： Uu i ∈ （单消息信源空间） Vvj∈ （单消息信宿空间）则有∑∑=iju ji vji vu d vu p d )()( (2.1.2)称d 为统计平均失真，它在信号空间中可以看作一类“距离”，它有性质 ○10)(=ji vu d , 当jivu=○20)(min,=∈∈ji VvU u vu d ji○3∞<≤)(0ji vu d在讨论信息率失真函数时，考虑到信源与信宿之间有一个无失真信道，称它为试验信道，对离散信源可记为ji P ，对限失真信源这一试验信道集合可定义为：⎭⎬⎫⎩⎨⎧=≥=∑∑ijijji i ji Dd P p d D P P : (2.1.3)根据前面在互信息中已讨论过的性质：);();(ji i P p I V U I =且互信息是ip 的上凸函数，其极限值存在且为信道容量：);(max ji i p P p I C i=这里，我们给出其对偶定义：);(m i n );(m i n )(ji i P P P P P p I V U I D R Dji Dji ∈∈== (2.1.4)即互信息是jiP 的下凸函数。
4.2 离散无记忆信源R(D)的计算-- 4.5 保真度准则下的信源编码定理解析
1 1 1 s e
5
（2）解下列方程，求p(yj)
p( y
j 1
2
j
)e
sdij
1
i
，其中， 1 i 2 1 e sd1 2 p ( y1 ) 1 sd 2 2 e p( y 2 ) 1 2
p ( x ) ( x ) Sesd ( x , y )
d ( x, y ) dx 0 dy
若d ( x, y ) ( x y ) 2 代入得 p ( x ) ( x ) Sesd ( x , y ) 2( x y ) dx 0 即 p ( x ) ( x ) Sesd ( x , y ) 2 xdx p ( x ) ( x ) Sesd ( x , y ) 2 ydx 化简得 p ( x ) ( x )e sd ( x , y ) xdx y p ( x ) ( x )e sd ( x , y ) dx p ( x ) ( x )e sd ( x , y ) xdx y（式二）
D p ( xi ) p ( y j / xi )d ij
i 1 j 1 2 2
2
2
p ( xi ) p ( y j )i e ij d ij
sd i 1 j 1
将各具体数值代入上式 得 1 e 1 D / S ln 1 D /
2018/10/12 8
(1)求使R(D)达到最小的试验信道的转移概率密度函数为
离散信源的R(D)
sd ij
p ( y / x ) ( x ) p ( y )e 1 其中 ( x) sd ( x , y ) p ( y ) e dy
信息论与编码-曹雪虹-课后习题答案
(5) 两个点数中至少有一个是1的自信息量。
解：
(1)
(2)
(3)
两个点数的排列如下：
11
12
13
14
15
16
21
22
23
24
25
26
31
32
33
34
35
36
41
42
43
44
45
46
51
52
53
54
55
56
61
62
63
64
65
66
共有21种组合：
（2）求此信源的熵
（3）近似认为此信源为无记忆时，符号的概率分布为平稳分布。求近似信源的熵H(X)并与 进行比较
解:根据香农线图,列出转移概率距阵
令状态0,1,2平稳后的概率分布分别为W1,W2,W3
得到 计算得到
由齐次遍历可得
符号 由最大熵定理可知 存在极大值
或者也可以通过下面的方法得出存在极大值:
同理可得
=1.5-0.5=1bit/符号
表示在已做Y1的情况下，再做Y2而多得到的关于X的信息量
欢迎下载！
第三章
3.1 设二元对称信道的传递矩阵为
(1) 若P(0)= 3/4,P(1)= 1/4，求H(X), H(X/Y), H(Y/X)和I(X;Y)；
(2) 求该信道的信道容量及其达到信道容量时的输入概率分布；
又 所以 当p=2/3时
0<p<2/3时
2/3<p<1时
所以当p=2/3时 存在极大值,且 符号
所以
信息论与编码试题集与答案考试必看
信息论与编码试题集与答案考试必看信息论与编码试题集与答案考试必看在无失真的信源中，信源输出由H(X)来度量；在有失真的信源中，信源输出由R(D)来度量。
1.要使通信系统做到传输信息有效、可靠和保密，必须首先信源编码，然后_____加密____编码，再______信道_____编码，最后送入信道。
2.带限AWGN波形信道在平均功率受限条件下信道容量的基本公式，也就是有名的香农公式是；当归一化信道容量C/W趋近于零时，也即信道完全丧失了通信能力，此时Eb/N0为-1.6dB，我们将它称作香农限，是一切编码方式所能达到的理论极限。
3.保密系统的密钥量越小，密钥熵H(K)就越小，其密文中含有的关于明文的信息量I(M；C)就越大。
4.已知n＝7的循环码，则信息位长度k为3，校验多项式h(x)=。
5.设输入符号表为X＝{0，1}，输出符号表为Y＝{0，1}。
输入信号的概率分布为p＝(1/2，1/2)，失真函数为d(0，0)=d(1，1)=0，d(0，1)=2，d(1，0)=1，则Dmin＝0，R(Dmin)＝1bit/symbol，相应的编码器转移概率矩阵[p(y/x)]＝；Dmax＝0.5，R(Dmax)＝0，相应的编码器转移概率矩阵[p(y/x)]＝。
6.已知用户A的RSA公开密钥(e,n)=(3,55)，,则40，他的秘密密钥(d,n)＝(27,55)。
若用户B向用户A发送m=2的加密消息，则该加密后的消息为8。
二、判断题1.可以用克劳夫特不等式作为唯一可译码存在的判据。
（Ö）2.线性码一定包含全零码。
（Ö）3.算术编码是一种无失真的分组信源编码，其基本思想是将一定精度数值作为序列的编码，是以另外一种形式实现的最佳统计匹配编码。
（×）4.某一信源，不管它是否输出符号，只要这些符号具有某些概率特性，就有信息量。
（×）5.离散平稳有记忆信源符号序列的平均符号熵随着序列长度L的增大而增大。
离散无记忆信源的无损编码
结论：一个典型列的概率 2-LH（U）
结论：总典型列数量 2LH（U）
结论
无差错编码
DN≥2LH(U)
差错编码
差错概率Pe→0 编码速率R ≥ H(U) 可达
2LH(U)
差错概率Pe→1 编码速率R<H(U) 不可达
随着消息序列长度L增加，平均表示一位十进制数 的二进制数N/L减少，编码效率提高。 但消息序列L增加会导致 （1）编码复杂性增大 （2）译码延时越长
3.1.2 Shannon编码定理和典型列解 释
对等长编码长度的要求（与L，H(U),D有关）
信源编译码方框图
定理的严格证明留到3.1.3节给出，先给出
序列自信息的方差
平均每个信源输出符号的自信息
渐近等分性质(AEP)结论
（3.1.19）
典型列集合
平均每个信源输出符号的自信息
当L->∞时，
L→∞时，典型列出现概率为1， 非典型列出现概率为0
典型列：高概率集
非典型列：低概率集
注意： (1)个别非典型列出现的概率不一定比典型列 概率小 (2)非典型列总概率小，但总数不一定少
第三章 离散无记忆信源(DMS)的无损编 码
离散无记忆信源
离散:信源输出在时间、取值上均为离散 无记忆：信源前后输出消息是独立、不相
关的
（离散无记忆）信源
信源模型的构成：在有限字符集上取值的
独立随机变量序列 计算信源输出的信息量（熵）：易计算 有效描述信源的输出
信源无损压缩编码
证明的思路。 信源编码、译码方框图
错误概率
N:编码长度 数
L:消息长度
D:编码字符
信源编码速率
信息论与编码第4章无失真信源编码
4.1
无失真信源编码的概念
唯一可译码: 任意有限长的码元序列,只能被唯一地分割成一个一个的 码字,则称为唯一可译码,或单义可译码. 否则，就称为非 唯一可译码, 或非单义可译码. 例：码4是唯一可译码: 1000100 1000, 100 码3是非唯一可译码: 100010010, 00, 10, 0 或10, 0, 01, 00
信源符号
s1 s2 s3
概率分布
0.5 0.25 0.125
码1:C1
00 01 10
码2:C2
0 11 00
码3:C3
0 10 00
码4:C4
1 10 100
码5:C5
1 01 001
s4
备注
0.125
11
2
11
非唯一可译
01
非唯一可译
1000
唯一可译
0001
及时码
平均码长
2
1.5
1.875
L log m H ( X ) N
编码效率:
N H(X ) H(X ) . L log m H ( X )
19
4.2 等长编码
等长信源编码定理 设信源自信息方差为D(X)=D[I(pi)]，编码效率为 , 当允许译码错误概率Pe < 时，有
D( X ) 2 N 2 2 . 2 H ( X ) (1 ) D( X )
满足克劳夫特不等式 m 1是异前置码的
ki i 1 n
充要条件。
7
4.1
无失真信源编码的概念
例4-1 几个二元码
信源符号 概率分布 码1:C1 00 01 10 11 码2:C2 0 11 00 11 码3:C3 0 10 00 01 码4:C4 1 10 100 1000 码5:C5 1 01 001 0001
在约束条件下求信源的RD函数的极小值问题
问题:
假设已给定信源概率Pi和失
真函数dij，在约束条件下，求信
源的R（D）函数的极小值问题 ?
2018/12/8 1
• R（D）三种特殊表示 (1) 当d(x,y)=(x-y)2, p(x)= R（ D） = (2) 当d(x,y)=
log
1 x2 2 exp( ) 2 2
2018/12/8 28
•
信源符号 概率和累积概率的关系
a. 信源符号 概率
, 如果信源符号集为A＝ a0 , a1 ,, am1
xl A，共 信源序列X=（x0 , x1 ,, xl1 ,, xL1 ），
有mL种可能序列。由于考虑的是全序列，也许是 整页纸上的信息作为一个序列，因而序列长度L很 大。实用中很难得到对应序列的概率，只能从已
求信息率失真函数R（D）。
2018/12/8 7
解：
s • 简记 i ( xi ), pi p( xi ), j p( y j ), e , i, j 1,2
(1)按下式解方程
( x ) p( x ) exp[sd ( x , y
i i i i
j
)] 1, j 1,, m
2018/12/8
到无限。
19
• 说明:
(1) 例
如有一个二元序列：000101110010001…
可变换成游程序列：3113213… (2) 对二元序列进行哈夫曼编码时，应先测定“0” 游程长度和“l”游程长度的概率分布，或由二
元序列的概率特性去计算各种游程长度的概率。
2018/12/8
20
• 什么叫多元序列游程和游程长度? 对于多元序列也存在相应的游程序列。 例如m元序列中，可有m种游程。连着出现 符号ar的游程，其长度L（r）就是“r”游程 长度。这也是一个随机变量。用L（r）也可 构成游程序列。但是这种变换必须再加一些 符号，才能成为一一对应或可逆的.
限失真信源与信息率失真函数R(D)
第四章限失真信源与信息率失真函数R(D)§4-1 引言（一）引入限失真的必要性：1）失真在传输中是不可避免的;2）接收者（信宿）无论是人还是机器设备，都有一定的分辨能力与灵敏度，超过分辨能力与灵敏度的信息传送过程是毫无意义的;3）即使信宿能分辨、能判别，但对通信质量的影响不大，也可以称它为允许范围内的失真；4）我们的目的就是研究不同的类型的客观信源与信宿，在给定的Qos要求下的最大允许（容忍）失真D，及其相应的信源最小信息率R(D).5）对限失真信源，应该传送的最小信息率是R(D)，而不是无失真情况下的信源熵H(U).显然H(U)≥R(D).当且仅当D=0时，等号成立；6）为了定量度量D，必须建立信源的客观失真度量，并与D建立定量关系；7）R(D)函数是限失真信源信息处理的理论基础；（二） R(D)函数的定义1） 信源与信宿联合空间上失真测度的定义：)(j i v u d : ),0[∞→⨯+R V U其中： U u i ∈ （单消息信源空间） V v j ∈ （单消息信宿空间） 则有∑∑=iju j i vj i v u d v u p d )()(称d 为统计平均失真，它在信号空间中可以看作一类“距离”，它有性质1〉0)(=j i v u d , 当 j i v u =2〉0)(min ,=∈∈j i Vv U u v u d ji3〉∞<≤)(0j i v u d对离散信源：i=j=1,2……..n,,)(ij j i d v u d = 则有：⎩⎨⎧≠==)j(i 0,)j(i ,0有失真当〉无失真当ijd 若取 ij d 为汉明距离，则有：⎩⎨⎧≠==)j(i ,1)j(i ,0有失真当无失真当ijd对连续信源，失真可用二元函数d (u,v )表示。
则有：v u v u v u d -=-=2)(),(推而广之，d (u,v )可表示任何用v 表达u 时所引进的失真，误差，损失，风险，甚至是主观感觉上的差异等等。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
Dmax min p( xi )d ij
Y X
因为离散信源：
均方失真的连续信源的R(D)
R( D)
1 Dmax ln( ) 2 D
可直接当结论来应用
2018/10/12
8
例：设某连续信源X服从高斯分布，均值μ=0， 方差σ2，失真函数为均方失真即d(x,y)=(y-x)2
求它的信息率失真函数R(D)和Dmax。
例：已知离散无记忆信源
x2 X x1 0 1 ，求 P( X ) p 1 p ，其中p 2 ，失真矩阵为D 0 , 输出Y 0,1 Dmax，率失真函数R( D)。
2018/10/12
3
4.2 离散无记忆信源R(D)的计算
y
min[ x 2 p( x)dx 2 y xp( x)dx y 2 p( x)dx]
y
D
min[ 2 0 y 2 ]
y
2
2018/10/12 9
上题的扩展：若连续信源服从（μ，σ2）的高 斯分布，则再求上题。
解：先求Dmax：
服从(0, 2 )的高斯分布的概率密度 函数为： p ( x) 1 e 2
2、
（1）信道容量C一旦求出来，则与信源分布无关（只是 证明存在这样的满足信道容量的信源分布），只和信道 转移概率分布p(yj/xi)有关。即信道容量和信源特性无 关，反映信道特性。 （2）信息率失真函数R(D)一旦求出来，则与信道转移 概率分布无关（只是证明存在达到最小信息率的试验信 道），只和信源概率分布p(xi)有关。即信息率失真函数 和信道特性无关，反映信源特性。
4.2 离散无记忆信源R(D)的计算 4.3 连续无记忆信源R(D)的计算 4.4信道容量和信息率失真函数的比较
2018/10/12
12
4.4 信道容量和信息率失真函数的比较
相同点：二者都是求平均互信息的极值 不同点：
1、
（1）信道容量：选择某一信源分布的情况下，求 平均互信息的极大值。
j
1 (1 p ) , 当p 2 时 1 p , 当p 时 2
（2）
D R( D) H ( p) H ( )
2018/10/12
4
R(D)随D的变化曲线
H(p)
Dmax=αp
2018/10/12
5
结论：
对于n元等概信源，有 p( x ) n , 其中 i 1, n，当失真 函数为对称失真时，
y ( x )2 2 2
Dmax min[ p( x)d ( x, y )dx] min[ p( x)(x y ) dx]
2 y
代入得
1 2 R ( D ) ln( ) 2 D ln
2
min[ x 2 p( x)dx 2 y xp( x)dx y 2 p( x)dx]
X x1 x2 0 1 ，其中 p ，失真矩阵为 D , 输出Y 0,1 P( X ) p 1 p 2 0
Dj 解：（1） Dmax min j 0 min p 1 p j 0 min(1 p ) , p
第4章 信息率失真函数
2018/10/12
1
4.1 基本概念
4.2 离散无记忆信源R(D)的计算 4.3 连续无记忆信源R(D)的计算 4.4 信道容量和信息率失真函数的比较
2018/10/12
2
4.2 离散无记忆信源R(D)的计算
参量表达式法求R(D)及P(Y/X)，具体推导略， 见p111页。
是均方失真 解： 1 Dmax R( D) ln( ) 2 D
因此，需求Dmax
2 服从 ( 0 , )的高斯分布的概率密度 函数为： ：
p( x)
1 ( D ) ln( ) 2 D ln
Dmax min[ p( x)d ( x, y )dx] min[ p( x)(x y ) 2 dx]
依据：平均互信息I是信源概率分布p(xi)的严格上 凸函数。
（2）信息率失真函数：求选择某一试验信道（转 移概率分布）的情况下，依据保真度准则，求平均 互信息的极小值。
依据：平均互信息I是信道转移概率分布p(yj/xi)的 严格下凸函数。
13
2018/10/12
4.4 信道容量和信息率失真函数的比较
2 D
Dmax min[ p( x)d ( x, y)dx]
y
同理：当失真函数为绝对失真即d(x,y)=|x-y|时， 指数分布的连续信源，当概率密度函数为
p( x)
2
e | x|时， R( D) ln
1 1 , Dmax D
2018/10/12
11
4.1 基本概念
4.2 离散无记忆信源R(D)的计算 4.3 连续无记忆信源R(D)的计算 4.4 信道容量和信息率失真函数的比较
2018/10/12
7
例：求d(x,y)=(y-x)2的Dmax和信息率失真 函数R(D)。 min[ p( x)d ( x, y)dx] 解：连续信源的Dmax， D
max y
i
1
0, i j时 即 d ij ，i j
此时下式成立：
1 Dmax (1 ) n
D / D D R( D) ln(n) ln (1 ) ln(1 ) (n 1) D
可直接当结论来应用
2018/10/12
6
4.1 基本概念
y
而 （x ）p( x)dx ，即 x p( x)dx
2 2 2
2
D
Dmax min[ 2 2 2 y y 2 ]
y
2
2018/10/12
10
结论：
若失真函数为均方失真，即d(x,y)=(x-y)2时,连续 1 D 信源的信息率失真函数 R( D) ln( max ) ，且