信息论基础第1章(改)

E 3〉平均误差准则： [e( f , g )] < ε ，
E E 即： [ p{g[ f (u L )] ≠ u L }] < ε ，或： [ p{g[ f (u L )] = u L }] ≥ 1 ε
E 或： [d{u L , g[ f (u L )]}] < ε = D
三个准则中，无失真准则最强，平均误差准则最弱。 信息论中无失真信源编码定理采用无失真准则， 限失真信源编码定理以及信道编码定理都采用平均误差准则。
( f , g ) = {( f1 , g1 ) ( f 2 , g 2 ) ( f 3 , g 3 )}
其中 ( f1 , g1 ) 为有效性的信源编译码； ( f 2 , g 2 ) 为安全性的加解密码；
( f 3 , g 3 ) 为可靠性的信道编译码。
另外，根据需要也还可划分更多的子变换。
2009/2/18 P.12
p (u L ) f p (
yn xn
) g = p (u L ) p (
yn xn
)
为了定量分析度量编译码的好坏。我们引入码 ( f , g ) 的误差函数
e ( f , g ) : e( f , g )
并给出下列标准：
Δ p g f (uL ) ≠ uL
{
}
2009/2/18
P.14
g : Y n V L ——译码 →
若选 U = V = X = Y = GF ( 2) = {0,1} 即为二元有限域，则称上述码为二元码
2009/2/18 P.10
（四） 编、译码 ( f , g ) （续）
下面，我们根据通信系统主要技术指标
数量指标——通信有效性
质量指标
抗自然干扰的可靠性 抗人为干扰的安全性
加 密
解 密
宿
UL
Sm Km 1
Cm
Xn Nn 噪声 Nn
Yn Km 2
Cm ’
Sm’
VL
密钥源1 Km1
密钥源2 Km2
通信系统详细原理方框图
2009/2/18 P.2
二 给出各部分描述与度量
（一) 信源 U
基本参量 取值空间（集合）:UL=U×U×…×U （L维） 其中每一个:U={1,2,…n},n种取值 信源输出:UL=(U1…Ul …UL) 输出样值: uL=(u1…ul …uL) 其中 uL∈U={1,2,…,n} 对应概率:pU (uL) = p(u1…ul …uL)
三
信息与通信系统的优化（续）
（三）无失真信源编码定理
优化指标：系统传输最有效。 优化条件：无干扰信道，无失真信源，理想安全性。 优化问题：什么条件下，最优无失真信源编译码存在，什么条件下 ，最优无失真信源编译码不存在。 优化对象：信源与通信系统之间的统计匹配 无失真信源可以用信息熵定量描述：H(U). 通信系统可以用要求达到的传输率：R表示。 定理表达形式：（它既是存在性，也是构造性定理） 若R>H(U)时，最有效的信源编译码（f1,g1）存在； 反之，R<H(U)时，（f1,g1）不存在。
二 给出各部分描述与度量 （续）
（五） 通信系统S
当已知信源U,信宿V,信道C以及编译码(f ,g)时，可给出一个确 知的通信系统S. S={U, V, C, (fi , gi)}i=1,2,3… 可以分别表示有效（i=1）、安全（i=2）、可靠（i=3）的单 指标优化系统。 通信系统统计特性可表示为 p ( S ) = p (u L ) p (
L
i = 1,… , n
l = 1, … , L
2009/2/18
P.3
（一) 信源 U （续） 1. 无失真信源描述与度量:
描述 定义:U = [ UL , p(uL) ]，对于单个离散消息 即L =1时 可简化为:U=[ U , p(u) ] 无失真信源度量: 定义:
H (U L ) = ∑ p (u L ) log p (u L )
2009/2/18
故： ( S ) = p (u L ) f g = p (u L ) f f 1 = p (u L ) P
P.19
（三）无失真信源编码定理 （续）
结论：无失真信源编译码是寻求通信系统与信源统计特性相匹配的 编译码。若通信系统传信率R用无失真编码后的平均码长 L 来表
L 示，则问题可归结为 与信息熵的统计匹配。（熵编码）
它的描述完全类似于信源。其度量，无失真用互信息 I (U ;V ) 表示，限失真时用R(D) 函数表示。
2009/2/18
P.9
二 给出各部分描述与度量 （续）
（四） 编、译码 ( f , g )
码，在数学上可看作是一种映射；（消息空间） 在物理上可看作是一种变换。（消息空间）
L → n 即 f : U X ——编码
P(
yn xn
)
其中
2009/2/18
xn = ( x1......xi ......xn )
yn = ( y1...... yi ...... yn )
P.7
（二） 信道 C （续）
信道描述如下:
[X
n
q ( xn )] 信道 [ Y → →
n
q ( yn )]
输入 定义：
P(
y
n
x
)
n
输出
2009/2/18 P.15
三
信息与通信系统的优化
（一） 系统参量的分类：
客观参量：它是由信源、信道、信宿本身的客观统计特性所决定的， 比如： 无失真信源的信息熵：H(U)，限失真信源的信息率失真函数：R(D) 信道容量：C、C(F)，信宿可获得的信息量：I(U,V) 主观要求的参量：他是人为给定与主观要求的，比如： 通信系统的实际传输速率：R，信宿的最大允许失真：D 信道受限时总代价：F，指定（掌握密钥）信宿：V 非指定（不掌握密钥）信宿：V’
)
)
则有:U={ [UL , p(uL)] , [ UL × VL, d(uL,vL) ] } U={ [U , p(u)] , [U × V, d(u,v) ] }
2009/2/18
P.5
2. 限失真信源描述与度量（续）:
度量:定义一个限失真的信息率失真函数R(D)来代替无失真 时的信源熵H(U) . 为了简化，仅讨论单个消息情况: 首先给出信源（宿）的最大允许失真率D,在定义失真为D 时，条件转移概率的变化范围为PD。
2009/2/18 P.16
三
ห้องสมุดไป่ตู้信息与通信系统的优化（续）
（二） 系统优化的实质
研究系统在不同优化指标下，两类参量（主、客观）之间的统 计匹配与匹配的条件。 优化的目标：
有以上三个指标、四个方面所讨论的系统优化就构成了最著名的C. E. Shannon三个编码定理与一个密码学基本定理。
2009/2/18 P.17
2009/2/18 P.21
（四）限失真信源编码定理 （续）
定理进一步物理解释： 由信息系统联合分布p(S)表达式。 代入下列条件，当研究限失真信源编、译码时，可以认为加、 解密码以及信道编、译码为理想情况。 即： P (C / S ) P ( S ′ / C ′ ) = 1 m m m m P ( x / C ) P ( y / x ) P (C ′ / y ) = 1 n m n m n m 则有： ( S ) = p (u L ) P( S m / u L ) P (v L / S ′m ) P 而对于限失真信源编译码准则，有
u∈U L
H (U ) = ∑ p (u ) log p (u )
u∈U L n
= ∑ pi log pi
i =1
2009/2/18
P.4
（一) 信源 U （续） 2. 限失真信源描述与度量
描述:先定义失真函数: d(uL, vL)：UL × VL -----> [ 0 , ∞ d(u , v)：U × V -----> [ 0 , ∞
PD = {Pji : D ≥ d = ∑∑ Pi Pji d (u i u j )}
i j
最后定义:
R ( D ) = min I (U ; V )
p ji ∈ p D
---------单个消息信源 ---------序列(L个)信源
R ( D ) = min I( U,V )
Pji ∈PD
2009/2/18
实现方法可分为两类： 改造信源：改变信源分布为等概率分布，再采用等长码进行匹配； 适应信源：利用不等长码，比如哈夫曼编码，与实际信源的不等概 率特性实现统计匹配。
2009/2/18
P.20
三
信息与通信系统的优化（续）
（四）限失真信源编码定理
优化指标：系统传输最有效； 优化条件：无干扰信道，限失真信源；理想安全性。 优化问题：什么条件下，最优限失真信源编译码定理存在，什么 条件下，不存在； 优化对象：限失真信源与通信系统之间的统计匹配，这时限失真 信源可用R(D)描述，通信系统则可用实际传信率R表示，于是问 题可归结为： 定理表达形式（仅为存在性定理） 若R>R(D)时，最有效信源编码（f1’,g1’）存在； 反之，当R<R(D)时，最有效的（f1’,g1’）不存在。
由这三个指标可进一步将编译码 ( f , g ) 分解为三个子变换：
2009/2/18
P.11
（四） 编、译码 ( f , g ) （续）
f1 : U S → → → f : U L X n f2 : S m C m → f3 : C m X n
L m
g3 : Y n C ′m → n L g : Y V g 2 : C ′m S ′m → → g1 : S ′m V L →
2009/2/18 P.18
（三）无失真信源编码定理 （续）