复习3-4

如果输入信号功率PS固定，信道容量C 随带 宽W的增加而增加。但到一定阶段后，增加 变得缓慢。
2014-1-15 15
信源与信道的匹配
符号匹配 信源输出的符号必须是信道能够传送的符号， 这是实现信息传输的必要条件。 信息匹配 对于某一信道，只有当输入符号的概率分布 满足一定条件时，才能达到其信道容量。 信道冗余度 信道绝对冗余度＝C－I(X;Y) C I X ;Y I X ;Y 信道相对冗余度 1
C max H Y H Y / ai
矩阵分解法：将转移概率矩阵划分成若干个互 不相交的对称子矩阵。
, p2 , ps N k log M k C log n H p1
k 1
2014-1-15 10
PxΒιβλιοθήκη Baidu
r
DMC信道的容量
3. 一般DMC信道的容量 以输入符号概率矢量Px为自变量的函数I(Px) 的极大值，即信道容量。 为了使I(X;Y)最大化，即求取信道容量的值， 输入概率集{p(xi)}必须满足的充分必要条件 是： I(xi;Y)＝C，对于所有满足p(xi)＞0条件的i I(xi;Y)≤C，对于所有满足p(xi)＝0条件的i
C max I ( X ; Y ) max p ai p b j / ai log
p ( ai ) p ( ai ) i 1 j 1
2014-1-15
n
m
p b j / ai p bj
6
离散单符号信道
无噪无损信道 无干扰离散信道 离散单个 符号信道 无噪有损信道
2014-1-15
R( D) min I ( X ; Y )
PD
限定失真为D的条件下，信源输出的最小信息率。
Dmin p( xi ) min d ( xi , y j )
i 1 j
n
Dmax min
j 1,2m
p (a )d (a , b )
i 1 i i j
23
n
信息率失真函数的性质
2014-1-15 13
香农公式
香农公式
Pav C W log 1 W log 1 SNR WN 0 W：频带宽度，简称带宽
SNR (信噪比)：表示信号功率与噪声功率的比值 加性白噪声的功率谱密度为N0 /2
Pav：信号的平均功率
香农限 每传输1比特信息所需的能量。 当归一化的信噪比小于香农限（-1.6dB）时，归 一化信道容量为零，即信道完全丧失通信能力。
2014-1-15
信道模型
3. 离散输入、连续输出信道 输入符号集：X={a1, a2,…, an} 输出未经量化，即Y={-∞,∞} 输出特性由离散输入X、连续输出Y以及一组条 件概率密度函数 p( y /X=ai) 来决定。
4. 波形信道
输入是模拟波形，输出也是模拟波形 连续无记忆信道和连续有记忆信道 y(t)＝ x(t)＋ n(t)
l 1
独立、无记忆、平稳离散序列信道的信道容量为：
CL max I X ; Y C l LC l
PX l 1
2014-1-15 12
L
连续信道
连续单符号加性信道 信道的输入和输出都是取值连续的一维随机 变量，加入信道的噪声是均值为零、方差为 σ2的加性高斯噪声。 多维无记忆加性连续信道 可等价成L个独立的并联高斯加性信道 注水法：噪声小的子信道分配到的输入功率 大，传输的比特数多。 受加性高斯白噪声干扰的带限波形信道 输入x(t)、输出y(t)和噪声n(t)：模拟波形
C max I ( X ; Y ) log m H Y / ai
Px
2014-1-15 9
DMC信道的容量
2. 准对称DMC信道的容量 如果转移概率矩阵P的输入对称而输出不对称， 则称该矩阵是准对称DMC信道。 当信道输入符号等概率分布时，准对称DMC信 道达到其信道容量C。
2014-1-15 14
香农公式的讨论
PS C W log 1 W log 1 SNR WN 0
带宽W一定时，信道容量C 随信噪比SNR的 增加而单调增加，因此增大信号功率、减小 信道噪声可以增加信道容量。 信道容量C一定时，带宽W增大，信噪比SNR 可降低，即二者可以互换。
离散信道、连续信道、半离散半连续信道、波形信道
2014-1-15 2
信道模型
根据干扰和记忆性分类
无干扰（无噪声）信道 有干扰无记忆信道 有干扰有记忆信道
信道模型
信道的输入 Xi={a1, a2,…, an} 信道的输出 Yj={b1, b2,…, bm} 信道转移概率矩阵p(Y/X) p(Y/X) 输入X 信 道
Dl 表示信源符号序列的第l 个符号的平均失真
信源符号平均失真度（平均每个符号的平均失真度）
1 1 L DL D L Dl L L l 1
2014-1-15 21
保真度准则
保真度准则 D允许信道 D允许的试验信道，即满足保真度准则的试 验信道。 满足保真度准则的所有试验信道，即转移概 率分布p(yj /xi)，构成了一个信道集合
平均失真对信源和信道进行的统计平均。
描述某一信源在某一试验信道传输下的失真大小， 是从总体上描述整个系统的失真情况。
2014-1-15 20
平均失真
L维信源符号序列的平均失真度
D L p xi p y j /xi d xi , y j
i 1 j 1 nL mL
C C
2014-1-15 16
第4章 限失真信源编码
重点掌握
失真函数、平均失真
保真度准则 信息率失真函数的定义域 信息率失真函数与信道容量的比较 一般了解
信息率失真函数的性质
连续信源的平均失真
2014-1-15 17
失真函数
单符号失真函数定义为：
0 d ( xi , y j ) xi y j
第3章 信道与信道容量
重点掌握
有干扰无记忆信道的数学描述 信道容量的定义 对称和准对称DMC信道的信道容量计算 香农公式
一般了解
信道的各种分类 无干扰离散信道的信道容量 信源和信道的匹配
2014-1-15 1
信道的分类
按信道的用户数量来划分 单用户信道、多用户信道 按输入/输出之间的关系来划分 无反馈信道、反馈信道 按信道参数与时间的关系来划分 固定参数信道、时变参数信道 按信道中的噪声种类来划分 随机差错信道、突发差错信道 按输入/输出信号在幅度和时间上的取值划分
0 xi y j
将所有的d(xi,yj)排列起来，用矩阵表示为
d (a1 , b1 ) d (a1 , bm ) d d (an , b1 ) d (an , bm )
d 称为失真矩阵
2014-1-15 18
失真函数
如果假定离散信源输出符号序列X=(X1X2…Xl …XL), Xl∈A={a1,…an}，其中L长符号序列xi=(xi1xi2…xiL)， 经信源编码后输出符号序列Y=(Y1Y2…Yl…YL) ， Yl∈B={b1,…bm}，其中L长符号序列 yj = (yj1yj2…yjL)， 序列失真函数定义为
d ( xi , y j ) d ( xil , y jl )
l 1
L
式中，d(xil , yjl)表示信源输出符号序列xi的第l个符号和编 码输出符号序列yj的第l个符号之间的失真函数 信源序列的失真度等于序列中对应单个符号的失真度之和
2014-1-15 19
平均失真
将失真函数的数学期望或统计平均值称为平均失真。
有噪无损信道
对称DMC信道
有扰离散信道
准对称DMC信道
一般DMC信道
2014-1-15 7
无干扰离散信道
无噪无损信道
C=max I(X;Y)=log n
无噪有损信道
C=max I(X;Y)=max H(Y) 有噪无损信道 C=max I(X;Y)=max H(X)
2014-1-15 8
2014-1-15
24
率失真函数和信道容量的比较
平均互信息 I(X;Y)
I ( X ; Y ) p ( xi ) p ( y j /xi ) log
i j
p ( y j /xi ) p( y j )
信道固定
信源的概率分布 p(xi)的上凸函数。 信道传递概率 p(yj /xi)的下凸函数。 信道容量 C max I ( X ; Y ) 输入概率分
p xi p y j /xi d xil , y jl
i 1 j 1 l 1
nL
mL
L
当信源与信道无记忆时，
D L p xil p y jl /xil d xil , y jl = Dl
l 1 i 1 j 1 l 1 L nL mL L
D p ai b j d ai , b j p ai p b j / ai d ai , b j
i 1 j 1 i 1 j 1 n m n m
失真函数d(xi,yj) 描述某个信源符号通过传输后失真的大小。对于不 同的信源符号和不同的接收符号，其值是不同的。 平均失真 D ：
1. R(D)是非负的实数， 0≤R(D)≤H(X)
定义域为0≤Dmin≤D≤Dmax
当D＞Dmax时，R(D)≡0 2. R(D)是关于D的下凸函数 R(D)在定义域内是失真度D的U型下凸函数。 R(D)在定义域内是关于D的连续函数。
3.
R(D)的单调递减性
容许的失真度越大，所要求的信息率越小。
2014-1-15
输出Y
3
信道模型
1. 二进制离散信道：BSC信道
输入符号X取值{0,1}
输出符号Y取值{0,1}
p 1 p P p 1 p
p12 p22 pn 2 p1m p2 m pnm
4
2. 离散无记忆信道：DMC信道 输入符号集 p11 p X={a1, a2,…, an} P 21 输出符号集 Y={b1, b2,…, bm} pn1
DMC信道的容量
1. 对称DMC信道的性质 ① 对称信道的条件熵H(Y/X)与信道输入符号的概 率分布无关。 ② 如果信道输入符号等概率分布，则信道输出符 号也等概率分布；反之，若信道输出符号等概 率分布时，信道输入符号也是等概率分布。 ③ 当信道输入符号等概率分布时，对称DMC信道 达到其信道容量。
每一个概率不为0的输入符号对输出提供相同的互信息
2014-1-15 11
离散序列信道及其容量
p(Y/X) 输入X 信 道 输出Y
X=(X1, X2,…, XL) Xl={a1, a2,…, an}
Y=(Y1,Y2,…,YL) Yl={b1, b2,…, bm}
L
无记忆离散序列信道的转移概率为：
p Y / X p Y1 YL / X 1 X L p Yl / X l
平均失真度不大于允许的失真
DD
PD p y j / xi : D D


2014-1-15
22
信息率失真函数
信息率失真函数R(D) R(D)的定义域 率失真函数的定义域问题就是在信源和失真函数 已知的情况下，讨论允许平均失真度D的最小和最 大取值问题，即[Dmin,Dmax] Dmin的计算 Dmax的计算
2014-1-15
n(t)代表加性噪声
5
信道容量的定义
信道传输率R ＝I (X;Y) bit/符号 信道中平均每个符号能传送的信息量 信息传输速率Rt ＝I (X;Y) / t bit /s 信道中单位时间传送的信息量 信道容量 给定转移概率矩阵P后，平均互信息I(X;Y)是概 率矢量Px的上凸函数。 I(Px)的极大值就是信道容量。