第4章高斯信道和信源

4.2 高斯信源
全称为”离散时间无记忆高斯信源”, 它的信源符号 集合AU是全体实数的集合, 而信源输出由独立, 同分布正 态随机变量的序列U1,U2,…描述，随机变量的均值为0， 方差为σ2。 对高斯信源，在一般失真函数下，其率失真函数是 很难求得的，但在平方误差失真度量下，其率失真函数 有简单的封闭表达式。
1 0 i (t ) j (t )dt 0
T
如果i j 如果i j
传输的信号就可以表示为：
x(t ) xii (t )
i 1
n
在接收端，xi理论上可以由x(t)获得：
xi x(t )i (t )dt
0
T
但实际上我们会遇到两个问题： 1、传输功率受限

• 本节主要阐述平均功率限制条件下的离散时 间无记忆加性高斯信道。
高斯噪声{Z1Z2…ZN} 输出信号序列 输入信号序列 加性信道 {X1X2…XN} {Y1Y2…YN}
其中Z满足0均值，方差为σ2的 正态分布
Z1
X1 Y1=X1 +Z1
ZN
XN YN=XN +ZN
定理4.1: 高斯信道的Cn(β)=(n/2)log(1+ β/σ2), C(β)=(1/2)log(1+ β/σ2).
第 4章
高斯信道和信源
4.1 高斯信道
• 如果信道输入符号集AX和信道输出符号集 AY都等于全体实数的集合,X1,X2…,是信道 在时刻1,2…的输入,则相应的输出Y1,Y2…由 Yi=Xi+Zi给出,其中Z1,Z2… 是独立同分布的 正态随机变量，均值为0，方差为σ 2，则该 信道称为加性高斯信道.
对平方误差失真，试验信道输入符号和输出符号之间失真为：
d ( x, y) ( x y)2
对应的平均失真度为：
wenku.baidu.com
D0 p ( x) p ( y | x)( x y ) 2 dxdy
在平方误差失真下，设允许失真为D，则高斯信源 X ~ N (0, )
2
的率失真函数为：
1 2 log R ( D) 2 D 0 0 D 2 D 2
------使所需的单位时间传输信道单位时间信道容量Ct大 大减少，或在Ct不变的前提下使传输时间大大缩短，从而提 高了通信的效率。
定理仍然只是个存在性定理，至于最佳编码方法如何寻找， 定理中并没有给出，因此有关理论的实际应用有待于进一步研 究。 如何计算符合实际信源的信息率失真函数R(D)? 如何寻找最佳编码方法才能达到信息压缩的极限值R(D)? 这是该定理在实际应用中存在的两大问题，它们的彻底解 决还有赖于继续的努力。 尽管如此，该定理对最佳限失真信源编码方法的存在给出 了肯定的回答，它为今后人们在该领域的不断深入探索提供了 坚定的信心。
下图表示当 1 时， R( D) log
1 2
1 D
的曲线。
高斯信源编码定理：
定理的含义是：只要码长k足够长，总可以找到一种信源 编码，使编码后的信息传输率略大于(直至无限逼近)率失真函 数R(D)，而码的平均失真度不大于给定的允许失真度 由于R(D)为给定D前提下信源编码可能达到的下限， 所 以定理说明了： 达到此下限的最佳信源编码是存在的．
• 高斯信道的n阶容量—代价函数:
Cn ( ) sup{I ( X ; Y ) : E ( X i2 ) n }
i 1 n
•高斯信道的通用容量—代价函数:
1 C ( ) sup Cn ( ) n n
高斯信道容量公式
C W log(1 S / N )
•T秒内将一系列实数x1,x2,…,xn由一点传输到另一点； •将xi转换为时间的连续函数x(t)[x(t)表示通过1Ω负载的电压]; •功率受限。 步骤： •找到n个函数Ф i(t),i=1,2,…,n,它们在[0，T]时间间隔内 正交，即：
实际的信源编码(无失真编码或先限失真编码后无失真编 码)的最终目标是尽量接近最佳编码，使编码信息传输率接近 最大值log r，而同时又保证译码后能无失真地恢复信源的全 部信息量H(S)或限失真条件下的必要信息量R(D)。 编码后信息传输率的提高使每个编码符号能携带尽可能 多的信息量， -----使得传输同样多的信源总信息量所需的码符号数大大 减少
该定理只是一个存在性定理，它指出信道容量是一个 临界值，只要信息传输率不超过这个临界值，信道就可几 乎无失真地把信息传送过去，否则就会产生失真。即在保 证信息传输率低于(直至无限接近)信道容量的前提下，错 误概率趋于“0”的编码是存在的。
虽然定理设有具体说明如何构造这种码，但它对信 道编码技术与实践仍然具有根本性的指导意义。编码技 术研究人员在该理论指导下致力于研究实际信道中各种 易于实现的具体编码方法。二十世纪六十年代以来，这 方面的研究非常活跃，出现了代数编码、循环码、卷积 码、级联码、格型码等等，为提高信息传输的可靠性作 出了重要的贡献。
T
0
x (t )dt xi2 PT
2 i 1
n
表明输入矢量不是任意的，它必须在半径为（PT）1/2的欧几 里得球体内。
2、高斯热噪声的影响，使得接收信号为：
ˆ(t ) x(t ) z(t ) x
其中z(t)是高斯白噪声，接收信经处理后得到：
ˆi x ˆ (t )i (t )dt [ x(t ) z (t )] x i (t )dt
0 0
T
T
xi zi
其中zi是统计独立，均值为0，方差为N0/2的高斯随机变量。
结论：在高斯信道中，噪声均值为0，方差σ2=N0/2，输入限 制为β<=PT/n，根据定理4.1有：
1 C log 2 (1 2 PT / nN 0 ) 2
单位为比特/符号
定义传输带宽为W=n/2T,并观察到每秒传输n/T=2W个符 号，则容量变为： 单位为比特/秒 C=Wlog2(1+P/N0W) 香农公式的物理意义为：当信道容量一定时，增大信道的带 宽，可以降低对信噪功率比的要求；反之，当信道频带较窄 时，可以通过提高信噪功率比来补偿。香农公式是在噪声信 道中进行可靠通信的信息传输率的上限值。
[例] 在电话信道中常允许多路复用。一般电话信号的带宽为 3300Hz。若信噪功率比为20dB(即Ps/(NoW)=100)，代入香农公 式计算可得电话信通的信道容量为22000比特／秒。 而实际信道能达到的最大信道传输率约为19200比特／秒。 因为在实际电话通道中，还需考虑串音、干扰、回声等等的因 素，所以比理论计算的值要小。