连续信源和连续信道共37页文档
合集下载
第6章 连续信源熵和信道容量
x m
6.1.3 连续信源熵的性质和定理 1
连续信源熵可为负值 连续信源熵的可加性
2
H c ( XY ) H c ( X ) H c (Y X ) H c ( XY ) H c (Y ) H c ( X Y )
推广到N个变量的情况
H c ( X1 X 2
X N ) H c ( X1 ) H c ( X 2 X1 ) H c ( X 3 X1 X 2 ) H c ( X N X1 X 2 XN )
C max Ic ( X ;Y ) max Hc ( X ) Hc ( X Y ) max Hc (Y ) Hc ( X )
此情况下最大熵信源统计特 性与白噪声(均匀噪声)相同
(6.1.34)
18
2
限平均功率的最大熵定理
平均功率为P，均值m受限情况下，当信源 概率密度函数为正态分布时，具有最大熵。
p( x)
1 e 2 ( x m )2 2 2
,
p ( x )dx
q ( x )dx 1
第 6 章
连续信源熵和信道容量
1
6.1
连
续
信
源
熵
第6章
6.2
熵
功
率
6.3
连 续 信 道 的 信 道 容 量
2
平稳信源
统计特性与时间起点无关的 连续信源。
连续 信源
非平稳信源
遍历的随机过程
连续信源的分类
统计平均以概率1等于时间平
均的平稳随机过程。
3
时间平均：
1 lim T 2T
T
T
连续信源和信道
b
a q(x)log
1 q(x)
dx
log( b
b
a)a q(x)dx
b
a q(x)log
1 q( x)(b
a)
dx
log
b
a q(x)
1 q(x)(b
a)
dx
log 1
0
（2） 平均功率受限时，限制随机变量x 的平均功
率或方差，即 2 p(x)(x m)2 dx
定理：若连续随机变量的方差一定，则x服从正态 分布时的微分熵最大，
1 N
N2
xi
i 1
Ps
定理：平均功率受限的时间离散、恒参、可加高斯
噪声信道的容量为： （还是单个随机变量的）
C
1 2
log( 1
Ps
2
)
Ps 是输入平均功率的上限， 2 是均值为0的高斯噪
声的方差。最佳输入分布是均值为0、方差为 Ps 的高
p(x | y)x pX (x)x
pXY (xy)log
p(x | y) dxdy h(X ) h(X p(x)
|Y)
I (X ;Y | Z)
pXYZ (xyz) log
pXY|Z (xy | z) pX|Z (x | z) pY|Z ( y |
dxdydz z)
I(XY;Z)
(Y EY )2 ] DX DY E( X EX )(Y EY ) DX DY E( X EX )E(Y EY ) DX DY
独立的
如果对输入功率不加限制，互信息可能任意大。 所以我们研究平均功率受限的可加噪声信道。也就是
2
xi
xN xi2 p(x)dx xi xi2 p(xi )dxi ,
信息论基础第4章连续信源与连续信道
为极值时的 p(x) 。限制条件为
∞
p(x) dx 1
∞
∞
x2 p(x) dx P
∞
限平均功率最大熵定理 若连续信源输出信号的平均功率为 P，则其输出信号幅度的概率密度是高斯分布 X ~ N(0, P) 时，信
源具有最大熵，其值为 1 log 2πeP 。 2
采用相似的思路，可以证明：
若 N 维连续随机矢量输出幅度受限，只有各随机分
YN X N nN
由平均互信息性质可得：
N
N
I (X; Y)
I ( Xi ;Yi )
log
1
Pi
/
2 i
i 1
i 1
N
则：
C max I (X; Y) log
p(x)
i 1
1 Pi
/
2 i
比特/N
个自由度
式中，
2 i
是第
i
个单元时刻高斯噪声的方差。因此当且仅当输入
随机矢量 X 中各分量统计独立，且是均值为零、方差为 Pi 的高斯
熵的引入：观察离散随机变量
n
n
H ( X ) p(xi ) log p(xi ) pi log pi
i 1
i 1
连续随机变量可以看作是离散随机变量的极限（量 化间隔趋于0），故可采用离散随机变量来逼近。
下面，将采用这一观点讨论连续随机变量的信息 熵与信息量。
1）类比概率 Pi 与 概率密度p(u)：
4.4 连续信源的最大熵
第 2 章我们讨论了离散信源熵的极值性。对于离散信 源，在所有的消息独立且等概时，信源熵最大。
下面将讨论连续信源最大熵的问题，即当连续信源存 在最大熵时，其概率密度应满足什么条件？
∞
p(x) dx 1
∞
∞
x2 p(x) dx P
∞
限平均功率最大熵定理 若连续信源输出信号的平均功率为 P，则其输出信号幅度的概率密度是高斯分布 X ~ N(0, P) 时，信
源具有最大熵，其值为 1 log 2πeP 。 2
采用相似的思路，可以证明：
若 N 维连续随机矢量输出幅度受限，只有各随机分
YN X N nN
由平均互信息性质可得：
N
N
I (X; Y)
I ( Xi ;Yi )
log
1
Pi
/
2 i
i 1
i 1
N
则：
C max I (X; Y) log
p(x)
i 1
1 Pi
/
2 i
比特/N
个自由度
式中，
2 i
是第
i
个单元时刻高斯噪声的方差。因此当且仅当输入
随机矢量 X 中各分量统计独立，且是均值为零、方差为 Pi 的高斯
熵的引入：观察离散随机变量
n
n
H ( X ) p(xi ) log p(xi ) pi log pi
i 1
i 1
连续随机变量可以看作是离散随机变量的极限（量 化间隔趋于0），故可采用离散随机变量来逼近。
下面，将采用这一观点讨论连续随机变量的信息 熵与信息量。
1）类比概率 Pi 与 概率密度p(u)：
4.4 连续信源的最大熵
第 2 章我们讨论了离散信源熵的极值性。对于离散信 源，在所有的消息独立且等概时，信源熵最大。
下面将讨论连续信源最大熵的问题，即当连续信源存 在最大熵时，其概率密度应满足什么条件？
第6章 连续信源的熵、连续信道的平均互信息与信道容量
6.1 单符号连续信源的熵与微分熵
1、单符号连续信源
定义
信源发出的消息为单一符号，这些符号随机取值于 一个连续域
表示
连续型随机变量X
第6章 连续信源的熵、连续信道的平均互信息与信道容量
X x [a , b] dP(X x ) p( X x ) p( x ) dX
随机变量X的取值x为信源发出的消息
定义
对应于单符号连续信源和单符号连续信宿的信道
表示
信源——连续型随机变量X 信宿——连续型随机变量Y
第6章 连续信源的熵、连续信道的平均互信息与信道容量
X x [a , b] dP(X x ) p( X x ) p( x ) dX 随机变量X的取值x为信源发出的消息
Y y [c, d] 通常[c, d] [a , b] dP(Y y) p( Y y) p( y) dY 随机变量Y的取值y为信宿收到的消息
第6章 连续信源的熵、连续信道的平均互信息与信道容量
第6章 连续信源的熵、连续信道的平均互信息 与信道容量
教学内容和要求
理解单符号连续信源及其模型，理解其熵，掌握 其微分熵 理解单符号连续信道及其模型，掌握其平均互信 息，理解其信道容量 掌握高斯信道的信道容量，香农公式
第6章 连续信源的熵、连续信道的平均互信息与信道容量
微分熵不能作为信息度量，平均互信息——微分熵 差，具有信息度量的意义 信宿每收到一条消息所含信源一条消息的平均信息
第6章 连续信源的熵、连续信道的平均互信息与信道容量
I(X; Y) h(X) h(X / Y)
以信宿为参考，利用信宿的微分熵和信道的噪声 微分熵来度量信道中传输的平均信息 以信源为参考，利用信源的微分熵和信道的损失 微分熵来度量信道中传输的平均信息
3.5 连续信道
吴伟陵：
信道容量：离散信道容量、连续信道容量 容量代价函数：离散信道、连续信道
朱雪龙：
信道容量：离散信道
容量费用函数：连续信道&模拟信道
傅祖芸：
信道容量：离散信道容量、连续信道容量
研究连续信道容量的方法：
基本、简单的信道：无记忆加性噪声信道
信道噪声为高斯时
何种分布输入能达到对信道的充分利用？
的熵，它与加性信道的条件熵 Hc(Y/X) 相等，说明Hc(Y/X) 是 由信道噪声引起的，故称其为噪声熵。
由于加性信道的这一特征，其信道容量
C max I ( X ; Y ) max H c (Y ) H c (Y / X ) max H c (Y ) H c ( N )
P( xy) P( xn) P( x) P(n)
再经过简单推导，得出信道转移概率密度函数
P( xy ) P( x) P(n) P( y / x) P(n) P( y x) (3.5.1) P( x) P( x)
上式说明，转移概率密度函数是由噪声引起的。
加性噪声信道的转移概率密度函数等于噪声的概率
XY XN
P(n) log 2 P (n)dn P ( x)dx P(n) log 2 P (n)dn H c ( N ) （3.5-2） N X N
其中 P( x)dx 1
X
式(3.5-2)中的Hc(N)完全是由信道的噪声概率密度函数p(n)决定
1 2 2
e
n 2 2
2
n2 p(n)dn 2
P(n) (3.5.5)
如果把x看成是一个常数，则式（3.5-5）就变成了随y 变化的高斯函数。换句话说，当已知X=x时，Y也是一 个高斯变量，其均值为x，方差为 2 。 对于高斯加性信道 n
第6章_连续消息和连续信道
东南大学移动通信国家重点实验室
1
“信息论与编码”课件
第六章 连续消息和连续信道
东南大学移动通信国家重点实验室
2
“信息论与编码”课件
本章内容提要
连续消息的信息 连续消息在信道上的传输问题 香农信道容量公式 连续消息的识别和理想接收机 连续信源的数字处理及其编码
东南大学移动通信国家重点实验室
第二项，当x0时它趋于无限大，称为绝对熵，用 H(x0)表示： H ( x 0 ) p ( x ) lb x d x (6.7)
东南大学移动通信国家重点实验室
9
“信息论与编码”课件
6.1 连续消息的信息度量
6.1.1 基本思路
相对熵分析 由于H(x)=E[I(x)]，连续消息每一样值只有对应的概率 密度，其所占概率为0，根据自信息量的定义，连续消 息每一样值的自信息量都是无限大，况且量化前样值 集合的幅度连续，有无限多幅度值。 但经量化后，样值集合的幅度值变为有限，样值与样 值之间的差异也就变为有限。 反映在信息特性上，就是相对熵，它仅与连续信源的 概率密度有关，不同概率密度的信源具有不同的相对 熵，因此它表征了信源间平均信息量的差异，故又称 之为“熵差”。
h ( x1 ) h ( x 2 ) lo g 1
2
东南大学移动通信国家重点实验室
17
“信息论与编码”课件
6.1 连续消息的信息度量
6.1.2 几种连续信源的相对熵
3. 指数分布 指数分布连续信源X的信源空间为
(0, ) X : X P : P (X ) : p(x)
当m = 0时，方差就是高斯连续信源X的p(x) p ( x ) d x 1 (6.14) 高斯分布连续信源的概率 密度函数的曲线描绘如图
连续信源
11
HUST --- Information and Coding Theory
联合熵、条件熵和平均交互信息量
设有两个连续随机变量X 和Y
定义
H (X ,Y )
p(xy) log p(xy)dxdy
式中p( xy)为二维联合概率密度。
定义
H (Y | X )
p(xy) log p( y | x)dxdy
F x1,x2 ,L ,xn;t1,t2 ,L ,tn PX (t1) x1, X (t2 ) x2,..., X (tn ) xn
若F x1,x2 ,L ,xn;t1,t2 ,L ,tn 的 n 阶偏导数存在，则有
p(x1x2 L
xn ;t1t2 L
tn
)
n
F (x1, x2 ,L x1x2
3
2.3.1连续信源的熵
HUST --- Information and Coding Theory
简单连续信源的模型可写为
X x
P
p(
x)
p( x)dx
1
假设x [a,b],令x (b a) / n,xi [a (i 1)x, a ix], 则连续信源模型可改写成离散信源模型
2.4 离散无失真信源编码定理
6
连续信源的熵
HUST --- Information and Coding Theory
例1：均匀分布随机变量的概率密度为
p(x)
b
1
a
0
求其熵。
a xb 其它
例2：求均值为m、方差为 2的高斯分布的熵。
7
HUST --- Information and Coding Theory
第七章连续信源与连续信道
设p(x)是除指数分布以外的任何概率密 度函数，且
0
p( x)dx 1 xp( x)dx m
0
0
Hc ( X) p( x)lbp ( x)dx
p( x)lbp ( x)
0
me me
x
m x m
dx
e e m p( x)lb dx p( x )lb dx 0 0 m m p( x ) x lbe p( x)( )dx p( x)lbmdx 0 0 m
x m
x
lbe
0
e m p( x) ln dx m p( x )
0
x
lbe lbm lbe
lb(em) lbe [
0
e m p( x)[ 1]dx m p( x ) x
x
e m dx p( x)dx ] lb (em) 0 m
一、连续信源及其相对熵
1、单变量连续信源的数学模型
X a x b P ( X ) p( x )
并满足 p( x)dx 1
a
b
式中，p(x)为随机变量的概率密度函数。 2、单变量连续信源的熵 假定概率密度函数p(x)如图所示
p(x)
p( xi )
可直接由定义证明：
H c ( XY ) p( xy)lbp ( xy)dxdy
p( xy)lbp ( x)dxdy p( xy)lbp ( y / x)dxdy
R2 R2
R2
p( x)lbp ( x)dx p( xy)lbp ( y / x)dxdy
(信息论、编码及应用)第4章连续信源与连续信道
应用
连续信源的编码定理是信息论中最重 要的定理之一，它为信源编码提供了 理论依据和指导，广泛应用于数据压 缩、图像处理等领域。
02
连续信道
定义与特性
定义
连续信道是一种能够传输连续信号的通信通道，例如音频、 视频信号等。
特性
连续信道具有带宽限制、噪声干扰、信号衰减等特性，这些 特性会影响信号传输的质量和可靠性。
利用统计学习方法，如自适应滤 波、神经网络等，对信源和信道 进行学习和优化，实现动态匹配。
编码技术
采用适当的编码技术，如差分编 码、增量编码等，对信源进行编 码，使其更适应信道的传输特性。
匹配的优化策略
01
02
03
能效优先
在保证信息传输质量的前 提下，优先考虑能效，通 过优化信源和信道的参数， 降低能耗。
例如，在移动通信网络中，语音信号通常采用码分多址（CDMA）或长期演进（LTE） 等技术进行传输。这些技术能够提供较高的数据传输速率和较低的误码率，从而保 证语音信号的清晰度和可懂度。
图像信号传
图像信号传输是连续信源与连续信道的另一个重要应用领域。在电视广播、视频会议和在线教育等应用中，图像信号需要通 过连续信道进行传输。由于图像信号的数据量较大，因此需要采用高效的压缩编码技术来减小传输数据量，同时还需要保证 图像质量。
输速率，同时保证信息的可靠传输。
03
匹配理论的发展历程
随着信息论的不断发展，匹配理论也在不断完善，从早期的经典匹配理
论到现代的统计匹配理论，为连续信源与连续信道的匹配提供了更精确
的指导。
匹配的实现方法
参数调整
根据信源和信道的特性，调整相 关参数，如信源的压缩比、信道 的调制方式等，以实现匹配。
连续信源的编码定理是信息论中最重 要的定理之一，它为信源编码提供了 理论依据和指导，广泛应用于数据压 缩、图像处理等领域。
02
连续信道
定义与特性
定义
连续信道是一种能够传输连续信号的通信通道，例如音频、 视频信号等。
特性
连续信道具有带宽限制、噪声干扰、信号衰减等特性，这些 特性会影响信号传输的质量和可靠性。
利用统计学习方法，如自适应滤 波、神经网络等，对信源和信道 进行学习和优化，实现动态匹配。
编码技术
采用适当的编码技术，如差分编 码、增量编码等，对信源进行编 码，使其更适应信道的传输特性。
匹配的优化策略
01
02
03
能效优先
在保证信息传输质量的前 提下，优先考虑能效，通 过优化信源和信道的参数， 降低能耗。
例如，在移动通信网络中，语音信号通常采用码分多址（CDMA）或长期演进（LTE） 等技术进行传输。这些技术能够提供较高的数据传输速率和较低的误码率，从而保 证语音信号的清晰度和可懂度。
图像信号传
图像信号传输是连续信源与连续信道的另一个重要应用领域。在电视广播、视频会议和在线教育等应用中，图像信号需要通 过连续信道进行传输。由于图像信号的数据量较大，因此需要采用高效的压缩编码技术来减小传输数据量，同时还需要保证 图像质量。
输速率，同时保证信息的可靠传输。
03
匹配理论的发展历程
随着信息论的不断发展，匹配理论也在不断完善，从早期的经典匹配理
论到现代的统计匹配理论，为连续信源与连续信道的匹配提供了更精确
的指导。
匹配的实现方法
参数调整
根据信源和信道的特性，调整相 关参数，如信源的压缩比、信道 的调制方式等，以实现匹配。
信息论讲义-第八章
∆x→0
= Hc ( X ) + H∆ ( X ) = Hc ( X ) + ∞
w(x)
w( xk )∆x
结论：连续信源的熵值无限 结论：连续信源的熵值无限
H(X ) = ∞
0
xk−1 ∆x xk
x
连续信源的信息熵
H(X ) = ∞ 的含义 • 从数学概念上：连续熵不存在。连续随机变 从数学概念上：连续熵不存在。 量所包含的信息量为无限大， 量所包含的信息量为无限大，我们不可能全 部获取， 部获取，我们关心的只是其中足以满足我们 所需要的一部分。 所需要的一部分。
e e ≤ ∫ ω(x) ω(x) −∞ e 当 ⇒
λ1+λ2 ( x−m)2
ω(x)
= 1 ，等号 时 成立 。
λ1+λ2 ( x−m)2
ω(x) = e
连续信源的最大相对熵
λ 再由两个约束条件求 1，λ2的值 +∞ − λ2 λ1 ⇒e = ∫−∞ ω( x)dx π 3 − +∞ π (−λ2 ) 2 = σ2 ω( x)( x − m)2 dx ⇒ eλ1 ∫−∞ 2 1 λ1 e = 2 2πσ2 ⇒ ω( x) = 1 exp− ( x − m) ⇒ 2 2σ2 2πσ λ = − 1 2 2σ2 1 Hc ( X) = ln( 2πeσ2 ) 高斯分布时相对熵 2
I ( X ;Y ) = H c ( X ) − H c ( X | Y )
连续信源的相对熵、 连续信源的相对熵、 平均互信息的性质
I ( X ;Y ) ≥ 0
I ( X ;Y ) = I (Y ; X )
I ( X ;YZ ) = I ( X ;Y ) + I ( X ; Z | Y )
= Hc ( X ) + H∆ ( X ) = Hc ( X ) + ∞
w(x)
w( xk )∆x
结论：连续信源的熵值无限 结论：连续信源的熵值无限
H(X ) = ∞
0
xk−1 ∆x xk
x
连续信源的信息熵
H(X ) = ∞ 的含义 • 从数学概念上：连续熵不存在。连续随机变 从数学概念上：连续熵不存在。 量所包含的信息量为无限大， 量所包含的信息量为无限大，我们不可能全 部获取， 部获取，我们关心的只是其中足以满足我们 所需要的一部分。 所需要的一部分。
e e ≤ ∫ ω(x) ω(x) −∞ e 当 ⇒
λ1+λ2 ( x−m)2
ω(x)
= 1 ，等号 时 成立 。
λ1+λ2 ( x−m)2
ω(x) = e
连续信源的最大相对熵
λ 再由两个约束条件求 1，λ2的值 +∞ − λ2 λ1 ⇒e = ∫−∞ ω( x)dx π 3 − +∞ π (−λ2 ) 2 = σ2 ω( x)( x − m)2 dx ⇒ eλ1 ∫−∞ 2 1 λ1 e = 2 2πσ2 ⇒ ω( x) = 1 exp− ( x − m) ⇒ 2 2σ2 2πσ λ = − 1 2 2σ2 1 Hc ( X) = ln( 2πeσ2 ) 高斯分布时相对熵 2
I ( X ;Y ) = H c ( X ) − H c ( X | Y )
连续信源的相对熵、 连续信源的相对熵、 平均互信息的性质
I ( X ;Y ) ≥ 0
I ( X ;Y ) = I (Y ; X )
I ( X ;YZ ) = I ( X ;Y ) + I ( X ; Z | Y )
第6讲_信源及其信息量5_连续信源
2011-3-17
Department of Electronics and Information, NCUT
Song Peng
第11页
2.3.1 一些基本概念
2.3 连 续 信 源
(2) 随机过程及其分类
② 随机过程的分类
分类：根据统计特性，连续随机过程可分为平稳与非平稳随 机过程两大类。 平稳随机过程：统计特性（各维概率密度函数）不随时间平 移而变化。 非平稳随机过程：统计特性随时间平移而变化。
2.3.2 连续信源的熵
2.3 连 续 信 源
(1) 计算连续信源熵的两种方法 (2) 连续信源的种类 (3) 连续信源的数学描述 (4) 连续信源的熵 (5) 连续信源的联合熵和条件熵
2011-3-17
Department of Electronics and Information, NCUT
(4) 连续信源的熵
① 单变量连续信源数学模型 ② 连续信源的熵 ③ 举例 ④ 连续信源熵的意义
2011-3-17
Department of Electronics and Information, NCUT
Song Peng
第21页
2.3.2 连续信源的熵
2.3 连 续 信 源
(4) 连续信源的熵
信息论与编码
（第六讲）
──────────────
连续信源
宋 鹏
2011年春 E-mail：songpeng@
2011-3-17 Department of Electronics and Information, NCUT Song Peng 第1页
目 录
第1讲：绪论 第2讲：信源及其信息量1—自信息与熵 第3讲：信源及其信息量2—平均互信息 第4讲：信源及其信息量3—扩展信源 第5讲：信源及其信息量4—马尔科夫信源 第6讲：信源及其信息量5—连续信源 第7讲：信源及其信息量6—信源编码定理 第8讲：信道及其容量1 第9讲：信道及其容量2 第10讲：信息率失真函数1 第11讲：信息率失真函数2 第12讲：习题课1
连续信道
当信道频带较窄时，可以通过提高信噪功率比来补 偿。(N0 B为高斯白噪声在带宽B内的平均功率。)
当信道的频带很宽（无限）时，其信道容量与信号 功率成正比，这一比值是加性高斯噪声信道信息传 输率的极限值。
当B 时，取2为底的对数，则
C lim B log(1
2 X
)
2 X
log
e
1.44
2 X
4
时间离散加性噪声信道中互信息量最大值
p (y | x ) = p N (y - x ) = p N (z) 则有
H(Y
|
X) = - ∞ ∞ p (x y )lo g p (y -∞ -∞
|
x )dx dy
= -
∞ -∞
∞ -∞
p
X
(x
)p
(y
|
x )lo g p (y
|
x )dx dy
由于信道的带宽有限，可以把一个时间连续
的信道变换成时间离散的随机序列进行处理。
设输入随机序列为：Xi ,i 1, 2,..., n ;
噪声随机序列为：Ni ,i 1, 2,..., n ;
输出随机序列为：Yi ,i 1, 2,..., n ;
则有 Yi Xi Ni i 1, 2,..., n 。
11
单位时间窄带高斯信道容量
对于窄带高斯信道，即N (t)为零均值的高斯过程， 信道带宽为B，若时间变化范围为[0,T ],由采样定理 可知，可用n 2BT个样本近似表示X (t)和N (t)。 对于时间连续信源，常常采用单位时间的信道容量， 把n 2BT 代入信道容量表示式，则
C
BT
log 1
z22 L
2
2 N
zn2
当信道的频带很宽（无限）时，其信道容量与信号 功率成正比，这一比值是加性高斯噪声信道信息传 输率的极限值。
当B 时，取2为底的对数，则
C lim B log(1
2 X
)
2 X
log
e
1.44
2 X
4
时间离散加性噪声信道中互信息量最大值
p (y | x ) = p N (y - x ) = p N (z) 则有
H(Y
|
X) = - ∞ ∞ p (x y )lo g p (y -∞ -∞
|
x )dx dy
= -
∞ -∞
∞ -∞
p
X
(x
)p
(y
|
x )lo g p (y
|
x )dx dy
由于信道的带宽有限，可以把一个时间连续
的信道变换成时间离散的随机序列进行处理。
设输入随机序列为：Xi ,i 1, 2,..., n ;
噪声随机序列为：Ni ,i 1, 2,..., n ;
输出随机序列为：Yi ,i 1, 2,..., n ;
则有 Yi Xi Ni i 1, 2,..., n 。
11
单位时间窄带高斯信道容量
对于窄带高斯信道，即N (t)为零均值的高斯过程， 信道带宽为B，若时间变化范围为[0,T ],由采样定理 可知，可用n 2BT个样本近似表示X (t)和N (t)。 对于时间连续信源，常常采用单位时间的信道容量， 把n 2BT 代入信道容量表示式，则
C
BT
log 1
z22 L
2
2 N
zn2
信息论基础教学课件ppt-连续信息与连续信源
北京邮电大学信息论
信息论基础
第4章
连续信息与连续信源
1
本章主要内容
4.1 连续随机变量集合的熵
4.1.1 4.1.2 4.1.3 4.1.4
连续随机变量的离散化 连续随机变量的熵 连续随机变量差熵的性质 连续随机变量的相对熵
4.2 离散时间高斯信源的熵
4.2.1 4.2.2 4.2.3 4.2.4
55
4.6.2 语音信源
●语音（Speech）是指人所发出的声音 ●语音功率谱频率范围通常从500到4kHz，按每 倍频程8到10dB速率衰减。 ●语音信号的剩余度表现在如下几方面： （1）语音信号样本间相关性很强。 （2）浊音具有准周期性； （3）声管形状及其变化的速率较慢； （4）数字语音码符号的概率不均匀。
，则
(4.21b)
即经过平移和旋转变换后的连续信源的差熵不变。
17
4.1.4 连续随机变量的相对熵
与离散情况类似，我们可以定义连续随机变量的
相对熵（信息散度）。设p和q为定义在同一概率 空间的两个概率密度，定义p相对于q的相对熵为：
(4.23)
18
4.2 离散时间高斯信源的熵
4.2.1 一维高斯随机变量的熵 4.2.2 多维独立高斯随机矢量的熵 4.2.3 多维相关高斯随机矢量的熵 4.2.4 高斯马尔可夫过程的熵率
率密度，其协方差矩阵也为 根据定理4.2（散度不等式）有 所以：
34
§4.3.2 限功率最大熵定理
证明（续）
所以： 上面利用了两概率分布具有相同的自协方差矩阵的 条件，其中 仅当 为高斯分布时等式成立。证毕。
35
§4.3.4 熵功率
限功率最 大熵定理
熵功率：
（4.50 ）
信息论基础
第4章
连续信息与连续信源
1
本章主要内容
4.1 连续随机变量集合的熵
4.1.1 4.1.2 4.1.3 4.1.4
连续随机变量的离散化 连续随机变量的熵 连续随机变量差熵的性质 连续随机变量的相对熵
4.2 离散时间高斯信源的熵
4.2.1 4.2.2 4.2.3 4.2.4
55
4.6.2 语音信源
●语音（Speech）是指人所发出的声音 ●语音功率谱频率范围通常从500到4kHz，按每 倍频程8到10dB速率衰减。 ●语音信号的剩余度表现在如下几方面： （1）语音信号样本间相关性很强。 （2）浊音具有准周期性； （3）声管形状及其变化的速率较慢； （4）数字语音码符号的概率不均匀。
，则
(4.21b)
即经过平移和旋转变换后的连续信源的差熵不变。
17
4.1.4 连续随机变量的相对熵
与离散情况类似，我们可以定义连续随机变量的
相对熵（信息散度）。设p和q为定义在同一概率 空间的两个概率密度，定义p相对于q的相对熵为：
(4.23)
18
4.2 离散时间高斯信源的熵
4.2.1 一维高斯随机变量的熵 4.2.2 多维独立高斯随机矢量的熵 4.2.3 多维相关高斯随机矢量的熵 4.2.4 高斯马尔可夫过程的熵率
率密度，其协方差矩阵也为 根据定理4.2（散度不等式）有 所以：
34
§4.3.2 限功率最大熵定理
证明（续）
所以： 上面利用了两概率分布具有相同的自协方差矩阵的 条件，其中 仅当 为高斯分布时等式成立。证毕。
35
§4.3.4 熵功率
限功率最 大熵定理
熵功率：
（4.50 ）
2.3连续信源
但是在连续信源中则是两个概念，且不相等。
连续信源的熵Hc(X)是一个过渡性的概念，它虽然也具有可加 性，但不一定满足非负性，它不具有信息的全部特征。 例如，对一个均匀分布的连续信源，按照定义，有
1 1 Hc ( X ) log 2 dx log 2 (b a ) ba ba a
b
p ( x) log 2 p ( x) dx
a
a b
n 0
i
定义前一项取有限值的项为连续信源的信息熵，并记为Hc(X),即 连续信源的熵 H c ( X ) p( x) log 2 p( x)dx (2.3.6)
a b
注意：
Hc(X)是连续信源的熵，而不是连续信源输出的信息量H(X) . 连续信源的绝对熵H(X)应该还要加上一项无限大的常数项. 连续信源输出的信息量H (X)是一个绝对值，它取值于∞，而 连续信源的熵Hc(X)则是一个相对值，且取值是有限的。 这一点可以这样理解：因为连续信源的可能取值数是无 限多个，所获得的信息量也将为无限大。 在离散信源中信源输出信息量就是信源熵，两者是一个概念；
同理，还可进一步定义如下连续随机变量的熵。 两个连续变量的联合熵和条件熵分别为： 连续信源熵
联合熵 条件熵
H c ( XY ) p( xy) log 2 p( xy)dxdy
H c ( X / Y ) p( xy ) log 2 p( x / y )dxdy
R2
Hc ( X ) p( x) log p( x)dx
不能把它作为信息熵来理解。连续信源的差熵值具有熵的部分 含义和性质，而丧失了某些重要的特性。
2.3.2 几种特殊连续信源的熵 1. 均匀分布的连续信源的熵
第5章 连续信源和连续信道
熵的例子3
【例，增】求均匀分布信源的熵。
• 概率密度函数
1
p(x)
b
a
a xb
• 则熵为
0 other
b1
1
H (X ) p(x) log p(x)dx
log dx
a ba ba
log(b a) ba
x
|ba
log(b ba
a)
说明： ✓与离散信源熵形式相同，但意义不同； ✓连续信源不确定性是无穷大，因此熵无穷大； ✓连续信源熵只是相对值。
【定义5-2】设有两个连续随机变量X和Y，其联合熵为
H ( X ,Y ) p(xy) log p(xy)dxdy
式中，p(xy)是二维联合概率密度函数。
【定义5-3】设有两个连续随机变量X和Y，其条件熵为
H ( X Y ) p(xy) log p(x y)dxdy
或者
H (Y X ) p(xy) log p( y x)dxdy
式中，p(x׀y)、p(y׀x)是条件概率密度函数。
【定义5-4】两个连续随机变量X和Y之间的平均互信息量为
I(X;Y) H(X ) H(X Y) H(Y) H(Y X )
Y=X+N 其中N为随机加性噪声，且X和N统计独立。
• 定义信道容量为 C max{I (X ;Y )} p(x)
• 可以证明： H(Y X ) H(N)
证明
• 因此
I(X;Y) H(Y) H(Y X ) H(Y) H(N)
即简单加性信道的互信息由输出熵和噪声熵决定。
第六章 连续信道及其容量
式中上确界是在给定输入约束下对所有 输入分布来求的
10
可加波形信道
若信道干扰是可加白高斯噪声z(t)，简记 为AWGN，它的功率谱均匀地分布在比 信号带宽更宽的频带上。则在0≤t ≤T内， 噪声也可通过正交函数集表示成
11
可加波形信道
若信道输入功率不超过S，即
由前面结论
12
可加波形信道
其x1, x2,...是均值为0、方差Sn=ST/N 的统计独立高斯随机变量，上式等 号成立，
效带宽越宽，信道容量越大； 信道容量与信道上的信号噪声比有关，信噪比越大， 信道容量也越大，但其制约规律呈对数关系 ； 信道容量C,有限带宽W和信噪比可以相互起补偿作用。 应用极为广泛的扩展频谱通信，多相位调制等都是以此 为理论基础。 当信道上的信噪比小于1时（低于0db），信道的信道 容量并不等于0，这说明此时信道仍具有传输消息的能 力。也就是说信噪比小于1时仍能进行可靠的通信，这 对于卫星通信、深空通信等具有特别重要的意义。
4
6.2 波形信道
若信道的输入和输出是任意的时间函数， 就称作是波形信道或时间连续的连续信 道。
若信道输出 y(t)=x(t)＋z(t) ，就称为可加 波形信道。
5
可加波形信道
对于任意给定的x(t)，信道的输出将主要由信 道噪声决定。一般假定z(t)的均值为零，则y(t) 的均值将等于x(t)的均值。 在有限通信时间段[0，T]上，若x(t)、y(t)都是 平方可积函数，它们可通过一组完备的正交 函数集{1(t)，2(t)，…，}展开成
2
时间离散的无记忆连续信道
（3）转移概率密度 p(y|x))=p(y1|x1)p(y2|x2)…p(yN|xN)，
则称该信道为时间离散的无记忆连续信道。如 果进一步有 （4）p(yn|xn)=p(ym|xm)3
信息论连续信源和波形信道
❖ 由于连续信源的熵是相对熵，它与离散信源的熵不同，不具有非负性和
极值性。所以连续信源的平均交互信息熵具有非负性。
第8页/共25页
8.1.5 连续信源的熵速率和熵功率
基本概念
熵速率：信源在单位时间内输出的熵称为信源的熵速率。
连续信源的熵是连续信源每个样值的熵，它由信源分布密度来表示。 如果信源是时间连续、信号带宽为 B的连续信源，根据随机信号的采样定 理，可用 2B 的速率对信源进行采样。因此，连续信源的熵速率为
定义 8.1.4 两个连续随机变量 X 和 Y 之间的平均交互信息量为
IX;Y HX HX |Y 或 I X ;Y H Y H Y | X I X ;Y H X H Y H X ,Y
连续信源的平均交互信息量的性质：
(8.12) (8.13) (8.14)
(1) H X , Y H X H Y (2) H X | Y H X 和 H Y | X H Y
时间连续的信道也称作波形信道。同样时间连续信道可用随机过程描述。 由于信道的带宽总是有限的，根据随机信号采样定理，我们可以把一个时间连 续的信道变换成时间离散的随机序列进行处理。
由于信道是无记忆信道，那么 n 维随机序列的平均交互信息量满足
n
I X; Y I X i ; Yi i 1
因此时间连续信道的信道容量为
的R曲D线 。从该式也可以8.4.2 设所有试验信道的集合为 时，连续信源的信息率失真函数为
D D
，在满足B一D 定失真度
R D inf I X , Y p y|x BD
(8.34)
式中inf 表示下界，试验集合为
BD ： p y |。x , D D
率失真函数的求解
(8.19)
连续信源和连续信道
当信源的概率密度符合正态分布时，其相对熵仅与随机 变量的方差 2 有关，而方差在物理含义上往往表示信号
的交流功率,即p 2
在限制信号平均功率的条件下，正态分布的信源可输出最
大相对熵 而增加。
Hc
(X
)
1 2
log 2
2e
2
其值随平均功率的增加
如果噪声是正态分布，则噪声熵最大，因此高斯白噪声 获得最大噪声熵。
i 1
bi
ai
i 1
0
N
x bi ai i 1
N
N
Hc ( X ) log2 (bi ai ) log2 (bi ai )
i 1
i 1
HcX1 HcX2 HcXN
连续随机矢量中各分量相互统计独立时，其矢量熵就 等于各单个随机变量的熵之和，与离散信源情况类似。
2. 高斯分布的连续信源的熵：与数学期望无关，仅与方 差有关
单变量连续信源X呈正态分布的概率密度函数为
p(x)
1
e
(
xm) 2 2
2
2 2
且：
p(x)dx 1
Hc
(X
)
1 2
log 2
2e
2
xp(x)dx m
x2 p(x)dx P
E X m2 E X 2 m2 P2 m2 2
当连续信源输出信号的均值为零、平均功率受限 时，只有信源输出信号的幅度呈高斯分布时，才会有 最大熵值。
连续信源的熵具有相对性，有时称为相对熵,在取两熵 之间的差时才具有信息的所有特性.
例2.3.1有一信源概率密度如图所示，求连续熵
解:
由图(a)得
Hc(X )
P(x) log 2P(x)dx
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
Hc(X)12lo2g2eP
相对熵只与平均功率有关
3. 指数分布的连续信源的熵：只取决于均值
若一维随机变量X的取值空间是[0，∞］，其概率密
度函数为 p(x)1em x，且 (x0)
m
其中：m E [X ] x(x p )d x x1e m xd x m
0
0m
H c (X ) 0 p x lo g 2 p x d x 0 p x lo g 2 m 1 e m x d x
P (a i 1 X a i ) a a ( ii 1 ) p (x ) d x p (x i)
根据离散信源熵的定义，则
n
H(X) p(xi)log2 p(xi) i1
n
n
p(xi)log2 p(xi) p(xi)log2
i1
i1
n→∞时，即Δ→0 时，得：
n
n
lim H (X ) lim
n
n
p (x i) lo g 2p (x i) ln i m lo g 2
p (x i)
i 1
i 1
Hale Waihona Puke 000a bp(x)log2p(x)dxlni m log2a bp(x)dx
0
b
ap(x)log2p(x)dxl i m 0log2
定义连续信源熵:
HC(X)Rp(x)log2p(x)dx
2.3.2 几种特殊连续信源的熵
1. 均匀分布的连续信源的熵，其大小仅与区域的边界有关。
一维均匀分布： p(x)b1a (x[a,b]) 0 (x[a,b])
b
H c(X)ap(x)log2p(x)dx
abb1alog2b1adx
1
b
balo g2(ba )a1 d xlo g2(ba )
4. 最大连续熵定理 在不同的限制条件下，信源的最大熵也不同。
（1）限峰值功率的最大熵定理 若信源的N维随机变量的取值在一定的范围之内，
N
Hc(X)lo2g (bi ai) lo2g (bi ai)
i1
i1
HcX1HcX2HcXN
连续随机矢量中各分量相互统计独立时，其矢量熵就 等于各单个随机变量的熵之和，与离散信源情况类似。
2. 高斯分布的连续信源的熵：与数学期望无关，仅与方 差有关
设一维随机变量 X的取值范围是整个实数轴R，概 率密度函数呈正态分布
1 2 lo g 222 2 1 2lo g 2e p (x )(x m )2 d x
1 2
log2
2e
2
与方差有关，与均值无关
当均值m=0，X的方差就是随机变量的平均功率
2 E X m 2 ( x m ) 2 p ( x ) d x x 2 p ( x ) d x P
2.3.1连续信源熵
连续信源基本的数学模型为
R
Xp(x),Rp(x)dx1
其中 R是全实数集，是连续变量X的取值范围，p(x)为X 的概率密度。
假设x∈［a，b］，令Δ=(b-a)/n，xi∈［a+(i1)Δ，a+iΔ］，p(x)为连续变量X的概率密度函数，则利 用中值定理X落在第i个小区间的概率是
上式定义的连续信源的熵并不是实际信源输出的绝对熵， 连续信源的绝对熵应该再加上一项无限大的常数项。因为连 续信源的可能取值有无限多个，若其取值是等概率分布的， 那么，信源不确定性为无限大。当确知输出为某值后，所获 得的信息量也将为无限大。可见，Hc(X)已不能代表信源的 平均不确定性大小，也不能代表连续信源输出的信息量。
3. 平均互信息的非负性
Ic (X;Y) Ic (Y; X ) Hc(X ) Hc(X /Y) Hc (Y) Hc (Y / X ) Hc (X ) Hc (Y) Hc (XY)
连续信道的平均互信息量和离散信道下平均互信息量 的关系式完全类似，且保留了离散信道平均互信息量的所有 含义和性质。可见，将差熵定义为连续信源的熵是有重要实 际意义的。
lo g 2m 0 pxd xlo g m 2e0 xpxd x log2 me
指数分布的相对熵只取决于信源的均值m
2.3.3 连续信源熵的性质及最大连续熵定理
1. 连续熵可为负值
2. 可加性 HcXYHcXHcY/X HcXYHcYHcX/Y
推广到N个变量：
H c X 1 X 2 L X N H c X 1 H c X 2 /X 1 H c X 3 /X 1 X 2 L H c X N /X 1 X 2 L X N 1
2 4 4
同理，可定义两个连续变量X，Y的联合熵和条件熵：
H c(X Y ) p(xy)lo g2p (xy)d xd y R 2
Hc(Y| X) p(x)p(y| x)log2 p(y| x)dxdy R2 H c(X |Y ) p (x )p (x|y )lo g 2p (x|y )d x d y R 2
p(x) 1 e(x2m2)2
22
mEX x(px)dx
2EXm2 (xm)2p(x)dx
H c (X ) p (x )lo g 2p (x )d x p (x )lo g 2 2 12e (x 2 m 2 ) 2 d x p (x )lo g 2 2 12d x p (x )(x 2 m 2 )2lo g 2 e d x
连续信源的熵具有相对性，有时称为相对熵,在取两熵 之间的差时才具有信息的所有特性.
例2.3.1有一信源概率密度如图所示，求连续熵
解:
由图(a)得 H c ( X ) P ( x )lo g 2 P ( x ) d x 3 1 lo g 2 1 d x 1 b it
12 2
由图(b)得 H c ( X ) P ( x ) lo g 2 P ( x ) d x 6 1 lo g 2 1 d x 2 b it
若： ba1 Hc(X)0 ba1 Hc(X)0
相对熵无非负性，可为负值
N维均匀分布：N维矢量（X1 X2 …XN）中各分量彼
此统计独立，且分别在[a1，b1] [a2，b2] …[aN，bN] 的
区域内均匀分布，即
1
N
p(x)
i1
bi
ai
0
N
xbi ai i1 N
xbi ai i1
N
相对熵只与平均功率有关
3. 指数分布的连续信源的熵：只取决于均值
若一维随机变量X的取值空间是[0，∞］，其概率密
度函数为 p(x)1em x，且 (x0)
m
其中：m E [X ] x(x p )d x x1e m xd x m
0
0m
H c (X ) 0 p x lo g 2 p x d x 0 p x lo g 2 m 1 e m x d x
P (a i 1 X a i ) a a ( ii 1 ) p (x ) d x p (x i)
根据离散信源熵的定义，则
n
H(X) p(xi)log2 p(xi) i1
n
n
p(xi)log2 p(xi) p(xi)log2
i1
i1
n→∞时，即Δ→0 时，得：
n
n
lim H (X ) lim
n
n
p (x i) lo g 2p (x i) ln i m lo g 2
p (x i)
i 1
i 1
Hale Waihona Puke 000a bp(x)log2p(x)dxlni m log2a bp(x)dx
0
b
ap(x)log2p(x)dxl i m 0log2
定义连续信源熵:
HC(X)Rp(x)log2p(x)dx
2.3.2 几种特殊连续信源的熵
1. 均匀分布的连续信源的熵，其大小仅与区域的边界有关。
一维均匀分布： p(x)b1a (x[a,b]) 0 (x[a,b])
b
H c(X)ap(x)log2p(x)dx
abb1alog2b1adx
1
b
balo g2(ba )a1 d xlo g2(ba )
4. 最大连续熵定理 在不同的限制条件下，信源的最大熵也不同。
（1）限峰值功率的最大熵定理 若信源的N维随机变量的取值在一定的范围之内，
N
Hc(X)lo2g (bi ai) lo2g (bi ai)
i1
i1
HcX1HcX2HcXN
连续随机矢量中各分量相互统计独立时，其矢量熵就 等于各单个随机变量的熵之和，与离散信源情况类似。
2. 高斯分布的连续信源的熵：与数学期望无关，仅与方 差有关
设一维随机变量 X的取值范围是整个实数轴R，概 率密度函数呈正态分布
1 2 lo g 222 2 1 2lo g 2e p (x )(x m )2 d x
1 2
log2
2e
2
与方差有关，与均值无关
当均值m=0，X的方差就是随机变量的平均功率
2 E X m 2 ( x m ) 2 p ( x ) d x x 2 p ( x ) d x P
2.3.1连续信源熵
连续信源基本的数学模型为
R
Xp(x),Rp(x)dx1
其中 R是全实数集，是连续变量X的取值范围，p(x)为X 的概率密度。
假设x∈［a，b］，令Δ=(b-a)/n，xi∈［a+(i1)Δ，a+iΔ］，p(x)为连续变量X的概率密度函数，则利 用中值定理X落在第i个小区间的概率是
上式定义的连续信源的熵并不是实际信源输出的绝对熵， 连续信源的绝对熵应该再加上一项无限大的常数项。因为连 续信源的可能取值有无限多个，若其取值是等概率分布的， 那么，信源不确定性为无限大。当确知输出为某值后，所获 得的信息量也将为无限大。可见，Hc(X)已不能代表信源的 平均不确定性大小，也不能代表连续信源输出的信息量。
3. 平均互信息的非负性
Ic (X;Y) Ic (Y; X ) Hc(X ) Hc(X /Y) Hc (Y) Hc (Y / X ) Hc (X ) Hc (Y) Hc (XY)
连续信道的平均互信息量和离散信道下平均互信息量 的关系式完全类似，且保留了离散信道平均互信息量的所有 含义和性质。可见，将差熵定义为连续信源的熵是有重要实 际意义的。
lo g 2m 0 pxd xlo g m 2e0 xpxd x log2 me
指数分布的相对熵只取决于信源的均值m
2.3.3 连续信源熵的性质及最大连续熵定理
1. 连续熵可为负值
2. 可加性 HcXYHcXHcY/X HcXYHcYHcX/Y
推广到N个变量：
H c X 1 X 2 L X N H c X 1 H c X 2 /X 1 H c X 3 /X 1 X 2 L H c X N /X 1 X 2 L X N 1
2 4 4
同理，可定义两个连续变量X，Y的联合熵和条件熵：
H c(X Y ) p(xy)lo g2p (xy)d xd y R 2
Hc(Y| X) p(x)p(y| x)log2 p(y| x)dxdy R2 H c(X |Y ) p (x )p (x|y )lo g 2p (x|y )d x d y R 2
p(x) 1 e(x2m2)2
22
mEX x(px)dx
2EXm2 (xm)2p(x)dx
H c (X ) p (x )lo g 2p (x )d x p (x )lo g 2 2 12e (x 2 m 2 ) 2 d x p (x )lo g 2 2 12d x p (x )(x 2 m 2 )2lo g 2 e d x
连续信源的熵具有相对性，有时称为相对熵,在取两熵 之间的差时才具有信息的所有特性.
例2.3.1有一信源概率密度如图所示，求连续熵
解:
由图(a)得 H c ( X ) P ( x )lo g 2 P ( x ) d x 3 1 lo g 2 1 d x 1 b it
12 2
由图(b)得 H c ( X ) P ( x ) lo g 2 P ( x ) d x 6 1 lo g 2 1 d x 2 b it
若： ba1 Hc(X)0 ba1 Hc(X)0
相对熵无非负性，可为负值
N维均匀分布：N维矢量（X1 X2 …XN）中各分量彼
此统计独立，且分别在[a1，b1] [a2，b2] …[aN，bN] 的
区域内均匀分布，即
1
N
p(x)
i1
bi
ai
0
N
xbi ai i1 N
xbi ai i1
N