第八章连续信源和波形信道 - 2013

波形信源和波形信道

电子信息工程学院
信息论
4 连续信道和波形信道的分类
若多维连续信道的传递概率密度函数满足
p( y | x ) p( yi | xi )
i 1 N
则称此信道为连续无记忆信道。即：若连续信道在任一时刻输出的变量只与对应时刻的输入变量有关，与以前时刻的输入，输出变量无关，也与以后的输入变量无关，则此信道为无记忆连续信道。连续信道任何时刻的输出变量与其他任何时刻的输入，输出变量都有关。则此信道称为连续有记忆信道。
电子信息工程学院
信息论
4 连续信道和波形信道的分类
输入X 信道
+
噪声n

输出Y
p( x)dx

因此，在加性信道中，Y=X+n ，条件熵为
h( X | Y ) p( xy ) log( y | x)dxdy
R
p( y | x) log p( y | x) dy
XN
Y Y1Y2
波形信道
YN
P( y1 y2
yN | x1 x2
xN )
图4.7 波形信道转化成多维连续信道
电子信息工程学院
信息论
4 连续信道和波形信道的分类
按噪声统计特性分类 1.高斯信道信道中的噪声是高斯噪声。高斯噪声是平稳遍历的随机过程，其瞬时值的概率密度函数服从高斯分布（即正态分布）。一维概率密度函数为 1 ( x m)2 p ( x) exp( ) 2 2 2 2
0 n
信息论
4 连续信道和波形信道的分类
3.高斯白噪声信道
一般情况把既服从高斯分布而功率谱密度又是均匀的噪声称为高斯白噪声。关于低频限带高斯白噪声有一个很重要的性质，即低频限带高斯白噪声经过取样函数取样后可分解成N（＝2FT）个统计独立的高斯随机变量（方差为 N0 / 2 ，均值也为零）。低频限带高斯白噪声可以看成是无限带宽的高斯白噪声通过一个理想低通滤波器后所得。如果理想低通滤波器其带宽为F 赫兹，那么它的传递函数的频率响应为 1 2 F 2 F K ( ) 其他 0

《信息论与编码技术》复习提纲复习题

《信息论与编码技术》复习提纲复习题纲第0章绪论题纲：I.什么是信息？II.什么是信息论？III.什么是信息的通信模型？IV.什么是信息的测度？V.自信息量的定义、含义、性质需掌握的问题：1.信息的定义是什么？（广义信息、狭义信息——Shannon信息、概率信息）2.Shannon信息论中信息的三要素是什么？3.通信系统模型图是什么？每一部分的作用的是什么？4.什么是信息测度？5.什么是样本空间、概率空间、先验概率、自信息、后验概率、互信息？6.自信息的大小如何计算？单位是什么？含义是什么（是对什么量的度量）？第1章信息论基础㈠《离散信源》题纲：I.信源的定义、分类II.离散信源的数学模型III.熵的定义、含义、性质，联合熵、条件熵IV.离散无记忆信源的特性、熵V.离散有记忆信源的熵、平均符号熵、极限熵VI.马尔科夫信源的定义、状态转移图VII.信源的相对信息率和冗余度需掌握的问题：1.信源的定义、分类是什么？2.离散信源的数学模型是什么？3.信息熵的表达式是什么？信息熵的单位是什么？信息熵的含义是什么？信息熵的性质是什么？4.单符号离散信源最大熵是多少？信源概率如何分布时能达到？5.信源的码率和信息率是什么，如何计算？6.什么是离散无记忆信源？什么是离散有记忆信源？7.离散无记忆信源的数学模型如何描述？信息熵、平均符号熵如何计算？8.离散有记忆多符号离散平稳信源的平均符号熵、极限熵、条件熵（N阶熵）的计算、关系和性质是什么？9.什么是马尔科夫信源？马尔科夫信源的数学模型是什么？马尔科夫信源满足的2个条件是什么？10.马尔科夫信源的状态、状态转移是什么？如何绘制马尔科夫信源状态转移图？11.马尔科夫信源的稳态概率、稳态符号概率、稳态信息熵如何计算？12.信源的相对信息率和冗余度是什么？如何计算？㈡《离散信道》题纲：I.信道的数学模型及分类II.典型离散信道的数学模型III.先验熵和后验熵IV.互信息的定义、性质V.平均互信息的定义、含义、性质、维拉图VI.信道容量的定义VII.特殊离散信道的信道容量需掌握的问题：1.信道的定义是什么？信道如何分类？信道的数学模型是什么？2.二元对称信道和二元删除信道的信道传输概率矩阵是什么？3.对称信道的信道传输概率矩阵有什么特点？4.根据信道的转移特性图，写出信道传输概率矩阵。

连续信源和信道

b
a q(x)log
1 q(x)
dx
log( b
b
a)a q(x)dx
b
a q(x)log
1 q( x)(b
a)
dx
log
b
a q(x)
1 q(x)(b
a)
dx
log 1
0
（2）平均功率受限时，限制随机变量x 的平均功
率或方差，即 2 p(x)(x m)2 dx
定理：若连续随机变量的方差一定，则x服从正态分布时的微分熵最大，
1 N
N2
xi
i 1
Ps
定理：平均功率受限的时间离散、恒参、可加高斯
噪声信道的容量为：（还是单个随机变量的）
C
1 2
log( 1
Ps
2
)
Ps 是输入平均功率的上限， 2 是均值为0的高斯噪
声的方差。最佳输入分布是均值为0、方差为 Ps 的高
p(x | y)x pX (x)x
pXY (xy)log
p(x | y) dxdy h(X ) h(X p(x)
|Y)
I (X ;Y | Z)
pXYZ (xyz) log
pXY|Z (xy | z) pX|Z (x | z) pY|Z ( y |
dxdydz z)
I(XY;Z)
(Y EY )2 ] DX DY E( X EX )(Y EY ) DX DY E( X EX )E(Y EY ) DX DY
独立的
如果对输入功率不加限制，互信息可能任意大。所以我们研究平均功率受限的可加噪声信道。也就是
2
xi
xN xi2 p(x)dx xi xi2 p(xi )dxi ,

信息论第4章(波形信源和波形信道)ppt课件

05-06学年上 2 .
4.1波形信源的统计特性和离散化
随机变量 X
随机矢量X(X1X2 XN)
随机过程{ x ( t ) }
05-06学年上 3 .
表4.1
消息(信号) 消息(信号)取取值的集合值时刻的集合
信源种类
离散
离散
离散信源(Discrete source)/ 数字信源(Digital source)
假定连续信源 X 的概率密度函数p(x)如右图所示。我们把取值区间分割成 n 个等宽的小区间。X 处于第 i 区间的概率为
05-06学年上
Pi Pa(i1)xai
ai
7.
a(i1)p(x)dxp(xi)
这样，连续变量 X 就可用取值为 xi 的离散变量 Xn 来近似。连续信源 X 被量化成离散信源。
lo2gae
05-06学年上 18 .
4.3具有最大熵的连续信源
离散信源的最大熵问题：离散信源的各符号为等概率分布时，信息熵有最大值（最大离散熵定理）。
H(p1, p2,
,
pr
)
H1r,
1, r
r
条件是 pi 1 i1
,1rlogr
05-06学年上 19 .
在什么条件下，连续信源的熵最大？
最大熵为：
N
h(X)log (bi ai)比特 /自由度 i1
05-06学年上 23 .
平均功率受限条件下信源的最大熵（方差受限）
定理：若一个信源输出信号的平均功率被限定为P，则其输出信号幅度的概率密度分布是高斯分布时，信源具有最大熵。
最大熵为：
h (X ) 1 lo 2 e gP 或 h (X ) 1 lo 2 e g 2

第4章波形信源和波形信道(ok)

可用变量的概率密度函数 p(x来) 描述。此时，连续信源
的数学模型为：
X p( x)
（ pa(,xb)）或
R p( x)
并满足 b p(x)dx 1或 p(x)dx 1
a
R
其中，R是全实数集，是变量X的取值范围。
4.1 连续信源及波形信源的信息测度
连续信源熵：
H
(
X
)
lim
n
H
(
X
C WT log(1 Ps / 2W )(比特 / N自由度) N0 / 2
WT log(1 Ps )(比特 / N自由度) N 0W
4.3 连续信道和波形信道的信道容量
2.高斯加性波形信道的信道容量
要达到这个信道容量要求输入N维随机序列X中每一分量
Xi都是均值为零，方差为Ps，彼此统计独立的高斯变量。
第4章波形信源和波形信道
4.1 连续信源及波形信源的信息测度 4.2 连续信源熵的性质及最大熵定理 4.3 连续信道和波形信道的信道容量
4.1 连续信源及波形信源的信息测度
实际某些信源的输出常常是时间和取值都是连续的消息。
例如语音信号、电视信号。这样的信源称为随机波形信源。 1、基本概念模拟信源：信源的输出是时间和取值都连续的消息。即输出
高斯白噪声加性信道的单位时间的信道容量
Ct
lim
T
C T
W
log(1
Ps N0W
)(比特 / 秒)
其中Ps是信号的平均功率， NoW为高斯白噪声在带宽W 内的平均功率。可见，信道容量与信噪功率比和带宽有关。
则当输出信号的概率密度是均匀分布时，信源具有最大熵。其值等于log(b-a)。
4.2 连续信源熵的性质及最大熵定理

普通高等教育电子信息工程专业教学大纲合集 1041812信息论与编码课程教学大纲

《信息论与编码》教学大纲课程编码：1041812课程性质：专业课程适用专业：电子信息工程学分：2学分学时：36学时开设学期：第5学期一、教学目的本课程的教学目的是使学生掌握信息处理的理论基础和各种编码原理、手段与方法。

培养学生能够适应数字通信、信息处理、信息安全、计算机信息管理等编码工作的要求。

使学生掌握信息理论的基本概念和信息分析方法及主要结论，为今后从事信息领域的科研及工程工作的进一步研究打下坚实的理论基础。

二、教学重点与难点1．重点：信息以及失真的测度、信道及信道容量、无失真信源编码方法以及有噪信道编码方法。

2．难点：典型序列以及由此推导出的香农三大编码定理及其逆定理。

三、教学方法建议讲授法：教师讲授信息论与编码的基本知识和研究现状。

讨论法：师生共同讨论信息论与编码中研究的问题。

探究法：师生共同探究信息论与编码中前沿问题。

四、教学内容第一章信息理论基础（4学时）教学要求：了解信息论研究对象、目的、发展简史与现状；了解通信系统的模型以及通信系统各部分的主要组成以及作用。

1．信息论的形成和发展2．通信系统的模型3．信息论研究的内容第二章离散信源及其测度（8学时）教学要求：了解信源的相关性和剩余度的概念，消息、信息、信号的概念，信息，信号，消息，数据的关系及其联系。

掌握信源的数学模型、离散无记忆信源、离散平稳信源和马尔可夫信源基本理论。

1．信源的数学模型及分类2．信息熵及其基本性质3．离散平稳信源4．马尔可夫信源5．信息剩余度第三章离散信道及其信道容量（8学时）教学要求：了解一般信道容量的计算方法。

掌握信道的数学模型，离散无记忆信道以及一些特殊信道容量的计算方法。

1．信道数学模型及分类2．平均互信息及特点3．信道容量及一般计算方法4．离散无记忆扩展信道及其容量第四章无失真信源编码（8学时）教学要求：了解其它一些无失真信源编码方法；理解渐近等分割性及ε典型序列，算术编码方法及具体实现方案；掌握编码的定义、码的分类、定长编码定理、变长编码定理、最佳编码方法、香农编码方法、费诺编码方法、哈夫曼编码方法。

(信息论)第8章连续信源和波形信道

8.3 连续信道的信道编码定理
定理 8.3.1 （离散时间高斯信道编码定理）
对于带限加性高斯白噪声信道，设噪声功率为
2 N
，
带宽为B，信号平均功率为
2 X
，对于给定的信息率 R ，
若R 小于信道容量 C 时，则存在以信息率R速率通过信道
的二元码，并且错误概率任意小；当 R C 时，则以 R 通
过信道的二元码的错误概率不可能任意小。
dx, y x y2
(8.36)
求上述条件下的 RD 实际上是求在条件
第 8 章连续信源与波形信道
在实际的通信系统中，所传输的消息可分为离散消息和连续消息。前面几章已经较详细地介绍了离散信源的有关特性。本章基本上采用相同的方法重点介绍连续信源及相关问题。
8.1 连续信源的特征
8.1.1 连续信源
✓ 连续信源：信源输出是时间的连续函数，其取值既是
连续的又是随机的，且信源输出的消息可以用随机过程描述，这种信源称为连续信源。
当信源彼此独立时，等号成立。
❖ 由于连续信源的熵是相对熵，它与离散信源的熵不
同，不具有非负性和极值性。所以连续信源的平均交互信息熵具有非负性。
8.1.5 连续信源的熵速率和熵功率
基本概念
熵速率：信源在单位时间内输出的熵称为信源的熵速率。
连续信源的熵是连续信源每个样值的熵，它由信源分布密度来表示。如果信源是时间连续、信号带宽为 B 的连续信源，根据随机信号的采样定理，可用 2B 的速率对信源进行采样。因此，连续信源的熵速率为
n
X
b p xlog p x d x lim
a
x0
b p xlog xd x
a
(8.7)

信息论：第8章无失真的信源编码讲解

这三种码的平均码长都比较短。因为平均码长是各个码的概率平均，可以想象，应该使出现概率大的信源符号编码后码长尽量短一些。三种编码方法的出发点都是如此。
9
8.1 霍夫曼码
香农编码 • 香农编码严格意义上来说不是最佳码。 • 香农编码是采用信源符号的累计概率分布函数来
分配码字。
10
香农编码方法如下： (1)将信源消息符号按其出现的概率大小依次排列：
• 一般情况下，按照香农编码方法编出来的码，其平均码长不是最短的，也即不是紧致码(最佳码)。只有当信源符号的概率分布使不等式左边的等号成立时，编码效率才达到最高。
19
8.1.1 二元霍夫曼码
1952年霍夫曼提出了一种构造最佳码的方法。它是一种最佳的逐个符号的编码方法。其编码步骤如下： (1) 将信源消息符号按其出现的概率大小依次排列
上式。
36
注意: 对于r元码时，不一定能找到一个使式 q (r 1) r 成立。在不满足上式时，可假设一些信源符号： sq1 , sq2 ,..., sqt 作为虚拟的信源，并令它们对应的概率为零，即：pq1 pq2 ... pqt 0
而使 q t (r 1) r 能成立，这样处理后得到
21
例8.1:
对离散无记忆信源进行霍夫曼编码。

S p(si
)

s1 0.4
s2 0.2
s3 0.2
s4 0.1
s5 0.1
解:编码过程如表所示，
1)将信源符号按概率大小由大至小排序。
2)从概率最小的两个信源符号和开始1”，上面的信源符号（大概率）为“0”。若两支路概率相等，仍为下面的信源符号为“1” 上面的信源符号为“0”。

§4 波形信源与波形信道

h(X|Y)h(X), h(Y|X)h(Y),h (X Y)h (X )h (Y)
2. 可为负
例2. 设连续信源 x [ a , b ] 均匀分布，求其熵。
b1
h (X ) R p (x )lo g p (x )d x ab a lo g (b a )d x
log(ba)
3. 信道带宽受限为B。
§4.2 Shannon公式
二、Shannon公式及其意义
Ct
T 1CBlog1NP0sB
C1t之. 建间立的了定连量续关信系道，的这带三宽者B之，间信可噪以比互P换s/。2，信道容量
➢ 带宽不变(B不变)，增加信号功率或者提高信噪比，可
6
使Ct增大；
x 10 10
9
Capacity (bps/Hz)
带宽无B li信道容量（ m B l穷i m C 11111大.....44444C 12345t增x 1t0，7 加N P B l是s0 i 带m B l不i m B 宽 l是B o可gN 可P 以s10以lo 增g N 获P 加0s1 B得信N 无P 道0sB 穷容大量lxi的 m。0信1xl道n(x容量1)？1
且 :Np (x i)Na a (ii 1 )p (x )d x a bp (x )d x 1
i 1
i 1
此信源合理！
§4.1 连续性信源的熵
一、连续信源的熵〔讨论X之熵〕
N
N
H (X N ) P ilo g P i p (x i)lo g p (x i)
i 1
i 1
N
b
ap(x)logp(x)dx
称为信源X的相对熵〔差熵〕
§4.1 连续性信源的熵

信息论讲义-第八章

∆x→0
= Hc ( X ) + H∆ ( X ) = Hc ( X ) + ∞
w(x)
w( xk )∆x
结论：连续信源的熵值无限结论：连续信源的熵值无限
H(X ) = ∞
0
xk−1 ∆x xk
x
连续信源的信息熵
H(X ) = ∞ 的含义 • 从数学概念上：连续熵不存在。连续随机变从数学概念上：连续熵不存在。量所包含的信息量为无限大，量所包含的信息量为无限大，我们不可能全部获取，部获取，我们关心的只是其中足以满足我们所需要的一部分。所需要的一部分。
e e ≤ ∫ ω(x) ω(x) −∞ e 当 ⇒
λ1+λ2 ( x−m)2
ω(x)
= 1 ，等号时成立。
λ1+λ2 ( x−m)2
ω(x) = e
连续信源的最大相对熵
λ 再由两个约束条件求 1，λ2的值 +∞ − λ2 λ1 ⇒e = ∫−∞ ω( x)dx π 3 − +∞ π (−λ2 ) 2 = σ2 ω( x)( x − m)2 dx ⇒ eλ1 ∫−∞ 2 1 λ1 e = 2 2πσ2 ⇒ ω( x) = 1 exp− ( x − m) ⇒ 2 2σ2 2πσ λ = − 1 2 2σ2 1 Hc ( X) = ln( 2πeσ2 ) 高斯分布时相对熵 2
I ( X ;Y ) = H c ( X ) − H c ( X | Y )
连续信源的相对熵、连续信源的相对熵、平均互信息的性质
I ( X ;Y ) ≥ 0
I ( X ;Y ) = I (Y ; X )
I ( X ;YZ ) = I ( X ;Y ) + I ( X ; Z | Y )

第8章连续信道和波形信道

第8章连续信道和波形信道主要内容◆ 连续/波形信道的信息传输率 ◆ 连续/波形信道的信道容量 ◆ 连续信道编码定理8.1 连续/波形信道的分类(/)d 1Rp y x y =⎰1212(/)(/)n n p y x p y y y x x x =121212(/) d d d 1n n n R RRp y y y x x x y y y =⎰⎰⎰1(/)(/)Ni i i p y x p y x ==∏图8.1 单维连续信道图8.2 波形信道转化成多维连续信道第8章连续信道和波形信道241 8.1.1 按噪声统计特性分类22()()2x mp xσ⎛⎫-=-⎪⎝⎭1/21/21111()exp||()()(2π)||2||N Nij i i j ji jp x R x m x mR R==⎡⎤=---⎢⎥⎣⎦∑∑22/21112([])1()exp2(2π)()()()Ni iNN i iiiNx E Xp xp x p x p xσσ==⎡⎤-=-⎢⎥⎣⎦=⋅∑∏21122122Rσσσρσσρσ⎡⎤=⎢⎥⎣⎦2111222122211222212()1()2(1)()2()()x mp x xx m x m x mρσρσσσ⎧⎡-⎪=-⋅⎨⎢-⎪⎣⎩⎫⎤---⎪+-⎬⎥⎪⎦⎭2211221212221212()()1()exp()()2π22x m x mp x x p x p xσσσσ⎡⎤--=--=⋅⎢⎥⎣⎦)(2)(0+∞<<-∞=ωωNP n)(2)(2)(00τδτωNRNP nn=⇔=12π2π()F FKωω-⎧=⎨⎩≤≤其他02π2π()()()2n nNF FP P Kωωωω'⎧-⎪=⋅=⎨⎪⎩≤≤其他1sin(2π)()()e d2π2πjn nFR P N FFωτττωωτ∞''-∞==⎰FNRnEP nn022)0(][==='=''σ()0nRτ'=8.1.2 按噪声对信号的作用功能分类信息论基础及应用242()()XY Xn X n p xy p x n y x J X Y ⎛⎫==- ⎪⎝⎭，，，11101X nX n X XJ X n X Y Y Y∂∂-⎛⎫∂∂=== ⎪∂∂⎝⎭∂∂，， ()()()()XY Xn X n p xy p xn p x p n ==⋅/()(/)()XY Y X X p xy p y x p x =/()(/)()()Xn Y X n X p x n p y x p n p x ==，(/)()p y x p n =(/)()log (/)d d ()d (/)log (/)d Rh Y X p xy p y x x yp x x p y x p y x y+∞+∞-∞-∞=-=-⎰⎰⎰⎰d d d d x y x n =(/)()d ()log ()d ()log ()d ()h Y X p x x p n p n np n p n n h n +∞∞-∞-∞∞-∞=-=-=⎰⎰⎰(/)()(/)()p y x p n h Y X h n == 8.2 连续信道的信息传输率8.2.1 单维连续信道的平均互信息() d 1()()RX R p x x p x p x ⎡⎤⎡⎤==⎢⎥⎢⎥⎣⎦⎣⎦⎰ () d 1()()RY R p y y p y p y ⎡⎤⎡⎤==⎢⎥⎢⎥⎣⎦⎣⎦⎰图8.3 加性信道第8章连续信道和波形信道24300()()(/)()log ()d lim log ()(/)log (/)d d lim log (/)()log d d ()(/)()n n n R ΔΔR RI X Y H X H X Y p x p x x Δp x p y x p y x x y p x y p xy x y h X h X Y p x ∆→→=-⎡⎤=-----⎢⎥⎣⎦==-⎰⎰⎰⎰⎰；(/)()logd d ()(/)()()()log d d ()()()()()RRp y x p xy x y h Y h Y X p y p xy p xy x y h X h Y h XY p x p y ==-==+-⎰⎰⎰⎰()R I X Y =；比特/自由度8.2.2 多维连续信道的平均互信息1(/)(/)Ni i i p y x p y x ==∏(;)()(/)()(/)()()()I X Y h X h X Y h Y h Y X h X h Y h XY =-=-=+-(/)(;)()log d d ()(/)log d d ()()()log d d ()()xyxyxy p x y I X Y p x y xy p x p y x p x y xy p y p xy p x y xy p x p y ===⎰⎰⎰⎰⎰⎰(;)R I X Y =比特/N 个自由度1(;)R I X Y N=比特/自由度8.2.3 连续信道平均互信息的特性( )0I X Y ；≥()(/)()log ()d ()log (/)d d ()log ()d d ()log (/)d d ()()logd d (/)RRRRRh X h X Y p x p x x p xy p x y x yp xy p x x y p xy p x y x y p x p xy x yp x y -=-+=-+=-⎰⎰⎰⎰⎰⎰⎰⎰⎰()d d Rp xy y x =⎰信息论基础及应用244()()(/)log ()d d (/)log ()()d d log10R Rp x h X h X Y p xy x y p x y p x p y x y -===⎰⎰⎰⎰≥()(;)()logd d ()()()()logd d ()()()RRp xy I X Y p xy x yp x p y p yx p yx x y p x p y I Y X ===⎰⎰⎰⎰；()()I X Z I X Y ；≤；图8.4 两个串接连续信道(/)(Z)()logd d d ()Rp z xy I XY p xyz x y z p z =⎰⎰⎰； (/)()()logd d ()(/)()log d d d ()RRp z y I Y Z p yz y z p z p z y p xyz x y zp z ==⎰⎰⎰⎰⎰；() d ()Rp xyz x p yz =⎰(/)(/)(/)()()log log log ()()(/)p z y p z xy p z y I Y Z I XY Z E E E p z p z p z xy ⎡⎤⎡⎤⎡⎤-=-=⎢⎥⎢⎥⎢⎥⎣⎦⎣⎦⎣⎦；； (/)(Z)()log (/)(/)log ()d d d (/)log ()(/)d d d log ()d d (/)log10R RRRp z y I Y I XY Z E p z xy p z y p xyz x y zp z xy p xy p z y x y z p xy x y p z y dz⎡⎤-⎢⎥⎣⎦=====⎰⎰⎰⎰⎰⎰⎰⎰⎰；；≤(/)d 1(/)d 1()d d 1RRRp z xy z p y x y p xy x y ===⎰⎰⎰⎰(/)d 1Rp z y z =⎰()()I XY Z I Y Z ；≥； ()()I XY Z I X Z ；≥；第8章连续信道和波形信道245(/)(/)p z xy p z y =（对所有x y z 、、）()()I XY Z I Y Z =；；()()I Y Z I X Z ；≥； ()()()()I ZY X I Y X I ZY X I Z X ；≥；；≥；(/)(/)p x yz p x y =（对所有x y z 、、）()()()I ZY X I Y X I Z X =；；≥；()()I X Z I X Y ；≤；图8.5 一般通信系统的信号变换()()||q sz p xy J =,||,xy x y ss J J xy s z zz∂∂⎛⎫∂∂== ⎪∂∂⎝⎭∂∂00xy zs ∂∂==∂∂ ||x yJ s z∂∂=∂∂ ()()d ()d ()x y q s q sz z p xy z p x s z ∞∞-∞-∞∂∂===∂∂⎰⎰·d d xs()()q z p y =·d d y z()d (/)(/)()d q sz yq z s p y x q s z== ()()1()()log d d ()||log d d ()()||()()()()log d d ()()()R R Rx yp xy q sz s z I S Z q sz s z p xy J x yx y q s q z J p x p y s zp xy p xy x y I X Y p x p y ∂∂∂∂==∂∂∂∂==⎰⎰⎰⎰⎰⎰；；信息论基础及应用2461( )( )N i i i I X Y I X Y =∑；≥；1( )( )N i i i I X Y I X Y =∑ ；≤；1( )()N i i i I X Y I X Y ==∑ ；；8.3 连续信道的信道容量[]()()max ()max ()(/)p x p x C I X Y h Y h Y X ==-；比特/自由度()()max ( )max ()(/)p x p x C I X Y h Y h Y X ⎡⎤==-⎣⎦；比特/N 个自由度 ()max ()()p x C h Y h n ⎡⎤=-⎣⎦ 比特/N 个自由度 8.3.1 单维高斯加性信道22()()2x m p x σ⎛⎫-=- ⎪⎝⎭(22222()()log ()d ()()log d 2()()d ()d log e 21log e21log 2πe 2h n p x p x xx m p x x x m p x x p x x σσσ∞-∞∞-∞∞∞-∞-∞=-⎡⎤⎛⎫-=--⎥ ⎪⎝⎭⎦⎡⎤-=--+⋅⎢⎥⎣⎦==⎰⎰⎰⎰()max ()p x C h Y ⎡=-⎣0221log 21log 121log 12s s n P C P P P σσ=⎛⎫=+ ⎪⎝⎭⎛⎫=+ ⎪⎝⎭第8章连续信道和波形信道2478.3.2 单维非高斯加性信道()()(I X Y h Y h n =-；）1()log2πe()2s n h Y P P +≤1()log2πe 2n h n P =11( )log2πe()log2πe 22s n n I X Y P P P +-；≤1log 2sn n P P C P +⎛⎫ ⎪⎝⎭≤ 22222X n Y X nσσσσσ++≤≤ 21()log 2πe()2s n h Y P σ+≥2211()log2πe()log2πe 22s n nC I X Y P σσ+-≥；≥ 211log 1log 122s s n n P P C P σ⎛⎫⎛⎫+=+ ⎪ ⎪⎝⎭⎝⎭≥11log log 22s n s n n n P P P P C P P ⎛⎫⎛⎫++ ⎪ ⎪⎝⎭⎝⎭≤≤ 11log log 22s n s n n n P P P P C P P ⎛⎫⎛⎫++ ⎪ ⎪⎝⎭⎝⎭≤≤ 8.3.3 多维无记忆高斯加性连续信道图8.6 多维无记忆加性信道等价于N 个独立并联加性信道信息论基础及应用2481(/)(/)Ni i i p y x p y x ==∏11()(/)(/)()N Ni i i i i p n p y x p y x p n =====∏∏111()()log 12i i N Ns i i i i n P I X Y I X Y P ==⎛⎫+⎪ ⎪⎝⎭∑∑ ；≤；≤ ()11max ()log 12i i N s p x i n P C I X Y P =⎛⎫==+ ⎪ ⎪⎝⎭∑ ；比特/N 个自由度 log 12s n P NC P ⎛⎫=+ ⎪⎝⎭比特/N 个自由度21N i i E X P =⎡⎤=⎢⎥⎣⎦∑ 121211( )()log 12i i Ns N Ni n P I X Y I X X X YY Y P =⎛⎫=+ ⎪ ⎪⎝⎭∑ ；；≤ 1()max ( )Ns i i p x P PC I X Y ===∑：； 12111(,,,)log 12iN i i N N s s s s s i i nP F P P P P P λ==⎛⎫=++ ⎪ ⎪⎝⎭∑∑ 12(,,,)0N is s s s F P P P P ∂=∂ (1,2,)i N = 1102i is n P P λ+=+ (1,2,)i N = 12i i s n P P v λ+=-=（常数） (1,2,)i N = i i s n P v P =-i i s n P v P +=-（）0()00x x x x +⎧=⎨<⎩≥1()iNn i v PP +=-=∑1()1log 12i i Nn i n v P C P +=⎛⎫-=+ ⎪ ⎪⎝⎭∑1()iNn i v P P +=-=∑第8章连续信道和波形信道249123450.1, 0.2, 0.3, 0.4, 0.5n n n n n P P P P P ===== 6789100.6, 0.7, 0.8, 0.9, 1.0n n n n n P P P P P =====P Pv Ni n i=-∑=+1)([]1011110.10.2 1.00.651010i n i v P P =⎡⎤=+=++++=⎢⎥⎣⎦∑789100, 0, 0, 0s s s s P P P P ====[]611110.10.20.60.51766i n i v P P =⎡⎤=+=++++=⎢⎥⎣⎦∑[]511110.10.20.30.40.50.555i n i v P P =⎡⎤=+=+++++=⎢⎥⎣⎦∑[]411110.10.20.30.40.544i n i v P P =⎡⎤=+=++++=⎢⎥⎣⎦∑112233440.50.10.4(W)0.50.20.3(W)0.50.30.2(W)0.50.40.1(W)s n s n s n s n P v P P v P P v P P v P =-=-==-=-==-=-==-=-=()12344141log 121log 20.51log 20.10.20.30.42.35 /10i i s i n n n n n P C P v v v v P P P P =⎛⎫=+ ⎪⎪⎝⎭=⋅⋅⋅=⨯⨯⨯=∑比特个自由度1012is i P==∑（W ）[]75.00.19.02.01.02101=++++=v []120.10.20.30.70.6867v =+++++= []120.10.20.30.60.6846v =+++++=1234560.584, 0.484, 0.384, 0.284, 0.184, 0.084s s s s s s P P P P P P ======12345661661log 121()log 21(0.684)log 20.10.20.30.50.6 3.58 /10i i s i n n n n n n n P C P v P P P P P P =⎛⎫=+ ⎪⎪⎝⎭=⋅⋅⋅⋅⋅=⨯⨯⨯⨯⨯=∑ 比特个自由度8.3.4 多维有记忆高斯加性连续信道211Nii E XP N=⎡⎤⎣⎦∑≤1()X tr R P N≤ 12121212()()()()N N N N I X Y I X X X YY Y h YY Y h n n n ==- ；；121()()log(2πe)2N NX n h Y h YY Y R R ==+ 1()X tr R P N≤ T n R Q Q =Λ 其中I QQ T =||||||||||||||T X n X T T X TX R R R Q Q Q Q R Q Q Q R Q A ΛΛΛΛ+=+=+=+=+()()tr BC tr CB =()()()()T T X X X tr A tr Q R Q tr QQ R tr R ===121()()NN i i h X X X h X =∑ ≤111211log(2πe)log(2πe)22N N NN R μμμ ||≤ ()ii iR μ∏||≤()ii i iA A Λλ++∏||≤11Niii AP N=∑≤ii i A v λ+= +-=)(i ii v A λ11Niii AP N=∑≤[]1212()1max ()()11log(2πe)()log(2πe)22()1log 12N N p x N N ii i i i i Ni i i C h YY Y h n n n A v λλλλ+==-=+-⎛⎫-=+ ⎪⎝⎭∏∏∑ 1()1log 12Ni N i i v C N λλ+=⎛⎫-=+ ⎪⎝⎭∑8.4 波形信道的信息传输率和信道容量8.4.1 波形信道的信息传输率(()())lim ()lim[()(/)]lim[()(/)]lim[()()()]N N N N I x t y t I X Y h X h X Y h Y h Y X h X h Y h XY →∞→∞→∞→∞==-=-=+-；； (()())(())(()/())(())(()/())(())(())(()())I x t y t h x t h x t y t h y t h y t x t h x t h y t h x t y t =-=-=+-；1lim ()t T R I X Y T →∞=；比特/秒()()11max lim ( )max lim ()(/)t T T p x p x C I X Y h Y h Y X T T →∞→∞⎡⎤⎧⎫⎡⎤==-⎨⎬⎢⎥⎣⎦⎣⎦⎩⎭ ；比特/秒 {}()()11max lim ()()lim max ()()t T T p x p x C h Y h n h Y h n T T →∞→∞⎧⎫⎡⎤⎡⎤=-=-⎨⎬⎣⎦⎣⎦⎩⎭比特/秒图8.7 波形信道8.4.2 高斯白噪声加性波形信道{()}{()}{()}y t x t n t =+Y X n =+图8.8 时间连续信道变换成离散平稳随机序列信道221211()()()/2i N Nn N i i i p n p n n n p n σ-=====∏11(/)()()(/)N Ni i i i i p y x p n p n p y x =====∏∏11log 12i i Ns i n P C P =⎛⎫=+ ⎪ ⎪⎝⎭∑000log 1222log 12log 1/s s s P N N C W P NN W P WT N W ⎛⎫=+ ⎪⎝⎭⎛⎫=+ ⎪⎝⎭⎛⎫=+ ⎪⎝⎭ 比特秒⎪⎪⎭⎫⎝⎛+==∞→W N P W T C C s T t 01log lim 比特/秒⎪⎪⎭⎫⎝⎛+=∞→∞→W N P W C sW t W 01log lim lim 令0sP x N W=，可得 100000lim limlog 1lim log(1)x s s s t W W x s P WN P PC x N P N W N →∞→∞→⎛⎫=+=+ ⎪⎝⎭由于当0x →时，1ln(1)1x x +→，所以004427.12ln lim N PN P C s s t x ==→ 比特/秒()0log 13300log 110022000s t P C W N W ⎛⎫=+=+= ⎪⎝⎭ 比特/秒6830 2.2510log16 2.710R =⨯⨯⨯=⨯ 比特/秒1010log 30dB S N PP =310SNP P = 38log(110) 2.710t C W =+=⨯72.710W ≈⨯Hz8.4.3 有色高斯加性波形信道211Nii E XP N=⎡⎤⎣⎦∑≤。

连续信道

当信道频带较窄时，可以通过提高信噪功率比来补偿。(N0 B为高斯白噪声在带宽B内的平均功率。)
当信道的频带很宽（无限）时，其信道容量与信号功率成正比，这一比值是加性高斯噪声信道信息传输率的极限值。
当B 时，取2为底的对数，则
C lim B log(1
2 X
)
2 X
log
e
1.44
2 X
4
时间离散加性噪声信道中互信息量最大值
p (y | x ) = p N (y - x ) = p N (z) 则有
H(Y
|
X) = - ∞ ∞ p (x y )lo g p (y -∞ -∞
|
x )dx dy
= -
∞ -∞
∞ -∞
p
X
(x
)p
(y
|
x )lo g p (y
|
x )dx dy
由于信道的带宽有限，可以把一个时间连续
的信道变换成时间离散的随机序列进行处理。
设输入随机序列为：Xi ,i 1, 2,..., n ;
噪声随机序列为：Ni ,i 1, 2,..., n ;
输出随机序列为：Yi ,i 1, 2,..., n ;
则有 Yi Xi Ni i 1, 2,..., n 。
11
单位时间窄带高斯信道容量
对于窄带高斯信道，即N (t)为零均值的高斯过程，信道带宽为B，若时间变化范围为[0,T ],由采样定理可知，可用n 2BT个样本近似表示X (t)和N (t)。对于时间连续信源，常常采用单位时间的信道容量，把n 2BT 代入信道容量表示式，则
C
BT
log 1
z22 L
2
2 N
zn2

信息论基础教学课件ppt-连续信息与连续信源

北京邮电大学信息论
信息论基础
第4章
连续信息与连续信源
1
本章主要内容
4.1 连续随机变量集合的熵
4.1.1 4.1.2 4.1.3 4.1.4
连续随机变量的离散化连续随机变量的熵连续随机变量差熵的性质连续随机变量的相对熵
4.2 离散时间高斯信源的熵
4.2.1 4.2.2 4.2.3 4.2.4
55
4.6.2 语音信源
●语音（Speech）是指人所发出的声音 ●语音功率谱频率范围通常从500到4kHz，按每倍频程8到10dB速率衰减。 ●语音信号的剩余度表现在如下几方面：（1）语音信号样本间相关性很强。（2）浊音具有准周期性；（3）声管形状及其变化的速率较慢；（4）数字语音码符号的概率不均匀。
，则
(4.21b)
即经过平移和旋转变换后的连续信源的差熵不变。
17
4.1.4 连续随机变量的相对熵
与离散情况类似，我们可以定义连续随机变量的
相对熵（信息散度）。设p和q为定义在同一概率空间的两个概率密度，定义p相对于q的相对熵为：
(4.23)
18
4.2 离散时间高斯信源的熵
4.2.1 一维高斯随机变量的熵 4.2.2 多维独立高斯随机矢量的熵 4.2.3 多维相关高斯随机矢量的熵 4.2.4 高斯马尔可夫过程的熵率
率密度，其协方差矩阵也为根据定理4.2（散度不等式）有所以：
34
§4.3.2 限功率最大熵定理
证明（续）
所以：上面利用了两概率分布具有相同的自协方差矩阵的条件，其中仅当为高斯分布时等式成立。证毕。
35
§4.3.4 熵功率
限功率最大熵定理
熵功率：
（4.50 ）

10-11第二学期信息论作业题参考答案

第1讲2、信息论创始人是谁？香农。

3、信息和消息、信号有什么联系与区别？从信息理论角度上看，信号是消息的载体，信息含藏在消息之中，有信号有消息不一定有信息。

4、通信系统的主要性能指标是什么？有效性、可靠性和安全性。

5、举例说明信息论有哪些应用？为信息传送和处理系统提供数学模型和评估方法，在通信和信息处理领域是一门基础理论，在其它领域如语言学、生物学、医学、神经网络、经济学方面的应用也很成功。

具体应用实例有：语音、图像和数据信息的压缩，通信信道有效性和可靠性的提高，或信道传输功率指标要求的降低，通信或计算机系统可靠性和安全性的提高，信息处理领域的信号重建和模式识别等。

2.4 （求车牌自信息量）某车牌号的概率是(1/26)3×(1/10)3，24bit/牌，后一种概率为(1/36)6，31bit/牌，第2讲设二元对称信道的传递矩阵(条件概率矩阵)为⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡32313132若P(0) = 3/4, P(1) = 1/4，求H(X), H(Y), H(X/Y), H(Y/X)和I(X;Y)；先求P(Y)=∑X P(XY)和P(XY)=P(X)P(Y|X)，再得各种熵和互信息。

H(X)=H(3/4,1/4), H(Y)=H(7/12,5/12);H(XY)=H(1/2,1/4,1/12,1/6); H(X/Y)=H(XY)-H(Y)H(Y/X)=H(XY)-H(X)；或H(Y/X)=∑P(X=a)H(Y/a)=H(3/4,1/4) I(X;Y)=H(X)-H(X/Y)=H(X)+H(Y)-H(XY)； 2.2（求条件信息量）1.6米以上女孩是条件，某个1.6米以上的女大学生是概率事件，得条件概率为：P=0.25×0.75/0.5=0.375=3/8，信息量为I= -log0.375=1.42比特。

2.52.10(1)(2)（由联合概率分布求熵、联合熵和条件熵）（1）思路：先求出X 、Y 、Z 、XZ 、YZ 、XYZ 的概率或联合分布，再求其熵。

2.3连续信源

但是在连续信源中则是两个概念，且不相等。
连续信源的熵Hc(X)是一个过渡性的概念，它虽然也具有可加性，但不一定满足非负性，它不具有信息的全部特征。例如，对一个均匀分布的连续信源，按照定义，有
1 1 Hc ( X ) log 2 dx log 2 (b a ) ba ba a
b
p ( x) log 2 p ( x) dx
a
a b
n 0
i
定义前一项取有限值的项为连续信源的信息熵，并记为Hc(X),即连续信源的熵 H c ( X ) p( x) log 2 p( x)dx (2.3.6)
a b
注意：
Hc(X)是连续信源的熵，而不是连续信源输出的信息量H(X) . 连续信源的绝对熵H(X)应该还要加上一项无限大的常数项. 连续信源输出的信息量H (X)是一个绝对值，它取值于∞，而连续信源的熵Hc(X)则是一个相对值，且取值是有限的。这一点可以这样理解：因为连续信源的可能取值数是无限多个，所获得的信息量也将为无限大。在离散信源中信源输出信息量就是信源熵，两者是一个概念；
同理，还可进一步定义如下连续随机变量的熵。两个连续变量的联合熵和条件熵分别为：连续信源熵
联合熵条件熵
H c ( XY ) p( xy) log 2 p( xy)dxdy
H c ( X / Y ) p( xy ) log 2 p( x / y )dxdy
R2
Hc ( X ) p( x) log p( x)dx
不能把它作为信息熵来理解。连续信源的差熵值具有熵的部分含义和性质，而丧失了某些重要的特性。
2.3.2 几种特殊连续信源的熵 1. 均匀分布的连续信源的熵

信息论_连续信源和波形信道

∑ ∑ C
=
max p(x)
I (X; Y)
=
max p(x)
n i =1
I ( Xi ;Yi )
=
1 2
n i =1
log(1 +
PX i PNi
)
⇒ C = n log(1+ PX
)
=
n
log(1 +
σ
2 X
)
2
PN 2
σ
2 N
当且仅当输入随机矢量X中各分量统计独立，并且均为高斯分布时达到信道容量。
p(x)
说明：加性连续信道的信道容量取决于噪声N（即信道）的统计特性和输入随机变量X所受的限制条件。对于不同的限制条件，连续随机变量具有不同的最大熵值。
讨论平均功率受限下的高斯白噪声信道的信道容量。
[ ( )] ( ) C
=
max h(Y )− h(N ) =
p(x)
1 2
log
2πe
⎥⎦
∫ ∫ b p(x)dx = 1
+∞
p(x)dx = 1
a
−∞
5
1.1 连续信源的概率密度函数 pi = p( xi )Δ
连续随机变量X的取值分割成n个等宽区间，Δ=(b-a)/n。则
∫ P(a + (i −1)Δ ≤ X
≤ a + iΔ) =
a+iΔ a + (i −1) Δ
p( x)dx
⎟⎟⎠⎞ = W
log ⎜⎜⎝⎛1 +
PS PN
⎟⎟⎠⎞
bit / s
25
2.4 波形信道及其信道容量
单位时间的信道容量为：