连续信源和连续信道(精选)
2024年国家电网招聘之通信类真题精选附答案
2024年国家电网招聘之通信类真题精选附答案单选题（共45题）1、离散信源输出5个不同符号，若各符号概率分别为1/2，1/4，1/8，1/16，1/16，则该信源的熵为()。
A.1.5bit/signB.1.875bit/signC.2bit/signD.1bit/sign【答案】 B2、()是在接收端逐个统计不相关的分集支路，经过相位校正，并按适当的可变增益加权再相加后送入检测器进行相干检测。
此方法合并效果最好，但实现较复杂。
A.收发合并B.最大比合并C.等增益合并D.选择性合并【答案】 B3、IPPON的上层是()，这种方式可更加充分地利用网络资源，容易实现系统带宽的动态分配，简化中间层的复杂设备。
A.数据链路层B.物理层C.IP层D.网络层【答案】 C4、某省游泳队进行了为期一个月的高原集训，集训最后一日所有队员进行了一次队内测试，几位教练預测了一下队员的成绩:张教练说:这次集训时间短，没人会达标。
孙教练说:有队员会达标。
王教练说:省运会冠军或国家队队员可达标。
测试结束后，只有一位教练的预测是正确的。
由此可以推出( )A.没有人达标B.全队都达标了C.省运会冠军达标D.国家队队员未达标【答案】 D5、用于连接数字程控交换系统和数字用户终端设备之间的接口电路是()接口。
A.模拟用户B.数字用户C.模拟中继D.数字中继【答案】 B6、下列描述中，不属于 IP 层实现的功能是（）A.尽力而为的不可靠传输服务B.数据报的分段与重组C.确定主机进程间的接口D.报文交换、TAM 交换【答案】 D7、连续信道的信道容量将受到“三要素”的限制，其“三要素”是（）。
A.带宽、信号功率、信息量B.带宽、信号功率、噪声功率谱密度C.带宽、信号功率、噪声功率D.信息量、带宽、噪声功率谱密度【答案】 B8、当电磁波和障碍物符合()条件时，比较容易发生绕射现象。
A.障碍物为金属表面B.障碍物尺寸与波长相似或者更小C.障碍物尺寸远远大于波长D.障碍物表面粗糙【答案】 B9、根据《建设项目环境影响评价资质管理办法》，评价机构每年须填写“建设项目环境影响评价机构年度业绩报告表”，于（）前报国家环境保护总局。
通信原理 (完整)精选全文
数字通信的主要优点：
(a) 失真的数字信号
(b) 恢复的数字信号
数字信号波形的失真和恢复
数字通信的主要缺点：
➢ 占用带宽大 ➢ 设备复杂 ➢ 同步要求高
宽带通信、压缩编码 VLSI、SOC、ASIC 信号处理技术
应用实例：
➢ 数字传输技术：电话、电视、计算机数据等 信号的远距离传输。
➢ 模拟传输技术：有线电话环路、无线电广 播、电视广播等。
狭义信道
有线信道 无线信道
中长波地波 短波电离层反射 超短波、微波视距传输 超短波、微波对流层散射 卫星中继
编码信道 调制信道
信 源
加 密 器
编 码 器
调 制 器
发 转 换 器
信 道
收 转 换 器
解 调 器
解解 码密 器器
信 宿
发送设备
噪 声
接收设备
广义信道
广义信道
调制信道：
调制器输出端到解调器输入端的所有设备和媒介。 研究调制和解调时，常用调制信道。 连续信道/模拟信道。
eo(t)
e0t htei t nt e0t kt ei t nt
n(t)
n(t): 加性干扰 k(t): 乘性干扰
k t 依赖于网络的特性，k t 反映网络特性对 ei t 的作用。
干扰
加性干扰：本地噪声
始终存在
乘性干扰：非理理想信道 与信号共存
sR t sT tht nt
乘性 加性
增量调制DM
军用、 民用电话
Hale Waihona Puke 差分脉码调制DPCM电视电话、 图像编码
其 他 语 言 编 码 方 式 中低速数字电话 ADPCM、 APC、 LPC
按信号复用方式分类
连续信源和信道
b
a q(x)log
1 q(x)
dx
log( b
b
a)a q(x)dx
b
a q(x)log
1 q( x)(b
a)
dx
log
b
a q(x)
1 q(x)(b
a)
dx
log 1
0
（2） 平均功率受限时，限制随机变量x 的平均功
率或方差，即 2 p(x)(x m)2 dx
定理：若连续随机变量的方差一定，则x服从正态 分布时的微分熵最大，
1 N
N2
xi
i 1
Ps
定理：平均功率受限的时间离散、恒参、可加高斯
噪声信道的容量为： （还是单个随机变量的）
C
1 2
log( 1
Ps
2
)
Ps 是输入平均功率的上限， 2 是均值为0的高斯噪
声的方差。最佳输入分布是均值为0、方差为 Ps 的高
p(x | y)x pX (x)x
pXY (xy)log
p(x | y) dxdy h(X ) h(X p(x)
|Y)
I (X ;Y | Z)
pXYZ (xyz) log
pXY|Z (xy | z) pX|Z (x | z) pY|Z ( y |
dxdydz z)
I(XY;Z)
(Y EY )2 ] DX DY E( X EX )(Y EY ) DX DY E( X EX )E(Y EY ) DX DY
独立的
如果对输入功率不加限制，互信息可能任意大。 所以我们研究平均功率受限的可加噪声信道。也就是
2
xi
xN xi2 p(x)dx xi xi2 p(xi )dxi ,
信息论基础第4章连续信源与连续信道
∞
p(x) dx 1
∞
∞
x2 p(x) dx P
∞
限平均功率最大熵定理 若连续信源输出信号的平均功率为 P，则其输出信号幅度的概率密度是高斯分布 X ~ N(0, P) 时，信
源具有最大熵，其值为 1 log 2πeP 。 2
采用相似的思路，可以证明：
若 N 维连续随机矢量输出幅度受限，只有各随机分
YN X N nN
由平均互信息性质可得：
N
N
I (X; Y)
I ( Xi ;Yi )
log
1
Pi
/
2 i
i 1
i 1
N
则：
C max I (X; Y) log
p(x)
i 1
1 Pi
/
2 i
比特/N
个自由度
式中，
2 i
是第
i
个单元时刻高斯噪声的方差。因此当且仅当输入
随机矢量 X 中各分量统计独立，且是均值为零、方差为 Pi 的高斯
熵的引入：观察离散随机变量
n
n
H ( X ) p(xi ) log p(xi ) pi log pi
i 1
i 1
连续随机变量可以看作是离散随机变量的极限（量 化间隔趋于0），故可采用离散随机变量来逼近。
下面，将采用这一观点讨论连续随机变量的信息 熵与信息量。
1）类比概率 Pi 与 概率密度p(u)：
4.4 连续信源的最大熵
第 2 章我们讨论了离散信源熵的极值性。对于离散信 源，在所有的消息独立且等概时，信源熵最大。
下面将讨论连续信源最大熵的问题，即当连续信源存 在最大熵时，其概率密度应满足什么条件？
第6章 连续信源的熵、连续信道的平均互信息与信道容量
6.1 单符号连续信源的熵与微分熵
1、单符号连续信源
定义
信源发出的消息为单一符号，这些符号随机取值于 一个连续域
表示
连续型随机变量X
第6章 连续信源的熵、连续信道的平均互信息与信道容量
X x [a , b] dP(X x ) p( X x ) p( x ) dX
随机变量X的取值x为信源发出的消息
定义
对应于单符号连续信源和单符号连续信宿的信道
表示
信源——连续型随机变量X 信宿——连续型随机变量Y
第6章 连续信源的熵、连续信道的平均互信息与信道容量
X x [a , b] dP(X x ) p( X x ) p( x ) dX 随机变量X的取值x为信源发出的消息
Y y [c, d] 通常[c, d] [a , b] dP(Y y) p( Y y) p( y) dY 随机变量Y的取值y为信宿收到的消息
第6章 连续信源的熵、连续信道的平均互信息与信道容量
第6章 连续信源的熵、连续信道的平均互信息 与信道容量
教学内容和要求
理解单符号连续信源及其模型，理解其熵，掌握 其微分熵 理解单符号连续信道及其模型，掌握其平均互信 息，理解其信道容量 掌握高斯信道的信道容量，香农公式
第6章 连续信源的熵、连续信道的平均互信息与信道容量
微分熵不能作为信息度量，平均互信息——微分熵 差，具有信息度量的意义 信宿每收到一条消息所含信源一条消息的平均信息
第6章 连续信源的熵、连续信道的平均互信息与信道容量
I(X; Y) h(X) h(X / Y)
以信宿为参考，利用信宿的微分熵和信道的噪声 微分熵来度量信道中传输的平均信息 以信源为参考，利用信源的微分熵和信道的损失 微分熵来度量信道中传输的平均信息
信息论与编码期末考试题----学生复习
《信息论基础》参考答案一、填空题1、信源编码的主要目的是提高有效性,信道编码的主要目的是提高可靠性。
2、信源的剩余度主要来自两个方面，一是信源符号间的相关性,二是信源符号的统计不均匀性。
3、三进制信源的最小熵为0，最大熵为bit/符号。
4、无失真信源编码的平均码长最小理论极限制为信源熵（或H(S)/logr= H r （S））。
5、当R=C或（信道剩余度为0）时，信源与信道达到匹配.6、根据信道特性是否随时间变化,信道可以分为恒参信道和随参信道。
7、根据是否允许失真，信源编码可分为无失真信源编码和限失真信源编码。
8、若连续信源输出信号的平均功率为，则输出信号幅度的概率密度是高斯分布或正态分布或时，信源具有最大熵，其值为值。
9、在下面空格中选择填入数学符号“”或“"（1）当X和Y相互独立时，H（XY)=H(X）+H（X/Y）=H（Y)+H（X）。
（2)（3）假设信道输入用X表示，信道输出用Y表示.在无噪有损信道中，H(X/Y)〉 0, H（Y/X)=0,I(X；Y）<H(X)。
二、若连续信源输出的幅度被限定在【2，6】区域内，当输出信号的概率密度是均匀分布时，计算该信源的相对熵，并说明该信源的绝对熵为多少.=2bit/自由度该信源的绝对熵为无穷大.三、已知信源(1）用霍夫曼编码法编成二进制变长码;（6分)（2）计算平均码长;（4分）（3）计算编码信息率；（2分）（4）计算编码后信息传输率；（2分）（5)计算编码效率。
(2分）(1)编码结果为：（2）（3）（4）其中，（5)四、某信源输出A、B、C、D、E五种符号，每一个符号独立出现,出现概率分别为1/8、1/8、1/8、1/2、1/8。
如果符号的码元宽度为0。
5。
计算:（1）信息传输速率。
（2）将这些数据通过一个带宽为B=2000kHz的加性白高斯噪声信道传输，噪声的单边功率谱密度为。
试计算正确传输这些数据最少需要的发送功率P。
解：（1）（2）五、一个一阶马尔可夫信源，转移概率为.（1) 画出状态转移图。
3.5 连续信道
吴伟陵：
信道容量：离散信道容量、连续信道容量 容量代价函数：离散信道、连续信道
朱雪龙：
信道容量：离散信道
容量费用函数：连续信道&模拟信道
傅祖芸：
信道容量：离散信道容量、连续信道容量
研究连续信道容量的方法：
基本、简单的信道：无记忆加性噪声信道
信道噪声为高斯时
何种分布输入能达到对信道的充分利用？
的熵，它与加性信道的条件熵 Hc(Y/X) 相等，说明Hc(Y/X) 是 由信道噪声引起的，故称其为噪声熵。
由于加性信道的这一特征，其信道容量
C max I ( X ; Y ) max H c (Y ) H c (Y / X ) max H c (Y ) H c ( N )
P( xy) P( xn) P( x) P(n)
再经过简单推导，得出信道转移概率密度函数
P( xy ) P( x) P(n) P( y / x) P(n) P( y x) (3.5.1) P( x) P( x)
上式说明，转移概率密度函数是由噪声引起的。
加性噪声信道的转移概率密度函数等于噪声的概率
XY XN
P(n) log 2 P (n)dn P ( x)dx P(n) log 2 P (n)dn H c ( N ) （3.5-2） N X N
其中 P( x)dx 1
X
式(3.5-2)中的Hc(N)完全是由信道的噪声概率密度函数p(n)决定
1 2 2
e
n 2 2
2
n2 p(n)dn 2
P(n) (3.5.5)
如果把x看成是一个常数，则式（3.5-5）就变成了随y 变化的高斯函数。换句话说，当已知X=x时，Y也是一 个高斯变量，其均值为x，方差为 2 。 对于高斯加性信道 n
数字通信中的信源编码和信道编码【精选文档】
数字通信中的信源编码和信道编码摘要：如今社会已经步入信息时代，在各种信息技术中,信息的传输及通信起着支撑作用.而对于信息的传输，数字通信已经成为重要的手段。
本论文根据当今现代通信技术的发展，对信源编码和信道编码进行了概述性的介绍。
关键词：数字通信；通信系统;信源编码；信道编码Abstract：Now it is an information society。
In the all of information technologies，transmission and communication of information take an important effect。
For the transmission of information，Digital communication has been an important means。
In this thesis we will present an overview of source coding and channel coding depending on the development of today’s communica tion technologies.Key Words：digital communication; communication system; source coding; channel coding1.前言通常所谓的“编码”包括信源编码和信道编码。
编码是数字通信的必要手段。
使用数字信号进行传输有许多优点, 如不易受噪声干扰，容易进行各种复杂处理，便于存贮，易集成化等。
编码的目的就是为了优化通信系统.一般通信系统的性能指标主要是有效性和可靠性.所谓优化，就是使这些指标达到最佳。
除了经济性外，这些指标正是信息论研究的对象.按照不同的编码目的，编码可主要分为信源编码和信道编码。
在本文中对此做一个简单的介绍.2.数字通信系统通信的任务是由一整套技术设备和传输媒介所构成的总体—-通信系统来完成的.电子通信根据信道上传输信号的种类可分为模拟通信和数字通信.最简单的数字通信系统模型由信源、信道和信宿三个基本部分组成.实际的数字通信系统模型要比简单的数字通信系统模型复杂得多。
第6章_连续消息和连续信道
东南大学移动通信国家重点实验室
1
“信息论与编码”课件
第六章 连续消息和连续信道
东南大学移动通信国家重点实验室
2
“信息论与编码”课件
本章内容提要
连续消息的信息 连续消息在信道上的传输问题 香农信道容量公式 连续消息的识别和理想接收机 连续信源的数字处理及其编码
东南大学移动通信国家重点实验室
第二项，当x0时它趋于无限大，称为绝对熵，用 H(x0)表示： H ( x 0 ) p ( x ) lb x d x (6.7)
东南大学移动通信国家重点实验室
9
“信息论与编码”课件
6.1 连续消息的信息度量
6.1.1 基本思路
相对熵分析 由于H(x)=E[I(x)]，连续消息每一样值只有对应的概率 密度，其所占概率为0，根据自信息量的定义，连续消 息每一样值的自信息量都是无限大，况且量化前样值 集合的幅度连续，有无限多幅度值。 但经量化后，样值集合的幅度值变为有限，样值与样 值之间的差异也就变为有限。 反映在信息特性上，就是相对熵，它仅与连续信源的 概率密度有关，不同概率密度的信源具有不同的相对 熵，因此它表征了信源间平均信息量的差异，故又称 之为“熵差”。
h ( x1 ) h ( x 2 ) lo g 1
2
东南大学移动通信国家重点实验室
17
“信息论与编码”课件
6.1 连续消息的信息度量
6.1.2 几种连续信源的相对熵
3. 指数分布 指数分布连续信源X的信源空间为
(0, ) X : X P : P (X ) : p(x)
当m = 0时，方差就是高斯连续信源X的p(x) p ( x ) d x 1 (6.14) 高斯分布连续信源的概率 密度函数的曲线描绘如图
第七章连续信源与连续信道
设p(x)是除指数分布以外的任何概率密 度函数，且
0
p( x)dx 1 xp( x)dx m
0
0
Hc ( X) p( x)lbp ( x)dx
p( x)lbp ( x)
0
me me
x
m x m
dx
e e m p( x)lb dx p( x )lb dx 0 0 m m p( x ) x lbe p( x)( )dx p( x)lbmdx 0 0 m
x m
x
lbe
0
e m p( x) ln dx m p( x )
0
x
lbe lbm lbe
lb(em) lbe [
0
e m p( x)[ 1]dx m p( x ) x
x
e m dx p( x)dx ] lb (em) 0 m
一、连续信源及其相对熵
1、单变量连续信源的数学模型
X a x b P ( X ) p( x )
并满足 p( x)dx 1
a
b
式中，p(x)为随机变量的概率密度函数。 2、单变量连续信源的熵 假定概率密度函数p(x)如图所示
p(x)
p( xi )
可直接由定义证明：
H c ( XY ) p( xy)lbp ( xy)dxdy
p( xy)lbp ( x)dxdy p( xy)lbp ( y / x)dxdy
R2 R2
R2
p( x)lbp ( x)dx p( xy)lbp ( y / x)dxdy
(信息论)第8章连续信源和波形信道
8.3 连续信道的信道编码定理
定理 8.3.1 （离散时间高斯信道编码定理）
对于带限加性高斯白噪声信道，设噪声功率为
2 N
，
带宽为B，信号平均功率为
2 X
，对于给定的信息率 R ，
若R 小于信道容量 C 时，则存在以信息率R速率通过信道
的二元码，并且错误概率任意小；当 R C 时，则以 R 通
过信道的二元码的错误概率不可能任意小。
dx, y x y2
(8.36)
求上述条件下的 RD 实际上是求在条件
第 8 章 连续信源与波形信道
在实际的通信系统中，所传输的消息可分为离散消息 和连续消息。前面几章已经较详细地介绍了离散信源的有 关特性。本章基本上采用相同的方法重点介绍连续信源及 相关问题。
8.1 连续信源的特征
8.1.1 连续信源
✓ 连续信源：信源输出是时间的连续函数，其取值既是
连续的又是随机的，且信源输出的消息可以用随机过程描 述，这种信源称为连续信源。
当信源彼此独立时，等号成立。
❖ 由于连续信源的熵是相对熵，它与离散信源的熵不
同，不具有非负性和极值性。所以连续信源的平均交互 信息熵具有非负性。
8.1.5 连续信源的熵速率和熵功率
基本概念
熵速率：信源在单位时间内输出的熵称为信源的熵速率。
连续信源的熵是连续信源每个样值的熵，它由信源 分布密度来表示。如果信源是时间连续、信号带宽为 B 的连续信源，根据随机信号的采样定理，可用 2B 的速 率对信源进行采样。因此，连续信源的熵速率为
n
X
b p xlog p x d x lim
a
x0
b p xlog xd x
a
(8.7)
信息论讲义-第八章
= Hc ( X ) + H∆ ( X ) = Hc ( X ) + ∞
w(x)
w( xk )∆x
结论：连续信源的熵值无限 结论：连续信源的熵值无限
H(X ) = ∞
0
xk−1 ∆x xk
x
连续信源的信息熵
H(X ) = ∞ 的含义 • 从数学概念上：连续熵不存在。连续随机变 从数学概念上：连续熵不存在。 量所包含的信息量为无限大， 量所包含的信息量为无限大，我们不可能全 部获取， 部获取，我们关心的只是其中足以满足我们 所需要的一部分。 所需要的一部分。
e e ≤ ∫ ω(x) ω(x) −∞ e 当 ⇒
λ1+λ2 ( x−m)2
ω(x)
= 1 ，等号 时 成立 。
λ1+λ2 ( x−m)2
ω(x) = e
连续信源的最大相对熵
λ 再由两个约束条件求 1，λ2的值 +∞ − λ2 λ1 ⇒e = ∫−∞ ω( x)dx π 3 − +∞ π (−λ2 ) 2 = σ2 ω( x)( x − m)2 dx ⇒ eλ1 ∫−∞ 2 1 λ1 e = 2 2πσ2 ⇒ ω( x) = 1 exp− ( x − m) ⇒ 2 2σ2 2πσ λ = − 1 2 2σ2 1 Hc ( X) = ln( 2πeσ2 ) 高斯分布时相对熵 2
I ( X ;Y ) = H c ( X ) − H c ( X | Y )
连续信源的相对熵、 连续信源的相对熵、 平均互信息的性质
I ( X ;Y ) ≥ 0
I ( X ;Y ) = I (Y ; X )
I ( X ;YZ ) = I ( X ;Y ) + I ( X ; Z | Y )
第6讲_信源及其信息量5_连续信源
2011-3-17
Department of Electronics and Information, NCUT
Song Peng
第11页
2.3.1 一些基本概念
2.3 连 续 信 源
(2) 随机过程及其分类
② 随机过程的分类
分类：根据统计特性，连续随机过程可分为平稳与非平稳随 机过程两大类。 平稳随机过程：统计特性（各维概率密度函数）不随时间平 移而变化。 非平稳随机过程：统计特性随时间平移而变化。
2.3.2 连续信源的熵
2.3 连 续 信 源
(1) 计算连续信源熵的两种方法 (2) 连续信源的种类 (3) 连续信源的数学描述 (4) 连续信源的熵 (5) 连续信源的联合熵和条件熵
2011-3-17
Department of Electronics and Information, NCUT
(4) 连续信源的熵
① 单变量连续信源数学模型 ② 连续信源的熵 ③ 举例 ④ 连续信源熵的意义
2011-3-17
Department of Electronics and Information, NCUT
Song Peng
第21页
2.3.2 连续信源的熵
2.3 连 续 信 源
(4) 连续信源的熵
信息论与编码
（第六讲）
──────────────
连续信源
宋 鹏
2011年春 E-mail：songpeng@
2011-3-17 Department of Electronics and Information, NCUT Song Peng 第1页
目 录
第1讲：绪论 第2讲：信源及其信息量1—自信息与熵 第3讲：信源及其信息量2—平均互信息 第4讲：信源及其信息量3—扩展信源 第5讲：信源及其信息量4—马尔科夫信源 第6讲：信源及其信息量5—连续信源 第7讲：信源及其信息量6—信源编码定理 第8讲：信道及其容量1 第9讲：信道及其容量2 第10讲：信息率失真函数1 第11讲：信息率失真函数2 第12讲：习题课1
连续信道
当信道的频带很宽（无限）时，其信道容量与信号 功率成正比，这一比值是加性高斯噪声信道信息传 输率的极限值。
当B 时，取2为底的对数，则
C lim B log(1
2 X
)
2 X
log
e
1.44
2 X
4
时间离散加性噪声信道中互信息量最大值
p (y | x ) = p N (y - x ) = p N (z) 则有
H(Y
|
X) = - ∞ ∞ p (x y )lo g p (y -∞ -∞
|
x )dx dy
= -
∞ -∞
∞ -∞
p
X
(x
)p
(y
|
x )lo g p (y
|
x )dx dy
由于信道的带宽有限，可以把一个时间连续
的信道变换成时间离散的随机序列进行处理。
设输入随机序列为：Xi ,i 1, 2,..., n ;
噪声随机序列为：Ni ,i 1, 2,..., n ;
输出随机序列为：Yi ,i 1, 2,..., n ;
则有 Yi Xi Ni i 1, 2,..., n 。
11
单位时间窄带高斯信道容量
对于窄带高斯信道，即N (t)为零均值的高斯过程， 信道带宽为B，若时间变化范围为[0,T ],由采样定理 可知，可用n 2BT个样本近似表示X (t)和N (t)。 对于时间连续信源，常常采用单位时间的信道容量， 把n 2BT 代入信道容量表示式，则
C
BT
log 1
z22 L
2
2 N
zn2
2.3连续信源
但是在连续信源中则是两个概念，且不相等。
连续信源的熵Hc(X)是一个过渡性的概念，它虽然也具有可加 性，但不一定满足非负性，它不具有信息的全部特征。 例如，对一个均匀分布的连续信源，按照定义，有
1 1 Hc ( X ) log 2 dx log 2 (b a ) ba ba a
b
p ( x) log 2 p ( x) dx
a
a b
n 0
i
定义前一项取有限值的项为连续信源的信息熵，并记为Hc(X),即 连续信源的熵 H c ( X ) p( x) log 2 p( x)dx (2.3.6)
a b
注意：
Hc(X)是连续信源的熵，而不是连续信源输出的信息量H(X) . 连续信源的绝对熵H(X)应该还要加上一项无限大的常数项. 连续信源输出的信息量H (X)是一个绝对值，它取值于∞，而 连续信源的熵Hc(X)则是一个相对值，且取值是有限的。 这一点可以这样理解：因为连续信源的可能取值数是无 限多个，所获得的信息量也将为无限大。 在离散信源中信源输出信息量就是信源熵，两者是一个概念；
同理，还可进一步定义如下连续随机变量的熵。 两个连续变量的联合熵和条件熵分别为： 连续信源熵
联合熵 条件熵
H c ( XY ) p( xy) log 2 p( xy)dxdy
H c ( X / Y ) p( xy ) log 2 p( x / y )dxdy
R2
Hc ( X ) p( x) log p( x)dx
不能把它作为信息熵来理解。连续信源的差熵值具有熵的部分 含义和性质，而丧失了某些重要的特性。
2.3.2 几种特殊连续信源的熵 1. 均匀分布的连续信源的熵
第5章 连续信源和连续信道
熵的例子3
【例，增】求均匀分布信源的熵。
• 概率密度函数
1
p(x)
b
a
a xb
• 则熵为
0 other
b1
1
H (X ) p(x) log p(x)dx
log dx
a ba ba
log(b a) ba
x
|ba
log(b ba
a)
说明： ✓与离散信源熵形式相同，但意义不同； ✓连续信源不确定性是无穷大，因此熵无穷大； ✓连续信源熵只是相对值。
【定义5-2】设有两个连续随机变量X和Y，其联合熵为
H ( X ,Y ) p(xy) log p(xy)dxdy
式中，p(xy)是二维联合概率密度函数。
【定义5-3】设有两个连续随机变量X和Y，其条件熵为
H ( X Y ) p(xy) log p(x y)dxdy
或者
H (Y X ) p(xy) log p( y x)dxdy
式中，p(x׀y)、p(y׀x)是条件概率密度函数。
【定义5-4】两个连续随机变量X和Y之间的平均互信息量为
I(X;Y) H(X ) H(X Y) H(Y) H(Y X )
Y=X+N 其中N为随机加性噪声，且X和N统计独立。
• 定义信道容量为 C max{I (X ;Y )} p(x)
• 可以证明： H(Y X ) H(N)
证明
• 因此
I(X;Y) H(Y) H(Y X ) H(Y) H(N)
即简单加性信道的互信息由输出熵和噪声熵决定。
信息论习题集
信息论习题集一、名词解释（每词2分）（25道）1、“本体论”的信息（P3）2、“认识论”信息（P3）3、离散信源（11）4、自信息量（12）5、离散平稳无记忆信源（49）6、马尔可夫信源（58）7、信源冗余度 （66） 8、连续信源 （68） 9、信道容量 （95）10、强对称信道 （99） 11、对称信道 （101-102）12、多符号离散信道（109）13、连续信道 （124） 14、平均失真度 （136） 15、实验信道 （138）16、率失真函数 （139） 17、信息价值率 （163） 18、游程序列 （181）19、游程变换 （181） 20、L-D 编码（184）、 21、冗余变换 （184）22、BSC 信道 （189） 23、码的最小距离 （193）24、线性分组码 （195）25、循环码 （213）二、填空（每空1分）（100道）1、 在认识论层次上研究信息的时候，必须同时考虑到 形式、含义和效用 三个方面的因素。
2、 1948年，美国数学家 香农 发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。
3、 按照信息的性质，可以把信息分成 语法信息、语义信息和语用信息 。
4、 按照信息的地位，可以把信息分成 客观信息和主观信息 。
5、 人们研究信息论的目的是为了 高效、可靠、安全 地交换和利用各种各样的信息。
6、 信息的 可度量性 是建立信息论的基础。
7、 统计度量 是信息度量最常用的方法。
8、 熵 是香农信息论最基本最重要的概念。
9、 事物的不确定度是用时间统计发生 概率的对数 来描述的。
10、单符号离散信源一般用随机变量描述，而多符号离散信源一般用 随机矢量 描述。
11、一个随机事件发生某一结果后所带来的信息量称为自信息量，定义为 其发生概率对数的负值 。
12、自信息量的单位一般有 比特、奈特和哈特 。
13、必然事件的自信息是 0 。
14、不可能事件的自信息量是 ∞ 。
信息论与编码理论-习题答案-姜楠-王健-编著-清华大学
可得 ，3种状态等概率分布。
一阶马尔可夫信源熵为
信源剩余度为
（2）二阶马尔可夫信源有9种状态（状态转移图略），同样列方程组求得状态的平稳分布为
二阶马尔可夫信源熵为
信源剩余度为
由于在上述两种情况下，3个符号均为等概率分布，所以信源剩余度都等于0。
总的概率
所需要的信息量
2.6设 表示“大学生”这一事件， 表示“身高1.60m以上”这一事件，则
故
2.7四进制波形所含的信息量为 ，八进制波形所含信息量为 ，故四进制波形所含信息量为二进制的2倍，八进制波形所含信息量为二进制的3倍。
2.8
故以3为底的信息单位是比特的1.585倍。
2.9（1）J、Z（2）E（3）X
(2)三元对称强噪声信道模型如图所示。
4.7由图可知信道1、2的信道矩阵分别为
它们串联后构成一个马尔科夫链，根据马氏链的性质，串联后总的信道矩阵为
4.8传递矩阵为
输入信源符号的概率分布可以写成行向量形式，即
由信道传递矩阵和输入信源符号概率向量，求得输出符号概率分布为
输入符号和输出符号的联合概率分布为
由冗余度计算公式得
3.18（1）由一步转移概率矩阵与二步转移概率矩阵的公式 得
（2）设平稳状态 ，马尔可夫信源性质知 ，即
求解得稳态后的概率分布
3.19设状态空间S= ，符号空间
且
一步转移概率矩阵
状态转移图
设平稳状态 ，由马尔可夫信源性质有
即
可得
马尔可夫链只与前一个符号有关，则有
3.20消息元的联合概率是
平均信息传输速率