第五章 多维连续信源与信道
连续信源和信道
b
a q(x)log
1 q(x)
dx
log( b
b
a)a q(x)dx
b
a q(x)log
1 q( x)(b
a)
dx
log
b
a q(x)
1 q(x)(b
a)
dx
log 1
0
（2） 平均功率受限时，限制随机变量x 的平均功
率或方差，即 2 p(x)(x m)2 dx
定理：若连续随机变量的方差一定，则x服从正态 分布时的微分熵最大，
1 N
N2
xi
i 1
Ps
定理：平均功率受限的时间离散、恒参、可加高斯
噪声信道的容量为： （还是单个随机变量的）
C
1 2
log( 1
Ps
2
)
Ps 是输入平均功率的上限， 2 是均值为0的高斯噪
声的方差。最佳输入分布是均值为0、方差为 Ps 的高
p(x | y)x pX (x)x
pXY (xy)log
p(x | y) dxdy h(X ) h(X p(x)
|Y)
I (X ;Y | Z)
pXYZ (xyz) log
pXY|Z (xy | z) pX|Z (x | z) pY|Z ( y |
dxdydz z)
I(XY;Z)
(Y EY )2 ] DX DY E( X EX )(Y EY ) DX DY E( X EX )E(Y EY ) DX DY
独立的
如果对输入功率不加限制，互信息可能任意大。 所以我们研究平均功率受限的可加噪声信道。也就是
2
xi
xN xi2 p(x)dx xi xi2 p(xi )dxi ,
信息论-第五章
将输出值 y译为码字 u(0)。
2024/10/2
14
§5.1 离散信道编码问题
命题 最大似然概率准则等价于最小距离准则。 证明
pN(y|u)=P(Y1=y1|U1=u1)P(Y2=y2|U2=u2)…P(YN=yN|UN=uN) =(p/(D-1))d(1-p)N-d，
记w(y)=P((Y1Y2…YN)=y)。我们知道
w( y) q(u) pN ( y | u)； u跑遍所有的码字 （全概率公式）
b(u | y) q(u) pN ( y | u) w( y)
q(u) pN ( y | u) ；
q(c) pN ( y | c)
c跑遍所有的码字
（贝叶斯公式）
一些。发送哪个码字的条件下，最可能收到y，就认为发送 的是哪个码字。 最大似然概率准则（最小距离准则）的实现比最大后验概率 准则的实现更简单：前者只需要看哪个码字与y的Hamming 距离最小；后者需要知道各码字的概率分布，然后用贝叶 斯公式计算并比较后验概率。 两种准则都可以用在没有编码（直接发送）情况下的纠错译 码。
道响应特性，而且 pN(y|u)=P(Y1=y1|U1=u1)P(Y2=y2|U2=u2)…P(YN=yN|UN=uN) =(p/(D-1))d(1-p)N-d， 其中d是(y1y2…yN)与(u1u2…uN)对应位置值不相同的位数；
（以后将称d为Hamming距离）
2024/10/2
11
§5.1 离散信道编码问题
C40
p0 (1
p)4
C41
p1 (1
p)3
1 2
C42
p2 (1
信息论连续信道和波形信道的信道容量
4
• 在加性信道中信道传递概率密度函数就是噪声的 概率密度函数。条件熵 h(Y/X)就是噪声源的熵 h(n)（即噪声熵）。 • 一般的多维加性连续信道的信道容量为： 一般的多维连续信道的信道容量为：
max maxII ;Y ) max[ h) (Y h X )] /N (比特 /N个自由度） C (( XX ;Y ) max[ h(Y ) h (n )( ]Y /(比特 个自由度）
Ps Ct W log(1 ) 3300log(1 100) N0W 21972 (比特 / 秒)
计算结果约为 22000 比特/秒。实际信道可以达到的最大信道 传输率约为 19200 比特/秒，稍小于理论值（这是由于串扰、 回声等干扰因素所导致）。
18
(2) 当噪声功率 N00 时，信道容量Ct 趋近于无穷， 这意味着无干扰连续信道的信道容量为无穷大。 (3) 增加信道带宽（也就是信号的带宽）W，并不能无 限制地使信道容量增大。当带宽W增大时，信道容量Ct 也开始增大，到一定阶段后Ct 的加大就缓慢了，当 W 时Ct 趋向于一极限值
22
（5）无错误通信的传输速率的理论极限值 香农公式对实际通信系统有着十分重要的指导意义。 它给出了达到无错误通信的传输速率的理论极限值， 称为香农极限。 • 香农公式的另外一种描述形式是：
Ct P log(1 s ) W N0W (bit / s / Hz )
给出了频带利用率和信噪比的关系。
Ps C Ct lim W log(1 ) T T N0W
(比特 / 秒)
21
1）若传输时间T确定，则扩展信道的带宽可以降低对信噪比 的要求；反之，带宽变窄，就要增加信噪功率比。在实际通 信系统中通过采用调制解调的方法实现上述互换。
信息论与编码第5章习题解答
= λ ( 0) ⋅ p * (1) ⋅ e 2s + 0.5 ⋅ λ (1) ⋅ p * (0) ⋅ e s Rs = s ⋅ Ds + 0.5 ⋅ [log λ ( 0) + log λ (1)]
其中参数 s < 0 。
5.7
x2 X x1 1 设信源 = ( p < ) ，其失真度为 Hamming 失真度，试问当允许 2 p (x ) p 1 − p 1 平均失真度 D = p 时，每个信源符号平均最少需要几个二进制符号表示？ 2
所以转移概率矩阵具有与失真矩阵相同的置换对称。
α a1 a 2 a 3 β b1 γ a α a a β b γ 3 2 1 P= 1 a a α a b β γ 2 3 1 1 a a a α b β γ 3 2 1 1 ˆ ˆ 由于对于使失真 d ( xi , x j ) = ∞ 的 ( xi , xi ) ，相应的转移概率必须为零，即
所以
R( D ) =
β =D − 3 γ ≥0 α =1− D +2γ ≥0 γ ≥0
β = D − 3γ ≥ 0 α = 1 − β − γ = 1 − D + 2γ ≥ 0 γ ≥0 min {2 − D + γ }
= ( 2 − D ) bit
当1 ≤ D ≤ 3 ，
所以
D α + β + γ = 1 β = D − 3γ ≥ 0 γ ≤ 3 β + 3γ = 0 ⇒ α = 2γ − D + 1 ≥ 0 ⇒ D −1 γ ≥0 γ ≥ α , β , γ ∈ [ 0,1] 2 R( D ) = min {2 − D + γ }
信息论与编码(第二版)陈运主编课件第五章 (1)
K R log m H ( X ) 2 , 0, 0 L
当L足够大，译码几乎必出错。
定理说明
消息序列： X1 X 2 X l X L X
X l a1a2 ai an
码序列：C W1W2 ...WK Wk {b1 , b2 ...bm }
例
设有一单符号离散无记忆信源
x2 x3 x4 x5 x6 X x1 P( X ) 0.25 0.25 0.2 0.15 0.1 0.05
试对该信源编二进制香农码。
编码过程
（1） pa ( x j ) p( xi )
i 0
j 1
Hale Waihona Puke x1 x2 x3 x4 x5 x6
i 1
6
H ( x) 89.63% R
作业
5.1
定长 消息序列
码序列
变长
定理说明
m-码序列中每个符号的可能取值，单个符号的 信息量为 log m K-定长编码的长度，总信息量 K log m L-信源符号的长度，平均每个符号的信息量为 K log m
K log m H(X ) 信息率： R L H(X ) 编码效率： R
0.25 0.25 0.2 0.15 0.1 0.05
pa ( x j ) k i 0 2 0.25 0.5 0.7 0.85 0.95 2 3 3 4
码字 00 01 100 101 1101
5 11110
H ( X ) 2.42
K R log 2 m K L
K p( xi )ki 2.7
内蒙古工业大学 电子信息工程
第5章：信源编码
信息论与编码 第五章
i
i
i
1
2
3
N
1 N 1 ( b1 a 1 )( b 2 a 2 ) ( b N a N ) ( bi a i ) i 1 p(x ) 0
x ( bi a i )
i 1 N
N
x ( bi a i )
i 1
满足以上条件的多维连续信源称为在N维 区域体积中的均匀分布的 N维连续信源 下面计算N维均匀分布连续信源的相对熵 这里对于多维连续信源，其相对熵为：
2 1 2 2
令
h( X 1) h( X )
1 2 1 2
ln 2 e ln 2 e
2 1
2
2 2
他们分别为高斯随机变量各自的相对熵。上式中的 第三项是一个与相关系数有关的量。显然， 可见，对于二维高斯信源而言：
ln 1
2
0
h ( X ) h ( X 1 X 2 ) [ h ( X 1 ) h ( X 2 )]
f (x) 1 2 1 2
d
f ( ) e
j ( x )
d
可改写为
f (x)
{
f ( ) e
j
d }e
j x
d
现令
F ( )
1
f ( )e
j
d
则有
f (x) 2
F ( )e
j x
d
上式所示的F-反变换公式，由频谱函数 F ( )求 得其时间函数 f (t )。 F-变换和反变换是限时、限频 函数的抽样定理的主要数学工具。
信源及信源熵
i
是
xi
的函数，
I (xi ) xi
9
2.2.1 自信息量
b. 自信息量的单位的确定 • 在信息论中常用的对数底是2，信息量的单位为比特（bit）； • 若取自然对数，则信息量的单位为奈特（nat）； • 若以10为对数底，则信息量的单位为笛特（det）。
这三个信息量单位之间的转换关系如下： 1 nat＝log2e l.433 bit， l det＝log210 3.322 bit
10
2.2.1 自信息量
几个例子
i.
一个以等概率出现的二进制码元（0，1）所包含的自信息量为：
I（0）= I（1）= - log2 （1/2）=log22=1 bit
ii. 若是一个m位的二进制数，因为该数的每一位可从0, 1两个数字中任取一个，因此有2m个等 概率的可能组合。所以I= -log2(1/2m)=m bit，就是需要m比特的信息来指明这样的二进制数。
i 1
6
第二节 离散信源熵和互信息
问题： • 什么叫不确定度？ • 什么叫自信息量？ • 什么叫平均不确定度？ • 什么叫信源熵？ • 什么叫平均自信息量？ • 什么叫条件熵？ • 什么叫联合熵？ • 联合熵、条件熵和熵的关系是什么？
7
第二节 离散信源熵和互信息 • 什么叫后验概率？ • 什么叫互信息量？ • 什么叫平均互信息量？ • 什么叫疑义度？ • 什么叫噪声熵（或散布度）？ • 数据处理定理是如何描述的？ • 熵的性质有哪些？
信源及信源熵
第一节 信源的描述和分类
1. 连续信源 连续信源是指发出在时间和幅度上都是连续分布的连续消息（模拟消息）的信源，如语言 、图像、图形等都是连续消息。
2. 离散信源 离散信源是指发出在时间和幅度上都是离散分布的离散消息的信源，如文字、数字、数据 等符号都是离散消息。
第5章 连续信源和连续信道
熵的例子3
【例，增】求均匀分布信源的熵。
• 概率密度函数
1
p(x)
b
a
a xb
• 则熵为
0 other
b1
1
H (X ) p(x) log p(x)dx
log dx
a ba ba
log(b a) ba
x
|ba
log(b ba
a)
说明： ✓与离散信源熵形式相同，但意义不同； ✓连续信源不确定性是无穷大，因此熵无穷大； ✓连续信源熵只是相对值。
【定义5-2】设有两个连续随机变量X和Y，其联合熵为
H ( X ,Y ) p(xy) log p(xy)dxdy
式中，p(xy)是二维联合概率密度函数。
【定义5-3】设有两个连续随机变量X和Y，其条件熵为
H ( X Y ) p(xy) log p(x y)dxdy
或者
H (Y X ) p(xy) log p( y x)dxdy
式中，p(x׀y)、p(y׀x)是条件概率密度函数。
【定义5-4】两个连续随机变量X和Y之间的平均互信息量为
I(X;Y) H(X ) H(X Y) H(Y) H(Y X )
Y=X+N 其中N为随机加性噪声，且X和N统计独立。
• 定义信道容量为 C max{I (X ;Y )} p(x)
• 可以证明： H(Y X ) H(N)
证明
• 因此
I(X;Y) H(Y) H(Y X ) H(Y) H(N)
即简单加性信道的互信息由输出熵和噪声熵决定。
连续多维信号与系统
1
f ( x, y, t )为观测能量在图像空间的分布， 其中， r ( x, y, t ) 为反射系数。 i0 ( x, y, t ) 为照射能量分布， r ( x, y, t ) [0,1] r ( x, y , t ) 1 r ( x, y, t ) 0
表示全反射 表示无反射
2
性质与应用/Property and Applications 1、 等间隔亮线条图像与 Comb( x, y ) 可分离 性
page
20
Comba ,b ( x, y) Comba ( x) Combb ( y )
Comba ( x) ( x ma) Combb ( x) ( y nb)
(n) ( m)
y
1
图像意义：
a
0
x
Comba ( x)
page
沿y轴平行的，x方向间隔为a的亮线条
21
y
1
b
Combb ( y)
0
x
沿y轴平行的，x方向间隔为a的亮线条
page
22
例题： C C D D 1. 试给出域 ( x ( , ), y ( , )) 2 2 2 2
内，沿 y 轴方向，x 轴方向间距均为 a 的 亮线族示图及函数记号表示，其中一条亮 线过原点，灰度级为g 。 解： 图像函数式 x y f ( x, y ) ba ( x) rect ( , ) C D
灰度级 g
y
C 2
page
a 0 a 2a
25
C 2
x
x f ( x, y ) rect ( ) Comba ( x) ( y ) C x rect ( ) ( x na, y ) C (n)
信息论讲义-第五章(13讲)
信息理论基础第13讲北京航空航天大学201教研室陈杰21.编码器—信源符号集S =(s 1,s 2, …s q )—码符号集X =(x 1,x 2…x r )—代码组(Source Code ) C =(W 1, W 2,…W q )—码字(Codeword ) W i =(x l1,x l2,…x li )2. 分组码—奇异性(Non-singular )—唯一可译性(Uniquely decodable )—即时码(Instantaneous )All codesNon-singular codesUniquely decodable codesInstantaneous codesFigure 5.1. Classes of codes343. 定长编码3.1 唯一可译定长码编码速率编码效率log log L ql N r=≥log 1log q r +>log log L r R qN=≥()()log H S H S R qη=≤例:英文字符数q =27,且log 2q=4.754 bit 信源熵H (S )=4.03 bit ,取编码速率R=log 2q 则编码效率η=85%53. 定长编码3.2 定长码编码定理(1)正定理：(2)逆定理：log ()L rR H S Nε=≥+2[()]i E D I s p N ε≤log ()2L rR H S Nε=≤−12N E p ε−≥−0E p →1E p →63. 定长编码3.2 定长码编码定理根据正定理，令p E <δlog ()L rR H S Nε=≥+2[()]i E D I s p N δε≤<2[()]i D I s N εδ≥()H S Rη=()()H s H s ε≤+[]222()()(1)i D I s N H S ηηδ≥⋅−1()H s ηεη−=75.4 变长码•引入1. 变长码无需很长的码长就能实现高效率的无失真信源编码2.变长码必须是唯一可译码，才能实现无失真编码3.变长码是唯一可译码的充要条件：(1)非奇异码(2)任意有限次扩展码是非奇异码4. 变长码必须即时码85.4.1码的分类和主要编码方法信源编码方法：⑴匹配编码：概率大的信源符号，代码长度短；反之，代码长度长⑵变换编码：从一种空间变换成另一种空间，然后进行编码⑶识别编码：对有标准形状的文字、符号和数据进行编码9定理：设信源符号集为S=(s 1,s 2, …，s q,)，码符号集为X=(x 1,x 2, …x r )，对信源进行编码，代码组C=(W 1,W 2, …W q )，相应码长分别l 1,l 2,…l q ，即时码存在（唯一可译码存在）的充要条件为：11≤∑=−qi l ir10释：(1)克拉夫特(Kraft)不等式为即时码存在充要条件(2)麦克米伦(McMilan )不等式为唯一可译码存在充要条件(3)该定理不能作为判别一种码是否为即时码（唯一可译码）的判据(4)当码字长度和码符号满足该不等式时，必可构造出即时码（唯一可译码）115.4.3 唯一可译码判别准则•唯一可译码：如果一个分组码对于任意有限的整数N ，其N 次扩展码均为非奇异码，则为唯一可译码•唯一可译码的充要条件：（见书上128页）121.码平均长度离散无记忆信源为编码后的码子码字的长度因为是唯一可译码，s i 和W i 一一对应则码字平均长度为[]1212()()()q q s s s S P p s p s p s ⎡⎤=⎢⎥⎣⎦""12,,,qW W W "ql l l ,,,21"()()i i p s p W =11()()q qi i i ii i L p W l p s l ====∑∑13释：(1)是每个信源符号编码需要的平均码符号个数；(2) 编码后，每个信源符号s i 平均用个码符号来表示，平均每个码符号携带的信息量是信道的信息传输率(3) 若传输一个码符号需要t 秒，则每秒传输率为故L L L s H X H R )()(==Ls H R t R t )(1==bit/码符号bit/秒L R t 信息传输率高2.紧致码定义：对于某一个信源和某一码符号集，若有一L个唯一可译码，其平均码长度小于所有其它唯一可译码的平均码长度，则称该码为紧致码（也称最佳码）•释：无失真信源编码核心问题是寻找紧致码14153.定理：（平均码长下界）设离散无记忆信源的信源熵为H (S )，用码符号集进行编码，则存在一种编码方式构成唯一可译码，平均码长满足[]1212()()()q q s s s SP p s p s p s ⎡⎤=⎢⎥⎣⎦""},,,{21q x x x X "=L rS H L r S H log )(1log )(+<≤16释：(1) 的极限值为，即下界；小于下界，则唯一可译码不存在(2) 当选择时，才能达到下界(3) 紧致码平均码长不一定达到下界(4) 达到下界的唯一可译码是紧致码(5) 紧致码最短码长L ()log H S r Llog ()log i i p s l r=−rS H L log )(=174 变长无失真信源编码定理（香农第一定理）定理：设离散无记忆信源其信源熵为H (S )，它的N 次扩展信源为[]1212()()()q q s s s SP p s p s p s ⎡⎤=⎢⎥⎣⎦""1212()()()N N qN q S P p p p αααααα⎡⎤⎡⎤=⎢⎥⎣⎦⎢⎥⎣⎦""18扩展信源熵为H (S N )，码符号集X =(x 1,x 2, …x r )，用X 对S N 编码，则总可以找到一种编码方法，构成唯一可译码，使信源S 中的每个信源符号所需要的码字平均长度满足或rS H N L N r S H N log )(1log )(≥>+)(1)(S H NL N S H r N r ≥>+19当时，则其中，是扩展信源中每个信源符号对应的平均码长式中，是对应的码字长度∞→N )(lim S H N L r N N =∞→rS H N L N N log )(lim =∞→N L i α1()Nq N i ii L p αλ==∑i λi α20释：对于平稳遍历的离散有记忆信源（如马尔可夫信源），有其中，为有记忆信源的极限熵N L N L 原始信源平均码长N次扩展信源编码后每原始信源符号的平均码长≥rH N L N N log lim ∞∞→=∞H5.4.4变长信源编码定理5.编码速率、编码效率、剩余度(1) 编码速率：变长编码的编码速率为 LN R= log r N (2) 编码效率：编码效率定义为H ( S ) NH r ( S ) NH ( S ) = = η= R LN LN log r(3) 剩余度：定长码的剩余度为NH r ( S ) γ = 1 −η = 1 − LN21例题 例5.2 设离散无记忆信源Ss2 ⎤ ⎡S ⎤ ⎡ s1 ⎢ P( S ) ⎥ = ⎢0.75 0.25⎥ ⎣ ⎦ ⎣ ⎦ 对信源S及其扩展信源进行二元变长编码， 求当信源扩展次数N＝2,3,4时的平均码长和 编码效率。
连续信源和连续信道
当信源的概率密度符合正态分布时，其相对熵仅与随机 变量的方差 2 有关，而方差在物理含义上往往表示信号
的交流功率,即p 2
在限制信号平均功率的条件下，正态分布的信源可输出最
大相对熵 而增加。
Hc
(X
)
1 2
log 2
2e
2
其值随平均功率的增加
如果噪声是正态分布，则噪声熵最大，因此高斯白噪声 获得最大噪声熵。
i 1
bi
ai
i 1
0
N
x bi ai i 1
N
N
Hc ( X ) log2 (bi ai ) log2 (bi ai )
i 1
i 1
HcX1 HcX2 HcXN
连续随机矢量中各分量相互统计独立时，其矢量熵就 等于各单个随机变量的熵之和，与离散信源情况类似。
2. 高斯分布的连续信源的熵：与数学期望无关，仅与方 差有关
单变量连续信源X呈正态分布的概率密度函数为
p(x)
1
e
(
xm) 2 2
2
2 2
且：
p(x)dx 1
Hc
(X
)
1 2
log 2
2e
2
xp(x)dx m
x2 p(x)dx P
E X m2 E X 2 m2 P2 m2 2
当连续信源输出信号的均值为零、平均功率受限 时，只有信源输出信号的幅度呈高斯分布时，才会有 最大熵值。
连续信源的熵具有相对性，有时称为相对熵,在取两熵 之间的差时才具有信息的所有特性.
例2.3.1有一信源概率密度如图所示，求连续熵
解:
由图(a)得
Hc(X )
P(x) log 2P(x)dx
信息论与编码理论-习题答案-姜楠-王健-编著-清华大学
第1章 绪论1.1 信源、编码器、信道、干扰、译码器、信宿 1.2 香农1.3 通信系统模型1.4信号是消息的表现形式，是物理的，比如电信号、光信号等。
消息是信息的载荷者，是信号的具体容，不是物理的，但是又比较具体，例如语言、文字、符号、图片等。
信息包含在消息中，是通信系统中被传送的对象，消息被人的大脑所理解就形成了信息。
1.5 略第2章 信息的统计度量2.1 少2.2 y 的出现有助于肯定x 的出现、y 的出现有助于否定x 的出现、x 和y 相互独立 2.3 FTTTF 2.4 2.12比特2.5依题意，题中的过程可分为两步，一是取出一枚硬币恰好是重量不同的那一枚，设其发生的概率为1p ，由于每枚硬币被取出的概率是相同的，所以1181p =所需要的信息量()()1log 6.34I A p bit =-=二是确定它比其他硬币是重还是轻，设其发生的概率为2p ，则212p =总的概率12111812162p p p ==⨯=所需要的信息量()log log1627.34I p bit =-==2.6 设A 表示“大学生”这一事件，B 表示“身高1.60m 以上”这一事件，则()()()0.250.5|0.75p A p B p B A ===故()()()()()()|0.750.25|0.3750.5p AB p A p B A p A B p B p B ⨯====()()()11|loglog 1.42|0.375I A B bit p A B ===2.7 四进制波形所含的信息量为()log 42bit =，八进制波形所含信息量为()log 83bit =，故四进制波形所含信息量为二进制的2倍，八进制波形所含信息量为二进制的3倍。
2.8()()()()()()2322log 3log 32log 3 1.585I p bit I p bit I I =-=-==故以3为底的信息单位是比特的1.585倍。
信息论连续信源和波形信道
❖ 由于连续信源的熵是相对熵，它与离散信源的熵不同，不具有非负性和
极值性。所以连续信源的平均交互信息熵具有非负性。
第8页/共25页
8.1.5 连续信源的熵速率和熵功率
基本概念
熵速率：信源在单位时间内输出的熵称为信源的熵速率。
连续信源的熵是连续信源每个样值的熵，它由信源分布密度来表示。 如果信源是时间连续、信号带宽为 B的连续信源，根据随机信号的采样定 理，可用 2B 的速率对信源进行采样。因此，连续信源的熵速率为
定义 8.1.4 两个连续随机变量 X 和 Y 之间的平均交互信息量为
IX;Y HX HX |Y 或 I X ;Y H Y H Y | X I X ;Y H X H Y H X ,Y
连续信源的平均交互信息量的性质：
(8.12) (8.13) (8.14)
(1) H X , Y H X H Y (2) H X | Y H X 和 H Y | X H Y
时间连续的信道也称作波形信道。同样时间连续信道可用随机过程描述。 由于信道的带宽总是有限的，根据随机信号采样定理，我们可以把一个时间连 续的信道变换成时间离散的随机序列进行处理。
由于信道是无记忆信道，那么 n 维随机序列的平均交互信息量满足
n
I X; Y I X i ; Yi i 1
因此时间连续信道的信道容量为
的R曲D线 。从该式也可以8.4.2 设所有试验信道的集合为 时，连续信源的信息率失真函数为
D D
，在满足B一D 定失真度
R D inf I X , Y p y|x BD
(8.34)
式中inf 表示下界，试验集合为
BD ： p y |。x , D D
率失真函数的求解
(8.19)
2.3连续信源
但是在连续信源中则是两个概念，且不相等。
连续信源的熵Hc(X)是一个过渡性的概念，它虽然也具有可加 性，但不一定满足非负性，它不具有信息的全部特征。 例如，对一个均匀分布的连续信源，按照定义，有
1 1 Hc ( X ) log 2 dx log 2 (b a ) ba ba a
b
p ( x) log 2 p ( x) dx
a
a b
n 0
i
定义前一项取有限值的项为连续信源的信息熵，并记为Hc(X),即 连续信源的熵 H c ( X ) p( x) log 2 p( x)dx (2.3.6)
a b
注意：
Hc(X)是连续信源的熵，而不是连续信源输出的信息量H(X) . 连续信源的绝对熵H(X)应该还要加上一项无限大的常数项. 连续信源输出的信息量H (X)是一个绝对值，它取值于∞，而 连续信源的熵Hc(X)则是一个相对值，且取值是有限的。 这一点可以这样理解：因为连续信源的可能取值数是无 限多个，所获得的信息量也将为无限大。 在离散信源中信源输出信息量就是信源熵，两者是一个概念；
同理，还可进一步定义如下连续随机变量的熵。 两个连续变量的联合熵和条件熵分别为： 连续信源熵
联合熵 条件熵
H c ( XY ) p( xy) log 2 p( xy)dxdy
H c ( X / Y ) p( xy ) log 2 p( x / y )dxdy
R2
Hc ( X ) p( x) log p( x)dx
不能把它作为信息熵来理解。连续信源的差熵值具有熵的部分 含义和性质，而丧失了某些重要的特性。
2.3.2 几种特殊连续信源的熵 1. 均匀分布的连续信源的熵
第6讲_信源及其信息量5_连续信源
2011-3-17
Department of Electronics and Information, NCUT
Song Peng
第11页
2.3.1 一些基本概念
2.3 连 续 信 源
(2) 随机过程及其分类
② 随机过程的分类
分类：根据统计特性，连续随机过程可分为平稳与非平稳随 机过程两大类。 平稳随机过程：统计特性（各维概率密度函数）不随时间平 移而变化。 非平稳随机过程：统计特性随时间平移而变化。
2.3.2 连续信源的熵
2.3 连 续 信 源
(1) 计算连续信源熵的两种方法 (2) 连续信源的种类 (3) 连续信源的数学描述 (4) 连续信源的熵 (5) 连续信源的联合熵和条件熵
2011-3-17
Department of Electronics and Information, NCUT
(4) 连续信源的熵
① 单变量连续信源数学模型 ② 连续信源的熵 ③ 举例 ④ 连续信源熵的意义
2011-3-17
Department of Electronics and Information, NCUT
Song Peng
第21页
2.3.2 连续信源的熵
2.3 连 续 信 源
(4) 连续信源的熵
信息论与编码
（第六讲）
──────────────
连续信源
宋 鹏
2011年春 E-mail：songpeng@
2011-3-17 Department of Electronics and Information, NCUT Song Peng 第1页
目 录
第1讲：绪论 第2讲：信源及其信息量1—自信息与熵 第3讲：信源及其信息量2—平均互信息 第4讲：信源及其信息量3—扩展信源 第5讲：信源及其信息量4—马尔科夫信源 第6讲：信源及其信息量5—连续信源 第7讲：信源及其信息量6—信源编码定理 第8讲：信道及其容量1 第9讲：信道及其容量2 第10讲：信息率失真函数1 第11讲：信息率失真函数2 第12讲：习题课1
第五章 多维连续信源与信道
第五章 多维连续信源与信道5.8设X(ƒ)是时间函数x(t)的频谱,而函数在T 1<t<T 2区间以为的值均为零.试证:∑∞-∞=--=n fT n fT n T n X f X ππππ)sin()()( (频域抽样定理,证明详见p263-p265)5.9设随机过程x(t)通过传递函数为K(ƒ)的线性网络,如下图所示.若网络的频宽为F,观察时间为T.试证明:输入随机过程的熵h(X)和输出随机过程的熵h(Y)之间的关系为:∑=⎪⎭⎫⎝⎛+=FTn T n K X h Y h 12log )()((证明详见p283-p287)5.11证明:加性高斯白噪声信道的信道容量:)1log(222NXN C σσ+= 信息单位/N 维其中N=2FT,б2X 是信号的方差(均值为零), б2N 是噪声的方差(均值为零).再证:单位时间的最大信息传输速率)1log(02FN F C Xt σ+= 信息单位/秒(证明详见p293-p297)5.12设加性高斯白噪声信道中,信道带宽3kHz,又设{(信号功率+噪声功率)/噪声功率}=10dB.试计算改信道的最大信息传输速率C t . 解:bit/s78.9965)91log(3000)1log(91010log10:=+⨯=+=∴==+∴=+N SF C NSN N S N N S t 即由题意有5.13在图片传输中,每帧约有2.25×106个像素,为了能很好的重现图像,需分16个量度电平,并假设量度电平等概率分布,试计算每分钟传输一帧图片所需信道的带宽(信噪功率比为30dB). 解:kHz C NSC F NSF C NS tt t 05.1510505.1)101log(6041025.2)101log()1log(:)1log(;416436)(101dB =⨯=+÷⨯⨯=+=+=+=得又由位二进制编码像素则需要个亮度电平来表示一个由题意用5.14设电话信号的信息率为5.6×104比特/秒.在一个噪声功率谱为N0=5×10-6mW/Hz,限频F 、限输入功率P 的高斯信道中传送,若F=4kHz,问无差错传输所需的最小功率P 是多少W?若F →∞则P 是多少W? 解:mW1941.010941.12ln 10105106.52ln ,2ln lim ,)2(W32766.0P W32766.0)12(10410105)12()1log(,)1log(,4)1(43640min 0min 104106.53360min 0min034=⨯=⨯⨯⨯⨯⨯===≤∞→==-⨯⨯⨯⨯⨯=-=+=+≤=---∞→⨯⨯--RN P N PxC R F F N P FN P F R FN P F R kHz F t F FR则取等号由实现无差错传输则时得最小功率所以无差错传输所需要得即取等号实现无差错传输则时5.15已知一个高斯信道,输入信噪功率比为3dB,频带为3kHz,求最大可能传送的信息率是多少?若信噪比提高到15dB,求理论上传送同样的信息率所需的频带. 解:Hz 36.944)101log(05.4748)1log(15)(bit/s05.4748)101log(103)101log()1log( :1015dB 1033)(101dB =+=+===+⨯⨯=+=+==NS R F NS F NS F C R N St 则若最大可能传输的速率为5.17设某加性高斯白噪声信道的通频带足够宽(F →∞),输入信号的平均功率P s =1W,噪声功率谱密度N0=10-4W/Hz,,若信源输出信息速率Rt=1.5×104比特/秒.试问单位时间内信源输出的信息量是否全部通过信道?为什么? 解:.,,bit/s105.1bit/s 104427.12ln 1012ln lim 4440否则会产生失真过信道出的信息量不能全部通所以单位时间内信源输传输速率于信道所能提供的最大即信源输出信息速率大⨯=<⨯=⨯==-∞→t t F R N Ps C。
联合典型序列信道编码定理
Pr [TXY ( N , e )] 1 e
信道编码定理
Shannon信道编码定理：给定容量为C的离散无 记忆信道{X,P(x|y),Y},若编码速率R<C,则R是可 达的 可达：对给定离散无记忆信道和任意e>0,若有 一种编码速率为R的码，在N足够大时，能使 Pe<e，就称R是可达的。
最小汉明距离译码
汉明距离 d(x, y), x, y中分量不同的数目 码字先验等概 K元对称信道
p(i | i) 1 p p( j | i ) p /( K 1)
最小汉明距离译码
ln p( y | xm ) ln p( yi | xmi )
n 1 N
p d ( y, xm ) ln ( N d ( y, xm )) ln(1 p) K 1 N ln(1 p) d ( y, xm ) ln[( 1 p)(K 1) / p]
第五章 信道编码定理
信道编码定理
1.离散信道编码问题 2.信道译码 3.Fano不等式和信道编码逆定理 4.联合典型序列及信道编码定理
1.离散信道编码问题
纠错编码器
Hale Waihona Puke 将输入的信息数字序列变成另外一个数字序列， 人为地按照一定的规律增加多余度，以便纠正 传输过程中出现的错误，以尽可能小的错误概 率恢复原来的信源数字序列 有限状态开关网络：
N N N n 1 n 1 n 1
2 maxln(y | xm ) min ( yn xmn ) 2 min xmn 2 xmn yn
若发送信号能量相等,最大相关译码
Fano不等式和信道编码 逆定理
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
第五章 多维连续信源与信道
5.8设X(ƒ)是时间函数x(t)的频谱,而函数在T 1<t<T 2区间以为的值均为零.试证:
∑∞
-∞
=--=
n fT n fT n T n X f X ππππ)
sin()()( (频域抽样定理,证明详见p263-p265)
5.9设随机过程x(t)通过传递函数为K(ƒ)的线性网络,如下图所示.若网络的频宽为F,观察时间为T.试证明:输入随机过程的熵h(X)和输出随机过程的熵h(Y)之间的关系为:
∑=⎪⎭⎫
⎝⎛+=FT
n T n K X h Y h 1
2
log )()(
(证明详见p283-p287)
5.11证明:加性高斯白噪声信道的信道容量:
)1log(222
N
X
N C σσ+= 信息单位/N 维
其中N=2FT,б2X 是信号的方差(均值为零), б2N 是噪声的方差(均值为零).
再证:单位时间的最大信息传输速率
)1log(02F
N F C X
t σ+
= 信息单位/秒
(证明详见p293-p297)
5.12设加性高斯白噪声信道中,信道带宽3kHz,又设{(信号功率+噪声功率)/噪声功率}=10dB.试计算改信道的最大信息传输速率C t . 解:
bit/s
78.9965)91log(3000)1log(91010log
10:=+⨯=+=∴==+∴=+N S
F C N
S
N N S N N S t 即由题意有
5.13在图片传输中,每帧约有2.25×106个像素,为了能很好的重现图像,需分16个量度电平,并假设量度电平等概率分布,试计算每分钟传输一帧图片所需信道的带宽(信噪功率比为30dB). 解:
kHz C N
S
C F N
S
F C N
S t
t t 05.1510505.1)
101log(6041025.2)
101log()
1log(:)1log(;41643
6)(101dB =⨯=+÷⨯⨯=+=
+=
+=得又由位二进制编码像素则需要个亮度电平来表示一个由题意用
5.14设电话信号的信息率为5.6×104比特/秒.在一个噪声功率谱为N0=5×10-6mW/Hz,限频F 、限输入功率P 的高斯信道中传送,若F=4kHz,问无差错传输所需的最小功率P 是多少W?若
F →∞则P 是多少W? 解:
mW
1941.010941.12ln 10105106.52ln ,2
ln lim ,)2(W
32766.0P W
32766.0)12(10410105)12()1log(,)1log(,4)1(43640min 0min 104106.53360min 0min
03
4=⨯=⨯⨯⨯⨯⨯===
≤∞→==-⨯⨯⨯⨯⨯=-=+
=+≤=---∞
→⨯⨯--RN P N Px
C R F F N P F
N P F R F
N P F R kHz F t F F
R
则取等号由实现无差错传输则时得最小功率所以无差错传输所需要得即取等号实现无差错传输则时
5.15已知一个高斯信道,输入信噪功率比为3dB,频带为3kHz,求最大可能传送的信息率是多少?若信噪比提高到15dB,求理论上传送同样的信息率所需的频带. 解:
Hz 36.944)
101log(05.4748)1log(15)(bit/s
05.4748)101log(103)101log()1log( :
1015
dB 103
3)(101dB =+=+===+⨯⨯=+=+==N
S R F N
S F N
S F C R N S
t 则若最大可能传输的速率为
5.17设某加性高斯白噪声信道的通频带足够宽(F →∞),输入信号的平均功率P s =1W,噪声功率谱密度N0=10-4W/Hz,,若信源输出信息速率Rt=1.5×104比特/秒.试问单位时间内信源输出的信息量是否全部通过信道?为什么? 解:
.
,,bit/s
105.1bit/s 104427.12
ln 101
2ln lim 4440否则会产生失真过信道出的信息量不能全部通所以单位时间内信源输传输速率于信道所能提供的最大即信源输出信息速率大⨯=<⨯=⨯==
-∞
→t t F R N Ps C。