离散无记忆信道的容量
信息论与编码第三版 第4章
p( x)
信息论与编码
3. 根据平均互信息量I（X; Y）达到信道容量的充要条件式对C进行验证：
p ( y j ) p ( xi ) p ( y j / xi )
i 1 3
1 P 0 0
0 1/ 2 0
0 1/ 2 0
0 0 1/6
x1 x2 x3 x4 x5
1 1 1 1 1
y1 y2 y3 y4 y5
1 0 P 0 0 0
0 1 0 0 0
0 0 1 0 0
0 0 0 1 0
0 0 0 0 1
【解】 该信道的信道容量为：
C max I ( X ; Y ) max H ( X ) log 5
C max I ( X ; Y ) max H (Y )
p( x) p( x)
由于
p( y ) p( x) p( y / x)，由于信道转移概率是确定的，求使H (
X
Y)
达到最大值的p ( x )的最佳分布就转化为求p ( y )的最佳分布。由极大离 散熵定理知，在p ( y )等概率分布时，H ( Y ) 达到最大，则
I ( x2 ; Y ) p ( y j / x2 ) log
j 1 2
p ( y j / x2 ) p( y j ) p ( y j / x3 ) p( y j ) p ( y j / x4 ) p( y j ) p ( y j / x5 ) p( y j )
1 log
1 1/ 2
log 2
I ( x3 ; Y ) p ( y j / x3 ) log
j 1 2
1 log
离散信道信道容量的计算
输能力或者说能否达到信 道 容 量,取 决 于 两 点:信 源 离
散无记忆;信 源 的 输 入 概 率 分 布 是 使I(x;y)最 大 的 分 布.下面给出离散无记忆信道容量的定义:
C ＝ maxI(X;Y); p(ai)
∑∑ 其 中I(X;Y)＝
n i＝１
j＝m１p(ai)p(bj/ai)logpp(b(jb/ja)i)
工程管理与技术
离散信道信道容量的计算
余秀玲
(西南石油大学,四川 成都 ６１０５００)
摘 要:信道容量的计算是信道研究的核心,据 此 对 信 道 容 量 定 义 和 特 性 进 行 了 探 讨,并 研 究 了 三 种 特 殊 离 散信道的信道容量计算方法,有对称离散信道、强对 称 离 散 信 道 和 准 对 称 离 散 信 道,并 对 三 种 信 道 容 量 计 算 方 法 进行了区分与比较.最后介绍了一般离散信道的信道容量计算方法.
[５]严 新 乔 ．高 职 院 校 实 施 混 合 所 有 制 办 学 的 实 践 与 探 索 ——— 以 浙 江 高 职 院 校 为 例 [J]．职 业 技 术 教 育 ,２０１７,(１１):１３Ｇ１６．
１ 信 道 容 量 最简单的 通 信 系 统 由 信 源、信 道 和 信 宿 组 成. 对
于信道来说,在信道固定的 前 提 下,传 输 的 信 息 量 当 然 是越多越 好,因 此 信 道 容 量 问 题 是 信 道 研 究 的 重 点. 信道容量是信 道 传 输 信 息 的 最 大 能 力,由 信 道 特 性 决 定.对于特 定 的 信 道,信 道 容 量 是 个 定 值. 根 据 平 均 互信息的凸 函 数 性,平 均 互 信 息 量I(x;y)是 输 入 信 源 概率分布 {p(ai),i＝１,２,������,n}的上凸函数,在固定信 道的的前提下,平均互信息 量 有 最 大 值,即 信 道 容 量 一 定存在.但是,在传输信息时,信 道 能 否 提 供 其 最 大 传
第三章离散信道及其信道容量
p(ym/x1)
p(ym/x2) … p(ym/xn)
第一节 信道的数学模型及分类 为了表述简便，可以写成 P(bj / ai ) pij
p11 p P 21 ... pr1 p12 ... p22 ... pr 2 ... p1s p2 s ... prs
i 1 r
P(aibj ) P(ai )P(bj / ai ) P(bj )P(ai / bj )
（3）后验概率
P(ai / b j )
P(aib j ) P(b j )
P(a / b ) 1
i 1 i j
r
表明输出端收到任一符号，必定是输入端某一符号 输入所致
第二节 平均互信息
第三节 平均互信息的特性
1、平均互信息的非负性 I(X;Y)>=0 该性质表明，通过一个信道总能传递一些信息，最 差的条件下，输入输出完全独立，不传递任何信息，互 信息等于0，但决不会失去已知的信息。
2、平均互信息的极值性
I(X;Y)<=H(X) 一般来说，信到疑义度总是大于0，所以互信息总是 小于信源的熵，只有当信道是无损信道时，信道疑义度 等于0，互信息等于信源的熵。
C max{I ( X , Y )} max{H ( X ) H ( X / Y )}
P( X ) P( X )
信道容量与与信源无关，它是信道的特征参数，反 应的是信道的最大的信息传输能力。 对于二元对称信道，由图可以看出信道容量等于 1-H(P)
第四节 信道容量及其一般计算方法
1、离散无噪信道的信道容量 （1）具有一一对应关系的无噪声信道 x1 x2 x3 I(X;Y)=H(X)=H(Y) y1 y2 y3
信息论基础——信道容量的计算
0
[P]=
0
1－p
1
0
2.2.二进删除
信道—M信道
X={0,1}; Y={0,2,1}
0
1-p p
p
0
2
1 1-p
1
2
1
p 0
p
1-p
C=1-p 最佳入口分布为等概分布
1
离散无记忆信道和信道容量
对称离散信道的信道容量
I(X;Y)=H(Y)-H(Y/X) 而
H (Y
/
X ) P(x) P( y / x) log
p(y) C t
15
信道容量的计算
③常见信道的信道容量C：
——无噪信道
I(X;Y) H(X )
C log || ||
16
11
移动通讯技术的分类 移动通信系统有多种分类方法。例如按信号性质分，可分为模拟、数
字；按调制方式分，可分为调频、调相、调幅；按多址连接方式分， 可分为 频分多址(FDMA)、时分多址(TDMA)、码分多址(CDMA)。 目前中国联通、中国移动所使用的GSM移动电话网采用的便是FDMA 和TDMA两种方式的结合。GSM比模拟移动电话有很大的优势，但是， 在频谱效率上仅是模拟系统的3倍，容量有限；在话音质量上也很难 达到有线电话水平；TDMA终端接入速率最高也只能达到9.6kbit/s； TDMA系统无软切换功能，因而容易掉话，影响服务质量。因此， TDMA并不是现代蜂窝移动通信的最佳无线接入，而CDMA多址技术 完全适合现代移动通信网所要求的大容量、高质量、综合业务、软切 换等，正受到越来越多的运营商和用户的青睐。
C log s H ( p1' , p2' ... ps' ) 3
信息论20153分析
3.1.1 熵速率与信道容量
这样，从数学模型化的角度看，熵速率就是平均交互信息量。熵速率既是 信源先验概率的函数，也是信道转移概率的函数。
为了专门描述某一个信道的统计特性对通信系统信息传输能力的影响，信 息论又定义了信道容量。
定义：信道容量是在给定信道条件下（即一定的信道转移概率），对于所有可能
R r I( X;Y ) r [H(X ) H(X /Y )] r [H(Y ) H(Y / X )]
在信息论中，定义熵速率及信道容量的目的是研究通信能力与信源和信道特性的关系，因此 参数r并没有多大理论意义，通常假定r=1，可表示为
R I (X ;Y ) [H(X ) H(X /Y )] [H(Y ) H(Y / X )]
第三章 信道容量与高斯信道
3.1 离散信道的信道容量 3.2 串联信道的交互信息量 3.3 连续信源的熵 3.4 连续信源的最大熵 3.5 连续有噪声信道的信道容量
1
3.1 离散信道的信道容量
2
3.1.1 熵速率与信道容量
单符号离散无记忆信源与离散无记忆信道构成的通信系统模型如图。信道 输入随机变量X，信道数出随机变量Y，描述信道特性的参数是信道转移概 率矩阵。
0 1
i 1
其可疑度
nm
H ( X / Y ) p( xi , y j ) log p( xi / y j ) 0 i1 j1
因此有I(X,Y)=H(X)=H(Y)
根据信道容量的定义有 C max{I(X;Y )} max{H(X )} logn
P( X )
P( X )
这类信道是最基本得无噪声信道，其信道容量就等于信源的最大熵，也等于信宿的最大熵。
n
p(xi ) 1
信息论基础——信道容量的计算
p p1 p 1
将p=3/5代入（2），得到信道容为:C=0.32bit/sym.
20
信道容量的计算
2 达到信道容量输入分布的充要条件
令
I (xi ;Y )
s j 1
p( y j
|
xi ) log
p( y j | xi ) p( yj )
def
D(Q( y |
x) ||
p( y))
定理4.2.2 一般离散信道的互信息I(X；Y)达到极大值
1 信道容量的计算原理
C是选择不同的输入概率分布p(x),在满足
∑p(x)=1条件下，求互信息的极大值：
I(X ;Y )
r i 1
s j 1
p(xi ) p( y j | xi ) log
p( y j | xi ) p(yj )
Lagrange乘子
法
17
信道容量的计算
例1、设某二进制数字传输系统接收判决器
6
数据可靠传输和信道编码
4.1 离散无记忆信道和信道容量 4.2 信道容量的计算
4.3 信道编码理论 4.4 带反馈的信道模型 4.5 联合信源-信道编码定理 4.6 线性分组码 习题四
7
8
接入信道容量的分析与寻呼信道不一样，寻呼信道用于前 向链路，容量的分析主要在于对寻呼信道占用率的计算， 而接入信道用于反向链路，对 CDMA 系统来说，反向链 路容量主要用于干扰的分析。即使采用时隙化的随机接入 协议，接入信道也可能有较高的通过量，大量的接入业务 会在反向链路中产生无法接受的干扰。如前所述，第一个 接入试探失败后，下一个接入试探将增加一定量的功率， 最终的结果将导致小区接收功率的增加以及反向链路容量 的减少。
信息论第三章
□ 当信道输入等概率分布（输出也是等概率分布时）。
1. 对称离散无记忆信道容量（DMC）
对称DMC信道定义 输入对称 如果转移概率矩阵P的每一行都是第一行的置 换(包含同样元素)，称该矩阵是输入对称 输出对称 如果转移概率矩阵P的每一列都是第一列的置 换(包含同样元素)，称该矩阵是输出对称 对称的DMC信道 如果输入、输出都对称，称之为对称信道。
max I ( X ; Y ) max I ( X i ; Yi )
i 1
max I ( X
i 1 P(Xi )
i
; Yi )
C
i 1
N
i
即：CN = N×C 。 它表示离散无记忆信道的N次扩展信道 的容量等于原单符号信道容量的N倍。 一般情况下，消息序列在离散无记忆的N次扩展信道中传 输的信息量：
i 1
离散无记忆信道的 N 次扩展信道
离散无记忆信道 ( DMC，Discrete Memoryless Channel) 的N次扩展，其传递概率满足：
P ( y | x ) P ( y1 y 2 ... y N | x1 x 2 ... x N ) P ( y j | x i )
i 1
3.6
3.7
复习1： 离散信道的数学模型
X X {x1 , x2 ,..., xr }
p 11 p 21 P : p r1 p 12 p 22 : pr2 ... ... : ...
信道
p( y j | xi )
p1s p2s : p rs
Y Y { y1 , y2 ,..., ys }
定义一：信道容量定义为信息传输率或平 均互信息的最大值。
离散信道及容量
平均信息量之和； H XY H X H Y
(b)一个符号不能提供有关另一符号的任何信息。
IX ;Y IY; X 0
HX ,Y 0
当两个信源相关时 (a)联合熵小于两个信源的熵的和:
H XY H X H Y
(b)平均互信息量等于两信源熵重合的部分； (c)信源的条件熵等于其熵减去平均互信息量：
3. 平均互信息的交换性（对称性）
I (X ;Y ) I (Y; X )
4. 平均互信息 I ( X ; Y ) 的凸状性
I ( X ;Y ) P(xy) log P( y | x)
X ,Y
P( y)
P(x)P( y | x) log X ,Y
P( y | x) P(x)P( y | x)
p0 / 0 0.99
0
0
p0 /1 0.01
p1/ 0 0.01
错误的概率为0.01。
1
1
即有
p1/1 0.99
p yi / xi p0/ 0 p1/1 0.99
p yj / xi p1/ 0 p0 /1 0.01 i j
转移矩阵
pY / X p y j / xi
满足其的充要条件是：
N
P(Y X ) p( y1y2...yN x1x2...xN ) p( yi xi ) i1
对任意的N值和x,y值上式都成立。
3.有干扰有记忆信道 信道中某一瞬间的输出符号不但与对应时刻的输入符号 有关，而且还与此前其它时刻信道的输入符号有关，则该信 道称有记忆信道。 此时 P(Y X ) 不满足：
p(xi ) p( y j
N
xi )
信息论与编码第4章习题解答
《信息论与编码》第四章习题解答4.1 计算如下所示离散无记忆信道的容量： 习题4.1图［解］ （a ）信道概率转移矩阵为−−−−=δεδεεδδε11P ， 信道是准对称信道，因此在输入为等概分布时达到信道容量，即5.0)1()0(====X P X P 时达到信道容量。
这时δ5.05.0)0(−==Y P δ==)1(Y Pδ5.05.0)2(−==Y P相应的信道容量为);1();0(Y X I Y X I C ====∑==2)()0|(log)0|(j j p j p j p 0111-ε1-δε δ 00 121-ε-δ εδδ 1-ε-δ1ε0 221 0.5 δ 110.250.25 0.50.50 2 21-ε ε ε 1-ε1ε 11-ε 0 0 223/41/4 111/3 1/31/3 1/43/40 2 311/3 211/31/3 1/31/31/3 1/3 1/31/3 (c)(a)(b) (e)(f)(d)δεεδδδδδεδε5.05.0log log 5.05.01log)1(−++−−−−−=)5.05.0log()1(log )1log()1(δδεεδεδε−−−+−−−−= （b ）信道概率转移矩阵为=5.05.0025.025.05.0001P当5.0)2()0(====X P X P ，0)(=X P 时，5.0)0(==Y P ，25.0)1(==Y P ，25.0)2(==Y P1)()0|(log )0|();0(2===∑=j j p j p j p Y X I bit∑===2)()2|(log)2|();2(j j p j p j p Y X I 125.05.0log 5.025.05.0log 5.0=+= bit10);1(≤==Y X I ； 所以满足定理4.2.2条件，由达到信道容量充要条件可知，信道容量C =1 bit/次（c ）信道转移概率矩阵为−−−=εεεεεε101001P ，信道是对称信道，当输入为均匀分布时，即31)2()1()0(======X P X P X P 时，达到信道容量。
通信原理第八章-离散信道及信道容量
信道，顾名思义就是信号的通道。图 8.1 中位于调制器和解调器之间的信道指用来传 输电信号的传输介质，如电缆，光缆，自由空间等，我们把这样的信道称为狭义信道。狭 义信道的输入为波形信号，输出为连续信号。还有一种定义即凡是信号经过的路径都称为 信道，这就是广义信道的概念。如图 8.1 所示，由调制器，信道和解调器构成了一个广义 编码信道。编码信道的输入和输出均为数字信号，因此，我们也将这类信道称为离散信道。
P(a������b������) = P(a������)������(b������|a������) = P(b������)P(a������|b������)
（8.5）
其中 ������(b������|a������)是信道传递概率，即发送为a������，通过信道传输接收到为b������的概率。通常称为前向
(������ = 1,2, … , ������ ������ = 1,2, … ������) （8.7）
8.2 平均互信息及平均条件互信息 在阐明了离散单符号信道的数学模型，即给出了信道输入与输出的统计依赖关
系以后，我们将深入研究在此信道中信息传输的问题。
8.2.1 损失熵和噪声熵
信道输入信号 x 的熵为
I(X, Y) = ������(������) − H(������|������)
（8.12）
I(X, Y)称为 X 和 Y 之间的平均互信息。它代表接收到输出符号后平均每个符号获得的关于 X
的信息量。根据式（8.8）和式（8.11）得
I(X; Y)
=
∑������,������
������(������������)
H (Y
X)
信息论基础离散无记忆信道信道容量
存储的最大信息量，即信息无差错传输的最大 速
率 ，就是信道容量问题.
12
第13页/共23页
信道容量
带宽 :信道可以不失真地传输信号的频率范围。为不同应用而设 计的
传输媒体所支持的带宽有所不同；在现代网络技术中， “带宽” 表示
信道的数据传输速率.
信道容量:信道在单位时间内可以传输的最大信号量，表示信道 的传
p
[P]=
1
p
1-p
p称为交叉 概率误差！
0
1-p 0
p
p
1
1-p
1
19
第20页/共23页
离散无记忆信道和信道容量
如果信道的输入概率分布X={w,1-w}，则
I (X ;Y ) H ( p p) H ( p)
由此可得
20
第21页/共23页
离散无记忆信道和信道容量
平均互信息对 即当
有极大值
I (X ;Y )
p(x, y) log p(x, y)
xX yY
p(x) p(y)
p(x) Q( y | x) log
xX
yY
Q(y | x) p(x)Q( y | x)
xX
15
第16页/共23页
离散无记忆信道和信道容量
通常，P(xi)称为信道的入口分布 P(yi)称为信道的出口分布 i(x;y)=logP(x,y)/P(x)P(y)为入口与
（1）有记忆信道
（2）无记忆信道
（任一时刻输出符号只统计依赖于对应时刻输入符 号的
信道）
7
第8页/共23页
离散无记忆信道
根据输入输出信号的特点，可分为
（1）离散信道
数字信道以数字 脉冲形式（离散 信号）传输数据
信息论——精选推荐
信息论信号论考试复习题⼀、填空题。
1. ⾹农信息论中定义的信息是“事物运动状态和存在⽅式不确定性的描述”。
2. 消息是信息的载体。
构成消息的两个条件是能被通信双⽅所理解和可以在通信中传递和交换。
3. 信源编码的作⽤是根据失真度准则对信源的输出消息进⾏编码，⽤码字表⽰消息。
4. 信息论研究的主要问题是如何提⾼信息传输系统的有效性和可靠性。
5. 如果信源输出的消息的随机变量，可以在某⼀离散集合内取值，也可以在某⼀连续区间内取值，相应的信源就分别称为和。
——[答案：1.连续信源离散信源]6. 当条件概率分布p （y ∣x ）给定时，平均互信息量I （X;Y ）是输⼊概率分布p(x)的。
——【上凸函数】7. ⼋进制脉冲的平均信息量为，⼋进制脉冲所含信息量是⼆进制脉冲信息量的倍。
——【3 3】8. 熵函数的数学特性有、、、确定性、可加性、极值性、上凸性。
——【对称性⾮负性扩展性】9. 平均互信息量I （X;Y ）与信源熵和条件熵之间的关系是。
【I （X;Y ）=H （X ）—H(X/Y)】 10. 设信源X 包含 4个不同的离散信息，当且仅当X 中各个信息出现的概率为时，信源熵达到最⼤值为，此时各个信息的⾃信息量为。
【1/4 2 2】 11. ⾃信息量表征信源中各个符号的不确定度，信源符号的概率越⼤，其⾃信息量越。
【⼩】 12. 信源的冗余度来⾃两个⽅⾯，⼀是信源符号之间的，⼆是信源符号分布的。
【相关性不均匀性】 13. 离散信道是输⼊和输出的随机变量的取值都是离散的信道。
14. 信道可依据输⼊输出的随机变量类型分成离散信道、连续信道、半离散或半连续信道。
15. 单符号离散信道的输⼊符号是X ，取之于｛a1、a2…… an ｝;输出符号为Y ,取值为｛b1、b2、……bn ｝，并有条件概率P(Y=bj/X=ai)=P(bj/ai)(i=1、2……m)，这⼀组条件概率称为信道的传递概率或转移概率。
离散信道及其信道容量
离散信道及其信道容量
例3
1 1 1 2 2 P( Y / X) 1 1 2 1 2
离散信道及其信道容量
2、互信息量
定义
信宿消息yj的自信息量I(yj)减去信道关于发出消息 xi和接收消息yj的条件信息量I(yj/xi)为信宿消息yj 所含信源消息xi的互信息量，用I(xi; yj)表示。
离散信道及其信道容量
信道对于信息率的容纳并不是无限制 的，它不仅与物理信道本身的特性有关 ，还与信道输入信号的统计特性有关， 它有一个极限值，即信道容量，信道容 量是有关信道的一个很重要的物理量。
离散信道及其信道容量
一般信道的定义及模型
信道是传输信息的媒质或通道。
影响信道传输的因素：噪声、干扰。 噪声、干扰：非函数表述、随机性、统计依赖。 信道的全部特性：输入信号、输出信号，以及它们之间 的依赖关系。 信道的一般数学模型：
P( y1 / x1 ) P( y 2 / x1 ) P( y / x ) P( y / x ) 1 2 2 2 P( Y / X) P( y1 / x n ) P( y 2 / 2 … xn
P(y1/x1) P(y2/x2) … P(ym/xn)
离散信道及其信道容量
信道容量：信息率能大到什么程度
(1)信道容量是信道信息率的上限，定量描述了信道（信息的）最 大通过能力； (2)使得给定信道的达到最大值（即信道容量）的输入分布，称为 最佳输入（概率）分布 (3)信道的I(x;y)与输入概率分布和转移概率分布两者有关，但信 道容量是信道的固有参数，只与信道转移概率有关。
X
P（Y/X） 一般信道的数学模型
Y
离散信道及其信道容量
信息论与编码第4章习题解答
P[ Z N
= 1|
X
= 0] =
P
Z
'
N
>
1 2
|
X
= 0
=
PZ 'N
−p
>
1 2
−
p|
X
=
0
≤
P|
Z
' N
−
p
|>
1 2
−
p|
X
=
0
≤
σ2 Z 'N |X =0
1 2
−
p 2
= p(1 − p) N (1 − p)2 2
当 p < 1 ，以及 N 充分大时 2
求该级联信道的容量 C N
，并证明
lim
N →∞
C
N
=0
X0
BSC X1
BSC X2 ……
BSC XN
习题 4.4（1）图 级联信道
（2）并联输入信道，把输入 X 并联接到各信道，输出是矢量，当 N → ∞ 时并联输
入信道容量趋于 1。
X
BSC Y1
BSC Y2
BSC YN
习题 4.4（2）图 并联输入信道
所以
C = 6 ⋅ 1 log 1/ 3 + 3 ⋅ 1 log 1/ 3 9 2/9 9 1/3
= 2 log 3 bit/次 32
（f）信道转移概率矩阵
P
=
1
− δ
ε
1
ε −
δ
利用方程求逆方法计算信道容量。设
p( X = 0) = q ， p( X = 1) = 1 − q ， 0 < q < 1
信道容量
一般离散无记忆信道的信道容量
8. 一般离散无记忆信道 (DMC)离散无记忆信道的信道容量定理 对前向转移概率矩阵为Q 的离散无记忆信道，其输入字母的概率分布 能使互信息 取最大值的充要条件是：其中是输入符号传送的平均互信息，C 就是这个信道的信道容量。
1(|)(;)(|)log()J j k k j k j j q b a I x a Y q b a p b ===∑**(;)|,*()0;(;)|,*()0;k p p k k p p k I x a Y C p a I x a Y C p a ====>=≤=当当*p k a ),(Q p I信道容量的迭代算法 Blahut-Arimoto 算法[]IFEND P P Q M j for xp f p ELSESTOPI C THEN I I IF f I x I P F x M j for q p p f CC Y Y j j j LC L U j j U L Ck k j k j k j ⋅=-===<-==⋅=-∈⎪⎭⎪⎬⎫⎪⎩⎪⎨⎧⎥⎦⎤⎢⎣⎡⎪⎪⎭⎫ ⎝⎛=∑|22||1,0/)())(max (log )(log 1,0ln exp ε设输入符号集合X ， 输出符号集合Y ，P Y|X 为给定信道的前向概率传递矩阵。
r=M, s=N, 令F=[f 0 , f 1 , …, f M-1]。
设ε是一个给定的小的正数。
令，输入符号等概率分布]1,1,0[],1,1,0[-∈-∈N k M j X X Y Y j P P Q M p |,1==输出符号概率分布9. 组合信道1) 级联信道(;)(;)I X Y I X Z ≥(;)(;)and I Y Z I X Z ≥121NN k k Q Q Q Q Q ===∏ 系统的前向概率传递矩阵为：例题. 两个错误概率为p 的BSC 信道级联，求信道容量。
121NN k k Q Q Q Q Q ===∏ ⎥⎥⎦⎤⎢⎢⎣⎡++=⎥⎦⎤⎢⎣⎡⎥⎦⎤⎢⎣⎡==22222122p p p p p p p p p p p p p p p p Q Q Q ))1(2(1p p H C --=解：12121(|)(|)NN N i i i p y y y x x x p y x ==∏ 1Ni i C C ==∑2) 并联信道1：并用信道21log 2iN C i C ==∑()()2i C C i p C -=the probability of each sub-channel in use:3) 并联信道2：和信道。
对香农三大定理的分析与探讨
对香农三大定理的分析与探讨摘要本文针对香农三大定理的内容，进行理论分析，探讨了无失真信源编码、有噪信道编码和保真度准则下的信源编码定理。
通过对离散信源熵的分析，延伸到了对扩展信源的理解，同时结合著名的香农公式和信息论与编码的发展史，指出了香农三大定理的意义。
一、香农第一定理香农第一定理主要研究信息的测度，对应的是无失真信源编码定理。
采用无失真最佳信源编码，可以使得用于每个信源符号的编码位数尽可能地小，但它的极限是原始信源的熵值，超过了这一极限就不可能实现无失真的译码。
1.1 离散信源熵1.1.1 信源的概念信源发出消息，消息载荷信息，而消息又具有不确定性，故而可以用随机变量或随机矢量来描述信源输出的消息。
从随机变量出发来研究信息，这正是香农信息论的基本假说。
而离散信源指的是这类信源输出的消息常以一个符号、一个符号的形式出现，这些符号的取值是有限的或者是可数的。
单符号离散信源只涉及一个随机事件，多符号离散信源则涉及多个随机事件。
1.1.2 信源熵的概念及其性质在度量信息的各种方法中，香农提出了解决信息度量问题的方法——熵，这是香农信息论最基本的，也是最重要的概念[1]。
信源熵，即信源的信息熵，又称香农熵、无条件熵，简称熵。
信源各个离散消息的自信息量的数学期望是信源的平均信息量，实质上是无记忆信源平均不确定度的度量。
信源熵表示在信源输出消息前，信源的平均不确定度，也表示在信源输出消息后，平均每个离散消息所提供的信息量，能够反映变量的随机性。
当消息出现的概率相同时，猜测每一个消息发生错误的概率均相同，说明等概率信源的不确定性最大，具有最大熵[2]。
1.2 无失真离散信源编码1.2.1 信源编码的概念信源编码处于通信系统的前端，直接对信源发出的信号进行变换处理。
通过压缩每个信源符号的平均比特数或信源的码率，以较少的码率来传送同样多的信息，增加单位时间内传送的平均信息量，来压缩信源的冗余度，从而提高通信的有效性。
失真度和平均失真度
R(D)（比特/信源符号），每秒钟输出 1/ Ts 个信源符 号，离散无记忆信道的信道容量C（比特/信源符
号），每秒输出1/ TC 个信源符号，若满足
C > R(D)
TC
TS
则信源输出的信源序列能在此信道输出端重现，其失 真小于等于D。
7.6 有失真信源编码定理的实用意义
举例：某二元无记忆信源
⎡ ⎢⎣
TC
TS
则信源输出的信源序列不能在此信道输出端以其失真小 于等于D重现。
u1 = 000 ⎫
u2 u3
= =
001⎪⎪ 010⎬⎪
→
v1
=
000
→
0
u4 = 100⎪⎭
u5 = 111⎫
u6 u7
= =
110⎪⎪ 101⎬⎪
→
v2
=
111
→
1
u8 = 011⎪⎭
无噪无损 信道传输
0 → 000 1 → 111
38
4
信息率为1/3，而平均失真为1/4，根据香农第三定 理，若允许失真D=1/4时，总可以找到一种编码， 使信息输出率达到极限R(1/4)
R( 1) = 1 − H ( 1 ) ≈ 0.189
4
4
香农第三定理是一个存在定理，至于如何寻找这种最佳 编码方法并没有给出，在实际应用中，存在一下两方面 的问题：
R(D) = min{I (U;V )} BD
改变试验信道求平均互信息的最小值，实质上是选 择一种编码方式使信息传输率为最小。
7.2.2 信息率失真函数的性质
1. R(D)的定义域是 (0, Dmax )
① D m in 和 R(Dmin )
允许失真度D的最小值为0，即不允许有失真，这要求 失真矩阵中每行至少有一个为0。(教材p281)
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
例 二元删除信道容量
解：它为准对称信道， 达到C的分布为等概分布，即
Q0 Q1 1/ 2
w0
1 2
(1
p
q)
1 2
p
1 2
(1
q)
w1
w2
1 2
q
1 2
q
q
IX 0;Y IX 1;Y
(1 p q) log (1 p q) q log q p log p
1 (1 q)
p
q)
2 log(1
p
q)
p
log
p
(1
q)
2 log
1
q
2
BSC(q=0) C=1-H(p) 纯删除信道(p=0) C=1-q
例 模K加性噪声信道
DMC的输入为X，X的所有事件为{0, 1, …, K-1}；
DMC的噪声为Z，Z的所有事件为{0, 1, …, K-1}； DMC的输出为Y，Y的所有事件为{0, 1, …, K-1}； X与Z相互独立；Y=X+Z(modK)。
若阵记为P(Z=z)=sz，则转移概率矩
sK
1
sK2
s1
s0 sK 1
s2
显然，模K加性噪声信道是对称DMC，则信道容量为
s2 s1 s0
s3
sK 1
sK
2
sK 3
s0
K 1
C log K sk log sk log K H (Z ) k 0
可逆矩阵信道容量
假定所有输入字母的概率
求信道容量C
输入 x X Q(x)
+ 输出 y x z Y w( y)
干扰
zZ p(z)
例 模K加性信道容量
p(y|x)=P(Y=y|X=x)
=P(X+Z(modK)=y|X=x)
s0 s1
=P(x+Z(modK)=y|X=x) =P(Z=y-x(modK)|X=x) =P(Z=y-x(modK))。
准对称信道容量计算公式
准对称DMC信道
J 1
p( j k) J 1
p( j k)
C I (x k;Y ) p( j k) log j0
wj
j0
p( j k) log
1
K 1
p( j i)
K i0
对称DMC信道
J 1
C log J p( j k) log p( j k) j0
例 KSC信道容量
Qi
jk p(
) j
i)
i
p( j k)
Review
准对称信道的容量
定理3 对于准对称DMC信道 （1）达到信道容量的最最佳佳输输入入分布分为布等为概分等布概分布；
（2）信道容量为
C
J 1 j0
p(
j
|
k) log
p( K 1 1
j | k) p( j |
i)
i0 K
I ( X k;Y )；k
Qk ，则
wj Qk p( j k) j 0,1, , J 1
由
k
I (x k;Y )
p( j k)
p( j k) log
C
k 0,1, , K 1
可得
j
wj
p( j k)log p( j k) p( j k)log wj C
j
j
即
p( j k)log p( j k) p( j k)[C log wj ]
信道容量
C max{I ( X ,Y )}
Qk
Review
达到C充要条件
输入概率矢量 Q Q0, Q1, , QK 达到转移概率为
的DMC的容量C的充要条件为
其中，
I (x k;Y ) C k,Qk 0 I (x k;Y ) C k,Qk 0
I
(
x
k
;
Y
)
j
p(
j
k
)
log
p(
例 KSC信道
1
p
p
P K 1
p K 1
p K 1
p K 1
p K 1
p K 1
1 p
其中0<p<1。 称p为错误概率。 特别当K=2时，记为BSC
P
1
p
p
p 1 p
例 KSC信道容量
J 1
C log J p( j k) log p( j k)
j0
对称信道 最佳输入分布为等概分布 当输入等概时，输出分布 也为等概
1
p
p
P K 1
p
信道容量
K 1
p K 1
p K 1
C log K (1 p) log(1 p) (K 1) p log p (K 1) (K 1)
p K 1
p K 1
1 p
log K p log(K 1) H ( p)
当K 2时：C 1 H ( p)
例 二元删除信道容量
Review
信道容量
I(X ;Y)
X ak p( j k) Y bj
x1,x2, ,xN
pN (y | x)
y1, y2, , yN
离散无记忆
pN (y | x) p( y1, y2 , , yN | x1, x2 , , xN ) p( y1 | x1) p( y2 | x2 ) p( yN | xN )
可逆矩阵信道容量
列方程组
p( j k) j p( j k) log p( j k) k 0,1, , K 1
j
j
计算信道容量
C log( 2 j )
验证
j
wj 2 j C
wj Qk p( j k)
k
可逆矩阵信道容量
特别注意
计算wj 计算Qk 验证
Qk 0 对上面得到的解进行验证。
j
j
j
可逆矩阵信道容量
令 jj C log w jj ，得
p( j k) j p( j k) log p( j k) k 0,1, , K 1
j
j
可以看成是有J个未知数 有唯一解。
的线性方j 程组。由假设P是非奇异矩阵，故必
令 j 是其解，由上假设
wj 2 j C 2C2 j
wj 2 j C
求解方程组 wj Qk p( j k )
k
若 Qk 即0所得到的解是正确的
否则满足条件的最大值在边界上，于是
令某个 Qk 为0， 再次进行试解。 特别 J K 多解
有时要令多个
Qk 为0，进行试解
例：二元删除信道
输入事件集为{0,1}；输出事 件集为{0,2,1}；转移概率矩阵 为
0 21
P 0 1 p q q p
1
p
q 1 p q
当q=0时，简化为BSC。 当p=0时，简化为纯删除信道。 达到信道容量时的最佳输入分 布为等概分布。 信道容量是转移概率矩阵任何 一行所对应的半平均互信息量。
又 wj 1，可得
j
C log( 2 j )
j
可逆矩阵信道容量
特别注意
计算wj 计算Qk 验证
Qk 0 对上面得到的解进行验证。
wj 2 j C
求解方程组 wj Qk p( j k )
k
若 Qk 即0所得到的解是正确的
否则满足条件的最大值在边界上，于是
令某个 Qk 为0， 再次进行试解。