离散信道容量
合集下载
第三章离散信道及其信道容量
0
0 1
不是一一对应,无扰有信息损失
1
(2)有扰信道 例3:
a1
0.9
X
0.1
a2
0.2 0.8
b1
Y
b2
0.9 0.1 [P] 0.2 0.8 有扰有信息损失,干扰严重
例4:
a1
X
a2
1/2 1/2 1/2 1/2
b1
Y
b2
1/ 2 1 / 2 [P] 1/ 2 1 / 2
P yi xi P xi yi
即E{log x} ≤log{E(X)}
即E{log x} ≤log{E(X)}
I(X
;Y
)
X
Y
P(x,
y)
log
P( x)P( y) P(x, y)
log
XY
P(x,
y)
P( x)P( y) P(x, y)
log1
0
∴ I(X;Y) ≥ 0
∵ logx为∩ 型凸函数,只有当且仅当 p(x.y)=P(x)P(y),即x和Y统计独立时I(X;Y)=0
根据输入和输出信号的特点，信道可以分为： (1)离散信道。指输入和输出的随机变量的取值都 有是离散的信道。 (2)连续信道。指输入和输出的随机变量的取值都 是连续的信道。 (3)半离散半连续信道。输入变量是离散型的但相 应的输出变量是连续的信道，或者相反。 (4)波形信道。信道的输入和输出都是一些时间上 连续的随机信号。即信道输入和输出的随机变量的 取值是连续的，并且还随时间连续变化。一般用随 机过程来描述其输入和输出。
p( x1 ) 4
a2 1 4
a3 1 4
a4
1
4
1 P 1
5-2 离散信道的信道容量
第五讲 信道容量 第二节 离散信道的信道容量
1
离散信道的信道容量
一、离散信道容量的定义 二、信道模型 三、离散信道容量的表达式
2
离散信道的信道容量
一、离散信道容量的定义
定义1： C－ 每个符号能够传输的平均信息量最大值
定义2： Ct －单位时间（秒）内能够传输的平均信息量最大值
两者之间可以互换：已知信道每秒能够传输的符号数
i =1
j=1
i =1
n
∑ H ( x ) = − P ( x i ) log 2 P ( x i ) i=1
－每个发送符号xi的平均信息量，称为信源的熵
m
n
∑ ∑ H( x / y) = − P( y j ) P( xi / y j )log2 P( xi / y j )
j =1
i =1
－接收yj符号已知后，发送符号xi的平均信息量
0
P(0/0) = 127/128
0
发 送 端 P(0/1) = 1/128
接
收
P(1/0) = 1/128
端
P(1/1) = 127/128
1
1
对称道模型
离散信道的信道容量
信源的平均信息量（熵）
∑ H
(x)
=
−
n i=1
P ( x i ) log
2
P ( xi
)
=
−
⎡ ⎢⎣
1 2
log
2
1 2
离散信道的信道容量
③ 无噪声信道 信道模型
发 x1
送 端
x2
x。 3
。
P(xi) 。 xn
P(y1/x1) P(yn/xn)
1
离散信道的信道容量
一、离散信道容量的定义 二、信道模型 三、离散信道容量的表达式
2
离散信道的信道容量
一、离散信道容量的定义
定义1： C－ 每个符号能够传输的平均信息量最大值
定义2： Ct －单位时间（秒）内能够传输的平均信息量最大值
两者之间可以互换：已知信道每秒能够传输的符号数
i =1
j=1
i =1
n
∑ H ( x ) = − P ( x i ) log 2 P ( x i ) i=1
－每个发送符号xi的平均信息量，称为信源的熵
m
n
∑ ∑ H( x / y) = − P( y j ) P( xi / y j )log2 P( xi / y j )
j =1
i =1
－接收yj符号已知后，发送符号xi的平均信息量
0
P(0/0) = 127/128
0
发 送 端 P(0/1) = 1/128
接
收
P(1/0) = 1/128
端
P(1/1) = 127/128
1
1
对称道模型
离散信道的信道容量
信源的平均信息量（熵）
∑ H
(x)
=
−
n i=1
P ( x i ) log
2
P ( xi
)
=
−
⎡ ⎢⎣
1 2
log
2
1 2
离散信道的信道容量
③ 无噪声信道 信道模型
发 x1
送 端
x2
x。 3
。
P(xi) 。 xn
P(y1/x1) P(yn/xn)
离散信道信道容量的计算
输能力或者说能否达到信 道 容 量,取 决 于 两 点:信 源 离
散无记忆;信 源 的 输 入 概 率 分 布 是 使I(x;y)最 大 的 分 布.下面给出离散无记忆信道容量的定义:
C ＝ maxI(X;Y); p(ai)
∑∑ 其 中I(X;Y)＝
n i＝１
j＝m１p(ai)p(bj/ai)logpp(b(jb/ja)i)
工程管理与技术
离散信道信道容量的计算
余秀玲
(西南石油大学,四川 成都 ６１０５００)
摘 要:信道容量的计算是信道研究的核心,据 此 对 信 道 容 量 定 义 和 特 性 进 行 了 探 讨,并 研 究 了 三 种 特 殊 离 散信道的信道容量计算方法,有对称离散信道、强对 称 离 散 信 道 和 准 对 称 离 散 信 道,并 对 三 种 信 道 容 量 计 算 方 法 进行了区分与比较.最后介绍了一般离散信道的信道容量计算方法.
[５]严 新 乔 ．高 职 院 校 实 施 混 合 所 有 制 办 学 的 实 践 与 探 索 ——— 以 浙 江 高 职 院 校 为 例 [J]．职 业 技 术 教 育 ,２０１７,(１１):１３Ｇ１６．
１ 信 道 容 量 最简单的 通 信 系 统 由 信 源、信 道 和 信 宿 组 成. 对
于信道来说,在信道固定的 前 提 下,传 输 的 信 息 量 当 然 是越多越 好,因 此 信 道 容 量 问 题 是 信 道 研 究 的 重 点. 信道容量是信 道 传 输 信 息 的 最 大 能 力,由 信 道 特 性 决 定.对于特 定 的 信 道,信 道 容 量 是 个 定 值. 根 据 平 均 互信息的凸 函 数 性,平 均 互 信 息 量I(x;y)是 输 入 信 源 概率分布 {p(ai),i＝１,２,������,n}的上凸函数,在固定信 道的的前提下,平均互信息 量 有 最 大 值,即 信 道 容 量 一 定存在.但是,在传输信息时,信 道 能 否 提 供 其 最 大 传
信息论基础第3章离散信道及其信道容量
也就是说，通过信息处理后，一般只会增加信息的 损失，最多保持原来获得的信息，不可能比原来获得的 信息有所增加。一旦失掉了信息，用任何处理手段也不 可能再恢复丢失的信息，因此也称为信息不增性原理。
《信息论基础》
3.6 多符号离散信道及其信道容量
【例】求图所示的二元无记忆离散对称信道的二次 扩展信道的信道容量。
【例】 已知两个独立的随机变量 X、Y 的分布律如下。
X P(x)
a1 0.5
a2 0.5
,
Y P( y)
b1 0.25
b2 b3 0.25 0.5
计算 H X , H Y , H XY , H X |Y , H Y | X , I X ;Y 。
《信息论基础》
3.4 信道容量的定义
I (ai ) 减去已知事件 bj 后对 ai 仍然存在的不确定性 I (ai | bj ) ，实际就是事件
bj 出现给出关于事件 ai 的信息量。
【例】 甲在一个16 16 的方格棋盘上随意放一枚棋
子，在乙看来棋子放入哪一个位置是不确定的。如果甲 告知乙棋子放入棋盘的行号，这时乙获得了多少信息 量？
《信息论基础》
第3章 离散信道及其信道容量
通信系统的基本功能是实现信息的传递，信道是信息 传递的通道，是信号传输的媒质。一般而言，信源发出的 消息，必须以适合于信道传输的信号形式经过信道的传输， 才能被信宿接收。
从信源的角度看，信源发出的每个符号承载的平均信 息量由信源熵来定量描述；而从信宿的角度看，信宿收到 的每个符号平均能提供多少信息量由平均互信息来定量描 述。在信息论中，信道问题主要研究在什么条件下，信道 能够可靠传输的信息量最大，即信道容量问题。
《信息论基础》
3.7 信源与信道的匹配
《信息论基础》
3.6 多符号离散信道及其信道容量
【例】求图所示的二元无记忆离散对称信道的二次 扩展信道的信道容量。
【例】 已知两个独立的随机变量 X、Y 的分布律如下。
X P(x)
a1 0.5
a2 0.5
,
Y P( y)
b1 0.25
b2 b3 0.25 0.5
计算 H X , H Y , H XY , H X |Y , H Y | X , I X ;Y 。
《信息论基础》
3.4 信道容量的定义
I (ai ) 减去已知事件 bj 后对 ai 仍然存在的不确定性 I (ai | bj ) ，实际就是事件
bj 出现给出关于事件 ai 的信息量。
【例】 甲在一个16 16 的方格棋盘上随意放一枚棋
子，在乙看来棋子放入哪一个位置是不确定的。如果甲 告知乙棋子放入棋盘的行号，这时乙获得了多少信息 量？
《信息论基础》
第3章 离散信道及其信道容量
通信系统的基本功能是实现信息的传递，信道是信息 传递的通道，是信号传输的媒质。一般而言，信源发出的 消息，必须以适合于信道传输的信号形式经过信道的传输， 才能被信宿接收。
从信源的角度看，信源发出的每个符号承载的平均信 息量由信源熵来定量描述；而从信宿的角度看，信宿收到 的每个符号平均能提供多少信息量由平均互信息来定量描 述。在信息论中，信道问题主要研究在什么条件下，信道 能够可靠传输的信息量最大，即信道容量问题。
《信息论基础》
3.7 信源与信道的匹配
第三章离散信道及其信道容量
p(ym/x1)
p(ym/x2) … p(ym/xn)
第一节 信道的数学模型及分类 为了表述简便，可以写成 P(bj / ai ) pij
p11 p P 21 ... pr1 p12 ... p22 ... pr 2 ... p1s p2 s ... prs
i 1 r
P(aibj ) P(ai )P(bj / ai ) P(bj )P(ai / bj )
（3）后验概率
P(ai / b j )
P(aib j ) P(b j )
P(a / b ) 1
i 1 i j
r
表明输出端收到任一符号，必定是输入端某一符号 输入所致
第二节 平均互信息
第三节 平均互信息的特性
1、平均互信息的非负性 I(X;Y)>=0 该性质表明，通过一个信道总能传递一些信息，最 差的条件下，输入输出完全独立，不传递任何信息，互 信息等于0，但决不会失去已知的信息。
2、平均互信息的极值性
I(X;Y)<=H(X) 一般来说，信到疑义度总是大于0，所以互信息总是 小于信源的熵，只有当信道是无损信道时，信道疑义度 等于0，互信息等于信源的熵。
C max{I ( X , Y )} max{H ( X ) H ( X / Y )}
P( X ) P( X )
信道容量与与信源无关，它是信道的特征参数，反 应的是信道的最大的信息传输能力。 对于二元对称信道，由图可以看出信道容量等于 1-H(P)
第四节 信道容量及其一般计算方法
1、离散无噪信道的信道容量 （1）具有一一对应关系的无噪声信道 x1 x2 x3 I(X;Y)=H(X)=H(Y) y1 y2 y3
离散信道的信道容量
综合式(5-4)和(5-5)，在信源和信道都离散无记忆的情况下，
有CN = NC，即定理中等号成立，这时N长序列的传输问题可 归结为单符号传输问题。
5.2.1 达到信道容量的充要条件
定理5.2 使平均互信息量I（X; Y）达到信道容量C的
充要条件是信道输入概率分布
X q( X
)
x1 q( x1
1 3 1 3 1 3 1 3
1 2 1 6 2 6 3 6
1 6
1 18
1 9
1 6
6
满足 ( y j ) 1 j 1
再计算出：
I (x1;Y )
6 j 1
p( y j
x1) log
p( y j x1 )
(yj )
1 log 1 13
log3
I (x2 ;Y )
5.1 信道容量的定义
信息传输率是衡量通信质量的一个重要指标，定理
1.1知：对于固定信道，总存在某种输入概率分布q(x)，
使I（X; Y）达到最大值，定义这个最大值为信道容
量，记为C。
C max I (X ;Y ) （比特/码符号）
q(x)
（5-2）
使I（X; Y）达到信道容量的分布q (x)为最佳分布。
则信道容量
C = I (X; Y)︱a=0.5 = 1-q
3.信道转移概率矩阵为非奇异方阵
计算信道容量C按下面步骤进行： (1)先验证信道转移概率矩阵P =[p(yj︱xi)]是方阵，且矩阵P的行列 式︱[p(yj︱xi)]︱≠0；
(2)计算出逆矩阵P－１=[ p-1 (yj︱xk)]；
(3)根据式（5-17），计算出；
i 1
平均互信息量 I(X; Y) = H(Y) –H (Y︱X)
第三章 信道和信道容量
I（X；Y）：接收到Y前、后关于的平均不确定性 的消除 ；或发送X前、后关于Y的平
均不确定性的消除。
可见：熵只是平均不确定性的描述，而不确定性 的消除（两熵之差）才等于接收端所获得的信息 量。获得的信息量不能和不确定性混为一谈。
第三章 信道和信道容量
关于信道容量： 研究：信道中平均每个符号所能传送的信息量，
有损失，是无噪有损信 道，也称确定信道，即： 损失熵：H(X/Y) ≠ 0； 噪声熵：H(Y/X) ＝ 0， I(X;Y)＝H(Y)＝H(X)－H(X/Y) ＜H(X)
第三章 信道和信道容量
信道容量仍是最大熵问题（最大H(Y)）：
C＝max H(Y)＝log s bit/符号
P(X)
（设Y有s个符号）
不相交的子集mk，由mk组成的矩阵[P]k是对称矩阵 （具有可排列的性质），则称此信道为准对称信道， 其信道容量：
r为输入符号集个数 即信道矩阵行数 准对称信道中的 行元素 第k个子矩阵 中行元素之和
第k个子矩阵 中列元素之和
第三章 信道和信道容量
例3－1：二元对称删除 信道如图，计算信道容量。
例3－2：准对称信道的信道矩阵为： P(y/x)＝ 0.5 0.3 0.2 0.3 0.5 0.2 当输入概率分布为p(x1)＝ɑ，p(x2)＝1－ɑ
且：p＝0时，信道无干扰； P＝1/2时，信道干扰最为严重。
第三章 信道和信道容量
二、二元删除信道
难以区分原发送信号时，不硬性
判断0或1，而作删除处理。 删除信道中，p＝q时，则为 对称删除信道。 三、Z信道 信道特性：0错成1的概率为0， 1错成0有一定可能。
1
0 1 0
p
1－p
1
第三章 信道和信道容量
信道带宽与信道容量
C
B
log2
1
S N
bit / s
（2-6-2）
例2.2 设一幅图片约有个像素，每个像素以后2个以等概率出 现的亮电平。若要求用3分钟传输这张图片，并且信噪比等于 30dB，试求所需的信道带宽。
解：由于每个像素有12个等概率出现的亮度电平，所以每个 像素的信息量为 I p log 2 12 3.585 b
每幅图像的信息量为 If 2.5106 Ip 8.963106 b 信息传输速率，即信道容量为
C If t 8.963 10 6 (3 60) 4.98 10 4
信噪比为 S N 30 dB 1000 由于信道容量 C B log2(1 S N)
所以所需信道带宽为
B
C
4.98104 5 kHz
案例分析2
地震预警信息是由电脑自动发送，该预警信息可通过多种通 信手段进行传输发送，例如：网络微博发送，计算机、手机、 专用预警接收服务器、电视等实时同步发布，如图2.37所示。 由于地震预警系统传递信息时需要保证信息的可靠性，因此 可以通过多种通信手段保证信息的发布，所涉及到的信道方 式也可能有多种形式。
地震发生时，首先出现的是上下震动的P波，震动幅度较 小，要过大约10秒到1分钟时间，水平运动的S波才会到来， 造成严重破坏。地震预警就是利用地震发生后，P波与S波之 间的时间差。原理上，在距离震源50公里内的地区，会在地
案例分析2
地震前10秒收到预警信息；90-100公里内的地区，能提前 20多秒收到预警信息。根据数据准确估计震级、震中位置以 及快速估计地震对预警目标的影响等。例如：地震波从震中 传到北川县城大概需要25秒。如果您在发震5秒后感受到了地 震波，并花了15秒钟打电话告诉北川的朋友地震波即将来临， 那么您北川的朋友将会获得5秒的应急时间。
准对称离散信道的信道容量__概述及解释说明
准对称离散信道的信道容量概述及解释说明1. 引言1.1 概述在现代通信领域中，信息的传输是通过信道完成的。
而对于离散信道而言，其容量即为最大可达到的信息传输速率，对于设计和优化通信系统至关重要。
准对称离散信道是一类常见的离散信道模型，在实际应用中具有广泛的应用场景和重要意义。
1.2 文章结构本文将对准对称离散信道的信道容量进行全面探究与解释。
首先，在第2部分中，我们将介绍离散信道的定义和特性，并详细阐述了准对称信道的概念。
接下来，在第3部分中，我们将探讨计算准对称离散信道容量所用到的方法与技巧，并着重介绍了香农公式及其推导过程以及极大极小化与对偶性原理在计算中的应用。
然后，在第4部分中，我们将回顾以往研究成果并进行总结分析，同时探讨当前研究现状和存在问题，并展望未来研究方向和挑战。
最后，在第5部分中，我们将总结全文主要结论，并展望未来可能的研究方向。
1.3 目的本文的目的主要为探讨准对称离散信道的信道容量，并解释其在通信系统设计和优化中的重要性。
通过深入了解离散信道的定义和特性，以及准对称信道的概念，读者可以更加清晰地理解准对称离散信道相关概念和理论基础。
此外，本文还将介绍计算准对称离散信道容量所用到的方法与技巧，帮助读者更好地掌握相关计算技术，并总结过去研究成果并分析当前研究现状，以期激发未来进一步深入研究的兴趣和思路。
2. 准对称离散信道的信道容量：2.1 离散信道的定义和特性：离散信道是指在传输信息时，输入和输出都是离散的符号序列，并且中间有隐含的噪声干扰。
离散信道可以用条件概率分布表示，其中输入符号与输出符号之间存在一定的概率转移关系。
离散信道的特性包括：- 有限输入字母表：输入符号集合是一个有限集合。
- 有限输出字母表：输出符号集合也是一个有限集合。
- 条件概率分布：用于描述输入字母在给定条件下生成输出字母的概率分布。
- 恒等性：理想情况下，理想的离散信道应该满足恒等性，即输入与输出完全相同。
信息论基础——信道容量的计算
p
p p1 p 1
将p=3/5代入（2），得到信道容为:C=0.32bit/sym.
20
信道容量的计算
2 达到信道容量输入分布的充要条件
令
I (xi ;Y )
s j 1
p( y j
|
xi ) log
p( y j | xi ) p( yj )
def
D(Q( y |
x) ||
p( y))
定理4.2.2 一般离散信道的互信息I(X；Y)达到极大值
1 信道容量的计算原理
C是选择不同的输入概率分布p(x),在满足
∑p(x)=1条件下，求互信息的极大值：
I(X ;Y )
r i 1
s j 1
p(xi ) p( y j | xi ) log
p( y j | xi ) p(yj )
Lagrange乘子
法
17
信道容量的计算
例1、设某二进制数字传输系统接收判决器
6
数据可靠传输和信道编码
4.1 离散无记忆信道和信道容量 4.2 信道容量的计算
4.3 信道编码理论 4.4 带反馈的信道模型 4.5 联合信源-信道编码定理 4.6 线性分组码 习题四
7
8
接入信道容量的分析与寻呼信道不一样，寻呼信道用于前 向链路，容量的分析主要在于对寻呼信道占用率的计算， 而接入信道用于反向链路，对 CDMA 系统来说，反向链 路容量主要用于干扰的分析。即使采用时隙化的随机接入 协议，接入信道也可能有较高的通过量，大量的接入业务 会在反向链路中产生无法接受的干扰。如前所述，第一个 接入试探失败后，下一个接入试探将增加一定量的功率， 最终的结果将导致小区接收功率的增加以及反向链路容量 的减少。
p p1 p 1
将p=3/5代入（2），得到信道容为:C=0.32bit/sym.
20
信道容量的计算
2 达到信道容量输入分布的充要条件
令
I (xi ;Y )
s j 1
p( y j
|
xi ) log
p( y j | xi ) p( yj )
def
D(Q( y |
x) ||
p( y))
定理4.2.2 一般离散信道的互信息I(X；Y)达到极大值
1 信道容量的计算原理
C是选择不同的输入概率分布p(x),在满足
∑p(x)=1条件下，求互信息的极大值：
I(X ;Y )
r i 1
s j 1
p(xi ) p( y j | xi ) log
p( y j | xi ) p(yj )
Lagrange乘子
法
17
信道容量的计算
例1、设某二进制数字传输系统接收判决器
6
数据可靠传输和信道编码
4.1 离散无记忆信道和信道容量 4.2 信道容量的计算
4.3 信道编码理论 4.4 带反馈的信道模型 4.5 联合信源-信道编码定理 4.6 线性分组码 习题四
7
8
接入信道容量的分析与寻呼信道不一样，寻呼信道用于前 向链路，容量的分析主要在于对寻呼信道占用率的计算， 而接入信道用于反向链路，对 CDMA 系统来说，反向链 路容量主要用于干扰的分析。即使采用时隙化的随机接入 协议，接入信道也可能有较高的通过量，大量的接入业务 会在反向链路中产生无法接受的干扰。如前所述，第一个 接入试探失败后，下一个接入试探将增加一定量的功率， 最终的结果将导致小区接收功率的增加以及反向链路容量 的减少。
信道容量的计算
可见，此假设分布满足定理，因此，信道容量
（bit/符号）
最佳分布是
若设输入分布为 。同理可得 ，根据定理有
从而，输入分布 也是最佳分布，可见，信道最佳输入分布不是唯一的。
对于一般的离散信道，我们很难利用特殊计算方法，因此只能采用解方程组式（）的方法。
我们将（）式的前r个方程组改写成
移项后得
令 ，代入上式得
化为矩阵形式为
这是含有 个未知数 个方程的非齐次线性方程组。
如果设 ，信道矩阵 为非奇异矩阵，则此方程组有解，并且可以求出 的数值，然后根据 求得信道容量
（bit/符号）
由这个 值可解得对应的输出概论分布 。
再根据 即可解出达到信道容量的最佳输入分布 。
下面给出一例。
例设离散无记忆信道输入 的符号集为 ，输出 的符号集为 ，如图所示。其信道矩阵为
上式只与対称信道矩阵中行矢量 和输出符号集的个数s有关。
证明
而
由于信道的对称性，所以 与 无关，为一常熟，即
接着举一个例子加以说明。
例某对称离散信倒的信道矩阵为
用公式计算信道容量
（bit/符号）
定义若信道矩阵Q的列可以划分成若干互不相交的子集矩阵 ，即 且 。由 为列组成的矩阵 是对称矩阵，则称信道矩阵Q所对应的信道为准对称信道。
如果信道的噪声熵 ，则此信道容量为
（bit/符号）
这里输出信源符Y的符号个数为s.
定义一个信道Q称为对称离散信道，如果它满足下面的性质：
（1）信道Q矩阵中每一行是另一行的置换；
（2）每一列式另一列的置称离散信道。
定义对称离散信道的信道容量为
（bit/符号）
只有当输入符号 互相独立，且输入符号 的概率分布达到各子信道容量的概率分布时，独立并联信道的信道容量才等于各信道容量之和，即
（bit/符号）
最佳分布是
若设输入分布为 。同理可得 ，根据定理有
从而，输入分布 也是最佳分布，可见，信道最佳输入分布不是唯一的。
对于一般的离散信道，我们很难利用特殊计算方法，因此只能采用解方程组式（）的方法。
我们将（）式的前r个方程组改写成
移项后得
令 ，代入上式得
化为矩阵形式为
这是含有 个未知数 个方程的非齐次线性方程组。
如果设 ，信道矩阵 为非奇异矩阵，则此方程组有解，并且可以求出 的数值，然后根据 求得信道容量
（bit/符号）
由这个 值可解得对应的输出概论分布 。
再根据 即可解出达到信道容量的最佳输入分布 。
下面给出一例。
例设离散无记忆信道输入 的符号集为 ，输出 的符号集为 ，如图所示。其信道矩阵为
上式只与対称信道矩阵中行矢量 和输出符号集的个数s有关。
证明
而
由于信道的对称性，所以 与 无关，为一常熟，即
接着举一个例子加以说明。
例某对称离散信倒的信道矩阵为
用公式计算信道容量
（bit/符号）
定义若信道矩阵Q的列可以划分成若干互不相交的子集矩阵 ，即 且 。由 为列组成的矩阵 是对称矩阵，则称信道矩阵Q所对应的信道为准对称信道。
如果信道的噪声熵 ，则此信道容量为
（bit/符号）
这里输出信源符Y的符号个数为s.
定义一个信道Q称为对称离散信道，如果它满足下面的性质：
（1）信道Q矩阵中每一行是另一行的置换；
（2）每一列式另一列的置称离散信道。
定义对称离散信道的信道容量为
（bit/符号）
只有当输入符号 互相独立，且输入符号 的概率分布达到各子信道容量的概率分布时，独立并联信道的信道容量才等于各信道容量之和，即
信道及信道容量
P 1
信道1 p( j | k )
P2
信道2 P p( j | k )
若信道1和信道2级联，则要求信道1的输出集和信道2的输入集 相同。给定信道1和信道2的转移概率 p( j | k ) 和 p( j | k ) ， 则 级联信道的转移概率为 p ( j | k ) j p( j | k ) p( j | k j ) 这样就得到了一个新的离散信道，输入集为 X1 ，输出集为 Y2 ， 转移概率矩阵为 {P( j | k )}。
信息工程学院通信工程系
3.2 离散信道及数学模型
多符号离散信道数学模型 X=X1X2… Xk ….XN
P(Y|X)
Y=Y1Y2…Yk ….YN
{p(yj|xi)}
Xk取值: {x1, x2, …, xn}， 则X共有nN 种 i , i=1～nN Yk取值: {y1, y2, …, ym}， 则Y共有mN种 j , j=1～mN
在物理信道一定的情况下，总是希望传输的信息越 多越好。这不仅仅与物理信道本身特性有关，还与载荷
信息的信号形式和信源输出信号的统计特性有关。
本章讨论“什么条件下，通过信道的信息量最大”。
信息工程学院通信工程系
3.1 信道分类和描述
信道分类
1、根据信道两端输入和输出集合的个数，分为： 两端信道(单用户信道)--输入、输出均只有一个 多端信道(多用户信道)--输入、输出有多个 2、根据输入、输出随机变量的个数，分为： 单符号信道--输入、输出用随机变量表示 多符号信道--输入、输出用随机矢量表示 3、根据信道上有无噪声(干扰)，分为： 有噪(扰)信道 无噪(扰)信道
[ （1） 信道输入统计概率空间：X , p( X )] [ （2） 信道输出统计概率空间：Y , p (Y )] （3） 信道的统计特性，即信道转移概率矩阵：p( y | x)
信道1 p( j | k )
P2
信道2 P p( j | k )
若信道1和信道2级联，则要求信道1的输出集和信道2的输入集 相同。给定信道1和信道2的转移概率 p( j | k ) 和 p( j | k ) ， 则 级联信道的转移概率为 p ( j | k ) j p( j | k ) p( j | k j ) 这样就得到了一个新的离散信道，输入集为 X1 ，输出集为 Y2 ， 转移概率矩阵为 {P( j | k )}。
信息工程学院通信工程系
3.2 离散信道及数学模型
多符号离散信道数学模型 X=X1X2… Xk ….XN
P(Y|X)
Y=Y1Y2…Yk ….YN
{p(yj|xi)}
Xk取值: {x1, x2, …, xn}， 则X共有nN 种 i , i=1～nN Yk取值: {y1, y2, …, ym}， 则Y共有mN种 j , j=1～mN
在物理信道一定的情况下，总是希望传输的信息越 多越好。这不仅仅与物理信道本身特性有关，还与载荷
信息的信号形式和信源输出信号的统计特性有关。
本章讨论“什么条件下，通过信道的信息量最大”。
信息工程学院通信工程系
3.1 信道分类和描述
信道分类
1、根据信道两端输入和输出集合的个数，分为： 两端信道(单用户信道)--输入、输出均只有一个 多端信道(多用户信道)--输入、输出有多个 2、根据输入、输出随机变量的个数，分为： 单符号信道--输入、输出用随机变量表示 多符号信道--输入、输出用随机矢量表示 3、根据信道上有无噪声(干扰)，分为： 有噪(扰)信道 无噪(扰)信道
[ （1） 信道输入统计概率空间：X , p( X )] [ （2） 信道输出统计概率空间：Y , p (Y )] （3） 信道的统计特性，即信道转移概率矩阵：p( y | x)
通信原理第八章-离散信道及信道容量
第八章 离散信道及信道容量
信道，顾名思义就是信号的通道。图 8.1 中位于调制器和解调器之间的信道指用来传 输电信号的传输介质，如电缆，光缆，自由空间等，我们把这样的信道称为狭义信道。狭 义信道的输入为波形信号，输出为连续信号。还有一种定义即凡是信号经过的路径都称为 信道，这就是广义信道的概念。如图 8.1 所示，由调制器，信道和解调器构成了一个广义 编码信道。编码信道的输入和输出均为数字信号，因此，我们也将这类信道称为离散信道。
P(a������b������) = P(a������)������(b������|a������) = P(b������)P(a������|b������)
（8.5）
其中 ������(b������|a������)是信道传递概率，即发送为a������，通过信道传输接收到为b������的概率。通常称为前向
(������ = 1,2, … , ������ ������ = 1,2, … ������) （8.7）
8.2 平均互信息及平均条件互信息 在阐明了离散单符号信道的数学模型，即给出了信道输入与输出的统计依赖关
系以后，我们将深入研究在此信道中信息传输的问题。
8.2.1 损失熵和噪声熵
信道输入信号 x 的熵为
I(X, Y) = ������(������) − H(������|������)
（8.12）
I(X, Y)称为 X 和 Y 之间的平均互信息。它代表接收到输出符号后平均每个符号获得的关于 X
的信息量。根据式（8.8）和式（8.11）得
I(X; Y)
=
∑������,������
������(������������)
H (Y
X)
信道，顾名思义就是信号的通道。图 8.1 中位于调制器和解调器之间的信道指用来传 输电信号的传输介质，如电缆，光缆，自由空间等，我们把这样的信道称为狭义信道。狭 义信道的输入为波形信号，输出为连续信号。还有一种定义即凡是信号经过的路径都称为 信道，这就是广义信道的概念。如图 8.1 所示，由调制器，信道和解调器构成了一个广义 编码信道。编码信道的输入和输出均为数字信号，因此，我们也将这类信道称为离散信道。
P(a������b������) = P(a������)������(b������|a������) = P(b������)P(a������|b������)
（8.5）
其中 ������(b������|a������)是信道传递概率，即发送为a������，通过信道传输接收到为b������的概率。通常称为前向
(������ = 1,2, … , ������ ������ = 1,2, … ������) （8.7）
8.2 平均互信息及平均条件互信息 在阐明了离散单符号信道的数学模型，即给出了信道输入与输出的统计依赖关
系以后，我们将深入研究在此信道中信息传输的问题。
8.2.1 损失熵和噪声熵
信道输入信号 x 的熵为
I(X, Y) = ������(������) − H(������|������)
（8.12）
I(X, Y)称为 X 和 Y 之间的平均互信息。它代表接收到输出符号后平均每个符号获得的关于 X
的信息量。根据式（8.8）和式（8.11）得
I(X; Y)
=
∑������,������
������(������������)
H (Y
X)
信息论基础离散无记忆信道信道容量
存储的最大信息量，即信息无差错传输的最大 速
率 ，就是信道容量问题.
12
第13页/共23页
信道容量
带宽 :信道可以不失真地传输信号的频率范围。为不同应用而设 计的
传输媒体所支持的带宽有所不同；在现代网络技术中， “带宽” 表示
信道的数据传输速率.
信道容量:信道在单位时间内可以传输的最大信号量，表示信道 的传
p
[P]=
1
p
1-p
p称为交叉 概率误差！
0
1-p 0
p
p
1
1-p
1
19
第20页/共23页
离散无记忆信道和信道容量
如果信道的输入概率分布X={w,1-w}，则
I (X ;Y ) H ( p p) H ( p)
由此可得
20
第21页/共23页
离散无记忆信道和信道容量
平均互信息对 即当
有极大值
I (X ;Y )
p(x, y) log p(x, y)
xX yY
p(x) p(y)
p(x) Q( y | x) log
xX
yY
Q(y | x) p(x)Q( y | x)
xX
15
第16页/共23页
离散无记忆信道和信道容量
通常，P(xi)称为信道的入口分布 P(yi)称为信道的出口分布 i(x;y)=logP(x,y)/P(x)P(y)为入口与
（1）有记忆信道
（2）无记忆信道
（任一时刻输出符号只统计依赖于对应时刻输入符 号的
信道）
7
第8页/共23页
离散无记忆信道
根据输入输出信号的特点，可分为
（1）离散信道
数字信道以数字 脉冲形式（离散 信号）传输数据
第5章 离散信道的信道容量
N N p( x ) i 1 i 1 p( x )
i
i 1
C N NC
华北电力大学电子与通信工程系
7
第五章
离散信道的信道容量
主讲：尼俊红
（1）若输入的N个符号统计独立，即信源离散无记忆,根据[定理2.3]有：
I ( X ; Y ) I ( X i ;Y j )
N N i 1
N
（信源无记忆，则信道输入、输出符号序列间的平均互信息量I （XN；YN）大于等于各单个符号间平均互信息量的总和 ） （2）对每个i，输入分布p (xi) 可使I (Xi; Yj) 达到信道容量C，则：
j 1
6
1 1/ 2 1 1/ 2 log log log 3 2 1/ 6 2 1/ 3
I ( x3 ; Y ) p( y j / x3 ) log
j 1
6
p( y j / x3 ) p( y j )
1 1/ 6 2 2/6 3 3/ 6 log log log log 3 6 1/18 6 1/ 9 6 1/ 6
i 1
3
0 0 0 0 1 0 P 0 1 / 2 1 / 2 0 0 0 0 0 0 1 / 6 2 / 6 3 / 6
先根据计算出p(yj)（j =1，2，3，4，5，6）
1 1 p( y1 ) p( xi ) p( y1 / xi ) 1 i 1 3 3 3 1 1 1 p( y2 ) p( x i ) p( y 2 / x i ) i 1 3 2 6 3 1 1 1 p( y3 ) p( xi ) p( y3 / xi ) i 1 3 2 6 6 p( y j ) 1 3 1 1 1 j 1 p( y4 ) p( x i ) p( y4 / x i ) i 1 3 6 18 3 1 2 1 p( y5 ) p( xi ) p( y5 / xi ) i 1 3 6 9 3 1 3 1 p ( y6 ) p ( x i ) p ( y 6 / x i ) i 1 3 6 6
i
i 1
C N NC
华北电力大学电子与通信工程系
7
第五章
离散信道的信道容量
主讲：尼俊红
（1）若输入的N个符号统计独立，即信源离散无记忆,根据[定理2.3]有：
I ( X ; Y ) I ( X i ;Y j )
N N i 1
N
（信源无记忆，则信道输入、输出符号序列间的平均互信息量I （XN；YN）大于等于各单个符号间平均互信息量的总和 ） （2）对每个i，输入分布p (xi) 可使I (Xi; Yj) 达到信道容量C，则：
j 1
6
1 1/ 2 1 1/ 2 log log log 3 2 1/ 6 2 1/ 3
I ( x3 ; Y ) p( y j / x3 ) log
j 1
6
p( y j / x3 ) p( y j )
1 1/ 6 2 2/6 3 3/ 6 log log log log 3 6 1/18 6 1/ 9 6 1/ 6
i 1
3
0 0 0 0 1 0 P 0 1 / 2 1 / 2 0 0 0 0 0 0 1 / 6 2 / 6 3 / 6
先根据计算出p(yj)（j =1，2，3，4，5，6）
1 1 p( y1 ) p( xi ) p( y1 / xi ) 1 i 1 3 3 3 1 1 1 p( y2 ) p( x i ) p( y 2 / x i ) i 1 3 2 6 3 1 1 1 p( y3 ) p( xi ) p( y3 / xi ) i 1 3 2 6 6 p( y j ) 1 3 1 1 1 j 1 p( y4 ) p( x i ) p( y4 / x i ) i 1 3 6 18 3 1 2 1 p( y5 ) p( xi ) p( y5 / xi ) i 1 3 6 9 3 1 3 1 p ( y6 ) p ( x i ) p ( y 6 / x i ) i 1 3 6 6
离散信道容量
2 2 2 2 2
P(x1y1) = P(x1) P(y1|x1) = 0.5×0.98 = 0.49
即对于一定的信道转移概率分布，总可以找到某 P(x y ) = P(x ) P(y |x ) = 0.5×0.80 = 0.40
一个先验概率分布的信源 X，使平均交互信息量达到 n pmax (yj) p( xi ) p( y j | xi ) ，求Y集合中各符号 （2）根据 I 相应的最大值 ，称此信源为该信道的匹配信源。
（ 3）根据 P(xi是信源概率分布 |yj) = P(xi yj)/P(yj) ，求各后验概率，得 平均互信息 I(X;Y) P(X) 的∩型凸函数
P(x1| y1) = P(x1y1)/ P(y1) = 0.49/0.59 = 0.831 即对于一定的信道转移概率分布，总可以找到某 P(x2| y1) = P(x2y1)/ P(y1) = 0.10/0.59 = 0.169 一个先验概率分布的信源 ，使平均交互信息量达到 P(x1| y2) = P(x1y2)/ P(X y2 ) = 0.01/0.41 = 0.024 相应的最大值 ，称此信源为该信道的匹配信源。 P(x | y ) I =max P(x y )/ P(y ) = 0.40/0.41 = 0.976
称I(X;Y)是Y对X的平均互信息量（简称平均互信息/平 均交互信息量/交互熵）。 X对Y的平均互信息定义为
I (Y ; X ) p( xi y j ) I ( y j ; xi ) p( xi y j )log 2
i 1 j 1 i 1 j 1
n
m
n
m
p ( y j / xi ) p( y j )
p11 p1s P(b / a ) p p j i ij p2 s P 21 ... pr1 prs p12 ... p1s p2 s ... prs
P(x1y1) = P(x1) P(y1|x1) = 0.5×0.98 = 0.49
即对于一定的信道转移概率分布，总可以找到某 P(x y ) = P(x ) P(y |x ) = 0.5×0.80 = 0.40
一个先验概率分布的信源 X，使平均交互信息量达到 n pmax (yj) p( xi ) p( y j | xi ) ，求Y集合中各符号 （2）根据 I 相应的最大值 ，称此信源为该信道的匹配信源。
（ 3）根据 P(xi是信源概率分布 |yj) = P(xi yj)/P(yj) ，求各后验概率，得 平均互信息 I(X;Y) P(X) 的∩型凸函数
P(x1| y1) = P(x1y1)/ P(y1) = 0.49/0.59 = 0.831 即对于一定的信道转移概率分布，总可以找到某 P(x2| y1) = P(x2y1)/ P(y1) = 0.10/0.59 = 0.169 一个先验概率分布的信源 ，使平均交互信息量达到 P(x1| y2) = P(x1y2)/ P(X y2 ) = 0.01/0.41 = 0.024 相应的最大值 ，称此信源为该信道的匹配信源。 P(x | y ) I =max P(x y )/ P(y ) = 0.40/0.41 = 0.976
称I(X;Y)是Y对X的平均互信息量（简称平均互信息/平 均交互信息量/交互熵）。 X对Y的平均互信息定义为
I (Y ; X ) p( xi y j ) I ( y j ; xi ) p( xi y j )log 2
i 1 j 1 i 1 j 1
n
m
n
m
p ( y j / xi ) p( y j )
p11 p1s P(b / a ) p p j i ij p2 s P 21 ... pr1 prs p12 ... p1s p2 s ... prs
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
实 验 内 容 与 步 骤
3
Maltab 代码：
p=0:0.001:1; C=log2(2)+p.*log2(p)+(1-p).*log2(1-p); plot(p,C); title('物联网工程') 结果图像：
实 验 结 果 及 分 析
实验日期： 评分： 指导教师签字：
年
月
日
4
p(Y 0 / X 1) p(Y 1/ X 0) p p(Y 1/ X 1) p(Y 0 / X 0) 1 p
1
这种对称的二进制输入、二进制输出信道称做二元对称信道（或二进 制对称信道，简称 BSC 信道） ，如下图所示：
信道容量公式：
郑州轻工业学院本科生实验报告
实验名称 课程名称 姓 学 名 号 1. 2. 3. 实 验 目 的 ** 54****** 指导教师 实验时间 离散信道容量 信息论与编码 *** ******* 专业、班级 实验地点 ***散信道容量的物理意义。 练习应用 matlab 软件进行二元对称离散信道容量的函数曲线的绘 制，并从曲线上理解其物理意义。
信道是传送信息的载体—信号所通过的通道。 信息是抽象的，而信道则是具体的。比如二人对话，二人间的空气就 是信道；打电话，电话线就是信道；看电视，听收音机，收、发间的空间 就是信道。 实 验 条 件 研究信道的目的：在通信系统中研究信道，主要是为了描述、度量、 分析不同类型信道，计算其容量，即极限传输能力，并分析其特性。 二元对称信道 BSC（Binary Symmetric Channel） 二进制离散信道模型有一个允许输入值的集合 X={0，1}和可能输出 值的集合 Y={0，1}，以及一组表示输入和输出关系的条件概率（转移概 率）组成。如果信道噪声和其他干扰导致传输的二进序列发生统计独立的 差错，且条件概率对称，即
C max I(X,Y)
{ p ( x )}
2
BSC 信 道 是 DMC 信 道 对 称 信 道 的 特 例 ， 对 于 转 移 概 率 为 P(0/1)=P(1/0)=p，P(0/0)=P(1/01)=1-p，求出其信道容量公式，并在 matlab 上绘制信道容量 C 与 p 的曲线。 根据曲线说明其物理意义。