离散信道及其信道容量
合集下载
第三章离散信道及其信道容量
0
0 1
不是一一对应,无扰有信息损失
1
(2)有扰信道 例3:
a1
0.9
X
0.1
a2
0.2 0.8
b1
Y
b2
0.9 0.1 [P] 0.2 0.8 有扰有信息损失,干扰严重
例4:
a1
X
a2
1/2 1/2 1/2 1/2
b1
Y
b2
1/ 2 1 / 2 [P] 1/ 2 1 / 2
P yi xi P xi yi
即E{log x} ≤log{E(X)}
即E{log x} ≤log{E(X)}
I(X
;Y
)
X
Y
P(x,
y)
log
P( x)P( y) P(x, y)
log
XY
P(x,
y)
P( x)P( y) P(x, y)
log1
0
∴ I(X;Y) ≥ 0
∵ logx为∩ 型凸函数,只有当且仅当 p(x.y)=P(x)P(y),即x和Y统计独立时I(X;Y)=0
根据输入和输出信号的特点，信道可以分为： (1)离散信道。指输入和输出的随机变量的取值都 有是离散的信道。 (2)连续信道。指输入和输出的随机变量的取值都 是连续的信道。 (3)半离散半连续信道。输入变量是离散型的但相 应的输出变量是连续的信道，或者相反。 (4)波形信道。信道的输入和输出都是一些时间上 连续的随机信号。即信道输入和输出的随机变量的 取值是连续的，并且还随时间连续变化。一般用随 机过程来描述其输入和输出。
p( x1 ) 4
a2 1 4
a3 1 4
a4
1
4
1 P 1
5-2 离散信道的信道容量
第五讲 信道容量 第二节 离散信道的信道容量
1
离散信道的信道容量
一、离散信道容量的定义 二、信道模型 三、离散信道容量的表达式
2
离散信道的信道容量
一、离散信道容量的定义
定义1： C－ 每个符号能够传输的平均信息量最大值
定义2： Ct －单位时间（秒）内能够传输的平均信息量最大值
两者之间可以互换：已知信道每秒能够传输的符号数
i =1
j=1
i =1
n
∑ H ( x ) = − P ( x i ) log 2 P ( x i ) i=1
－每个发送符号xi的平均信息量，称为信源的熵
m
n
∑ ∑ H( x / y) = − P( y j ) P( xi / y j )log2 P( xi / y j )
j =1
i =1
－接收yj符号已知后，发送符号xi的平均信息量
0
P(0/0) = 127/128
0
发 送 端 P(0/1) = 1/128
接
收
P(1/0) = 1/128
端
P(1/1) = 127/128
1
1
对称道模型
离散信道的信道容量
信源的平均信息量（熵）
∑ H
(x)
=
−
n i=1
P ( x i ) log
2
P ( xi
)
=
−
⎡ ⎢⎣
1 2
log
2
1 2
离散信道的信道容量
③ 无噪声信道 信道模型
发 x1
送 端
x2
x。 3
。
P(xi) 。 xn
P(y1/x1) P(yn/xn)
1
离散信道的信道容量
一、离散信道容量的定义 二、信道模型 三、离散信道容量的表达式
2
离散信道的信道容量
一、离散信道容量的定义
定义1： C－ 每个符号能够传输的平均信息量最大值
定义2： Ct －单位时间（秒）内能够传输的平均信息量最大值
两者之间可以互换：已知信道每秒能够传输的符号数
i =1
j=1
i =1
n
∑ H ( x ) = − P ( x i ) log 2 P ( x i ) i=1
－每个发送符号xi的平均信息量，称为信源的熵
m
n
∑ ∑ H( x / y) = − P( y j ) P( xi / y j )log2 P( xi / y j )
j =1
i =1
－接收yj符号已知后，发送符号xi的平均信息量
0
P(0/0) = 127/128
0
发 送 端 P(0/1) = 1/128
接
收
P(1/0) = 1/128
端
P(1/1) = 127/128
1
1
对称道模型
离散信道的信道容量
信源的平均信息量（熵）
∑ H
(x)
=
−
n i=1
P ( x i ) log
2
P ( xi
)
=
−
⎡ ⎢⎣
1 2
log
2
1 2
离散信道的信道容量
③ 无噪声信道 信道模型
发 x1
送 端
x2
x。 3
。
P(xi) 。 xn
P(y1/x1) P(yn/xn)
北工大信息论第四章 信道及信道容量
数学模型：{X , p( yn | xn ),Y}
如果有 p(yn j | xn i) p(ym j | xm i) ，则信道为平稳
的离散无记忆信道DMC。
二.单符号离散无记忆信道
1.定义:
输入符号X，x取值于A {a1, a2 ,, ar } 输出符号Y，y取值于B {b1, b2 ,, bs} {X , p(bj | ai ),Y}
输出扩展为：00，01，10，11
传递矩阵扩展为： p2 pp pp p2
P2
pp
p2
p2
pp
pp p2 p2 pp
p
2
pp
pp
p
2
请问： I (X N ;Y N ) 与I（X；Y）之间 的关系？
用两个定理回答这个问题
定理1:若信道的输入、输出分别为N长序列X和Y，且信
道是无记忆的，即： N
N
p( h | k ) p(bhi | aki ) i 1
I(X N ;Y N )
XN
YN
p(k h ) log
p(hk ) p(h ) p(k )
例4-4: 求二元无记忆对称信道的二次扩展信
道。
a1 0
1 p p
0 b1
X
p
Y
a2 1
1 p
1 b2
解：
输入扩展为：00，01，10，11
当ω=1/2 时，I (X ห้องสมุดไป่ตู้Y ) 1 H ( p)
1
即取极大值.
H ()
0 0.5 1
当信源固定, 即 ω是一个常数时,可 得到I(X;Y)是信道传递概率p的下凸 函数。
当p=0.5时, I(X;Y)=0, 在接收端未 获得信息量。
北邮信息论课件-第6章 离散信道及其容量
1）高斯噪声信道 信道噪声为高斯分布（白噪声或有色噪声）
2）非高斯噪声信道 信道噪声分布不是高斯分布
11/78
§6.1.2 离散信道的数学模型
噪声
X
信道
Y
P(y|x)
12/78
离散无记忆信道
★ 一般的信道数学模型 ★ 离散无记忆信道 ★ 平稳（或恒参）信道 ★ 单符号离散信道
13/78
一般信道的数学模型
32/78
§6.2.2 离散对称道的容量
例 6.2.3 一信道的转移概率矩阵如图，求信道容量和达
到容量时的输入概率。
1 p
解：设输入输出概率为 pi ，q j ，i 1, 2 , , r
p
r 1
...
由于信道为强对称信道，故当
p r 1
p1 ... pr 1/ r 时,达到容量。
★ 无损信道：输出符号只对应一个输入符号。
C max H (X ) log r (比特/符号)
其中r为输入符号集的大小
X a1 a2
1/2 1/2
1/3 1/6
1/2 26/78
Y b1 b2
b3 b4
b5
§6.2.1 离散无噪信道的容量
★ 确定信道：每个输入符号都对应一个输出符号
C max H (Y ) log s (比特/符号)
p(0|M1 ) q ("0")
1
log 1/ 2
log[2(1 )]
1
ε 1-ε
1
21/78
单符号离散信道
4
2) q("00" )
i1
p
(
M
i
)
p
(00|M
2）非高斯噪声信道 信道噪声分布不是高斯分布
11/78
§6.1.2 离散信道的数学模型
噪声
X
信道
Y
P(y|x)
12/78
离散无记忆信道
★ 一般的信道数学模型 ★ 离散无记忆信道 ★ 平稳（或恒参）信道 ★ 单符号离散信道
13/78
一般信道的数学模型
32/78
§6.2.2 离散对称道的容量
例 6.2.3 一信道的转移概率矩阵如图，求信道容量和达
到容量时的输入概率。
1 p
解：设输入输出概率为 pi ，q j ，i 1, 2 , , r
p
r 1
...
由于信道为强对称信道，故当
p r 1
p1 ... pr 1/ r 时,达到容量。
★ 无损信道：输出符号只对应一个输入符号。
C max H (X ) log r (比特/符号)
其中r为输入符号集的大小
X a1 a2
1/2 1/2
1/3 1/6
1/2 26/78
Y b1 b2
b3 b4
b5
§6.2.1 离散无噪信道的容量
★ 确定信道：每个输入符号都对应一个输出符号
C max H (Y ) log s (比特/符号)
p(0|M1 ) q ("0")
1
log 1/ 2
log[2(1 )]
1
ε 1-ε
1
21/78
单符号离散信道
4
2) q("00" )
i1
p
(
M
i
)
p
(00|M
离散信道信道容量的计算
输能力或者说能否达到信 道 容 量,取 决 于 两 点:信 源 离
散无记忆;信 源 的 输 入 概 率 分 布 是 使I(x;y)最 大 的 分 布.下面给出离散无记忆信道容量的定义:
C ＝ maxI(X;Y); p(ai)
∑∑ 其 中I(X;Y)＝
n i＝１
j＝m１p(ai)p(bj/ai)logpp(b(jb/ja)i)
工程管理与技术
离散信道信道容量的计算
余秀玲
(西南石油大学,四川 成都 ６１０５００)
摘 要:信道容量的计算是信道研究的核心,据 此 对 信 道 容 量 定 义 和 特 性 进 行 了 探 讨,并 研 究 了 三 种 特 殊 离 散信道的信道容量计算方法,有对称离散信道、强对 称 离 散 信 道 和 准 对 称 离 散 信 道,并 对 三 种 信 道 容 量 计 算 方 法 进行了区分与比较.最后介绍了一般离散信道的信道容量计算方法.
[５]严 新 乔 ．高 职 院 校 实 施 混 合 所 有 制 办 学 的 实 践 与 探 索 ——— 以 浙 江 高 职 院 校 为 例 [J]．职 业 技 术 教 育 ,２０１７,(１１):１３Ｇ１６．
１ 信 道 容 量 最简单的 通 信 系 统 由 信 源、信 道 和 信 宿 组 成. 对
于信道来说,在信道固定的 前 提 下,传 输 的 信 息 量 当 然 是越多越 好,因 此 信 道 容 量 问 题 是 信 道 研 究 的 重 点. 信道容量是信 道 传 输 信 息 的 最 大 能 力,由 信 道 特 性 决 定.对于特 定 的 信 道,信 道 容 量 是 个 定 值. 根 据 平 均 互信息的凸 函 数 性,平 均 互 信 息 量I(x;y)是 输 入 信 源 概率分布 {p(ai),i＝１,２,������,n}的上凸函数,在固定信 道的的前提下,平均互信息 量 有 最 大 值,即 信 道 容 量 一 定存在.但是,在传输信息时,信 道 能 否 提 供 其 最 大 传
信息论基础第3章离散信道及其信道容量
也就是说，通过信息处理后，一般只会增加信息的 损失，最多保持原来获得的信息，不可能比原来获得的 信息有所增加。一旦失掉了信息，用任何处理手段也不 可能再恢复丢失的信息，因此也称为信息不增性原理。
《信息论基础》
3.6 多符号离散信道及其信道容量
【例】求图所示的二元无记忆离散对称信道的二次 扩展信道的信道容量。
【例】 已知两个独立的随机变量 X、Y 的分布律如下。
X P(x)
a1 0.5
a2 0.5
,
Y P( y)
b1 0.25
b2 b3 0.25 0.5
计算 H X , H Y , H XY , H X |Y , H Y | X , I X ;Y 。
《信息论基础》
3.4 信道容量的定义
I (ai ) 减去已知事件 bj 后对 ai 仍然存在的不确定性 I (ai | bj ) ，实际就是事件
bj 出现给出关于事件 ai 的信息量。
【例】 甲在一个16 16 的方格棋盘上随意放一枚棋
子，在乙看来棋子放入哪一个位置是不确定的。如果甲 告知乙棋子放入棋盘的行号，这时乙获得了多少信息 量？
《信息论基础》
第3章 离散信道及其信道容量
通信系统的基本功能是实现信息的传递，信道是信息 传递的通道，是信号传输的媒质。一般而言，信源发出的 消息，必须以适合于信道传输的信号形式经过信道的传输， 才能被信宿接收。
从信源的角度看，信源发出的每个符号承载的平均信 息量由信源熵来定量描述；而从信宿的角度看，信宿收到 的每个符号平均能提供多少信息量由平均互信息来定量描 述。在信息论中，信道问题主要研究在什么条件下，信道 能够可靠传输的信息量最大，即信道容量问题。
《信息论基础》
3.7 信源与信道的匹配
《信息论基础》
3.6 多符号离散信道及其信道容量
【例】求图所示的二元无记忆离散对称信道的二次 扩展信道的信道容量。
【例】 已知两个独立的随机变量 X、Y 的分布律如下。
X P(x)
a1 0.5
a2 0.5
,
Y P( y)
b1 0.25
b2 b3 0.25 0.5
计算 H X , H Y , H XY , H X |Y , H Y | X , I X ;Y 。
《信息论基础》
3.4 信道容量的定义
I (ai ) 减去已知事件 bj 后对 ai 仍然存在的不确定性 I (ai | bj ) ，实际就是事件
bj 出现给出关于事件 ai 的信息量。
【例】 甲在一个16 16 的方格棋盘上随意放一枚棋
子，在乙看来棋子放入哪一个位置是不确定的。如果甲 告知乙棋子放入棋盘的行号，这时乙获得了多少信息 量？
《信息论基础》
第3章 离散信道及其信道容量
通信系统的基本功能是实现信息的传递，信道是信息 传递的通道，是信号传输的媒质。一般而言，信源发出的 消息，必须以适合于信道传输的信号形式经过信道的传输， 才能被信宿接收。
从信源的角度看，信源发出的每个符号承载的平均信 息量由信源熵来定量描述；而从信宿的角度看，信宿收到 的每个符号平均能提供多少信息量由平均互信息来定量描 述。在信息论中，信道问题主要研究在什么条件下，信道 能够可靠传输的信息量最大，即信道容量问题。
《信息论基础》
3.7 信源与信道的匹配
第三章离散信道及其信道容量
p(ym/x1)
p(ym/x2) … p(ym/xn)
第一节 信道的数学模型及分类 为了表述简便，可以写成 P(bj / ai ) pij
p11 p P 21 ... pr1 p12 ... p22 ... pr 2 ... p1s p2 s ... prs
i 1 r
P(aibj ) P(ai )P(bj / ai ) P(bj )P(ai / bj )
（3）后验概率
P(ai / b j )
P(aib j ) P(b j )
P(a / b ) 1
i 1 i j
r
表明输出端收到任一符号，必定是输入端某一符号 输入所致
第二节 平均互信息
第三节 平均互信息的特性
1、平均互信息的非负性 I(X;Y)>=0 该性质表明，通过一个信道总能传递一些信息，最 差的条件下，输入输出完全独立，不传递任何信息，互 信息等于0，但决不会失去已知的信息。
2、平均互信息的极值性
I(X;Y)<=H(X) 一般来说，信到疑义度总是大于0，所以互信息总是 小于信源的熵，只有当信道是无损信道时，信道疑义度 等于0，互信息等于信源的熵。
C max{I ( X , Y )} max{H ( X ) H ( X / Y )}
P( X ) P( X )
信道容量与与信源无关，它是信道的特征参数，反 应的是信道的最大的信息传输能力。 对于二元对称信道，由图可以看出信道容量等于 1-H(P)
第四节 信道容量及其一般计算方法
1、离散无噪信道的信道容量 （1）具有一一对应关系的无噪声信道 x1 x2 x3 I(X;Y)=H(X)=H(Y) y1 y2 y3
准对称离散信道的信道容量__概述及解释说明
准对称离散信道的信道容量概述及解释说明1. 引言1.1 概述在现代通信领域中，信息的传输是通过信道完成的。
而对于离散信道而言，其容量即为最大可达到的信息传输速率，对于设计和优化通信系统至关重要。
准对称离散信道是一类常见的离散信道模型，在实际应用中具有广泛的应用场景和重要意义。
1.2 文章结构本文将对准对称离散信道的信道容量进行全面探究与解释。
首先，在第2部分中，我们将介绍离散信道的定义和特性，并详细阐述了准对称信道的概念。
接下来，在第3部分中，我们将探讨计算准对称离散信道容量所用到的方法与技巧，并着重介绍了香农公式及其推导过程以及极大极小化与对偶性原理在计算中的应用。
然后，在第4部分中，我们将回顾以往研究成果并进行总结分析，同时探讨当前研究现状和存在问题，并展望未来研究方向和挑战。
最后，在第5部分中，我们将总结全文主要结论，并展望未来可能的研究方向。
1.3 目的本文的目的主要为探讨准对称离散信道的信道容量，并解释其在通信系统设计和优化中的重要性。
通过深入了解离散信道的定义和特性，以及准对称信道的概念，读者可以更加清晰地理解准对称离散信道相关概念和理论基础。
此外，本文还将介绍计算准对称离散信道容量所用到的方法与技巧，帮助读者更好地掌握相关计算技术，并总结过去研究成果并分析当前研究现状，以期激发未来进一步深入研究的兴趣和思路。
2. 准对称离散信道的信道容量：2.1 离散信道的定义和特性：离散信道是指在传输信息时，输入和输出都是离散的符号序列，并且中间有隐含的噪声干扰。
离散信道可以用条件概率分布表示，其中输入符号与输出符号之间存在一定的概率转移关系。
离散信道的特性包括：- 有限输入字母表：输入符号集合是一个有限集合。
- 有限输出字母表：输出符号集合也是一个有限集合。
- 条件概率分布：用于描述输入字母在给定条件下生成输出字母的概率分布。
- 恒等性：理想情况下，理想的离散信道应该满足恒等性，即输入与输出完全相同。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
第2章 信道及其容量
信道的任务是以信号方式传输信息和存储信息。 研究信道中能够传送或存储的最大信息量，即信道容量。
2.1
信道的数学模型和分类
干扰源
信源
编码器
调制器
物理信道 实际信道
解调器
译码器
信宿
编码信道
等效信道
图2.1.1 数字通信系统的一般模型
一、信道的分类
根据载荷消息的媒体不同
邮递信道
C max { I ( X ;Y )}
解：X:{0，1} Y:{0，1，2} 此时，r ＝2，s ＝3， 传递矩阵为：
0 0 1 2 1
1－ p
q
1
p 1 p 0 0 1 q q
符号“2”表示接收到了“0”、“1”以外的特殊符 号
• 一般离散单符号信道的传递概率可用矩阵形式表示，即 b1 b2 … bs
a1 P(b1|a1) P(b2|a1) … P(bs|a1) a2 P(b1|a2) P(b2|a2) … P(bs|a2) … …. … …
R = I(X;Y) = H(X) – H(X|Y) (比特/符号)
• 信道中每秒平均传输的信息量----信息传输速率Rt (设传递一个符号用时为t).
Rt ＝ R/t = I(X;Y)/t = H(X)/t – H(X|Y)/t （比特/秒）
一、 信道容量的定义
I ( X ; Y ) I (Y ; X ) P( xy ) log
a1 a2 b1 b2
X
.
. ar
P(bj/ai)
.
. bs
Y
[例1] 二元对称信道，[BSC，Binary Symmetrical Channel] 解：此时，X:{0,1} ; Y:{0,1} ; r=s=2，a1=b1=0；a2=b2=1。 传递概率: 1－p
P (b1 | a1 ) P (0 | 0) 1 p p P (b2 | a2 ) P (1 | 1) 1 p p P (b1 | a2 ) P (0 | 1) p P (b2 | a1 ) P (1 | 0) p
i 1
N
(3) 有干扰(噪声)有记忆信道
实际信道往往是既有干扰(噪声)又有记忆的这种类 型。 例如在数字信道中，由于信道滤波使频率特性不理 想时造成了码字之间的干扰。
在这一类信道中某一瞬间的输出符号不但与对应时 刻的输入符号有关，而且还与此以前其他时刻信道的输 入符号及输出符号有关，这样的信道称为有记忆信道。
X ,Y
P( y | x) P( y | x) P( x)P( y | x) log P( y ) P( y ) X ,Y
其中：P( y) P( x)P( y | x)
X
由于平均互信息I(X;Y)是输入随机变量的∩型凸函数 ， 所以对一固定的信道，总存在一种信源，使传输每个符号 平均获得的信息量最大。 即存在一个最大的信息传输率 ------定义为信道容量C
电信道
光信道 声信道 输入和输出信号的形式
根据信息传输的方式
信道的统计特性
信道的用户多少
根据信息传输的方式分类中 根据信道的用户多少：两端(单用户)信道 多端(多用户)信道 根据信道输入端和输出端的关联： 无反馈信道 反馈信道 根据信道的参数与时间的关系： 固定参数信道 时变参数信道 根据输入和输出信号的特点： 离散信道 连续信道 半离散或半连续信道 波形信道
a2=1 a1=0
0=b1
p
p
1－ p
1=b2
• p是单个符号传输发生错误的概率。 •（1-p）表示是无错误传输的概率。 • 转移矩阵:
0 1
0 1 - p
1 p
p 1 p
[例2]二元删除信道。[BEC，Binary Eliminat1－ q 1
P中有些是信道干扰引起的错误概率，有些是信道正确 传输的概率。所以该矩阵又称为信道矩阵（转移矩阵） 。
2.2
离散信道的信道容量
• 研究信道的目的是要讨论信道中平均每个符号所 能传送的信息量-----信息传输率R • 平均互信息I(X;Y)就是接收到符号Y后平均每个 符号获得的关于X的信息量。
• 所以：
s
ar P(b1|ar) P(b2|ar) … P(bs|ar)
p11 p P 21 : p r1
p12 p 22 : pr 2
p1s ... p 2 s : : ... p rs ...
pij 0
p
j 1
ij
1
矩阵P完全描述了信道的特性，可用它作为离散单符号 信道的另一种数学模型的形式。
y ＝ f (x)
1 y f ( x ) P( y | x ) 0 y f ( x )
(2)有干扰无记忆信道 • 信道输入和输出之间的条件概率是一般的概率分布。 • 如果任一时刻输出符号只统计依赖于对应时刻的输入符号， 则这种信道称为无记忆信道。
P( y | x ) P( y1y 2...y N | x1x2...xN ) P( y i | xi )
三、单符号离散信道
•
单符号离散信道：
输入符号为X，取值于{a1,a2, …,ar}。
输出符号为Y，取值于{b1,b2, …,bs}。 条件概率：P(y/x)＝P(y=bj/x=ai)＝P(bj/ai) 这一组条件概率称为信道的传递概率或转移概率，可以用 来描述信道干扰影响的大小。
• 信道中有干扰(噪声)存在，可以用传递概率 P(bj/ai) 来描 述干扰影响的大小。 • 一般简单的单符号离散信道可以用[X, P(y/x) ,Y] 三者加 以描述。 • 其数学模型可以用概率空间[X, P(y/x) ,Y]描述。当然， 也可用下图来描述：
二、离散信道的数学模型
条件概率 P(y/x) 描述了输入信号和输出信号之间统计 依赖关系。反映了信道的统计特性。
• 根据信道的统计特性即条件概率 P(y/x)的不同，离散 信道又可分成三种情况： • 无干扰信道 • 有干扰无记忆信道
• 有干扰有记忆信道
(1)无干扰(噪声)信道
信道中没有随机性的干扰或者干扰很小，输出信号 y与输入信号 x 之间有确定的、一 一对应的关系。即：
信道的任务是以信号方式传输信息和存储信息。 研究信道中能够传送或存储的最大信息量，即信道容量。
2.1
信道的数学模型和分类
干扰源
信源
编码器
调制器
物理信道 实际信道
解调器
译码器
信宿
编码信道
等效信道
图2.1.1 数字通信系统的一般模型
一、信道的分类
根据载荷消息的媒体不同
邮递信道
C max { I ( X ;Y )}
解：X:{0，1} Y:{0，1，2} 此时，r ＝2，s ＝3， 传递矩阵为：
0 0 1 2 1
1－ p
q
1
p 1 p 0 0 1 q q
符号“2”表示接收到了“0”、“1”以外的特殊符 号
• 一般离散单符号信道的传递概率可用矩阵形式表示，即 b1 b2 … bs
a1 P(b1|a1) P(b2|a1) … P(bs|a1) a2 P(b1|a2) P(b2|a2) … P(bs|a2) … …. … …
R = I(X;Y) = H(X) – H(X|Y) (比特/符号)
• 信道中每秒平均传输的信息量----信息传输速率Rt (设传递一个符号用时为t).
Rt ＝ R/t = I(X;Y)/t = H(X)/t – H(X|Y)/t （比特/秒）
一、 信道容量的定义
I ( X ; Y ) I (Y ; X ) P( xy ) log
a1 a2 b1 b2
X
.
. ar
P(bj/ai)
.
. bs
Y
[例1] 二元对称信道，[BSC，Binary Symmetrical Channel] 解：此时，X:{0,1} ; Y:{0,1} ; r=s=2，a1=b1=0；a2=b2=1。 传递概率: 1－p
P (b1 | a1 ) P (0 | 0) 1 p p P (b2 | a2 ) P (1 | 1) 1 p p P (b1 | a2 ) P (0 | 1) p P (b2 | a1 ) P (1 | 0) p
i 1
N
(3) 有干扰(噪声)有记忆信道
实际信道往往是既有干扰(噪声)又有记忆的这种类 型。 例如在数字信道中，由于信道滤波使频率特性不理 想时造成了码字之间的干扰。
在这一类信道中某一瞬间的输出符号不但与对应时 刻的输入符号有关，而且还与此以前其他时刻信道的输 入符号及输出符号有关，这样的信道称为有记忆信道。
X ,Y
P( y | x) P( y | x) P( x)P( y | x) log P( y ) P( y ) X ,Y
其中：P( y) P( x)P( y | x)
X
由于平均互信息I(X;Y)是输入随机变量的∩型凸函数 ， 所以对一固定的信道，总存在一种信源，使传输每个符号 平均获得的信息量最大。 即存在一个最大的信息传输率 ------定义为信道容量C
电信道
光信道 声信道 输入和输出信号的形式
根据信息传输的方式
信道的统计特性
信道的用户多少
根据信息传输的方式分类中 根据信道的用户多少：两端(单用户)信道 多端(多用户)信道 根据信道输入端和输出端的关联： 无反馈信道 反馈信道 根据信道的参数与时间的关系： 固定参数信道 时变参数信道 根据输入和输出信号的特点： 离散信道 连续信道 半离散或半连续信道 波形信道
a2=1 a1=0
0=b1
p
p
1－ p
1=b2
• p是单个符号传输发生错误的概率。 •（1-p）表示是无错误传输的概率。 • 转移矩阵:
0 1
0 1 - p
1 p
p 1 p
[例2]二元删除信道。[BEC，Binary Eliminat1－ q 1
P中有些是信道干扰引起的错误概率，有些是信道正确 传输的概率。所以该矩阵又称为信道矩阵（转移矩阵） 。
2.2
离散信道的信道容量
• 研究信道的目的是要讨论信道中平均每个符号所 能传送的信息量-----信息传输率R • 平均互信息I(X;Y)就是接收到符号Y后平均每个 符号获得的关于X的信息量。
• 所以：
s
ar P(b1|ar) P(b2|ar) … P(bs|ar)
p11 p P 21 : p r1
p12 p 22 : pr 2
p1s ... p 2 s : : ... p rs ...
pij 0
p
j 1
ij
1
矩阵P完全描述了信道的特性，可用它作为离散单符号 信道的另一种数学模型的形式。
y ＝ f (x)
1 y f ( x ) P( y | x ) 0 y f ( x )
(2)有干扰无记忆信道 • 信道输入和输出之间的条件概率是一般的概率分布。 • 如果任一时刻输出符号只统计依赖于对应时刻的输入符号， 则这种信道称为无记忆信道。
P( y | x ) P( y1y 2...y N | x1x2...xN ) P( y i | xi )
三、单符号离散信道
•
单符号离散信道：
输入符号为X，取值于{a1,a2, …,ar}。
输出符号为Y，取值于{b1,b2, …,bs}。 条件概率：P(y/x)＝P(y=bj/x=ai)＝P(bj/ai) 这一组条件概率称为信道的传递概率或转移概率，可以用 来描述信道干扰影响的大小。
• 信道中有干扰(噪声)存在，可以用传递概率 P(bj/ai) 来描 述干扰影响的大小。 • 一般简单的单符号离散信道可以用[X, P(y/x) ,Y] 三者加 以描述。 • 其数学模型可以用概率空间[X, P(y/x) ,Y]描述。当然， 也可用下图来描述：
二、离散信道的数学模型
条件概率 P(y/x) 描述了输入信号和输出信号之间统计 依赖关系。反映了信道的统计特性。
• 根据信道的统计特性即条件概率 P(y/x)的不同，离散 信道又可分成三种情况： • 无干扰信道 • 有干扰无记忆信道
• 有干扰有记忆信道
(1)无干扰(噪声)信道
信道中没有随机性的干扰或者干扰很小，输出信号 y与输入信号 x 之间有确定的、一 一对应的关系。即：