离散信道及其信道容量
合集下载
第三章离散信道及其信道容量
0
0 1
不是一一对应,无扰有信息损失
1
(2)有扰信道 例3:
a1
0.9
X
0.1
a2
0.2 0.8
b1
Y
b2
0.9 0.1 [P] 0.2 0.8 有扰有信息损失,干扰严重
例4:
a1
X
a2
1/2 1/2 1/2 1/2
b1
Y
b2
1/ 2 1 / 2 [P] 1/ 2 1 / 2
P yi xi P xi yi
即E{log x} ≤log{E(X)}
即E{log x} ≤log{E(X)}
I(X
;Y
)
X
Y
P(x,
y)
log
P( x)P( y) P(x, y)
log
XY
P(x,
y)
P( x)P( y) P(x, y)
log1
0
∴ I(X;Y) ≥ 0
∵ logx为∩ 型凸函数,只有当且仅当 p(x.y)=P(x)P(y),即x和Y统计独立时I(X;Y)=0
根据输入和输出信号的特点，信道可以分为： (1)离散信道。指输入和输出的随机变量的取值都 有是离散的信道。 (2)连续信道。指输入和输出的随机变量的取值都 是连续的信道。 (3)半离散半连续信道。输入变量是离散型的但相 应的输出变量是连续的信道，或者相反。 (4)波形信道。信道的输入和输出都是一些时间上 连续的随机信号。即信道输入和输出的随机变量的 取值是连续的，并且还随时间连续变化。一般用随 机过程来描述其输入和输出。
p( x1 ) 4
a2 1 4
a3 1 4
a4
1
4
1 P 1
5-2 离散信道的信道容量
第五讲 信道容量 第二节 离散信道的信道容量
1
离散信道的信道容量
一、离散信道容量的定义 二、信道模型 三、离散信道容量的表达式
2
离散信道的信道容量
一、离散信道容量的定义
定义1： C－ 每个符号能够传输的平均信息量最大值
定义2： Ct －单位时间（秒）内能够传输的平均信息量最大值
两者之间可以互换：已知信道每秒能够传输的符号数
i =1
j=1
i =1
n
∑ H ( x ) = − P ( x i ) log 2 P ( x i ) i=1
－每个发送符号xi的平均信息量，称为信源的熵
m
n
∑ ∑ H( x / y) = − P( y j ) P( xi / y j )log2 P( xi / y j )
j =1
i =1
－接收yj符号已知后，发送符号xi的平均信息量
0
P(0/0) = 127/128
0
发 送 端 P(0/1) = 1/128
接
收
P(1/0) = 1/128
端
P(1/1) = 127/128
1
1
对称道模型
离散信道的信道容量
信源的平均信息量（熵）
∑ H
(x)
=
−
n i=1
P ( x i ) log
2
P ( xi
)
=
−
⎡ ⎢⎣
1 2
log
2
1 2
离散信道的信道容量
③ 无噪声信道 信道模型
发 x1
送 端
x2
x。 3
。
P(xi) 。 xn
P(y1/x1) P(yn/xn)
1
离散信道的信道容量
一、离散信道容量的定义 二、信道模型 三、离散信道容量的表达式
2
离散信道的信道容量
一、离散信道容量的定义
定义1： C－ 每个符号能够传输的平均信息量最大值
定义2： Ct －单位时间（秒）内能够传输的平均信息量最大值
两者之间可以互换：已知信道每秒能够传输的符号数
i =1
j=1
i =1
n
∑ H ( x ) = − P ( x i ) log 2 P ( x i ) i=1
－每个发送符号xi的平均信息量，称为信源的熵
m
n
∑ ∑ H( x / y) = − P( y j ) P( xi / y j )log2 P( xi / y j )
j =1
i =1
－接收yj符号已知后，发送符号xi的平均信息量
0
P(0/0) = 127/128
0
发 送 端 P(0/1) = 1/128
接
收
P(1/0) = 1/128
端
P(1/1) = 127/128
1
1
对称道模型
离散信道的信道容量
信源的平均信息量（熵）
∑ H
(x)
=
−
n i=1
P ( x i ) log
2
P ( xi
)
=
−
⎡ ⎢⎣
1 2
log
2
1 2
离散信道的信道容量
③ 无噪声信道 信道模型
发 x1
送 端
x2
x。 3
。
P(xi) 。 xn
P(y1/x1) P(yn/xn)
北工大信息论第四章 信道及信道容量
数学模型：{X , p( yn | xn ),Y}
如果有 p(yn j | xn i) p(ym j | xm i) ，则信道为平稳
的离散无记忆信道DMC。
二.单符号离散无记忆信道
1.定义:
输入符号X，x取值于A {a1, a2 ,, ar } 输出符号Y，y取值于B {b1, b2 ,, bs} {X , p(bj | ai ),Y}
输出扩展为：00，01，10，11
传递矩阵扩展为： p2 pp pp p2
P2
pp
p2
p2
pp
pp p2 p2 pp
p
2
pp
pp
p
2
请问： I (X N ;Y N ) 与I（X；Y）之间 的关系？
用两个定理回答这个问题
定理1:若信道的输入、输出分别为N长序列X和Y，且信
道是无记忆的，即： N
N
p( h | k ) p(bhi | aki ) i 1
I(X N ;Y N )
XN
YN
p(k h ) log
p(hk ) p(h ) p(k )
例4-4: 求二元无记忆对称信道的二次扩展信
道。
a1 0
1 p p
0 b1
X
p
Y
a2 1
1 p
1 b2
解：
输入扩展为：00，01，10，11
当ω=1/2 时，I (X ห้องสมุดไป่ตู้Y ) 1 H ( p)
1
即取极大值.
H ()
0 0.5 1
当信源固定, 即 ω是一个常数时,可 得到I(X;Y)是信道传递概率p的下凸 函数。
当p=0.5时, I(X;Y)=0, 在接收端未 获得信息量。
北邮信息论课件-第6章 离散信道及其容量
1）高斯噪声信道 信道噪声为高斯分布（白噪声或有色噪声）
2）非高斯噪声信道 信道噪声分布不是高斯分布
11/78
§6.1.2 离散信道的数学模型
噪声
X
信道
Y
P(y|x)
12/78
离散无记忆信道
★ 一般的信道数学模型 ★ 离散无记忆信道 ★ 平稳（或恒参）信道 ★ 单符号离散信道
13/78
一般信道的数学模型
32/78
§6.2.2 离散对称道的容量
例 6.2.3 一信道的转移概率矩阵如图，求信道容量和达
到容量时的输入概率。
1 p
解：设输入输出概率为 pi ，q j ，i 1, 2 , , r
p
r 1
...
由于信道为强对称信道，故当
p r 1
p1 ... pr 1/ r 时,达到容量。
★ 无损信道：输出符号只对应一个输入符号。
C max H (X ) log r (比特/符号)
其中r为输入符号集的大小
X a1 a2
1/2 1/2
1/3 1/6
1/2 26/78
Y b1 b2
b3 b4
b5
§6.2.1 离散无噪信道的容量
★ 确定信道：每个输入符号都对应一个输出符号
C max H (Y ) log s (比特/符号)
p(0|M1 ) q ("0")
1
log 1/ 2
log[2(1 )]
1
ε 1-ε
1
21/78
单符号离散信道
4
2) q("00" )
i1
p
(
M
i
)
p
(00|M
2）非高斯噪声信道 信道噪声分布不是高斯分布
11/78
§6.1.2 离散信道的数学模型
噪声
X
信道
Y
P(y|x)
12/78
离散无记忆信道
★ 一般的信道数学模型 ★ 离散无记忆信道 ★ 平稳（或恒参）信道 ★ 单符号离散信道
13/78
一般信道的数学模型
32/78
§6.2.2 离散对称道的容量
例 6.2.3 一信道的转移概率矩阵如图，求信道容量和达
到容量时的输入概率。
1 p
解：设输入输出概率为 pi ，q j ，i 1, 2 , , r
p
r 1
...
由于信道为强对称信道，故当
p r 1
p1 ... pr 1/ r 时,达到容量。
★ 无损信道：输出符号只对应一个输入符号。
C max H (X ) log r (比特/符号)
其中r为输入符号集的大小
X a1 a2
1/2 1/2
1/3 1/6
1/2 26/78
Y b1 b2
b3 b4
b5
§6.2.1 离散无噪信道的容量
★ 确定信道：每个输入符号都对应一个输出符号
C max H (Y ) log s (比特/符号)
p(0|M1 ) q ("0")
1
log 1/ 2
log[2(1 )]
1
ε 1-ε
1
21/78
单符号离散信道
4
2) q("00" )
i1
p
(
M
i
)
p
(00|M
离散信道信道容量的计算
输能力或者说能否达到信 道 容 量,取 决 于 两 点:信 源 离
散无记忆;信 源 的 输 入 概 率 分 布 是 使I(x;y)最 大 的 分 布.下面给出离散无记忆信道容量的定义:
C ＝ maxI(X;Y); p(ai)
∑∑ 其 中I(X;Y)＝
n i＝１
j＝m１p(ai)p(bj/ai)logpp(b(jb/ja)i)
工程管理与技术
离散信道信道容量的计算
余秀玲
(西南石油大学,四川 成都 ６１０５００)
摘 要:信道容量的计算是信道研究的核心,据 此 对 信 道 容 量 定 义 和 特 性 进 行 了 探 讨,并 研 究 了 三 种 特 殊 离 散信道的信道容量计算方法,有对称离散信道、强对 称 离 散 信 道 和 准 对 称 离 散 信 道,并 对 三 种 信 道 容 量 计 算 方 法 进行了区分与比较.最后介绍了一般离散信道的信道容量计算方法.
[５]严 新 乔 ．高 职 院 校 实 施 混 合 所 有 制 办 学 的 实 践 与 探 索 ——— 以 浙 江 高 职 院 校 为 例 [J]．职 业 技 术 教 育 ,２０１７,(１１):１３Ｇ１６．
１ 信 道 容 量 最简单的 通 信 系 统 由 信 源、信 道 和 信 宿 组 成. 对
于信道来说,在信道固定的 前 提 下,传 输 的 信 息 量 当 然 是越多越 好,因 此 信 道 容 量 问 题 是 信 道 研 究 的 重 点. 信道容量是信 道 传 输 信 息 的 最 大 能 力,由 信 道 特 性 决 定.对于特 定 的 信 道,信 道 容 量 是 个 定 值. 根 据 平 均 互信息的凸 函 数 性,平 均 互 信 息 量I(x;y)是 输 入 信 源 概率分布 {p(ai),i＝１,２,������,n}的上凸函数,在固定信 道的的前提下,平均互信息 量 有 最 大 值,即 信 道 容 量 一 定存在.但是,在传输信息时,信 道 能 否 提 供 其 最 大 传
信息论基础第3章离散信道及其信道容量
也就是说，通过信息处理后，一般只会增加信息的 损失，最多保持原来获得的信息，不可能比原来获得的 信息有所增加。一旦失掉了信息，用任何处理手段也不 可能再恢复丢失的信息，因此也称为信息不增性原理。
《信息论基础》
3.6 多符号离散信道及其信道容量
【例】求图所示的二元无记忆离散对称信道的二次 扩展信道的信道容量。
【例】 已知两个独立的随机变量 X、Y 的分布律如下。
X P(x)
a1 0.5
a2 0.5
,
Y P( y)
b1 0.25
b2 b3 0.25 0.5
计算 H X , H Y , H XY , H X |Y , H Y | X , I X ;Y 。
《信息论基础》
3.4 信道容量的定义
I (ai ) 减去已知事件 bj 后对 ai 仍然存在的不确定性 I (ai | bj ) ，实际就是事件
bj 出现给出关于事件 ai 的信息量。
【例】 甲在一个16 16 的方格棋盘上随意放一枚棋
子，在乙看来棋子放入哪一个位置是不确定的。如果甲 告知乙棋子放入棋盘的行号，这时乙获得了多少信息 量？
《信息论基础》
第3章 离散信道及其信道容量
通信系统的基本功能是实现信息的传递，信道是信息 传递的通道，是信号传输的媒质。一般而言，信源发出的 消息，必须以适合于信道传输的信号形式经过信道的传输， 才能被信宿接收。
从信源的角度看，信源发出的每个符号承载的平均信 息量由信源熵来定量描述；而从信宿的角度看，信宿收到 的每个符号平均能提供多少信息量由平均互信息来定量描 述。在信息论中，信道问题主要研究在什么条件下，信道 能够可靠传输的信息量最大，即信道容量问题。
《信息论基础》
3.7 信源与信道的匹配
《信息论基础》
3.6 多符号离散信道及其信道容量
【例】求图所示的二元无记忆离散对称信道的二次 扩展信道的信道容量。
【例】 已知两个独立的随机变量 X、Y 的分布律如下。
X P(x)
a1 0.5
a2 0.5
,
Y P( y)
b1 0.25
b2 b3 0.25 0.5
计算 H X , H Y , H XY , H X |Y , H Y | X , I X ;Y 。
《信息论基础》
3.4 信道容量的定义
I (ai ) 减去已知事件 bj 后对 ai 仍然存在的不确定性 I (ai | bj ) ，实际就是事件
bj 出现给出关于事件 ai 的信息量。
【例】 甲在一个16 16 的方格棋盘上随意放一枚棋
子，在乙看来棋子放入哪一个位置是不确定的。如果甲 告知乙棋子放入棋盘的行号，这时乙获得了多少信息 量？
《信息论基础》
第3章 离散信道及其信道容量
通信系统的基本功能是实现信息的传递，信道是信息 传递的通道，是信号传输的媒质。一般而言，信源发出的 消息，必须以适合于信道传输的信号形式经过信道的传输， 才能被信宿接收。
从信源的角度看，信源发出的每个符号承载的平均信 息量由信源熵来定量描述；而从信宿的角度看，信宿收到 的每个符号平均能提供多少信息量由平均互信息来定量描 述。在信息论中，信道问题主要研究在什么条件下，信道 能够可靠传输的信息量最大，即信道容量问题。
《信息论基础》
3.7 信源与信道的匹配
第三章离散信道及其信道容量
p(ym/x1)
p(ym/x2) … p(ym/xn)
第一节 信道的数学模型及分类 为了表述简便，可以写成 P(bj / ai ) pij
p11 p P 21 ... pr1 p12 ... p22 ... pr 2 ... p1s p2 s ... prs
i 1 r
P(aibj ) P(ai )P(bj / ai ) P(bj )P(ai / bj )
（3）后验概率
P(ai / b j )
P(aib j ) P(b j )
P(a / b ) 1
i 1 i j
r
表明输出端收到任一符号，必定是输入端某一符号 输入所致
第二节 平均互信息
第三节 平均互信息的特性
1、平均互信息的非负性 I(X;Y)>=0 该性质表明，通过一个信道总能传递一些信息，最 差的条件下，输入输出完全独立，不传递任何信息，互 信息等于0，但决不会失去已知的信息。
2、平均互信息的极值性
I(X;Y)<=H(X) 一般来说，信到疑义度总是大于0，所以互信息总是 小于信源的熵，只有当信道是无损信道时，信道疑义度 等于0，互信息等于信源的熵。
C max{I ( X , Y )} max{H ( X ) H ( X / Y )}
P( X ) P( X )
信道容量与与信源无关，它是信道的特征参数，反 应的是信道的最大的信息传输能力。 对于二元对称信道，由图可以看出信道容量等于 1-H(P)
第四节 信道容量及其一般计算方法
1、离散无噪信道的信道容量 （1）具有一一对应关系的无噪声信道 x1 x2 x3 I(X;Y)=H(X)=H(Y) y1 y2 y3
准对称离散信道的信道容量__概述及解释说明
准对称离散信道的信道容量概述及解释说明1. 引言1.1 概述在现代通信领域中，信息的传输是通过信道完成的。
而对于离散信道而言，其容量即为最大可达到的信息传输速率，对于设计和优化通信系统至关重要。
准对称离散信道是一类常见的离散信道模型，在实际应用中具有广泛的应用场景和重要意义。
1.2 文章结构本文将对准对称离散信道的信道容量进行全面探究与解释。
首先，在第2部分中，我们将介绍离散信道的定义和特性，并详细阐述了准对称信道的概念。
接下来，在第3部分中，我们将探讨计算准对称离散信道容量所用到的方法与技巧，并着重介绍了香农公式及其推导过程以及极大极小化与对偶性原理在计算中的应用。
然后，在第4部分中，我们将回顾以往研究成果并进行总结分析，同时探讨当前研究现状和存在问题，并展望未来研究方向和挑战。
最后，在第5部分中，我们将总结全文主要结论，并展望未来可能的研究方向。
1.3 目的本文的目的主要为探讨准对称离散信道的信道容量，并解释其在通信系统设计和优化中的重要性。
通过深入了解离散信道的定义和特性，以及准对称信道的概念，读者可以更加清晰地理解准对称离散信道相关概念和理论基础。
此外，本文还将介绍计算准对称离散信道容量所用到的方法与技巧，帮助读者更好地掌握相关计算技术，并总结过去研究成果并分析当前研究现状，以期激发未来进一步深入研究的兴趣和思路。
2. 准对称离散信道的信道容量：2.1 离散信道的定义和特性：离散信道是指在传输信息时，输入和输出都是离散的符号序列，并且中间有隐含的噪声干扰。
离散信道可以用条件概率分布表示，其中输入符号与输出符号之间存在一定的概率转移关系。
离散信道的特性包括：- 有限输入字母表：输入符号集合是一个有限集合。
- 有限输出字母表：输出符号集合也是一个有限集合。
- 条件概率分布：用于描述输入字母在给定条件下生成输出字母的概率分布。
- 恒等性：理想情况下，理想的离散信道应该满足恒等性，即输入与输出完全相同。
2.7节信道容量
（conditional probability）。
P(y1/x1)
y1
P(ym/xn)
y2
y3
P(ym/x1)。 。
。 。 。 ym
接 收 端
P(yj)
离散信道模型
2
三、有扰信道中收到一个符号时获得的平均信息量
从信息量（information content）的概念我们知道：发送
xi时收到yj所获得的信息量等于发送xi前接收端对xi的不确定 程度（即xi的自信息量）减去收到yj后接收端对xi的不确定
(b / s)
(b / s)
19
【解法二】此信道模型画出如下：
0
P(0/0) = 127/128
0
发 送 端 P(0/1) = 1/128
接 收 P(1/0) = 1/128 端
1 p p
P( y j / xi )
p
1 p
1
P(1/1) = 127/12二进制对称信道，错误转
而条件熵可以展开成如下形式
m
n
H (x / y) P( y j ) P(xi / y j ) log 2 P(xi / y j )]
j 1
i 1
{P( y1 )P(x1 / y1 ) log 2 P(x1 / y1 ) P(x2 / y1 ) log 2 P(x2 / y1 )
P( y2 )P(x1 / y2 ) log 2 P(x1 / y2 ) P(x2 / y2 ) log 2 P(x2 / y2 )}
量为零。
（2）容量Ct为单位时间（秒）内能够传输的平均信息量
最大值，公式如下
Ct
max{r[H (x) H (x / y)]} P(x)
信息论基础——信道容量的计算
p
p p1 p 1
将p=3/5代入（2），得到信道容为:C=0.32bit/sym.
20
信道容量的计算
2 达到信道容量输入分布的充要条件
令
I (xi ;Y )
s j 1
p( y j
|
xi ) log
p( y j | xi ) p( yj )
def
D(Q( y |
x) ||
p( y))
定理4.2.2 一般离散信道的互信息I(X；Y)达到极大值
1 信道容量的计算原理
C是选择不同的输入概率分布p(x),在满足
∑p(x)=1条件下，求互信息的极大值：
I(X ;Y )
r i 1
s j 1
p(xi ) p( y j | xi ) log
p( y j | xi ) p(yj )
Lagrange乘子
法
17
信道容量的计算
例1、设某二进制数字传输系统接收判决器
6
数据可靠传输和信道编码
4.1 离散无记忆信道和信道容量 4.2 信道容量的计算
4.3 信道编码理论 4.4 带反馈的信道模型 4.5 联合信源-信道编码定理 4.6 线性分组码 习题四
7
8
接入信道容量的分析与寻呼信道不一样，寻呼信道用于前 向链路，容量的分析主要在于对寻呼信道占用率的计算， 而接入信道用于反向链路，对 CDMA 系统来说，反向链 路容量主要用于干扰的分析。即使采用时隙化的随机接入 协议，接入信道也可能有较高的通过量，大量的接入业务 会在反向链路中产生无法接受的干扰。如前所述，第一个 接入试探失败后，下一个接入试探将增加一定量的功率， 最终的结果将导致小区接收功率的增加以及反向链路容量 的减少。
p p1 p 1
将p=3/5代入（2），得到信道容为:C=0.32bit/sym.
20
信道容量的计算
2 达到信道容量输入分布的充要条件
令
I (xi ;Y )
s j 1
p( y j
|
xi ) log
p( y j | xi ) p( yj )
def
D(Q( y |
x) ||
p( y))
定理4.2.2 一般离散信道的互信息I(X；Y)达到极大值
1 信道容量的计算原理
C是选择不同的输入概率分布p(x),在满足
∑p(x)=1条件下，求互信息的极大值：
I(X ;Y )
r i 1
s j 1
p(xi ) p( y j | xi ) log
p( y j | xi ) p(yj )
Lagrange乘子
法
17
信道容量的计算
例1、设某二进制数字传输系统接收判决器
6
数据可靠传输和信道编码
4.1 离散无记忆信道和信道容量 4.2 信道容量的计算
4.3 信道编码理论 4.4 带反馈的信道模型 4.5 联合信源-信道编码定理 4.6 线性分组码 习题四
7
8
接入信道容量的分析与寻呼信道不一样，寻呼信道用于前 向链路，容量的分析主要在于对寻呼信道占用率的计算， 而接入信道用于反向链路，对 CDMA 系统来说，反向链 路容量主要用于干扰的分析。即使采用时隙化的随机接入 协议，接入信道也可能有较高的通过量，大量的接入业务 会在反向链路中产生无法接受的干扰。如前所述，第一个 接入试探失败后，下一个接入试探将增加一定量的功率， 最终的结果将导致小区接收功率的增加以及反向链路容量 的减少。
第三章信道及信道容量PPT课件
第三章 信道及信道容量
第一节 信道分类及表示参数 第二节 单符号离散信道及其容量 第三节 离散序列信道及其容量 第四节 连续信道及其容量
05.12.2020
1
研究信道容量的意义?
信道是信息传输的通道。由于干扰而丢失的信息为 H(X|Y ); 在接收端获取的关于发送端信源X的信息量是：
I(X;Y)＝H(X)-H(X|Y) 即：信道中平均每个符号传送的信息量。对于信道,所关心的问 题是平均每个符号传送的最大信息量。这就是信道容量C=max I(X;Y) bit/符号
每个数字对应一种颜色（反之未必），数字已知，则颜色确 定，H(X|Y)=0。H(X,Y)=H(Y)=…..
6、2.21（3）信号放大问题。课上已经强调过，仍出错。
7、向孔祥品学习
05.12.2020
9
复习：第四节 连续信源的熵和互信息
一、单符号连续信源的熵 相对熵（差熵）
H c(X ) p X (x)lop X g (x)dx Hc(XY )p(xy)lopg(xy)dxdy Hc(Y/X )p(xy)lopg(y/x)dxdy
(2) 离散无记忆信道(DMC-Discrete Memoryless Channel)
仍是单符号离散信道，符号集中的符号数目大于2 。
05.12.2020
7
转移概率矩阵（传递阵矩）P :
P11 P12 P1m
P [
P ij
]
P21
P22
P2m
Pn1
Pn2
Pnm
m
m
转移概率矩 元阵 素中 之 1。 各 和 P(b 行 j等 |ai)的 于 Pij1
2 Pm2,通常m0,2 P,此时有：
H0C5.1(2X.202)0
第一节 信道分类及表示参数 第二节 单符号离散信道及其容量 第三节 离散序列信道及其容量 第四节 连续信道及其容量
05.12.2020
1
研究信道容量的意义?
信道是信息传输的通道。由于干扰而丢失的信息为 H(X|Y ); 在接收端获取的关于发送端信源X的信息量是：
I(X;Y)＝H(X)-H(X|Y) 即：信道中平均每个符号传送的信息量。对于信道,所关心的问 题是平均每个符号传送的最大信息量。这就是信道容量C=max I(X;Y) bit/符号
每个数字对应一种颜色（反之未必），数字已知，则颜色确 定，H(X|Y)=0。H(X,Y)=H(Y)=…..
6、2.21（3）信号放大问题。课上已经强调过，仍出错。
7、向孔祥品学习
05.12.2020
9
复习：第四节 连续信源的熵和互信息
一、单符号连续信源的熵 相对熵（差熵）
H c(X ) p X (x)lop X g (x)dx Hc(XY )p(xy)lopg(xy)dxdy Hc(Y/X )p(xy)lopg(y/x)dxdy
(2) 离散无记忆信道(DMC-Discrete Memoryless Channel)
仍是单符号离散信道，符号集中的符号数目大于2 。
05.12.2020
7
转移概率矩阵（传递阵矩）P :
P11 P12 P1m
P [
P ij
]
P21
P22
P2m
Pn1
Pn2
Pnm
m
m
转移概率矩 元阵 素中 之 1。 各 和 P(b 行 j等 |ai)的 于 Pij1
2 Pm2,通常m0,2 P,此时有：
H0C5.1(2X.202)0
离散信道及容量
P(y 0) P(x) P(0 | x) p (1) p p p
平均信息量之和； H XY H X H Y
(b)一个符号不能提供有关另一符号的任何信息。
IX ;Y IY; X 0
HX ,Y 0
当两个信源相关时 (a)联合熵小于两个信源的熵的和:
H XY H X H Y
(b)平均互信息量等于两信源熵重合的部分； (c)信源的条件熵等于其熵减去平均互信息量：
3. 平均互信息的交换性（对称性）
I (X ;Y ) I (Y; X )
4. 平均互信息 I ( X ; Y ) 的凸状性
I ( X ;Y ) P(xy) log P( y | x)
X ,Y
P( y)
P(x)P( y | x) log X ,Y
P( y | x) P(x)P( y | x)
p0 / 0 0.99
0
0
p0 /1 0.01
p1/ 0 0.01
错误的概率为0.01。
1
1
即有
p1/1 0.99
p yi / xi p0/ 0 p1/1 0.99
p yj / xi p1/ 0 p0 /1 0.01 i j
转移矩阵
pY / X p y j / xi
满足其的充要条件是：
N
P(Y X ) p( y1y2...yN x1x2...xN ) p( yi xi ) i1
对任意的N值和x,y值上式都成立。
3.有干扰有记忆信道 信道中某一瞬间的输出符号不但与对应时刻的输入符号 有关，而且还与此前其它时刻信道的输入符号有关，则该信 道称有记忆信道。 此时 P(Y X ) 不满足：
p(xi ) p( y j
N
xi )
平均信息量之和； H XY H X H Y
(b)一个符号不能提供有关另一符号的任何信息。
IX ;Y IY; X 0
HX ,Y 0
当两个信源相关时 (a)联合熵小于两个信源的熵的和:
H XY H X H Y
(b)平均互信息量等于两信源熵重合的部分； (c)信源的条件熵等于其熵减去平均互信息量：
3. 平均互信息的交换性（对称性）
I (X ;Y ) I (Y; X )
4. 平均互信息 I ( X ; Y ) 的凸状性
I ( X ;Y ) P(xy) log P( y | x)
X ,Y
P( y)
P(x)P( y | x) log X ,Y
P( y | x) P(x)P( y | x)
p0 / 0 0.99
0
0
p0 /1 0.01
p1/ 0 0.01
错误的概率为0.01。
1
1
即有
p1/1 0.99
p yi / xi p0/ 0 p1/1 0.99
p yj / xi p1/ 0 p0 /1 0.01 i j
转移矩阵
pY / X p y j / xi
满足其的充要条件是：
N
P(Y X ) p( y1y2...yN x1x2...xN ) p( yi xi ) i1
对任意的N值和x,y值上式都成立。
3.有干扰有记忆信道 信道中某一瞬间的输出符号不但与对应时刻的输入符号 有关，而且还与此前其它时刻信道的输入符号有关，则该信 道称有记忆信道。 此时 P(Y X ) 不满足：
p(xi ) p( y j
N
xi )
通信原理第八章-离散信道及信道容量
第八章 离散信道及信道容量
信道，顾名思义就是信号的通道。图 8.1 中位于调制器和解调器之间的信道指用来传 输电信号的传输介质，如电缆，光缆，自由空间等，我们把这样的信道称为狭义信道。狭 义信道的输入为波形信号，输出为连续信号。还有一种定义即凡是信号经过的路径都称为 信道，这就是广义信道的概念。如图 8.1 所示，由调制器，信道和解调器构成了一个广义 编码信道。编码信道的输入和输出均为数字信号，因此，我们也将这类信道称为离散信道。
P(a������b������) = P(a������)������(b������|a������) = P(b������)P(a������|b������)
（8.5）
其中 ������(b������|a������)是信道传递概率，即发送为a������，通过信道传输接收到为b������的概率。通常称为前向
(������ = 1,2, … , ������ ������ = 1,2, … ������) （8.7）
8.2 平均互信息及平均条件互信息 在阐明了离散单符号信道的数学模型，即给出了信道输入与输出的统计依赖关
系以后，我们将深入研究在此信道中信息传输的问题。
8.2.1 损失熵和噪声熵
信道输入信号 x 的熵为
I(X, Y) = ������(������) − H(������|������)
（8.12）
I(X, Y)称为 X 和 Y 之间的平均互信息。它代表接收到输出符号后平均每个符号获得的关于 X
的信息量。根据式（8.8）和式（8.11）得
I(X; Y)
=
∑������,������
������(������������)
H (Y
X)
信道，顾名思义就是信号的通道。图 8.1 中位于调制器和解调器之间的信道指用来传 输电信号的传输介质，如电缆，光缆，自由空间等，我们把这样的信道称为狭义信道。狭 义信道的输入为波形信号，输出为连续信号。还有一种定义即凡是信号经过的路径都称为 信道，这就是广义信道的概念。如图 8.1 所示，由调制器，信道和解调器构成了一个广义 编码信道。编码信道的输入和输出均为数字信号，因此，我们也将这类信道称为离散信道。
P(a������b������) = P(a������)������(b������|a������) = P(b������)P(a������|b������)
（8.5）
其中 ������(b������|a������)是信道传递概率，即发送为a������，通过信道传输接收到为b������的概率。通常称为前向
(������ = 1,2, … , ������ ������ = 1,2, … ������) （8.7）
8.2 平均互信息及平均条件互信息 在阐明了离散单符号信道的数学模型，即给出了信道输入与输出的统计依赖关
系以后，我们将深入研究在此信道中信息传输的问题。
8.2.1 损失熵和噪声熵
信道输入信号 x 的熵为
I(X, Y) = ������(������) − H(������|������)
（8.12）
I(X, Y)称为 X 和 Y 之间的平均互信息。它代表接收到输出符号后平均每个符号获得的关于 X
的信息量。根据式（8.8）和式（8.11）得
I(X; Y)
=
∑������,������
������(������������)
H (Y
X)
信息论基础离散无记忆信道信道容量
存储的最大信息量，即信息无差错传输的最大 速
率 ，就是信道容量问题.
12
第13页/共23页
信道容量
带宽 :信道可以不失真地传输信号的频率范围。为不同应用而设 计的
传输媒体所支持的带宽有所不同；在现代网络技术中， “带宽” 表示
信道的数据传输速率.
信道容量:信道在单位时间内可以传输的最大信号量，表示信道 的传
p
[P]=
1
p
1-p
p称为交叉 概率误差！
0
1-p 0
p
p
1
1-p
1
19
第20页/共23页
离散无记忆信道和信道容量
如果信道的输入概率分布X={w,1-w}，则
I (X ;Y ) H ( p p) H ( p)
由此可得
20
第21页/共23页
离散无记忆信道和信道容量
平均互信息对 即当
有极大值
I (X ;Y )
p(x, y) log p(x, y)
xX yY
p(x) p(y)
p(x) Q( y | x) log
xX
yY
Q(y | x) p(x)Q( y | x)
xX
15
第16页/共23页
离散无记忆信道和信道容量
通常，P(xi)称为信道的入口分布 P(yi)称为信道的出口分布 i(x;y)=logP(x,y)/P(x)P(y)为入口与
（1）有记忆信道
（2）无记忆信道
（任一时刻输出符号只统计依赖于对应时刻输入符 号的
信道）
7
第8页/共23页
离散无记忆信道
根据输入输出信号的特点，可分为
（1）离散信道
数字信道以数字 脉冲形式（离散 信号）传输数据
4-第四讲 信道容量及其计算
4 －2
信道容量的计算
（1）、对称信道的容量 ） 对称信道： 对称信道：信道矩阵的每一行都是由同一概率分布的 不同排列组成， 不同排列组成，并且每一列也是同一元素 集的不同的排列组成。 集的不同的排列组成。 1 2 1 1 1 1 3 3 6 6 1 P= , P= 6 1 1 1 1 6 6 3 3 1 3
（2）、准对称信道的容量 ）、准对称信道的容量 准对称信道：信道矩阵（ 准对称信道：信道矩阵（列）的子阵是对称矩阵。 的子阵是对称矩阵。
1 3 P= 1 6 1 3 1 3 1 6 1 6 1 6 , 1 3 0.7 0.1 0.2 P= 0.2 0.1 0.7
（与公式计算的结果相同）
此时平均互信息就是信道容量
C = (1− p − q) log(1− p − q) 2 + p log p + (1− q) log (1− q)
此例题可作为后面： 此例题可作为后面：一般信道容量充分必要条件定理 的例子。该定理说明： 的例子。该定理说明：只要信源每个符号对于输出端 Y提供相同的互信息（概率为零的除外），则此时 提供相同的互信息（概率为零的除外），则此时 提供相同的互信息 ）， 平均互信息就是信道容量。 平均互信息就是信道容量。
; I ( X;Y) = px (0)I (x = 0; y) + p1(1)I (x =1 y) 1 P( y | x = 0) 1 P( y | x =1) = ∑P( y | x = 0) log + ∑P( y | x =1) log 2 y 2 y P( y) P( y) 1 P(0 | 0) P(1| 0) P(2 | 0) = [P(0 | 0) log + P(1| 0) log + P(2 | 0) log ] 2 Py (0) Py (1) Py (2) 1 P(0 |1) P(1|1) P(2 |1) + [P(0 |1) log + P(1|1) log + P(2 | 1) log ] Py (2) 2 Py (0) Py (1) 1 1 = [(1− q) log 2 + 0 + qlog1] + [0 + (1− q) log 2 + qlog1] 2 2 = 1− q
第5章 离散信道的信道容量
N N p( x ) i 1 i 1 p( x )
i
i 1
C N NC
华北电力大学电子与通信工程系
7
第五章
离散信道的信道容量
主讲：尼俊红
（1）若输入的N个符号统计独立，即信源离散无记忆,根据[定理2.3]有：
I ( X ; Y ) I ( X i ;Y j )
N N i 1
N
（信源无记忆，则信道输入、输出符号序列间的平均互信息量I （XN；YN）大于等于各单个符号间平均互信息量的总和 ） （2）对每个i，输入分布p (xi) 可使I (Xi; Yj) 达到信道容量C，则：
j 1
6
1 1/ 2 1 1/ 2 log log log 3 2 1/ 6 2 1/ 3
I ( x3 ; Y ) p( y j / x3 ) log
j 1
6
p( y j / x3 ) p( y j )
1 1/ 6 2 2/6 3 3/ 6 log log log log 3 6 1/18 6 1/ 9 6 1/ 6
i 1
3
0 0 0 0 1 0 P 0 1 / 2 1 / 2 0 0 0 0 0 0 1 / 6 2 / 6 3 / 6
先根据计算出p(yj)（j =1，2，3，4，5，6）
1 1 p( y1 ) p( xi ) p( y1 / xi ) 1 i 1 3 3 3 1 1 1 p( y2 ) p( x i ) p( y 2 / x i ) i 1 3 2 6 3 1 1 1 p( y3 ) p( xi ) p( y3 / xi ) i 1 3 2 6 6 p( y j ) 1 3 1 1 1 j 1 p( y4 ) p( x i ) p( y4 / x i ) i 1 3 6 18 3 1 2 1 p( y5 ) p( xi ) p( y5 / xi ) i 1 3 6 9 3 1 3 1 p ( y6 ) p ( x i ) p ( y 6 / x i ) i 1 3 6 6
i
i 1
C N NC
华北电力大学电子与通信工程系
7
第五章
离散信道的信道容量
主讲：尼俊红
（1）若输入的N个符号统计独立，即信源离散无记忆,根据[定理2.3]有：
I ( X ; Y ) I ( X i ;Y j )
N N i 1
N
（信源无记忆，则信道输入、输出符号序列间的平均互信息量I （XN；YN）大于等于各单个符号间平均互信息量的总和 ） （2）对每个i，输入分布p (xi) 可使I (Xi; Yj) 达到信道容量C，则：
j 1
6
1 1/ 2 1 1/ 2 log log log 3 2 1/ 6 2 1/ 3
I ( x3 ; Y ) p( y j / x3 ) log
j 1
6
p( y j / x3 ) p( y j )
1 1/ 6 2 2/6 3 3/ 6 log log log log 3 6 1/18 6 1/ 9 6 1/ 6
i 1
3
0 0 0 0 1 0 P 0 1 / 2 1 / 2 0 0 0 0 0 0 1 / 6 2 / 6 3 / 6
先根据计算出p(yj)（j =1，2，3，4，5，6）
1 1 p( y1 ) p( xi ) p( y1 / xi ) 1 i 1 3 3 3 1 1 1 p( y2 ) p( x i ) p( y 2 / x i ) i 1 3 2 6 3 1 1 1 p( y3 ) p( xi ) p( y3 / xi ) i 1 3 2 6 6 p( y j ) 1 3 1 1 1 j 1 p( y4 ) p( x i ) p( y4 / x i ) i 1 3 6 18 3 1 2 1 p( y5 ) p( xi ) p( y5 / xi ) i 1 3 6 9 3 1 3 1 p ( y6 ) p ( x i ) p ( y 6 / x i ) i 1 3 6 6
离散信道容量
2 2 2 2 2
P(x1y1) = P(x1) P(y1|x1) = 0.5×0.98 = 0.49
即对于一定的信道转移概率分布，总可以找到某 P(x y ) = P(x ) P(y |x ) = 0.5×0.80 = 0.40
一个先验概率分布的信源 X，使平均交互信息量达到 n pmax (yj) p( xi ) p( y j | xi ) ，求Y集合中各符号 （2）根据 I 相应的最大值 ，称此信源为该信道的匹配信源。
（ 3）根据 P(xi是信源概率分布 |yj) = P(xi yj)/P(yj) ，求各后验概率，得 平均互信息 I(X;Y) P(X) 的∩型凸函数
P(x1| y1) = P(x1y1)/ P(y1) = 0.49/0.59 = 0.831 即对于一定的信道转移概率分布，总可以找到某 P(x2| y1) = P(x2y1)/ P(y1) = 0.10/0.59 = 0.169 一个先验概率分布的信源 ，使平均交互信息量达到 P(x1| y2) = P(x1y2)/ P(X y2 ) = 0.01/0.41 = 0.024 相应的最大值 ，称此信源为该信道的匹配信源。 P(x | y ) I =max P(x y )/ P(y ) = 0.40/0.41 = 0.976
称I(X;Y)是Y对X的平均互信息量（简称平均互信息/平 均交互信息量/交互熵）。 X对Y的平均互信息定义为
I (Y ; X ) p( xi y j ) I ( y j ; xi ) p( xi y j )log 2
i 1 j 1 i 1 j 1
n
m
n
m
p ( y j / xi ) p( y j )
p11 p1s P(b / a ) p p j i ij p2 s P 21 ... pr1 prs p12 ... p1s p2 s ... prs
P(x1y1) = P(x1) P(y1|x1) = 0.5×0.98 = 0.49
即对于一定的信道转移概率分布，总可以找到某 P(x y ) = P(x ) P(y |x ) = 0.5×0.80 = 0.40
一个先验概率分布的信源 X，使平均交互信息量达到 n pmax (yj) p( xi ) p( y j | xi ) ，求Y集合中各符号 （2）根据 I 相应的最大值 ，称此信源为该信道的匹配信源。
（ 3）根据 P(xi是信源概率分布 |yj) = P(xi yj)/P(yj) ，求各后验概率，得 平均互信息 I(X;Y) P(X) 的∩型凸函数
P(x1| y1) = P(x1y1)/ P(y1) = 0.49/0.59 = 0.831 即对于一定的信道转移概率分布，总可以找到某 P(x2| y1) = P(x2y1)/ P(y1) = 0.10/0.59 = 0.169 一个先验概率分布的信源 ，使平均交互信息量达到 P(x1| y2) = P(x1y2)/ P(X y2 ) = 0.01/0.41 = 0.024 相应的最大值 ，称此信源为该信道的匹配信源。 P(x | y ) I =max P(x y )/ P(y ) = 0.40/0.41 = 0.976
称I(X;Y)是Y对X的平均互信息量（简称平均互信息/平 均交互信息量/交互熵）。 X对Y的平均互信息定义为
I (Y ; X ) p( xi y j ) I ( y j ; xi ) p( xi y j )log 2
i 1 j 1 i 1 j 1
n
m
n
m
p ( y j / xi ) p( y j )
p11 p1s P(b / a ) p p j i ij p2 s P 21 ... pr1 prs p12 ... p1s p2 s ... prs
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
第2章 信道及其容量
信道的任务是以信号方式传输信息和存储信息。 研究信道中能够传送或存储的最大信息量，即信道容量。
2.1
信道的数学模型和分类
干扰源
信源
编码器
调制器
物理信道 实际信道
解调器
译码器
信宿
编码信道
等效信道
图2.1.1 数字通信系统的一般模型
一、信道的分类
根据载荷消息的媒体不同
邮递信道
C max { I ( X ;Y )}
解：X:{0，1} Y:{0，1，2} 此时，r ＝2，s ＝3， 传递矩阵为：
0 0 1 2 1
1－ p
q
1
p 1 p 0 0 1 q q
符号“2”表示接收到了“0”、“1”以外的特殊符 号
• 一般离散单符号信道的传递概率可用矩阵形式表示，即 b1 b2 … bs
a1 P(b1|a1) P(b2|a1) … P(bs|a1) a2 P(b1|a2) P(b2|a2) … P(bs|a2) … …. … …
R = I(X;Y) = H(X) – H(X|Y) (比特/符号)
• 信道中每秒平均传输的信息量----信息传输速率Rt (设传递一个符号用时为t).
Rt ＝ R/t = I(X;Y)/t = H(X)/t – H(X|Y)/t （比特/秒）
一、 信道容量的定义
I ( X ; Y ) I (Y ; X ) P( xy ) log
a1 a2 b1 b2
X
.
. ar
P(bj/ai)
.
. bs
Y
[例1] 二元对称信道，[BSC，Binary Symmetrical Channel] 解：此时，X:{0,1} ; Y:{0,1} ; r=s=2，a1=b1=0；a2=b2=1。 传递概率: 1－p
P (b1 | a1 ) P (0 | 0) 1 p p P (b2 | a2 ) P (1 | 1) 1 p p P (b1 | a2 ) P (0 | 1) p P (b2 | a1 ) P (1 | 0) p
i 1
N
(3) 有干扰(噪声)有记忆信道
实际信道往往是既有干扰(噪声)又有记忆的这种类 型。 例如在数字信道中，由于信道滤波使频率特性不理 想时造成了码字之间的干扰。
在这一类信道中某一瞬间的输出符号不但与对应时 刻的输入符号有关，而且还与此以前其他时刻信道的输 入符号及输出符号有关，这样的信道称为有记忆信道。
X ,Y
P( y | x) P( y | x) P( x)P( y | x) log P( y ) P( y ) X ,Y
其中：P( y) P( x)P( y | x)
X
由于平均互信息I(X;Y)是输入随机变量的∩型凸函数 ， 所以对一固定的信道，总存在一种信源，使传输每个符号 平均获得的信息量最大。 即存在一个最大的信息传输率 ------定义为信道容量C
电信道
光信道 声信道 输入和输出信号的形式
根据信息传输的方式
信道的统计特性
信道的用户多少
根据信息传输的方式分类中 根据信道的用户多少：两端(单用户)信道 多端(多用户)信道 根据信道输入端和输出端的关联： 无反馈信道 反馈信道 根据信道的参数与时间的关系： 固定参数信道 时变参数信道 根据输入和输出信号的特点： 离散信道 连续信道 半离散或半连续信道 波形信道
a2=1 a1=0
0=b1
p
p
1－ p
1=b2
• p是单个符号传输发生错误的概率。 •（1-p）表示是无错误传输的概率。 • 转移矩阵:
0 1
0 1 - p
1 p
p 1 p
[例2]二元删除信道。[BEC，Binary Eliminat1－ q 1
P中有些是信道干扰引起的错误概率，有些是信道正确 传输的概率。所以该矩阵又称为信道矩阵（转移矩阵） 。
2.2
离散信道的信道容量
• 研究信道的目的是要讨论信道中平均每个符号所 能传送的信息量-----信息传输率R • 平均互信息I(X;Y)就是接收到符号Y后平均每个 符号获得的关于X的信息量。
• 所以：
s
ar P(b1|ar) P(b2|ar) … P(bs|ar)
p11 p P 21 : p r1
p12 p 22 : pr 2
p1s ... p 2 s : : ... p rs ...
pij 0
p
j 1
ij
1
矩阵P完全描述了信道的特性，可用它作为离散单符号 信道的另一种数学模型的形式。
y ＝ f (x)
1 y f ( x ) P( y | x ) 0 y f ( x )
(2)有干扰无记忆信道 • 信道输入和输出之间的条件概率是一般的概率分布。 • 如果任一时刻输出符号只统计依赖于对应时刻的输入符号， 则这种信道称为无记忆信道。
P( y | x ) P( y1y 2...y N | x1x2...xN ) P( y i | xi )
三、单符号离散信道
•
单符号离散信道：
输入符号为X，取值于{a1,a2, …,ar}。
输出符号为Y，取值于{b1,b2, …,bs}。 条件概率：P(y/x)＝P(y=bj/x=ai)＝P(bj/ai) 这一组条件概率称为信道的传递概率或转移概率，可以用 来描述信道干扰影响的大小。
• 信道中有干扰(噪声)存在，可以用传递概率 P(bj/ai) 来描 述干扰影响的大小。 • 一般简单的单符号离散信道可以用[X, P(y/x) ,Y] 三者加 以描述。 • 其数学模型可以用概率空间[X, P(y/x) ,Y]描述。当然， 也可用下图来描述：
二、离散信道的数学模型
条件概率 P(y/x) 描述了输入信号和输出信号之间统计 依赖关系。反映了信道的统计特性。
• 根据信道的统计特性即条件概率 P(y/x)的不同，离散 信道又可分成三种情况： • 无干扰信道 • 有干扰无记忆信道
• 有干扰有记忆信道
(1)无干扰(噪声)信道
信道中没有随机性的干扰或者干扰很小，输出信号 y与输入信号 x 之间有确定的、一 一对应的关系。即：
信道的任务是以信号方式传输信息和存储信息。 研究信道中能够传送或存储的最大信息量，即信道容量。
2.1
信道的数学模型和分类
干扰源
信源
编码器
调制器
物理信道 实际信道
解调器
译码器
信宿
编码信道
等效信道
图2.1.1 数字通信系统的一般模型
一、信道的分类
根据载荷消息的媒体不同
邮递信道
C max { I ( X ;Y )}
解：X:{0，1} Y:{0，1，2} 此时，r ＝2，s ＝3， 传递矩阵为：
0 0 1 2 1
1－ p
q
1
p 1 p 0 0 1 q q
符号“2”表示接收到了“0”、“1”以外的特殊符 号
• 一般离散单符号信道的传递概率可用矩阵形式表示，即 b1 b2 … bs
a1 P(b1|a1) P(b2|a1) … P(bs|a1) a2 P(b1|a2) P(b2|a2) … P(bs|a2) … …. … …
R = I(X;Y) = H(X) – H(X|Y) (比特/符号)
• 信道中每秒平均传输的信息量----信息传输速率Rt (设传递一个符号用时为t).
Rt ＝ R/t = I(X;Y)/t = H(X)/t – H(X|Y)/t （比特/秒）
一、 信道容量的定义
I ( X ; Y ) I (Y ; X ) P( xy ) log
a1 a2 b1 b2
X
.
. ar
P(bj/ai)
.
. bs
Y
[例1] 二元对称信道，[BSC，Binary Symmetrical Channel] 解：此时，X:{0,1} ; Y:{0,1} ; r=s=2，a1=b1=0；a2=b2=1。 传递概率: 1－p
P (b1 | a1 ) P (0 | 0) 1 p p P (b2 | a2 ) P (1 | 1) 1 p p P (b1 | a2 ) P (0 | 1) p P (b2 | a1 ) P (1 | 0) p
i 1
N
(3) 有干扰(噪声)有记忆信道
实际信道往往是既有干扰(噪声)又有记忆的这种类 型。 例如在数字信道中，由于信道滤波使频率特性不理 想时造成了码字之间的干扰。
在这一类信道中某一瞬间的输出符号不但与对应时 刻的输入符号有关，而且还与此以前其他时刻信道的输 入符号及输出符号有关，这样的信道称为有记忆信道。
X ,Y
P( y | x) P( y | x) P( x)P( y | x) log P( y ) P( y ) X ,Y
其中：P( y) P( x)P( y | x)
X
由于平均互信息I(X;Y)是输入随机变量的∩型凸函数 ， 所以对一固定的信道，总存在一种信源，使传输每个符号 平均获得的信息量最大。 即存在一个最大的信息传输率 ------定义为信道容量C
电信道
光信道 声信道 输入和输出信号的形式
根据信息传输的方式
信道的统计特性
信道的用户多少
根据信息传输的方式分类中 根据信道的用户多少：两端(单用户)信道 多端(多用户)信道 根据信道输入端和输出端的关联： 无反馈信道 反馈信道 根据信道的参数与时间的关系： 固定参数信道 时变参数信道 根据输入和输出信号的特点： 离散信道 连续信道 半离散或半连续信道 波形信道
a2=1 a1=0
0=b1
p
p
1－ p
1=b2
• p是单个符号传输发生错误的概率。 •（1-p）表示是无错误传输的概率。 • 转移矩阵:
0 1
0 1 - p
1 p
p 1 p
[例2]二元删除信道。[BEC，Binary Eliminat1－ q 1
P中有些是信道干扰引起的错误概率，有些是信道正确 传输的概率。所以该矩阵又称为信道矩阵（转移矩阵） 。
2.2
离散信道的信道容量
• 研究信道的目的是要讨论信道中平均每个符号所 能传送的信息量-----信息传输率R • 平均互信息I(X;Y)就是接收到符号Y后平均每个 符号获得的关于X的信息量。
• 所以：
s
ar P(b1|ar) P(b2|ar) … P(bs|ar)
p11 p P 21 : p r1
p12 p 22 : pr 2
p1s ... p 2 s : : ... p rs ...
pij 0
p
j 1
ij
1
矩阵P完全描述了信道的特性，可用它作为离散单符号 信道的另一种数学模型的形式。
y ＝ f (x)
1 y f ( x ) P( y | x ) 0 y f ( x )
(2)有干扰无记忆信道 • 信道输入和输出之间的条件概率是一般的概率分布。 • 如果任一时刻输出符号只统计依赖于对应时刻的输入符号， 则这种信道称为无记忆信道。
P( y | x ) P( y1y 2...y N | x1x2...xN ) P( y i | xi )
三、单符号离散信道
•
单符号离散信道：
输入符号为X，取值于{a1,a2, …,ar}。
输出符号为Y，取值于{b1,b2, …,bs}。 条件概率：P(y/x)＝P(y=bj/x=ai)＝P(bj/ai) 这一组条件概率称为信道的传递概率或转移概率，可以用 来描述信道干扰影响的大小。
• 信道中有干扰(噪声)存在，可以用传递概率 P(bj/ai) 来描 述干扰影响的大小。 • 一般简单的单符号离散信道可以用[X, P(y/x) ,Y] 三者加 以描述。 • 其数学模型可以用概率空间[X, P(y/x) ,Y]描述。当然， 也可用下图来描述：
二、离散信道的数学模型
条件概率 P(y/x) 描述了输入信号和输出信号之间统计 依赖关系。反映了信道的统计特性。
• 根据信道的统计特性即条件概率 P(y/x)的不同，离散 信道又可分成三种情况： • 无干扰信道 • 有干扰无记忆信道
• 有干扰有记忆信道
(1)无干扰(噪声)信道
信道中没有随机性的干扰或者干扰很小，输出信号 y与输入信号 x 之间有确定的、一 一对应的关系。即：