第三章 信号容量 知识点归纳
第三章 信道与信道容量 习题解答
，
，求
，
，
和
；
（2） 求该信道的信道容量及其达到信道容量时的输入概率分布。
解：
（1）先写出
：
根据公式
计算联合概率：
信宿端符号分布概率：
根据公式
计算：
3
求各熵： 信源熵：
比特/消息
信宿熵：
比特/消息
可疑度：
平均互信息量： 噪声熵： （2）二元对称离散信道的信道容量：
比特/消息 比特/消息
比特/秒
信源等概分布时（
解：设下标 1为原状况，下标 2为改变后状况。由
可得：
，
倍
如果功率节省一半则
倍 ，为 了 使 功 率 节 省 一 半 又 不 损 失 信 息 量 I，根 据
，可以： （1） 加大信道带宽 W，用带宽换取信噪比
，
，
7
缺点是对设备要求高。 （2） 加大传输时间 T，用传输时间换取信噪比，同理可得：
缺点是传输速度降低了。
噪声熵：
（5）平均互信息量：
2．有一个生产 A、B、C、D四种消息的信源其出现的概率相等，通过某一通信系统传输时，B和 C无误，A 以 1/4概率传为 A，以 1/4概率误传为 B、C、D，而 D以 1/2概率正确传输，以 1/2概率误传为 C，
（1）试求其可疑度？（2）收到的信号中哪一个最可靠？（3）散布度为多少？ 解：（1）
，
将各数据代入： 解得：
如果
则
将各数据代入： 解得：
14.在理想系统中，若信道带宽与消息带宽的比为 10，当接收机输入端功率信噪比分别为 0.1和 10时，试
比较输出端功率信噪比的改善程度，并说明
与
之间是否存在阀值效应。
第三章 信道模型和信道容量
这是可知疑义度H(X/Y)=0，平均交互信息量达到最大值 I(X,Y)=H(X)，C=logr。从平均意义上讲，这种信道可以把信源 的信息全部传递道信宿。这种每列只有一个非0元素的信道也 是一种无噪声信道，称为无噪声信道。
确定信道
这类信道的转移概率等于1或者等于0， 每一列的元素可有一个或多个1，可知其 噪声熵H(Y/X)=0，此时的平均交互信息 量达到最大值。
离散信道
X
P(Y/X)
Y
离散信道分类： 无干扰信道 有干扰无记忆信道 有干扰有记忆信道
离散信道三种表达方式
概率空间描述 X={a1,a2,……ar} P(Y/X)={p(bj/ai)}
j=1,2,……s) Y={b1,b2,……bs} 0≤p(bj/ai)≤1
(i=1,2,……r;
转移矩阵描述
信道组合
串联信道 并联信道
4.4 时间离散的无记忆连续 信道
可加噪声信道
P(y|x)=p(y-x)=p(z)
Hc (Y | X ) Hc (Z ) I (X ;Y ) Hc (Y ) Hc (Z )
可加噪声信道
高斯噪声信道
I
(X
;Y
)
H
(Y
)
Hc
(X
)
1 2
log(1
2 x 2 z
)
例已知一个二元信源连接一个二元信道， 如图给出。X={x1,x2}, [p(xi)]={1/2,1/2}
求I(X；Y)，H(X,Y)，H(X/Y)，和H(Y/X)。
信道容量
C max R max I (X ;Y )bit / 符号
PX
PX
1
Ct
max PX
Rt
第三章离散信道及其信道容量
p(ym/x1)
p(ym/x2) … p(ym/xn)
第一节 信道的数学模型及分类 为了表述简便，可以写成 P(bj / ai ) pij
p11 p P 21 ... pr1 p12 ... p22 ... pr 2 ... p1s p2 s ... prs
i 1 r
P(aibj ) P(ai )P(bj / ai ) P(bj )P(ai / bj )
（3）后验概率
P(ai / b j )
P(aib j ) P(b j )
P(a / b ) 1
i 1 i j
r
表明输出端收到任一符号，必定是输入端某一符号 输入所致
第二节 平均互信息
第三节 平均互信息的特性
1、平均互信息的非负性 I(X;Y)>=0 该性质表明，通过一个信道总能传递一些信息，最 差的条件下，输入输出完全独立，不传递任何信息，互 信息等于0，但决不会失去已知的信息。
2、平均互信息的极值性
I(X;Y)<=H(X) 一般来说，信到疑义度总是大于0，所以互信息总是 小于信源的熵，只有当信道是无损信道时，信道疑义度 等于0，互信息等于信源的熵。
C max{I ( X , Y )} max{H ( X ) H ( X / Y )}
P( X ) P( X )
信道容量与与信源无关，它是信道的特征参数，反 应的是信道的最大的信息传输能力。 对于二元对称信道，由图可以看出信道容量等于 1-H(P)
第四节 信道容量及其一般计算方法
1、离散无噪信道的信道容量 （1）具有一一对应关系的无噪声信道 x1 x2 x3 I(X;Y)=H(X)=H(Y) y1 y2 y3
信号与系统第三章知识点总结
∫
T
x (t ) e
1 ak = N
n =< N >
∑ x ( n )e
− jk
相似处：1.信号都可以表示为成谐波关系的复指数信 号的线性组合 2.傅立叶级数系数是离散的 3.求解傅立叶级数系数的方法相似 不同处：1.离散域仅N个复指数信号累加 2.离散域傅立叶级数系数是周期的 3.连续域存在收敛问题，而离散域无该问题
k =< N >
∑ a H (e
k
j
2π k N
)e
j
2π kn N
− st
H ( s ) = ∫ h (t )e dt
−∞
∞
H ( jω ) = ∫ h (t )e − jω t dt
−∞
∞
H ( z) =
n =−∞
∞
∑
∞
h( n) z
−n
H ( e jω ) =
n = −∞
∑
∞
h ( n ) e − jω n
y(t ) =
y(n) =
k =−∞
ak H ( jkω0 )e jkω0t ∑
第三章需要重点掌ቤተ መጻሕፍቲ ባይዱ的知识点
2.傅立叶级数的物理意义 表征信号在不同频率点的强度，是频域分析的 一种方法。
3.傅里叶级数的性质 表3.1 表3.2
第三章需要重点掌握的知识点
4.傅立叶级数的收敛 仅连续时间傅里叶级数存在收敛问题 （1）平方可积
∫
T0
x(t ) dt < ∞
2
（2）狄里赫利条件
5.傅立叶级数与LTI系统 系统函数 频率响应
第三章需要重点掌握的知识点
1.傅立叶级数的表示方法
第三章 信道容量-3
P ( xy ) log
1 P(x | y)
24
信道疑义度表示在输出端收到输出变量Y的符号
后，对于输入端的变量X尚存在的平均不确定性。
这个对X尚存的不确定性是由于干扰引起的。 如果是一一对应信道，接收到输出Y后，对X的
不确定性将完全消除，则信道疑义度为零。
25
3.2.2 平均互信息
已知， ( X )代表接收到输出符号以前关于输入量 H X的平均不确定性，而 H ( X
/ Y ) 代表接收到输出符号
后关于输入变量X的平均不确定性。
通过信道传输消除了一些不确定性，获得了一定
的信息。所以定义
I ( X ;Y ) H ( X ) H ( X / Y )
它代表接收到输出符号后平均每个符号获得的关 于X的信息量。也表明，输入与输出两个随机变量之 间的统计约束程度。
26
怎样度量接收到Y后关于X的不确定性呢？ 接受到bj后，关于X的不确定性为
H (X | bj)
X
P ( x | b j ) log
1 P(x | bj)
这是接收到输出符号bj后关于X的后验熵。
23
后验熵是当信道接收端接收到输出符号bj后，关
于输入符号的信息测度。 后验熵在输出符号集Y范围内是个随机量，对后
1 p( y | x )
H ( X | Y )＝ p ( xy ) log
X ,Y
;
p( x | y ) 1 p ( xy )
H ( Y | X )＝ p ( xy ) log
X ,Y
H ( XY )＝ p ( xy ) log
X ,Y
31
表示信源符号通过有噪信道传输后 平均互信息与各类熵之间关系的集合图（维拉图）表示：
信道容量知识总结
信道容量是信道的一个参数，反映了信道所能传输的最大信息量，其大小与信源无关。
对不同的输入概率分布，互信息一定存在最大值。
我们将这个最大值定义为信道的容量。
一但转移概率矩阵确定以后，信道容量也完全确定了。
尽管信道容量的定义涉及到输入概率分布，但信道容量的数值与输入概率分布无关。
我们将不同的输入概率分布称为试验信源，对不同的试验信源，互信息也不同。
其中必有一个试验信源使互信息达到最大。
这个最大值就是信道容量。
信道容量有时也表示为单位时间内可传输的二进制位的位数（称信道的数据传输速率，位速率），以位/秒（b/s）形式予以表示，简记为bps。
通信的目的是为了获得信息，为度量信息的多少（信息量），我们用到了熵这个概念。
在信号通过信道传输的过程中，我们涉及到了两个熵，发射端处信源熵——即发端信源的不确定度，接收端处在接收信号条件下的发端信源熵——即在接收信号条件下发端信源的不确定度。
接收到了信号，不确定度小了，我们也就在一定程度上消除了发端信源的不确定性，也就是在一定程度上获得了发端信源的信息，这部分信息的获取是通过信道传输信号带来的。
如果在通信的过程中熵不能够减小（不确定度减小）的话，也就没有通信的必要了。
最理想的情况就是在接收信号条件下信源熵变为0（不确定度完全消失），这时，发端信息完全得到。
通信信道，发端X，收端Y。
从信息传输的角度看，通过信道传输了I(X;Y)=H(X)-H(X|Y) ,( 接收Y前后对于X的不确定度的变化)。
I该值与两个概率有关，p(x),p(y|x)，特定信道转移概率一定，那么在所有p(x) 分布中，max I(X;Y)就是该信道的信道容量C(互信息的上凸性）。
入与输出的互信息量的最大值，这一最大取值由输入信号的概率分布决定。
[3]X代表已传送信号的随机变量空间，Y代表已收到信号的随机变量空间。
代表已知X的情况下Y的条件机率。
我们先把通道的统计特性当作已知，p Y | X(y | x)就是通道的统计特性。
第三章信道及信道容量PPT课件
第一节 信道分类及表示参数 第二节 单符号离散信道及其容量 第三节 离散序列信道及其容量 第四节 连续信道及其容量
05.12.2020
1
研究信道容量的意义?
信道是信息传输的通道。由于干扰而丢失的信息为 H(X|Y ); 在接收端获取的关于发送端信源X的信息量是：
I(X;Y)＝H(X)-H(X|Y) 即：信道中平均每个符号传送的信息量。对于信道,所关心的问 题是平均每个符号传送的最大信息量。这就是信道容量C=max I(X;Y) bit/符号
每个数字对应一种颜色（反之未必），数字已知，则颜色确 定，H(X|Y)=0。H(X,Y)=H(Y)=…..
6、2.21（3）信号放大问题。课上已经强调过，仍出错。
7、向孔祥品学习
05.12.2020
9
复习：第四节 连续信源的熵和互信息
一、单符号连续信源的熵 相对熵（差熵）
H c(X ) p X (x)lop X g (x)dx Hc(XY )p(xy)lopg(xy)dxdy Hc(Y/X )p(xy)lopg(y/x)dxdy
(2) 离散无记忆信道(DMC-Discrete Memoryless Channel)
仍是单符号离散信道，符号集中的符号数目大于2 。
05.12.2020
7
转移概率矩阵（传递阵矩）P :
P11 P12 P1m
P [
P ij
]
P21
P22
P2m
Pn1
Pn2
Pnm
m
m
转移概率矩 元阵 素中 之 1。 各 和 P(b 行 j等 |ai)的 于 Pij1
2 Pm2,通常m0,2 P,此时有：
H0C5.1(2X.202)0
信道容量第三章1
3.1 信道的基本概念 3.2 单符号离散信道的信道容量 3.3 多符号离散信道的信道容量 3.4 连续信道 3.5 信道编码定理
3.1 信道的基本概念
3.1.1 信道
• 信道：信息传输的通道
– 在通信中，信道按其物理组成常被分成微波信 道、光纤信道、电缆信道等。信号在这些信道 中传输的过程遵循不同的物理规律， 通信技术 必须研究信号在这些信道中传输时的特性。
,p ,p
b2 a1
b2 a2
,, p ,, p
bm a1
bm a2
概率
矩阵
p
b1 an
,
p
b2 an
,,
p
bm an
3.2.1 信道容量的定义
• 我们研究信道的目的是要讨论信道中平均每个 符号所能传送的信息量,即信道的信息传输率R
• 平均互信息I (X;Y)：
– 接收到符号Y后平均每个符号获得的关于X
• 按输入/输出的个数 – 单用户信道 只有一个输入和一个输出的信道 – 多用户信道 有多个输入和多个输出的信道
3.1.2 信道分类
• 按信道输入／输出随机变量个数的多少： – 单符号信道 输入/输出端都只用一个随机变量来表示 – 多符号信道 输入/输出端用随机变量序列或随机矢量来 表示
3.1.3 信道的数学模型
的信息量。
I(X ;Y)
ijLeabharlann p(xi ) p(y j|
xi ) log
p(y j | xi ) p(y j )
n
p( y j ) p(xi ) p( y j | xi ) i 1
• 信道的信息传输率就是平均互信息
3.2.1 信道容量的定义
• 信道容量C：
信道容量 第三章
X
P(X Y)
Y
p(1 1) p(2 1) ...... p(mN 1)
p(1
2)
p(2 2)
......
p(mN
2)
...... ......
p(1 nN) p(2 nN) ...... p(mN nN)
a 4
II 离散无记忆扩展信道的信道容量
• 无记忆：Yi仅与Xi有关
a 6
3.4 连续信道
a 7
3.4-I 连续信道及其容量
{X P(Y/X) Y}
X[a,b]
(,)R'
P(Y/X)
连续信道的数学模型
Y [a',b']
(,)R
Cm p(axx) IC(X;Y)
a 8
3.4-II 加性连续信道及其容量
X
p(y/x)=p(n)
Y=X+N
N 加性连续信道
C m p ( a x x )I C ( X ;Y ) m p ( a x x ){ H c ( Y ) } H c ( N )
结论
a 14
P100 3.11 P101 3.14 P101 3.18
习题
a 15
P102 3.20
作业
a 16
第三章—4
小结
小结
• 回顾了多符号离散信道的信道容量。 • 学习了连续信道和信道编码定理。 • 结合所学内容，对习题进行讲解。
a 18
本次课结束！
a 19
第三章—4
信道容量
内容
3.1 信道的基本概念 3.2 单符号离散信道的信道容量 3.3 多符号离散信道的信道容量 3.4 连续信道 3.5 信道编码定理
通信原理第三章总结
第三章 总结节1 信道的概念一、信道定义：狭义信道、广义信道二、信道模型：1、调制信道共性：①一对（或多对）信道输入，必对应有一对（或多对）信道输出。
②绝大多数信道是线性的，满足叠加定理。
③信道对信号有延时，还有衰耗（固定或时变）④无信号输入，信道也有输出。
调制信道可用时变线性网络表示恒参信道、随参信道2、编码信道编码信道模型用码序列的转移概率描述3、信道分类节2 调制信道特性及对信号传输的影响一、恒参信道1、幅频特性：2、相频特性：若Φ(ω) = - ω t d （ t d 是常数，为线性函数），无失真。
Φ(ω) 非线性，有失真。
二、随参信道1、随参信道传输媒质三个特点：①传输衰耗随时间而变；()()则有幅频失真则无幅频失真const H const H ≠=ωω②传输时延随时间而变；③多径传播。
2、随参信道对信号传输的影响分析：影响结果：①等幅信号变为有包络变化的信号，即存在幅度快衰落影响；②单一频率信号变为窄带频谱信号，即存在频率弥散影响。
相关带宽△f节3 加性噪声节4 信道容量概念信道传输信息的最大速率 R 称为信道容量， C 为差错任意小的最高信息速率。
待传送的信源信息速率 R 源>C ，则信道肯定不能正确传送该信息；而R 源≤C ，采用适当的方法，该信道能正确无误的传送该信息。
加性高斯白噪声作用下的调制信道（白高斯信道）可由Shannon 公式计算信道的容量：B ：信道带宽（Hz ） S ：信号功率( W )N = n 0 B ：白噪声功率s bit B n S B N S B C /1log 1log 022⎪⎪⎭⎫ ⎝⎛+=⎪⎭⎫ ⎝⎛+=。
信号与系统知识点整理
信号与系统知识点整理第⼀章1.什么是信号？是信息的载体，即信息的表现形式。
通过信号传递和处理信息，传达某种物理现象（事件）特性的⼀个函数。
2.什么是系统？系统是由若⼲相互作⽤和相互依赖的事物组合⽽成的具有特定功能的整体。
3.信号作⽤于系统产⽣什么反应？系统依赖于信号来表现，⽽系统对信号有选择做出的反应。
4.通常把信号分为五种：连续信号与离散信号偶信号和奇信号周期信号与⾮周期信号确定信号与随机信号能量信号与功率信号5.连续信号：在所有的时刻或位置都有定义的信号。
6.离散信号：只在某些离散的时刻或位置才有定义的信号。
通常考虑⾃变量取等间隔的离散值的情况。
7.确定信号：任何时候都有确定值的信号。
8.随机信号：出现之前具有不确定性的信号。
可以看作若⼲信号的集合，信号集中每⼀个信号出现的可能性（概率）是相对确定的，但何时出现及出现的状态是不确定的。
9.能量信号的平均功率为零，功率信号的能量为⽆穷⼤。
因此信号只能在能量信号与功率信号间取其⼀。
10.⾃变量线性变换的顺序：先时间平移，后时间变换做缩放.注意：对离散信号做⾃变量线性变换会产⽣信息的丢失！11.系统对阶跃输⼊信号的响应反映了系统对突然变化的输⼊信号的快速响应能⼒。
（开关效应）12.单位冲激信号的物理图景：持续时间极短、幅度极⼤的实际信号的数学近似。
对于储能状态为零的系统，系统在单位冲激信号作⽤下产⽣的零状态响应，可揭⽰系统的有关特性。
例：测试电路的瞬态响应。
13.冲激偶：即单位冲激信号的⼀阶导数，包含⼀对冲激信号，⼀个位于t=0-处，强度正⽆穷⼤；另⼀个位于t=0+处，强度负⽆穷⼤。
要求：冲激偶作为对时间积分的被积函数中⼀个因⼦，其他因⼦在冲激偶出现处存在时间的连续导数.14.斜升信号：单位阶跃信号对时间的积分即为单位斜率的斜升信号。
15.系统具有六个⽅⾯的特性：1、稳定性2、记忆性3、因果性4、可逆性5、时变性与⾮时变性6、线性性16.对于任意有界的输⼊都只产⽣有界的输出的系统，称为有界输⼊有界输出（BIBO ）意义下的稳定系统。
信息论基础-练习与思考2
当＝1/ 2时
C 1, p(x1) 1/ 2, p(x2 ) p(x3) 1/ 4
2020/3/22
21
习题6
第三章 信道容量
6.5设一连续消息通过某放大器，该放大器输 出的最大瞬时电压为b,最小瞬时电压为a。若 消息从放大器中输出，问放大器输出消息在每 个自由度上的最大熵是多少？又放大器的带宽 为F,问单位时间内输出最大信息量是多少？
C 和 Ct 都是求平均互信息 I(X;Y) 的条件极大值问题，当 输入信源概率分布 p(xi) 调整好以后， C 和 Ct 已与 p(xi) 无关，而仅仅是信道转移概率的函数，只与信道统计特性
有关；
信道容量是完全描述信道特性的参量；
信道容量是信道能够传送的最大信息量。
2020/3/22
3香农公式说明p(源自xi/yj) p(xi ) p( y j / xi ) p(yj )
可得：p(x1 / y1) 5 / 8, p(x1 / y2 ) 1/ 2, p(x2 / y1) 3 / 8, p(x2 / y2 ) 1/ 2
信道疑义度：
22
H (X / Y )
p(xi ) p( y j / xi ) log2 p(xi / y j ) 0.9635bit / symbol
1 6
1 6
1 3
,
Pb
1 2
1
6
1 3
1 3
1 2
1 6
1 6
1
3
1 2
均满足对称性，所以这两个信道是对称离散信道。由对 称离散信道的信道容量公式得：
C1
log2
4
H
信号与系统重点概念公式总结
信号与系统重点概念及公式总结：第一章：概论1.信号：信号是消息的表现形式。
（消息是信号的具体内容）2.系统：由若干相互作用和相互依赖的事物组合而成的具有特定功能的整体。
第二章：信号的复数表示：1.复数的两种表示方法：设C 为复数，a 、b 为实数。
常数形式的复数C=a+jb a 为实部，b 为虚部；或C=|C|e j φ，其中，22||b a C +=为复数的模，tan φ=b/a ，φ为复数的辐角。
（复平面）2.欧拉公式：wt j wt e jwt sin cos +=（前加-，后变减） 第三章：正交函数集及信号在其上的分解 1.正交函数集的定义：设函数集合)}(),(),({21t f t f t f F n =如果满足：ni K dt t f ji dt t f t f iT T i T T j i 2,1)(0)()(21212==≠=⎰⎰则称集合F 为正交函数集 如果n i K i,2,11==，则称F 为标准正交函数集。
如果F 中的函数为复数函数条件变为：ni K dt t f t f ji dt t f t f iT T i i T T j i 2,1)()(0)()(2121**==⋅≠=⋅⎰⎰其中)(*t f i 为)(t f i 的复共轭。
2.正交函数集的物理意义：一个正交函数集可以类比成一个坐标系统；正交函数集中的每个函数均类比成该坐标系统中的一个轴； 在该坐标系统中，一个函数可以类比成一个点；点向这个坐标系统的投影（体现为该函数与构成坐标系的函数间的点积）就是该函数在这个坐标系统中的坐标。
3.正交函数集完备的概念和物理意义：如果值空间中的任一元素均可以由某正交集中的元素准确的线性表出，我们就称该正交集是完备的，否则称该正交集是不完备的。
如果在正交函数集()()()()t g n ,t g ,t g ,t g 321之外，不存在函数x （t ）()∞<<⎰2120t t dt t x ，满足等式：()()⎰=210t t idt t g t x ，则此函数集称为完备正交函数集。
第三章2信道容量
信道容量为 C m p (x i)I(a X ;Y x ) m p (x i)H a (X )x lo 2rg
与一一对应信道不同的是，此时输入端符号熵小 于输出端符号熵， H(X) < H(Y)。
2019/11/2
13
强对称离散信道
单符号离散信道的X和Y取值均由r个不同符号组成，即 X∈{x1,x2,…,xi,…,xr}，Y∈{y1,y2,…,yj,…,yr}
每 个 符 号 的 正 确 传 递 概 率 p 1 p ， 其 它 (r 1 )个 符 号 的 错 误
传 递 概 率 为 p r 1
2019/11/2
9
具有归并性能的无噪信道
信道模型如图所示。
r>s，输入X的符号集个数大于输出Y的符号集个数。其信 道矩阵如下：
1 0 0
1
0
0
0 1 0
0
1
0
0 0 1
无噪有损 信道
2019/11/2
10
具有归并性能的无噪信道—无噪有损
信道矩阵中的元素非“0”即 “1” ，每行仅有一个非零元 素，但每列的非零元素个数大于1：
具有扩展性能的无噪信道的信道容量：
C m p (x i)I(X a ;Y )x m p (x i)H (a X ) x lo 2rg
具有归并性能的无噪信道的信道容量：
C m p (x i)I(a X ;Y x ) m p (x i)H ( a Y ) x lo 2sg
结论：离散无噪信道的信道容量C只决定于信道的输入符号 数r，或输出符号数s，与信源无关。
信道容量 第三章—2
b1 an
,
p
b2 an
,,
p
bm an
7
单符号离散信道容量的定义
• 信道容量C：
– 最大的信息传输率
C max I (X ;Y ) p(ai )
• 单位时间的信道容量：
C 1 max I (X ;Y ) T p(ai )
8
3.2 单符号离散信道的信 道容量
9
3.2 单符号离散信道的信道容量
第三章—2
信道容量
内容
3.1 信道的基本概念 3.2 单符号离散信道的信道容量 3.3 多符号离散信道的信道容量 3.4 连续信道 3.5 信道编码定理
2
3.2 单符号离散信道的信道容量
3.2.1 信道容量的定义 3.2.2 几种特殊离散信道的信道容量
• I 离散无噪信道的信道容量 • II 对称离散信道的信道容量 • III 准对称离散信道的信道容量
j1
js
28
例3-2:
准对称信道矩阵 求其信道？
P
1/ 1/
2 4
1/ 4 1/ 2
1/ 8 1/ 8
1/ 8 1/ 8
子矩阵P1
1/ 1/
2 4
1/ 4 1/ 2
和
P2
1/ 8 1/ 8
1/ 8 1/ 8
则
p( y1)
2 i 1
p(xi )p( y j
23
II 对称离散信道的信道容量
• 对称DMC信道的容量：
C log2 m H (q1, q2 , qm )
m
log2 m qij logqij j 1
• 上式是对称离散信道能够传输的最大的平均信 息量，它只与对称信道矩阵中行矢量{q1, q2,… qm }和输出符号集的个数m有关。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
离散无记忆信道扩展信道信道容量
当且仅当X X1 X2 ... XK 无记忆，等号成立 N I ( X ; Y ) I ( X k ; Yk )
k 1
当随机变量取值同一符号集时 I ( X ; Y ) NI ( X ; Y ) C N NC
p (ai )[ p (b j / ai ) log p (b j / ai )]
i 1 j 1
m
Hmi
C max [ H (Y ) Hmi] log m Hmi
1 相应的 p ( ai ) n
p ( ai )
四、准对称信道离散信道的信道容量
H (Y / X ) H mi C max [ H (Y ) Hmi]
1
1 3 1 6
1 3 1 6
1 6 1 3
1 6 1 3
1 3 p 1 3
3
1 3 1 6
1 6 1 3
1 6 1 6
对称离散信道的信道容量
H (Y / X ) p (ai ) p (b j / ai ) log p (b j / ai )
i 1 j 1 n n m
p ( ai ) p ( ai )
max [ H (Y ) Hn ]
i
1 相应的 p ( ai ) n
log n Hni
p p Hni (1 p ) log(1 p ) ( log )( n 1) n 1 n 1
三、对称离散信道的信道容量
p
信道的数学模型和分类
信道的数学模型： {X P(Y/X) Y}
x
P(Y/X)
Y
输入与输出之间一般不是确定的函数关系， 而是统计依赖的。
信道容量的定义
X a1 , a2 , a n Y b1, b2 ,bm
x
p(bi/ai)
i=1,2,…n
Y
p(bi/ai）－信道的转移概率/信道传递概率
p ( ai )
H (Y ) mk P (bk )log P (bk )
k 1
s
P (bk )
P ( bk )M k
P (b j ) , k 1, 2,..., s
k
m
X K a1a 2 a n X X 1 X 2 ...... X N Y Y1Y2 .....YN YK b1b2 bn X P (Y X ) Y
3、多对一
H(X/Y) ≠ 0，H(Y/X) = 0
C = max H(Y) = log m
p(bi) )=1/n即等概
二、强对称(均匀)离散信道的信道容量
X a1 , a2 , a n
p 1 p n 1 p 1 p n 1 ...... p p n 1 n 1
Y b1 , b2 ,bm p ...... n 1 p ...... n 1 ...... p 1 p n 1 n Xn
p：总体错误概率
信道容量
C max I ( X ; Y )
p ( ai离散信道数学模型
p( 1 1 ) p( 2 1 ) p( ) p( ) P(Y X ) 1 2 2 2 ...... p ( ) p ( ) 1 2 n n
N N
...... p( m 1 ) ...... p( m 2 ) ...... ...... p( m n )
b1 b2 bm
信道容量
C max I ( X ; Y ) max H ( X ) H ( X Y ) max H (Y ) H (Y X )
p ( ai ) p ( ai ) p ( ai )
1 Ct max I ( X ; Y ) t p ( ai )
几种特殊离散信道的容量
信道转移概率矩阵：
p a1 , p a1 ,, p a1 b1 bm b2 p , p , , p a a a 2 2 2 b1 bm b2 p , p , , p a a a n n n
一、离散无噪信道
1、一对一
X、Y一一对应,此时H(X/Y)=0，H(Y/X)=0， C＝maxI(X;Y)＝log n (p(ai)=1/n即等概)
2、一对多
此时，H(X/Y)=0，H(Y/X) 且 H(X) <H(Y)。 H(Y/X) 0 0，
所以，C = max H(X) = log n
(p(ai)=1/n即等概)
本章习题： P80 例题3.2.1 P99 3.1, 3.2, 3.6, 3.11, 3.14