信道及信道容量
合集下载
与信道容量
Department of Communication China Ji Liang University
25
第 三 章 信 道 与 信 道 容 量
③ 具有归并性能的无噪信道
这种信道如下图所示。 这种信道如下图所示。 n>m，输入 的符号集个数大于输出 的符号集个数。 的符号集个数大于输出Y的符号集个数 ，输入X的符号集个数大于输出 的符号集个数。
2012-4-6
Department of Communication China Ji Liang University
24
第 三 章 信 道 与 信 道 容 量
信道疑义度 H(X/Y)=0， I(X;Y)= H(X) -H(X/Y)= H(X) 。 ，
信道容量为： 信道容量为：
2012-4-6
2012-4-6
Department of Communication China Ji Liang University
10
第 三 章 信 道 与 信 道 容 量
b）二进制对称信道 ） （简称为 BSC信道 ） 信道
0 输入 p 1-p 0 输出
p 1 1-p 1
二进制对称信道
2012-4-6
Department of Communication China Ji Liang University
2012-4-6
Department of Communication China Ji Liang University
26
第 三 章 信 道 与 信 道 容 量
信道噪声熵 H(Y/X)=0。 信道容量为：
2012-4-6
Department of Communication China Ji Liang University
北工大信息论第四章 信道及信道容量
数学模型：{X , p( yn | xn ),Y}
如果有 p(yn j | xn i) p(ym j | xm i) ，则信道为平稳
的离散无记忆信道DMC。
二.单符号离散无记忆信道
1.定义:
输入符号X，x取值于A {a1, a2 ,, ar } 输出符号Y，y取值于B {b1, b2 ,, bs} {X , p(bj | ai ),Y}
输出扩展为：00，01，10，11
传递矩阵扩展为： p2 pp pp p2
P2
pp
p2
p2
pp
pp p2 p2 pp
p
2
pp
pp
p
2
请问： I (X N ;Y N ) 与I（X；Y）之间 的关系？
用两个定理回答这个问题
定理1:若信道的输入、输出分别为N长序列X和Y，且信
道是无记忆的，即： N
N
p( h | k ) p(bhi | aki ) i 1
I(X N ;Y N )
XN
YN
p(k h ) log
p(hk ) p(h ) p(k )
例4-4: 求二元无记忆对称信道的二次扩展信
道。
a1 0
1 p p
0 b1
X
p
Y
a2 1
1 p
1 b2
解：
输入扩展为：00，01，10，11
当ω=1/2 时，I (X ห้องสมุดไป่ตู้Y ) 1 H ( p)
1
即取极大值.
H ()
0 0.5 1
当信源固定, 即 ω是一个常数时,可 得到I(X;Y)是信道传递概率p的下凸 函数。
当p=0.5时, I(X;Y)=0, 在接收端未 获得信息量。
离散信道及其信道容量
第2章 信道及其容量
信道的任务是以信号方式传输信息和存储信息。 研究信道中能够传送或存储的最大信息量，即信道容量。
2.1
信道的数学模型和分类
干扰源
信源
编码器
调制器
物理信道 实际信道
解调器
译码器
信宿
编码信道
等效信道
图2.1.1 数字通信系统的一般模型
一、信道的分类
根据载荷消息的媒体不同
邮递信道
C max { I ( X ;Y )}
解：X:{0，1} Y:{0，1，2} 此时，r ＝2，s ＝3， 传递矩阵为：
0 0 1 2 1
1－ p
q
1
p 1 p 0 0 1 q q
符号“2”表示接收到了“0”、“1”以外的特殊符 号
• 一般离散单符号信道的传递概率可用矩阵形式表示，即 b1 b2 … bs
a1 P(b1|a1) P(b2|a1) … P(bs|a1) a2 P(b1|a2) P(b2|a2) … P(bs|a2) … …. … …
R = I(X;Y) = H(X) – H(X|Y) (比特/符号)
• 信道中每秒平均传输的信息量----信息传输速率Rt (设传递一个符号用时为t).
Rt ＝ R/t = I(X;Y)/t = H(X)/t – H(X|Y)/t （比特/秒）
一、 信道容量的定义
I ( X ; Y ) I (Y ; X ) P( xy ) log
a1 a2 b1 b2
X
.
. ar
P(bj/ai)
.
. bs
Y
[例1] 二元对称信道，[BSC，Binary Symmetrical Channel] 解：此时，X:{0,1} ; Y:{0,1} ; r=s=2，a1=b1=0；a2=b2=1。 传递概率: 1－p
信道的任务是以信号方式传输信息和存储信息。 研究信道中能够传送或存储的最大信息量，即信道容量。
2.1
信道的数学模型和分类
干扰源
信源
编码器
调制器
物理信道 实际信道
解调器
译码器
信宿
编码信道
等效信道
图2.1.1 数字通信系统的一般模型
一、信道的分类
根据载荷消息的媒体不同
邮递信道
C max { I ( X ;Y )}
解：X:{0，1} Y:{0，1，2} 此时，r ＝2，s ＝3， 传递矩阵为：
0 0 1 2 1
1－ p
q
1
p 1 p 0 0 1 q q
符号“2”表示接收到了“0”、“1”以外的特殊符 号
• 一般离散单符号信道的传递概率可用矩阵形式表示，即 b1 b2 … bs
a1 P(b1|a1) P(b2|a1) … P(bs|a1) a2 P(b1|a2) P(b2|a2) … P(bs|a2) … …. … …
R = I(X;Y) = H(X) – H(X|Y) (比特/符号)
• 信道中每秒平均传输的信息量----信息传输速率Rt (设传递一个符号用时为t).
Rt ＝ R/t = I(X;Y)/t = H(X)/t – H(X|Y)/t （比特/秒）
一、 信道容量的定义
I ( X ; Y ) I (Y ; X ) P( xy ) log
a1 a2 b1 b2
X
.
. ar
P(bj/ai)
.
. bs
Y
[例1] 二元对称信道，[BSC，Binary Symmetrical Channel] 解：此时，X:{0,1} ; Y:{0,1} ; r=s=2，a1=b1=0；a2=b2=1。 传递概率: 1－p
信道与信道容量
1.6.2 信道容量
根据香农信息论，对于连续信道，如果信道带宽为B， 并且受到加性高斯白噪声的干扰，则信道容量的理论公式为
C=B㏒2（1+S/N）（b/s） 式中。 N为白噪声的平均功率； S是信号的平均功率； S/N 为信噪比。信道容量C是指信道可能传输的最大信息速率 （即信道能达到的最大传输能力）。虽然上式是在一定条件 下获得的（要求输入信号也为高斯信号才能实现上述可能 性），但对其他情况也可作为近似式使用。
例1 已知彩色电视图象由5ⅹ105个像素组成。设每个像素有 64种彩色度，每种彩色度有16个亮度等级。设所有彩色度和 亮度等级的组合机会均等，并统计独立。（1）试计算每秒 传送100个画面所需信道容量；（2）如果接受机信噪比为 30dB，为了传送彩色图象所需信道带宽为多少？
例2 设有一个图像要在电话线路中实现传真传输。大约要传输2.25ⅹ106个 像素，每个像素有12个亮度等级。假设所有亮度等级都是等概率的，电 话电路具有3kHz带宽和30dB信噪比。试求在该标准电话线路上传输一 张传真图片需要的最小时间。
在数字通信系统中，如果仅研究编码和解码问题， 可得到另一种广义信道---编码信道。编码信道的范围是 从编码器输出端至解码器输入端。这是因为从编码和解 码角度来看，编码器是把信源产生的消息信号转化为数 字信号。反之，解码器是将数字信号恢复原来的消息信 号；而编码器输出端至解码器输入端之间的一切环节只 是起了传输数字信号的作用，所以可以把它看成一个整 体---编码信道。当然，根据研究问题的不同，还可以定 义其他广义信道。
解： Rb = RBN㏒2N
RBN= Rb／×106 / 29.9 ×103=0.269 ×103s=4.5min
例3 已知八进制数字信号的传输速率为1600波 特。试问变换成二进制数字信号时的传输速率为多 少？ 解： Rb = RBN㏒2N = 1600× ㏒28 = 4800 b/s
信道、信道容量、数据传输速率
信道、信道容量、数据传输速率简介：信道、信道容量、数据传输速率（比特率）、电脑装置带宽列表一、信道的概念信道，是信号在通信系统中传输的通道，是信号从发射端传输到接收端所经过的传输媒质，这是狭义信道的定义。
广义信道的定义除了包括传输媒质，还包括信号传输的相关设备。
信道容量是在通信信道上可靠地传输信息时能够达到的最大速率。
根据有噪信道编码定理，给定信道的信道容量是其以任意小的差错概率传输信息的极限速率。
信道容量的单位为比特每秒、奈特每秒等等。
香农在第二次世界大战期间发展出信息论，并给出了信道容量的定义和计算信道容量的数学模型。
他指出，信道容量是信道的输入与输出的互信息量的最大值，这一最大取值由输入信号的概率分布决定。
二、信道的分类（一）狭义信道的分类狭义信道，按照传输媒质来划分，可以分为有线信道、无线信道和存储信道三类。
1. 有线信道有线信道以导线为传输媒质，信号沿导线进行传输，信号的能量集中在导线附近，因此传输效率高，但是部署不够灵活。
这一类信道使用的传输媒质包括用电线传输电信号的架空明线、电话线、双绞线、对称电缆和同轴电缆等等，还有传输经过调制的光脉冲信号的光导纤维。
2. 无线信道无线信道主要有以辐射无线电波为传输方式的无线电信道和在水下传播声波的水声信道等。
无线电信号由发射机的天线辐射到整个自由空间上进行传播。
不同频段的无线电波有不同的传播方式，主要有：地波传输：地球和电离层构成波导，中长波、长波和甚长波可以在这天然波导内沿着地面传播并绕过地面的障碍物。
长波可以应用于海事通信，中波调幅广播也利用了地波传输。
天波传输：短波、超短波可以通过电离层形成的反射信道和对流层形成的散射信道进行传播。
短波电台就利用了天波传输方式。
天波传输的距离最大可以达到400千米左右。
电离层和对流层的反射与散射，形成了从发射机到接收机的多条随时间变化的传播路径，电波信号经过这些路径在接收端形成相长或相消的叠加，使得接收信号的幅度和相位呈随机变化，这就是多径信道的衰落，这种信道被称作衰落信道。
信道、信道容量、数据传输速率
简介：信道、信道容量、数据传输速率（比特率）、电脑装置带宽列表一、信道的概念信道，是信号在通信系统中传输的通道，是信号从发射端传输到接收端所经过的传输媒质，这是狭义信道的定义。
广义信道的定义除了包括传输媒质，还包括信号传输的相关设备。
信道容量是在通信信道上可靠地传输信息时能够达到的最大速率。
根据有噪信道编码定理，给定信道的信道容量是其以任意小的差错概率传输信息的极限速率。
信道容量的单位为比特每秒、奈特每秒等等。
香农在第二次世界大战期间发展出信息论，并给出了信道容量的定义和计算信道容量的数学模型。
他指出，信道容量是信道的输入与输出的互信息量的最大值，这一最大取值由输入信号的概率分布决定。
二、信道的分类（一）狭义信道的分类狭义信道，按照传输媒质来划分，可以分为有线信道、无线信道和存储信道三类。
1. 有线信道有线信道以导线为传输媒质，信号沿导线进行传输，信号的能量集中在导线附近，因此传输效率高，但是部署不够灵活。
这一类信道使用的传输媒质包括用电线传输电信号的架空明线、电话线、双绞线、对称电缆和同轴电缆等等，还有传输经过调制的光脉冲信号的光导纤维。
2. 无线信道无线信道主要有以辐射无线电波为传输方式的无线电信道和在水下传播声波的水声信道等。
无线电信号由发射机的天线辐射到整个自由空间上进行传播。
不同频段的无线电波有不同的传播方式，主要有：地波传输：地球和电离层构成波导，中长波、长波和甚长波可以在这天然波导内沿着地面传播并绕过地面的障碍物。
长波可以应用于海事通信，中波调幅广播也利用了地波传输。
天波传输：短波、超短波可以通过电离层形成的反射信道和对流层形成的散射信道进行传播。
短波电台就利用了天波传输方式。
天波传输的距离最大可以达到400千米左右。
电离层和对流层的反射与散射，形成了从发射机到接收机的多条随时间变化的传播路径，电波信号经过这些路径在接收端形成相长或相消的叠加，使得接收信号的幅度和相位呈随机变化，这就是多径信道的衰落，这种信道被称作衰落信道。
第三章 信道和信道容量
I（X；Y）：接收到Y前、后关于的平均不确定性 的消除 ；或发送X前、后关于Y的平
均不确定性的消除。
可见：熵只是平均不确定性的描述，而不确定性 的消除（两熵之差）才等于接收端所获得的信息 量。获得的信息量不能和不确定性混为一谈。
第三章 信道和信道容量
关于信道容量： 研究：信道中平均每个符号所能传送的信息量，
有损失，是无噪有损信 道，也称确定信道，即： 损失熵：H(X/Y) ≠ 0； 噪声熵：H(Y/X) ＝ 0， I(X;Y)＝H(Y)＝H(X)－H(X/Y) ＜H(X)
第三章 信道和信道容量
信道容量仍是最大熵问题（最大H(Y)）：
C＝max H(Y)＝log s bit/符号
P(X)
（设Y有s个符号）
不相交的子集mk，由mk组成的矩阵[P]k是对称矩阵 （具有可排列的性质），则称此信道为准对称信道， 其信道容量：
r为输入符号集个数 即信道矩阵行数 准对称信道中的 行元素 第k个子矩阵 中行元素之和
第k个子矩阵 中列元素之和
第三章 信道和信道容量
例3－1：二元对称删除 信道如图，计算信道容量。
例3－2：准对称信道的信道矩阵为： P(y/x)＝ 0.5 0.3 0.2 0.3 0.5 0.2 当输入概率分布为p(x1)＝ɑ，p(x2)＝1－ɑ
且：p＝0时，信道无干扰； P＝1/2时，信道干扰最为严重。
第三章 信道和信道容量
二、二元删除信道
难以区分原发送信号时，不硬性
判断0或1，而作删除处理。 删除信道中，p＝q时，则为 对称删除信道。 三、Z信道 信道特性：0错成1的概率为0， 1错成0有一定可能。
1
0 1 0
p
1－p
1
第三章 信道和信道容量
通信课件信道及信道容量
基本内容
• 信道的基本概念 • 信道数学模型：调制、编码信道模型 • 恒参信道特性及其对信号传输的影响 • 随参信道特性及其对信号传输的影响 • 分集接收技术 • Shannon信道容量公式
1
信道的基本概念
• 信道：信号通道，必不可少 • 影响通信系统可靠性能的两个主要因素：噪声和信道传输特性的
不理想。
• 由于多径使得确定的载波信号Acosω0t变成了包络和相位都受 到调制的窄带信号，衰落信号。从时域来看，多径时延扩散； 从频域来看，频率展宽
15
随参信道对信号传输的影响(续2)
• 时变多径信道
R(t)
t 时域：瑞利衰落（快衰落）
f0 频域：频率弥散
16
随参信道对信号传输的影响例举
• 以两条路径且衰减恒定为例
3
信道数学模型
• 反映信道输出和输入之间的关系。 • 调制信道模型：传输已调信号，关心的是信号的失真
情况及噪声对信号的影响。已调信号的瞬时值是连续 变化的，故也称调制信道为连续信号，甚至称为信道 。 • 编码信道模型：输出输入都是数字信号→数字序列变 换，离散或数字信道。包含调制信道→依赖于调制信 道的性能，噪声的干扰体现在误码上，关心的是误码 率而不是信号失真情况→使用转移概率来描述。
ui (t)cos[0t i (t)] ui (t) cos i (t) cosot ui (t) sin i (t) sin ot
X c (t) cosot X s (t) cosot V (t) cos[ot (t)]
V(t) Xc2(t) Xs2(t)
(t) arctg(Xc (t) Xs (t))
2
N
(bit/s)
Shannon公式
• 信道的基本概念 • 信道数学模型：调制、编码信道模型 • 恒参信道特性及其对信号传输的影响 • 随参信道特性及其对信号传输的影响 • 分集接收技术 • Shannon信道容量公式
1
信道的基本概念
• 信道：信号通道，必不可少 • 影响通信系统可靠性能的两个主要因素：噪声和信道传输特性的
不理想。
• 由于多径使得确定的载波信号Acosω0t变成了包络和相位都受 到调制的窄带信号，衰落信号。从时域来看，多径时延扩散； 从频域来看，频率展宽
15
随参信道对信号传输的影响(续2)
• 时变多径信道
R(t)
t 时域：瑞利衰落（快衰落）
f0 频域：频率弥散
16
随参信道对信号传输的影响例举
• 以两条路径且衰减恒定为例
3
信道数学模型
• 反映信道输出和输入之间的关系。 • 调制信道模型：传输已调信号，关心的是信号的失真
情况及噪声对信号的影响。已调信号的瞬时值是连续 变化的，故也称调制信道为连续信号，甚至称为信道 。 • 编码信道模型：输出输入都是数字信号→数字序列变 换，离散或数字信道。包含调制信道→依赖于调制信 道的性能，噪声的干扰体现在误码上，关心的是误码 率而不是信号失真情况→使用转移概率来描述。
ui (t)cos[0t i (t)] ui (t) cos i (t) cosot ui (t) sin i (t) sin ot
X c (t) cosot X s (t) cosot V (t) cos[ot (t)]
V(t) Xc2(t) Xs2(t)
(t) arctg(Xc (t) Xs (t))
2
N
(bit/s)
Shannon公式
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
信道及信道容量
研究信道容量的意义?
信道是信息传输的通道。由于干扰而丢失的信息为 H(X|Y ); 在接收端获取的关于发送端信源X的信息量是：
I(X;Y)＝H(X)-H(X|Y) 即：信道中平均每个符号传送的信息量。对于信道,所关心的问 题是平均每个符号传送的最大信息量。这就是信道容量C=max I(X;Y) bit/符号
4、根据信道中所受的噪声种类不同，分为随机差错信道和突发 差错信道。
随机差错信道：噪声独立地、随机地影响每个传输的码元。如加 性高斯白噪声(AGWN)信道。 突发差错信道：大的脉冲干扰或闪电对码元的影响是前后相关的。 错误成串出现，且是突发性的。如移动信道。
5、根据输入/输出信号的特点，分为离散信道、连续信道、半离 散半连续信道和波形信道。
根据信道的参数，将信道分为三大类：
1、无干扰信道 理想信道，信道中没有随机干扰
P(Y |X )1 Y fX ()
P(Y|X)0 YfX ()
或干扰很小。输出与输入之间有完全确定的对应关系。
2、有干扰无记忆信道
无记忆：任意时刻的输出符号，只统计依赖于对应时刻
的输入符号，而与其它时刻的输入符号、输出符号无关.
I(X;Y)＝I(Y;X)＝Hc(X)- Hc(X|Y) ＝Hc(X)＋Hc(Y)- Hc(XY) ＝Hc(Y)- Hc(Y|X)
Hc(XY)＝Hc(X)＋Hc(Y|X)＝Hc(Y) ＋Hc(X|Y)
二、波形信源的熵 理解讨论方法即可
H c(x()t )L l i m H c(X )
三、 连续信源最大熵定理
转移概率矩阵（传递阵矩）P :
P11 P12 P1m
P [
P ij
]
P21
P22
P2m
Pn1
Pn2
Pnm
m
m
转移概率矩 元阵 素中 之 1。 各 和 P(b 行 j等 |ai)的 于 Pij1
j1
j1
复习与作业讲评
1、符号的使用： 自信息量I 熵-----H 2、应画出信源（模型）
离散信道：输入/输出信号在时间和幅度上都是离散的。 连续信道：输入/输出信号都是在时间上离散而幅度上连续。 半离散半连续信道：输入/输出信号有一个在幅度上离散（时间 上都连续）。 波形信道：输入/输出信号在时间和幅度上都是连续的。
此时，输入和输出信号一般用随机过程来描述。据随机过程 的理论，经过限时和限频后，经抽样变成连续型随机变量。相应 地，波形信道被分解成连续信道。
1、峰值功率受限的最大熵定理
对于定义域为有限的随机变量X，当它是均匀分布时，其熵
最大。
H c (X ) p X (x )lo 2 p X g (x ) d定理 服从正态分布时具有最大相熵。
p(x)
1
22
exp(x2m2)2m为均值， 2为方差
转移概率矩阵（阵 传） 递 P:矩
P[ Pij ]PP1211
P1 2
P2
2
1-p
p
p 1-p
传递矩阵也完全确定了输入与输出间的统计依赖关系，也是 信道的数学模型。
(2) 离散无记忆信道(DMC-Discrete Memoryless Channel)
仍是单符号离散信道，符号集中的符号数目大于2 。
一、信道的分类
1、根据信道的用户数量，可以分为两端（单用户）信道和多端
信道（多用户信道）。
只有一个输入端和 一个输出端；单向
至少有一端存在两 个用户；双向
2、根据信道输入端和输出端的关系,分为无反馈信道和反馈信道 无反馈信道: 输出信号对输入无影响。
3、根据信道的参数可以分为固定参数信道和时变参数信道 （参数：表示输入和输出统计依赖关系的转移概率.后面详述） 固定参数信道：如光纤、电缆 时变参数信道：如无线信道.会因天气或周围环境的变化而变化
H2不能随便使用
3、2.4题，求H(X)，而非I(x)
4、2.5题，求自信息量或条件信息量。个别同学H(y|x)
5、2.11(2)有些同学计算H(X,Y)太复杂。
xi---颜色，构成信源X, yi----数字，构成信源Y.
每个数字对应一种颜色（反之未必），数字已知，则颜色确 定，H(X|Y)=0。H(X,Y)=H(Y)=…..
P(Y|X )Py(1,y2,..y .N .|,x1,x2,..x .N .),
N
Py(1|x1,y2|x2,..y .N .|,xN) Py(i|xi)
i1
这种信道根据输入信号与输出信号的符号数目进一步划
分为以下四种信道：
指符号集中符号的个数
(1)二进制离散信道(又叫二进制对称信道BSC，转移概率对称)
二、信道的参数
参数：表示输入和输出统计依赖关系的转移概率。 对于单符号信道，即P(Y | X),对于符号序列信道，即 P(Y|X)。
由于信道引入的干扰,使得输入和输 出之间没有确定的对应关系，而只有统 计上的依赖关系(用转移概率来描述)。 知道了这种关系，信道的全部特性就确 定了.所以,它是信道的参数。
第三章 信道及信道容量
第一节 信道分类及表示参数
参数：表示输入和输出统计依赖关系的转移概率。 对于单符号信道，即P(Y | X),对于符号序列信道，即 P(Y|X)。
2 Pm2,通常m0,2 P,此时有：
HC(X)
p(x)logp(x)dx
1log(22)
2
第五节 冗余度 一、冗余度的概念
表示给定信源在实际发出消息时所包含的多余信息。
二、冗余度产生的原因 理解
一是信源符号间的相关性，二是信源符号分布的不均匀性
三、冗余的定义
11H(X )
H0(X)
四、冗余的压缩
6、2.21（3）信号放大问题。课上已经强调过，仍出错。
7、向孔祥品学习
复习：第四节 连续信源的熵和互信息
一、单符号连续信源的熵 相对熵（差熵）
H c(X ) p X (x)lop X g (x)dx Hc(XY )p(xy)lopg(xy)dxdy Hc(Y/X )p(xy)lopg(y/x)dxdy
信源在一定的时间T内输出符号。信源输出的信息速率为 Rt=H(X)/T bit/s
符号在信道中传送时，传送一个符号所用的时间为t,则最大信 息传输速率为Ct=C/t bit/s.
若Rt≤Ct，那么就可以实现无失真传送;否则;不能无失真传送 所以，对于信道主要是研究信道容量。不同的信道，其容量不同.
第一节 信道分类及表示参数
研究信道容量的意义?
信道是信息传输的通道。由于干扰而丢失的信息为 H(X|Y ); 在接收端获取的关于发送端信源X的信息量是：
I(X;Y)＝H(X)-H(X|Y) 即：信道中平均每个符号传送的信息量。对于信道,所关心的问 题是平均每个符号传送的最大信息量。这就是信道容量C=max I(X;Y) bit/符号
4、根据信道中所受的噪声种类不同，分为随机差错信道和突发 差错信道。
随机差错信道：噪声独立地、随机地影响每个传输的码元。如加 性高斯白噪声(AGWN)信道。 突发差错信道：大的脉冲干扰或闪电对码元的影响是前后相关的。 错误成串出现，且是突发性的。如移动信道。
5、根据输入/输出信号的特点，分为离散信道、连续信道、半离 散半连续信道和波形信道。
根据信道的参数，将信道分为三大类：
1、无干扰信道 理想信道，信道中没有随机干扰
P(Y |X )1 Y fX ()
P(Y|X)0 YfX ()
或干扰很小。输出与输入之间有完全确定的对应关系。
2、有干扰无记忆信道
无记忆：任意时刻的输出符号，只统计依赖于对应时刻
的输入符号，而与其它时刻的输入符号、输出符号无关.
I(X;Y)＝I(Y;X)＝Hc(X)- Hc(X|Y) ＝Hc(X)＋Hc(Y)- Hc(XY) ＝Hc(Y)- Hc(Y|X)
Hc(XY)＝Hc(X)＋Hc(Y|X)＝Hc(Y) ＋Hc(X|Y)
二、波形信源的熵 理解讨论方法即可
H c(x()t )L l i m H c(X )
三、 连续信源最大熵定理
转移概率矩阵（传递阵矩）P :
P11 P12 P1m
P [
P ij
]
P21
P22
P2m
Pn1
Pn2
Pnm
m
m
转移概率矩 元阵 素中 之 1。 各 和 P(b 行 j等 |ai)的 于 Pij1
j1
j1
复习与作业讲评
1、符号的使用： 自信息量I 熵-----H 2、应画出信源（模型）
离散信道：输入/输出信号在时间和幅度上都是离散的。 连续信道：输入/输出信号都是在时间上离散而幅度上连续。 半离散半连续信道：输入/输出信号有一个在幅度上离散（时间 上都连续）。 波形信道：输入/输出信号在时间和幅度上都是连续的。
此时，输入和输出信号一般用随机过程来描述。据随机过程 的理论，经过限时和限频后，经抽样变成连续型随机变量。相应 地，波形信道被分解成连续信道。
1、峰值功率受限的最大熵定理
对于定义域为有限的随机变量X，当它是均匀分布时，其熵
最大。
H c (X ) p X (x )lo 2 p X g (x ) d定理 服从正态分布时具有最大相熵。
p(x)
1
22
exp(x2m2)2m为均值， 2为方差
转移概率矩阵（阵 传） 递 P:矩
P[ Pij ]PP1211
P1 2
P2
2
1-p
p
p 1-p
传递矩阵也完全确定了输入与输出间的统计依赖关系，也是 信道的数学模型。
(2) 离散无记忆信道(DMC-Discrete Memoryless Channel)
仍是单符号离散信道，符号集中的符号数目大于2 。
一、信道的分类
1、根据信道的用户数量，可以分为两端（单用户）信道和多端
信道（多用户信道）。
只有一个输入端和 一个输出端；单向
至少有一端存在两 个用户；双向
2、根据信道输入端和输出端的关系,分为无反馈信道和反馈信道 无反馈信道: 输出信号对输入无影响。
3、根据信道的参数可以分为固定参数信道和时变参数信道 （参数：表示输入和输出统计依赖关系的转移概率.后面详述） 固定参数信道：如光纤、电缆 时变参数信道：如无线信道.会因天气或周围环境的变化而变化
H2不能随便使用
3、2.4题，求H(X)，而非I(x)
4、2.5题，求自信息量或条件信息量。个别同学H(y|x)
5、2.11(2)有些同学计算H(X,Y)太复杂。
xi---颜色，构成信源X, yi----数字，构成信源Y.
每个数字对应一种颜色（反之未必），数字已知，则颜色确 定，H(X|Y)=0。H(X,Y)=H(Y)=…..
P(Y|X )Py(1,y2,..y .N .|,x1,x2,..x .N .),
N
Py(1|x1,y2|x2,..y .N .|,xN) Py(i|xi)
i1
这种信道根据输入信号与输出信号的符号数目进一步划
分为以下四种信道：
指符号集中符号的个数
(1)二进制离散信道(又叫二进制对称信道BSC，转移概率对称)
二、信道的参数
参数：表示输入和输出统计依赖关系的转移概率。 对于单符号信道，即P(Y | X),对于符号序列信道，即 P(Y|X)。
由于信道引入的干扰,使得输入和输 出之间没有确定的对应关系，而只有统 计上的依赖关系(用转移概率来描述)。 知道了这种关系，信道的全部特性就确 定了.所以,它是信道的参数。
第三章 信道及信道容量
第一节 信道分类及表示参数
参数：表示输入和输出统计依赖关系的转移概率。 对于单符号信道，即P(Y | X),对于符号序列信道，即 P(Y|X)。
2 Pm2,通常m0,2 P,此时有：
HC(X)
p(x)logp(x)dx
1log(22)
2
第五节 冗余度 一、冗余度的概念
表示给定信源在实际发出消息时所包含的多余信息。
二、冗余度产生的原因 理解
一是信源符号间的相关性，二是信源符号分布的不均匀性
三、冗余的定义
11H(X )
H0(X)
四、冗余的压缩
6、2.21（3）信号放大问题。课上已经强调过，仍出错。
7、向孔祥品学习
复习：第四节 连续信源的熵和互信息
一、单符号连续信源的熵 相对熵（差熵）
H c(X ) p X (x)lop X g (x)dx Hc(XY )p(xy)lopg(xy)dxdy Hc(Y/X )p(xy)lopg(y/x)dxdy
信源在一定的时间T内输出符号。信源输出的信息速率为 Rt=H(X)/T bit/s
符号在信道中传送时，传送一个符号所用的时间为t,则最大信 息传输速率为Ct=C/t bit/s.
若Rt≤Ct，那么就可以实现无失真传送;否则;不能无失真传送 所以，对于信道主要是研究信道容量。不同的信道，其容量不同.
第一节 信道分类及表示参数