信道和信道容量
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
设X与Y符号个数相同（强对称或均匀信道）， 均为n，则：条件概率：
可得： 显然，对于离散对称信道，当输入符号是等概时，传
输信息最大，每符号信道容量：
若输入、输出符号个数不相同，但只要符合对称信道 特性，即每行和每列的取值集分别相同，只是排列不 同，则信道容量和输出符号集的个数s有关，为：
s
三、准对称信道的信道容量 若信道矩阵[P]的s个列（Y集的元素是s个）可分为n
P(x)
注意：信道容量C与输入信源的概率分布无关， 它只是信道传输概率的函数，只与信道的统计特 性有关。信道容量是完全描述信道特性的参数， 是信道能够传输的最大信息量。
3.3 信道容量计算
一、离散无干扰信道的信道容量
1、Y是X的一一对应函数
P(y/x)= 1 y=f(x) 即：H(X/Y)=H(Y/X)=0
Rt＝（1/t）I（X；Y） bit/秒 定义：最大的信息传输率为信道容量C，即： C＝max｛I（X；Y）｝ bit/符号
P(x)
达到信道容量时，相应的输入概率分布称为最佳 输入分布，若平均传输一个符号需要t秒，则： 信道单位时间内平均传输的最大信息量为： Ct＝（1/t） max｛I（X；Y）｝ bit/秒
信道容量仍是最大熵问题（最大H(Y)）： C＝max H(Y)＝log s bit/符号
P(X)
（设Y有s个符号） 此种情况中，一定能找到一种输入概率分布
P(X)使输出Y达到等概分布。
二、对称离散信道的信道容量
对称离散信道：信道矩阵中每一行是另一行的 置换，每一列是另一列的置换，具有对称的 信道矩阵。
个 不相交的子集mk，由mk组成的矩阵[P]k是对称矩阵 （具有可排列的性质），则称此信道为准对称信道， 其信道容量：
r为输入符号集个数 即信道矩阵行数
ຫໍສະໝຸດ Baidu
准对称信道中的
行元素
第k个子矩阵
中行元素之和
第k个子矩阵 中列元素之和
例3－1：二元对称删除 信道如图，计算信道容量。
例3－2：准对称信道的信道矩阵为： P(y/x)＝ 0.5 0.3 0.2
如：发送为xi（信道输入）， 接收为yj（信道输出），则信道特性为： Pji＝P（yj/xi），用（条件）转移概率描述
信道中无干扰时：
Pji＝ 1
j＝i
0 j≠i
信道中干扰最严重时： P（yj/xi）＝P（yj） 一、二元对称信道
二元信道中，0错成1和1错成0
的概率相等时，为二元对称信道；
且：p＝0时，信道无干扰；
半离散（半连续）信道，波形信道
信道容量概念：信道中能传送或存储的最大信息， 是信道传输信息能力的量度，是信道对信源的一 切可能的概率分布而言能够传送的最大熵速率。
通信系统一般模型：
信源
调制
信道
解调
信宿
广义信道
各种物理信道中存在的干扰限制了通信的距离与速 率，为反映信道干扰对传输性能的影响，可用刻划 各种干扰的模型来表示信道。
0.3 0.5 0.2 当输入概率分布为p(x1)＝ɑ，p(x2)＝1－ɑ 求信息传输率R及信道容量。
P(X)
结论：信道的转移矩阵中，每列有一个也仅有一个 非零元素时，此信道一定是有噪无损信道。
如图信道示意， 信道矩阵：
3、Y是X的确定函数，且是多一对应 收到Y后不能完全消除 对X的不确定性，信息 有损失，是无噪有损信 道，也称确定信道，即： 损失熵：H(X/Y) ≠ 0； 噪声熵：H(Y/X) ＝ 0， I(X;Y)＝H(Y)＝H(X)－H(X/Y) ＜H(X)
互信息：I（X；Y）＝H（X）－H（X/Y） ＝H（Y）－H（Y/X）
H（X）：接收Y前，关于 X的不确定性； H（X/Y）：接收Y后，关于 X的不确定性；也称
信道疑义度，或称损失熵
H（Y/X）：在已知X的条件下，对Y尚存在的不 确定性；也称噪声熵。
I（X；Y）：接收到Y前、后关于的平均不确定性 的消除 ；或发送X前、后关于Y的平 均不确定性的消除。
P＝1/2时，信道干扰最为严重。
二、二元删除信道
难以区分原发送信号时，不硬性
判断0或1，而作删除处理。
删除信道中，p＝q时，则为
对称删除信道。
三、Z信道
0
1
0
信道特性：0错成1的概率为0，
p
1错成0有一定可能。
1 1－p 1
有记忆信道：有突发干扰或码间干扰的信道。 用联合转移概率表示： 若信道的记忆很弱成为无记忆时，可表示成：
无记忆信道：只有独立干扰的信道。
小 结：
信道是传输信号的通道，信号则载荷有一定 的信息，通信的目的是将信息送至信宿，而 波形有无失真常常无关紧要。为了研究输入 信号和输出信号之间的关系（这是信道特性 的主要标志），并统一描述各种信道，往往 采用条件概率来描述，以此表明信道特性。
3.2 信道容量的表示
可见：熵只是平均不确定性的描述，而不确定性 的消除（两熵之差）才等于接收端所获得的信息 量。获得的信息量不能和不确定性混为一谈。
关于信道容量：
研究：信道中平均每个符号所能传送的信息量，
即信息传输率R，也是平均互信息。 R＝I（X；Y）＝H（X）－H（X/Y）比特/符号 若平均传输一个符号需要t秒，则信道每秒钟平 均传输的信息量为：
0 y≠f(x)
I(X;Y)=H(X)=H(Y)
X的不确定性在接收端被完全解除，是无损无
噪信道，其信道容量是求最大熵问题：
C＝maxH(X)＝maxH(Y)＝log n bit/符号
P(X)
P(X)
2、一个输入对应多个输出Y值，且Y值不重合 接收到符号Y后，对发送X符号是完全确定 的，是有噪无损信道，即： 损失熵：H(X/Y)＝0，噪声熵：H(Y/X) ≠0 I(X;Y)＝H(X)＝H(Y)－H(Y/X) ＜H(Y) 信道容量仍是最大熵问题（最大H(X)）： C＝max H(X)＝log r bit/符号 （设X有r个符号）
信道和信道容量
3.1 概 述
信道：用来传输信号的通道，它承担了信息传输和
信息存储任务。
对称电缆 性能稳定
有线信道： 同轴电缆 受大气干扰影响小
光缆
传输质量好
无线信道： 长波、中波、短波 微波中继通信
超短波、微波
卫星通信等
信道还可以分为： 按信道用户分为：单用户信道，多用户信道 按输入、输出关联分为：无反馈信道，反馈信道 按信道参数分为：固定参数信道，时变参数信道 按传输信号的特点分为：离散信道，连续信道，
可得： 显然，对于离散对称信道，当输入符号是等概时，传
输信息最大，每符号信道容量：
若输入、输出符号个数不相同，但只要符合对称信道 特性，即每行和每列的取值集分别相同，只是排列不 同，则信道容量和输出符号集的个数s有关，为：
s
三、准对称信道的信道容量 若信道矩阵[P]的s个列（Y集的元素是s个）可分为n
P(x)
注意：信道容量C与输入信源的概率分布无关， 它只是信道传输概率的函数，只与信道的统计特 性有关。信道容量是完全描述信道特性的参数， 是信道能够传输的最大信息量。
3.3 信道容量计算
一、离散无干扰信道的信道容量
1、Y是X的一一对应函数
P(y/x)= 1 y=f(x) 即：H(X/Y)=H(Y/X)=0
Rt＝（1/t）I（X；Y） bit/秒 定义：最大的信息传输率为信道容量C，即： C＝max｛I（X；Y）｝ bit/符号
P(x)
达到信道容量时，相应的输入概率分布称为最佳 输入分布，若平均传输一个符号需要t秒，则： 信道单位时间内平均传输的最大信息量为： Ct＝（1/t） max｛I（X；Y）｝ bit/秒
信道容量仍是最大熵问题（最大H(Y)）： C＝max H(Y)＝log s bit/符号
P(X)
（设Y有s个符号） 此种情况中，一定能找到一种输入概率分布
P(X)使输出Y达到等概分布。
二、对称离散信道的信道容量
对称离散信道：信道矩阵中每一行是另一行的 置换，每一列是另一列的置换，具有对称的 信道矩阵。
个 不相交的子集mk，由mk组成的矩阵[P]k是对称矩阵 （具有可排列的性质），则称此信道为准对称信道， 其信道容量：
r为输入符号集个数 即信道矩阵行数
ຫໍສະໝຸດ Baidu
准对称信道中的
行元素
第k个子矩阵
中行元素之和
第k个子矩阵 中列元素之和
例3－1：二元对称删除 信道如图，计算信道容量。
例3－2：准对称信道的信道矩阵为： P(y/x)＝ 0.5 0.3 0.2
如：发送为xi（信道输入）， 接收为yj（信道输出），则信道特性为： Pji＝P（yj/xi），用（条件）转移概率描述
信道中无干扰时：
Pji＝ 1
j＝i
0 j≠i
信道中干扰最严重时： P（yj/xi）＝P（yj） 一、二元对称信道
二元信道中，0错成1和1错成0
的概率相等时，为二元对称信道；
且：p＝0时，信道无干扰；
半离散（半连续）信道，波形信道
信道容量概念：信道中能传送或存储的最大信息， 是信道传输信息能力的量度，是信道对信源的一 切可能的概率分布而言能够传送的最大熵速率。
通信系统一般模型：
信源
调制
信道
解调
信宿
广义信道
各种物理信道中存在的干扰限制了通信的距离与速 率，为反映信道干扰对传输性能的影响，可用刻划 各种干扰的模型来表示信道。
0.3 0.5 0.2 当输入概率分布为p(x1)＝ɑ，p(x2)＝1－ɑ 求信息传输率R及信道容量。
P(X)
结论：信道的转移矩阵中，每列有一个也仅有一个 非零元素时，此信道一定是有噪无损信道。
如图信道示意， 信道矩阵：
3、Y是X的确定函数，且是多一对应 收到Y后不能完全消除 对X的不确定性，信息 有损失，是无噪有损信 道，也称确定信道，即： 损失熵：H(X/Y) ≠ 0； 噪声熵：H(Y/X) ＝ 0， I(X;Y)＝H(Y)＝H(X)－H(X/Y) ＜H(X)
互信息：I（X；Y）＝H（X）－H（X/Y） ＝H（Y）－H（Y/X）
H（X）：接收Y前，关于 X的不确定性； H（X/Y）：接收Y后，关于 X的不确定性；也称
信道疑义度，或称损失熵
H（Y/X）：在已知X的条件下，对Y尚存在的不 确定性；也称噪声熵。
I（X；Y）：接收到Y前、后关于的平均不确定性 的消除 ；或发送X前、后关于Y的平 均不确定性的消除。
P＝1/2时，信道干扰最为严重。
二、二元删除信道
难以区分原发送信号时，不硬性
判断0或1，而作删除处理。
删除信道中，p＝q时，则为
对称删除信道。
三、Z信道
0
1
0
信道特性：0错成1的概率为0，
p
1错成0有一定可能。
1 1－p 1
有记忆信道：有突发干扰或码间干扰的信道。 用联合转移概率表示： 若信道的记忆很弱成为无记忆时，可表示成：
无记忆信道：只有独立干扰的信道。
小 结：
信道是传输信号的通道，信号则载荷有一定 的信息，通信的目的是将信息送至信宿，而 波形有无失真常常无关紧要。为了研究输入 信号和输出信号之间的关系（这是信道特性 的主要标志），并统一描述各种信道，往往 采用条件概率来描述，以此表明信道特性。
3.2 信道容量的表示
可见：熵只是平均不确定性的描述，而不确定性 的消除（两熵之差）才等于接收端所获得的信息 量。获得的信息量不能和不确定性混为一谈。
关于信道容量：
研究：信道中平均每个符号所能传送的信息量，
即信息传输率R，也是平均互信息。 R＝I（X；Y）＝H（X）－H（X/Y）比特/符号 若平均传输一个符号需要t秒，则信道每秒钟平 均传输的信息量为：
0 y≠f(x)
I(X;Y)=H(X)=H(Y)
X的不确定性在接收端被完全解除，是无损无
噪信道，其信道容量是求最大熵问题：
C＝maxH(X)＝maxH(Y)＝log n bit/符号
P(X)
P(X)
2、一个输入对应多个输出Y值，且Y值不重合 接收到符号Y后，对发送X符号是完全确定 的，是有噪无损信道，即： 损失熵：H(X/Y)＝0，噪声熵：H(Y/X) ≠0 I(X;Y)＝H(X)＝H(Y)－H(Y/X) ＜H(Y) 信道容量仍是最大熵问题（最大H(X)）： C＝max H(X)＝log r bit/符号 （设X有r个符号）
信道和信道容量
3.1 概 述
信道：用来传输信号的通道，它承担了信息传输和
信息存储任务。
对称电缆 性能稳定
有线信道： 同轴电缆 受大气干扰影响小
光缆
传输质量好
无线信道： 长波、中波、短波 微波中继通信
超短波、微波
卫星通信等
信道还可以分为： 按信道用户分为：单用户信道，多用户信道 按输入、输出关联分为：无反馈信道，反馈信道 按信道参数分为：固定参数信道，时变参数信道 按传输信号的特点分为：离散信道，连续信道，