3-2_第3章3.3_多符号离散信道
合集下载
34 连续信道的信道容量.ppt
则Y=X+N
定理：时间离散的高斯信道，若X、N高斯分布且 独立，则I(X;Y)=H(Y)-H(N)
证明：因为I(X;Y)=H(Y)-H(Y/X)
所以要证结论成立，即证H(Y/X)= H(N)
2021/8/8
3
时间离散的高斯信道
H(Y/X)= H(N)的证明如下：
H (Y / X ) p(x) p( y / x) log p( y / x)dxdy
时间连续的高斯信道
时间连续的高斯信道可以对其进行采样，使其变成 时间离散的高斯信道：
设信道带宽为[0，B],根据采样定理，采样频率为
2B,采样周期T=1/（2B）,这样可以在接收端无失真
的恢复出原始连续信号。则时间连续的高斯信道的
信道容量为
C采样后的离散信道 C t
T每个采样点所占的周期
1 log(1 S )
所以：等于是研究最坏情况下得到的信道容量。
所以：在所有具有噪声平均功率为N的加性噪声信道 中，高斯噪声信道的容量最小。
即若Y=X+N,
则（1）N为非高斯噪声时的信道容量大于N为高斯
噪声时的信道容量：
C非高斯信道
C高斯信道
1 log(1 2
S) N
2021/8/8
加性噪声信道的容量下限
8
本章主要内容
第3章 信道容量
2021/8/8
1
本章主要内容
3.1信道的数学模型与分类 3.2单符号离散信道的信道容量 3.3 多符号离散信道的信道容量 3.5 连续信道及其容量 3.6 信道编码定理
2021/8/8
2
3.4 连续信道的信道容量
时间离散的高斯信道
时间离散的高斯信道的数学模型：
定理：时间离散的高斯信道，若X、N高斯分布且 独立，则I(X;Y)=H(Y)-H(N)
证明：因为I(X;Y)=H(Y)-H(Y/X)
所以要证结论成立，即证H(Y/X)= H(N)
2021/8/8
3
时间离散的高斯信道
H(Y/X)= H(N)的证明如下：
H (Y / X ) p(x) p( y / x) log p( y / x)dxdy
时间连续的高斯信道
时间连续的高斯信道可以对其进行采样，使其变成 时间离散的高斯信道：
设信道带宽为[0，B],根据采样定理，采样频率为
2B,采样周期T=1/（2B）,这样可以在接收端无失真
的恢复出原始连续信号。则时间连续的高斯信道的
信道容量为
C采样后的离散信道 C t
T每个采样点所占的周期
1 log(1 S )
所以：等于是研究最坏情况下得到的信道容量。
所以：在所有具有噪声平均功率为N的加性噪声信道 中，高斯噪声信道的容量最小。
即若Y=X+N,
则（1）N为非高斯噪声时的信道容量大于N为高斯
噪声时的信道容量：
C非高斯信道
C高斯信道
1 log(1 2
S) N
2021/8/8
加性噪声信道的容量下限
8
本章主要内容
第3章 信道容量
2021/8/8
1
本章主要内容
3.1信道的数学模型与分类 3.2单符号离散信道的信道容量 3.3 多符号离散信道的信道容量 3.5 连续信道及其容量 3.6 信道编码定理
2021/8/8
2
3.4 连续信道的信道容量
时间离散的高斯信道
时间离散的高斯信道的数学模型：
第三章离散信道及其信道容量
0
0 1
不是一一对应,无扰有信息损失
1
(2)有扰信道 例3:
a1
0.9
X
0.1
a2
0.2 0.8
b1
Y
b2
0.9 0.1 [P] 0.2 0.8 有扰有信息损失,干扰严重
例4:
a1
X
a2
1/2 1/2 1/2 1/2
b1
Y
b2
1/ 2 1 / 2 [P] 1/ 2 1 / 2
P yi xi P xi yi
即E{log x} ≤log{E(X)}
即E{log x} ≤log{E(X)}
I(X
;Y
)
X
Y
P(x,
y)
log
P( x)P( y) P(x, y)
log
XY
P(x,
y)
P( x)P( y) P(x, y)
log1
0
∴ I(X;Y) ≥ 0
∵ logx为∩ 型凸函数,只有当且仅当 p(x.y)=P(x)P(y),即x和Y统计独立时I(X;Y)=0
根据输入和输出信号的特点，信道可以分为： (1)离散信道。指输入和输出的随机变量的取值都 有是离散的信道。 (2)连续信道。指输入和输出的随机变量的取值都 是连续的信道。 (3)半离散半连续信道。输入变量是离散型的但相 应的输出变量是连续的信道，或者相反。 (4)波形信道。信道的输入和输出都是一些时间上 连续的随机信号。即信道输入和输出的随机变量的 取值是连续的，并且还随时间连续变化。一般用随 机过程来描述其输入和输出。
p( x1 ) 4
a2 1 4
a3 1 4
a4
1
4
1 P 1
第3章 离散信道
Y y2
ys
i 1, 2,..., r ; j 1, 2,..., s
满足： （1）0≤ p(yj|xi) ≤ 1 (i=1,2,…,r；j=1,2,…,s) （2）
p( y
j 1
s
j
| xi ) 1
(i=1,2,…,r)
11
1.离散单符号信道的数学模型
信道传递概率可以用信道矩阵来表示：
I ( X ;Y )
i 1 j 1
n
m
p ( xi y j ) I ( xi ; y j )
i 1 j 1
n
m
p ( xi y j ) log 2
p ( xi / y j ) p ( xi )
站在输入端：I(Y;X) —发出 X 前、后关于 Y 的先验不确定 度减少的量。
I (Y ; X )
7
信道分类
按输入/输出之间的记忆性来划分： 无记忆信道：信道在某时刻的输出只与信道该时刻 的输入有关而与信道其他时刻的输入、输出无关。 有记忆信道：信道在某时刻的输出与其他时刻的输 入、输出有关。
根据信道的输入/输出是否是确定关系可分为: 有噪声信道 无噪声信道
8
3.1 信道疑义度与平均互信息量
bj I ( X ; Y )是 p ( )的 a i
27
5 平均互信息和各类熵的关系
I(X;Y)= H(X)-H(X|Y)=H(Y)-H(Y|X)=H(X)+H(Y)-H(XY) X, Y 互相独立时
且
p ( xi | y j ) 1
i 1
r
j =1，2，…，s
18
2.信道疑义度H(X|Y)
信息论-第3章多符号离散信源与信道
ai1,ai2, ,aiN 分别 i在 表时 1 ,示 2, ,刻 N 时刻的
N维平稳 XX 信 1X2 源 XN共可以 rN种 发 不 出 同的
rN
0p(i)p(ai1ai2 aiN )1 p(i)1 i 1 6
3.1 离散平稳信源的数学模型
数学模型
信源空间
X Pp (11)
2 p(2)
p (rN rN)
r
0p (a i)1(i1 ,2 , ,r) p (a i)1 i 1
则 X 称为离散无记忆信源。
9
3.2 离散平稳无记忆信源的信息熵
若N维离散平稳信源 XX1X2 XN 中，各时刻 随机变量 Xk(k1,2, ,N)之间相互统计独立，则 我们将 XX1X2 XN称为N维离散平稳无记忆信源。 对N维离散平稳无记忆信源 XX1X2 XN，有
11
3.2 离散平稳无记忆信源的信息熵
二 离散无记忆信源的信息熵
1. 最简单离散信源 用一维随机变量X描述，其数学模型为
pX (x)p(aa 11)
a2 p(a2)
aq p(aq)
q
且
p(ai)1, p(ai)0,i1,2, ,q
i1
特点:
消 息 符 号 彼 此 统 计 独 立 消 息 符 号 具 有 相 同 概 率 分 布
第3章 多符号离散信源与信道
• 内容提要 3.1 离散平稳信源的数学模型 3.2 离散平稳无记忆信源的信息熵 3.3 离散平稳有记忆信源的信息熵 3.4 离散平稳有记忆信源的极限熵 3.5 马尔可夫信源的极限熵 3.6 信源的剩余度和结构信息
1
3.1 离散平稳信源的数学模型
1. 基本概念
2. 多符号离散信源：由多个符号组成的时间（或空间） 序列
N维平稳 XX 信 1X2 源 XN共可以 rN种 发 不 出 同的
rN
0p(i)p(ai1ai2 aiN )1 p(i)1 i 1 6
3.1 离散平稳信源的数学模型
数学模型
信源空间
X Pp (11)
2 p(2)
p (rN rN)
r
0p (a i)1(i1 ,2 , ,r) p (a i)1 i 1
则 X 称为离散无记忆信源。
9
3.2 离散平稳无记忆信源的信息熵
若N维离散平稳信源 XX1X2 XN 中，各时刻 随机变量 Xk(k1,2, ,N)之间相互统计独立，则 我们将 XX1X2 XN称为N维离散平稳无记忆信源。 对N维离散平稳无记忆信源 XX1X2 XN，有
11
3.2 离散平稳无记忆信源的信息熵
二 离散无记忆信源的信息熵
1. 最简单离散信源 用一维随机变量X描述，其数学模型为
pX (x)p(aa 11)
a2 p(a2)
aq p(aq)
q
且
p(ai)1, p(ai)0,i1,2, ,q
i1
特点:
消 息 符 号 彼 此 统 计 独 立 消 息 符 号 具 有 相 同 概 率 分 布
第3章 多符号离散信源与信道
• 内容提要 3.1 离散平稳信源的数学模型 3.2 离散平稳无记忆信源的信息熵 3.3 离散平稳有记忆信源的信息熵 3.4 离散平稳有记忆信源的极限熵 3.5 马尔可夫信源的极限熵 3.6 信源的剩余度和结构信息
1
3.1 离散平稳信源的数学模型
1. 基本概念
2. 多符号离散信源：由多个符号组成的时间（或空间） 序列
第3章 离散信道概述
求： 1. 联合概率: p(xi yj)= p(xi)p(yj| xi)= p(yj)p(xi | yj) i=1,2,…,r；j=1,2,…,s
16
2. 输出符号概率: p( y j ) p( xi y j ) p( xi ) p( y j | xi )
i 1 i 1
1.离散单符号信道的数学模型 r r
问题：在什么条件下，通过信道的信息量最大，即
信道容量的问题。
3
信道的主要研究内容： 信道的分类和建模（信道的统计特性描述） √
信道传输信息的能力（信道容量） √
在有噪信道中能否实现可靠传输？怎样实现可靠 传输？
4
信道分类
按输入/输出信号的幅度和时间特性划分：
幅度 时间
信道分类名称
离散 离散 离散信道/数字信道（例如：数字电话） 连续 离散 连续信道 连续 连续 模拟信道/波形信道（例如：普通电话） 离散 连续 （理论和实用价值均很小）
5
信道分类
根据输入、输出信号的时间特性和取值特性，可以 将信号划分为：
◦
◦
离散信道：指输入输出随机变量均为离散的信道 连续信道：指输入输出随机变量均为离散的信道
Y y2
ys
i 1, 2,..., r ; j 1, 2,..., s
满足： （1）0≤ p(yj|xi) ≤ 1 (i=1,2,…,r；j=1,2,…,s) （2）
p( y
j 1
s
j
| xi ) 1
(i=1,2,…,r)
11
1.离散单符号信道的数学模型
信道传递概率可以用信道矩阵来表示：
PY PX PY | X
17
1.离散单符号信道的数学模型
16
2. 输出符号概率: p( y j ) p( xi y j ) p( xi ) p( y j | xi )
i 1 i 1
1.离散单符号信道的数学模型 r r
问题：在什么条件下，通过信道的信息量最大，即
信道容量的问题。
3
信道的主要研究内容： 信道的分类和建模（信道的统计特性描述） √
信道传输信息的能力（信道容量） √
在有噪信道中能否实现可靠传输？怎样实现可靠 传输？
4
信道分类
按输入/输出信号的幅度和时间特性划分：
幅度 时间
信道分类名称
离散 离散 离散信道/数字信道（例如：数字电话） 连续 离散 连续信道 连续 连续 模拟信道/波形信道（例如：普通电话） 离散 连续 （理论和实用价值均很小）
5
信道分类
根据输入、输出信号的时间特性和取值特性，可以 将信号划分为：
◦
◦
离散信道：指输入输出随机变量均为离散的信道 连续信道：指输入输出随机变量均为离散的信道
Y y2
ys
i 1, 2,..., r ; j 1, 2,..., s
满足： （1）0≤ p(yj|xi) ≤ 1 (i=1,2,…,r；j=1,2,…,s) （2）
p( y
j 1
s
j
| xi ) 1
(i=1,2,…,r)
11
1.离散单符号信道的数学模型
信道传递概率可以用信道矩阵来表示：
PY PX PY | X
17
1.离散单符号信道的数学模型
03-多符号离散信源
X的数学模型
a2 ,，an 2 X a1 , P( X ) p(a ), p(a ), , p(a ) 2 1 n2 并且
p(a ) p( x
i 1 i i1 1 i2 1
n2
n
n
i1
) p( xi2 / xi1 ) p( xi1 ) p( xi2 / xi1 ) 1
2013-7-25
电信学院 江小平
16/24
马尔可夫信源
2013-7-25
电信学院 江小平
17/24
信源的状态和符号集
有一类信源(马尔可夫信源)，输出的符号序列中符号之间 的依赖关系是有限的，即任何时刻信源符号发生的概率只 与前面已经发出的若干个符号有关，而与更前面发出的符 号无关。 设符号集为X和状态为S。信源输出的信息符号还与信源 所处的状态有关。 状态S∈{e1,e2,…,ej} 符号X∈{x1,x2, …,xn} 每一时刻信源发出一个符号后，所处的状态将发生转移。 信源输出的随机符号序列为 X1,X2, …,Xl-1,Xl, … 信源所处的随机状态序列为 S1,S2, …,Sl-1,Sl, …
电信学院 江小平
2013-7-25
18/24
马尔可夫信源定义
马尔可夫信源：信源输出的符号和所处的状态满足下列
两个条件。 某一时刻信源符号的输出只与此刻信源所处的状态有关， 与以前的状态和以前的输出符号都无关。即 P(Xl=xk /Sl=ei , Xl-1=xk-1 , Sl-1=ej ,…) =pl(xk /ei) 当具有时齐性时有 pl(xk /ei)= p(xk /ei) 信源某l时刻所处的状态由当前的输出符号和前一时刻(l-1) 信源的状态惟一确定。即
3.3 多符号离散信道的信道容量-17页精选文档
2 log 2 [2 p log p 2 p log p]
2 log 2 2H ( p, p) 2C
推广： DM 对 的 N C 次 称扩展信 :CN道 N容 C 量
2020/1/9
CN次扩展信 道 NC
10
独立并联信道的信道容量
多个独立的单符号信道的并联信道的数学
Def：输入输出都是长为N的多符号离散消息，这样 的信道称为多符号离散信道。
设信源XN： XNX 1X 2 X N X(x1,x2, xn)
信宿YN： YNY 1 Y 2 Y N Y(y1,y2, ym)
则N次扩展信道的转移概率矩阵为
pN(j |i)
i 1,2,.... n N
log 22 H ( p2，p p，p p, p2 )
2 log
2
2
p
log
2
p
2 p p log
pp
p2
log
p2
2 log
2
2 [2 p
log
p
2 p p log
p
2
p p log
p
2 p2
log
p]
2 log 2 [2 p( p p) log p 2 p( p p) log p]
1 y11 y12 00 , 2 y 21 y 22 01 3 y 31 y 32 10 , 4 y 41 y 42 11
2020/1/9
5
则
p ( 1 / 1 ) p ( y11 y12 / x11 x12 ) p ( y11 / x11 ) p ( y12 / x12 ) p(00 / 00 ) p(0 / 0) p(0 / 0) p p
多符号离散信道(1)
p11 p(b1 / a1) p(00 / 00) p(0 / 0) p(0 / 0) p2 p12 p(b2 / a1) p(01/ 00) p(0 / 0) p(1/ 0) pp p13 p(b3 / a1) p(10 / 00) p(1/ 0) p(0 / 0) pp p14 p(b4 / a1) p(11/ 00) p(1/ 0) p(1/ 0) p2 同样，还可求出其它 pij p(bj / ai ) i 1, 2,3, 4; j 1, 2,3, 4
b j ( y j1 , y j2 , , y jN )； j 1, 2, , mN，j k (1, 2, , m)
mN
且满足 pij 1 j 1
i 1, 2, , nN
这仍意味着N次扩展信道矩阵中各行之和为 1 。
6
N次扩展信道的信道矩阵
由于信道是无记忆的，故有 pij p(bj / ai ) p( y j1 y j2 y jN / xi1 xi2
输入符号集为X2 =00,01,10,11，共有nN 22 4个输入符号。
输出符号集为Y2 =00,01,10,11，共有mN 22 4个输出符号。
8
例 二次扩展信道的传递概 率
根据信道的无记忆特性，可以求出二次扩展信道的 传递概率 p(bj / ai )，i, j 1, 2,3, 4为
• 一般离散无记忆信道的数学模型基本上与 输入和输出为单符号的简单离散无记忆信 道的模型相同。
• 不同的是其输入和输出不是单个随机变量X 和Y，而是随机序列
X ( X1X 2 , X N )和Y (Y1Y2 ,YN ).
• 其概率空间为 [X, p(y/x), Y]
2
简单的离散无记忆信道
• 简单的离散无记忆信道的输入和输出都是 单个随机变量，其数学模型如下图：
b j ( y j1 , y j2 , , y jN )； j 1, 2, , mN，j k (1, 2, , m)
mN
且满足 pij 1 j 1
i 1, 2, , nN
这仍意味着N次扩展信道矩阵中各行之和为 1 。
6
N次扩展信道的信道矩阵
由于信道是无记忆的，故有 pij p(bj / ai ) p( y j1 y j2 y jN / xi1 xi2
输入符号集为X2 =00,01,10,11，共有nN 22 4个输入符号。
输出符号集为Y2 =00,01,10,11，共有mN 22 4个输出符号。
8
例 二次扩展信道的传递概 率
根据信道的无记忆特性，可以求出二次扩展信道的 传递概率 p(bj / ai )，i, j 1, 2,3, 4为
• 一般离散无记忆信道的数学模型基本上与 输入和输出为单符号的简单离散无记忆信 道的模型相同。
• 不同的是其输入和输出不是单个随机变量X 和Y，而是随机序列
X ( X1X 2 , X N )和Y (Y1Y2 ,YN ).
• 其概率空间为 [X, p(y/x), Y]
2
简单的离散无记忆信道
• 简单的离散无记忆信道的输入和输出都是 单个随机变量，其数学模型如下图：
第3章-信道与信道容量复习过程
加性高斯白噪声（AWGN）信道 Y＝X＋G
式中，G是均值为零、方差为σ2的高斯随机变量
当X给定，Y是一个均值为ai、方差为σ2的高斯随机
变量
p y/ai
1 ey2a2i2
2
2020/6/21
10
信道模型
4. 波形信道
输入是模拟波形，输出也是模拟波形
连续无记忆信道和连续有记忆信道
任一时刻输出变量与以前时刻的输入输出是否有关
2020/6/21
7
信道模型
1. 二进制离散信道：BSC信道 输入符号X取值{0,1} 输出符号Y取值{0,1} 信道转移概率 p(0/0) = 1－p p(0/1) = p p(1/1) = 1－p p(1/0) = p
1-p
0
0
输 入
p p
输 出
1
1-p
1
P
1 p
pቤተ መጻሕፍቲ ባይዱ
p 1 p
无错传输概率 有错传输概率
信道容量的定义
信道容量
CmaxI(X;Y) p(ai)
n m
m p(a aix ) i1j1pai
pbj/ai logpp bjb /jai
信道容量C的单位是信道上每传送一个符号所能携带
的比特数，即比特/符号。
如果以e为底，即取自然对数时，信道容量的单位是 奈特/符号。
如果已知符号传送周期是T 秒，信道容量Ct=C /T， 单位为bit/s或nat/s。
离散信道：输入和输出的信号在时间和幅度上 均为离散的信道。
连续信道：信号的幅度连续，时间离散。 半离散半连续信道：
输入变量取值离散而输出变量取值连续。 输入变量取值连续而输出变量取值离散。 波形信道：信道的输入和输出信号在时间和幅 度上均连续，一般可用随机过程来描述。
式中，G是均值为零、方差为σ2的高斯随机变量
当X给定，Y是一个均值为ai、方差为σ2的高斯随机
变量
p y/ai
1 ey2a2i2
2
2020/6/21
10
信道模型
4. 波形信道
输入是模拟波形，输出也是模拟波形
连续无记忆信道和连续有记忆信道
任一时刻输出变量与以前时刻的输入输出是否有关
2020/6/21
7
信道模型
1. 二进制离散信道：BSC信道 输入符号X取值{0,1} 输出符号Y取值{0,1} 信道转移概率 p(0/0) = 1－p p(0/1) = p p(1/1) = 1－p p(1/0) = p
1-p
0
0
输 入
p p
输 出
1
1-p
1
P
1 p
pቤተ መጻሕፍቲ ባይዱ
p 1 p
无错传输概率 有错传输概率
信道容量的定义
信道容量
CmaxI(X;Y) p(ai)
n m
m p(a aix ) i1j1pai
pbj/ai logpp bjb /jai
信道容量C的单位是信道上每传送一个符号所能携带
的比特数，即比特/符号。
如果以e为底，即取自然对数时，信道容量的单位是 奈特/符号。
如果已知符号传送周期是T 秒，信道容量Ct=C /T， 单位为bit/s或nat/s。
离散信道：输入和输出的信号在时间和幅度上 均为离散的信道。
连续信道：信号的幅度连续，时间离散。 半离散半连续信道：
输入变量取值离散而输出变量取值连续。 输入变量取值连续而输出变量取值离散。 波形信道：信道的输入和输出信号在时间和幅 度上均连续，一般可用随机过程来描述。
第三章 多符号离散信源与信道
极限熵的求取
• 例3.3 m=2 , r=2。因此状态有rm = 4个: S1 ~ S4 测得一步转移概率为： 写成矩阵形式：
各态遍历性的判定
方法1：
香农线图（有限状态机）
各态遍历的判定
• 方法2：不可约闭集，且非周期性 （1）不可约：闭集中不存在闭集
（2）非周期性： 所有出发状态回到该状态所需的步数不存 在公因子
第6节 信源的剩余度
第7节 离散无记忆信道容量
作业
• 本章作业：3.7, 3.10
• 在本人研究领域中，需找一篇利用马尔科 夫链进行研究的文献，理解并制作5-10页 PPT，在课堂上介绍5-10分钟。时间：第18 周中。
规律影响后续时刻的取值 • 平稳性：不同时刻的联合概率相等
离散平稳有记忆信源的数学模型
• 联合概率求取：
• 完备集证明：式（3.24~3.26）
• 二维离散平稳信源的例子：式（3.27~3.42）
二维离散平稳信源的熵
• 无记忆 • 有记忆（3.27-3.32）
• 有记忆/无记忆信源熵的比较（3.33-3.42）： • 定义平均符号熵：HN(X)
奇数步转移概率：
偶数步转移概率：
极限熵的求取
1）求状态极限概率
的约束下
的唯一解。
例3.3中的极限概率方程组：
2）极限状态概率和转移概率求极限熵
例3.4 二 维 M 信 源 状 态 稳 定 过 程
例3.4（看图计算）
1）写出一步转移矩阵； 2）画出状态转移图；
3）判断各态遍历性；
4）列出方程组，求解极限概率； 5）求极限熵。
第三章 多符号离散信源与信道
第1~5节
第一节 多符号离散平稳信源 的数学模型
第三章信道及信道容量
2但为有限值,即
p11
P
p2
1
p12 p22
,
p1m
p2m
pn1
pn2
pn
m
②二进制对称信道（BSC）：输入和输出信号的符号数都 是2，即X∈A={0,1}和Y∈B={0，1}的对称信道。
1-p
0 p
0
1p p
p
P
p
1p
1
1
1-p
16
《信息论与编码》
3）有干扰有记忆信道：每个信道输出不但与当前输入信号 之间有转移概率关系，而且与其它时刻的输入输出信号也 有关。
27
《信息论与编码》
2）信道容量的定义 对于某特定信道，可找到某种信源的概率分布p(ai)，使
得 I（X；Y）达到最大。
C m ax { I(X ;Y )} (b it/符 号 ) p(x)
注：对于特定的信道，信道容量是个定值，但是在传输信 息时信道能否提供其最大传输能力，则取决于输入端的概 率分布。一般相应的输入概率分布称为最佳输入分布。
28
若平均传输一个符号需要t秒钟，则信道单位时间内 平均传输的最大信息量为：
C T1 tm p(axx ){I(X;Y)}(bit/秒 )
即信道传输速率。
信道容量C已与输入信源的概率分布无关，它只是 信道传输概率的函数，只与信道的统计特性有关。 所以，信道容量是完全描述信道特性的参量，是信 道能够传输的最大信息量。
这样，波形信道化为多维连续信道，信道转移概率密度 函数为
其中：
19
《信息论与编码》
如果多维连续信道的转移概率密度函数满足
这样的信道称为连续无记忆信道即在任一时刻输出变 量只与对应时刻的输入变量有关，与以前时刻的输入输出 都无关。
3-2_第3章3.3_多符号离散信道
k1
其 中 ： i1,2,L,nN;j1,2,L,mN
7
HUST Furong WANG--- Information and Coding Theory
例 二元对称信道的二次扩展信道
分析二元无记忆对称信道的二次扩展信道。
0X
p
Y
0
p
p
1
p
1
二 元 无 记 忆 对 称 信 道 的 输 入 和 输 出 随 机 变 量 X和 Y都
讨论了离散无记忆扩展信道。分析了二元对 称信道的二次扩展信道的统计特性；
对于一般离散信道，关于传输N长随机序列 所获得的平均互信息，给出了两个重要的定 理。
21
HUST Furong WANG--- Information and Coding Theory
1
HUST Furong WANG--- Information and Coding Theory
离散无记忆N次扩展信道
一般离散无记忆信道的数学模型基本上与输 入和输出为单符号的简单离散无记忆信道的 模型相同。
不同的是其输入和输出不是单个随机变量X 和Y，而是随机序列
X ( X 1 X 2 L ,X N ) 和 Y ( Y 1 Y 2 L ,Y N ) .
例 二次扩展信道的传递概率
根据信道的无记忆特性，可以求出二次扩展信道的 传递概率 p(bj / ai )，i, j 1, 2, 3, 4为
p11 p(b1 / a1) p(00 / 00) p(0 / 0) p(0 / 0) p 2 p12 p(b2 / a1) p(01 / 00) p(0 / 0) p(1 / 0) pp p13 p(b3 / a1) p(10 / 00) p(1 / 0) p(0 / 0) pp p14 p(b4 / a1) p(11 / 00) p(1 / 0) p(1 / 0) p2 同样，还可求出其它 pij p(bj / ai ) i 1, 2, 3, 4; j 1, 2, 3, 4
其 中 ： i1,2,L,nN;j1,2,L,mN
7
HUST Furong WANG--- Information and Coding Theory
例 二元对称信道的二次扩展信道
分析二元无记忆对称信道的二次扩展信道。
0X
p
Y
0
p
p
1
p
1
二 元 无 记 忆 对 称 信 道 的 输 入 和 输 出 随 机 变 量 X和 Y都
讨论了离散无记忆扩展信道。分析了二元对 称信道的二次扩展信道的统计特性；
对于一般离散信道，关于传输N长随机序列 所获得的平均互信息，给出了两个重要的定 理。
21
HUST Furong WANG--- Information and Coding Theory
1
HUST Furong WANG--- Information and Coding Theory
离散无记忆N次扩展信道
一般离散无记忆信道的数学模型基本上与输 入和输出为单符号的简单离散无记忆信道的 模型相同。
不同的是其输入和输出不是单个随机变量X 和Y，而是随机序列
X ( X 1 X 2 L ,X N ) 和 Y ( Y 1 Y 2 L ,Y N ) .
例 二次扩展信道的传递概率
根据信道的无记忆特性，可以求出二次扩展信道的 传递概率 p(bj / ai )，i, j 1, 2, 3, 4为
p11 p(b1 / a1) p(00 / 00) p(0 / 0) p(0 / 0) p 2 p12 p(b2 / a1) p(01 / 00) p(0 / 0) p(1 / 0) pp p13 p(b3 / a1) p(10 / 00) p(1 / 0) p(0 / 0) pp p14 p(b4 / a1) p(11 / 00) p(1 / 0) p(1 / 0) p2 同样，还可求出其它 pij p(bj / ai ) i 1, 2, 3, 4; j 1, 2, 3, 4
信息论 多符号离散信道及其平均互信息
N
N
M
M
M
H(Y1Y2 Yn ) H(Y1Y2 Yn / X1X 2 X n )
I(X1X 2 X n ; Y1Y2 Yn ) P( x i1 x i 2 x i n , y j1 y j2 y jn ) log
i1 1 i 2 1 N N i n 1 j1 1 j2 1 N M M jn 1 M N N N M M M
I( x i1 x i 2 x i n ; y j1 y j2 y jn ) I( y j1 y j2 y jn ) I( y j1 y j2 y jn / x i1 x i 2 x i n ) log P( y j1 y j2 y jn ) log P( y j1 y j2 y jn / x i1 x i 2 x i n ) log P( y j1 y j2 y jn ) P( y j1 y j2 y jn / x i1 x i 2 x i n )
1、多符号离散信道及其模型 (1)多符号离散信道
信道传输（转移）多符号离散信源为多符号离散信宿
(2)多符号离散信道的模型
n维离散型随机变量序列 Y1Y2…Yn/X1X2…Xn~P(Y1Y2…Yn/X1X2…Xn)
P( y1 y1 y 2 / x1x1 x1 ) P( y1 y1 y1 / x1x1 x1 ) P( y y y / x x x ) P( y1 y1 y 2 / x1x1 x 2 ) 1 1 1 1 1 2 P(Y1Y2 Yn / X1X 2 X n ) P( y1 y1 y1 / x N x N x N ) P( y1 y1 y 2 / x N x N x N ) P( y M y M y M / x1x1 x1 ) P( y M y M y M / x1x1 x 2 ) P( y M y M y M / x N x N x N )
第三章 多符号离散信源与信道
第三章 多符号离散信源与信道3.1设X ＝X 1X 2…X N 是平稳离散有记忆信源，试证明：H(X 1X 2…X N )=H(X 1)+ H(X 2/ X 1)+H(X 3/ X 1 X 2)+…+H(X N / X 1 X 2…X N -1)。
(证明详见p161-p162)3.2试证明：logr ≥H(X) ≥H(X 2/ X 1) ≥H(X 3/ X 1 X 2) ≥…≥H(X N / X 1 X 2…X N -1)。
证明:)/()/()/()(log )(log log )()/()/()/()(:)/( )/(log )( )/(log )( )/(log )( )/(log )/()()/()/()/(:12121312121213122211111122111211111122111211111132112111111321121111212211132----==----==-=---==--=-==--=------≥≥≥≥∴≥≥≥≥=-=-=-=⎥⎦⎤⎢⎣⎡-≤∴=∑∑∑∑∑∑∑∑∑∑∑N N N N k k ri rik ik i i ik ik i i r i rik rik ik i i ik ik ik i i ri r ik ik i i ik rik ik ik i i ri rik ik i i ik r ik ik i i ik ik i k k ik i i ik ik i i ik X X X X H X X X H X X H X H r X H r r X H X X X X H X X X H X X H X H X X X X H a a a a p a aa p a a a a p a a a a p a a a a p a a a a p a a a a p a a a a p a a p X X X X H a a a a p a a a a p，即达到最大，又仅当输入均匀分布时重复应用上面式子可得条件概率的平稳性有由离散平稳有记忆信源3.3试证明离散平稳信源的极限熵：)/(lim 121-∞→∞=N N n X X X X H H(证明详见p165-p167)3.4设随机变量序列(XYZ)是马氏链，且X ：{a 1, a 2,…, a r }，Y ：{b 1,b 2, …,bs},Z:{c 1,c 2, …,cL}。
3.3 多符号离散信道
I ( X N ; Y N ) H (Y N ) H (Y N / X N )
因为信道无记忆，所以
P(b j1 / ai1 ) P(b j2 / ai2 P( b jN / aiN ) P( b jk / aik )
P(b j / ai ) P (b j1 b j2 b jN / ai1ai2 aiN )
k 1
N
式（3.3.14）说明，离散无记忆信道的N次扩展信道， 如果信源也是离散无记忆信源的N次扩展信源，则信道 总的平均互信息是单符号离散无记忆信道的平均互信 息的N倍。
3. N次扩展信道的信道容量
因为
I ( X N ; Y N ) I ( X k ; Yk )
k 1
N
N
所以 C N max I ( X N ; Y N ) max I ( X k ; Yk ) N N
k 1 N
(3.3.3)
证明见书85页
且 H (Y N ) H (Y1Y2 YN )
I ( X N ; Y N ) H (Y N ) H (Y N / X N )
H (Y1 ) H (Y2 / Y1 ) H (Y3 / YY2 ) H (YN / YY2 YN 1 ) 1 1
p(b1 / a1 ) p(b / a ) 2 2 1 2 p(Y / X ) p(b / a ) 1 3 p(b1 / a4 ) p(b2 / a1 ) p(b3 / a1 ) p(b4 / a1 ) p 2 pp pp p 2 p(b2 / a2 ) p(b3 / a2 ) p(b4 / a2 ) p(b2 / a3 ) p(b3 / a3 ) p(b4 / a3 ) pp p 2 2 p(b2 / a4 ) p(b3 / a4 ) p(b4 / a4 ) p pp
因为信道无记忆，所以
P(b j1 / ai1 ) P(b j2 / ai2 P( b jN / aiN ) P( b jk / aik )
P(b j / ai ) P (b j1 b j2 b jN / ai1ai2 aiN )
k 1
N
式（3.3.14）说明，离散无记忆信道的N次扩展信道， 如果信源也是离散无记忆信源的N次扩展信源，则信道 总的平均互信息是单符号离散无记忆信道的平均互信 息的N倍。
3. N次扩展信道的信道容量
因为
I ( X N ; Y N ) I ( X k ; Yk )
k 1
N
N
所以 C N max I ( X N ; Y N ) max I ( X k ; Yk ) N N
k 1 N
(3.3.3)
证明见书85页
且 H (Y N ) H (Y1Y2 YN )
I ( X N ; Y N ) H (Y N ) H (Y N / X N )
H (Y1 ) H (Y2 / Y1 ) H (Y3 / YY2 ) H (YN / YY2 YN 1 ) 1 1
p(b1 / a1 ) p(b / a ) 2 2 1 2 p(Y / X ) p(b / a ) 1 3 p(b1 / a4 ) p(b2 / a1 ) p(b3 / a1 ) p(b4 / a1 ) p 2 pp pp p 2 p(b2 / a2 ) p(b3 / a2 ) p(b4 / a2 ) p(b2 / a3 ) p(b3 / a3 ) p(b4 / a3 ) pp p 2 2 p(b2 / a4 ) p(b3 / a4 ) p(b4 / a4 ) p pp
信息论：第3章离散信道及其信道容量
P ( b1 | a 1 ) P ( 0 | 0 ) 1 p p P ( b 2 | a 2 ) P (1 | 1 ) 1 p p P ( b1 | a 2 ) P ( 0 | 1 ) p P ( b 2 | a 1 ) P (1 | 0 ) p
a1=0
（2）多端(多用户)信道---输入端和输出端中至少有
两个以上的用户，并且可以双向通信的信道。
5
copyright ©赵越 ise_zhaoy1@
根据信道输入端和输出端的关联：
（1）无反馈信道---信道输出端无信号反馈到输入端，
即输出端信号对输入端信号无影响、无作用；
（2）反馈信道---输出端的信号反馈到输入端，对输
（2）连续信道---输入输出的随机序列的取值都是连续 的信道； （3）半离散或半连续信道---输入序列是离散型的，但 相应的输出序列是连续的信道，或相反。 （4）波形信道---输入和输出都是一些时间上连续的随 机信号。（又称模拟信道）
7
copyright ©赵越 ise_zhaoy1@
p(x | y) p( x)
所以，平均互信息 I ( X ; Y ) 永远不会取负值。 最差的情况是平均互信息为零，即信道输出端 接收到输出符号Y后不获得任何关于输入符号X的 信息量。
28
copyright ©赵越 ise_zhaoy1@
有记忆信道。
copyright ©赵越 ise_zhaoy1@
3.1.3 单符号离散信道
单符号离散信道：
输入符号为X，取值于{a1,a2, …,ar}。
输出符号为Y，取值于{b1,b2, …,bs}。 条件概率：P(y/x)＝P(y=bj/x=ai)＝P(bj/ai) 这一组条件概率称为信道的传递概率或转移概率， 可以用来描述信道干扰影响的大小。
a1=0
（2）多端(多用户)信道---输入端和输出端中至少有
两个以上的用户，并且可以双向通信的信道。
5
copyright ©赵越 ise_zhaoy1@
根据信道输入端和输出端的关联：
（1）无反馈信道---信道输出端无信号反馈到输入端，
即输出端信号对输入端信号无影响、无作用；
（2）反馈信道---输出端的信号反馈到输入端，对输
（2）连续信道---输入输出的随机序列的取值都是连续 的信道； （3）半离散或半连续信道---输入序列是离散型的，但 相应的输出序列是连续的信道，或相反。 （4）波形信道---输入和输出都是一些时间上连续的随 机信号。（又称模拟信道）
7
copyright ©赵越 ise_zhaoy1@
p(x | y) p( x)
所以，平均互信息 I ( X ; Y ) 永远不会取负值。 最差的情况是平均互信息为零，即信道输出端 接收到输出符号Y后不获得任何关于输入符号X的 信息量。
28
copyright ©赵越 ise_zhaoy1@
有记忆信道。
copyright ©赵越 ise_zhaoy1@
3.1.3 单符号离散信道
单符号离散信道：
输入符号为X，取值于{a1,a2, …,ar}。
输出符号为Y，取值于{b1,b2, …,bs}。 条件概率：P(y/x)＝P(y=bj/x=ai)＝P(bj/ai) 这一组条件概率称为信道的传递概率或转移概率， 可以用来描述信道干扰影响的大小。
信息论-第3章多符号离散信源与信道
所以，有
P( X Q 1 ) P( X T 1 ) P( X Q 1 ) P( X Q 2 X Q ! ) P( X T 1 ) P( X T 2 X T 1 ) P( X Q 1 ) P( X Q 2 X Q 1 ) P( X Q N X Q 1 X Q N 1 ) P( X T 1 ) P( X T 2 X T 1 ) P( X T N X T 1 X T N 1 ) 20
0 p(ai ) 1
(i 1,2,, r )
p(a ) 1
i 1 i
r
则 X 称为离散无记忆信源。
9
3.2 离散平稳无记忆信源的信息熵
若N维离散平稳信源 X X 1 X 2 X N 中，各时刻 随机变量 X k (k 1,2,, N )之间相互统计独立，则 我们将 X X 1 X 2 X N 称为N维离散平稳无记忆信源。
表明N+1维离散平稳信源的1至N+1维联合概率分布不随时间的 推移而变化，对时间的起点来说是平稳的。 5
3.1 离散平稳信源的数学模型
2. 数学模型
信源符号集 X : {a1 , a2 ,, ar } ，N维离散平稳信源，
X X1 X 2 X N
X {a1 , a2 ,, ar }
令 i (ai1 , ai 2 ,, aiN )表示N维平稳信源发出的一条 消息
19
3.3 离散平稳有记忆信源的信息熵
N维平稳有记忆信源 X X 1 X 2 X N 有平稳的特性 设Q和T是任意两个时刻，即有
P( X Q 1 ) P( X T 1 ) P( X Q 1 X Q 2 ) P( X T 1 X T 2 ) P( X Q 1 X Q 2 X Q N ) P( X T 1 X T 2 X T N )
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
第3章 信道容量
3.1 3.2 3.3
பைடு நூலகம்
信道的数学模型和分类 单符号离散信道的信道容量 多符号离散信道
3.3.1 多符号离散信道的数学模型 3.3.2 离散无记忆信道和独立并联信道的信道 容量
3.4 3.5 3.6
多用户信道 连续信道 信道编码定理
1
离散无记忆N次扩展信道
a1 0 0
p (bj / a ij p i)
0 0 b1
0 1 b2
X
N
a2 01
a3 10
Y
N
1 0 b3
a4 11
11 b 4
11
N次扩展信道的平均互信息
根据平均互信息的定义， 可以求出N次扩展信道的平均互信息 I (X ; Y ) H ( X N ) H ( X H (Y N ) H (Y
6
N次扩展信道的信道矩阵
由 于 信 道 是 无 记 忆 的 ， 故 有 p p ( b a pyy (j i j j/ i) 1 j 2 y /xx j i N 1 i 2 x ) py ( jk /x i ik) N
k 1 N
N N 其 中 ： i 1 ,2 , ,n ;j 1 ,2 , ,m
mN
, x i N )； i 1, 2,
n N ， i k (1, 2,
, n) ,m)
, y j N )； j 1, 2, i 1, 2, ,nN
, m N ， j k (1, 2,
j 1
p ij 1
这仍意味着N次扩展信道矩阵中各行之和为 1 。
根 据 信 道 的 无 记 忆 特 性 ， 有 pb ( j/ a ( j1y ...y /x x ...x ) py ( jk /x i)py j2 j N i 1 i2 i N i k)
k 1
5
N
N次扩展信道的信道矩阵
p1 1 p1 2 p1 m N p2mN p 21 p 22 N次扩展信道的信道矩阵为 P pnN mN pnN 1 pnN 2 其 中 : p ij p ( b j / a i ) i 1, 2, , n N ; j 1, 2, , m N a i ( x i1 , x i2 , b j ( y j1 , y j 2 , 且满足
4
离散无记忆信道的N次扩展信道
此离散无记忆信道的N次扩展信道的数学模 型如下图：
X
N
N次扩展信道
Y
N
p (b j / a i )
N N 输 入 随 机 矢 量的 X 可 能 取 值 有 n 个 ， 分 别 是 a ， i 1 ,2 , … , n i N N 输 出 随 机 矢 量的 Y 可 能 取 值 有 m 个 ， 分 别 是 b ， j 1 ,2 , … , m j
X N N
一般离散无记忆信道的数学模型基本上与输 入和输出为单符号的简单离散无记忆信道的 模型相同。 不同的是其输入和输出不是单个随机变量X 和Y，而是随机序列 X ( X X , X ) 和 Y ( Y Y ,) Y . 1 2 N 1 2 N
,p (y /x ) ,Y ] 其概率空间为 [X
2
简单的离散无记忆信道
8
例 二次扩展信道的传递概率
根据信道的无记忆特性，可以求出二次扩展信道的 传递概率 p (b j / ai )， i, j 1, 2, 3, 4为 p11 p (b1 / a1 ) p (00 / 00) p (0 / 0) p (0 / 0) p 2 p12 p (b2 / a1 ) p (01/ 00) p (0 / 0) p (1/ 0) pp p13 p (b3 / a1 ) p (10 / 00) p (1/ 0) p (0 / 0) pp p14 p (b4 / a1 ) p (11/ 00) p (1 / 0) p (1/ 0) p 2 同样，还可求出其它 p ij p (b j / ai ) i 1, 2, 3, 4; j 1, 2, 3, 4
9
例 二次扩展信道的信道矩阵
从而求得二元对称信道的二次扩展信道的信 道矩阵为： p 2 pp pp p 2 2 2 pp p p pp P pp p 2 p 2 pp 2 2 pp pp p p
10
例 二元对称信道的二次扩展信道
二元对称信道的二次扩展信道如下图所示：
简单的离散无记忆信道的输入和输出都是单 个随机变量，其数学模型如下图：
X
信道
Y
信道的输入随机变量取值于符号集X 信道的输出随机变量取值于符号集Y
X { x x . . . , x } ; Y { y y . . . , y } 1 , 2 , n 1 , 2 , m
p ( y j / xi )
7
例 二元对称信道的二次扩展信道
分析二元无记忆对称信道的二次扩展信道。
0
X
p
p
p
Y
0
1
p
1
二 元 无 记 忆 对 称 信 道 的 输 入 和 输 出 随 机 变 量 X 和 Y 都 取 值 于 同 一 符 号 集 0 , 1 ， 因 此 ， 二 次 扩 展 信 道 的
2 N 2 输 入 符 号 集 为 X=0 , 0 1 , 1 0 , 1 1 ， 共 有 n 2 4 个 输 入 符 号 。 0 2 N 2 输 出 符 号 集 为 Y=0 , 0 1 , 1 0 , 1 1 ， 共 有 m 2 4 个 输 出 符 号 。 0
(yj / x 信道的传递概率为 p ij p i)
3
简单的离散无记忆信道
信道矩阵为： p11
且满足
p 1; ij
j 1
m
P p n1
p1 m p nm
i 1 ,2 , ,n
这意味着矩阵中每一行之和为1。
其 中 p p ( y x P ( Y y X x i j j/ i) j/ i) 其 概 率 空 间 为 [, X P ( y x , Y ] . j/ i)
3.1 3.2 3.3
பைடு நூலகம்
信道的数学模型和分类 单符号离散信道的信道容量 多符号离散信道
3.3.1 多符号离散信道的数学模型 3.3.2 离散无记忆信道和独立并联信道的信道 容量
3.4 3.5 3.6
多用户信道 连续信道 信道编码定理
1
离散无记忆N次扩展信道
a1 0 0
p (bj / a ij p i)
0 0 b1
0 1 b2
X
N
a2 01
a3 10
Y
N
1 0 b3
a4 11
11 b 4
11
N次扩展信道的平均互信息
根据平均互信息的定义， 可以求出N次扩展信道的平均互信息 I (X ; Y ) H ( X N ) H ( X H (Y N ) H (Y
6
N次扩展信道的信道矩阵
由 于 信 道 是 无 记 忆 的 ， 故 有 p p ( b a pyy (j i j j/ i) 1 j 2 y /xx j i N 1 i 2 x ) py ( jk /x i ik) N
k 1 N
N N 其 中 ： i 1 ,2 , ,n ;j 1 ,2 , ,m
mN
, x i N )； i 1, 2,
n N ， i k (1, 2,
, n) ,m)
, y j N )； j 1, 2, i 1, 2, ,nN
, m N ， j k (1, 2,
j 1
p ij 1
这仍意味着N次扩展信道矩阵中各行之和为 1 。
根 据 信 道 的 无 记 忆 特 性 ， 有 pb ( j/ a ( j1y ...y /x x ...x ) py ( jk /x i)py j2 j N i 1 i2 i N i k)
k 1
5
N
N次扩展信道的信道矩阵
p1 1 p1 2 p1 m N p2mN p 21 p 22 N次扩展信道的信道矩阵为 P pnN mN pnN 1 pnN 2 其 中 : p ij p ( b j / a i ) i 1, 2, , n N ; j 1, 2, , m N a i ( x i1 , x i2 , b j ( y j1 , y j 2 , 且满足
4
离散无记忆信道的N次扩展信道
此离散无记忆信道的N次扩展信道的数学模 型如下图：
X
N
N次扩展信道
Y
N
p (b j / a i )
N N 输 入 随 机 矢 量的 X 可 能 取 值 有 n 个 ， 分 别 是 a ， i 1 ,2 , … , n i N N 输 出 随 机 矢 量的 Y 可 能 取 值 有 m 个 ， 分 别 是 b ， j 1 ,2 , … , m j
X N N
一般离散无记忆信道的数学模型基本上与输 入和输出为单符号的简单离散无记忆信道的 模型相同。 不同的是其输入和输出不是单个随机变量X 和Y，而是随机序列 X ( X X , X ) 和 Y ( Y Y ,) Y . 1 2 N 1 2 N
,p (y /x ) ,Y ] 其概率空间为 [X
2
简单的离散无记忆信道
8
例 二次扩展信道的传递概率
根据信道的无记忆特性，可以求出二次扩展信道的 传递概率 p (b j / ai )， i, j 1, 2, 3, 4为 p11 p (b1 / a1 ) p (00 / 00) p (0 / 0) p (0 / 0) p 2 p12 p (b2 / a1 ) p (01/ 00) p (0 / 0) p (1/ 0) pp p13 p (b3 / a1 ) p (10 / 00) p (1/ 0) p (0 / 0) pp p14 p (b4 / a1 ) p (11/ 00) p (1 / 0) p (1/ 0) p 2 同样，还可求出其它 p ij p (b j / ai ) i 1, 2, 3, 4; j 1, 2, 3, 4
9
例 二次扩展信道的信道矩阵
从而求得二元对称信道的二次扩展信道的信 道矩阵为： p 2 pp pp p 2 2 2 pp p p pp P pp p 2 p 2 pp 2 2 pp pp p p
10
例 二元对称信道的二次扩展信道
二元对称信道的二次扩展信道如下图所示：
简单的离散无记忆信道的输入和输出都是单 个随机变量，其数学模型如下图：
X
信道
Y
信道的输入随机变量取值于符号集X 信道的输出随机变量取值于符号集Y
X { x x . . . , x } ; Y { y y . . . , y } 1 , 2 , n 1 , 2 , m
p ( y j / xi )
7
例 二元对称信道的二次扩展信道
分析二元无记忆对称信道的二次扩展信道。
0
X
p
p
p
Y
0
1
p
1
二 元 无 记 忆 对 称 信 道 的 输 入 和 输 出 随 机 变 量 X 和 Y 都 取 值 于 同 一 符 号 集 0 , 1 ， 因 此 ， 二 次 扩 展 信 道 的
2 N 2 输 入 符 号 集 为 X=0 , 0 1 , 1 0 , 1 1 ， 共 有 n 2 4 个 输 入 符 号 。 0 2 N 2 输 出 符 号 集 为 Y=0 , 0 1 , 1 0 , 1 1 ， 共 有 m 2 4 个 输 出 符 号 。 0
(yj / x 信道的传递概率为 p ij p i)
3
简单的离散无记忆信道
信道矩阵为： p11
且满足
p 1; ij
j 1
m
P p n1
p1 m p nm
i 1 ,2 , ,n
这意味着矩阵中每一行之和为1。
其 中 p p ( y x P ( Y y X x i j j/ i) j/ i) 其 概 率 空 间 为 [, X P ( y x , Y ] . j/ i)