物理信道与信道容量

• 不具有对称性,因而所对应的信通不是对称离散信道。
对称DMC信道 • 若输入符号和输出符号个数相同,都等于n,且信道矩阵为
1 p
P
n
p 1
p n 1 1 p
p
n
p
1
n 1
p n 1
p n 1
1 p
• 此信道称为强对称信道 (均匀信道) – 信道矩阵中各列之和也等于1
• 对称离散信道的平均互信息为
• 则存在
L
p(X) p(Xl ) l1
L
I(Χ;Υ) I(Xl;Yl) l1
• 若信源与信道都是无记忆的
离散序列信道及容量
LHale Waihona Puke Baidu
I(Χ;Υ) I(Xl;Yl) l1
• L次扩展信道的信道容量
L
L
C Lm P X I(a ; x)m P X l a 1I(x X l;Y l)l 1C (l)
– 信道的输出信号Y与输入信号X之间没有确定的关系,但转移概率满足:
p ( Y |X ) p ( y 1 |x 1 ) p ( y 2 |x 2 ) p ( y L |x L )
• 有干扰无记忆信道可分为: – 二进制离散信道 – 离散无记忆信道 – 离散输入、连续输出信道 – 波形信道
离散无记忆信道DMC
• 当信道平稳时:
物理信道与信道容量
2020/11/26
3.1 信道分类和表示参数 3.2 离散单个符号信道及其容量 3.3 离散序列信道及其容量 3.4 连续信道及其容量
内容
信道 • 设信道的输入X=(X1, X2 … Xi,… ), Xi ∈{a1 … an}
输出Y= (Y1, Y2 … Yj,…), Yj ∈{b1 … bm} • 信道转移概率矩阵p(Y|X)：
– 无噪无损信道 – 有噪无损信道 – 无噪有损信道 • 有干扰无记忆信道 • 有干扰有记忆信道
• 无噪无损信道
无干扰离散信道
C m p ( a i)I ( X ; a Y ) x m H ( X a ) m xH ( Y a ) lx 2 o n
• 有噪无损信道
C m p (a i)I(a X ;Y x ) m H ( a Y ) x lo 2m g
• 对称DMC信道的容量：
对称DMC信道
ClogmH(p1, p2pm)
m
logm pijlogpij j1
• 上式是对称离散信道能够传输的最大的平均信息量,它只与对称信道矩阵中行矢量{p1, p2,…pm } 和输出符号集的个数m有关。
• 强对称信道的信道容量：
Clo2ng H (1p,np 1, ,np 1)
R trs[H (X )H (X|Y )]
• 进入信道输入端的信息速率
Dinrs H(X)
例BSC信道如图, rs=1000符号/秒, 错误传递概率 p=0.1 求:信道容量
输入符号等概时有最大信息传输速率
X
0.9
Y
¼0
0.1
Ct rs[1H(p)]
¾1
100[10(0.1lo0g.10.9lo0g.9)]
• 设二进制对称信道的输入概率空间 • 信道矩阵：
BSC信道容量
1p p p p
P
p
1pp p
X 0 1
P
1
p(b0) p(ai)p(b0 |ai)pp i0
1
p(b1) p(ai)p(b1|ai)pp i0
H(Y)(pp)logp 1p(pp)logp 1p
H(pp)
H(Y| X) p(ai) p(bj | ai)logp(bj | ai)
串联信道
• 求得:
X0
Y 1-p
1-p
0Z
I(X;Y)1H(p) I(X;Z)1H[2p(1p)] 1
p p
1-p
1 1-p
• 在实际通信系统中,信号往往要通过几个环节的传输,或多步的处理,这些传输或处理都可看成是信 道,它们串接成一个串联信道。
• 由信息不增原理
串联信道
H ( X ) I ( X ;Y ) I ( X ;Z ) I ( X ;W ) C (1 ,2)mIa (X x ;Z) C (1 ,2 ,3 )mI(a X ;W x)
• 信道容量是完全描述信道特性的参量,是信道能够传输的最大信息量。
I(X;Y)
i
j p(ai)p(bj |ai)logp(pb(jb|ja)i)
n
p(bj) p(ai)p(bj |ai) i1
• 当信源输入符号的速率为 rs (符/秒), • 信道容量
BSC信道容量
Ct rs[1H(p)]
• 实际信息传输速率 Rt 为
• 当 p = 0, C =1－0 = 1bit = H ( X )
信道无噪声 C
• 当 p = 1/2 ,
信道强噪声
11
C1H( , )0 22
p
信道容量
• 定理： • 给定转移概率矩阵P后,平均互信息I (X;Y)是输入信源的概率分布p(ai)的 型上凸函数。
• 定理： • 平均互信息I (X;Y)是信道传递概率p(bj|ai)的 型凸函数。
离散序列信道及容量 • 设信道的输入X=(X1, X2 … Xi,… ), Xi ∈{a1 … an}
输出Y= (Y1, Y2 … Yj,…), Yj ∈{b1 … bm}
p(Y|X)
X
Y
信道
• 对于无记忆离散序列信道,其信道转移概率为
L
p (Y |X )p (Y 1 , Y L|X 1 , X L ) p (Y l|X l)
r
C lognH(p1, p2pm) Nk logMk k1 log2H(1, 1,1,1)(3log3 1log1) 2488 4 4 4 4 11.750.8110.06（1 比特/信道符号）
3.2.4 一般DMC信道 • 定理： • 一般离散信道的平均互信息I(X;Y)达到极大值的充分和必要条件是输入概率{p(ai)}必须满足:
P131
3 1
6 1
6113
16
13
16
6 3 6 3 6 3 3 6
• 它们满定对称性,所以P1所对应的信道为准对称信道。
• 准对称信道
准对称信道的信道容量
0.70.20.1 0.70.2 0.1 P 20.20.10.7 0.20.7 0.1
• 准对称信道容量
C lo m g H (p 1 ,p 2 p m )
• 当输入分布为等概率时：
准对称信道的信道容量
r
Clon gH (p1,p2 pm ) N kloM g k k1
– 其中n是输入符号集的个数,(p1, p2,…pm)为准对称信道矩阵中的行元素。 • 设矩阵可划分成r个互不相交的子集。
– Nk是第k个子矩阵Pk中行元素之和, – Mk是第k个子矩阵Pk中列元素之和。
I (ai;Y) = C 对于所有ai其p(ai)＞0 I (ai;Y) ≤C 对于所有ai其p(ai) = 0
• 上式说明： – 当信道的平均互信息I(X;Y)达到信道容量时,输入符号概率集{p(ai)}中每一个符号ai对输出端 Y提供相同的互信息,只是概率为0的除外。
3.3 离散序列信道及容量
– 仅与当前输入输出有关。若信道是平稳的
l 1
p(Y|X)pL(y|x)
• 定理：若信道的输入和输出分别是L长序列X和Y, 且信道是无记忆的, 亦即信道传递概率为
• 则存在
L
p(Y| X) p(Yl | Xl) l1
L
I(Χ;Υ) I(Xl;Yl) l1
• 定理：若信道的输入和输出分别是L长序列X和Y, 且信源是无记忆的, 亦即
对称DMC信道
I ( X ,Y ) H ( X ) H ( X |Y ) H ( Y ) H ( Y |X )
H(Y| X) p(ai) p(bj | ai)logp(bj | ai)
i
j
p(bj | ai)logp(bj | ai)
j
H(Y| ai) i 1,2,n
H (Y |X ) H (Y |a i) H (p 1 ,p 2 , p m )
1 1 1 1 P 3 3 6 6
1 1 1 1 6 6 3 3
1 1 1
2 3 6
P
1 6
1 2
1 3
1 1 1
3 6 2
满足对称性,所对 应的信道是对称 离散信道。
• 信道矩阵
对称DMC信道
1 1 1 1 P3 3 6 6
1 1 1 1 6 3 6 3
P00..27
0.1 0.1
0.2 0.7
Nk p(bj |ai)
j
Mk p(bj |ai)
i
(k1,2,r)
• 例：设信道传递矩阵为 • 将它分成
1 1
P1
2 1
4 1
4 2
1 1 1 1
P
2 1
4 1
8 1
18
1 1 4 2 8 8
P2
8 1
8 1
8 8
• 计算得：N1 =3/4, N2 = 1/4, M1=3/4, M2 = 1/4
• 无噪有损信道
C m p (a i)I(a X ;Y x ) mH a (X )x lo 2ng
3.2.1 对称DMC信道
• 对称离散信道： • 对称性:
– 每一行都是由同一集{ p1, p2,…pm} 的诸元素不同排列组成——输入对称 – 每一列都是由集{q1, q2,…qn}的诸元素不同排列组成——输出对称
– 描述输入/输出的统计依赖关系,反映信道统计关系
p(Y|X) X
Y 信道
无干扰(无噪声)信道 • 无干扰(无噪声)信道
– 信道的输出信号Y与输入信号X之间有确定的关系Y= f (X), 已知X后就确知Y – 转移概率:
1, Yf(X) p(Y|X)0, Yf(X)
有干扰无记忆信道 • 有干扰无记忆信道
1H (p)
• 当 p 固定时, I (X,Y) 是ω的U型上凸函数。
I(XY)
• I ( X ,Y ) 对ω存在一个极大值。
1-H(p)
ω
BSC信道容量 • BSC信道容量
I(X;Y) H(Y)H(Y | X)
H(pp)H(p)
1 H( p)
C1H(p)
• 当固定信源的概率分布ω时, I ( X, Y ) 是 p 的 型 下凸函数。
• 信道的信息传输率就是平均互信息
• 信道容量C： – 最大的信息传输率
信道容量
CmaIx(X;Y) p(ai)
• 单位时间的信道容量：
1
Ct
maIx(X;Y) T p(ai)
信道容量的计算
• 对于一般信道,信道容量计算相当复杂,我们只讨论某些特殊类型的信道： • 离散信道可分成： • 无干扰(无噪)信道
串联信道 • 例3-3 设有两个离散BSC信道,串接如图,两个BSC信道的转移矩阵为:
1p p
P1 P2
p
1p
• 串联信道的转移矩阵为:
X0
1-p Y
p
p
1 1-p
1-p 1-p
0Z 1
1 pp 1 pp (1 p )2 p 2 2 p (1 p ) P P 1 P 2 p1 p p1 p 2 p (1 p ) (1 p )2 p 2
100[100.46]953b1i/ss
信道实际信息传输速率
R t r s [ H ( X ) H ( X |Y ) 1 ] [ 0 . 8 0 . 3 1 ] 0 4 9 1 b / 1 s 8 i D i n r s H ( X ) 10 0 .8 0 1 8 0 b 1 1 /s i1 t
• 可以看出,串接的信道越多,其信道容量可能会越小,当串接信道数无限大时,信道容量可能会趋于0
X
Y
Z
信道1
信道2
…
信道m
3.2.3 准对称DMC信道
• 准对称信道 – 转移概率矩阵P是输入对称而输出不对称
• 将信道矩阵P的列划分成若干个互不相交的子集mk,由mk为列组成的矩阵[P]k是对称矩阵。
1 1 1 1 1 1 1 1
• 信道输入是n元符号X∈{a1, a2, …, an} • 信道输出是m元符号Y∈{b1, b2, …, bm} • 转移矩阵
– 已知X, 输出Y统计特性
b1 b2 bm
p11 p12 p1m a1
P
p21
p22
p2m
a2
pn1
pn2
pnm
an
m
p(bj |ai)1
j1
a1
a2
: : :
p11 p12
p21
p22
an
pnm
i1,2, n
b1 b2
: : :
bm
3.2 离散单个符号信道及其容量
信道容量
• 平均互信息I (X;Y)： – 接收到符号Y后平均每个符号获得的关于X的信息量。
I(X;Y)
i
j p(xi)p(yj |xi)logp(py(jy|jx)i)
n
p(yj) p(xi)p(yj |xi) i1
i
j
p(bj | ai)logp(bj | ai)
j
[plogp plogp] H(p)
I(X ;Y ) H (Y ) H (Y |X ) H (p p ) H (p )
1 H (p )
BSC信道容量 • BSC信道容量
C1H(p)
I(X ;Y)H (Y)H (Y|X )H (p p)H (p)