信息论基础第四章ppt

p(y) = 1 J
c = ∑ p( y | x)
2 离散输出对称信道 2.
定理3：对于离散输出对称信道，有 对于离散输出对称信道 有
max H (Y ) = log J
p(x)
且取得该值的分布为
1 p( x) = K
证：由引理2知一致输入可得到一致输出，一致输出可得到 最大熵logJ 例：BSC是离散输出信道 BEC不是离散输出信道
均匀分布p(x)同时最大化所有的Ii(X;Y)
Remark: 最后这步要求非常强，输入分布同时最大化所有的I！
例1
例1：转移矩阵 转移矩阵
⎡0.8 0.1 0.1⎤ P=⎢ ⎥ 0 . 1 0 . 1 0 . 8 ⎣ ⎦
不是对称信道，但是准对称信道，可分解为：
⎡0.8 0.1⎤ ⎡0.8/ 0.9 0.1/ 0.9⎤ = 0.9 ⎢ ⎢0.1 ⎥ ⎥ 0 1 0 0.8 8 0 0.1/ 1/ 0 0.9 9 0.8/ 0 8/ 0.9 0 9 ⎣ ⎦ ⎣ ⎦
⎡1 − δ P=⎢ ⎣ 0
δ 0 ⎤ ⎡1 0 ⎤ ⎡1⎤ (1-δ )⎢ 和δ ⎢ ⎥ 分解成： ⎥ ⎥ δ 1− δ ⎦ ⎣0 1 ⎦ ⎣1⎦
输入以概率(1-δ )和δ 选择信道C1和C2
准对称信道
定义 准对称信道：如果该 准对称信道 如果该DMC能分解成L个对称信道 定理：如果各对称信道被选择的概率为 q1 , q2 ,..., qL ，对应 的L个对称信道的容量为 C1 , C2 ,..., CL ，则准对称信道容量为 则准对称信道容量为
4 2 1 p105 定理4.2.1
X N , Y N 代表长度为N的输入、输出序列
定理：设 Y 是 X N 经过容量为C的DMC信道传输所得到 的输出信号，则 I ( X N ; Y N ) ≤ nC 证：
N
421 定理4.2.1
继续上页不等式
这样就证明了：多次重复使用信道并不能增 加每次传输的信道容量 两个不等号中等式成立的条件是什么？
X1 信道1 P(j|k)
Y1
X2 信道2 P(j‘|k’)
Y2
和信道
单位时间内可随机选用信道1和信道2中的一个，选用 信道1的概率为p1，选用信道 选用信道2的概率为p2， p1 ＋p2＝1 输入空间X=X1+X2， Y=Y1+Y2，
I(X ;Y ) = +
x1 , y1
∑
p1 p ( x1 ) p ( y1 | x1 ) log
k =1
K
= H (Y | X = k )∑ p ( X = k ) = −∑ p j log p j
k =1 j =1
K
J
例：BSC: H (Y | X ) = H (α ,1 − α ) = H (α ) 例：BEC: H (Y | X ) = H (α ,1 − α ) = H (α )
1 离散输入对称信道 1.
4.2 离散无记忆信道
通信系统
A与B通信： 信 A的物理行为使 的物 使B产生出一种需 产生 种 物 行 要的物理行为 每一个可能的输入序列将导出关于输出序 列的概率分布
DMC
定义 义 离散信道：由输入字母表 离散信道 输 字 表A，输出字 输 字 母表B和概率转移矩阵 概率转 矩阵p(y| p(y|x) )构 构成的系统， 系 条件概率表示发送x条件下收到y的概率。 定义 离散无记忆信道：如果输出的概率分 布仅仅依赖于它所对应的输入，而与先前 信道的输入或输出条件独立。
1 离散输入对称信道 1.
定义：若信道转移概率矩阵所有行矢量都是 第一行的置换，或者说离开每个输入节点的 条件分布集合都相同 条件分布集合都相同。
定理：对于离散输入对称信道，H(Y|X)与p(x)无关，且
H (Y | X ) = −∑ p j log p j = H ( p1 , p2 ,..., pJ )
第四章 信道及其容量
信道及其容量
4.1信道分类 信道 类 4.2离散无记忆信道 4.3信道的组合 4.4时间离散的无记忆信道 4 5波形信道 4.5
4.1信道分类
信道分类
离散信道：输入输出均为离散事件集 离散信道 输 输 均 离散事件集 连续信道：输入输出空间均为连续事件集 半连续信道：输入和输出一个是离散的， 一个是连续的 个是连续的 时间离散的连续信道：信道输入和输出是 连续的时间序列 波形信道 输入和输出都是时间的实函数 波形信道：输入和输出都是时间的实函数 x(t), y(t)
j =1 J
,..., , pJ 是离开每个节点的转移概率集合，也是转移 其中 p1 , p2 , 矩阵每行的元素集合
1 离散输入对称信道 1.
证：
H (Y | X = k ) = −∑ p j log p j
j =1 J
H (Y | X ) = ∑ p ( X = k ) H (Y | X = k )
⎡1 − p Kp−1 ⎢ p 1− p K −1 ⎢ P= ⎢ ... ... ⎢ p p ⎢ K −1 ⎣ K −1 ⎤ ⎥ ... ⎥ ... ... ⎥ ⎥ ... 1 − p ⎥ ⎦ ...
p K −1 p K −1
共K-1项
C = log K − H (1 − p, Kp−1 ,..., Kp−1 )
2 BSC容量 例2.
二元对称信道容量
最后一个不等式成立是因为Y是二元r.v., 当输入 服从均匀分布式，输出Y也服从均匀分布，等 式成立，得出信道容量
例3 BEC容量
二元擦除信道：比例为a的 Bit被擦除，接收机知道哪些 Bit被擦掉了，因此有2个输入 3个输出。
看起来似乎H(Y)的最大值是log3，但可惜不论如何选 择选择输入分布都取不到这个值（证明它！） 择选择输入分布都取不到这个值（证明它 ）
⎡1⎤ 0.1 ⎢ ⎥ ⎣1⎦
⎛ ⎛ 0.8 0.1 ⎞ ⎞ C = 0.9C1 + 0.1C2 = 0.9 ⎜ log2 l − H ⎜ , ⎟ ⎟ + 0.1× 0 = 0.4471bits b ⎝ 0.9 0.9 ⎠ ⎠ ⎝
例2 K元对称信道
转移概率为转移矩阵如下 该信道为对称信道 容量为 转移概率为转移矩阵如下，该信道为对称信道，容量为
x2 , y 2
∑
= I ( X 1 ; Y1 ) p1 + I ( X 2 ; Y2 ) p 2 + H ( p )
和容量
容量 信道1和信道2的和容量为 容量：信道
2C = 2C1 + 2C2 或C = log(2C1 + 2C2 )
证明 / 略
C = max I ( X ; Y )
P ,Q ,Q '
= max{max I ( X 1 ; Y1 ) p1 + max I ( X 2 ; Y2 ) p2 + H ( P)}
DMC
注1：DMC由3部分组成： 1. 输入空间 2 输出空间 2. 3. 条件概率分布，它描述了信道行为：
注2：如不特殊说明，只讨论不带反馈的DMC， 即输入满足：
容量
定义离散无记忆信道的容量为： 定义离散无记忆信道的容量为
例1：无噪声二元信道 无噪声二元信道 每次传输的比特能精确接 收，容量为1bit。也可以用 式 公式计算，容量在 时取得。 时取得
特殊信道的容量计算
离散输入对称信道 离散输 称信道 离散输出对称信道 对称信道 准对称信道
转移概率矩阵
K个输入， 个输 J个输出 个输
Y 1 ... J
1 ⎡ p (1|1) ... P = X ... ⎢ ... ⎢ ... K⎢ (1| | K ) ... ⎣ p(
p ( J |1) ⎤ ... ⎥ ⎥ ⎥ p( J | K ) ⎦
p ( y1 | x1 ) p1 p ( y1 )
x2 , y 2
∑
p 2 p ( x 2 ) p ( y 2 | x 2 ) log
p ( y 2 | x2 ) p2 p ( y2 )
= p1 ∑ + p2
x1 , y1
p ( y1 | x1 ) p ( x1 ) p ( y1 | x1 ) log p ( y1 ) p ( y2 | x2 ) p ( x 2 ) p ( y 2 | x 2 ) log − p1 log p1 − p 2 log p 2 p ( y2 )
BEC容量
设E代表事件{Y=e}，使用表达式：
并且设 Pr( X = 1) = π ，则：
因此 因此： 当输入等概时，取 得容量
信道容量的性质
1. 由于互信息非负，所以 信息 负 C非负 负 gA 2 C = max I ( X ; Y ) ≤ max H ( X ) = log 2. C ≤ max H (Y ) = log B 3.
p( y) =
∑
x
x
p( x) p( y | x) =
∑
x
1 1 p( y | x) = K K
∑
x
c p( y | x) = K
为一常数，因为进入每个输出节点的条件分 布集合相同 它们的和必为 常数 从而p(y) 布集合相同，它们的和必为一常数。从而 ( )是相等的，因 是相等的 因 此Y服从一致分布且
准对称信道容量证明
证明：考虑可分解为 证明 考虑可分解为L个对称信道的准对称信道，每个子信道被 个对称信道的准对称信道 每个子信道被 选择的概率为 q1 , q2 ,..., qL ，定义随机变量Z如下：如果输出字符为 第i个子信道的输出，则 个 信 Z=i，所以H(Z|Y)=0；也可以把Z理解为 选择子信道的概率，所以P(Z=i)= q i 。另外，假设Z与X统计独 立，即输入的选择与用来传输的子信道的选择是独立的。注意从 准信道的定义可以看出，每个子信道的输入符号集和母信道一样
3 对称信道 3.
定义：同时满足输入对称和输出对称的离散信道 定义 同时满足输入对称和输出对称的离散信道 容量： C = max I ( X ; Y ) = max H (Y ) − H (Y | X )
p( x) p( x)
[
]
= m ax H (Y ) − H (Y | X )
p(x)
= lo g J +
∑
J
j =1
pj
例：BSC信道容量
C = log g 2 + ε log g ε + (1 ( − ε ) log(1 g( − ε ) = 1 − h(ε )
取得该容量的输入分布为 p ( X = 0) = p ( X = 1) = 0.5
准对称信道
BEC信道不是对称信道，但该信道有明显的对称性！ 信道不是对称信道 但该信道有明显的对称性 BEC 可以分解为如下两个对称信道：
= log K + (1 − p ) log(1 − p ) + p log = log K − p log( K − 1) − H ( p )
p K −1
4 3 信道的组合 4.3
积信道 信道 和信道 级联信道
积信道
C1＝maxI(X1,Y1) C2＝maxI( (X2,Y2) 信道1和信道2同时传递 消息，输入集X X=X X1×X2, 输出集Y=Y1×Y2,转移概 )=p(j|k)p(j 率p(jj’|kk’) p(j|k)p(j’|k’) C=C1+C2 证明 略 证明：略
容量：
C = max I ( X ; Y ) = max [ H (Y ) − H (Y | X ) ]
p( x) p( x)
= max H (Y ) − H (Y | X )
p( x)
容量的计算转化为计算：
max H (Y )
p( x)
2 离散输出对称信道 2.
定义1：如果 如果P的每一列都是第一列的置换。或者说进入每 的每 列都是第 列的置换 或者说进入每 个输出节点的条件分布集合都相同。 引理2：对于离散输出对称信道，如果输入服从均匀分布， 对于离散输出对称信道 如果输入服从均匀分布 则输出也服从均匀分布。
证明
由H(Z|Y)=0 ( | ) 可得 可得：H(Z|XY)= ( | ) H(Z|Y)=0( ( | ) (因为X与Z独 独立)， H(Y,Z|X)=H(Y|X)+H(Z|XY)=H(Y|X)
ቤተ መጻሕፍቲ ባይዱ
I ( X ; Y ) = H (Y ) − H (Y | X )
证明
令 I i ( X ; Y ) 代表当第i个对称子信道单独使用时， 输入X与Y之间的互 信息， 当X为均匀分布时等号成立
C =
∑
L
i =1
q iC i
推论：准对称信道必为离散输入对称。 判断方法 将矩阵P按输出Y进行划分，如果能分解成 进行划分 如果能分解成L个 判断方法：将矩阵 对称矩阵，则为准对称信道。 R Remark k：取得准对称信道容量的输入分布为等概分布。证 取得准对称信道容量的输入分布为等概分布 证 明见P109定理4.2.3