信息论-第四章

2018/10/30 4
§4.2 离散无记忆信道

例4.2.1（p89）二元对称信道BSC是离散无记忆恒参信道。
0 0.1 0.1 1 1 0.9 0.9 0


当N＝1时，p(0/0)=p(1/1)=0.9,p(1/0)=p(0/1)=0.1 当N=2时， p(00/00)=p(11/11)= p(0/0) p(0/0)= 0.9*0.9=0.81 P(10/00)=p(01/00)=p(01/11)=p(10/11)=0.1*0.9 =0.09 P(11/00)=p(00/11)=0.1*0.1=0.01
1 w( y ) q( x) p( y | x) K x 0 1 K
K 1
p( y | x)
x 0
K 1
p(0 | x)，
x 0
2018/10/30 15
K 1
K 1 1 K 即w( y )与y无关。w( y )＝ , 此时 p ( y | x)＝ 。 J J x 0
5
2018/10/30
§4.2 离散无记忆信道
一、有关DMC的容量定理（所说的DMC都是离散无记忆平 稳信道） 设 DMC在某个时刻输入随机变量为X，输出随机变量为Y。 信道响应特性为转移概率矩阵 [p(y|x)，x∈{0, 1, …, K-1}，y∈{0, 1, …, J-1}]， 它是一个K×J阶矩阵（其中p(y|x)=P(Y=y|X=x)）。 X的概率分布为{x, q(x), x∈{0, 1, …, K-1}}。 Y的概率分布为{y, w(y), y∈{0, 1, …, J-1}}。 以下的结论是我们已知的。
§4.2 离散无记忆信道
定义4.2.6(p92) 若DMC的转移概率矩阵P的列的全体可 分成若干个列子集，每个列子集所对应的P的子阵都 满足以下两条性质： （1）任一行是第一行的置换， （2）任一列是第一列的置换。 则称信道为准对称信道。 （显然，准对称信道关于输入是对称的。特别若列子 集只有一个，即转移概率矩阵P本身的任一行是第一 行的置换，任一列是第一列的置换，则称信道为对 称信道。 ）
若P的任一行是第一行的置换，则称信道是关于输入为对称的。 若P的任一列是第一列的置换，则称信道是关于输出为对称的。 若信道是关于输入为对称的，又是关于输出为对称的，则称信 道为对称信道。
2018/10/30 13
§4.2 离散无记忆信道
命题1 若DMC关于输入为对称的，则
1 H (Y | X ) p( y | k ) log H (Y | X k ) p( y | k ) y 0
2018/10/30 2
§4.2 离散无记忆信道
定义4.2.1和定义4.2.2(p88-89) 如果 （1）信道的输入为随机变量序列X1, X2, X3, …，其中每个随机 变量Xu的事件集合都是{0, 1, …, K-1}， （2）信道的输出为随机变量序列Y1, Y2, Y3, …，其中每个随机 变量Yu的事件集合都是{0, 1, …, J-1}， 则称该信道为离散信道。如果更有 （3）P((Y1Y2…YN)=(y1y2…yN)|(X1X2…XN)=(x1x2…xN)) =P(Y1=y1|X1=x1)P(Y2=y2|X2=x2)…P(YN=yN|XN=xN)， 则称该信道为离散无记忆信道（DMC）。如果更有 （4）对任意x∈{0, 1, …, K-1}，y∈{0, 1, …, J-1}，任意两个时 刻u和v，还有P(Yu=y|Xu=x)=P(Yv=y|Xv=x)， 则称该信道为离散无记忆平稳信道或恒参信道。
I ( X k ; Y ) p( y | k ) log K 1
y 0 z 0 J 1
p( y | k )
q( z ) p( y | z )
都取一个相同的值；对任何满足q(k)=0的k，I(X=k; Y)≤此相同 的值。 （2）此时此相同的值恰好就是信道容量C。 （定理4.2.2实际上叙述了定理2.6.2的含义。）
2018/10/30 6
§4.2 离散无记忆信道
（1）转移概率矩阵的每一行都是一个概率向量。
p(1 | 0) p( J 1 | 0) p(0 | 0) p(0 | 1) p ( 1 | 1 ) p ( J 1 | 1 ) p ( 0 | K 1 ) p ( 1 | K 1 ) p ( J 1 | K 1 )
2018/10/30 18
§4.2 离散无记忆信道
定理4.2.3(p92) 对于准对称DMC信道， （1）达到信道容量的最佳输入分布为等概分布； （2）信道容量为
对任意x，
p( y | x) P(Y {0,1,, J 1} | X x) 1
y 0
J 1
2018/10/30
7
§4.2 离散无记忆信道
（2）对任意y∈{0, 1, …, J-1}，由全概率公式有
w( y ) q( x) p( y | x)
x 0
K 1
( w(0), w(1),, w( J 1)) p(1 | 0) p( J 1 | 0) p ( 0 | 0) p(0 | 1) p ( 1 | 1 ) p ( J 1 | 1 ) (q(0), q(1),, q( K 1)) p(0 | K 1) p(1 | K 1) p( J 1 | K 1)
定义4.2.3(p89) 离散无记忆信道的信道容量定义为如下的C。 达到信道容量的输入概率分布{x, q(x), x∈{0, 1, …, K-1}}称 信道容量表示了 信道传送信息的 为最佳输入分布。 其中
C
q {q ( x ), x{0 ,1,, K 1}}跑遍所有的 K维概率向量
max
x 0 y 0 z 0 K 1 J 1
p ( y | x)
q( z ) p( y | z )
9
2018/10/30
§4.2 离散无记忆信道
（4）设转移概率矩阵[p(y|x)，x∈{0, 1, …, K-1}，y∈{0, 1, …, J-1}]（是信道的响应特性）确定，希望选择概率向量{q(x), x∈{0, 1, …, K-1}}使I(X; Y) 达到最大。(则见p33定理2.6.2说 明平均互信息量的最大值存在，可以取到。)
第四章：信道及其容量
2018/10/30
1
§4.1 信道分类
信道是传输信息的媒质或通道。（输入→信道→输出） 说明 （1）信道输入是随机过程。 （2）信道响应特性是条件概率P(输出值为y|输入值为x)，又称 为转移概率。 （3）信道输出是随机过程，输出的概率分布可以由输入的概率 分布和信道的响应特性得到。（全概率公式） （4）根据信道输入、信道响应特性、信道输出的情况，可将信 道分类：离散信道（又称为数字信道）；连续信道（又称 为模拟信道）；特殊的连续信道——波形信道；恒参信道 和随参信道；无记忆信道和有记忆信道；等等。
2018/10/30 16
§4.2 离散无记忆信道

例4.2.2 准对称信道的例子。(见p92)
0.8 0.1 0.1 P 0.1 0.1 0.8
因为Y＝{0,1,2}可划分为两个子集{0,2}和{1}， 而每个子集对应于矩阵P的列所构成的子阵 分别为 0.8 0.1 0.1
I ( X ;Y )
2018/10/30
最大能力，这个 量在信息论研究 中有重要意义。 传送的信息量必 须小于信道容量 10 C
§4.2 离散无记忆信道
定理4.2.2(p91) （1）输入概率分布{x, q(x), x∈{0, 1, …, K-1}}是最佳输入分 布的充分必要条件为：对任何满足q(k)>0的k，
2018/10/30 14
K 1 J 1
K 1
J 1
§4.2 离散无记忆信道
命题2 若DMC关于输出为对称的，则当输入分布等概时，输 出分布等概。 证明 此时{p(y|x)，x=0~ K-1}与{p(0|x)，x=0~ K-1}互为置换。 设q(x)=1/K，x∈{0, 1, …, K-1}。则
2018/10/30 11
§4.2 离散无记忆信道
注解 给定一个DMC信道的响应特性，也就是说给定一个信道的转 移概率矩阵[p(y|x)，x∈{0, 1, …, K-1}，y∈{0, 1, …, J-1}]， 达到信道容量时所对应的最佳输入分布是满足定理4.2.2条件 的概率向量{q(x), x∈{0, 1, …, K-1}} 。 其信道容量是每个使得q(k)>0的k所对应的半平均互信息量 I(X=k; Y)。 如果对DMC信道没有任何简化，要计算最佳输入分布并不容 易。但是，通常使用的DMC是很简单的（比如，以下的准 对称信道和对称信道），最佳输入分布很容易求出。
2018/10/30 8
§4.2 离散无记忆信道
（3）I(X; Y)是概率向量{q(x), x∈{0, 1, …, K-1}}和转移概率 矩阵[p(y|x)，x∈{0, 1, …, K-1}，y∈{0, 1, …, J-1}]的函数。
K 1 J 1
p( y | x) I ( X ; Y ) P(( XY ) ( xy)) log w( y ) x 0 y 0 q( x) p( y | x) log K 1
2018/10/30 3
§4.2 离散无记忆信道(DMC)
关于定义4.2.1和定义4.2.2的注解 “离散”的含义是时间离散，事件离散。即：信道的输入、 输出时刻是离散的，且输入随机变量和输出随机变量都是 离散型的随机变量。 “无记忆”的含义是信道响应没有时间延迟，当时的输出 只依赖于当时的输入。 “平稳”的含义是信道在不同时刻的响应特性是相同的。 “离散无记忆平稳信道”是最简单的信道，信道在某一时 刻u的响应特性 P(Yu=y|Xu=x)； x∈{0, 1, …, K-1}，y∈{0, 1, …, J-1}， 就能很简单地计算出信道在任意时间段的响应特性。即在 DMC（若无特殊说明就意味着满足平稳条件）下，只需 研究单个字母传送。