离散消息信道容量的迭代计算

此仿真中不同的信道转移概率表示不同的离散信道，信道容量对比仿真分析 如下表所示：
表 1. 不同离散信道的迭代算法对比
信道转移矩阵
信道容量 精度
输入概率
迭代次数
1/8 7/8 7/8 1/8
0.4564
0.0001
0.5 0.5
1
1/8 7/8 3/10 7/10
0.0338
0.0001
0.5012 0.4988 1
1/14 6/14 1/2
0.2042
0.0001
0.5 0.5
1
6/14 1/14 1/2
1/2 1/4 0 1/4
0100 0010
1.3219
0.0001
0.134 0.365 0.365 0.134
5
1/4 0 1/4 1/2
可见，对于不同的离散信道对应不同信道容量且达到信道容量对应不同的输
四．结论
本文对离散消息信道容量展开研究，首先介绍了离散信道以及信道容量的相 关概念。然后介绍了离散信道信道容量的迭代求法。接下来通过对迭代算法的仿 真结果分析得出，对于不同的离散信道对应不同信道容量且达到信道容量对应不 同的输入概率分布，迭代算法对于精度的不用要求其迭代次数不同，精度越高迭 代次数越多，计算越复杂。
j 1
信道容量求出后，计算并没有结束，必须解出相应的 p(xi ) ，并确认所有的
p(xi ) 都大于或等于 0 时，所求的 C 才存在，因为在我们对 I(X;Y)求偏导时只限
n
p(xi )
制i 1
1 ，并没有限制 p(xi ) 0 ，所以求出的 p(xi ) 可能为负值，此时的
C
就不存在，必须对 p(xi ) 进行调整再求解 C 一般由迭代算法求出。
I(X,Y)=[H(X)-H(X/Y)]=[H(Y)-H(Y/X)] 比特/符号
信道容量与与信源无关，它是信道的特征参数，反应的是信道的最大的信息
传输能力。
对于一般信道的求解方法，就是求解方程组
s
s
P(bj / ai ) log P(bj / ai ) P(bj / ai ) log P(bj ) C
j 1
j 1
s
s
令 j C log P(bj ) 则 P(bj / ai ) j P(bj / ai ) log P(bj / ai )
j 1
j 1
若 r=s，此方程有解，可以解出 s 各未知数β ，再根据 j
P(bj ) 2 j C
得
s
2 j C 1
j 1 s
从而 C log 2j
入概率分布，且迭代所需次数也不同。
然后我们对于同一信道，对应不同精度要求的迭代算法进行仿真比较，如下
表所示：
表 2. 不同精度要求的迭代算法对比
信道转移矩阵
信道容量 精度
输入概率
迭代次数
1/5 2/5 0 2/5 0100 0010 2/5 0 2/5 1/5 1/5 2/5 0 2/5 0100 0010 2/5 0 2/5 1/5 1/5 2/5 0 2/5 0100 0010 2/5 0 2/5 1/5
离散消息信道容量的迭代算法
摘要
对于离散信源，在限度失真条件下直接计算信源的最小速率是比较复杂的。 本文分析了 Blahut 迭代算法求解 R(D)的原理和过程，并通过仿真研究了各种离 散信道率失真函数 R(D)与失真限定值 D 的关系。本文主要对离散信道及其信道 容量进行相关阐述，重点描述用迭代算法实现离散信道容量，并对其进行仿真分 析。
参考文献
[1]. 田宝玉，杨洁，贺志强，王晓湘. 信息论基础. 人民邮电出版社. 2008 [2]. 吴伟陵. 信息处理与编码. 人民邮电出版社. 1991
C (k 1) C (k ) C (k 1)
，则转到(7)
(6) 迭代序号加一，即 k=k+1,转向(2)
(7) 输出 p(xi )(k1) 的结果和 C (k1) 的结果 以上迭代算法的迭代过程由以下流程图表示
迭代计数器k=0 误差门限为δ
否，k=k+1
输出结果
三．仿真结果
对不同的离散无记忆信道进行仿真，利用迭代算法计算出其信道容量及达到 信道容量时信源的输入概率分布。
二．离散消息信道容量迭wenku.baidu.com算法
2.1 信道容量迭代算法的迭代流程
一般离散信道的信道容量可以通过以下迭代算法实现：
(1) 对于一个给定信道的信道转移概率 p( y j | xi ) pij ，并且给定初始化信源
分布 p(0) ( p1, p2... pi... pr ) ，置迭代计数器 k=0，设信道容量相对误差门 限为δ，δ>0；
关键词：离散信源 率失真函数 Blahut 迭代算法
一．离散消息信道容量
1.1 离散信道
设新到的输入符号集合 X 为随机变量集合，则输出符号集合 Y 也为随机变 量集合。因为信道有随机噪声干扰，使 Y 在 X 给定条件下为随机变量，所以用 条件概率 P(Y|X 描述 Y 与 X 之间的关系，其信道模型如图 1 所示：
噪声
X
P(Y|X)
Y
信道 图 1 信道模型
1.2 信道容量
由平均互信息量 I(X; Y) 是输入随机变量 X 的概率分布 P(x) 的∩型凸函数。 因此对于一个固定的信道, 总存在一种信源(某种概率分布 P(x)) ,使传输每个符 号平均获得的信息量最大。也就是每个固定信道都有一个最大的信息传输率。定 义这个最大的信息传输率为信道容量 C,即 C=max{I(X; Y)}。其中
(2)
由迭代公式计算
(k ji
)
pij pi(k ) pij pi(k )
；
i
exp[
pij
ln
(k) ji
]
(3)
由上一步结果代入公式计算
p(k 1) i
j
{exp[
pij
ln
(k) ji
]}
i
j
(4) C(k1) ln{
exp[
pij
ln
(k ji
)
]}
得到信道容量
i
j
(5)
判断若 C（k1）
1.2288 1.22937 1.22940
0.001 0.0001 0.00001
0.1285 0.3715
0.3715 0.1285
4
0.1238 0.3762
0.3762 0.1238
6
0.1231 0.3769
0.3769 0.1231
7
可见，对于同一信道，迭代算法对于精度的不用要求其迭代次数不同，精度 越高迭代次数越多，计算越复杂。