离散信道容量迭代实现

中文摘要

信道是信息传递的通道，承担信息的传输和储存的任务，是构成通信系统的重要组成部分。信道容量是指信道能够传输信息量的大小。信道容量的研究在现实中有着非常重要的理论意义。而信道容量的计算是一个比较复杂的问题，所以我们要借助于数学软件Matlab来解决这个难题。

本文的第一部分从信道容量的基本概念、基本原理、信道模型及分类等方面系统的介绍了信道容量。并在此基础上，介绍了一般信道容量的计算步骤。

本文的第二部分开始介绍信道容量的迭代算法及迭代算法在Matlab中的实现，举例检验迭代算法在Matlab中实现的程序的可行性

关键词信道容量 Matlab 迭代算法

Abstract

Channel is a channel of information transmission. And it take on the task of information transmission and storage. Channel is an important part of communication system. Channel capacity is the size of the amount of information can be transmitted. It has important significances in reality. However, calculating the channel capacity is a complex issue. So we must use the mathematical software Matlab to solve this problem.

The first part of the article, it introduces channel capacity by the basic concepts, principles and the classification of channel models. On this basis, introduce and discuss the calculation steps of the general channel capacity.

The second part of the article, it introduces the Iterative algorithm of the channel capacity and implementes the iterative algorithm in Matlab. After that, by realizing the feasibility of the procedure, we make some examples. And also analyze the procedure.

Key word ：channel capacity、matlab

目录

引言 (6)

1、离散信道的数学模型 (6)

2、信道容量和最佳输入概率分布 (6)

2.1信道容量 (6)

2.2最佳输入概率分布 (7)

3、信道容量和平均互信息的计算步骤 (7)

3.1平均互信息的计算 (7)

3.2信道容量的计算 (7)

4、信道容量的迭代算法 (8)

5、实例分析 (9)

结论 (10)

参考文献 (11)

附 (12)

引言

本文主要结合实例对离散信道及其信道容量进行相关阐述，及用迭代算法实现离散信道容量

1、离散信道的数学模型

设离散信道的输入为一个随机变量X ，相应的输出的随机变量为Y ，如图所示： 规定一个离散信道应有三个参数： 输入信号：X={X1, X2, …, XN} 输出信号：Y={Y1, Y2, …, YN}

信道转移概率：P(y|x) 描述了输入信号和输出信号之间的依赖关系 。根据P(y|x) ，可对离散信道分类如下：

（1）无干扰信道：输入信号与输出信号 有一一对应关系

（2）有干扰无记忆信道：任意时刻输出符号只与对应时刻的输入符号有关；

（3）有干扰有记忆信道：这是最一般的信道。

2、信道容量和最佳输入概率分布

2、1 信道容量

我们先定义信息传输率：

R=I(X,Y)=[H(X)-H(X/Y)]=[H(Y)-H(Y/X)] 比特/符号。 互信息I(X;Y)是输入符号分布概率)(i a p 和信道转移概率)|(i j a b p 的函数。对于某特定信道，转移概率)|(i j a b p 已经确定，则互信息就是关于输

1

()()(/)0

()

y f x y f x P y x y f x =⎧==⎨

≠⎩，并且12121(|)(|)(|)

N

i i i P y x P y y x x P y x ===∏N N ...y ...x ()

()

max{(;)}max{()(/)}

P X P X C I X Y H X H X Y ==-

入符号分布概率)(i a p 的 型凸函数，也就是可以找到某种概率分布

)(i a p ，使I(X;Y)达到最大，该最大值就是信道所能传送的最大信息量，

即信道容量（channel capacity ）。

信道容量与与信源无关，它是信道的特征参数，反应的是信道的最大的信息传输能力。

2、2 最佳输入概率分布

首先介绍一定理：一般离散信道达到信道容量的充要条件是输入

概率分布满足

该定理说明，当平均互信息达到信道容量时，信源每一个符号都对输出端输出相同的互信息。此时满足该条件的输入概率分布即为最佳输入概率分布。 特别地对于二元对称信道

P=1/2时，C ＝0。 不管输入概率如何，都能达到信道容量。

此信道没有实际意义，但在理论上说明信道的最佳输入分布不一定是唯一的。

3、信道容量和平均互信息的计算步骤 3、1平均互信息的计算

3、2信道容量的计算

()

(;)0()(;)0i i a I x Y C x b I x Y C x =≠⎧⎨≤=⎩i i 对所有其p 对所有其p log 2()1()

C H p H p =-=-1

(/)(;)(/)log

()

s

j i j i j j p b a I x Y p b a p b ==∑