香农信息论的基本理论探究

P(X)
的概率分
布输出符号。
最简单的离散平稳信源就是二维离散平稳信源。
二维离散平稳信源就是信源输
出的随机序列„，
X1,X2,
„
,Xi
，„，满足其一维和二维概率分布与时间起点无关。二维离
散平稳信源的联合熵
2
1
2
1
1
(
)
(
)
log(
)
q
q
i
j
i
j
i
j
H
X
X
P
a
a
a
a
此联合熵表明原来信源
X
输出任意一对可能的消息的共熵，
后来，
我们学习到信道容量的一般计算方法。
其中最重要的是对称离散信道的信道容量
的计算。
信道矩阵中每一行和每一列分别由同一概率分布集中的元素不同排列组成的，
这就
是对称离散信道。计算对称离散信道的信道容量公式是：
'
'
'
1
2
log
(
,
,
,
)(
/
)
s
C
s
H
p
p
p
比
特
符
号
其中，
等号右边的第一项是输出符号的最大信息熵，
对于不同的连续信道和波形信道，
它们存
在的噪声形式不同，
信道带宽及对信号的各种限制不同，
所以具有不同的信道容量。
我们先
来讨论单符号高斯加性信道的信道容量，
单符号高斯加性信道是指信道的输入和输出都是取
值连续的一维随机变量，而加入信道的噪声是一维高斯加性噪声。它的信道容量表达式为：
1
log(1
)
2
s
n
P
C
为
P
，
那么其输出信号幅度的概率密度分布时高斯分布时，
信源有最大的熵，
为
1
log
2
2
eP
。
也就是说，
当连续信源输出信号的平均功率受限时，
只有信
号的统计特性与高斯噪声统计特性一样时，才会有最大的熵值。
和离散信道一样，
对于固定的连续信道和波形信道都有一个最大的信息传输率，
称之为
信道容量。
它是信道可靠传输的最大信息传输率。
量才等于个信道容量之和。
串联信道是一种比较常见的信道模型，
比如微波中继竭力通信就是一种串联信道，
还有，
在信道输出端对接受到的信号或数据进行适当的处理，
这种处理称为数据处理。
数据处理系
统一般可以单程是一种信道，它和前面传输数据的信道是串接的关系。串联信道中
X
、
Y
、
Z
有如下关系：
信道
1
信道
2
…
…
信道
N
4
a
P
a
P
a
P
E
x
H
平均自信息量也称为信息熵。信息熵是从平均意义上来表征信源的总体信息测度的。
对于某特定的信源，
它的信息熵是一个确定的数值。
不同的信源因为其概率分布不同，
它的
熵也不同。
信息熵具有一些基本的性质，比如，对称性，确定性，非负性，扩展性，可加性等等。
这里面有一个最大离散熵定理，表明
:
离散信源情况下，对于具有
如果该信道分得的平均功率
小于次信道的噪声功率，
那么就不能分配能量，
使之不传送任何信息；
如果信道分得的平均
功率要大于信道的噪声功率，就在这些信道上分配能量，使
i
i
s
n
P
P
，这样得到的信道
容量为最大。
我们总是希望在噪声大的信道少传送或甚至不传送信息，
而在噪声小的信道多
传送些信息。
【论文小结】
：
香农对信息所作的科学的定义是在通信系统框架的基础上产生的。在香农看
知道了消息的具体内容，原先的不确定性就部分的或者全部消除了。因此，信息传输之后，
P
其中，
i
n
P
是输入信号
X
的平均功率，
n
P
是高斯噪声的平均功率。只有当信道的输入信
号是均值为零，平均功率为
s
P
高斯分布的随机变量时。信息传输率才能达到这个最大值。
注水定理是对于多维无记忆高斯加性连续信道的个信道功率分配问题而提出来的，
对于
多维的情况，
因为输入的是平稳随机序列，
输出的也是平稳随机序列，
不会超过该事件自身所含有的信息量。
第三点是平
均互信息的交互性。
第四，
平均互信息的凸状性，
平均互信息只与信源的概率分布和信道的
传递有关，
因此对于不同信源和不同信道得到的平均互信息是不同的。
当固定某信道时，
选
择不同的信源与信道连接，
在信道输出端接收到每个符号后获得的信息量是不同的。
而且对
于每一个固定信道，一定存在有一种信源，是输出端获得的信息量为最大。
b
的概率。
我们知道，
信道输入信源
X
的熵是表明接收端收到符号之前信源的平均不确定性，
可以
称为先验熵。
如果信道中无干扰噪声，
信道输出符号与输出符号一一对应，
那么，
接受到传
送过来的符号就消除了对发送符号的先验不确定性。
但是我们实际的生活中一般信道中有干
扰存在，
接收到输出后对发送的是什么符号仍有不确定性。
表示在输出端收到输出变量
可能会改变。第
l
时间信源输出什么符号，不但与前一（
l
-1
）时刻信源所处的状态和所输
出的符号有关，
而且一直延续到与信源初始所处的状态和所输出的符号有关。
一般马尔可夫
信源的信息熵是其平均符号熵的极限值，它的表达式就是：
1
2
1
(
)
lim
(
)
N
N
H
H
X
H
X
X
X
N
.
二．平均互信息
信道的任务是以信号方式传输信息和存储信息的。我们知道信源输出的是携带着信息
(
;
)
(
)
(
|
)
I
X
Y
H
X
H
X
Y
3
平均互信息是表示了收到输出
Y
的前，
后关于
X
的不确定性的消除量，
就是在接到了输
出符号之后，
对输入端输入什么符号得到了更多的信息。
平均互信息量具有一些基本的特征：
第一点，
非负性。
我们通过一个信道获得的平均信息量不会是负值。
也就是说，
观察一个信
道的输出，
从平均的角度来看总能消除一些不确定性，
对于串接信道
X
、
Y
、
Z
有
(
;
)
(
;
)
I
XY
Z
I
Y
Z
当且仅当
P(z|xy)=P(z|y)
时，等式成立。
串联信道的信道容量与串接的信道数有关，
串接的无源数据处理信道越多，
其信道容量
可能会越小，当串接信道数无限大时，信道容量就有可能接近零。
三．连续信道
前面讲到的离散信道其输出的消息是属于时间离散、
取值有限或可数的随机序列，
因百度文库可用马尔可夫链来处理。
马尔可夫信源是一种非常
重要的非平稳离散信源。那么马尔可夫信源需要满足一下两个条件：
（
1
）
某一时刻信源符号的输出只与此刻信源所出的状态有关，而与以前的状态及以
前的输出符号都无关。
（
2
）
信源某
l
时刻所处的状态由当前的输出符号和前一时刻（
l
-1
）信源的状态唯一
决定。
马尔可夫信源的输出的符号是非平稳的随机序列，它们的各维概率分布随时间的推移
0
，或者是
1
，则表明该事件一定不会发生或者一定
会发生。那么他所携带的信息量是
0
。从理论上讲，该事件发生的概率越小，那么它的不确
定性也就越大，
它所携带的信息量也就越大。
该事件发生的概率越大，
它所携带的信息量也
就越大。
这也是人们为什么一听到一件不可思议的事情发生了之后，
会感到非常惊讶的原因。
对于通信系统的信源来说，
第二项是信道矩阵分布行矢量的熵
函数。比方说，前面提到的，二元对称信道的信道容量就是
1
(
)(
/
)
C
H
p
比
特
符
号
除了前面论述到得单符号离散信道之外，
还有独立并联信道和串联信道。
一般的独立并
联信道如下：
图
1
独立并联信道的信道容量不大于各个信道的信道容量之和，只有当输入符号
i
X
相互独
立，且输入符号
i
X
的概率分布达到各信道容量的最佳输入分布时，独立并联信道的信道容
q
个符号的离散信源，只
有在
q
个信源符号等可能出现的情况下，
信源熵才能达到最大值，
这样也表明等概率分布信
源的平均不确定性为最大。这个定理为我们后面研究有噪信道编码定理提供了有力的依据。
离散平稳信源是一种非常重要的信源模型。如果不同时刻信源输出符号的概率分布完
全相同，则称为一维离散平稳信源。一维离散平稳信源无论在什么时候均按
接收到一定的信息。
除非信道输入和
输出是统计独立时，
才接收不到任何信息。
因为在这样的统计独立信道中，
传输的信息全部
损失在信道中，
以致没有任何信息传输到终端，
但也不会失去已经知道了的信息。
第二，
平
均互信息量的大小不大于输入输出任一者的信息熵。即从一事件提取关于另一事件的信息
量，
最多只有另一事件的信息熵那么多，
离散随机信源是一类最基本的信源，
信源输出是单个的符
号的消息，
并且消息之间是两两互不相容的。
假设有个一维离散无记忆信源，
它的概率分布
函数决定了他所携带的信息。该信源空间中共有
q
个符号，每个符号发生的概率是
Pi,
那么
发出某个符号所携带的信息量是
-logPi
,
由于概率是在
0
和
1
之间的，
使得每一事件的信息
量是非负的。如果该事件发生的概率是
连续信源的熵的定义与离散信源熵的定义方式一样，
只不过离散情况下
是每个信源符号的信息量的加权平均，
而连续信源的熵也是某一时刻信源输出为某值的期望
值。
连续信源也可以称之为差熵。
接下来由两种特殊连续信源的差熵需要计算。
均匀分布连
续信源的熵值，和高斯信源的熵值。
连续信源的差熵具有以下的一些基本性质：
可加性，
香农信息论的基本理论探究
摘要：信息是自从人类出现以来就存在于这个世界上了，天地万物，飞禽走兽，以
及人类的生存方式都离不开信息的产生和传播。
人类每时每刻都在不停的接受信息，
传播信
息，以及利用信息。从原来的西汉时期的造纸，到近代西方的印刷术，以及现在的计算机，
信息技术在人类历史的进程当中随着生产力的进步而发展。
为离散信道，连续信道，半离散或半连续信道和波形信道。
为了能够引入平均互信息量的定义，
首先要看一下单符号离散信道的数学模型，
在这种
信道中，输出变量和输入变量的传递概率关系：
(
|
)
(
|
)
(
|
)(
1,
2,
,
;
1,
2,
,
)
j
i
j
i
P
y
x
P
y
b
x
a
P
b
a
i
r
j
s
传递概率所表达的意思是，在信道当输入符号为
a
，信道的输出端收到
的消息。
消息必须要转换成能在信道中传输或存储的信号，
然后通过信道传送到收信者。
并
且认为噪声或干扰主要从信道中引入。
信道根据用户的多少，
可以分为两端信道，
多端信道。
根据信道输入端和输出端的关联，
可以分为无反馈信道，
反馈信道。
根据信道的参数与时间
的关系信道可以分为固定参数信道，
时变参数信道。
根据输入和输出信号的统计特性可以分
来，
在通信系统的传输过程当中，
收信者在收到消息以前是不知道消息的具体内容的。
在收
到消息以前，
收信者无法判断发送者将会发来描述何种事物运动状态的的具体消息，
它也无
法判断是描述这种状态还是那种状态。
或者，
由于干扰的存在，
它也不能断定所得到的消息
是否正确和可靠。这样，收信者存在“不知”
，
“不确定性”
。那么通过消息的传递，收信者
而信息理论的提出却远远落后于
信息的出现，
它是在近代才被提出来而形成一套完整的理论体系。
信息论的主要基本理论包
括：
信息的定义和度量；
各类离散信源和连续信源的信息熵；
有记忆、
无记忆离散和连续信
道的信道容量；无失真信源编码定理。
【关键词】
：
平均自信息
信道容量
信源编码
霍夫曼码
一．信息的度量
在各种通信系统的信源当中，
其统
计特性可以用联合概率分布来描述。
但是语音信号，
电视信号都是连续波形信号。
在某一固
定的时刻，
这样的可能输出即是连续的又是随机的，
我们称之为随机波形信源。
它是用随机
过程描述输出消息的信源。用连续随机变量描述输出消息的信源就是连续信源。
连续信源的熵的表达式如下：
dx
x
p
x
p
x
h
R
)
(
log
)
(
)
(
我们可以看到，
它不会仅仅只发出一个消息，
这个消息发生的概率也不是
1
。
必然会有别的可能的情况发生。那么对于一个信源来讲，它所包含的信息量是什么样子的，
我们可以用平均自信息量来度量，
即对每个事件各自所携带的信息量做一个加权平均。
即可
以得到信源的平均自信息量。
信息熵的定义如下：
)
(
log
)
(
)
(
1
log
)
(
1
1
i
q
i
i
我们可以将它等价为
N
个独立并联加性信道。假如各单元时刻上的噪声仍是均值为零，方差为不同的
i
n
P
的高斯
5
噪声，
单输入信号的总体平均功率受限，
此时我们可以使用拉格朗日乘子法莱确定平均功率
的分配。
当
N
个独立并联的组合高斯加性信道，
各分信道的噪声平均功率不相等时，
为了达
到最大的信息传输率，
要对输入信号的总能量适当地进行分配。
上凸性，
可负性，
变换性，
极值性。
在不同的情况下，
连续信源中的差熵具有极大值，
有下面两种情况下连续信道存在最大的差
熵：
（
1
）
峰值功率受限条件下信源的最大熵。若信源输出的幅度被限定在
,
a
b
区域
内，则当输出信号的概率密度是均匀分布时，这个时候信源具有最大熵，为
log(
)
b
a
。
（
2
）
平均功率受限条件下信源的最大熵。若一个连续信源输出的平均功率被限定
Y
的
符号后，对于输入端的变量
X
尚存在的平均不确定性。即信道疑义度：
,
1
(
|
)
(
)
lo
g
(
|
)
X
Y
H
X
Y
P
x
y
P
x
y
这个信道的疑义度是由于干扰噪声引起的。
前面我们看到了输出端接收到输出符号前关
于变量
X
的先验熵，以及接收到输出符号后关于输入变量
X
的平均不确定性，通过信道传
输消除了一定的不确定性，获得了一定的信息。那么定义单符号信道的平均互信息量
即描述信源
X
输出长度为
2
的序列的平均不确定性，或者说所含有的信息量。可以用
1
1
2
2
(
)
H
X
X
作为二维离散平稳信
源
X
的信息熵的近视值。
除了平稳离散信源之外，还存在着非平稳离散信源。在非平稳离散信源中有一类特殊
的信源。
这种信源输出的符号序列中符号之间的依赖关系是有限的，
这种关系满足我们在随
机过程中讲到的马尔可夫链的性质，