信息论

第一章概论1.信息、消息、信号的定义及关系。

定义信息：事物运动状态或存在方式的不确定性的描述。

消息：指包含有信息的语言、文字和图像等。

信号：表示消息的物理量，一般指随时间而变化的电压或电流称为电信号。

关系信息和消息信息不等于消息。

消息中包含信息，是信息的载体。

同一信息可以用不同形式的消息来载荷。

同一个消息可以含有不同的信息量。

信息和信号信号是消息的载体，消息则是信号的具体内容。

信号携带信息，但不是信息本身。

同一信息可用不同的信号来表示，同一信号也可表示不同的信息。

2. 通信系统模型，箭头上是什么？通信的目的及方法。

通信的目的：是为了提高通信的可靠性和有效性。

信源编码：提高信息传输的有效性。

（减小冗余度）信道编码：提高信息传输的可靠性。

（增大冗余度）第二章 信源及其信息量★信源发出的是消息。

信源分类1、信源按照发出的消息在时间上和幅度上的分布情况可将信源分成离散信源和连续信源。

2、根据各维随机变量的概率分布是否随时间的推移而变化将信源分为平稳信源和非平稳信源。

单符号离散信源离散无记忆信源 无记忆扩展信源 离散平稳信源离散有记忆信源 记忆长度无限记忆长度有限（马尔可夫信源）一、单符号离散信源单符号离散信源的数学模型为定义：一个随机事件发生某一结果后所带来的信息量为自信息量。

定义为其发生概率对数的负值。

以 奇才 单位：•对数以2为底，单位为比特 (bit ) （binary unit ） •对数以e 为底，单位为奈特 (nat ) (nature unit)•对数以10为底，单位为笛特(det) (decimal unit) 或哈特 (hart) 物理含义：在事件xi 发生以前，等于事件xi 发生的不确定性的大小；在事件xi 发生以后，表示事件xi 所含有或所能提供的信息量。

性质:①I(x i )是非负值.②当p(x i )=1时，I(x i )=0. ③当p(x i )=0时，I(x i )=∞.④I(x i ) 是p(x i )的单调递减函数.联合自信息量条件自信息量自信息量、条件自信息量和联合自信息量之间有如下关系式：I(x i y j )= I(x i )+ I(y j / x i ) = I(y j )+ I(x i / y j )⎭⎬⎫⎩⎨⎧=⎥⎦⎤⎢⎣⎡)(,),(,),(),( ,, ,, , )( 2121n i n i x p x p x p x p x x x x X P X )(log )( i i x p x I -=)(log )( j i j i y x p y x I -=1)(,1)(01=≤≤∑=ni i i x p x p定义：各离散消息自信息量的数学期望，即信源的平均信息量.单位：比特/符号 物理含义：① 信源熵H(X)表示信源输出后，离散消息所提供的平均信息量. ② 信源熵H(X)表示信源输出前，信源的平均不确定度. ③ 信源熵H(X)反映了变量X 的随机性.信源符号的概率分布越均匀，则平均信息量越大; 确定事件，不含有信息量。

性质:① 非负性 H (X ) ≥ 0② 对称性 当变量 p (x 1),p (x 2),…,p (xn ) 的顺序任意互换时，熵函数的值不变.③ 最大离散熵定理:信源中包含n 个不同离散消息时，信源熵H(X)有 ④ 确定性⑤ 可加性 (会证明)证明：⑥ 香农辅助定理和极值性(会证明)对于任意两个消息数相同的信源X 和Y ，i =1,2,…,n ,有含义：任一概率分布对其他概率分布的自信息量取数学期望，必大于等于本身的熵。

由上式可证明条件熵小于等于无条件熵，即H(X/Y)≤H(X)log )(n X H ≤∑∑∑∑∑∑∑∑∑∑∑==+=+⎥⎦⎤⎢⎣⎡=+===j i j i j i j i j i j i i i ij i j j i i i j i j i i ji j i j i i j j i j i x y p x y p x p y x p X Y H X H X Y H x y p x p x p x y p y x p x p x y p x p x y p x p y x p y x p y x p XY H 1)/()/()()()/()()/()/()(1log )()/(1log )()(1log )/()()/()(1log )()(1log )()(22222其中1)()( )(log )()(log )(111212==-≤-∑∑∑∑====ni i n i i i ni i n i i i y p x p y p x p x p x p 其中证明：互信息为一个事件y j 所给出关于另一个事件x i 的信息，用I(x i ; y j )表示，定义为x i 的后验概率与先验概率比值的对数，即同理，可以定义x i 对y j 的互信息量为定义: Y 对X 的平均互信息量I(X;Y)单位: bit/符号 物理意义:① I(X;Y)=H(X)-H(X/Y)平均互信息量是收到Y 前后关于X 的不确定度减少的量，即由Y 获得的关于X 的平均信息量。

② I(Y;X)=H(Y)-H(Y/X)平均互信息量是发送X 前后，关于Y 的平均不确定度减少的量。

③平均互信息量等于通信前后，整个系统不确定度减少的量。

)()(1log )()(1log )/()()(1log )/()()/(1log )/()()/(1log )/()()/(22222X H x p x p x p y x p y p x p y x p y p y x p y x p y p y x p y x p y p Y X H i i i i i j j i j j i i j i j j i j i j i j i jj i j i j ==⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡≤⎥⎥⎦⎤⎢⎢⎣⎡==∑∑∑∑∑∑∑∑∑)()()/()(i jj i jj i i x p y xp y x p y p ∑∑==其中：)()(log )(11∑∑===n i m j i j i j i x p y x p y x p );(X Y I )()()(XY H Y H X H -+=)()(Y H X H XY H +=）（通信前：)()(X Y H X H XY H +=）（通信后：性质：① 对称性② 非负性③ 极值性 （会证明）证明：由于根据H(X/Y)定义式，得H(X/Y)≥0，同理H(Y/X)≥0，而I(X;Y)，H(X)，H(Y)，是非负的，又I(X;Y)=H(X)-H(X/Y)=H(Y)-H(Y/X)，所以I(X;Y)≤H(X)，I(X;Y)≤H(Y)。

当随机变量X 和Y 是确定的意义对应关系时，即平均互信息量取得最大值。

④ 凸函数性当条件概率分布p(y j /x i )给定（信道固定）时，I(X;Y)是输入信源概率分布p(x i )的严格上凸函数。

对于固定的输入分布p(x i )（信源固定），I(X;Y)是条件概率分布p(y j /x i )的严格下凸函数。

⑤ 数据处理定理 （了解思想）相互独立、条件下假定Z X Y );();(Z Y I Z X I ≤);();(Y X I Z X I ≤模型数据处理后会损失一部分信息，最多保持原来的信息);();(X Y I Y X I =0);(≥Y X I )();(X H Y X I ≤)();(Y H X Y I ≤0)/(1log ≥y x p ⎩⎨⎧≠==j i ji y x p j i ,0,1)/(二、扩展信源定义：每次发出一组含两个以上符号的符号序列代表一个消息，而且所发出的各个符号是相互独立的，各个符号的出现概率是它自身先验概率。

序列中符号组的长度即为扩展次数。

例：单符号信源如下,求二次扩展信源熵解：扩展信源：N 次扩展信源的熵：H (X N )= NH (X )定义：各维联合概率均与时间起点无关的完全平稳信源。

N 维离散平稳有记忆信源的熵：平均符号熵：极限熵：)()/()()/()/()()/()()()()()( )/()()/()();(X H Y X H Y H X Y H Y X H Y H X Y H X H XY H XY H Y H X H X Y H Y H Y X H X H Y X I ≤≤+=+=-+=-=-=41,41,21,,)(321⎪⎭⎪⎬⎫⎪⎩⎪⎨⎧=⎥⎦⎤⎢⎣⎡x x x X P X1611618116116181818141 332313322212312111987654321⎪⎭⎪⎬⎫⎪⎩⎪⎨⎧x x x x x x x x x x x x x x x x x x a a a a a a a a a )/(5.14log 414log 412log 21)(log )()(222312符号比特=++=-=∑=i i i x p x p X H )(3)(log )()(2312符号序列bit a p a p X H i i i =-=∑=)(2X H =)()()()( )()(12121312121-++++==N N N X X X X H X X XH X X H X H X X X H X H)(1)21N N X X X H N X H =（∞∞→=H X H N N ）（lim马尔可夫信源定义：在实际问题中，试图限制记忆长度，就是说任何时刻信源发出符号的概率只与前面已经发出的m 个符号有关，而与更前面发出的符号无关，即马尔可夫信源。

在任何时刻l ，符号发出的概率只与前面m 个符号有关，把m 个符号看做信源在l 时刻的状态。

因为原始信源符号集共有n 个符号，则有记忆信源可以有nm 个不同的状态，分别对应于nm 个长度为m 的序列。

这时，信源输出依赖长度为m +1的随机序列就转化为对应的状态序列，而这种状态序列符合马尔可夫链的性质，称为m 阶马尔可夫信源。

n —信源符号集 n m —信源不同的状态数 m +1—信源输出依赖长度；例：设一个二元一阶马尔可夫信源，信源符号集为X ={0,1}，信源输出符号的条件概率为p (0/0)=0.25，p (0/1)=0.50，p (1/0)=0.75，p (0/1)=0.50，求状态转移概率。

解：由于信源符号数n =2，因此二进制一阶信源仅有2个状态：s 1=0，s 2=1。

由条件概率求得信源状态转移概率为p (s 1/s 1)=0.25，p (s 1/s 2)=0.50，p (s 2/s 1)=0.75，p (s 2/s 2)=0.50熵：例: 二阶马尔可夫信源{00 01 10 11}，求状态转移概率和极限熵。

p (e 1/e 1)= p (x 1/e 1)=p (0/00)=0.8p (e 2/e 1)= p (x 2/e 1)=p (1/00)=0.2 p (e 3/e 2)= p (x 1/e 2)=p (0/01)=0.5 p (e 4/e 2)= p (x 2/e 2)=p (1/01)=0.5∑∑==+∞-====+m mm m n i n j i j i j i m i j i k k k k k s s p s s p s p H H s s p s x p x x x x p 1121)/(log )/()()/()/()/(211p (e 1/e 3)= p (x 1/e 3)=p (0/10)=0.5 p (e 2/e 3)= p (x 2/e 3)=p (1/10)=0.5 p (e 3/e 4)= p (x 1/e 4)=p (0/11)=0.2 p (e 4/e 4)= p (x 2/e 4)=p (1/11)=0.8求出稳定状态下的 p (ej ),称为状态极限概率. 将一步转移概率代入上式得: p (e 1)=0.8 p (e 1)+0.5 p (e 3) p (e 3)=0.5 p (e 2)+0.2 p (e 4) p (e 2)=0.2 p (e 1)+0.5 p (e 3) p (e 4)=0.5 p (e 2)+0.8 p (e 4) 解方程组得： p (e 1)= p (e 4)=5/14 p (e 2)= p (e 3)=2/14 计算极限熵：信息熵的相对率： 信源的冗余度：三、连续信源数学模型：并满足① 均匀分布的连续信源的熵：h(X)=log(b-a)② 高斯分布的连续信源的熵:m 为均值， 结论：高斯信源的熵仅与方差有关。