信息论重点 (新)

1．消息定义信息的通俗概念：消息就是信息,用文字、符号、数据、语言、音符、图片、图像等能够被人们感觉器官所感知的形式，把客观物质运动和主观思维活动的状态表达出来，就成为消息，消息中包含信息，消息是信息的载体。

信号是表示消息的物理量，包括电信号、光信号等。

信号中携带着消息，信号是消息的载体。

信息的狭义概念（香农信息）:信息是对事物运动状态或存在方式的不确定性的描述。

信息的广义概念 信息是认识主体(人、生物、机器)所感受的和表达的事物运动的状态和运动状态变化的方式。

➢ 语法信息(语法信息是指信息存在和运动的状态与方式。

) ➢ 语义信息(语义信息是指信宿接收和理解的信息的内容。

) ➢ 语用信息(语用信息是指信息内容对信宿的有用性。

)2．狭义信息论、广义信息论。

狭义信息论：信息论是在信息可以量度的基础上，对如何有效，可靠地传递信息进行研究的科学。

它涉及信息量度，信息特性，信息传输速率，信道容量，干扰对信息传输的影响等方面的知识。

广义信息论：信息是物质的普遍属性，所谓物质系统的信息是指它所属的物理系统在同一切其他物质系统全面相互作用（或联系）过程中，以质、能和波动的形式所呈现的结构、状态和历史。

包含通信的全部统计问题的研究，除了香农信息论之外，还包括信号设计，噪声理论，信号的检测与估值等。

3.自信息 互信息 定义 性质及物理意义 自信息量： ()log ()i x i I x P x =-是无量纲的，一般根据对数的底来定义单位：当对数底为2时，自信息量的单位为比特；对数底为e 时，其单位为奈特；对数底为10时，其单位为哈特自信息量性质：I(x i )是随机量；I(x i )是非负值；I(x i )是P(x i )的单调递减函数。

自信息物理意义: 1.事件发生前描述该事件发生的不确定性的大小 2.事件发生后表示该事件所含有（提供）的信息量 互信息量:互信息量的性质：1) 互信息的对称性2) 互信息可为零3) 互信息可为正值或负值4) 任何两个事件之间的互信息不可能大于其中任一事件的自信息互信息物理意义: 1.表示事件 yj 出现前后关于事件xi 的不确定性减少的量 2.事件 yj 出现以后信宿获得的关于事件 xi 的信息量4.平均自信息性质 平均互信息性质平均自信息（信息熵/信源熵/香农熵/无条件熵/熵函数/熵）：(;)()(|)i j i i j I x y I x I x y =-log ()log (|)(1,2,,;1,2,,)i i jp x p x y i n j m =-+=⋯=⋯(|)log ()i j i p x y p x =1()[()][log ()]()log ()ni i i i i H X E I x E p x p x p x ===-=-∑熵函数的数学特性包括:(1)对称性 p =(p1p2…pn)各分量次序可调换 (2)确定性p 中只要有为1的分量，H(p )为0(3)非负性离散信源的熵满足非负性，而连续信源的熵可能为负。

H(p )大于等于0 (4)扩展性扩展性说明，增加一个概率接近于零的事件，信源熵保持不变。

虽然小概率事件出现后，给予收信者较多的信息，但从总体来考虑时，因为这种概率很小的事件几乎不会出现，所以它对于离散集的熵的贡献可以忽略不计。

这也是熵的总体平均性的一种体现。

(5)连续性 (6)递增性(7)极值性（最大离散熵定理） (8)上凸性H(p1,p2…，pn)是概率分布(p1,p2…，pn)的严格上凸函数，即 詹森不等式：如果f 为一个上凸函数，X 为一个随机变量，则:平均互信息I (X ;Y )=H (X )-H (X|Y ) =H (Y )-H (Y|X )=H (X )+H (Y )-H (XY )性质1.对称性：I (X ;Y )=I (Y ;X )2.非负性I (X ;Y )>03.极值性I (X ;Y ) ≤ min{H (X ),H (Y )}5.条件熵 联合熵随机变量X 和Y 的条件熵定义为：条件熵表示已知一个随机变量时，对另一个随机变量的平均不确定性。

条件熵： 疑义度：噪声熵：联合熵：联合熵表示对于二维随机变量的平均不确定性。

12111(,,...,)(,,...,)log n H p p p H nn n n≤=[](1)'()(1)(')H H H αααα+->+-p p p p ∑∑-=i j i j j i y x p y x p Y X H )|(log )()|(∑∑-=i i j jj i x y p y x p X Y H )|(log )()|([](|)i E H Y x =各种熵之间的关系• H (XY )=H (X )+H (Y|X )=H (Y )+H (X|Y ) • H (X|Y )≤H (X )，H (Y|X )≤H (Y )• H (XY )≤H (X )+H (Y )若X 与Y 统计独立，则H (XY )=H (X )+H (Y )6.信源概率空间通常把一个随机变量的样本空间和样本空间中的元素对应的概率称为概率空间。

离散单符号信源X 的概率空间：离散多符号信源可以用随机矢量/随机变量序列来描述，即 X=X1X2LXnL其中每个符号取值于同一个单符号信源空间：7.信源熵 信源熵：信息熵表示离散单符号信源的平均不确定性 信源熵具有以下三种物理含意：– 信息熵H(X)表示信源输出后,每个离散消息所提供的平均信息量。

– 信息熵H(X)表示信源输出前,信源的平均不确定性。

– 信息熵H(X)反映了变量X 的随机性8.多符号与条件熵的关系1.条件熵随着N 的增加是递减的2.N 给定时 平均符号熵>=条件熵)...|()(11-→≥N N N X X X H X H 3.平均符号熵随N 的增加而减小4.若H （X1）<∞ 则)...|(lim )(lim 11-∞→∞→∞==N N N N N X X X H X H HN 次扩展信源的熵：离散平稳无记忆信源的N 次扩展信源的熵等于离散单符号信源熵的N 倍：离散平稳无记忆信源的熵率：9.连续信源熵1()[()][log ()]()log ()ni i i i i H X E I x E p x p x p x ===-=-∑1212...()()()...()q q x x x X P X p x p x p x ⎡⎤⎡⎤=⎢⎥⎢⎥⎢⎥⎣⎦⎣⎦()0i p x ≥1()1ni i p x ==∑12:{,,,}q X x x x 1()()()log ()NqNi i i H H X p p ===-αα∑X ()()()NH H X NH X ==X 1lim ()lim ()()N N N H H NH X H X N∞→∞→∞==⋅=X单变量连续信源的数学模型a x b ()()X P X p x ≤≤⎡⎤⎧⎫=⎨⎬⎢⎥⎣⎦⎩⎭定义连续信源的相对熵：()()()bc aH X p x lbp x dx =-⎰。

相对熵不能反映连续信源的平均不确定度。

定义相对熵的目的在于在形式上与离散信源熵统一并使熵差具有信息测度的意义。

两个连续随机变量的联合熵：2()()()c R H XY p xy lbp xy dxdy =-⎰⎰两个连续随机变量的条件熵：2(/)()(/)c R H X Y p xy lbp x y dxdy =-⎰⎰均匀分布连续信源的相对熵：1(),p x a x b b a=≤≤-，()()c H X lb b a =- Ps ：（lb 是log ） 高斯分布连续信源的相对熵：22()221(),2x m p x ex σπσ--=-∞<<∞，2211()2(2)22c H X lbe lb lb e πσπσ=+=Ps ：（lb 是log ）当均值为0时，微分熵只与平均功率有关指数分布连续信源的相对熵：1() ,0xmp x e x m-=≤<∞，()()c H X lbe lbm lb em =+=m 为均值 Ps （lb 是ln ）微分熵10.马尔科夫信源如果离散平稳信源发出的符号只与前面已经发出的m(<N)个符号相关，则称该信源为m 阶马尔科夫信源。

可将m 阶马尔科夫信源发出的符号序列看成长度为m+1的一段段符号序列，m 阶马尔科夫信源的数学模型：111211212112/()()()(/)m m m m n m m n a a a X X X X p a p a p a P X X X X ++++⎧⎫⎡⎤=⎨⎬⎢⎥⎣⎦⎩⎭112112/()(/)m m m m i i i i i i i i i i a x x x x p a p x x x x ++==其中，，为强调m 阶马尔科夫信源的长度特征，一般将其极限熵H ∞记为H m+1，即：111()(/)(/)m mn n m i j i j i i j H H p e p e e lbp e e ∞+====-∑∑马尔科夫链的各态历经定理：11()()(/)1,2,,()0,()1mmn n m j i j i j j i j p e p e p e e j n p e p e ====>=∑∑，，其中11. 信道分类及转移概率矩阵 信道分类信道特性可以用转移概率矩阵来表示：12.信道容量的计算 信道容量：➢ 与信源的概率分布无关；➢ 是完全描述信道特性的参量； ➢ 是信道能够传输的最大信息量。

信道单位时间内平均传输的最大信息量： 一．按损耗分1. 无损信道：有噪无损信道，一个输入对应多个输出。

信道矩阵每一列只有一个非0元素（输入等概）2. 无噪信道：无噪有损信道，一个输出对应多个输入。

信道矩阵每一行只有一个非0元素（输出等概）111212122212.....................J J J J JJ p p p p p p p p p ⎡⎤⎢⎥⎢⎥=⎢⎥⎢⎥⎣⎦P {}()1max (;)/t P X C I X Y t =比特秒(;)()(|)()I X Y H X H X Y H X =-=()()max (;)max ()log p x p x C I XY H X r ===()()H X H Y <⎥⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎢⎣⎡=1000000101103530000002121P ⎥⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎢⎣⎡=1010100101P (|)0H Y X =(;)()(|)()I X Y H Y H Y X H Y =-=()()max (;)max ()log p x p x C I X Y H Y s ===()()H Y H X <(|)0H X Y =3. 无噪无损信道：输入、输出之间有确定的一一对应关系。