《信息论基础A》(清华)复习资料

信息论基础A 复习资料作者 郝仁第一章 概论● 在认识论层次研究信息时，把只考虑到形式因素的部分称为语法信息， 把只考虑到含义因素的部分称为语义信息；把只考虑到效用因素的部分称为语用信息。

目前，信息论中主要研究语法信息● 归纳起来，香农信息论的研究内容包括： 1) 信息熵、信道容量和信息率失真函数2) 无失真信源编码定理、信道编码定理和保真度准则下的信源编码定理 3) 信源编码、信道编码理论与方法● 一般认为，一般信息论的研究内容除香农信息论的研究内容外，还包括 维纳的微弱信号检测理论：包括噪声理论、信号滤波与预测、统计检测与估计理论、调制理论等。

信息科学以信息为研究对象，信息科学以信息运动规律为研究内容，信 息运动包括获取、传递、存储、处理和施用等环节。

第二章 离散信源及离散熵● 单符号离散信源的数学模型：1212()()()()n n x x x X P x P x P x P X ⎧⎫⎡⎤=⎨⎬⎢⎥⎣⎦⎩⎭L L自信息量：()log ()i x i I x P x =-，是无量纲的，一般根据对数的底来定义单位：当对数底为2时，自信息量的单位为比特(bit,binary unit)；对数底为e 时，其单位为奈特(nat,nature unit)；对数底为10时，其单位为哈特(Hart, Hartley)自信息量性质：I(x i )是随机量；I(x i )是非负值；I(x i )是P(x i )的单调递减函数。

● 单符号离散信源的离散熵：1()[()]()()ni i i i H X E I x P x lbP x ===-∑，单位是比特/符号(bit/symbol)。

离散熵的性质和定理：H(X)的非负性；H(X)的上凸性；最大离散熵定理：()H X lbn ≤● 如果除概率分布相同外，直到N 维的各维联合概率分布也都与时间起点 无关，即：111111()()()()()()k l k k l l k k k N l l l N P X P X P X X P X X P X X X P X X X ++++-++-===LL L则称该多符号离散信源为N 维离散平稳信源。

● N 维离散平稳信源的数学模型：12121212()()()()N N N n N n a a a X X X P a P a P a P X X X ⎧⎫⎡⎤=⎨⎬⎢⎥⎣⎦⎩⎭L L LL 1212,,,,,{1,2,,}N i i i i N a x x x i i i n =∈L L L 其中12121121()()()(/)(/)N N N i i i i i i i i i i i P a P x x x P x P x x P x x x x -==L L L● 二维离散平稳信源的离散熵：2121211()()()()(/)n i i i H X X P a lbP a H X H X X ==-=+∑H(X 2/X 1 )称为条件熵，是条件信息量在联合概率上的数学期望，H(X 1X 2)称为联合熵，离散熵H(X 1)、 H(X 2)称为无条件熵，H 2(X 1X 2)称为平均符号熵且：212(/)()H X X H X ≤，2121211()()()2H X X H X X H X =≤● 对于，121211()()()N N N H X X X H X X X H X N=≤L L ，当N→∞时，平均 符号熵取极限值，称之为极限熵，用H ∞表示：121lim ()N N H H X X X N∞→∞=L● 如果离散平稳信源发出的符号序列中各符号相互独立，则称该信源为离 散平稳无记忆信源。

N 维离散平稳无记忆信源(一维离散平稳信源的N 次扩展信源)的数学模型：1212()()()()N N N n N n a a a X p a p a p a P X ⎧⎫⎡⎤=⎨⎬⎢⎥⎣⎦⎩⎭LL1212,,,,,{1,2,,}N i i i i N a x x x i i i n =∈L L L 其中，12()()()()N i i i i p a p x p x p x =L其离散熵：121()()()()()N N H X H X H X H X NH X =+++=L信源的平均符号熵：11()()()N N N H X H X H X N== ● 如果离散平稳信源发出的符号只与前面已经发出的m(<N)个符号相关， 则称该信源为m 阶马尔科夫信源。

可将m 阶马尔科夫信源发出的符号序列看成长度为m+1的一段段符号序列，m 阶马尔科夫信源的数学模型：111211212112/()()()(/)m m m m n m m n a a a X X X X p a p a p a P X X X X ++++⎧⎫⎡⎤=⎨⎬⎢⎥⎣⎦⎩⎭LL LL112112/()(/)m m m m i i i i i i i i i i a x x x x p a p x x x x ++==L L 其中，，为强调m 阶马尔科夫信源的长度特征，一般将其极限熵H ∞记为H m+1，即：111()(/)(/)m mn n m i j i j i i j H H p e p e e lbp e e ∞+====-∑∑马尔科夫链的各态历经定理：11()()(/)1,2,,()0,()1m mn n m j i j i j j i j p e p e p e e j n p e p e ====>=∑∑L ，，其中第三章 离散信源无失真编码● 码字的每一个比特携带信息的效率即编码效率：()H X Kη=，K 平均码长 一般采用不等长编码，使平均码长接近离散熵，从而在无失真前提下提高编码效率；编码的基本原则是大概率符号元编成短码，小概率符号元编成长码如果所采用的不等长编码使接收端能从码序列中唯一地分割出对应与每一个符号元的码字，则称该不等长编码为单义可译码。

单义可译码中，如果能在对应与每一个符号元的码字结束时立即译出的称为即时码，如果要等到对应与下一个符号元的码字才能译出的称为延时码。

异前置码：任何一个码字都不是其他码字的前缀m 元长度为k i , i=1,2, …,n 的异前置码存在的充分必要条件是：11ink i m-=≤∑，（克拉夫特(Kraft)不等式）● 无失真编码定理：（香农第一定理）如果L 维离散平稳信源的平均符号熵为H L (X 1X 2…X L )，对信源符号进行m 元不等长组编码，一定存在一种无失真编码方法，当L 足够大时，使得每个信源符号所对应码字的平均比特数：1212()()L L L L KH X X X lbm H X X X Lεε≤<+L L ，为任意给定的小数 1212()()L L L L lbm KH X X X lbm H X X X L Lεε≥≤<+L L 只要， 无失真编码定理从理论上阐明了编码效率：1η→ ● L→∞时，1lim L H K lbm Lη∞→∞== 则极限熵H ∞是一个界限，通常也称为香农界对于L 维离散平稳无记忆信源，由于其平均符号熵H L (X 1X 2…X L ) =H(X)，故对信源符号进行m 元不等长组编码，一定存在一种无失真编码方法，当L 足够大时，使得每个信源符号所对应码字的平均比特数：()()KH X lbm H X Lε≤<+，此时香农界为H(X)。

对离散平稳信源进行无失真编码，每个信源符号所对应码字的平均比特数平稳无记忆信源最多， m 阶马尔科夫信源次之，一般平稳信源最少。

● 二进制香农码的编码步骤如下： 1) 将符号元x i 按概率进行降序排列2) 令p(x 0)=0，计算第j-1个码字的累加概率：10()()1,2,,j a j i i p x p x j n -===∑L ，3) 确定第i 个码字的码长k i ，满足下列不等式：()()1i i i lbp x k lbp x -≤<-+ 4) 将p a (x j )用二进制表示，取小数点后k i 位作为符号元x i 的码字。

● 哈夫曼(Huffman)编码1) 将符号元按概率进行降序排列2) 为概率最小的符号元分配一个码元1，概率次小的符号元分配一个码元0 3)将概率最小的两个符号元合并成一个新的符号元，用两者概率之和作为该新符号元的概率；4) 重复以上三个步骤，直到最后合并出一个以1为概率的符号元哈弗曼码有两种排列方式，分前置和后置。

采用不同排列方法编出的哈夫曼码，其码字和码长可能完全不相同，但平均码长一定是相等的，因此编码效率不会因排列方法而改变。

但放在前面可以使短码得到充分利用第四章离散信道及信道容量● 符号离散信道的数学模型可表示为：112111222212(/)(/)(/)(/)(/)(/)(/)(/)(/)(/)m m n n m n p y x p y x p y x p y x p y x p y x P Y X p y x p y x p y x ⎡⎤⎢⎥⎢⎥=⎢⎥⎢⎥⎣⎦L L L L L LL● 互信息量在有噪信道的情况下，将信源发出x i 而信宿接收到y j 所包含的信息量用I(y j ;x i )来表示并将其称为x i 对y j 的互信息量，则互信息量的定义为：(/)(;)()(/)()(/)()j i j i j j i j j i j p y x I y x I y I y x lbp y lbp y x lbp y =-=-+=I(y j /x i )称为条件信息量，表示信道给出的“信息”。

互信息量的性质：I(y j ;x i )是随机量，I(y j ;x i )可为正值也可为负值，I(y j ;x i )具有对称性● 单符号离散信道的平均互信息量：1111(/)(;)()(;)()()n m n mj i i j j i i j i j i j j p y x I Y X p x y I y x p x y lbp y ======∑∑∑∑(;)()(/)I Y X H Y H Y X =-，条件熵H(Y/X)是信道所给出的平均信息量，通常称为噪声熵(;)()(/)I Y X H X H X Y =-，条件熵H(X/Y)也是信道所给出的平均“信息”量，通常称为损失熵，也称为信道疑义度(;)()()()I Y X H X H Y H XY =+-● 平均互信息量的性质和定理： 1) I(Y;X)的对称性 2) I(Y;X)的非负性3) I(Y;X)的极值性：(;)()I Y X H Y ≤ (;)()I Y X H X ≤4) I(Y;X)的凸函数性当信道固定时，I(Y;X)是信源概率分布P(X)的上凸函数；当信源固定时，I(Y;X)是信道转移概率分布P(Y/X)的下凸函数 5) 数据处理定理：(;)(;)I Z X I Y X ≤ (;)(;)I X Z I Y Z ≤一个信息传递并进行数据处理的问题可看成是一个由串联信道进行信息传递的问题● 单符号离散信道的信道容量由于平均互信息量反映的是每传输一个符号在信道中流通的平均信息量，从这个意义上，可以将其理解为信道的信息传输率(不是信息传输速率！)，即(;)R I Y X =。