《信息论》(电子科大)复习资料
信息论复习资料
1 1
H1 0.811 1 0.189 H0 1 1 1 1 log log 2 2 2 2 H2 0.681 1 0.319 H0 1 1 1 1 log log 2 2 2 2
8、 解释最小错误概率译码准则，最大似然译码准则和最小距离译码准则，说明三者的关系。 答：最小错误概率译码准则下，将接收序列译为后验概率最大时所对应的码字。 最大似然译码准则下，将接收 序列译为信道传递概率最大时所对应的码字。 最小距离译码准则下，将接收序列译为与其距离最小的码字。 三者关系为：输入为等概率分布时，最大似然译码准则等效于最小错误概率译码准则。在二元对称无记忆信道 中，最小距离译码准则等效于最大似然译码准则。 9、 保真度准则为：平均失真度不大于允许的失真度。 10、限失真信源编码：有失真信源编码的中心任务，在允许的失真范围内把编码的信息率压缩到最小。
H (U1 ) H (
U2
); H (U 2 ) H (
U1
)
U H (U1U 2 ) H (U1 ) H ( 2
这两个不等式又称为 Shannon 不等式
U1
U ) H (U 2 ) H ( 1
U2
)
13、证明：若
p
i 1
L
i
信息论复习资料
判断30
名词解释4*5
计算3道20分
第一章
1、自信息和互信息P6 公式
2、信道P9 概念
第二章
1、离散平稳信源P18概念
2、离散无记忆信源P19概念
3、时齐马尔可夫信源P20概念
4、自信息P22概念
5、信息熵P25概念
6、信息熵的基本性质P28
1)对称性
2)确定性
3)非负性
4)扩展性
5)可加性
6)强可加性
7)递增性
8)极值性
9)上凸性
7、联合熵条件熵P42公式P43例题
8、马尔克夫信源P54公式P55例题
9、信源剩余度P58
10、熵的相对率信源剩余度P58
11、课后作业：2、4、13、21、22
第三章
1、有记忆信道P73概念
2、二元对称信道BSC P74
3、前向概率、后向概率、先验概率、后验概率P76
4、条件熵信道疑义度、平均互信息P77
5、平均互信息、联合熵、信道疑义度、噪声熵计算公式P78
6、损失熵噪声熵 P79
7、平均互信息的特性P82
1)非负性
2)极值性
3)交互性
4)凸状性
8、信息传输率R P86
9、无噪无损信道P87概念
10、有噪无损信道P88概念
11、对称离散信道 P89概念
12、对称离散信道的信道容量P90公式
张亚威2012/06/20
张亚威
2012/06/21
16、 数据处理定理 P113定理 17、 信道剩余度 P118公式 18、 课后作业：1、 3、 9
第五章
1、 编码：实质上是对信源的原始符号按一定的数学规则进行的一种变换。
2、 等长码 P172概念
3、 等长信源编码定理 P178
4、 编码效率 P180
5、 克拉夫特不等式 P184
6、 香农第一定理 P191
信息论复习提纲
信息论复习提纲
第一章
1、信息的概念。
信息是事物运动状态或存在方式的不确定性的描述。
2、信息论的研究对象、研究目的。
对象：通信系统模型。
目的：找到信息传输过程的共同规律，以提高信息传输的可靠性、有效性、保密性和认证性，以达到信息传输系统最优化。
3、通信系统模型的组成，及各部分的功能
（1）信息源：产生消息的源，消息可以是文字，语言，图像。可以离散，可以连续。随机发生。
（2）编码器：
信源编码器：对信源输出进行变换（消去冗余，压缩），提高信息传输的有效性
信道编码器：对信源编码输出变换（加入冗余），提高抗干扰能力，提高信息传输的可靠性（3）信道：信号从发端传到收端的介质（4）译码器：译码就是把信道输出（已叠加了干扰）的编码信号进行反变换。
（5）信宿：信宿是消息传送的对象，即接受消息的人或机器。
（6）干扰源：系统各部分引入的干扰，包括衰落，多径，码间干扰，非线性失真，加性噪声，主要研究的是统计特性。
4、消息，信号，信息三者之间的关系
信息---可以认为是具体的物理信号、数学描述的消息的内涵，即信号具体载荷的内容、消息描述的含义。
信号---则是抽象信息在物理层表达的外延；
消息---则是抽象信息在数学层表达的外延
第二章
1、信源的分类，着重单符号信源。信源的概率空间的构成形式。
单消息（符号）信源，离散信源，连续变量信源，平稳信源，无/
有记忆信源，马尔可夫信源，随机波形信源。
单消息（符号）信源：
单消息（符号）信源－－离散信源
单消息（符号）信源－－连续信源
2、自信息的计算及物理含义，单位与底数的关系，含义。
信息论知识复习总结.
一. 单选（每题2分，共20分）
1.下面属于最佳变长编码的是（B ）下面不属于最佳变长编码的是（D ） B ．香农编码和费诺编码 D ．算术编码和游程编码
2.加密编码的目的是（C ） 信源编码的目的是 提高通信有效性 。 C ．提高通信系统的安全性 信道编码的目的是 提高信息传输的可靠性 。
3.表中符合等长编码的是（A ） 表中符合即时码的是 A 、D 。
4.下列各量可能为负值的是（B ）下列各量不一定为正值的是(A) B ．互信息量 A ．互信息量
5.一个m 位的二进制数，该数的每一位可从等概率出现的二进制码元（0，1）中任取一个，这个m 位的二进制数的自信息量为（m bit)
6.联合熵H （XY ）与熵H （X ）及条件熵H （X/Y ）之间存在关系错误的是（D ） D ．H （XY ）＝H （X ）＋H （X ／Y ）
7.已知发送26个英文字母（包括空格），其最大信源熵（发送概率相等）为H 0 = log27 = 4.76比特/符号；在字母发送概率不等时，其信源熵为H 1 = 4.03比特/符号；考虑字母之间相关性时，其信源熵为H 2 = 3.32比特/符号；以此类推，极限熵 H ∞ =1.4比特/符号。问若用一般传送方式，冗余度γ为（0.71）
H ∞ =1.5 冗余度为(0.68)
8.某对称离散信道的信道矩阵为
，信道容量为（C ） C ．)61
,61,31,31(4log H C -=
9.某信道传递矩阵为 ，其信道容量为（D ）
⎥⎥⎥⎥
⎦⎤
⎢⎢⎢⎢⎣⎡=3131616161613131P ⎥⎥⎥
信息论复习题
信息论复习题
信息论复习题
第一、二章
一、填空
1、 1948年，美国数学家发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。
2、信息、与信号，是通信理论中常用的三个既有联系又有区别的概念。信息是系统中的对象，它包含在中。消息是比较具体的概念，但不是物理的。信号是表示的物理量。在通信系统中，传送的本质内容是信息，发送时需要将信息表示成具体的消息，再将消息载至上，才能在实际的通信系统中传输。
3、不考虑加密处理，常用通信系统的物理模型包括信源、信源编码器、信道编码器、信道、和、、信宿七部分。其中，信源负责向通信系统提供消息；，是消息传递的对象，即接收消息的人或机器；信道是传递消息的，是负责传送物理信号的设施。
4、一个随机事件发生某一结果后所带来的信息量称为自信息量，定义为。
5、自信息量的单位一般有。
6、必然事件的自信息是。
7、不可能事件的自信息量是。
8、两个相互独立的随机变量的联合自信息量等于。
9、数据处理定理：当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量。
10、离散平稳无记忆信源X 的N 次扩展信源的熵等于离散信源X 的熵的。
11、若信源当前时刻发出的符号只与前m 个符号有关联，而与更前面的符号无关，则称这种信源为信源；若该信源的条件转移概率与时间起点无关，则进一步可称其为信源。经过足够长时间，该信源处于什么状态已与初始状态无关，此时每种状态出现的概率达到了一种。
12、一维连续随机变量X 在[a ，b]区间内均匀分布时，其信源熵为。
13、同时掷两个正常的骰子，各面呈现的概率都为1/6，则“3和5同时出现”这件事的自信息量是。
信息论复习知识点
信息论复习知识点本页仅作为文档封面，使用时可以删除
This document is for reference only-rar21year.March
1、平均自信息为
表示信源的平均不确定度，也表示平均每个信源消息所提供的信息量。
平均互信息
表示从Y获得的关于每个X的平均信息量，也表示发X前后Y的平均不确定性减少的量，还表示通信前后整个系统不确定性减少的量。
2、最大离散熵定理为：离散无记忆信源，等概率分布时熵最大。
3、最大熵值为。
4、通信系统模型如下：
5、香农公式为为保证足够大的信道容量，可采用（1）用频带换信噪比；（2）用信噪比换频带。
6、只要，当N足够长时，一定存在一种无失真编码。
7、当R＜C时，只要码长足够长，一定能找到一种编码方法和译码规则，使译码错误概率无穷小。
8、在认识论层次上研究信息的时候，必须同时考虑到形式、含义和效用三个方面的因素。
9、1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。
按照信息的性质，可以把信息分成语法信息、语义信息和语用信息。
按照信息的地位，可以把信息分成客观信息和主观信息。
人们研究信息论的目的是为了高效、可靠、安全地交换和利用各种各样的信息。
信息的可度量性是建立信息论的基础。
统计度量是信息度量最常用的方法。
熵是香农信息论最基本最重要的概念。
事物的不确定度是用时间统计发生概率的对数来描述的。
10、单符号离散信源一般用随机变量描述，而多符号离散信源一般用随机矢量描述。
11、一个随机事件发生某一结果后所带来的信息量称为自信息量，定义为其发生概率对数的负值。
《信息论》(电子科大)第七章_信息率失真理论
∂ [−∑p(yl )lnp(yl )] ∴ ∂p(yj / xi ) l =1
m
电子科技大学
= −[p(xi )lnp(yj ) + p(xi )]
n m ∂ [∑∑p(xk )p(yl / xk )lnp(yl / xk )] ∂p(yj / xi ) k=1 l =1
= [p(xi )lnp(yj / xi ) + p(xi )]
i = 1,2,L,n
乘p(xi)，对i求和
1 = ∑λip(xi )e
i =1 n Sd( xi ,y j )
j = 1,2,L,m
将信息率失真函数的计算步骤整理如下： 将信息率失真函数的计算步骤整理如下：
(1) 1 = ∑λip(xi )e 由
i =1 n Sd( xi ,y j )
电子科技大学
电子科技大学
1 1 D1 = ∑p(xi )d(xi , y1 ) = × 0 + × 4 = 2 2 2 i =1 2 1 1 D2 = ∑p(xi )d(xi , y2 ) = × 4 + × 0 = 2 2 2 i =1
2
电子科技大学
Dmax = m Dj = 2, j = 1,2 in
j
p 1 − p 设P(Y/ X) = q 1 − q
电子科技大学
2、信息率失真函数的定义 、 当信源p(x 固定，调整信道 信道p(y 当信源p(xi)固定，调整信道p(yj/xi) ，凡 的信道，称为D 满足保真度准则 D ≤ D的信道，称为D失 真许可的实验信道 实验信道。 真许可的实验信道。 实验信道的集合 PD = {p(yj / xi ) : D ≤ D} 定义保真度准则下的最小信息传输率为 定义保真度准则下的最小信息传输率为 信息率失真函数。 信息率失真函数。 R(D) = m R = m I(X;Y) in in
《信息论》(电子科大)第1章 概论
电子科技大学
电子科技大学
何为广义信息论,至今并无定论. 何为广义信息论,至今并无定论. 目前比较公认的说法为, 目前比较公认的说法为,广义信息论是 从客观和主观两个方面全面研究信息的 度量,获取,传递,存储, 度量,获取,传递,存储,处理和施用 的技术科学. 的技术科学. 在这个意义上, 在这个意义上,人们更愿意将广义信息 论称为信息科学. 论称为信息科学.
2,一般信息论的研究内容 一般信息论研究从广义通信引出的基础 理论问题. 理论问题. 几乎在香农创立信息论的同时, 几乎在香农创立信息论的同时,另一位 美国科学家,控制论(Control 美国科学家,控制论(Control Theory, Cybernetics)的奠基人维纳 Cybernetics)的奠基人维纳(N.Wiener)将 的奠基人维纳(N.Wiener)将 人或机器与外部环境所进行的交换看成 广义的通信, 广义的通信,将信息理解为广义通信的 对象. 对象.
②在噪声下如何有效而可靠地传递信息, 在噪声下如何有效而可靠地传递信息, 信源编码(source coding)和信道编码 信源编码(source coding)和信道编码 (channel coding)的概念; coding)的概念 的概念; 信息压缩和无失真恢复的极限条件; ③信息压缩和无失真恢复的极限条件; 信道容量(channel capacity)的概念 的概念, ④信道容量(channel capacity)的概念, 在给定信道中信息传输的极限问题. 在给定信道中信息传输的极限问题. 1959年所发表的 年所发表的" 在1959年所发表的"保真度准则下的离散 信源编码定理" 信源编码定理"(Coding Theorems for a Discrete Source at the Fidelity Criterion) 中,
信息论复习知识点
信息论复习知识点(总11页) -CAL-FENGHAI.-(YICAI)-Company One1
-CAL-本页仅作为文档封面，使用请直接删除
1、平均自信息为
表示信源的平均不确定度，也表示平均每个信源消息所提供的信息量。
平均互信息
表示从Y获得的关于每个X的平均信息量，也表示发X前后Y的平均不确定性减少的量，还表示通信前后整个系统不确定性减少的量。
2、最大离散熵定理为：离散无记忆信源，等概率分布时熵最大。
3、最大熵值为。
4、通信系统模型如下：
5、香农公式为为保证足够大的信道容量，可采用（1）用频带换信噪比；（2）用信噪比换频带。
6、只要，当N足够长时，一定存在一种无失真编码。
7、当R＜C时，只要码长足够长，一定能找到一种编码方法和译码规则，使译码错误概率无穷小。
8、在认识论层次上研究信息的时候，必须同时考虑到形式、含义和效用三个方面的因素。
9、1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，
从而创立了信息论。
按照信息的性质，可以把信息分成语法信息、语义信息和语用信息。
按照信息的地位，可以把信息分成客观信息和主观信息。
人们研究信息论的目的是为了高效、可靠、安全地交换和利用各种各样的信息。
信息的可度量性是建立信息论的基础。
统计度量是信息度量最常用的方法。
熵是香农信息论最基本最重要的概念。
事物的不确定度是用时间统计发生概率的对数来描述的。
10、单符号离散信源一般用随机变量描述，而多符号离散信源一般用随机矢量描述。
11、一个随机事件发生某一结果后所带来的信息量称为自信息量，定义为 其发生概率对数的负值 。
信息论考试简答题
简答题：
1.根据信息论的各种编码定理和通信系统指标，编码问题可分解为几类，分别是什么？
答：3类，分别是：信源编码，信道编码，和加密编码。
2.对于一个一般的通信系统，试给出其系统模型框图，并结合此图，解释数据处理定理。
答：通信系统模型如下：
数据处理定理为：串联信道的输入输出X 、Y 、Z 组成一个马尔可夫链，且有，。说明经数据处理后，一般只会增加信息的损失。
3.什么是平均自信息量与平均互信息，比较一下这两个概念的异同？
答：平均自信息为:
表示信源的平均不确定度，也表示平均每个信源消息所提供的信息量。
平均互信息:
表示从Y 获得的关于每个X 的平均信息量，也表示发X 前后Y 的平均不确定性减少的量，还
表示通信前后整个系统不确定性减少的量。
4.简述最大离散熵定理。对于一个有m 个符号的离散信源，其最大熵是多少？ 答：最大离散熵定理为：离散无记忆信源，等概率分布时熵最大。 最大熵值为。
5.熵的性质什么？
答：非负性，对称性，确定性，香农辅助定理，最大熵定理。
6.解释信息传输率、信道容量、最佳输入分布的概念，说明平均互信息与信源的概率分布、信道的传递概率间分别是什么关系？
答：信息传输率R 指信道中平均每个符号所能传送的信息量。信道容量是一个信道所能达到的最大信息传输率。信息传输率达到信道容量时所对应的输入概率分布称为最佳输入概率分布。
平均互信息是信源概率分布的∩型凸函数，是信道传递概率的U 型凸函数。
7.信道疑义度的概念和物理含义？
答：概念：)|(log )()|(j i j i j i b a p b a p Y X H ∑∑-=
《信息论》(电子科大)第六章 连续信源与连续信道
∞
∞
∞ (x m) 2 dx + lb 2π σ ∫ p( x)dx = lbe ∫ p( x) 2 ∞ ∞ 2σ lbe ∞ 2 2 = 2 ∫ ( x m ) p( x )dx + lb 2π σ 2σ ∞ 1 1 2 2 = lbe + lb 2π σ = lb ( 2πeσ ) 2 2 (3)指数分布连续信源的相对熵 (3)指数分布连续信源的相对熵 ∞ 2
与单符号离散信道相仿,可以定义X对Y 与单符号离散信道相仿,可以定义X 的平均互信息量为 的平均互信息量为
I c ( Y; X) = H c ( Y ) H c ( Y X) 同理,也可以定义Y 同理,也可以定义Y对X的平均互信息量 为 I c ( X; Y ) = H c ( X) H c ( X Y ) 虽然相对熵不具有信息测度的意义, 虽然相对熵不具有信息测度的意义,但 平均互信息量是一种熵差 熵差, 平均互信息量是一种熵差,具有信息测 度的意义. 度的意义.
1 1 2 H c ( X ) ≤ ln( 2πeσ ) = ln( 2πeP) , ∞ < x < ∞ 2 2
设p(x)是除高斯分布以外的任何概率密 p(x)是除高斯分布以外的任何概率密 度函数, 度函数,且
电子科技大学
∫ ∫
∞
∞ ∞
p( x)dx = 1
x p( x)dx = P
(完整word版)信息论习题集
信息论习题集
第一章、判断题
1、信息论主要研究目的是找到信息传输过程的共同规律，提高信息传输的可靠性、有效性、
保密性和认证性，以达到信息传输系统的最优化。（“
2、同一信息，可以采用不同的信号形式来载荷；同一信号形式可以表达不同形式的信息。（“
3、通信中的可靠性是指使信源发出的消息准确不失真地在信道中传输；（W
4、有效性是指用尽量短的时间和尽量少的设备来传送一定量的信息。（M
5、保密性是指隐蔽和保护通信系统中传送的消息，使它只能被授权接收者获取，而不能被未授权者接收和理解。（V）
6、认证性是指接收者能正确判断所接收的消息的正确性，验证消息的完整性，而不是伪造的和被窜改的。（V
7、在香农信息的定义中，信息的大小与事件发生的概率成正比，概率越大事件所包含的信息量越大。（X
第二章
一、判断题
1、通信中获得的信息量等于通信过程中不确定性的消除或者减少量。（V
2、离散信道的信道容量与信源的概率分布有关，与信道的统计特性也有关。（X）
3、连续信道的信道容量与信道带宽成正比，带宽越宽，信道容量越大。（X
4、信源熵是信号符号集合中，所有符号的自信息的算术平均值。（X）
5、信源熵具有极值性，是信源概率分布P的下凸函数，当信源概率分布为等概率分布时取得最大值。（X
6、离散无记忆信源的N次扩展信源，其熵值为扩展前信源熵值的N倍。（V
7、互信息的统计平均为平均互信息量，都具有非负性。（X）
8、信源剩余度越大，通信效率越高，抗干扰能力越强。（X）
9、信道剩余度越大，信道利用率越低，信道的信息传输速率越低。（X）
10、信道输入与输出之间的平均互信息是输入概率分布的下凸函数。（X）
信息论期末复习
第二章 信源熵
一、自信息量
1. 定义：一个随机事件发生某一结果后所带来的信息量称为自信息量，简称自信息。定 义为其发生概率对数的负值。若随机事件发生i a 的概率为)(i a p ，那么它的自信 息量为：)(log )(2i i a p a I -= （bit ）
2. 性质：在事件发生前，)(i a I 表示该事件发生的不确定性。 在事件发生后，)(i a I 表示事件发生所提供的信息量。 二、信源熵
1. 定义： 已知单符号离散无记忆信源的数学模型
我们定义信源各个离散消息的自信息量的数学期望为信源的平均信息量，一般称为信
源的平均信息量： )(log )(])(1
[log )]([)( 21
2
i n
i i i i a p a p a p E a I E X H ∑=-=== 2. 信源熵与平均自信息量之间的区别
两者在数值上是相等的，但含义不同。信源熵表征信源的平均不确定度，平均自信息量是消除不确定度所需要的信息的度量。信源一定，不管它是否输出离散消息，只要这些离散消息具有一定的概率特性，必有信源的熵值，该熵值在总体平均的意义上才有意义，因而是一个确定值， 。在离散信源的情况下，信源熵的值是有限的。而信息量只有当信源输出离散消息并被接收后，才有意义，这就是给予接收者的信息度量。
3. 最大离散熵定理：信源X 中包含n 个不同离散消息时，信源熵H(X)有： n X H 2log )(≤
当且仅当X 中各个消息出现的概率全相等时，上式取等号。
4. 扩展信源的信源熵：N 次扩展信源的信源熵：)()(X NH X H N
信息论1.0
………密………封………线………以………内………答………题………无………效……
电子科技大学成都学院二零零六至二零零七学年第一学期
一、 （30分）填 空
１、 一个二进制符号可传送1___信息量，一个八进制符号可传送_____3_____信息量。
２、 二元随机变量X 和Y ，已知X 、Y 的联合熵为1.6 bit/符号，Y 的熵为0.8 bit/符号，条件熵H(Y|X)为0.7 bit/符号，则X 的熵为____0.9____；条件熵H(X|Y)为_0.8_；平均互信息I(X;Y)为___0.1_。
３、 二元随机变量X 和Y ，已知H(X)=0.9bit/符号，若X 和Y 一一对应，则条件熵H(X|Y)= ___0____，平均互信息I(X;Y)= __0.9bit/符号______。74页
４、
离散无记忆信源输出M 个不同的信息符号，当且仅当_等概率输出 __时，
信源熵取最大值___Log2 n ____。
５、
离散平稳无记忆信源⎥⎥⎦
⎤
⎢⎢⎣⎡=⎪⎪⎭⎫ ⎝⎛4141
21)(32
1a a
a X P X ，其信源熵为__3/2____，这个信源的三次扩展信源的熵为___4.5____。
６、 发送码字C=[1001101]，接收码字R=[1100111]，差错图样
E=_____[0101010]_______ 7 。码字011011010的码重 5
8.。线性分组码的最小距离为8，则该码字的检错能力为__7__，纠错能力为__3_。 二、 (10分) 判断正误，正确在（ ）中填“√”，错误填“×”。
信息论基础 总复习
当式中的每一项的P{F(yj)=xi/yj}达到最大值时，平 均错误译码概率就可以为最小值。
设信源X的信源空间为：
• 收到每一个yj(j=1,2,…m)后，推测发送为xi(i=1,2,…n)的后验 概率共有n个，为：
1.1 信息的概念
物质、能量和信息是构成客观世界的 三大要素。信息是物质和能量在空间 和时间上分布的不均匀程度，或者说 信息是关于事物运动的状态和规律。
通信系统中形式上传输的是消 息，实质上传输的是信息，消息 中包含信息，消息是信息的载体。
信息论是研究信息的基本性质及度量方法，研究信息的
获取、传输、存储和处理的一般规律的科学。
p ( y x)
x
y
信
道
图1-3 信道模型
信道可以按不同的特性进行分类，根据输入和输出信号的特 点可分为：
离散信道 信道的输入和输出都是时间上离散、取值 离散的随机序列。离散信道有时也称为数字信道。
连续信道 信道的输入和输出都是时间上离散、 取值连续的随机序列，又称为模拟信道
半连续信道 输入序列和输出序列一个是离散的， 而另一个是连续的。
条件互信息
I(X ;Y|Z ) x y z p (x) ylo zp p (g (x x||z y z ))
《信息论》(电子科大)复习资料
信息论导论参考资料
作者 龙非池
第一章 概论
● 在认识论层次研究信息时，把只考虑到形式因素的部分称为语法信息， 把只考虑到含义因素的部分称为语义信息；把只考虑到效用因素的部分称为语用信息。目前，信息论中主要研究语法信息
● 归纳起来，香农信息论的研究内容包括： 1) 信息熵、信道容量和信息率失真函数
2) 无失真信源编码定理、信道编码定理和保真度准则下的信源编码定理 3) 信源编码、信道编码理论与方法
● 一般认为，一般信息论的研究内容除香农信息论的研究内容外，还包括 维纳的微弱信号检测理论：包括噪声理论、信号滤波与预测、统计检测与估计理论、调制理论等。
信息科学以信息为研究对象，信息科学以信息运动规律为研究内容，信 息运动包括获取、传递、存储、处理和施用等环节。
第二章 离散信源及离散熵
● 单符号离散信源的数学模型：1
212
()()()()n n x x x X P x P x P x P X ⎧⎫
⎡⎤=⎨⎬⎢⎥⎣⎦⎩⎭
自信息量：()log ()i x i I x P x =-，是无量纲的，一般根据对数的底来定义单位：当对数底为2时，自信息量的单位为比特(bit,binary unit)；对数底为e 时，其单位为奈特(nat,nature unit)；对数底为10时，其单位为哈特(Hart, Hartley)
自信息量性质：I(x i )是随机量；I(x i )是非负值；I(x i )是P(x i )的单调递减函数。
● 单符号离散信源的离散熵：
1()[()]()()n
i i i i H X E I x P x lbP x ===-∑，单位是比特/符号(bit/symbol)。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
信息论导论参考资料
作者 龙非池
第一章 概论
● 在认识论层次研究信息时，把只考虑到形式因素的部分称为语法信息， 把只考虑到含义因素的部分称为语义信息；把只考虑到效用因素的部分称为语用信息。目前，信息论中主要研究语法信息
● 归纳起来，香农信息论的研究内容包括： 1) 信息熵、信道容量和信息率失真函数
2) 无失真信源编码定理、信道编码定理和保真度准则下的信源编码定理 3) 信源编码、信道编码理论与方法
● 一般认为，一般信息论的研究内容除香农信息论的研究内容外，还包括 维纳的微弱信号检测理论：包括噪声理论、信号滤波与预测、统计检测与估计理论、调制理论等。
信息科学以信息为研究对象，信息科学以信息运动规律为研究内容，信 息运动包括获取、传递、存储、处理和施用等环节。
第二章 离散信源及离散熵
● 单符号离散信源的数学模型：1
212
()()()()n n x x x X P x P x P x P X ⎧⎫
⎡⎤=⎨⎬⎢⎥⎣⎦⎩⎭
自信息量：()log ()i x i I x P x =-，是无量纲的，一般根据对数的底来定义单位：当对数底为2时，自信息量的单位为比特(bit,binary unit)；对数底为e 时，其单位为奈特(nat,nature unit)；对数底为10时，其单位为哈特(Hart, Hartley)
自信息量性质：I(x i )是随机量；I(x i )是非负值；I(x i )是P(x i )的单调递减函数。
● 单符号离散信源的离散熵：
1()[()]()()n
i i i i H X E I x P x lbP x ===-∑，单位是比特/符号(bit/symbol)。
离散熵的性质和定理：H(X)的非负性；H(X)的上凸性； 最大离散熵定理：()H X lbn ≤
● 如果除概率分布相同外，直到N 维的各维联合概率分布也都与时间起点 无关，即：
111
11
1()()()()()()
k l k k l l k k k N l l l N P X P X P X X P X X P X X X P X X X ++++-++-==
=
则称该多符号离散信源为N 维离散平稳信源。
● N 维离散平稳信源的数学模型：
1
2121
212()()()()N N N n N n a a a X X X P a P a P a P X X X ⎧⎫
⎡⎤=⎨⎬⎢⎥⎣⎦⎩⎭
1212,,,,
,{1,2,
,}N i i i i N a x x x i i i n =∈其中 12
12112
1()()()(/)
(/)N N N i i i i i i i i i i i P a P x x x P x P x x P x x x x -==
● 二维离散平稳信源的离散熵：
2
121211
()()()()(/)n i i i H X X P a lbP a H X H X X ==-=+∑
H(X 2/X 1 )称为条件熵，是条件信息量在联合概率上的数学期望，H(X 1X 2)称为联合熵，离散熵H(X 1)、 H(X 2)称为无条件熵，H 2(X 1X 2)称为平均符号熵
且：212(/)()H X X H X ≤，2121211
()()()2
H X X H X X H X =≤
● 对于，12
1211
()()()N N N H X X X H X X X H X N
=
≤，当N→∞时，平均
符号熵取极限值，称之为极限熵，用H ∞表示：12
1
lim ()N N H H X X X N
∞→∞=
● 如果离散平稳信源发出的符号序列中各符号相互独立，则称该信源为离 散平稳无记忆信源。N 维离散平稳无记忆信源(一维离散平稳信源的N 次扩展信源)的数学模型：
1
212()
()
()()N N N n N n a a a X p a p a p a P X ⎧⎫
⎡⎤=⎨⎬⎢⎥
⎣⎦⎩⎭
12
12,,,,
,{1,2,
,}N i i i i N a x x x i i i n =∈其中，12()()()()N i i i i p a p x p x p x =
其离散熵：121()()()()()N N H X H X H X H X NH X =+++=
信源的平均符号熵：11
()()()N N N H X H X H X N
=
=
● 如果离散平稳信源发出的符号只与前面已经发出的m( 11121121 2112/()() ()(/)m m m m n m m n a a a X X X X p a p a p a P X X X X ++++⎧⎫ ⎡⎤=⎨⎬⎢⎥⎣⎦⎩⎭ 112 112 /()(/)m m m m i i i i i i i i i i a x x x x p a p x x x x ++==其中，， 为强调m 阶马尔科夫信源的长度特征，一般将其极限熵H ∞记为H m+1，即： 111 ()(/)(/)m m n n m i j i j i i j H H p e p e e lbp e e ∞+====-∑∑ 马尔科夫链的各态历经定理： 1 1 ()()(/)1,2, ,()0,()1m m n n m j i j i j j i j p e p e p e e j n p e p e ====>=∑∑，，其中 第三章 离散信源无失真编码 ● 码字的每一个比特携带信息的效率即编码效率：() H X K η= ，K 平均码长 一般采用不等长编码，使平均码长接近离散熵，从而在无失真前提下提高编码效率；编码的基本原则是大概率符号元编成短码，小概率符号元编成长码 如果所采用的不等长编码使接收端能从码序列中唯一地分割出对应与每一个符号元的码字，则称该不等长编码为单义可译码。 单义可译码中，如果能在对应与每一个符号元的码字结束时立即译出的称为即时码，如果要等到对应与下一个符号元的码字才能译出的称为延时码。 异前置码：任何一个码字都不是其他码字的前缀 m 元长度为k i , i=1,2, …,n 的异前置码存在的充分必要条件是： 1 1i n k i m -=≤∑，（克拉夫特(Kraft)不等式） ● 无失真编码定理：（香农第一定理） 如果L 维离散平稳信源的平均符号熵为H L (X 1X 2…X L )， 对信源符号进行m 元不等长组编码，一定存在一种无失真编码方法，当L 足够大时，使得每个信源符号所对应码字的平均比特数： 12 12()()L L L L K H X X X lbm H X X X L εε≤ <+，为任意给定的小数 1212()()L L L L lbm K H X X X lbm H X X X L L εε≥ ≤ <+只要， 无失真编码定理从理论上阐明了编码效率：1η→