信息论基础——自信息量
信息论基础理论与应用考试题及答案
信息论基础理论与应用考试题一﹑填空题（每题2分，共20分）1.信息论研究的目的就是要找到信息传输过程的共同规律，以提高信息传输的 （可靠性）﹑（有效性）﹑XX 性和认证性，使信息传输系统达到最优化。
（考点：信息论的研究目的）2.电视屏上约有500×600=3×510个格点，按每点有10个不同的灰度等级考虑，则可组成531010⨯个不同的画面。
按等概计算，平均每个画面可提供的信息量约为（610bit /画面）。
（考点：信息量的概念与计算）3.按噪声对信号的作用功能来分类信道可分为 （加性信道）和 （乘性信道）。
（考点：信道按噪声统计特性的分类）4.英文电报有32个符号（26个英文字母加上6个字符），即q=32。
若r=2，N=1，即对信源S 的逐个符号进行二元编码，则每个英文电报符号至少要用 （5）位二元符号编码才行。
（考点：等长码编码位数的计算）5.如果采用这样一种译码函数，它对于每一个输出符号均译成具有最大后验概率的那个输入符号，则信道的错误概率最小，这种译码规则称为（最大后验概率准则）或（最小错误概率准则）。
（考点：错误概率和译码准则的概念）6.按码的结构中对信息序列处理方式不同，可将纠错码分为（分组码）和（卷积码）。
（考点：纠错码的分类）7.码C=｛（0，0，0，0），（0，1，0，1），（0，1，1，0），（0，0，1，1）｝是（（4，2））线性分组码。
（考点：线性分组码的基本概念）8.定义自信息的数学期望为信源的平均自信息量，即（11()log ()log ()()q i i i i H X E P a P a P a =⎡⎤==-⎢⎥⎣⎦∑）。
（考点：平均信息量的定义）9.对于一个（n,k）分组码，其最小距离为d，那么，若能纠正t个随机错误，同时能检测e（e≥t）个随机错误，则要求（d≥t+e+1）。
（考点：线性分组码的纠检错能力概念）10.和离散信道一样，对于固定的连续信道和波形信道都有一个最大的信息传输速率，称之为（信道容量）。
《信息论与编码技术》复习提纲复习题
《信息论与编码技术》复习提纲复习题纲第0章绪论题纲：I.什么是信息？II.什么是信息论？III.什么是信息的通信模型？IV.什么是信息的测度？V.自信息量的定义、含义、性质需掌握的问题：1.信息的定义是什么？（广义信息、狭义信息——Shannon信息、概率信息）2.Shannon信息论中信息的三要素是什么？3.通信系统模型图是什么？每一部分的作用的是什么？4.什么是信息测度？5.什么是样本空间、概率空间、先验概率、自信息、后验概率、互信息？6.自信息的大小如何计算？单位是什么？含义是什么（是对什么量的度量）？第1章信息论基础㈠《离散信源》题纲：I.信源的定义、分类II.离散信源的数学模型III.熵的定义、含义、性质，联合熵、条件熵IV.离散无记忆信源的特性、熵V.离散有记忆信源的熵、平均符号熵、极限熵VI.马尔科夫信源的定义、状态转移图VII.信源的相对信息率和冗余度需掌握的问题：1.信源的定义、分类是什么？2.离散信源的数学模型是什么？3.信息熵的表达式是什么？信息熵的单位是什么？信息熵的含义是什么？信息熵的性质是什么？4.单符号离散信源最大熵是多少？信源概率如何分布时能达到？5.信源的码率和信息率是什么，如何计算？6.什么是离散无记忆信源？什么是离散有记忆信源？7.离散无记忆信源的数学模型如何描述？信息熵、平均符号熵如何计算？8.离散有记忆多符号离散平稳信源的平均符号熵、极限熵、条件熵（N阶熵）的计算、关系和性质是什么？9.什么是马尔科夫信源？马尔科夫信源的数学模型是什么？马尔科夫信源满足的2个条件是什么？10.马尔科夫信源的状态、状态转移是什么？如何绘制马尔科夫信源状态转移图？11.马尔科夫信源的稳态概率、稳态符号概率、稳态信息熵如何计算？12.信源的相对信息率和冗余度是什么？如何计算？㈡《离散信道》题纲：I.信道的数学模型及分类II.典型离散信道的数学模型III.先验熵和后验熵IV.互信息的定义、性质V.平均互信息的定义、含义、性质、维拉图VI.信道容量的定义VII.特殊离散信道的信道容量需掌握的问题：1.信道的定义是什么？信道如何分类？信道的数学模型是什么？2.二元对称信道和二元删除信道的信道传输概率矩阵是什么？3.对称信道的信道传输概率矩阵有什么特点？4.根据信道的转移特性图，写出信道传输概率矩阵。
信息论基础理论与应用考试题及答案
信息论基础理论与应用考试题及答案信息论基础理论与应用考试题一﹑填空题（每题2分，共20分）1.信息论研究的目的就是要找到信息传输过程的共同规律，以提高信息传输的（可靠性）﹑（有效性）﹑保密性和认证性，使信息传输系统达到最优化。
（考点：信息论的研究目的）2.电视屏上约有500×600=3×510个格点，按每点有10个不同的灰度等级考虑，则可组成531010⨯个不同的画面。
按等概计算，平均每个画面可提供的信息量约为（610bit /画面）。
（考点：信息量的概念及计算）3.按噪声对信号的作用功能来分类信道可分为 （加性信道）和 （乘性信道）。
（考点：信道按噪声统计特性的分类）4.英文电报有32个符号（26个英文字母加上6个字符），即q=32。
若r=2，N=1，即对信源S 的逐个符号进行二元编码，则每个英文电报符号至少要用 （5）位二元符号编码才行。
（考点：等长码编码位数的计算）5.如果采用这样一种译码函数，它对于每一个输出符号均译成具有最大后验概率的那个输入符号，则信道的错误概率最小，这种译码规则称为（最大后验概率准则）或（最小错误概率准则）。
（考点：错误概率和译码准则的概念）6.按码的结构中对信息序列处理方式不同，可将纠错码分为（分组码）和（卷积码）。
（考点：纠错码的分类）7.码C=｛（0，0，0，0），（0，1，0，1），（0，1，1，0），（0，0，1，1）｝是（（4，2））线性分组码。
（考点：线性分组码的基本概念）8.定义自信息的数学期望为信源的平均自信息量，即（11()log ()log ()()q i i i i H X E P a P a P a =⎡⎤==-⎢⎥⎣⎦∑）。
（考点：平均信息量的定义）9.对于一个（n,k）分组码，其最小距离为d，那么，若能纠正t个随机错误，同时能检测e（e≥t）个随机错误，则要求（d≥t+e+1）。
（考点：线性分组码的纠检错能力概念）10.和离散信道一样，对于固定的连续信道和波形信道都有一个最大的信息传输速率，称之为（信道容量）。
《信息论基础》教学大纲
《信息论基础》教学大纲课程编号：CE6006课程名称：信息论基础英文名称：Foundation of Information Theory学分/学时：2/32 课程性质：选修课适用专业：信息安全，网络工程建议开设学期：6 先修课程：概率论与数理统计开课单位：网络与信息安全学院一、课程的教学目标与任务本课程是信息安全，网络工程专业选修的一门专业基础课。
通过课程学习，使学生能够较深刻地理解信息的表征、存储和传输的基本理论，初步掌握提高信息传输系统可靠性、有效性、保密性和认证性的一般方法，为后续专业课学习打下坚实的理论基础。
本课程的教学目标：本课程对学生达到如下毕业要求有贡献：1.能够将数学、自然科学、工程基础和专业知识用于解决复杂工程问题。
2.能够应用数学、自然科学和工程科学的基本原理，识别、表达，并通过文献研究分析复杂工程问题，以获得有效结论。
完成课程后，学生将具备以下能力：1.能够针对一个复杂系统或者过程选择一种数学模型，并达到适当的精度。
2.能够应用数学、自然科学和工程科学的基本原理分析、识别、表达、处理及扩展信息安全、网络工程专业的复杂问题。
本课程的性质：本课程是一门理论性较强的专业基础课程，在实施过程中以理论为主，共32学时。
二、课程具体内容及基本要求（一）绪论（2学时）1.基本要求（1）掌握消息、信息和信号；噪声和干扰的基本概念（2）掌握通信系统模型（3）明确Shannon信息论要解决的中心问题2.重点与难点（1）重点：掌握通信系统模型的构成及其相应功能（2）难点：理解Shannon信息论要解决的中心问题3.作业及课外学习要求（1）阅读IEEE IT 1998年信息论50年专刊（2）数字化革命进展-纪念shannon信息论诞生50周年http://202.117.112.49/xxl2/dzjiaoan/95shannon50y.ppt（3）信息论与通信、密码、信息隐藏（一）http://202.117.112.49/xxl2/dzjiaoan/信息论与通信、密码、信息隐藏（一）.ppt （4）信息论与通信、密码、信息隐藏（二）http://202.117.112.49/xxl2/dzjiaoan/信息论与通信、密码、信息隐藏（二）.ppt （5）清华大学朱雪龙“从通信与信号处理观点看信息论研究与应用中的若干问题”http://202.117.112.49/xxl2/dzjiaoan/sponit.mht（二）信息量和熵（8学时）1.基本要求（1）掌握离散随机变量的熵、平均互信息的基本概念及其性质（2）掌握平均互信息的凸性（3）理解信息处理定理2.重点与难点（1）重点：对信息量进行定量描述（2）难点：熵和平均互信息的物理含义及其性质，如何应用熵和平均互信息的基本概念解决实际问题3.作业及课外学习要求熵、平均互信息的计算、信息处理定理等应用（三）离散信源无失真编码（8学时）1.基本要求（1）掌握离散无记忆源等长编码、不等长编码基本概念（2）掌握离散无记忆信源无失真编码定理（3）掌握Huffman编码（4）理解算术编码和LZ编码基本原理2.重点与难点（1）重点：掌握离散无记忆信源无失真编码定理（2）难点：典型序列的概念及其性质、最佳不等长编码3.作业及课外学习要求离散无记忆信源无失真编码定理、无失真信源编码方法（四）信道容量（6学时）1.基本要求（1）掌握信道容量的基本概念（2）掌握离散无记忆信道、组合信道的信道容量计算2.重点与难点（1）重点：掌握信道容量的基本概念及一些特殊信道的容量计算（2）难点：信道的描述方法及信道容量的计算3.作业及课外学习要求信道容量的计算（五）离散信道编码定理（4学时）1.基本要求（1）掌握三种译码准则：最小错误概率译码、最大后验概率译码和最大似然译码（2）了解联合典型序列基本概念（3）理解离散信道编码定理2.重点与难点（1）重点：最大后验概率译码与最大似然译码和离散信道编码定理（2）难点：离散信道编码定理3.作业及课外学习要求译码准则的应用、离散信道编码定理的应用（六）信息论在信息安全中的应用（4学时）1.基本要求（1）了解保密系统模型（2）理解保密、认证的信息理论2.重点与难点（1）重点：完善保密性（2）难点：保密的信息理论3.作业及课外学习要求信息论在信息安全中的应用三、教学安排及方式四、本课程对培养学生能力和素质的贡献点信息论是一门运用概率论与数理统计的方法研究通信系统有效性、可靠性、保密性和认证性等问题的基础课程，也是信息与通信工程、计算机科学与技术、网络空间安全等学科的一门专业基础课程，对毕业要求各指标点的达成主要贡献如下：五、考核及成绩评定方式理论课最终成绩由平时成绩和期末考试成绩组成。
信息论基础第2章离散信源及其信息度量[83页]
![信息论基础第2章离散信源及其信息度量[83页]](https://img.taocdn.com/s3/m/a8bfc380a32d7375a5178051.png)
I (ai ) logr P(ai ) (r进制单位）
通常采用“比特”作为信息量的实用单位。在本书中，且为了 书写简洁，底数 2 通常省略不写。
【例】假设有这样一种彩票，中奖概率为 0.0001，不中 奖概率为 0.9999。现有一个人买了一注彩票。 试计算
定义: 设信源的概率空间为
X
P( x)
a1 P(a1
)
a2 P(a2 )
aq
P(aq )
则自信息量的数学期望定义为信源的平均自信息量，即
q
H ( X ) E[I (ai )] P(ai ) log2 P(ai ) （bit/符号） i 1
简记为
H ( X ) P(x) log2 P(x) xX
（1） 事件“彩票中奖”的不确定性； （2） 事件“彩票不中奖”的不确定性； （3） 事件“彩票中奖”和事件“彩票不中奖”相
比较，哪个提供的信息量较大？
【例】 对于 2n 进制的数字序列, 假设每一符号的出现相互 独立且概率相等，求任一符号的自信息量。
解：
根据题意， P(ai ) =1/2n，所以 I (ai ) log P(ai ) log（1/ 2n ) n(bit)
一般的多符号离散信源输出的随机序列的统计特性 比较复杂，分析起来也比较困难。将在第 3 章中详细讨 论。
《信息论基础》
2.3 离散随机变量的信息度量
一、自信息量I(xi)和信息熵H(X)
定义: 随机事件的自信息量定义为该事件发生概率的
对数的负值。设集合 X 中的事件 x ai 发生概率为 P(ai ) ，
按输出符号之间依赖关系分类，多符号离散信源 可分为无记忆信源和有记忆信源。
信息论基础第2章离散信源及其信息度量
第2章 离散信源及其信息度量
本章内容
2.1 离散信源的分类 2.2 离散信源的统计特性 2.3 离散随机变量的信息度量 2.4 离散信源的N次扩展信源 2.5 离散平稳信源 2.6 马尔可夫信源 2.7 离散信源的相关性和剩余度
《信息论基础》
2.1 离散信源的分类
离散信源的分类
按照离散信源输出的是一个消息符号还是消息符 号序列，可分为单符号离散信源和多符号离散信 源。
,
q2 pn
,
qm ) pn
n
m
其中， pi 1, qj pn 。
i1
j 1
可见，由于划分而产生的不确定性而导致熵的增加量为
pnHm (
q1 pn
,
q2 pn
, qm pn
)
6、上凸性
熵函数 H (p) 是概率矢量 p ( p1, p2 ,
pq ) 的严格∩型凸函数
（ 或 称 上 凸 函 数 ）。 即 对 任 意 概 率 矢 量 p1 ( p1, p2 , pq ) 和
成 H ( p1) 或 H ( p2 ) 。
和自信息相似，信息熵 H ( X ) 有两种物理含义：
① 信源输出前，信源的信息熵表示信源的平均 不确定度。
② 信源输出后，信源的信息熵表示信源输出一 个离散消息符号所提供的平均信息量。如果信道无噪 声干扰，信宿获得的平均信息量就等于信源的平均信 息量，即信息熵。需要注意的是，若信道中存在噪声， 信宿获得的平均信息量不再是信息熵，而是 2.5 节介 绍的平均互信息。
联合熵 H (XY ) 的物理含义表示联合离散符号集 XY 上
的每个元素对平均提供的信息量或平均不确定性。 单位为“bit/符号对”。 需要注意的是，两个随机变量 X 和 Y 既可以表示两个
第二章_离散信源与信息熵的关系
给出，为了书写方便以后写成： 和
y1 , y2 , Y q1 , q2 , ym qm
xn Y y1, y2 , Q q( y ), q( y ), p( xn ) ； 1 2
ym q ( ym )
一. Definition of the self-mutual information:
«信 息 论 基 础 »
第二章：信息的度量与信息熵
( The measure of Information &Entropy) §2. 1 自信息与条件自信息
( self—information & conditional self— information) §2. 2 自互信息与条件自互信息 (self—mutual
p ( x ) 则表达当收端已收到某种消息后, 再统计发端的发送 率： y 概率，所以此条件概率称为后验概率(Posterior Probability) 。
§2. 1 自信息与条件自信息 因此我们说事件 xi 以及它所对应的先验概率P( x )而定
i
义出的自信息 I [ p( xi )] ，所表达的不论事件是否有人接收这 个事件它所固有的不确定度，或者说它所能带来的信息 xi p ( ) 量。而消息事件 y j xi nk 它所对应的条件概率 yj 是在收端接收到已干扰的消息后的后验概率,如果当它为1 xi p ( ) 则属于透明传输；若 y j <1，则属于有扰传输。而当 xi p ( ) 后验概率大于先验概率是 y j > P( xi )，说明事件 y j 发生之后多少也解除了事件 xi 的部分不定度，即得到 了事件 X xi 的部分信息。由于概率越大，不定度越小。 从客观上讲，条件自信息一定不会大于无条件的自信息。 同时也反映出要得知一些条件，原事件的不定度一定会 减少，最坏的情况也不过保持不变，即条件与事件无关。
信息论基础与编码课后题答案(第三章)
3-1 设有一离散无记忆信源，其概率空间为12()0.60.4X x x P x ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦，信源发出符号通过一干扰信道，接收符号为12{,}Y y y =，信道传递矩阵为51661344P ⎡⎤⎢⎥=⎢⎥⎢⎥⎢⎥⎣⎦，求： （1） 信源X 中事件1x 和2x 分别含有的自信息量；（2） 收到消息j y （j ＝1，2）后，获得的关于i x （i ＝1，2）的信息量； （3） 信源X 和信宿Y 的信息熵；（4） 信道疑义度(/)H X Y 和噪声熵(/)H Y X ； （5） 接收到消息Y 后获得的平均互信息量(;)I X Y 。
解：（1）12()0.737,() 1.322I x bit I x bit ==（2）11(;)0.474I x y bit =，12(;) 1.263I x y bit =-，21(;) 1.263I x y bit =-，22(;)0.907I x y bit =（3）()(0.6,0.4)0.971/H X H bit symbol ==()(0.6,0.4)0.971/H Y H bit symbol ==（4）()(0.5,0.1,0.1,0.3) 1.685/H XY H bit symbol ==(/) 1.6850.9710.714/H X Y bit symbol =-= (/)0.714/H Y X bit symbol =（5）(;)0.9710.7140.257/I X Y bit symbol =-=3-2 设有扰离散信道的输入端是以等概率出现的A 、B 、C 、D 四个字母。
该信道的正确传输概率为0.5，错误传输概率平均分布在其他三个字母上。
验证在该信道上每个字母传输的平均信息量为0.21比特。
证明：信道传输矩阵为：11112666111162661111662611116662P ⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥=⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦，信源信宿概率分布为：1111()(){,,,}4444P X P Y ==， H(Y/X)=1.79（bit/符号），I(X;Y)=H(Y)- H(Y/X)=2-1.79=0.21（bit/符号）3-3 已知信源X 包含两种消息：12,x x ，且12()() 1/2P x P x ==，信道是有扰的，信宿收到的消息集合Y 包含12,y y 。
信息论基础及答案
《信息论基础》试卷第1页《信息论基础》试卷答案一、填空题（共25分，每空1分）1、连续信源的绝对熵为无穷大。
（或()()lg lim lg p x p x dx +¥-¥D ®¥--D ò）2、离散无记忆信源在进行无失真变长信源编码时，编码效率最大可以达到、离散无记忆信源在进行无失真变长信源编码时，编码效率最大可以达到 1 1 1 。
3、无记忆信源是指信源先后发生的符号彼此统计独立。
4、离散无记忆信源在进行无失真变长编码时，码字长度是变化的。
根据信源符号的统计特性，对概率大的符号用短码，对概率小的符号用长码，这样平均码长就可以降低，从而提高有效性有效性((传输速率或编码效率传输速率或编码效率) ) ) 。
5、为了提高系统的有效性可以采用信源编码，为了提高系统的可靠性可以采用信道编码。
6、八进制信源的最小熵为、八进制信源的最小熵为 0 0 0 ，最大熵为，最大熵为，最大熵为 3bit/ 3bit/ 3bit/符号符号。
7、若连续信源输出信号的平均功率为1瓦特，则输出信号幅度的概率密度函数为高斯分布高斯分布((或()0,1x N 或2212x ep-)时，信源具有最大熵，其值为其值为 0.6155hart( 0.6155hart( 0.6155hart(或或1.625bit 或1lg 22e p )。
8、即时码是指任一码字都不是其它码字的前缀。
9、无失真信源编码定理指出平均码长的理论极限值为信源熵信源熵((或H r (S)(S)或或()lg H s r)，此时编码效率为时编码效率为 1 1 1 ，编码后的信息传输率为，编码后的信息传输率为，编码后的信息传输率为 lg lg r bit/ bit/码元码元。
1010、一个事件发生的概率为、一个事件发生的概率为0.1250.125，则自信息量为，则自信息量为，则自信息量为 3bit/ 3bit/ 3bit/符号符号。
信息论第二章
主要内容： 主要内容： 一、自信息量 平均自信息量（ 二、平均自信息量（熵）及性质 教学要求: 教学要求: 一、了解信息论的基本内容 会自信息量、互信息量、 二、会自信息量、互信息量、平均自 信息量的计算
引言
有效性和可靠性是通信系统中研究的中心问 信息论是在信息可度量基础上， 题，信息论是在信息可度量基础上，研究有效地 和可靠地传递信息的科学。因此，概率论、 和可靠地传递信息的科学。因此，概率论、随机 过程是信息论研究的基础和工具。 过程是信息论研究的基础和工具。
( )
I ( xi y j ) = I ( xi ) + I ( y j )
小结
1、出现概率小的随机事件所包含的不确定性大，也就是它 出现概率小的随机事件所包含的不确定性大， 的自信息量大。出现概率大的随机事件所包含的不确定性小， 的自信息量大。出现概率大的随机事件所包含的不确定性小， 也就是它的自信息量小。在极限情况下，出现概率为1 也就是它的自信息量小。在极限情况下，出现概率为1的随 机事件，其自信息量为零。 机事件，其自信息量为零。 随机事件的不确定性在数量上等于它的自信息量， 2、随机事件的不确定性在数量上等于它的自信息量，两者 单位也相同。 单位也相同。 信宿收到从信道传来的所消息携带的信息量后， 3、信宿收到从信道传来的所消息携带的信息量后，可以全 部或部分消除信宿对信源发出消息的不确定性。特别地， 部或部分消除信宿对信源发出消息的不确定性。特别地，当 信宿收到的信息量等于信源包含的不确定性（即自信息量） 信宿收到的信息量等于信源包含的不确定性（即自信息量） 就可以唯一地确定信源发出的消息。 时，就可以唯一地确定信源发出的消息。 例如：当某随机事件x 出现的概率为P 1/8时 例如：当某随机事件xi出现的概率为P（xi）= 1/8时，它包 含3比特的不确定性；当信宿能收到3比特的信息量，就能唯 比特的不确定性；当信宿能收到3比特的信息量， 一的确定信源发出的是消息x 一的确定信源发出的是消息xi。
信息论基础课件chp2
定度的差
观察者站在通信系统总体立场上
通信前：输入随机变量X和输出随机变量Y之间没有任何关 联关系,即X与Y统计独立：p(xi yj)=p(xi)p(yj) 先验不确定度 I'(xiyj)lo2gp(xi)1p(yj)
通信后：输入随机变量X和输出随机变量Y之间由信道的统 计特性相联系，其联合概率密度： p(xi yj)=p(xi)p(yj /xi )= p(yj)p(xi / yj) 后验不确定度
（4）两个独立事件的联合信息量应等于它们分别的信息量 之和。
根据上述条件可以从数学上证明这种函数形式是对数形式。
定义2.1 随机事件的自信息量定义为该事件发生概
率的对数的负值。设事件x i 的概率为 p ( xi )，则它的
自信息定义为
I(xi)deflogp(xi)logp(1xi)
当统计独立时,表明xi和yj之间不存在统计约束关系，从yj 得不到关于的xi任何信息,反之亦然。
I(xiyj)lo2g p(xi)1 p(yj)lo2g p(x1 iyj)0
互信息量可为正值或负值
当后验概率大于先验概率时，互信息量为正
当后验概率小于先验概率时，互信息量为负
当后验概率与先验概率相等时，互信息量为零。这就是 两个随机事件相互独立的情况。
解：(1) I(a)log20.0643.96bit I(c)log20.0225.51 bit
( 2 ) I ( a c ) l o g 2 0 . 0 6 4 0 . 0 2 2 3 . 9 6 5 . 5 1 9 . 4 7 b i t
( 3 )I( c |a ) lo g 2 0 .0 4 4 .6 4 b it
信息论基础总结
⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡)()()()(2211I Ix q x x q x x q x X q X ΛΛ∑==I i ix q 11)(⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡)()()()(2211m q q q q x x x x x x X X m ΛΛ∏=Ni i x q 1)(第1章 信息论基础信息是物质和能量在空间和时间上分布的不均匀程度，或者说信息是关于事物运动的状态和规律。
消息是能被人们感觉器官感知的客观物质和主观思维的运动状态或存在状态。
通信系统中形式上传输的是消息，实质上传输的是信息，消息中包含信息，消息是信息的载体。
信息论是研究信息的基本性质及度量方法，研究信息的获取、传输、存储和处理的一般规律的科学。
狭义信息论信息论研究的范畴： 实用信息论广义信息论信息传输系统信息传输系统的五个组成部分及功能：1. 信源 信源是产生消息的源。
2. 编码器 编码器是将消息变换成适合于信道传送的信号的设备。
编码器分为信源编码器和信道编码器两种。
3. 信道 信道是信息传输和存储的媒介，如光纤、电缆、无线电波等。
4.译码器 译码器是编码器的逆变换，分为信道译码器和信源译码器。
5. 信宿 信宿是消息的接收者，可以是人，也可以是机器。
离散信源及其数学模型离散信源—消息集X 为离散集合，即时间和空间均离散的信源。
连续信源—时间离散而空间连续的信源。
波形信源—时间和空间均连续的信源。
无记忆信源—X 的各时刻取值相互独立。
有记忆信源—X 的各时刻取值互相有关联。
离散无记忆信源的数学模型—离散型的概率空间：x i ∈{a 1,a 2,…,a k } 1≤i ≤I0≤q(x i )≤1离散无记忆N 维扩展信源的数学模型： x ＝x 1x 2…x N x i ∈{a 1,a 2,…,a k } 1≤i ≤Nq (x )＝q (x 1x 2 … x N )＝离散信道及其数学模型离散信道—信道的输入和输出都是时间上离散、取值离散的随机序列。
信息论习题
信息理论基础习题集【考前必看】一、 判断：1、 必然事件和不可能事件的自信息量都是0 。
2、 自信息量是)(i x p 的单调递减函数。
3、 单符号离散信源的自信息和信源熵都具有非负性。
4、 单符号离散信源的自信息和信源熵都是一个确定值。
5、单符号离散信源的联合自信息量和条件自信息量都是非负的和单调递减的6、自信息量、条件自信息量和联合自信息量之间有如下关系：)/()()/()()(j i j i j i j i y x I y I x y I x I y x I +=+=7、自信息量、条件自信息量和互信息量之间有如下关系：)/()()/()();(i j j j i i j i x y I y I y x I x I y x I -=-= 8、当随机变量X 和Y 相互独立时，条件熵等于信源熵。
9、当随机变量X 和Y 相互独立时，I （X ；Y ）=H （X ） 。
10、信源熵具有严格的下凸性。
11、平均互信息量I （X ；Y ）对于信源概率分布p （x i ）和条件概率分布p （y j /x i ）都具有凸函数性。
12、m 阶马尔可夫信源和消息长度为m 的有记忆信源，其所含符号的依赖关系相同。
13、利用状态极限概率和状态一步转移概率来求m 阶马尔可夫信源的极限熵。
14、定长编码的效率一般小于不定长编码的效率。
15、信道容量C 是I （X ；Y ）关于p （x i ）的条件极大值。
16、离散无噪信道的信道容量等于log 2n ，其中n 是信源X 的消息个数。
17、信道无失真传递信息的条件是信息率小于信道容量。
18、最大信息传输速率，即：选择某一信源的概率分布（p （x i ）），使信道所能传送的信息率的最大值。
19、信源的消息通过信道传输后的误差或失真越大，信宿收到消息后对信源存在的不确定性就越小，获得的信息量就越小。
20、率失真函数对允许的平均失真度具有上凸性。
21、信源编码是提高通信有效性为目的的编码。
信息论基础-自信息量
调制方式与自信息量关系
调制方式简介
调制是将基带信号转换为适合在信道中传输的已调信号的过程。不同的调制方式会对信 号的传输性能和效率产生不同的影响。
自信息量与调制方式关系
调制方式与自信息量密切相关。一方面，调制方式的选择会影响信号的带宽和功率谱密度，从而影响信道的 传输能力；另一方面，不同的调制方式对应不同的符号集和符号概率分布，进而影响自信息量的计算。因此，
息的重要性、新颖度或不确定性等。
04
自信息量的计算公式为I(x) = -log(P(x))，其中P(x)为 事件x发生的概率。当事件发生的概率越小，其自信 息量越大，表示该事件包含的信息越多。
02 自信息量定义与性质
自信息量定义
1
自信息量描述的是单一事件的不确定性程度。
2
对于某一事件，其发生的概率越小，包含的自信 息量越大；反之，发生的概率越大，包含的自信 息量越小。
04 自信息量在通信中的应用
信道容量与自信息量关系
信道容量定义
信道容量是指在给定信道条件下，单位时间内能够可靠传输的最大信息量，它 与自信息量密切相关。
自信息量与信道容量关系
自信息量描述了信源输出符号的不确定性，而信道容量则反映了信道传输信息 的能力。在通信系统中，通过优化信源编码和信道编码，可以使得传输的信息 量接近或达到信道容量。
THANKS FOR WATCHING
感谢您的观看
信息论基础-自信息量
目录
• 引言 • 自信息量定义与性质 • 自信息量计算方法 • 自信息量在通信中的应用 • 自信息量在数据处理中的应用 • 总结与展望
01 引言
信息论概述
信息论是研究信息的传输、存 储、处理和识别等问题的科学
信息论举例信息量熵和互信息量
第二次测量取得旳信息量：
I ( p2 (x))
I ( p3(x))
log
1 p2 (x)
log
1 p3 ( x)
2
1 1(bit)
第三次测量取得旳信息量：
1
1
I ( p3(x)) I ( p4 (x)) log p3(x) log p4 (x) 1 0 1(bit)
故共需要3bit信息量.
信源熵
显然,H(X)>>H(Y),这表达信源X旳平均不稳 定性远远不小于信源Y旳平均不稳定性。
条件自信息量
前面我们引入自信息量以及熵旳概念，用
以描述信源或信宿，实际上，信宿收到旳消息
是与信源发出旳消息亲密有关。而且接受信息
与发送信息之间旳关系往往是鉴定一种信道旳
好坏旳最佳原则。所以，我们需要引入互信息
量。在学习互信息量之前我们先来了解条件信
码字
000 001 010 011 100 101 110 111
先验概率
1/4 1/4 1/8 1/8 1/16 1/16 1/16 1/16
收到0后 1/3 1/3 1/6 1/6 0 0 0 0
消息后验概率 收到01后 0 0 1/2 1/2 0 0 0 0
收到011后 0 0 0 1 0 0 0 0
[解]由定义有：
H
(X)源自214log
1 4
2
1 8
log
1 8
4
116log
1 16
2.75(比特/符号)
我们再回过头来看一下例3中两个信源熵分
别是多少， 成果反应了一种怎样旳事实？ [例3解答]由定义有：
HX 0.5log0.5 0.5log0.5 1 HY 0.99log0.99 0.01log0.01 0.08
03.信息论基础
I(x I( xi)是p( p(x xi)的单调递减函数
2.自信息量（ 自信息量（续）
联合自信息量 涉及两个随机事件的离散信源， 涉及两个随机事件的离散信源，其信源 模型为:
XY x1 y1 , P( XY ) = p( x y ), 1 1 x1 ym , L, p( x1 ym ), L, xn y1 , L, p ( xn y ), L, xn y m p ( xn y m )
2.自信息量（ 自信息量（续）
同样， 同样，xi 已知时发生yj的条件自信息量为 I (yj /xi )= )=-log2 p(yj /xi ) 联合自信息量和条件自信息量也满足非负和单 调递减性。 调递减性。 容易证明， 容易证明，自信息量、 自信息量、条件自信息量和联合自 信息量之间有如下关系式： 信息量之间有如下关系式： I (xi yj)= )=-log2 p(xi) p(yj /xi )=I(xi)+ I(yj /xi) =I(yj)+ I(xi /yj)
3.互信息量（ 互信息量（续）
I(xi ;yj)= I(xi)+ I(yj)-I(xi yj )
(i=1,2,…,n ; j=1,2,…,m)
当然， 当然，观察者还可以既不站在输入端， 观察者还可以既不站在输入端， 也不站在输出端， 也不站在输出端，而是站在通信系统的 总体角度上， 总体角度上，从宏观的角度观察问题。 从宏观的角度观察问题。 这样， 这样，通信后流经信道的信息量， 通信后流经信道的信息量，等于 通信前后不定度的差。 通信前后不定度的差。
) x3(雨) x4 (雪) X x1(晴) x2 (阴 P( X ) = 1/ 2 1/ 4 1/ 8 1/ 8
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
通信系统模型
信源 干扰 源 信宿
信源编码器 调 制 器
信源译码器 解 调 器
信道编码器
信道 编码信道
信道译码器
干扰源：对传输信道或存储媒介构成干扰的来源 的总称。干扰和噪声往往具有随机性，所以信道的 特征也可以用概率空间来描述；
通信系统模型
信源 干扰 源 信宿
信源编码器 调 制 器
信源译码器 解 调 器
f ( Pi )
（5）两个独立事件的联合信息量应等于它们分别的信息量 之和。
自信息
根据上述条件可以从数学上证明这种函数形式是对数 函数，即： 1 I ( xi ) log log p( xi ) P( xi )
I ( xi ) 有两个含义：
1、当事件发生前，表示该事件发生的不确定性； 2、当事件发生后，标是该事件所提供的信息量．
例题（2）--解答
设事件A知道今天是星期几的悄况下，问明天
是星期几的答案；事件B为已知今天是星期四 的情况，问明天是星期几的答案。则
p( A) 1 7
p ( B) 1
从而，从事件A中获得的信息量
例题（1）--解答
设“在12枚同值硬币中，某一枚为假币’这事件为a。其出现的概
率为
p(a)
1 12
设“假币重量比真币重量重，或轻’这事件为b。其出现的概率为 1 p(b) 2 事件a,b的不确定性为
I (a) log p(a) log12
I (b) log p(b) log 2
1.1 自信息
通信系统模型 信源的分类 概率论基础 信息的可度量性 自信息 熵
通信系统模型
信源 干扰 源 信宿
信源编码器 调 制 器
信源译码器 解 调 器
信道编码器
信道 编码信道
信道译码器
信源：产生消息和消息序列的来源。
通常信源的消息序列是随机发生的，因此要用随机变量来描述。
1.1 自信息
通信系统模型 信源的分类
概率论基础
信息的可度量性 自信息 熵
通信系统模型
信源 干扰 源 信宿
信源编码器 调 制 器
信源译码器 解 调 器
信道编码器
信道 编码信道
信道译码器
离 散 信 源
{
离散无记忆信源 离散有记忆信源
{ {
发出单个符号的无记忆信源 发出符号序列的无记忆信源 发出符号序列的有记忆信源 发出符号序列的马尔可夫信源
自信息
自信息量的单位取决于对数所取的底， 若以2为底，单位为比特，以e为底，单 位为奈特，以10为底，单位为哈特,通常 取比特为单位。
log 2 1 log 3 1.585
log 7 2.807 log5 2.322 log11 3.459
例题（1）
设有12枚同值硬币，其中有一枚为假币， 且只知道假币的重量与真币的重量不同， 但不知究竟是重还是轻。现采用天平比较 左右两边轻重的方法来测量（因无砝 码）。为了在天平上称出哪一枚是假币， 试问至少必须称多少次？ （用信息论方法证明）
自信息
根据客观事实和人们的习惯概念，应满足以下条件：
(1) 非负性： f 0 (2) f ( pi ) 应是先验概率的单调递减函数， 即当 P1 (a1 ) P2 (a2 ) 时 f ( P1 ) f ( P2 )
（3）当 P(ai ) 1 时
（4）当 P(ai ) 0 时
f ( Pi ) 0
复习
通信技术 概率论 信息论 随机过程 数理统计
相结合逐步发展而形成 的一门新兴科学
奠基人：美国数学家香农（C.E.Shannon） 1948年“通信的数学理论”
信息具有以下特征
（1）信息是可以识别的 （2）信息的载体是可以转换的 （3）信息是可以存贮的 （4）信息是可以传递的 （5）信息是可以加工的 （6）信息是可以共享的
i j i j i j i j
(3) p( xi y j ) p( xi ) p( y j / xi ) p( y j ) p( xi / y j )
p ( xi / y j ) p ( xi ) (4) X , Y 独立 p ( xi y j ) p ( xi ) p ( y j ) p ( y j / xi ) p ( y j )
信道编码器
信道 编码信道
信道译码器
解调器：从载波中提取信号，是调制的逆过程
MODEM
通信系统模型
信源 干扰 源 信宿
信源编码器 调 制 器
信源译码器 解 调 器
信道编码器
信道 编码信道
信道译码器
信道：信号由发送端传输到接收端的媒介。 典型的传输信道有电缆、高频无线信道光纤通 道等；典型的存储媒介有磁芯、磁盘、磁带等。
离散有记忆信源所发出的各个符号 的概率是有关联的。
信源的分类
信源每次发出一组含二 个以上符号的符号序列 代表一个消息。 信源每次只发出 一个符号代表一 个消息； 发出单个符号的无记忆信源
离 散 信 源
{
离散无记忆信源 离散有记忆信源
{ 发出符号序列的无记忆信源 {
发出符号序列的有记忆信源 发出符号序列的马尔可夫信源
I 2 I (c) log 3 1.585bit
则至少必须称的次数为
I1 log 24 2.9次 I2 log 3
例题（2）
如果你在不知道今天是星期几的情况下
问你的朋友“明天是星期几?”则答案中 含有多少信息量? 如果你在已知今天是星期四的情况下提 出同样的问题．则答案中你能获得多少 信息量？ (假设已知星期一至星期日的排序)
前 p ( x) 1 存在的不确定性是p ( x)的函数：I [ p ( x)] 1 1 1
12
后 p2 ( x) 1 存在的不确定性是p ( x)的函数：[ p ( x)] I 2 2 4
I [ p1 ( x)] I [ p2 ( x)]
讨论题
信息量的直观定义： 收到某消息获得的信息量 =不确定性减少的量 =（收到该消息前关于某事件的不确定性）（收到该消息后关于某事件的不确定性）
知识回顾--概率论基础
۩
符号
xi的先验概率：
一个离散信源发出的各个符号消息的集合为
X {x1, x2 ,, xn } ，它们的概率分别为
P { p( x1 ), p( x2 ), , p( xn )} ， p( xi )
为符号
xi 的先验概率。
知识回顾--概率论基础
۩
概率空间
通常把它们写到一起，称为概率空间：
知识回顾--概率论基础
[性质]
(1) p( xi ) 1, p( y j ) 1, p( xi / y j ) 1, p( y j / xi ) 1 (2) p( xi y j ) p( y j ), p( xi y j ) p( xi ), p( xi y j ) 1
信道编码器
信道 编码信道
信道译码器
信道译码器：利用信道编码时所提供的多余度，检查或纠 正数字序列中的错误。 信源译码器：把经过信道译码器核对过的信息序列转换成 适合接收者接收的信息形式。
通信系统模型
信源 干扰 源 信宿
信源编码器 调 制 器
信源译码器 解 调 器
信道编码器
信道 编码信道
信道译码器
离散无记忆信源—数学模型
x2 xn X x1 P p ( x ) p ( x ) p ( x ) 2 n 1
,
其中
p( x ) 1
i 1 i
n
ห้องสมุดไป่ตู้
集合X中，包含该信源包含的所有可能输 出的消息，集合P中包含对应消息的概率 密度，各个消息的输出概率总和应该为1。
通信系统模型
信源 干扰 源 信宿
信源编码器 调 制 器
信源译码器 解 调 器
信道编码器
信道 编码信道
信道译码器
调制器：将信道编码器输出的数字序列变换为 振幅、频率或相位受到调制控制的形式，以适合 在信道中进行较长距离的传输。
通信系统模型
信源 干扰 源 信宿
信源编码器 调 制 器
信源译码器 解 调 器
通信系统模型
信源 干扰 源 信宿
信源编码器 调 制 器
信源译码器 解 调 器
信道编码器
信道 编码信道
信道译码器
编码器：把消息变换成适合于信道传输的信号。
信源编码器：将信源的输出进行适当的变换，以提高信息传输的有效性。
信道编码器：对信源编码器的输出进行变换，用增加多余度的方法提高信 道的抗干扰能力，以提高信息传输的可靠性。
信息的可度量性（1）
2）中国男子足球队夺取世界杯赛冠军。
某一事物状态的不确 定性的大小，与该事 物可能出现的不同状 态数目以及各状态出 现的概率大小有关 既然不确定性的大小能 够度量，所以信息是可 以度量的
〉
1）中国女子乒乓球队夺取亚运会冠军。
设有12枚同值硬币，其中有 一枚为假币，且只知道假币 的重量与真币的重量不同， 但不知究竟是重还是轻。现 采用天平比较左右两边轻重 的方法来测量（因无砝码）。 为了在天平上称出哪一枚是 假币，试问至少必须称多少 次？
信息的可度量性（2）
讨论题
一般的方法是，在天平的两端各放一个 硬币：如果平衡，则都不是假币；如果不 平衡，则有一个是假币，再与别的任一硬 币比较。
讨论题
将12枚硬币平分为3堆； 在天平的两端各放一堆：如果平衡，则假币 在剩余一堆； 通过这步操作，可消除一些不确定性，获得 一定的信息量：
信源的分类
离散无记忆信源所发出的各个符号是相 互独立的，发出的符号序列中的各个符 号之间没有统计关联性，各个符号的出 现概率是它自身的先验概率。 离 散 信 源