信息论与编码第二章复习资料
信息论与编码-复习
第6章 信道编码
计算：
对于循环码，已知（n,k）循环码 会求g(x),并根据g(x)求G， 例p191-192 6.3.3,p193 6.3.4 会求h(x)=(xn+1)/g(x),并根据h(x), 例p193 6.3.4 会求系统循环码码字:由G经过初等行变换得Gs, 再通过C=mGS得系统循环码码字
第4章 信息率失真函数
计算：
对于离散信源(如作业4.1(3))：
R(D)的计算、R(D)与D的关系图 只要求等概信源，对称失真的R(D),见P120 (4.2.50式) 关系图见P109 图4.1.1（注意区分离散和连续信源）， 所取的点的纵坐标根据R(D)的计算式求得
第4章 信息率失真函数
计算：
会计算达到稳态时的状态概率分布（作业2.16（1））和 极限熵（作业2.16（2），2.17（2）和p48 例2.2.4）；
给定状态转移概率，会画状态转移图，反之亦要求。
第二章 ——续
计算：
信源冗余度的计算（作业2.17（3）） 根据给出的离散信源，能够进行定长编码，求出码字。
掌握信源编码器的性能指标（编码效率η）及其与码 长（k）之间的关系。
第3章 信道容量
掌握离散无记忆信道的N次扩展信道的容量的求解
CN次扩展 NC单符号无记忆信道
无噪信道的容量：见作业3.14 应用连续信道的信道容量公式进行解题
连续信道的容量 所需的信号功率
S 如作业3.19,使用公式 C连续 B log 2 (1 ) N 注意：
C就是信号的传输速率 dB表示的信噪比在代入时要进行转换
能够通过分析电路的运行过程，得到生成的循环码字。 见课件
信息论与编码第二章答案
第二章 信息的度量2.1信源在何种分布时，熵值最大？又在何种分布时，熵值最小？答：信源在等概率分布时熵值最大；信源有一个为1，其余为0时熵值最小。
2.2平均互信息量I(X;Y)与信源概率分布q(x)有何关系？与p(y|x)又是什么关系？答：若信道给定，I(X;Y)是q(x)的上凸形函数；若信源给定，I(X;Y)是q(y|x)的下凸形函数。
2.3熵是对信源什么物理量的度量？答：平均信息量2.4设信道输入符号集为{x1,x2,……xk}，则平均每个信道输入符号所能携带的最大信息量是多少？答：k k k xi q xi q X H ilog 1log 1)(log )()(=-=-=∑2.5根据平均互信息量的链规则，写出I(X;YZ)的表达式。
答：)|;();();(Y Z X I Y X I YZ X I +=2.6互信息量I(x;y)有时候取负值，是由于信道存在干扰或噪声的原因，这种说法对吗？答：互信息量，若互信息量取负值，即Q(xi|yj)<q(xi)，说明事件yi 的出现告)()|(log );(xi q yj xi Q y x I =知的是xi 出现的可能性更小了。
从通信角度看，视xi 为发送符号，yi 为接收符号，Q(xi|yj)<q(xi)，说明收到yi 后使发送是否为xi 的不确定性更大，这是由于信道干扰所引起的。
2.7一个马尔可夫信源如图所示，求稳态下各状态的概率分布和信源熵。
答：由图示可知：43)|(41)|(32)|(31)|(41)|(43)|(222111110201======s x p s x p s x p s x p s x p s x p 即：得：114)(113)(114)(210===s p s p s p 0.25（bit/符号）=+-+-+-=)]|(log )|()|(log )|()[()]|(log )|()|(log )|()[()]|(log )|()|(log )|()[(222220202121211111010100000s s p s s p s s p s s p s p s s p s s p s s p s s p s p s s p s s p s s p s s p s p H 2.8一个马尔可夫信源，已知：试画出它的0)2|2(,1)2|1(,31)1|2(,32)1|1(====x x p x x p x x p x x p 香农线图，并求出信源熵。
信息论与编码复习重点整理(1页版)
第1章 概论1. 信号(适合信道传输的物理量）、信息（抽象的意识/知识，是系统传输、转换、处理的对象）和消息(信息的载体)定义；相互关系：(1信号携带消息，是消息的运载工具(2信号携带信息但不是信息本身(3同一信息可用不同的信号来表示(4同一信号也可表示不同的信息。
2. 通信的系统模型及目的:提高信息系统可靠性、有效性和安全性，以达到系统最优化.第2章 信源及信息量1. 单符号离散信源数学模型2. 自信息量定义：一随机事件发生某一结果时带来的信息量I(xi)=- log2P(xi)、单位：bit 、物理意义：确定事件信息量为0；0概率事件发生信息量巨大、性质：I(xi)非负；P(xi)=1时I(xi)=0；P(xi)=0时I(xi)无穷；I(xi)单调递减；I(xi)是随机变量。
3. 联合自信息量：I(xiyi)=- log2P(xiyj) 物理意义：两独立事件同时发生的信息量=各自发生的信息量的和、条件自信息量：I(xi/yi)=- log2P(xi/yj)；物理意义：特定条件下(yj 已定)随机事件xi 所带来的信息量。
三者关系：I(xi/yi)= I(xi)+ I(yi/xi)= I(yi)+ I(xi/yi)4. 熵：定义(信源中离散消息自信息量的数学期望)、单位(比特/符号)、物理意义(输出消息后每个离散消息提供的平均信息量；输出消息前信源的平均不确定度；变量的随机性)、计算:(H(X)=-∑P(xi)log2 P(xi)) 1)连续熵和离散的区别：离散熵是非负的2)离散信源当且仅当各消息P 相等时信息熵最大H (X )=log 2 n 。
3)连续信源的最大熵:定义域内的极值.5.条件熵H(Y/X) = -∑∑P(xiyj) log2P(yj/xi)，H (X /Y )= -∑∑P(xiyj) log2P(xi/yj) 、物理意义：信道疑义度H(X/Y)：信宿收到Y 后，信源X 仍存在的不确定度，有噪信道传输引起信息量的损失，也称损失熵。
信息论与编码第二章
i 1
qN
H ( X N ) p(ai ) log p(ai ) ... p(ai1ai2 ...aiN ) log p(ai1ai2 ...aiN )
iq1 q
i11 iN 1
... p(ai1ai2 ...aiN ) log{p(ai1) p(ai2 )...p(aiN )}
2 p( 2 )
qN p( qN
)
a1a1 a1 p(a1a1 a1
)
a2 a1 a1 p(a2 a1 a1 )
a3a1 a1 p(a3a1 a1 )
aqaq aq p(aq aq aq )
• 离散(lísàn)无记忆N次扩展信源熵为：
• 证明： qN H ( X N ) H ( X 1 X 2 ...X N ) p( i ) log p( i ) NH ( X )
H Nk (X )
1 N k
H(X1 X N X Nk )
1
N k
H ( X 1 X N 1 ) H ( X N | X 1 X N 1 ) H ( X N k | X 1 X N k 1 )
i1 1 iN 1
H ( X 1 ) H ( X 2 | X 1 ) H ( X N | X 1 X 2 X N 1 )
N个分量统计关联的随机矢量 x [x1x2 xN ]的联合
(liáHn(Xh1 éX)熵N )
，等于起始时刻的无条件
熵与各阶条件熵之和，并不随时间的推移而
变化。 精品文档
log p(ai ) log p(b j ) I (ai ) I (b j )
精品文档
自信息(xìnxī)的表达I(a式i ) log[1/ p(ai )]
信息论与编码第二章复习资料
2-1、一阶马尔可夫链信源有3个符号，转移概率为：，，，，，，，，。
画出状态图并求出各符号稳态概率。
解：由题可得状态概率矩阵为：状态转换图为：令各状态的稳态分布概率为，，，那么：， , =且： 1 稳态分布概率为：=，=，=2-2.由符号集｛０，１｝组成的二阶马尔可夫链，其转移概率为：P(0|00)=0.8(0|11)=0.2(1|00)=0.2(1|11)=0.8(0|01)=0.5(0|1 0)=0.5(1|01)=0.5(1|10)=0.5画出状态图，并计算各符号稳态概率。
解：状态转移概率矩阵为：令各状态的稳态分布概率为、、、，利用〔2-1-17〕可得方程组。
且；解方程组得：即：2-3、同时掷两个正常的骰子，也就是各面呈现的概率都是，求：〔1〕、“3和5同时出现〞事件的自信息量；〔2〕、“两个1同时出现〞事件的自信息量；〔3〕、两个点数的各种组合的熵或平均信息量；〔4〕、两个点数之和的熵；〔5〕、两个点数中至少有一个是1的自信息量。
解：〔1〕3和5同时出现的概率为：〔2〕两个1同时出现的概率为：〔3〕两个点数的各种组合〔无序对〕为：(1,1),(1,2),(1,3),(1,4),(1,5),(1,6)(2,2),(2,3),(2,4),(2,5),(2,6)(3,3), (3,4),(3,5),(3,6)(4,4),(4,5),(4,6)(5,5),(5,6)(6,6)其中，(1,1), (2,2), (3,3), (4,4), (5,5), (6,6)的概率为1/36，其余的概率均为1/18所以，事件〔4〕两个点数之和概率分布为：信息为熵为：〔5〕两个点数之中至少有一个是1的概率为：2-4.设在一只布袋中装有100个用手触摸感觉完全一样的木球，每个球上涂有一种颜色。
100个球的颜色有以下三种情况：〔1〕红色球和白色球各50个；〔2〕红色球99个，白色球1个；〔3〕红、黄、蓝、白色球各25个。
《信息论和编码技术》复习提纲复习题
《信息论和编码技术》复习提纲复习题《信息论与编码技术》复习提纲复习题纲第0章绪论题纲：I.什么是信息？II.什么是信息论？III.什么是信息的通信模型？IV.什么是信息的测度？V.自信息量的定义、含义、性质需掌握的问题：1.信息的定义是什么？（广义信息、狭义信息——Shannon信息、概率信息）2.Shannon信息论中信息的三要素是什么？3.通信系统模型图是什么？每一部分的作用的是什么？4.什么是信息测度？5.什么是样本空间、概率空间、先验概率、自信息、后验概率、互信息？6.自信息的大小如何计算？单位是什么？含义是什么（是对什么量的度量）？第1章信息论基础㈠《离散信源》题纲：I.信源的定义、分类II.离散信源的数学模型III.熵的定义、含义、性质，联合熵、条件熵IV.离散无记忆信源的特性、熵V.离散有记忆信源的熵、平均符号熵、极限熵VI.马尔科夫信源的定义、状态转移图VII.信源的相对信息率和冗余度需掌握的问题：1.信源的定义、分类是什么？2.离散信源的数学模型是什么？3.信息熵的表达式是什么？信息熵的单位是什么？信息熵的含义是什么？信息熵的性质是什么？4.单符号离散信源最大熵是多少？信源概率如何分布时能达到？5.信源的码率和信息率是什么，如何计算？6.什么是离散无记忆信源？什么是离散有记忆信源？7.离散无记忆信源的数学模型如何描述？信息熵、平均符号熵如何计算？8.离散有记忆多符号离散平稳信源的平均符号熵、极限熵、条件熵（N阶熵）的计算、关系和性质是什么？9.什么是马尔科夫信源？马尔科夫信源的数学模型是什么？马尔科夫信源满足的2个条件是什么？10.马尔科夫信源的状态、状态转移是什么？如何绘制马尔科夫信源状态转移图？11.马尔科夫信源的稳态概率、稳态符号概率、稳态信息熵如何计算？12.信源的相对信息率和冗余度是什么？如何计算？㈡《离散信道》题纲：I.信道的数学模型及分类II.典型离散信道的数学模型III.先验熵和后验熵IV.互信息的定义、性质V.平均互信息的定义、含义、性质、维拉图VI.信道容量的定义VII.特殊离散信道的信道容量需掌握的问题：1.信道的定义是什么？信道如何分类？信道的数学模型是2.二元对称信道和二元删除信道的信道传输概率矩阵是什么？3.对称信道的信道传输概率矩阵有什么特点？4.根据信道的转移特性图，写出信道传输概率矩阵。
信息论与编码_第2章
2.1信源描述与分类
马尔可夫信源 更一般，经过n-m步后转移至sj的概率
pij (m, n) = P{S n = s j / S m = si } = P{s j / si } pij (m, n) ≥ 0 ∑ pij (m, n) = 1 j
15
2.1信源描述与分类
i
33
2.2离散信源熵与互信息
单符号离散信源熵 定义：对于给定离散概率空间表示的信源所定 义的随机变量I的数学期望为信源的信息熵， 单位为比特/符号
H ( X ) = E[ I ( x)] = −∑ p ( xi ) log p ( xi )
X = x1 x 2 0 . 8 0 . 2 P
32
2.2离散信源熵与互信息
I ( x1 ) = − log 2 p ( x1 ) = − log 2 0.8bit I ( x 2 ) = − log 2 p( x 2 ) = − log 2 0.2bit N次后所获得的信息量为 I = Np ( x1 ) I ( x1 ) + Np ( x 2 ) I ( x 2 ) = (−0.8 log 2 0.8 − 0.2 log 2 0.2) N 平均每次所获得的信息量为 I = p ( x1 ) I ( x1 ) + p ( x 2 ) I ( x 2 ) = ∑ p ( xi ) log p ( xi )
第2章 信源与信息熵
信源描述与分类 离散信源的信息熵和互信息 离散序列信源的熵 连续信源的熵与互信息 冗余度
1
2.1信源的描述与分类
信源是产生消息（符号）、消息序列和连续消 息的来源。从数学上，由于消息的不确定性， 因此，信源是产生随机变量、随机序列和随机 过程的源 信源的基本特性是具有随机不确定性
信息论与编码2
根据概率互换公式
p(xi yj) = p(yj︱xi)q(xi)=φ(xi︱yj)ω (yj)
互信息量I(xi ;yj )有多种表达形式:
I ( xi ; y j ) log
p( xi y j ) q( xi ) ( y j )
I ( xi ) I ( y j ) I ( xi y j )
第2章 信息的度量
第2章 信息的度量
内容提要：
根据香农对于信息的定义，信息是一个系 统不确定性的度量，尤其在通信系统中， 研究的是信息的处理、传输和存储，所以 对于信息的定量计算是非常重要的。本章 主要从通信系统模型入手，研究离散情况 下各种信息的描述方法及定量计算，讨论 它们的性质和相互关系。
2.1 自信息量和互信息量
（2-13）
【例2.8】信源包含8个消息x0,x1,x2,x3,x4,x5,x6,x7 ,信源编码器将 其对应编成8个三位二进制数000，001,…,111。各消息的先验概率 已知，在接收过程中，每收到一个数字，各消息的后验概率都相应 地发生变化。考虑在接受100三个数字的过程中，各后验概率的变 化，计算信息量I(x4;100)。
1/8
1/8 1/4 1/4
1/6
1/6 1/3 1/3
1/2
1/2 0 0
1
0 0 0
根据给定的先验概率，可算出：
1 12 1 23 1 p ( x4 ) p( x4 1) p( x4 10) P (x4︱100) = 1 8 1 2 1 8 1 8 6 2 3 1 6 2
可以看出， 1比特信息量就是两个互不相容 的等可能事件之一发生时所提供的信息量。
二维联合集X Y上元素xi yj的联合自信息量I(xi yj)定义为：
信息论与编码复习重点整理(1页版)
1第1章 概论1. 信号(适合信道传输的物理量）、信息（抽象的意识/知识，是系统传输、转换、处理的对象）和消息(信息的载体)定义；相互关系：(1信号携带消息，是消息的运载工具(2信号携带信息但不是信息本身(3同一信息可用不同的信号来表示(4同一信号也可表示不同的信息。
2. 通信的系统模型及目的:提高信息系统可靠性、有效性和安全性，以达到系统最优化.第2章 信源及信息量1. 单符号离散信源数学模型2. 自信息量定义：一随机事件发生某一结果时带来的信息量I(xi)=-log2P(xi)、单位：bit 、物理意义：确定事件信息量为0；0概率事件发生信息量巨大、性质：I(xi)非负；P(xi)=1时I(xi)=0；P(xi)=0时I(xi)无穷；I(xi)单调递减；I(xi)是随机变量。
3. 联合自信息量：I(xiyi)=- log2P(xiyj) 物理意义：两独立事件同时发生的信息量=各自发生的信息量的和、条件自信息量：I(xi/yi)=- log2P(xi/yj)；物理意义：特定条件下(yj 已定)随机事件xi 所带来的信息量。
三者关系：I(xi/yi)= I(xi)+ I(yi/xi)= I(yi)+ I(xi/yi)4. 熵：定义(信源中离散消息自信息量的数学期望)、单位(比特/符号)、物理意义(输出消息后每个离散消息提供的平均信息量；输出消息前信源的平均不确定度；变量的随机性)、计算:(H(X)=-∑P(xi)log2 P(xi)) 1)连续熵和离散的区别：离散熵是非负的2)离散信源当且仅当各消息P相等时信息熵最大H (X )=log 2 n 。
3)连续信源的最大熵:定义域内的极值. 5.条件熵H(Y/X) = -∑∑P(xiyj) log2P(yj/xi)，H (X /Y )= -∑∑P(xiyj) log2P(xi/yj) 、物理意义：信道疑义度H(X/Y)：信宿收到Y 后，信源X 仍存在的不确定度，有噪信道传输引起信息量的损失，也称损失熵。
信息论与编码第二章(1、2节)
H(p)/bit 1.0
等概时（ 等概时（p=0.5)：
随机变量具有最大的 不确定性，
p=0,1时： 时
随机变量的不确定性 消失。
0
0.5 二元熵函数曲线
1.0
p
性质3:唯一性
定理2.2 设离散随机变量的概密矩阵为 定理
X P（x） ＝ a1 a2 p1 p2 … … aN pN
函数 件
f ( p , p2,⋯ pn ) , 是随机变量不确定性的量度，若此函数满足条 1
理解：当随机变量相互独立时，其联合熵等于单个随机变量的熵之和， 理解：当随机变量相互独立时，其联合熵等于单个随机变量的熵之和，而条件熵等 于无条件熵。 于无条件熵。
联合熵、条件熵的关系：
一般情况下
H( X ) ≤ H( X) + H( ) Y Y H( X | Y) ≤ H( X) H( | X) ≤ H( ) Y Y
连续性 等概时单调增函数性 可加性 则此函数必为
o f ( p , p2,⋯ pn ) = −C∑pn l g pn , 1
n= 1
N
3、其他熵：（联合熵 条件熵）
H 条件熵： (Y / X) = ∑p(x , y )I(y / x ) = −∑p(x , y )lj i ij ij
联合熵、条件熵的关系：
H(XY) = H(X) + H(Y / X) = H(Y) + H(X / Y)
当X,Y相互独立时，有：
p(ak , bj ) = p(ak ) p(bj )
p a | bj ) = p a ) ( k ( k p bj | a ) = p bj ) ( ( k
于是有：
H( X ) = H( X) + H( ) Y Y H( X | Y) = H(X) H( Y | X) = H( ) Y
信息论与编码第二章-复习
I(xi ; yj) 变为 I( xi ), 表示收到xi后，从xi中获取关于xi的信
息量，也就是xi本身所含有的信息量，即能提供的全部信 息量，我们称之为xi 的“自信息量”。
所以：I(xi) 说，信源符号 xi 的自信息量，在数量上等于信源发 符号 xi 的不确定性。
2.2.1 自信息量
例2－2－1 英文字母中“e‖ 出现的概率为0.105，“c‖出现的 概率为0.023，“o‖出现的概率为0.001。分别计算 它们的自信息量。 解：“e‖的自信息量 I（e）= - log2 0.105=3.25 bit ―c‖的自信息量 I（c）= -log2 0.023=5.44 bit ―o‖的自信息量 I（o）= -log2 0.001＝9.97 bit
第一节 信源的描述和分类
x2 xn X x1 P p ( x ) p ( x ) p ( x ) 2 n 1
,
显然有
p( xi ) 0, p( xi ) 1
i 1
n
注意：X，Y，Z代表随机变量，指的是信源整体； xi , y j , zl 代表随机事件的某一结果或信源的某 个元素，不可混淆!
i 1 j 1 n m
联合自信息量：
I ( xi y j ) log p ( xi y j )
•
注意:
a. 当xi,yj相互独立时，有P(xiyj)=P(xi)P(yj)，那么就有 I(xiyj)=I(xi)+I(yj)。 xiyj所包含的不确定度在数值上也等于它们的自信息 量。
b.
2.2.1 自信息量
2.2.1 自信息量
b. 自信息量的单位的确定 • 在信息论中常用的对数底是2，信息量的单位为比特 （bit ：binary unit ）； • 若 取 自 然 对 数 ， 则 信 息 量 的 单 位 为 奈 特 （ nat ： nature unit ）； • 若以10为对数底，则信息量的单位为哈特（det： hartley ）。 这三个信息量单位之间的转换关系如下：
信息论与编码理论--第二章
西安电子科技大学通信工程学院
( y j )
条件互信息和联合事件互信息
三个事件集的条件互信息定义为
P (u1 | u2 u3 ) P (u1u2 | u3 ) I (u1 ; u2 | u3 ) log log P (u1 | u3 ) P (u1 | u3 ) P (u2 | u3 )
非负 体现先验不确定性大小
I ( xk ; y j ) I ( xk ) I ( xk ; y j ) I ( y j )
西安电子科技大学通信工程学院
条件自信息和联合自信息
I (u1 | u2 ) log p(u1 | u2 )
I ( xk y j ) log p( xk y j )
I ( X ; Y ) I (Y ; X ) I ( X ; Y | Z ) I (Y ; X | Z ) I ( X ; Z ) I ( X ;Y )
西安电子科技大学通信工程学院
信息处理定理
I ( XY ; Z ) I ( X ; Z ) I (Y ; Z | X )
例:求高斯随机变量的互信息
pXY ( xy) 1 2 x y
( x mx )2 1 exp 2 2 2 2(1 ) x 1
( y my ) 2 u2
2 ( x mx )( y my )
x y
p X ( x)
西安电子科技大学通信工程学院
平均互信息量
p( x | y ) I ( x; y ) log q( x )
信息论与编码chap2
1 nat = 1.44bit , 1 hat = 3.32 bit；
一般计算都采用以“2”为底的对数，为了书写简洁， 常把底数“2”略去不写
二. 信息熵
对一个信源发出不同的消息所含有的信息量也不同。 所以自信息I(ai)是一个随机变量，不能用它来作为 整个信源的信息测度 定义自信息的数学期望为平均自信息量Hr(X)，称为 信息熵：
2.1
信源的数学模型及分类
ቤተ መጻሕፍቲ ባይዱ
单符号信源：输出是单个符号（代码）的消息
离散信源 连续信源
平稳随机序列信源：信源输出的消息由一系列符号序列
所组成，可用N维随机矢量 X＝(X1,X2,…,XN)描述，且随机 矢量X 的各维概率分布都与时间起点无关----平稳！ 离散平稳信源 连续平稳信源 无记忆（独立）离散平稳信源 有记忆信源 m阶马尔可夫信源
P ( X) P ( X 1 X 2 X N ) P ( X i )
N i 1
设各随机变量Xi取值同样符号集A:{a1,a2,…,aq}，则
P(x i ) P(ai1 ai 2 ,..., aiN ) P(aik ), ik (1,2,..., q)
k 1 N
例：汉字组成的中文序列中，只有根据中文的语法、
习惯用语、修辞制约和表达实际意义的制约所构成的中 文序列才是有意义的中文句子或文章。所以，在汉字序 列中前后文字的出现是有依赖的，不能认为是彼此不相 关的。其他如英文，德文等自然语言都是如此
m阶马尔可夫信源
不同时刻发出的符号间的依赖关系
P( xi | xi 2 xi 1 xi 1 xi 2 xi m x1 ) P( xi | xi 1 xi 2 xi m ) (i 1,2, , N )
信息论与编码第二章
第二章2.9 （1）对于离散无记忆信源DMS=,试证明：H(X)=H2(p)=-p log p-(1-p)log(1-p)当p=1/2时，H(X)达到最大值。
（2）对（1）中的DMS，考虑它的二次扩展信源X（2）=,证明：H(X(2))=2H(X)。
解：（1）函数H(X)plogp(1p)log(1p)中的变量p在0到1中取值，从函数的结构上可以知道该函数在区间[0,1]上是关于p=1/2对称的函数。
H(X)log（p1）pp（1p）p1ln21ln2(1p)1ln2log(1p)pln2(1p)log1pln2(1p)log（1p）p0在区间[0，0.5]上1-p>p,则（1-p）/p>1，所以log，在此区间上H(x)>0，H(x)单调递增。
又该函数是在区间[0,1]上是关于p=1/2对称的函数，那么在区间[0.5,1]上单调递减。
所以，H(X)H2(p)plogp(1p)log(1p)在p=1/2时，H(X)达到最大值。
(2)二次扩展后的矩阵：=H(X(2))p2logp2p(1p)log2p(1p)2p(1p)logp（1-p）2[plogp(1p)(1p)log(1p)p2(1p)log(1p)p(1p )log(1p)]2H(X )2.11 (1)一个无偏骰子，掷骰子的熵为多少？（2）如果骰子的被改造使得某点出现的概率与其点数成正比，那么熵为多少？（3）一对无偏骰子，各掷一次，得到总点数为7，问得到多少信息量？解：（1）H（x）= -log1/6=log6=2.58(bit/符号)（2）由q(x i)=kx i得21k=1 即k=1/21H(x)=-1/21(log1/21)-2/21(log2/21)-3/21(log3/21)-4/21(log4/21)-5/21( log5/21)-6/21(log6/21)=2.36（bit/符号）（3）I（A+B=7）=-log1/6=log6=2.58(bit)2.12 一个盒子中放有100个球，其中60个球是黑色的，40个球是白色的。
信息论与编码总复习
“信息论与编码”总复习*****************************************************************************简要***************************************************************************** 第二章 信源与信息熵1．每次只发出一个符号代表一个消息的信源叫做发出单个符号的无记忆信源。
2．由一系列符号组成，这种用每次发出1组含2个以上符号序列来代表一个信息的信源叫做发出符号序列的信源。
3．信源发出的序列的统计性质与时间的推移无关，是平稳的随机序列。
4．当信源的记忆长度为m+1时，该时刻发出的符号与前m 个符号有关联性，而与更前面的符号无关，这种有记忆信源叫做m 阶马尔可夫信源。
若上述条件概率与时间起点无关，则信源输出的符号序列可看成齐次马尔可夫链，这样的信源叫做齐次马尔可夫信源。
5．例题：稳态分布概率|稳定后的符号概率分布：符号条件概率矩阵：1/22/33/44/5⎡⎤⎢⎥⎢⎥-⎢⎥⎢⎥⎣⎦j i 1/21/3[p(s |s )]=1/41/5状态转移概率矩阵1/20001/32/33/40004/5⎡⎤⎢⎥⎢⎥---⎢⎥⎢⎥⎣⎦j i 1/20[p(s |s )]=1/41/50令各稳态分布概率为W1,W2,W3,W4：1131124W W W =+ 2131324W W W =+ 3241135W W W =+ 4242435W W W =+ 12341W W W W +++= 得稳态分布的概率：W1=3/35 W2=6/35 W3=6/35 W4=4/7稳定后的符号概率分布：11131616149()(|)()2353354355735i i i p a p a s p s ==⨯+⨯+⨯+⨯=∑ 221326364426()(|)()2353354355735i i ip a p a s p s ==⨯+⨯+⨯+⨯=∑6．定义具有概率为()i p x 的符号i x 的自信息量为：()log ()i i I x p x =-7．自信息量具有下列特性：（1）()1,()0i i p x I x ==（2）()0,()i i p x I x ==∞（3）非负性（4）单调递减性（5）可加性8．信源熵是在平均意义上来表征信源的总体特征，它是信源X 的 函数，一般写成H （X ）。
信息论与编码第2章
略去不
2.2
单 符
【例2.2-2】英文字母中“e”出现的
号
离 散
概率是0.105，“c”出现的概率是
信
源 0.023,“o”出现的概率是0.001。
分别计算其自信息量。
解：“e”:I(e)=－㏒20.105=3.25( 比特)
2.2
【例2.2-3】某地二月份天气的
单 概率分布统计如下：晴天的概率
及 各符号序列中的各个符号之间是没有统计关联的关系。
分 类
各个符号的出现概率是它自身的先验概率。
无记忆离散信源包含发出单符号的无记忆离散信源和
发出符号序列的无记忆离散信源。
2.1
信
源
有记忆离散信源:
及
分 类
发出的各个符号是相关联的。表述起来很
困难。
有记忆离散信源又可分为发出符号序列
的有记忆离散信源和发出符号序列的马尔
ห้องสมุดไป่ตู้
2.2
单 符
研究其下落后朝上一面的点数，每
号
离 散
次实验结果必然是1，2…6点中的
信 源
某一个面朝上。信源输出的消息是
“朝上面是一点”，“朝上面是两点”
，…“朝上面是六点等，六6个不同
的消息。每次实验只能出现一种消
各消息都是等概率出现的，
2.2
单 用一个离散型随机变量X来描述这
符 号
个信源的输出的消息。这个随机变
源
及 1.信源的描述
分
类 直观地说: 信源就是信息的来源。
确切地说: 信源是产生消息（符号）、消息序列、
连续消息的来源。
2.1
信 源
信源发出了消息，消息载荷着信息，信
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
2-1、一阶马尔可夫链信源有3个符号，转移概率为：，，，，，，，，。
画出状态图并求出各符号稳态概率。
解：由题可得状态概率矩阵为：状态转换图为：令各状态的稳态分布概率为，，，则：， , =且： 1稳态分布概率为：=，=，=2-2.由符号集｛０，１｝组成的二阶马尔可夫链，其转移概率为：P(0|00)=0.8(0|11)=0.2(1|00)=0.2(1|11)=0.8(0|01)=0.5(0|1 0)=0.5(1|01)=0.5(1|10)=0.5画出状态图，并计算各符号稳态概率。
解：状态转移概率矩阵为：令各状态的稳态分布概率为、、、，利用（2-1-17）可得方程组。
且；解方程组得：即：2-3、同时掷两个正常的骰子，也就是各面呈现的概率都是，求：（1）、“3和5同时出现”事件的自信息量；（2）、“两个1同时出现”事件的自信息量；（3）、两个点数的各种组合的熵或平均信息量；（4）、两个点数之和的熵；（5）、两个点数中至少有一个是1的自信息量。
解：（1）3和5同时出现的概率为：（2）两个1同时出现的概率为：（3）两个点数的各种组合（无序对）为：(1,1),(1,2),(1,3),(1,4),(1,5),(1,6)(2,2),(2,3),(2,4),(2,5),(2,6)(3,3), (3,4),(3,5),(3,6)(4,4),(4,5),(4,6)(5,5),(5,6)(6,6)其中，(1,1), (2,2), (3,3), (4,4), (5,5), (6,6)的概率为1/36，其余的概率均为1/18所以，事件（4）两个点数之和概率分布为：信息为熵为：（5）两个点数之中至少有一个是1的概率为：2-4.设在一只布袋中装有100个用手触摸感觉完全相同的木球，每个球上涂有一种颜色。
100个球的颜色有下列三种情况：（1）红色球和白色球各50个；（2）红色球99个，白色球1个；（3）红、黄、蓝、白色球各25个。
分别求出从布袋中随意取出一个球时，猜测其颜色所需要的信息量。
解：（1）设取出的红色球为，白色球为；有，则有：=1事件(2) ,;则有：=0.081（事件）(3)设取出红、黄、蓝、白球各为、、、，有则有：/事件2-5、居住某地区的女孩中有25%是大学生，在女大学生中有75%身高为1.6M以上，而女孩中身高1.6M以上的占总数一半。
假如得知“身高1.6M以上的某女孩是大学生”的消息，问获得多少信息量？解：设女孩是大学生为事件A，女孩中身高1.6m以上为事件B，则p(A)=1/4, p (B)=1/2，p ()=3/4，则P()I（）＝（1()）=1.422-6.掷两颗，当其向上的面的小圆点数之和是3时，该消息所包含的信息量是多少？当小圆点数之和是7时，该消息所包含的信息量又是多少？解：（1）小圆点数之和为3时有（1,2）和（2,1），而总的组合数为36，即概率为，则（2）小园点数之和为7的情况有（1,6），（6,1）（2,5）（5,2）（3,4）（4,3），则概率为，则有2-7、设有一离散无记忆信源，其概率空间为（1）、求每个符号的自信息量；（2）、信源发出一消息符号序列为，求该消息序列的自信息量及平均每个符号携带的信息量。
解：（1）的自信息量为：的自信息量为：的自信息量为：的自信息量为：（2）在该消息符号序列中，出现14次，出现13次，出现12，出现6次，所以，该消息序列的自信息量为：I（）=14 I（）+13 I（）+12 I（）+6 I（）平均每个符号携带的信息量为：2-8．试问四进制、八进制脉冲所含的信息量是二进制脉冲的多少倍？解;设二进制、四进制、八进制脉冲的信息量为所以，四进制、八进制脉冲信息量分别是二进制脉冲信息量的2倍、3倍。
2-10 在一个袋中放5个黑球、10个白球，以摸一个球为实验，摸出的球不再放进去。
求：（1）一次实验中包含的不确定度；（2）第一次实验X摸出是黑球，第二次实验Y给出的不确定度；（3）第一次实验X摸出是白球，第二次实验Y给出的不确定度；（4）第二次实验包含的不确定度。
解：（1）一次实验的结果可能摸到的是黑球或白球，它们的概率分别是，。
所以一次实验的不确定度为(2)当第一次实验摸出是黑球，则第二次实验Y的结果可能是摸到黑球或白球，它们的概率分别是、。
所以该事件的不确定度为/符号(3)当第一次实验摸出是白球，则第二次实验Y的结果可能是摸到黑球或白球，它们的概率分别是、。
所以该事件的不确定度为/符号（4）二次实验B出现结果的概率分布是p()(黑，黑)= ，p()(黑，白)= ，p()(白，黑)= ，p()(白，白)=所以二次实验的不确定度为H(B)= =0.91符号2-11有一个可旋转的圆盘，盘面上被均匀地分成38份，用1，2，、、、，38数字标示，其中有2份涂绿色，18份涂红色，18份涂黑色，圆盘停转后，盘面上指针指向某一数字和颜色。
（1）若仅对颜色感兴趣，则计算平均不确定度；（2）若对颜色和数字都感兴趣，则计算平均不确定度；（3）如果颜色已知时，则计算条件熵。
解：令X表示指针指向某一数字，则{1,2, (38)Y表示指针指向某一种颜色，则{绿色，红色，黑色}Y是X的函数，由题意可知（1）仅对颜色感兴趣，则H(c)=——2 =0.2236+1.0213 =1.245(2)对颜色和数字都感兴趣，则H()(n)=38(-) =5.249(3)如果颜色已知时，则H（）()(h)=5.249-1.245=4.0042-12、两个实验X和Y，，，联合概率为（1）如果有人告诉你X和Y的结果，你得到的平均信息量是多少？（2）如果有人告诉你Y的结果，你得到的平均信息量是多少？（3）在已知Y的实验结果的情况下，告诉你X的实验结果，你得到的平均信息量是多少？解：（1）、（2）、（3）、2-13有两个二元随机变量X和Y，它们的联合概率如右图所示。
并定义另一随机变量（一般乘积）。
试计算：（1），，，，，（2），，，，，，，，（3），，，，，解：（1）1）同理：(000)=1/8, (010)=3/8, (100)=3/8, P(111)=1/8 (110)(001)(101)(011)=0（2）由于所以：；则，**（3）由于则同理有：2.16 黑白传真机的消息元只有黑色和白色两种，即{黑，白}，一般气象图上，黑色的出现概率p(黑)＝0.3，白色出现的概率p(白)＝0.7。
（1）假设黑白消息视为前后无关，求信源熵H(X)，并画出该信源的香农线图（2）实际上各个元素之间是有关联的，其转移概率为：P(白|白)＝0.9143，P(黑|白)＝0.0857，P(白|黑)＝0.2，P(黑|黑)＝0.8，求这个一阶马尔可夫信源的信源熵，并画出该信源的香农线图。
（3）比较两种信源熵的大小，并说明原因。
解：（1）符号P(黑|白)(黑)P(白|白)＝P(白)P(黑|黑)＝P(黑) P(白|黑)＝P(白)（2）根据题意，此一阶马尔可夫链是平稳的（P(白)＝0.7不随时间变化，P(黑)＝0.3不随时间变化）＝0.512符号2.20 给定语音信号样值X的概率密度为,,求(X)，并证明它小于同样方差的正态变量的连续熵。
解：2-23 连续随机变量X和Y的联合概率密度为求,,,解：随机变量X的概率密度分布为，呈标准正态分布。
其中数学期望为0，方差为S；随机变量Y的概率密度分布为，也呈标准正态分布。
其中数学期望为0，方差为（）。
2-25 某一无记忆信源的符号集为{0，1}，已知（1）求符号的平均熵。
（2）由100 个构成的序列，求某一特定序列（例如有m个0和100个1）的自由信息量的表达式。
（3）计算（2）中的序列的熵。
解：（1）（2）（3）2-26 一个信源发出二重符号序列消息（，），其中第一个符号可以是A，B，C中的任一个，第二个符号可以是D，E，F，G中的任一个。
已知各个为,,；各个值列成如下。
求这个信源的熵（联合熵）.解：2.29有一个一阶平稳马尔可夫链,各取值于集合,已知起始概率P()为，转移概率如下图所示(1) 求的联合熵和平均符号熵(2) 求这个链的极限平均符号熵 (3)求和它们说对应的冗余度解：（1）符号X 1，X 2的联合概率分布为X 2的概率分布为 那么=1.209符号X 2X 3的联合概率分布为那么=1.26符号/符号所以平均符号熵／符号（2）设a 123稳定后的概率分布分别为W123,转移概率距阵为由 得到计算得到又满足不可约性和非周期性/符号(3)/符号/符号/符号图2-132.32 一阶马尔可夫信源的状态图如图2－13所示，信源X 的符号集为（0，1，2）。
（1）求信源平稳后的概率分布P(0)(1)(2) （2）求此信源的熵（3）近似认为此信源为无记忆时，符号的概率分布为平稳分布。
求近似信源的熵H(X)并与进行比较解:根据香农线图,列出转移概率距阵令状态0,1,2平稳后的概率分布分别为W123得到计算得到由齐次遍历可得符号由最大熵定理可知存在极大值或者也可以通过下面的方法得出存在极大值:又所以当2/3时0<p<2/3时2/3<p<1时所以当2/3时存在极大值,且符号.所以。