第三章 离散信源 - 习题课 - 2013
信息论与编码理论习题答案
信息论与编码理论习题答案LG GROUP system office room 【LGA16H-LGYY-LGUA8Q8-LGA162】第二章 信息量和熵八元编码系统，码长为3，第一个符号用于同步，每秒1000个码字，求它的信息速率。
解：同步信息均相同，不含信息，因此 每个码字的信息量为 2⨯8log =2⨯3=6 bit因此，信息速率为 6⨯1000=6000 bit/s掷一对无偏骰子，告诉你得到的总的点数为：(a) 7; (b) 12。
问各得到多少信息量。
解：(1) 可能的组合为 {1，6},{2，5},{3，4},{4，3},{5，2},{6，1})(a p =366=61得到的信息量 =)(1loga p =6log = bit (2) 可能的唯一，为 {6，6})(b p =361得到的信息量=)(1logb p =36log = bit 经过充分洗牌后的一副扑克（52张），问：(a) 任何一种特定的排列所给出的信息量是多少？(b) 若从中抽取13张牌，所给出的点数都不相同时得到多少信息量？解：(a) )(a p =!521信息量=)(1loga p =!52log = bit (b) ⎩⎨⎧⋯⋯⋯⋯花色任选种点数任意排列13413!13)(b p =1352134!13A ⨯=1352134C 信息量=1313524log log -C = bit 随机掷3颗骰子，X 表示第一颗骰子的结果，Y 表示第一和第二颗骰子的点数之和，Z 表示3颗骰子的点数之和，试求)|(Y Z H 、)|(Y X H 、),|(Y X Z H 、)|,(Y Z X H 、)|(X Z H 。
解：令第一第二第三颗骰子的结果分别为321,,x x x ，1x ，2x ，3x 相互独立，则1x X =，21x x Y +=，321x x x Z ++=)|(Y Z H =)(3x H =log 6= bit )|(X Z H =)(32x x H +=)(Y H=2⨯(361log 36+362log 18+363log 12+364log 9+365log 536)+366log 6= bit )|(Y X H =)(X H -);(Y X I =)(X H -[)(Y H -)|(X Y H ]而)|(X Y H =)(X H ，所以)|(Y X H = 2)(X H -)(Y H = bit或)|(Y X H =)(XY H -)(Y H =)(X H +)|(X Y H -)(Y H 而)|(X Y H =)(X H ，所以)|(Y X H =2)(X H -)(Y H = bit),|(Y X Z H =)|(Y Z H =)(X H = bit )|,(Y Z X H =)|(Y X H +)|(XY Z H =+= bit设一个系统传送10个数字，0，1，…，9。
第3章 离散信源
自信息的例子
【 例 ， 增 】 一 信 源 有 4 种 输 出 符 号 码 ， xi(i=0,1,2,3) ， 且 p(xi)=1/4。设信源向信宿发出x3，但由于传输中的干扰，接 收者收到x3后，认为其可信度为0.9。于是信源再次向信宿发 送该符号x3，信宿无误收到。问: (1) 信源在两次发送中发出的信息量各是多少? (2) 信宿在两次接收中得到的信息量又各是多少?
• 得到信源的样本空间为符号集
X=｛x1, x2, x3, x4, x5, x6｝。 各消息都是等概率出现的
X的概率分布就是各消息出现的先验概率：
p(x1)=p(x2)=p(x3)=p(x4)=p(x5)=p(x6)=1/6, 信源的数学模型为:
X P( X
)
1x/16
x2 1/ 6
x3 1/ 6
按照信源符号彼此之间的依存关系，离散信源又可分为： 离散无记忆信源和离散有记忆信源 • 离散无记忆信源：信源发出的一个个消息符号是相互 独立的。 - 前面已经出现的信源符号对后面将要出现哪个信源 符号没有影响； - 即：各符号序列中的各个符号之间是没有统计关联 的关系； - 各个符号的出现概率是它自身的先验概率。 - 离散无记忆信源包含发出单符号的无记忆离散信源 和发出符号序列的无记忆离散信源。
信源熵的例子1
【例3-5，P31】计算机中常见的信源是二元信源，二元 信源可以描述为
X 0 1 0 1
P
p
q
p
1 p
则二元信源的熵为
H(X ) p log p (1 p)log(1 p) • 如例3-3，p=1/2 H(X)=1比特/符号
说明
➢ 二元信源的信息熵H(X)是 概率p的函数，通常用H(p) 表示。
信息论与编码第3版第3章习题解答
第3章 无失真离散信源编码习题3.1 设信源1234567()0.20.190.180.170.150.10.01X a a a a a a a P X(1) 求信源熵H (X )； (2) 编二进制香农码；(3) 计算其平均码长及编码效率。
解： (1)()()log ()(.log ..log ..log ..log ..log ..log ..log .).7212222222=-020201901901801801701701501501010010012609 i i i H X p a p a bit symbol(2)a i p (a i ) p a (a i ) k i 码字 a 1 0.2 0 3 000 a 2 0.19 0.2 3 001 a 3 0.18 0.39 3 011 a 4 0.17 0.57 3 100 a 5 0.15 0.74 3 101 a 6 0.1 0.89 4 1110 a 70.010.9971111110(3)()3(0.2+0.19+0.18+0.17+0.15)+40.1+70.01=3.1471i i i K k p a()() 2.609=83.1%3.14H X H X R K3.2 对习题3.1的信源编二进制费诺码，计算其编码效率。
解：a i p (a i ) 编 码 码字 k i a 1 0.2 000 2 a 2 0.19 1 0 010 3 a 3 0.18 1 011 3 a 4 0.17 110 2 a 5 0.15 10 110 3 a 6 0.1 10 1110 4 a 70.011 11114()2(0.2+0.17)+3(0.19+0.18+0.15)+4(0.1+0.01)=2.7471i i i K k p a()() 2.609=95.2%2.74H X H X R K3.3 对习题3.1的信源分别编二进制和三进制赫夫曼码，计算各自的平均码长及编码效率。
信息论第三章题解
第三章习题3.2 设一无记忆信源的符号集为{}1,0，已知信源的概率空间为⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡434110P X （1） 求消息符号的平均熵；（2） 由100个符号构成的序列，求每一序列（例如有m 个“0”和)100(m -个“1”构成）的自信息量的表达式；（3） 计算)2(中的熵。
解：（1）此消息符号的平均熵为)(8113.0)43log 4341log 41()(bit X H =+-=（2）设一特定序列含有m 个“0”和)100(m -个“1”，所以mm X p -⎪⎭⎫ ⎝⎛⎪⎭⎫ ⎝⎛=1004341)(，3log )100(2004341log )(log )(100-+=⎪⎭⎫⎝⎛⎪⎭⎫ ⎝⎛-=-=-m x p X I mm（4） 由定义13.818113.0100)(100)(100=⨯==X H X H 。
3.3 设离散无记忆信源为 ⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡17.016.017.018.019.02.0654321a a a a a a P X 求信源的熵，并解释为什么6log )(>X H 不能满足信源的极值性。
解：因为信源是无记忆的，所以6571.2)17.0log 17.016.0log 16.017.0log 17.018.0log 18.019.0log 19.02.0log 2.0()(log )()(=+++++-=-=∑Xi i x p x p X H 而log6 = 2.5850 因为107.161>=∑=i ip，所以此空间不是概率空间，H(X)不存在。
3.7 设有一个信源，它产生0，1序列的消息。
该信源在任意时间而且不论以前发生过什么消息符号，均按6.0)1(,4.0)0(==p p 的概率付出符号。
（1） 试问这个信源是否平稳；（2） 试计算)(lim ),|(),(2132X H X X X H X H N N ∞→及；（3） 试计算符号信源中可能发出的所有并写出44)(X X H 。
离散信源的数学模型及其信息测PPT课件
息熵，也叫信源熵或香农熵，简称熵。
H (X ) E[I (xi )] E[log
1] p(xi )
n
i1
p(xi ) log
p(xi )
• 熵函数的自变量是X表示信源整体，实质上是离散无记忆信源平均不确 定度的度量。与自信息不同,自信息表示某一消息所含有的信息量，它是 一个随机变量,不能用它来作为整个信源的信息测度。
q1
其中，ai A a0, a1,, aq1 且 P(ai ) 1
i0
第7页/共50页
离散无记忆信源 N次扩展信源
• 由离散无记忆信源输出N长的随机序列构成的信源。
X N
P(
i
)
0 , P(0
),
1, P(1),,
qN 1
P(qN 1)
N
其中i (ai1ai2 aiN ), i ik q ,k1 (i1, i2 ,iN 0,1,, q 1) k 1
第3页/共50页
信源的分类
不同的信源输出的消息的随机性质不同，可以根 据消息的不同的随机性质来对信源进行分类：
➢按照某时刻信源输出消息的取值集合的离散性和 连 续性, 信源可分为离散信源和连续信源。
➢按照信源输出消息的所对应的随机序列中随机变 量 前后之间有无依赖关系, 信源可分为无记忆信源和有 记忆信源。
• 数学模型：
X (a,b)
p(
x)
p(x)
并满足
b
a p(x)dx 1
注：这里的p(x)代表概率 密度函数。
第6页/共50页
离散无记忆信源
离散信源在不同时刻发出的符号之间是无依赖的
彼此统计独立的。
X P(
x)
a0 ,
高等教育《信息论》第3章离散信源
X
P
x1
px1
x2
px2
xq
p
xq
(3.5)8
信源输出信息量的度量
定义 3.2.2 设信源 X 中，事件 xi 发生的概率为 pxi ，
则所含有的自信息量定义为
de f
I xi log pxi
(3.6)
定义 3.2.2 给出的自信息量的函数形式有如下性质：
① 信源中信息的量度与输出符号发生的概率有关。
000, 001, 011, 111,100,110, 010,101
5
3.1.2 信源的分类 无记忆信源
① 离散无记忆信源 信源发出的消息符号彼此是统计独立的，并且具有
相同的概率分布，其 N 维随机矢量的联合概率分布为
N
N
p X p X k aik pik
k 1
k 1
i 1, 2, , q
其中 N 可为有限正整数或可数无穷值。通常，总限定 N 是有限的，故只限于讨论“有限离散信源”。若在这随机
矢量中的每个随机变量Xk , k 1, 2, , N 都是离散的，则可 用N重离散概率空间的数学模型来描述这类信源。
X
P
a1
pa1
a2
pa2
aqN p aqN
(3.4)
其中
9
自信息量 I xi 是指某一信源发出某一消息符号 xi 所含
有的信息量，所发出的信息符号不同，它们含有的信息量
也就各不相同，故自信息量 I xi 是一个随机变量，不能用
它来作为整个信源输出信息的信息测度。为此，需要引入 平均自信息量，即信息熵来作为信源输出信息的信息测度。
定义 3.2.3 信源输出的各消息的自信息量的数学期望为 信源的平均自信息量，或称为信源的信息熵。
信息论与编码姜丹第三版答案
信息论与编码习题参考答案 第一章单符号离散信源信息论与编码作业是 74页，1.1的(1)(5)，1.3,1.4,1.6,1.13,1.14 还有证明熵函数的 连续性、扩展性、可加性1.1同时掷一对均匀的子，试求：(1) “2和6同时出现”这一事件的自信息量； (2) “两个5同时出现”这一事件的自信息量； (3) 两个点数的各种组合的熵； ⑷两个点数之和的熵；(5) “两个点数中至少有一个是 1”的自信息量。
解：样本空间：N =c ；c ； =6 X6 =36n 12(1) R =—”1(a) =—log R =log18=4.17bitN 36 n 2 1(2) F 2 N =36 I (a) = -log F 2 =log36 =5.17bit (3) 信源空间:2 36 1.H(x)=15 log 6 log 36 = 4.32bit36 2 36(4)log 36+ — l og 36 — log 36 — log 迸36 2 36 3 36 4 log 塑 + — log 36 =3.71bit5 36 6 (5) F 3 =匹 二11. 1(a) - Tog F 3 -log 36 =1.17bit N 36 111.2如有6行、8列的棋型方格，若有两个质点A 和B ，分别以等概落入任一方格内，且它2H(r.卫36们的坐标分别为(Xa，Ya) , (Xb，Yb),但A，B不能同时落入同一方格内。
(1)若仅有质点A，求A落入任一方格的平均信息量；(2)若已知A已落入，求B落入的平均信息量；(3)若A，B是可辨认的，求A，B落入的平均信息量。
解：1(1) 幕A落入任一格的概率:P(a i) I (aj =-log P(aJ = log 484848.H(a) - P(a j)log P(aJ = log 48 =5.58biti 41(2) ；在已知A落入任一格的情况下,B落入任一格的概率是：P(bJ = —47.I(b) - -logP(b i) =log4748.H(b) = -' P(b i)log P(b i) =log47 =5.55biti -11 1(3) AB同时落入某两格的概率是P(ABJ二一一48 47.I(ABJ =-log P(AB i)48 47H(AB」-八P(ABJIog P(ABJ =log(48 47)=11.14biti 二1.3从大量统计资料知道，男性中红绿色盲的发病率为7%,女性发病率为0.5%.如果你问一位男士：“你是否是红绿色盲？”他的回答可能是：“是”，也可能“不是”。
第三章离散信源
p(xi )
? 熵函数的自变量是X,表示信源整体，实质上是无
记忆信源平均不确定度的度量。试验后平均信息
量为熵
不确定性＝携载的信息
? 单位：以2为底，比特/符号
? 为什么要用熵这个词与热熵的区别？
例3.2.1二元熵函数是对0－1分布的随机变量所求的熵：
X
0
1
＝
P（x）
p
1-p
则： H(X) = -plogp-(1-p)log(1-p)=H(p)
? ?X
??P( X
? )??
?
? x1,
? ?
p(
x1
),
x2,? , p(x2 ),?
xi ,? , , p(xi
),?
,
p(
xn ? xn )??
,
n i?1
p(xi )
?
1
则信源X的N次扩展信源用 X N来表示,该新信源有 nN个元素(消息序列)
取值于同一集合
，且分量之间
统计{ 独x1 ,立x 2，, ? 则, x由n }随机矢量 X 组成的新信源称为
离散无记忆信源 X的N次扩展信源。
离散无记忆信源 X的N次扩展信源 (或称序列信 源)的熵就是离散信源 X的熵的N倍。
H ( X N ) ? NH ( X )
理解
若单符号离散信源的数 学模型为 :
qN
qN q
? P(? i ) ? ?? P(aik ) ? 1
i?1
i? 1 ik ? 1
有记忆信源：输出的随机序列 X中各随机变量 之间有依赖关系，但记忆长度有限。 m阶马尔可夫信源：信源每次发出的符号只与 前m个符号有关，与更前面的符号无关。
P(xi |? xi?2xi?1xi?1xi?2xi?3 ? xi?m ? xi?1)
信息论基础与编码课后题答案(第三章)
3-1 设有一离散无记忆信源，其概率空间为12()0.60.4X x x P x ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦，信源发出符号通过一干扰信道，接收符号为12{,}Y y y =，信道传递矩阵为51661344P ⎡⎤⎢⎥=⎢⎥⎢⎥⎢⎥⎣⎦，求： （1） 信源X 中事件1x 和2x 分别含有的自信息量；（2） 收到消息j y （j ＝1，2）后，获得的关于i x （i ＝1，2）的信息量； （3） 信源X 和信宿Y 的信息熵；（4） 信道疑义度(/)H X Y 和噪声熵(/)H Y X ； （5） 接收到消息Y 后获得的平均互信息量(;)I X Y 。
解：（1）12()0.737,() 1.322I x bit I x bit ==（2）11(;)0.474I x y bit =，12(;) 1.263I x y bit =-，21(;) 1.263I x y bit =-，22(;)0.907I x y bit =（3）()(0.6,0.4)0.971/H X H bit symbol ==()(0.6,0.4)0.971/H Y H bit symbol ==（4）()(0.5,0.1,0.1,0.3) 1.685/H XY H bit symbol ==(/) 1.6850.9710.714/H X Y bit symbol =-= (/)0.714/H Y X bit symbol =（5）(;)0.9710.7140.257/I X Y bit symbol =-=3-2 设有扰离散信道的输入端是以等概率出现的A 、B 、C 、D 四个字母。
该信道的正确传输概率为0.5，错误传输概率平均分布在其他三个字母上。
验证在该信道上每个字母传输的平均信息量为0.21比特。
证明：信道传输矩阵为：11112666111162661111662611116662P ⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥=⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦，信源信宿概率分布为：1111()(){,,,}4444P X P Y ==， H(Y/X)=1.79（bit/符号），I(X;Y)=H(Y)- H(Y/X)=2-1.79=0.21（bit/符号）3-3 已知信源X 包含两种消息：12,x x ，且12()() 1/2P x P x ==，信道是有扰的，信宿收到的消息集合Y 包含12,y y 。
第3章_离散信源(1)题与答案(习题教学)
3.1 设有一离散无记忆信源，其概率空间为⎭⎬⎫⎩⎨⎧=====⎥⎦⎤⎢⎣⎡8/14/1324/18/310)(4321x x x x X P X 该信源发出的信息序列为(202 120 130 213 001 203 210 110 321 010 021 032 011 223 210)。
求：(1) 此消息的自信息量是多少？(2) 此消息中平均每符号携带的信息量是多少？解： (1)此消息总共有14个0、13个1、12个2、6个3，因此消息发出的概率是：62514814183⎪⎭⎫ ⎝⎛⨯⎪⎭⎫ ⎝⎛⨯⎪⎭⎫ ⎝⎛=p此消息的信息量是：bit p I 811.87log =-=(2)此消息中平均每符号携带的信息量是：bit n I 951.145/811.87/==3.2 某一无记忆信源的符号集为{0, 1}，已知信源的概率空间为⎭⎬⎫⎩⎨⎧=⎥⎦⎤⎢⎣⎡4/34/110)(X P X(1) 求信息符号的平均熵；(2) 由100个符号构成的序列，求某一特定序列（例如有m 个“0”和（100 - m ）个“1”）的自信息量的表达式； (3) 计算(2)中序列的熵。
解： (1)bit x p x p X H ii i 811.043log 4341log 41)(log )()(=⎪⎭⎫ ⎝⎛+-=-=∑(2)bit m x p x I x p mi i m mm i 585.15.4143log)(log )(434341)(100100100100100+=-=-==⎪⎭⎫ ⎝⎛⨯⎪⎭⎫ ⎝⎛=---(3)bit X H X H 1.81811.0100)(100)(100=⨯==3.5 某信源的消息符号集的概率分布和二进制代码如题表3.2所列。
信源0u 1u 2u 3up1/21/4 1/8 1/8 代码10110111(1) (2) 求每个消息符号所需要的平均二进制码的个数或平均代码长度。
2012.信息论.第3章离散信源.习题
p 1 -p
logp
3.24
, , , , , , , , , , , , , ,
1 15 5 15 9 15 38 15
码字平均长度
1
2
3
平均每个字符携带的信息量
log 2 1 5 1 .5 4 2 b it 38 /15
平均每个字符携带的信息量
H (X ) H (
22
,
8
,
8
)
15 15 15
, , , , , , , , , , , , , ,
1 / 3 1 / 3 1 / 2 1/3 1/3 1/ 2 1 / 3 1 / 3 0
=[w1 w2 w3]
解方程得： W1=
, W2=
, W3=
当时间足够长时，遍历的m阶马尔可夫信源可视为平稳信源
H lim H
N
XN
sj
| X 1 ห้องสมุดไป่ตู้ 2 ... X
j
N 1
0
1 1 -p
01 p (1 -p )
001 2 p (1 -p )
... ...
0 0 ...0 1 n -1 p (1 -p )
2
0 0 ...0 0 n p
2
H ( S n ) -(1 -p )lo g (1 -p )-p (1 -p )lo g p (1 -p )-p (1 -p )l o g p (1 -p ) n -1 n -1 n n -...-p (1 -p )lo g p (1 -p )-p lo g p
图像通信第三章课后习题
1.设有离散无记忆信源{a0,a1,a2,a3,a4,a5,a6},包含每个字符ai的概率P(ai)如下表所示：符号a0 a1 a2 a3 a4 a5 a6概率0.25 0.20 0.15 0.15 0.1 0.1 0.05（2）用霍夫曼编码方法对此信源进行编码；（3）计算平均码长，并讨论霍夫曼编码性能。
2.有4个符号a1,a2,a3,a4，概率分别为P1=0.4,P2=0.25,P3=0.25,P4=0.1,试对由以上四个符号组成的符号序列“a2a1a3a4”进行算术编码及解码。
3.设有4个一位的符号序列在LPS和MPS中交替变化且Qe=0.1,如下表：S1 LPSS2 MPSS3 LPSS4 MPS4.DCT变换本身能不能压缩数据，为什么？请说明DCT变换编码的原理。
5.请说明预测编码的原理，并画出DPCM编、解码的原理框图。
6.设有如下图所示的8x8图像块f(m,n)(1)计算该图像的熵；>>f=[4,4,4,4,4,4,4,4;4,5,5,5,5,5,4,3;4,5,6,6,6,5,4,3;4,5,6,7,6,5,4,3; 4,5,6,6,6,5,4,3;4,5,5,5,5,5,4,3;4,4,4,4,4,4,4,3;4,4,4,4,4,4,4,3]f =4 4 4 4 4 4 4 44 5 5 5 5 5 4 34 5 6 6 6 5 4 34 5 6 7 6 5 4 34 5 6 6 6 5 4 34 5 5 5 5 5 4 34 4 4 4 4 4 4 34 4 4 4 4 4 4 3>> temp=zeros(1,256);>> for m=1:8;for n=1:8;if f(m,n)==0;i=1;elsei=f(m,n);endtemp(i)=temp(i)+1;endendtemp=temp./(8*8);>> H=0;for i=1:length(temp)if temp(i)==0;H=H;elseH=H-temp(i)*log2(temp(i)); endend>> HH =1.8179Matlab实现截图：（2）对该图像作前值预测（即列差值，区域外像素值取零）：，试给出误差图像及其熵值；>>f=[4,4,4,4,4,4,4,4;4,5,5,5,5,5,4,3;4,5,6,6,6,5,4,3;4,5,6,7,6,5,4,3; 4,5,6,6,6,5,4,3;4,5,5,5,5,5,4,3;4,4,4,4,4,4,4,3;4,4,4,4,4,4,4,3]f =4 4 4 4 4 4 4 4 45 5 5 5 5 4 3 4 56 6 6 5 4 3 4 5 67 6 5 4 3 4 5 6 6 6 5 4 3 4 5 5 5 5 5 4 3 4 4 4 4 4 4 4 3 4 4 4 4 4 4 4 3>> m=1:8;>> n=2:8;>> f1(m,1)=0;>> f1(m,n)=f(m,n-1)f1 =0 4 4 4 4 4 4 4 0 4 5 5 5 5 5 4 0 4 5 6 6 6 5 4 0 4 5 6 7 6 5 4 0 4 5 6 6 6 5 4 0 4 5 5 5 5 5 4 0 4 4 4 4 4 4 4 0 4 4 4 4 4 4 4>> temp1=zeros(1,256);>> for m=1:8;for n=1:8;if f1(m,n)==0;i=1;elsei=f1(m,n);endtemp1(i)=temp1(i)+1;endendtemp1=temp1./(8*8);>> H1=0;for i=1:length(temp1)if temp1(i)==0;H1=H1;elseH1=H1-temp1(i)*log2(temp1(i)); endend>> H1H1 =1.8503Matlab截图：（3）对该图像块再作行差值；，再给出误差图像及其熵值；>> m=2:8;>> n=1:8;>> e(1,n)=0;>> e(m,n)=f1(m-1,n)e =0 0 0 0 0 0 0 00 4 4 4 4 4 4 40 4 5 5 5 5 5 40 4 5 6 6 6 5 4 0 4 5 6 7 6 5 4 0 4 5 6 6 6 5 4 0 4 5 5 5 5 5 4 0 4 4 4 4 4 4 4 >> temp2=zeros(1,256);>> for m=1:8;for n=1:8;if e(m,n)==0;i=1;elsei=e(m,n);endtemp2(i)=temp2(i)+1;endendtemp2=temp2./(8*8);>> H2=0;for i=1:length(temp2)if temp2(i)==0;H2=H2;elseH2=H2-temp2(i)*log2(temp2(i));endend>> H2H2 =1.9900 Matlab截图：(2)试比较上述3个熵值，你能得出什么结论？在从上述过程中我们用Matlab实现了对3个8*8图像块的求熵值，结果为：原始图像：H=1.8179列差值前向预测：H1=1.8503行差值前向预测：H2=1.9900发现熵在增大。
第3章离散信源习题与答案
3.1 设有一离散无记忆信源，其概率空间为⎭⎬⎫⎩⎨⎧=====⎥⎦⎤⎢⎣⎡8/14/1324/18/310)(4321x x x x X P X 该信源发出的信息序列为(202 120 130 213 001 203 210 110 321 010 021 032 011 223 210)。
求：(1) 此消息的自信息量是多少？(2) 此消息中平均每符号携带的信息量是多少？解： (1)此消息总共有14个0、13个1、12个2、6个3，因此消息发出的概率是：62514814183⎪⎭⎫ ⎝⎛⨯⎪⎭⎫ ⎝⎛⨯⎪⎭⎫ ⎝⎛=p此消息的信息量是：bit p I 811.87log =-=(2)此消息中平均每符号携带的信息量是：bit n I 951.145/811.87/==3.2 某一无记忆信源的符号集为{0, 1}，已知信源的概率空间为⎭⎬⎫⎩⎨⎧=⎥⎦⎤⎢⎣⎡4/34/110)(X P X(1) 求信息符号的平均熵；(2) 由100个符号构成的序列，求某一特定序列（例如有m 个“0”和（100 - m ）个“1”）的自信息量的表达式； (3) 计算(2)中序列的熵。
解： (1)bit x p x p X H ii i 811.043log 4341log 41)(log )()(=⎪⎭⎫ ⎝⎛+-=-=∑(2)bit m x p x I x p mi i m mm i 585.15.4143log)(log )(434341)(100100100100100+=-=-==⎪⎭⎫ ⎝⎛⨯⎪⎭⎫ ⎝⎛=---(3)bit X H X H 1.81811.0100)(100)(100=⨯==3.5 某信源的消息符号集的概率分布和二进制代码如题表3.2所列。
题表 3.2(1) (2) 求每个消息符号所需要的平均二进制码的个数或平均代码长度。
进而用这一结果求码序列中的一个二进制码的熵；(3) 当消息是由符号序列组成时，各符号之间若相互独立，求其对应的二进制码序列中出现0和1的无条件概率0p 和1p ，求相邻码间的条件概率1/0p 、0/1p 、1/1p 、0/0p 。
第三章 离散信源
Wuhan University
3.1 信源及其分类 3.2 离散无记忆信源的等长编码
1
信源的描述及分类
Wuhan University
信源的统计特性 信源是信息的来源,是产生消息(符号)或消 息序列的来源。 由于消息的不确定性，因此，信源是产生随 机变量、随机序列和随机过程的源。 客观信源的基本特性是具有随机不确定性。
Wuhan University
二进制无记忆信源的N次扩展：把每
N个二进制数字组成一组，则信源等 效成一个具有2N个符号的新信源，把 它称为单符号二进制无记忆信源的N 次扩展信源。
7
单符号信源的扩展
Wuhan University
例1：电报系统中，可以认为每二个二进制数
字组成一组。这样信源输出的是由二个二进 制数字组成的一组组符号。这时可以将它们 等效看成一个新的信源，它由四个符号00， 01，10，11组成，把该信源称为二进制无记 忆信源的二次扩展。
≥LlogK 没有考虑信源统计特性，认为每个 信源符号独立等概。 考虑信源统计特性时，无错编码的 条件： NlogD ≥LH(U) R≥H(U)
统计平均，仅当L 为无限时
22
离散无记忆信源的等长编码
Wuhan University
R ≥H(U) 在无错编码的前提下，编码的最低代价 当R≥logK时，能够实现无错编码。 当R<H(U)时，无论怎样编码都是有错 编码。 当logK>R>H(U)时，可以适当地编码 和译码使译码错误的概率pe任意小。 这就是所谓“渐进无错编码”。
K k 1 k
15
离散无记忆信源的等长编码
Wuhan University
信息论基础教学课件ppt-离散信源
3.1.4 离散平稳信源数学模型
l 信源X具有有限符号集 l 信源产生随机序列 l 对所有
有 则称信源为离散平稳信源，所产生的序列为平稳序列。
• 12
3.1.4 离散平稳信源数学模型
平稳序列的统计特性与时间的推移无关
•Page 13
3.1.4 离散平稳信源数学模型
n 例3.2 一平稳信源X的符号集A={0，1}，产生随机序列{xn}, 其中P(x1=0)=p, 求P(xn=1)（n >1）的概率。 解： 平稳性
数就是消息长度。
如果消息构成满树，消息概率也满足归一化条件，
这时消息集中的消息可视为某个信源的输出。这个
信源称为信源X的变长扩展源
19
3.2.2 变长消息扩展
如果消息树是全树
就对应着信源的等长扩展。所以等长扩展可以视为 变长扩展的特例。
20
3.2.2 变长消息扩展
什么消息集可以作为某信源的扩展？
7
单符号离散无记忆信源
n 例3.1 一个二元无记忆信源，符号集 A={0,1}, p为X=0
的概率,q为X=1的概率，q=1-p；写出信源的模型。 解：信源的模型
•8
3.1.2 离散无记忆信源的数学模型
多维离散无记忆信源数学模型:
Xi的符号集 的符号集
9
3.1.2 离散无记忆信源的数学模型
因为信源是无记忆的，所以：
●网格图 每时刻的网格节点与马氏链的状态一一对应
●状态转移图 状态转移图与矩阵有一一对应关系
47
3.4.2 齐次马氏链（3）
例3.8 一个矩阵，验证此矩阵对
=1
应一个齐次马氏链的转移概率矩
=1
阵并确定此马氏链的状态数
3.3离散平稳信源
信息论与编码技术电子信息工程专业主讲：孙静机械电子工程系3.3 离散平稳信源3.3.1 离散有记忆信源1.实际情况中，离散信源输出的是在空间或时间的离散符号序列，而且在序列中符号之间有依赖关系。
让我们来看两个例子！中文自然语言：字符集A={所有汉字,标点符号}根据中文的语法、习惯用语、修辞制约和表达实际意义的制约所构成的中文序列才是有意义的中文句子或文章在汉字序列中前后文字的出现是有依赖的，不能认为是彼此不相关的其他自然语言都一样，如英文、德文等离散化平面灰度图像：从XY平面空间上看，每幅画面是一系列空间离散的灰度值符号(像素点)空间每一点的符号取值是随机的可以形成不同的图像信息【分析】这类信源具有如下特点：信源输出的消息是按一定概率选取的符号序列→可用随机矢量或随机变量序列来描述这类消息输出序列的符号之间存在或强或弱的相关性→有记忆信源→研究信源的多维联合概率分布和条件概率分布3.3.1 离散有记忆信源2.离散有记忆信源是指发出的各个符号之间具有统计关联关系的一类信源。
3.【研究对象】在一般情况下，信源的前后消息之间有前后依赖关系，可以用随机矢量描述：X=X1X2…X N其中，任一X都是离散随机变量，它表i示t=i 时刻所输出的符号。
3.3.1 离散有记忆信源4.信源在t =i 时刻将要输出的符号取决于两个方面：①与信源在t =i 时刻随机变量X i 取值的概率分布p (x i )有关➢一般t 不同，p (x i ) ≠p (x j ) ②与t =i 时刻以前信源输出的符号有关➢与条件概率p (x i |x i -1x i -2…)有关➢一般情况下，p (x i |x i -1x i -2…) ≠p (x j |x j -1x j -2…)一般来说，离散信源输出序列的统计特性可能会随时间而变化，在不同时刻，其输出序列的概率分布可能不同。
3.3.2 离散平稳信源1.【问题】有时离散信源其消息出现的概率，与消息出现的时间无关，即为平稳信源。
信息论第3章习题课
a1a1 0.25 a1a2 0.15 a2a1 0.15 a1a3 0.10 a3a1 0.10 a2a2 0.09 a2a3 0.06 a3a2 0.06 a3a3 0.04
2013-7-25
（U1U2）的最佳二元码平均码长和编码效 率：
n(U 2 ) 2 0.25 3 (0.15 2 0.10 2) 4 (0.09 0.06 2 0.04) 3
2013-7-25
1
0
0.020
14
111 112 121 211 113 131 311 122 212 221 123 132 213 312 231 321 222 133 313 331 223 232 322 233 323 332 333
0.125 0.075 0.075 0.075 0.050 0.050 0.050 0.045 0.045 0.045 0.030 0.030 0.030 0.030 0.030 0.030 0.027 0.020 0.020 0.020 0.018 0.018 0.018 0.012 0.012 0.012 0.008 0 1 0 1 0.024
习题课
3.1 试证明长度不超过N的D元不等长码至多有D(DN－1)/(D－1) 个码字。 [3.1的解答] 长度等于k的D元码字至多有Dk个，其中k=1~N。 因此长度不超过N的D元码字至多有
D k D( D N 1) /( D 1)
k 1
N
2013-7-25
1
a2 a1 U ~ 0.004 0.996
0.4 k 0.4 1 e k! k 0
2013-7-25 3
习题课
[3.2的注解] 事实上，在对“含有两个或更少个al的长为100的序 列”提供不同的码字之后,还有210-596=428个富余的码字。这 些富余的码字如果提供给其中428 个“含有恰好三个al的长为 100的序列”，作为它们各自的不同码字。则错误概率不会超 过
第3章_离散信源(1)题与答案
3、23 设信源产生A, B, C三种符号,,,,,,,。试计算冗余度。
解:
3、26 一阶马尔可夫信源得状态图如下图所示。信源X得符号集为{0, 1, 2}。
(1) 求平稳后信源得概率分布;
(2) 求信源得熵H∞。
解:
(1)
(2)
(3) 试计算H(X4)并写出X4信源中可能有得所有符号。
解:
(1)
这个信源就是平稳无记忆信源。因为有这些词语:“它在任意时间而且不论以前发生过什么符号……”
(2)
(3)
3、11 有一马尔可夫信源,已知转移概率为,,,。试画出状态转移图,并求出信源熵。
解:
3、21黑白传真机得信息元只有黑色与白色两种X={黑,白},一般气象图上黑色出现得概率为P(黑)= 0、3,白色出现得概率为P(白)= 0、7,黑白消息前后没有关联,其转白/黑)= 0、2,P(黑/黑)= 0、8。求该一阶马尔可夫信源得不确定性H(X/X),并画出该信源得状态转移图。
此消息得信息量就是:
(2)
此消息中平均每符号携带得信息量就是:
3、2 某一无记忆信源得符号集为{0, 1},已知信源得概率空间为
(1) 求信息符号得平均熵;
(2) 由100个符号构成得序列,求某一特定序列(例如有m个“0”与(100m)个“1”)得自信息量得表达式;
(3) 计算(2)中序列得熵。
解:
3、1 设有一离散无记忆信源,其概率空间为
该信源发出得信息序列为(202 120 130 213 001 203 210 110 321 010 021 032 011 223 210)。求:
(1) 此消息得自信息量就是多少？
(2) 此消息中平均每符号携带得信息量就是多少？
第2第3章习题
2.1 试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍？解：2.2 一副充分洗乱了的牌（含52张牌），试问任一特定排列所给出的信息量是多少？解：2.3 设离散无记忆信源X=(0,1,2,3),P(0)=3/8, P(1)=2/8, P(2)=2/8, P(3)=1/8,，其发出的信息为(202120130213001203210110321010021032011223210)，求(1) 此消息的自信息量是多少？(2) 此消息中平均每符号携带的信息量是多少？解：2.7 设有一离散无记忆信源，其概率空间为12340123 3/81/41/41/8X x x x xP====⎛⎫⎛⎫=⎪ ⎪⎝⎭⎝⎭（1）求每个符号的自信息量（2）信源发出一消息符号序列为{202 120 130 213 001 203 210 110 321 010 021 032 011 223 210}，求该序列的自信息量和平均每个符号携带的信息量2.4 证明：H(X1X2。
Xn) ≤ H(X1) + H(X2) + … + H(Xn)。
证明:2.5 设有一个信源，它产生0，1序列的信息。
它在任意时间而且不论以前发生过什么符号，均按P(0) = 0.4，P(1) = 0.6的概率发出符号。
(1)试问这个信源是否是平稳的？3.1 试写出去除有记忆信源相关性的各类技术措施。
3.2 设无记忆二元信源，其概率为P1=0.005, P0=0.995。
信源输出N＝100的二元序列。
在长为N＝100的信源序列中只对含有3(1)个或小于1个“1”的各信源序列构成一一对应的一组等长码。
（1）求码字所需的最小长度。
4.3有一信源它有六种可能的输出，其概率分布如下图所示，表中给出了对应的码A、B、C、D、E和F。
求这些码中哪些是唯一可以码。
消息P（ai） A B C D E Fa1 a2 a3 a4 a5 a6 1/21/41/161/161/161/16000001010011100101010110111011110111111011011101111011111010110111010111101101100110111101111100101110111011解：5-1 将下表所列的某六进制信源进行二进制编码，试问： 消息 概率 1C 2C 3C 4C 5C6Cu1 u2 u3 u4 u5 u6 1/2 1/4 1/16 1/16 1/16 1/16 000 001 010 011 100 101 0 01 011 0111 01111 011111 0 10 110 1110 11110 111110 0 10 1101 1100 1001 1111 1 000 001 010 110 11001 001 100 101 110 111这些码中哪些是唯一可译码？ 哪些码是非延长码？对所有唯一可译码求出其平均码长。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
信息论的旅程
3、信源的输出中含有多少
信息？可压缩程度？4、传输信息的最高
速率（信道容量）
2
5、无失真信源编码7、限失真信源编码6-9、有噪信道编码
研究目的：找到信息传输过程中的共同规律，以提高信息传输的可靠性、有效性、保密性和认证性，实现信息传输系统最优化。
信息的度量
用随机过程{x(t)}来描述，即随机波形信源
4
信源的数学模型及其分类
离散无记忆信源
离散信源–主要内容
离散无记忆信源的扩展信源
离散平稳信源
马尔可夫信源
信源的相关度和冗余度
冗余度
本章作业讲解。