信息论与编码第二章
《信息论与编码》课件1第2章
如果消息ai已发生，则该消息发生所含有的自信息定 义为
1
1
I (ai ) log P(ai ) log pi
(2.4)
第2章 离散无记忆信源与信息熵
可以很容易地证明, 自信息的定义满足上面提出的四个
(1) 此自信息的定义是根据消息发生的概率建立的一个 工程定义，而不是根据这个消息对人的实际意义而建立的 定义。这一纯粹技术性的定义仅仅抓住了“信息”一词在
(2) 自信息I(ai) 在消息ai发生之前，自信息I(ai)表示ai发生的不确定性; 在消息ai发生以后，自信息I(ai)表示ai所含有的（或提
第2章 离散无记忆信源与信息熵
(3) 在式(2.4)中关于对数的底未作明确规定。这是 因为对数的底仅仅影响到度量的单位，实际中可根据
如果取对数的底为2，则所得信息量的单位为比特 （bit， binary unit），此时logx用lbx
第2章 离散无记忆信源与信息熵
第2章 离散无记忆信源与信息熵
2.1 离散无记忆信源 2.2 自信息和熵 2.3 熵函数的性质 2.4 联合事件的熵及其关系 2.5 连续信源的信息测度 习题2
第2章 离散无记忆信源与信息熵
信息理论的研究对象是以各类信息的获取、表示、 传输和处理为目的的信息系统。图2-1给出了一个典型 的通信系统物理模型。在这样的通信系统中，一个贯 穿始终的、最基本的问题便是信息，即信源输出的是 信息，在系统中传输的是信息，接收者获得的也是信 息。可见，在信息理论的学习和研究中，首先需要对
信息论与编码,曹雪虹,课件第2章-2
第二章
信源与信息熵
内容
2.1 信源的描述和分类 2.2 离散信源熵和互信息 2.3 离散序列信源的熵 2.4 连续信源的熵和互信 2.5 冗余度
3
信源的分类
• 离散信源
– 指发出在时间和幅度上都是离散分布的离散 消息的信源，如文字、数字、数据等符号都 是离散消息。
{ 离散
{ { 信源
W1
W2
W3
W4
• 稳态分布概率
W1
3 35
,
W2
6 35
,
W3
6 35
,
W4
4 7
• 稳态后的符号概率分布
p(a1)
i
p(a1
|
si
)
p(siΒιβλιοθήκη )1 23 35
1 3
6 35
1 4
6 35
1 5
4 7
9 35
p(a2 )
i
p(a2
|
si )
p(si )
1 2
3 35
2 3
6 35
(1)1/2
s2 01
00 s1
(0)1/4
(0)1/3 (1)3/4
10 s3
(1)2/3
s4 0 2 / 3 0 4 / 5
11 (0)1/5
s4
(1)4/5
8
Wi pij W j
i
1 2
W1
1 2
W1
W1 W2 W3 W4 1
1 3
W2
2 3 W2
1 2
W3
3 4
W3
1 5
W4
4 5 W4
3 4
6 35
信息论与编码第二章
i 1
qN
H ( X N ) p(ai ) log p(ai ) ... p(ai1ai2 ...aiN ) log p(ai1ai2 ...aiN )
iq1 q
i11 iN 1
... p(ai1ai2 ...aiN ) log{p(ai1) p(ai2 )...p(aiN )}
2 p( 2 )
qN p( qN
)
a1a1 a1 p(a1a1 a1
)
a2 a1 a1 p(a2 a1 a1 )
a3a1 a1 p(a3a1 a1 )
aqaq aq p(aq aq aq )
• 离散(lísàn)无记忆N次扩展信源熵为：
• 证明： qN H ( X N ) H ( X 1 X 2 ...X N ) p( i ) log p( i ) NH ( X )
H Nk (X )
1 N k
H(X1 X N X Nk )
1
N k
H ( X 1 X N 1 ) H ( X N | X 1 X N 1 ) H ( X N k | X 1 X N k 1 )
i1 1 iN 1
H ( X 1 ) H ( X 2 | X 1 ) H ( X N | X 1 X 2 X N 1 )
N个分量统计关联的随机矢量 x [x1x2 xN ]的联合
(liáHn(Xh1 éX)熵N )
，等于起始时刻的无条件
熵与各阶条件熵之和，并不随时间的推移而
变化。 精品文档
log p(ai ) log p(b j ) I (ai ) I (b j )
精品文档
自信息(xìnxī)的表达I(a式i ) log[1/ p(ai )]
信息论与编码_第2章
2.1信源描述与分类
马尔可夫信源 更一般，经过n-m步后转移至sj的概率
pij (m, n) = P{S n = s j / S m = si } = P{s j / si } pij (m, n) ≥ 0 ∑ pij (m, n) = 1 j
15
2.1信源描述与分类
i
33
2.2离散信源熵与互信息
单符号离散信源熵 定义：对于给定离散概率空间表示的信源所定 义的随机变量I的数学期望为信源的信息熵， 单位为比特/符号
H ( X ) = E[ I ( x)] = −∑ p ( xi ) log p ( xi )
X = x1 x 2 0 . 8 0 . 2 P
32
2.2离散信源熵与互信息
I ( x1 ) = − log 2 p ( x1 ) = − log 2 0.8bit I ( x 2 ) = − log 2 p( x 2 ) = − log 2 0.2bit N次后所获得的信息量为 I = Np ( x1 ) I ( x1 ) + Np ( x 2 ) I ( x 2 ) = (−0.8 log 2 0.8 − 0.2 log 2 0.2) N 平均每次所获得的信息量为 I = p ( x1 ) I ( x1 ) + p ( x 2 ) I ( x 2 ) = ∑ p ( xi ) log p ( xi )
第2章 信源与信息熵
信源描述与分类 离散信源的信息熵和互信息 离散序列信源的熵 连续信源的熵与互信息 冗余度
1
2.1信源的描述与分类
信源是产生消息（符号）、消息序列和连续消 息的来源。从数学上，由于消息的不确定性， 因此，信源是产生随机变量、随机序列和随机 过程的源 信源的基本特性是具有随机不确定性
信息论编码 第二章信息度量1
50个红球，50个黑球
Y
20个红球，其它4种 颜色各20个
Z
问题：能否度量、如何度量？？
2.3.2信源熵数学描述
信源熵
• 定义：信源各个离散消息的自信息量的数学期望 （即概率加权的统计平均值）为信源的平均信息 量，一般称为信源的信息熵，也叫信源熵或香农 熵，有时也称为无条件熵或熵函数，简称熵。 • 公式： n 1 H ( X ) = E[ I ( xi )] = E[log2 ] = −∑ p( xi ) log2 p( xi ) p( xi ) i =1 • 熵函数的自变量是X,表示信源整体，实质上是无 记忆信源平均不确定度的度量。也是试验后平均 不确定性＝携载的信息 信息量为熵 • 单位：以2为底，比特/符号 • 为什么要用熵这个词，与热熵的区别？
3
( 2)
∑ p ( x ) = 1, ∑ p ( y
i =1 m i j =1
n
m
j
) = 1,∑ p ( xi / y j ) = 1,
i =1 n
n
概 率 复 习
∑ p( y
j =1 n
j
/ xi ) = 1, ∑ ∑ p ( xi y j ) = 1
j =1 i =1 m
m
( 3) ( 4) (5)
1
对天气x1 ,Q p( x1 / y1 ) = 0,∴不必再考虑x1与y1之间 信息量
对天气 x 2 : I ( x 2 : y 1 ) = log
2
p ( x 2 / y1 ) = log p ( x2 )
2
1/ 2 = 1( bit ) 1/ 4
同理 I ( x 3 : y 1 ) = I ( x 4 : y 1 ) = 1( bit ), 这表明从 y 1 分别得到了
信息论与编码2
根据概率互换公式
p(xi yj) = p(yj︱xi)q(xi)=φ(xi︱yj)ω (yj)
互信息量I(xi ;yj )有多种表达形式:
I ( xi ; y j ) log
p( xi y j ) q( xi ) ( y j )
I ( xi ) I ( y j ) I ( xi y j )
第2章 信息的度量
第2章 信息的度量
内容提要：
根据香农对于信息的定义，信息是一个系 统不确定性的度量，尤其在通信系统中， 研究的是信息的处理、传输和存储，所以 对于信息的定量计算是非常重要的。本章 主要从通信系统模型入手，研究离散情况 下各种信息的描述方法及定量计算，讨论 它们的性质和相互关系。
2.1 自信息量和互信息量
（2-13）
【例2.8】信源包含8个消息x0,x1,x2,x3,x4,x5,x6,x7 ,信源编码器将 其对应编成8个三位二进制数000，001,…,111。各消息的先验概率 已知，在接收过程中，每收到一个数字，各消息的后验概率都相应 地发生变化。考虑在接受100三个数字的过程中，各后验概率的变 化，计算信息量I(x4;100)。
1/8
1/8 1/4 1/4
1/6
1/6 1/3 1/3
1/2
1/2 0 0
1
0 0 0
根据给定的先验概率，可算出：
1 12 1 23 1 p ( x4 ) p( x4 1) p( x4 10) P (x4︱100) = 1 8 1 2 1 8 1 8 6 2 3 1 6 2
可以看出， 1比特信息量就是两个互不相容 的等可能事件之一发生时所提供的信息量。
二维联合集X Y上元素xi yj的联合自信息量I(xi yj)定义为：
信息论与编码第2章习题解答
信息论与编码第2章习题解答2.1设有12枚同值硬币，其中⼀枚为假币。
只知道假币的重量与真币的重量不同，但不知究竟是重还是轻。
现⽤⽐较天平左右两边轻重的⽅法来测量（因⽆砝码）。
为了在天平上称出哪⼀枚是假币，试问⾄少必须称多少次？解：分三组，每组4个，任意取两组称。
会有两种情况，平衡，或不平衡。
(1) 平衡：明确假币在其余的4个⾥⾯。
从这4个⾥⾯任意取3个，并从其余8个好的⾥⾯也取3个称。
⼜有两种情况：平衡或不平衡。
a ）平衡：称⼀下那个剩下的就⾏了。
b ）不平衡：我们⾄少知道那组假币是轻还是重。
从这三个有假币的组⾥任意选两个称⼀下，⼜有两种情况：平衡与不平衡，不过我们已经知道假币的轻重情况了，⾃然的，不平衡直接就知道谁是假币；平衡的话，剩下的呢个⾃然是假币，并且我们也知道他是轻还是重。
(2) 不平衡：假定已经确定该组⾥有假币时候：推论1：在知道该组是轻还是重的时候，只称⼀次，能找出假币的话，那么这组的个数不超过3。
我们知道，只要我们知道了该组（3个）有假币，并且知道轻重，只要称⼀次就可以找出来假币了。
从不平衡的两组中，⽐如轻的⼀组⾥分为3和1表⽰为“轻（3）”和“轻（1）”，同样重的⼀组也是分成3和1标⽰为“重（3）”和“重（1）”。
在从另外4个剩下的，也就是好的⼀组⾥取3个表⽰为“准（3）”。
交叉组合为：轻（3） + 重（1）？=======？轻（1） + 准（3）来称⼀下。
⼜会有3种情况：(1)左⾯轻：这说明假币⼀定在第⼀次称的时候的轻的⼀组，因为“重（1）”也出现在现在轻的⼀边，我们已经知道，假币是轻的。
那么假币在轻（3）⾥⾯，根据推论1，再称⼀次就可以了。
(2)右⾯轻：这⾥有两种可能：“重（1）”是假币，它是重的，或者“轻（1）”是假币，它是轻的。
这两种情况，任意取这两个中的⼀个和⼀个真币称⼀下即可。
(3)平衡：假币在“重（3）”⾥⾯，⽽且是重的。
根据推论也只要称⼀次即可。
2.2 同时扔⼀对骰⼦，当得知“两骰⼦⾯朝上点数之和为2”或“⾯朝上点数之和为8”或“骰⼦⾯朝上之和是3和4”时，试问这三种情况分别获得多少信息量？解：设“两骰⼦⾯朝上点数之和为2”为事件A ，则在可能出现的36种可能中，只能个骰⼦都为1，这⼀种结果。
信息论与编码课件第二章
条件互信息量与联合互信息量
条件互信息量定义
I( x; y | z) loga
p( x | yz) p( x | z)
联合互信息量定义
I( x; yz)
log a
p( x | yz) p( x)
自信息量与互信息量的区分 （表达方式和含义上）
信息量 I( x) I( x | y) I( xy)
I(x)
联合自信息量与联合熵
联合自信息量定义
I ( xy ) = log 1 = - log p(xy) p( xy)
联合熵定义(联合自信息量的统计平均)
H(XY )
=
EXY I( xy)
=
xX yY
p( xy)I( xy)
= p( xy)log p( xy)
xX yY
自信息量、条件信息量、联合信息量 三者之间的关系
3 4
1 8
log2
1 4
0.406(bit)
H (Y | Z ) H ( X | Z ) 0.862(bit)
H (Z | X ) H (Z | Y ) 0.406(bit)
H ( X | YZ) H (Y | XZ ) 0.406(bit)
H (Z | XY ) 0
• (3)
I( X;Y ) H ( X ) H ( X | Y ) 1 0.811 0.189(bit) I( X; Z ) H ( X ) H ( X | Z ) 1 0.862 0.138(bit) I(Y ; Z ) I( X; Z ) 0.138(bit) I( X;Y | Z ) H( X | Z ) H( X |YZ)
8888
(2)根据(1)得到的联合概率分布和边沿概率分布
信息论与编码第二章(1、2节)
H(p)/bit 1.0
等概时（ 等概时（p=0.5)：
随机变量具有最大的 不确定性，
p=0,1时： 时
随机变量的不确定性 消失。
0
0.5 二元熵函数曲线
1.0
p
性质3:唯一性
定理2.2 设离散随机变量的概密矩阵为 定理
X P（x） ＝ a1 a2 p1 p2 … … aN pN
函数 件
f ( p , p2,⋯ pn ) , 是随机变量不确定性的量度，若此函数满足条 1
理解：当随机变量相互独立时，其联合熵等于单个随机变量的熵之和， 理解：当随机变量相互独立时，其联合熵等于单个随机变量的熵之和，而条件熵等 于无条件熵。 于无条件熵。
联合熵、条件熵的关系：
一般情况下
H( X ) ≤ H( X) + H( ) Y Y H( X | Y) ≤ H( X) H( | X) ≤ H( ) Y Y
连续性 等概时单调增函数性 可加性 则此函数必为
o f ( p , p2,⋯ pn ) = −C∑pn l g pn , 1
n= 1
N
3、其他熵：（联合熵 条件熵）
H 条件熵： (Y / X) = ∑p(x , y )I(y / x ) = −∑p(x , y )lj i ij ij
联合熵、条件熵的关系：
H(XY) = H(X) + H(Y / X) = H(Y) + H(X / Y)
当X,Y相互独立时，有：
p(ak , bj ) = p(ak ) p(bj )
p a | bj ) = p a ) ( k ( k p bj | a ) = p bj ) ( ( k
于是有：
H( X ) = H( X) + H( ) Y Y H( X | Y) = H(X) H( Y | X) = H( ) Y
信息论与编码第二章-复习
I(xi ; yj) 变为 I( xi ), 表示收到xi后，从xi中获取关于xi的信
息量，也就是xi本身所含有的信息量，即能提供的全部信 息量，我们称之为xi 的“自信息量”。
所以：I(xi) 说，信源符号 xi 的自信息量，在数量上等于信源发 符号 xi 的不确定性。
2.2.1 自信息量
例2－2－1 英文字母中“e‖ 出现的概率为0.105，“c‖出现的 概率为0.023，“o‖出现的概率为0.001。分别计算 它们的自信息量。 解：“e‖的自信息量 I（e）= - log2 0.105=3.25 bit ―c‖的自信息量 I（c）= -log2 0.023=5.44 bit ―o‖的自信息量 I（o）= -log2 0.001＝9.97 bit
第一节 信源的描述和分类
x2 xn X x1 P p ( x ) p ( x ) p ( x ) 2 n 1
,
显然有
p( xi ) 0, p( xi ) 1
i 1
n
注意：X，Y，Z代表随机变量，指的是信源整体； xi , y j , zl 代表随机事件的某一结果或信源的某 个元素，不可混淆!
i 1 j 1 n m
联合自信息量：
I ( xi y j ) log p ( xi y j )
•
注意:
a. 当xi,yj相互独立时，有P(xiyj)=P(xi)P(yj)，那么就有 I(xiyj)=I(xi)+I(yj)。 xiyj所包含的不确定度在数值上也等于它们的自信息 量。
b.
2.2.1 自信息量
2.2.1 自信息量
b. 自信息量的单位的确定 • 在信息论中常用的对数底是2，信息量的单位为比特 （bit ：binary unit ）； • 若 取 自 然 对 数 ， 则 信 息 量 的 单 位 为 奈 特 （ nat ： nature unit ）； • 若以10为对数底，则信息量的单位为哈特（det： hartley ）。 这三个信息量单位之间的转换关系如下：
信息论与编码习题与答案第二章
第一章信息、消息、信号的定义？三者的关系？ 通信系统的模型？各个主要功能模块及作用？ 第二章信源的分类？自信息量、条件自信息量、平均自信息量、信源熵、不确定度、条件熵、疑义度、噪声熵、联合熵、互信息量、条件互信息量、平均互信息量以及相对熵的概念？计算方法? 冗余度?具有概率为)(x i p 的符号x i 自信息量：)(log )(x x i i p I -= 条件自信息量：)(log )(y x y x iiiip I -=平均自信息量、平均不确定度、信源熵：∑-=ii i x x p p X H )(log )()(条件熵：)(log ),()(),()(y x y x y x y x jijijijijiji p p I p Y X H ∑∑-==联合熵：),(log ),(),(),()(y x y x y x y x ji jiji ji jiji p p I p Y X H ∑∑-==互信息：)()(log)()()()(log),();(y x yx yx y x yy x jiji jiji jijjiji p p p p p p p Y X I ∑∑==熵的基本性质：非负性、对称性、确定性2.3 同时掷出两个正常的骰子，也就是各面呈现的概率都为1/6，求： (1) “3和5同时出现”这事件的自信息； (2) “两个1同时出现”这事件的自信息；(3) 两个点数的各种组合（无序）对的熵和平均信息量； (4) 两个点数之和（即2, 3, … , 12构成的子集）的熵； (5) 两个点数中至少有一个是1的自信息量。
解：(1)bitx p x I x p i i i 170.4181log )(log )(18161616161)(=-=-==⨯+⨯=(2)bit x p x I x p i i i 170.5361log)(log )(3616161)(=-=-==⨯=(3)两个点数的排列如下：11 12 13 14 15 16 21 22 23 24 25 26 31 32 33 34 35 36 41 42 43 44 45 46 51 52 53 54 55 56 6162 63 64 65 66共有21种组合：其中11，22，33，44，55，66的概率是3616161=⨯ 其他15个组合的概率是18161612=⨯⨯symbol bit x p x p X H ii i / 337.4181log 18115361log 3616)(log )()(=⎪⎭⎫ ⎝⎛⨯+⨯-=-=∑(4)两个点数求和的概率分布如下：sym bolbit x p x p X H X P X ii i / 274.3 61log 61365log 365291log 912121log 1212181log 1812361log 3612 )(log )()(36112181111211091936586173656915121418133612)(=⎪⎭⎫ ⎝⎛+⨯+⨯+⨯+⨯+⨯-=-=⎪⎭⎪⎬⎫⎪⎩⎪⎨⎧=⎥⎦⎤⎢⎣⎡∑(5){(1,2),(1,3),(1,4),(1,5),(1,6),(2,1),(3,1),(4,1),(5,1),(6,1),(1,1)}bit x p x I x p i i i 710.13611log)(log )(3611116161)(=-=-==⨯⨯=2.7 设有一离散无记忆信源，其概率空间为123401233/81/41/41/8X x x x x P ====⎛⎫⎛⎫=⎪ ⎪⎝⎭⎝⎭（1）求每个符号的自信息量（2）信源发出一消息符号序列为{202 120 130 213 001 203 210 110 321 010 021 032 011 223 210}，求该序列的自信息量和平均每个符号携带的信息量 解：122118()log log 1.415()3I x bit p x === 同理可以求得bit x I bit x I bit x I 3)4(,2)3(,2)2(===因为信源无记忆，所以此消息序列的信息量就等于该序列中各个符号的信息量之和 就有：123414()13()12()6()87.81I I x I x I x I x bit =+++=平均每个符号携带的信息量为87.811.9545=bit/符号 2.8 试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍？解：四进制脉冲可以表示4个不同的消息，例如：{0, 1, 2, 3}八进制脉冲可以表示8个不同的消息，例如：{0, 1, 2, 3, 4, 5, 6, 7} 二进制脉冲可以表示2个不同的消息，例如：{0, 1} 假设每个消息的发出都是等概率的，则：四进制脉冲的平均信息量symbol bit n X H / 24log log )(1=== 八进制脉冲的平均信息量symbol bit n X H / 38log log )(2=== 二进制脉冲的平均信息量symbol bit n X H / 12log log )(0===所以：四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的2倍和3倍。
信息论与编码第二版第2章ppt
3. 联合熵和条件熵 （1）联合熵（共熵）
联合熵是联合符号集合（X,Y）的每个元素对
(xi , y j ) 的自信息量的概率加权统计平均值，它表
示X和Y同时发生的不确定度。定义为
H XY pxi , yjI xi , yj ij pxi , yj log pxi yj ij
H
(V
|
u0
)
H
(1 4
,
3) 4
0.82bit
/
符号
（2）已知发出的符号，求收到符号后得到的信息量；
11
H (V | U ) p(ui , v j ) log p(v j | ui ) i0 j0
p(u0 , v0 ) p(v0 | u0 ) p(u0 ) 3 / 8 p(u0 , v1) 1/ 8 p(u1, v0 ) 1/ 4 p(u1, v1) 1/ 4
P(x 0, y 0) P( y 0 | x 0)P(x 0) 1/ 2 P(x 0, y ?) 1/ 6, P(x 0, y 1) 0 P(x 1, y 0) 0, P(x 1, y ?) 1/ 6 P(x 1, y 1) 1/ 6
H (Y | X ) p(xi , yi ) log p( yi | xi ) 0.88bit / 符号 ij
“o”的自信息量 I (o)= - log2 0.001=9.97 bit;
例: 居住某地区的女孩中有25％是大学生，在女大学生中有75％ 身高为1.6m以上，而女孩中身高1.6m以上的占总数一半。假如得 知“身高1.6m以上的某女孩是大学生”的消息，问获得多少信息 量？
解：设x1为女孩是大学生； x2为身高1.6m以上的女孩； 则p( x1)=1/4 ; p (x2)=1/2;
信息论与编码第二版第2章习题答案
2 3 4 5 6 7 8 9 10 11 12 X 1 1 1 1 5 1 5 1 1 1 1 = P ( X ) 36 18 12 9 36 6 36 9 12 18 36 H ( X ) = −∑ p ( xi ) log p ( xi )
画出状态图，并计算各状态的稳态概率。 解： p (0 | 00) = p (00 | 00) = 0.8
p (0 | 01) = p (10 | 01) = 0.5 p (0 |10) = p (00 |10) = 0.5 p (1| 01) = p (11| 01) = 0.5 p (1|10) = p (01|10) = 0.5
15 25 35 45 55 65
16 26 36 46 56 66
1 1 1 × = 6 6 36
1 1 1 × = 6 6 18
1 1 1 1 H ( X ) = −∑ p ( xi ) log p ( xi ) = − 6 × log + 15 × log = 4.337 bit / symbol 36 18 18 36 i
2.2 由符号集{0，1}组成的二阶马尔可夫链，其转移概率为： p (0 | 00) =0.8， p (0 |11) =0.2，
p (1| 00) =0.2， p (1|11) =0.8， p (0 | 01) =0.5， p (0 |10) =0.5， p (1| 01) =0.5， p (1|10) =0.5。
87.81 = 1.95 bit/符号 45
2-14 (1)
P(ij)=
P(i/j)=
(2) 方法 1:
信息论与编码第二章课后答案
信息论与编码第二章课后答案在信息科学领域中，信息论和编码是两个息息相关的概念。
信息论主要研究信息的传输和处理，包括信息的压缩、传输的准确性以及信息的安全性等方面。
而编码则是将信息进行转换和压缩的过程，常用的编码方式包括霍夫曼编码、香农-费诺编码等。
在《信息论与编码》这本书的第二章中，涉及了信息的熵、条件熵、熵的连锁法则等概念。
这些概念对于信息理解和编码实现有着重要的意义。
首先是信息的熵。
熵可以简单理解为信息的不确定性。
当信息的发生概率越大，它的熵就越小。
比如说，一枚硬币的正反面各有50%的概率，那么它的熵就是1bit。
而如果硬币只有正面，那么它的熵就是0bit，因为我们已经知道了结果，不再有任何不确定性。
其次是条件熵。
条件熵是在已知某些信息(即条件)的前提下，对信息的不确定性进行量化。
它的定义为已知条件下，信息的熵的期望值。
比如说，在猜词游戏中，我们手中已经有一些字母的信息，那么此时猜测单词的不确定性就会下降，条件熵也就会减少。
除了熵和条件熵之外，连锁法则也是信息理解和编码实现中的重要概念。
连锁法则指的是一个信息在不同时刻被传输的情况下，熵的变化情况。
在信息传输的过程中，信息的熵可能会发生改变。
这是因为在传输过程中，可能会发生噪声或者数据重复等情况。
而连锁法则就是用来描述这种情况下信息熵的变化情况的。
最后，霍夫曼编码和香农-费诺编码是两种比较常用的编码方式。
霍夫曼编码是一种无损压缩编码方式，它可以将出现频率高的字符用较短的二进制编码表示，出现频率较低的字符用较长的二进制编码表示。
香农-费诺编码则是一种用于无失真信源编码的方法，可以把每个符号用尽可能短的二进制串来表示，使得平均码长最小化。
总的来说，信息论和编码是信息科学中非常重要的两个概念。
通过对信息熵、条件熵、连锁法则等的探讨和了解，可以更好地理解信息及其传输过程中的不确定性和数据处理的方法。
而霍夫曼编码和香农-费诺编码则是实现数据压缩和传输的常用编码方式。
信息论与编码理论第二章习题答案(王育民)
部分答案，仅供参考。
信息速率是指平均每秒传输的信息量 点和划出现的信息量分别为3log ,23log ，一秒钟点和划出现的次数平均为415314.0322.01=⨯+⨯一秒钟点和划分别出现的次数平均为45.410那么根据两者出现的次数，可以计算一秒钟其信息量平均为253log 4153log 4523log 410-=+2.3 解：(a)骰子A 和B ，掷出7点有以下6种可能：A=1,B=6; A=2,B=5; A=3,B=4; A=4,B=3; A=5,B=2; A=6,B=1 概率为6/36=1/6，所以信息量-log(1/6)=1+log3≈2.58 bit(b) 骰子A 和B ，掷出12点只有1种可能： A=6,B=6概率为1/36，所以信息量-log(1/36)=2+log9≈5.17 bit2.5解：出现各点数的概率和信息量：1点：1/21，log21≈4.39 bit ； 2点：2/21，log21-1≈3.39 bit ； 3点：1/7，log7≈2.81bit ； 4点：4/21，log21-2≈2.39bit ； 5点：5/21，log 〔21/5〕≈2.07bit ； 6点：2/7，log(7/2)≈ 平均信息量：(1/21)×4.39+(2/21)×3.39+(1/7)×2.81+(4/21)×2.39+(5/21)×2.07+(2/7)×≈2.7解：X=1:考生被录取； X=0:考生未被录取； Y=1:考生来自本市；Y=0:考生来自外地； Z=1: 考生学过英语；Z=0：考生未学过英语P(X=1)=1/4, P(X=0)=3/4; P(Y=1/ X=1)=1/2； P(Y=1/ X=0)=1/10； P(Z=1/ Y=1)=1, P(Z=1 / X=0, Y=0)=0.4, P(Z=1/ X=1, Y=0 (a)I (X ;Y=1)=∑∑=====xx)P()1Y /(P log)1Y /(P )1Y (I )1Y /(P x x x x;x=1)P(X )1Y /1X (P log)1Y /1X (P 0)P(X )1Y /0X (P log)1Y /0X (P =====+======0.375log(0.375/0.75)+0.625log(0.625/0.25)=(5/8)log5-1≈ (b) 由于P(Z=1/ Y=1)=1, 所以P(Z=1) = P(Z=1,X=1)+ P(Z=1,X=0P(X=1/Z=1)=35/104I (X ;Z=1)=∑∑=====xx )P()1Z /(P log)1Z /(P )1Z (I )1Z /(P x x x x;x=1)P(X )1Z /1X (P log )1Z /1X (P 0)P(X )1Z /0X (P log )1Z /0X (P =====+======(69/104)log(23/26)+( 35/104)log(35/26) ≈H(Y/X)=-P(X=1,Y=1)logP(Y=1/X=1) -P(X=1,Y=0)logP(Y=0/X=1)-P(X=0,Y=1)logP(Y=1/X=0) -P(X=0,Y=0)logP(Y=0/X=0)=1/4+(3/40)log10-(27/40)log(9/10)≈P(X=0,Y=0,Z=0)= P(Z=0 / X=0, Y=0)* P( X=0, Y=0 P(X=0,Y=0,Z=1)= P(Z=1 / X=0, Y=0)* P( X=0, Y=0P(X=1,Y=1,Z=0)=0 P(X=0,Y=1,Z=0)=0H(XYZ)=-0.405*log0.405-0.27*log0.27-0.05*log0.05-0.075*log0.075-0.125*log0.125-0.075*log 0.075=(113/100)+(31/20)log10-(129/50)log3 =0.528+0.51+0.216+0.28+0.375+0.28=2.189 bit2.9 解：A ，B ，C 分别表示三个筛子掷的点数。
信息论与编码第2
第2章 无失真信源编码原理
例如，在汉字组成的序列中，只有根据中文的语法、习惯用 语、修辞制约和表达实际意义的制约所构成的中文序列才是 有意义的句子或文章。所以，在汉字序列中前后文字的出现 是有依赖的，不能认为是彼此不相关的，其他如英文、德文 等自然语言都是如此，将这种信源称为有记忆信源。对这类 信源需要在N维随机矢量的联合概率分布中引入条件概率分 布来说明它们之间的关联。
第2章 无失真信源编码原理
这样，就可用马尔可夫链来描述此信源。如果描述随机序列 中各随机变量之间依赖关系的条件概率都与时间起点i无关， 即信源输出的符号序列可看成时齐马尔可夫链，则此信源称 为时齐马尔可夫信源。
第2章 无失真信源编码原理
一般来说，实际信源输出的消息常常是时间和取值都是连续 的，如语音信号、热噪声信号和电视图像信号等时间连续函数。 同时，在某一固定时间，它们的可能取值又是连续的和随机的。 这种信源输出的消息可用随机过程来描述，所以称其为随机波形 信源。分析一般随机波形信源的过程比较复杂和困难。常见的随 机波形信源输出的消息是时间上或频率上为有限的随机过程。根 据取样定理，只要是时间上或频率上受限的随机过程，都可以把 随机过程用一系列时间(或频率)域上离散的取样值来表示，而每 个取样值都是连续型随机变量。这样，就可把随机过程转换成时 间(或频率)上离散的随机序列来处理。甚至在某种条件下可以转 换成随机变量间统计独立的随机序列。如果随机过程是平稳的随 机过程，时间离散化后可转换成平稳的随机序列。这样，随机波 信源可以转换成连续平稳信源来处理。若再对每个取样值(连续型 的)经过分层(量化)，就可将连续的取值转换成有限的或可数的离 散值。也就可把连续信源转换成离散信源来处理。
第2章 无失真信源编码原理
2．信源的分类 按信号取值的集合和信号取值时刻的集合是离散的或连 续的进行分类，信源可分为数字信源(DigitalSource)或离散 信源(DiscreteSource)、模拟信源(AnalogSource)或波形信源 (WaveformSource)、连续信源(ContinuousSource)。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
§2.1 单符号离散信源
❖ 例：设在一正方形棋盘上共有64个方格，如果甲 将一粒棋子随意的按下列方案放在棋盘中的某方 格且让乙猜测棋子所在位置。
❖ （1） 将方格按顺序编号，令乙猜测棋子所在的 顺序号。问猜测的难易程度。
❖ （2）将方格按行和列编号，甲将棋子所在方格的 行（或列）编号告诉乙之后，再令乙猜测棋子所 在列（或行）的位置。问猜测的难易程度。
7（U7） 111（x1y1z1) 1/16
收到0后的 后验概率
收到01后的 后验概率
收到011后的 后验概率
§2.1 单符号离散信源
解：⑴ 收到第一个0(x0)后U0~U7的后验概率：
p(u0 x0) p(u0x0)
1/ 4
1 p(u1 x0)
p(x0) 2 1/ 4 2 1/ 8 3
提供的信息量之和。
§2.1 单符号离散信源
小结： 不确定性的大小与事件发生的概率有关
不确定性是概率的函数
信息量可以表示为概率的函数。
研究信息→建立信源的模型
§2.1 单符号离散信源
二、单符号离散信源的数学模型
❖ 单符号离散信源：输出离散取值的单个符号的信源。
❖ 单符号离散信源是最简单、最基本的信源，是组成 实际信源的基本单元，可以用一个离散随机变量来 表示。
即条件概率p(xi ∣ yj) 。
⒉ 互信息量的定义
xi的后验概率与先验概率之比的对数为yj对xi的互信息量。
用I(xi; yj)表示。
互信息量等于自信息量减去条件自信息量
I (xi;
yj)
log
p( xi y j ) p(xi )
log p(xi) log p(xi y j )
( 1,2, , n ; j 1, 2, , m)
试求：⑴ 填上表格中的后三列 ⑵ x0与各消息的互信息量 ⑶ 在收到（给定）x0条件下，y1与各消息的互 信息量。 ⑷ 在收到（给定）x0y1条件下，z1与U3消息的 互信息量. ⑸ 收到整个代码组x0y1z1出现后提供的有关消 息U3的互信息量。
§2.1 单符号离散信源
信源消 二进制代码 先验
息
5（U5） 101（x1y0z1) 1/16
6（U6） 110（x1y1z0) 1/16
7（U7） 111（x1y1z1) 1/16
收到0后的 收到01后的 后验概率 后验概率
p(xi)
§2.1 单符号离散信源
由前式可得：
p(xi yjzk) p(xi yj)
p(xi yj)
p(xi yjzk)
I (xi; yjzk) log
p( xi )
•
p( xi
yj
)
log
p( xi )
log
p(xi yj)
I (xi; yj) I (xi; zk yj)
此外，还有：
⑷ 自信息量的物理含义： ❖ 自信息量是事件发生前，事件发生的不确定性。 ❖ 自信息量表示事件发生后，事件所包含的信息量。
⒊ 联合自信息量
定义：二维联合集XY上的元素（xi yj ）的联合自信息量 定义为：
I(xiyj)=﹣㏒p(xiyj) 0≦p(xiyj) ≦1；∑∑ p(xiyj) =1
§2.1 单符号离散信源
获得信息量
§2.1 单符号离散信源
Xi 信道
Yj
⑵观察者站在输入端
❖ I(yj; xi)=logp(yj | xi)–logp(yj)=I (yj) – I(yj | xi)
❖
观察者得知输入端发出 xi 前、后对输出端出
现 yj 的不确定度的差。
§2.1 单符号离散信源
❖ ⑶观察者站在通信系统总体立场上
I(xi; yjzk) I(xi; yj) I(xi; zk yj) I(xi; zk) I(xi; yj zk)
将上式两边相加有：
I(xi; yjzk) 1 I(xi; yj) I(xi; zk)
2
I(xi; zk yj) I(xi; yj zk)
§2.1 单符号离散信源
根据互易性有：
p(u2 x0) p(u2x0)
1/8
1 p(u3 x0)
p(x0) 21/ 4 21/ 8 6
p(u4 x0) p(u5 x0) p(u6 x0) p(u7 x0) 0
§2.1 单符号离散信源
信源消 二进制代码 先验
息
概率
0（U0） 000（x0y0z0) 1/4
1（U1） 001（x0y0z1) 1/4
2（U2） 010（x0y1z0) 1/8
3（U3） 011（x0y1z1) 1/8
4（U4） 100（x1y0z0) 1/16
5（U5） 101（x1y0z1) 1/16
6（U6） 110（x1y1z0) 1/16
7（U7） 111（x1y1z1) 1/16
收到0后的 后验概率
1/3 1/3 1/6 1/6 0 0 0 0
❖ 互信息等于通信前后不确定度的差值
1
1
I (xi ; y j ) log p(xi ) p( y j ) log p(xi y j )
I ' ( xi y j ) I '' ( xi y j )
I (xi ) I ( y j ) I (xi y j ) 通信前：X和Y之间没有任何关系，即X、Y统计独
§2.1 单符号离散信源
解：设棋子位置为xi, p(xi )=1/64 i=1,2,…,64; （1） I(xi yj)= – logp(xi yj )=6比特 （2） 设行号为xi，列号为yj，且已知列号，即： I(xi | yj) = – logp(xi | yj ) = – log[p(xi yj )/ p(yj )]
= -log[(1/64)/(1/8)]=3 比特 物理含义
§2.1 单符号离散信源
四、互信息量和条件互信息量
⒈ 互信息量的概念 在通信系统中，发送端发出的信息经有噪信道后，在
接收端收到的信息量的多少要用互信息量来描述。 ❖ 设X为信源发出的离散消息集合；Y为信宿收到的
离散消息集合； ❖ 信源发出的消息，经过有噪声的信道传递到信宿；
§2.1 单符号离散信源
其间信源X和信宿Y的数学模型为：
X p( x)
x1 p( x1)
x2 p( x2 )
, , , ,
xn 0≦p(xi) ≦1 p(xn) ∑p(xi)=1
Y p( y)
y1 p( y1)
y2 p( y2 )
, , , ,
ym p( ym )
0≦p(yj) ≦1 ∑p(yj)=1
概率
0（U0） 000（x0y0z0) 1/4
1（U1） 001（x0y0z1) 1/4
2（U2） 010（x0y1z0) 1/8
3（U3） 011（x0y1z1) 1/8
4（U4） 100（x1y0z0) 1/16
5（U5） 101（x1y0z1) 1/16
6（U6） 110（x1y1z0) 1/16
❖ 如果p(xi)=0，则I(xi ) → ∞ ; ❖ 如果p(xi)=1，则I(xi ) =0 ; ❖ 由两个相对独立的事件所提供的信息量，应等于它们分
别提供的信息量之和： I(xi yj)=I(xi )+I(yj)
§2.1 单符号离散信源
⑵ 自信息量定义为：
随机事件 Xi 的自信息定义为该事件发生概率的对数的负 值：
件的自信息
信息量的丢失，不确定性增加
§2.1 单符号离散信源
⒋ 条件互信息量 定义：联合集XYZ中，在给定Zk的条件下xi与 yj之间的互信息量定义为条件互信息量：
p(xi yjzk) I(xi; yj zk) log
p(xi zk)
在XYZ联合集上，还有xi与yjzk之间的互信息量
p(xi yjzk) I(xi; yjzk) log
收到01后的 后验概率
收到011后的 后验概率
§2.1 单符号离散信源
收到01后的后验概率：
p(u2 x0y1) p(u3 x0y1) p(u3x0y1)
1/6
1
p(x0y1) 2 1/6 2
p ( u0 x0y1)p ( u1 x0y1)p ( u4 x0y1) p( u5 x0y1)p( u6 x0y1)p( u7 x0y1)0
I ( xi ) I ( xi y j )
§2.1 单符号离散信源
❖ 互信息有两方面的含义：
❖ 表示事件yj出现前后关于事件xi的不确定性减少的量；
❖ 事件yj出现以后信宿获得的关于事件xi的信息量。
❖ 对互信息量的理解
⑴观察者站在输出端
Xi 信道
Yj
❖ I(xi;yj)=logp(xi|yj)–logp(xi)=I (xi) – I(xi|yj) ❖ I (xi) ：在 yj 一无所知的情况下 xi 存在的不确定度； ❖ I(xi|yj) ：收到 yj 后对 xi 仍然存在的不确定度； ❖ I(xi;yj)：收到 yj 前和收到 yj 后不确定度被消除的部分
离散单符号信源X的概率空间：
X P(
X
)
x1 p(x1)
x2 ... p(x2) ...
xq
p(xq )
p(xi ) 0
n
p(xi ) 1
i 1
完备性
§2.1 单符号离散信源
三、信息量
⒈ 概率论的基本公式及性质（P.12) ⒉ 信息量
⑴ 自信息量的概念 有前分析我们可得出：
❖ 如果p(x1) < p(x2)，则I(x1) > I(x2)， I(xi )是 p(xi) 的单调 递减函数（成反比关系）
第二章 信 源 熵