信息论(第二版傅祖云编着)课后答案(1)
信息论与编码答案傅祖芸
信息论与编码答案傅祖芸【篇一：信息论与编码课程设计报告】t>设计题目：统计信源熵与香农编码专业班级学号学生姓名指导教师教师评分2014年3月24日目录一、设计任务与要求................................................. 2 二、设计思路....................................................... 2 三、设计流程图..................................................... 3 四、程序运行及结果................................................. 5 五、心得体会....................................................... 6 参考文献 .......................................................... 6 附录：源程序.. (7)一、设计任务与要求1、统计信源熵要求：统计任意文本文件中各字符（不区分大小写）数量，计算字符概率，并计算信源熵。
2、香农编码要求：任意输入消息概率，利用香农编码方法进行编码，并计算信源熵和编码效率。
二、设计思路1、统计信源熵：统计信源熵就是对一篇英文文章（英文字母数为n），通过对其中的a,b,c,d/a,b,c,d.....(不区分大小写)统计每个字母的个数n，有这个公式p=n/n可得每个字母的概率，最后又信源熵计算公式h（x）=??p(xi)logp(xi)i?1n，可计算出信源熵h,所以整体步骤就是先统计出英文段落的总字符数，在统计每个字符的个数，即每遇到同一个字符就++1，直到算出每个字符的个数，进而算出每个字符的概率，再由信源熵计算公式计算出信源熵。
2、香农编码：香农编码主要通过一系列步骤支出平均码长与信源之间的关系，同时使平均码长达到极限值，即选择的每个码字的长度ki满足下式：i(xi)?ki?i(xi)?1,?i具体步骤如下：a、将信源消息符号按其出现的概率大小依次排列为：p1?p2?......?pn b、确定满足下列不等式的整数码长ki为：?lb(pi)?ki??lb(pi)?1 c、为了编成唯一可译码，计算第i个消息的累加概率：pi??p(ak)k?1i?1d、将累加概率pi变换成二进制数。
信息论、编码与密码学课后习题答案
第1章 信源编码
1.1考虑一个信源概率为{0.30，0.25，0.20，0.15，0.10}的DMS。求信源熵H（X）。
解： 信源熵
H(X)=-[0.30*(-1.737)+0.25*(-2)+0.2*(-2.322)+0.15*(-2.737)+0.1*(-3.322)]
10100+11110=01010 10100+00111=10011
10100+01101=11001
11110+00111=11001 11110+01101=10011
00111+01101=01010
满足第一条性质
2、全零码字总是一个码字
{00000，01010，10011，11001，10100，11110，00111，01101}
(1)给出此信源的霍夫曼码并确定编码效率。
(2)每次考虑两个符号时，给出此信源的霍夫曼码并确定编码效率。
(3)每次考虑三个符号时，给出此信பைடு நூலகம்的霍夫曼码并确定编码效率。
解：
(1)本题的霍夫曼编码如下图所示：
图1.11 霍夫曼编码
则霍夫曼码如下表：
符号
概率
码字
x1
0.5
1
x2
0.4
00
x3
0.1
01
该信源的熵为：
（2）全零字总是一个码字，
（3）两个码字之间的最小距离等于任何非零码字的最小重量，即
设 ，即 ， ， ， ，
首先证明条件（1）：
， ， ， ， ， ，
很明显，条件（1）是满足的。条件（2）也是显然成立的。
信息论 傅祖芸课后题解答
第二章习题
2.13 (2)每个象素色度所含的信息量为：
H (Y) ? log30 ? 4.91
亮度和色度彼此独立 H ( XY) ? H (X) ? H (Y) ? log10 ? log30 ? 8.23 H ( XY) ? log300 ? 2.5 H ( X) log10
第二章习题
2.18 (1)是平稳的
p log
p 2
?
0
当p＝1：
H?
?
? p log p ?
p log
p 2
?1
第二章习题 2.24 图应改为：
1 a1 : 2
s1
a1 :1
a2
:
1 4
1 a3 : 4
s3
a
2
:
1 2
s2
1 a3 : 2
（1）
?Q(s1) ? 0.5Q(s1) ? Q(s3 )
??Q ?
(s2
?Q (s3
) )
? ?
?
?
log 2
p(x /
y)
?
?
log 2
1 0.375
? 1.415( bit )
获得的信息量是 1.415 bit
第二章习题
2.6
I
(a1
)
? ? log 3 ? ? log 0.375
II((aa32))??8??lloogg1414??
2 2
?
1.396
I (a2 )
?
?
log
1 8
?
3
(1) I ?消息?? 14I (a1) ? 13I(a2 ) ? 12I (a3 ) ? 6I(a4 ) ? 87.544bit
信息论与编码傅祖云讲义
单符号离散信道旳数学模型
由此可见，一般单符号离散信道旳转移概率可用
信道转移矩阵P来表达：
b1
b2
a1 a2
p(b1 a1)
p(b1
a2
)
p(b2 a1) p(b2 a2 )
ar p(b1 ar ) p(b2 ar )
3.1信道旳数学模型及分类
在广义旳通信系统中，信道是很主要旳一部分。
信道旳任务是以信号方式传播信息和存储信息。
研究信道旳目旳就是研究信道中能够传送或存储 旳最大信息量，即信道容量问题。
本章首先讨论离散信道旳统计特征和数学模型， 然后定量地研究信道传播旳平均互信息及其性质 ，并导出信道容量及其计算措施。
4、平均互信息旳凸状性（两个定理）
定理3.1 平均互信息I (X ;Y ) 是信源概率分布p(x)旳 ∩型凸函数。
平均互信息旳特征
定理3.1旳意义：对于每一种固定信道，一定存在 一种信源（某一概率分布P(X)），使输出端取得 旳平均信息量为最大Imax（∩型凸函数存在极大 值）。这时称这个信源为该信道旳匹配信源。
log
p
1
p
p
log
1 p
p
log
1 p
H ( p p) H ( p)
二元对称信道BSC旳平均互信息
I
(
X
;Y
)
(
p
p)
log
p
1
p
(p
p)
log
p
1
p
p
log
1 p
p
log
1 p
H ( p p) H ( p)
信息论与编码答案傅祖芸
信息论与编码答案傅祖芸【篇一：信息论与编码课程设计报告】t>设计题目：统计信源熵与香农编码专业班级学号学生姓名指导教师教师评分2014年3月24日目录一、设计任务与要求................................................. 2 二、设计思路....................................................... 2 三、设计流程图..................................................... 3 四、程序运行及结果................................................. 5 五、心得体会....................................................... 6 参考文献 .......................................................... 6 附录：源程序.. (7)一、设计任务与要求1、统计信源熵要求：统计任意文本文件中各字符（不区分大小写）数量，计算字符概率，并计算信源熵。
2、香农编码要求：任意输入消息概率，利用香农编码方法进行编码，并计算信源熵和编码效率。
二、设计思路1、统计信源熵：统计信源熵就是对一篇英文文章（英文字母数为n），通过对其中的a,b,c,d/a,b,c,d.....(不区分大小写)统计每个字母的个数n，有这个公式p=n/n可得每个字母的概率，最后又信源熵计算公式h（x）=??p(xi)logp(xi)i?1n，可计算出信源熵h,所以整体步骤就是先统计出英文段落的总字符数，在统计每个字符的个数，即每遇到同一个字符就++1，直到算出每个字符的个数，进而算出每个字符的概率，再由信源熵计算公式计算出信源熵。
2、香农编码：香农编码主要通过一系列步骤支出平均码长与信源之间的关系，同时使平均码长达到极限值，即选择的每个码字的长度ki满足下式：i(xi)?ki?i(xi)?1,?i具体步骤如下：a、将信源消息符号按其出现的概率大小依次排列为：p1?p2?......?pn b、确定满足下列不等式的整数码长ki为：?lb(pi)?ki??lb(pi)?1 c、为了编成唯一可译码，计算第i个消息的累加概率：pi??p(ak)k?1i?1d、将累加概率pi变换成二进制数。
信息论与编码习题参考答案(全)
信息论与编码习题参考答案 第一章 单符号离散信源1.1同时掷一对均匀的子，试求：(1)“2和6同时出现”这一事件的自信息量； (2)“两个5同时出现”这一事件的自信息量； (3)两个点数的各种组合的熵； (4)两个点数之和的熵；(5)“两个点数中至少有一个是1”的自信息量。
解：bitP a I N n P bit P a I N n P c c N 17.536log log )(361)2(17.418log log )(362)1(36662221111616==-=∴====-=∴===⨯==样本空间：(3)信源空间：bit x H 32.436log 3662log 3615)(=⨯⨯+⨯⨯=∴ bitx H 71.3636log 366536log 3610 436log 368336log 366236log 36436log 362)(=⨯⨯+⨯+⨯+⨯⨯=∴＋＋ (5) bit P a I N n P 17.11136log log )(3611333==-=∴==1.2如有6行、8列的棋型方格，若有两个质点A 和B ，分别以等概落入任一方格，且它们的坐标分别为（Xa ，Ya ）, （Xb ，Yb ）,但A ，B 不能同时落入同一方格。
（1） 若仅有质点A ，求A 落入任一方格的平均信息量； （2） 若已知A 已落入，求B 落入的平均信息量； （3） 若A ，B 是可辨认的，求A ，B 落入的平均信息量。
解：bita P a P a a P a I a P A i 58.548log )(log )()(H 48log )(log )(481)(:)1(481i i i i i ==-=∴=-=∴=∑=落入任一格的概率Θbitb P b P b b P b I b P A i 55.547log )(log )()(H 47log )(log )(471)(:B ,)2(481i i i i i ==-=∴=-=∴=∑=落入任一格的概率是落入任一格的情况下在已知ΘbitAB P AB P AB H AB P AB I AB P AB i i i i i i i 14.11)4748log()(log )()()(log )(471481)()3(47481=⨯=-=-=∴⨯=∑⨯=是同时落入某两格的概率1.3从大量统计资料知道,男性中红绿色盲的发病率为7%,女性发病率为0.5%.如果你问一位男士：“你是否是红绿色盲？”他的回答可能是：“是”，也可能“不是”。
信息论与编码第二版第2章习题答案
2 3 4 5 6 7 8 9 10 11 12 X 1 1 1 1 5 1 5 1 1 1 1 = P ( X ) 36 18 12 9 36 6 36 9 12 18 36 H ( X ) = −∑ p ( xi ) log p ( xi )
画出状态图，并计算各状态的稳态概率。 解： p (0 | 00) = p (00 | 00) = 0.8
p (0 | 01) = p (10 | 01) = 0.5 p (0 |10) = p (00 |10) = 0.5 p (1| 01) = p (11| 01) = 0.5 p (1|10) = p (01|10) = 0.5
15 25 35 45 55 65
16 26 36 46 56 66
1 1 1 × = 6 6 36
1 1 1 × = 6 6 18
1 1 1 1 H ( X ) = −∑ p ( xi ) log p ( xi ) = − 6 × log + 15 × log = 4.337 bit / symbol 36 18 18 36 i
2.2 由符号集{0，1}组成的二阶马尔可夫链，其转移概率为： p (0 | 00) =0.8， p (0 |11) =0.2，
p (1| 00) =0.2， p (1|11) =0.8， p (0 | 01) =0.5， p (0 |10) =0.5， p (1| 01) =0.5， p (1|10) =0.5。
87.81 = 1.95 bit/符号 45
2-14 (1)
P(ij)=
P(i/j)=
(2) 方法 1:
信息论-复习资料(傅祖芸版本)
P(aik)是符号集A的一维
概率分布
23
3）离散无记忆信源的N次扩展信源
若X为离散无记忆信源：
X P(x)
a1 P(a1
)
a2 P(a2 )
a3 P(a3 )
... ... ... ...
aq P(aq )
信源X的各输出Xi间统计独立、且取值同一符号集A。该信源 输出的N维随机矢量X为离散无记忆信源X的N次扩展信源。
27
信息的度量
要点：
信息的度量（信息量）和不确定性消除的程度有关，消除的不 确定性＝获得的信息量；
不确定性就是随机性，可以用概率论和随机过程来测度；
推论：
概率小－>信息量大，即信息量是概率的单调递减函数； 信息量应该具有可加性； 信息量的计算公式为（香农（自）信息量的度量）：
I (ak )
33
3.3 信息熵的基本性质
信息熵是信源概率空间的一种特殊函数。这个函数的取 值大小，与信源的符号数及其概率分布有关。
用概率矢量P来表示概率分布P(x)：
（下标1-N为时间标志）
N
P(X) P( X1X 2 X N ) P( Xi )
i 1
若各随机变量Xi取值同样符号集A:{a1,a2,…,aq}，则
N
P(x i ) P(ai1ai2 ,..., aiN ) P(aik ), ik (1,2,..., q) k 1
N维随机矢量的一个取值， i＝(ai1 ai2…aiN)
信道编码的主要方法 增大码率或频带,即增大所需的信道容量。这恰与信源 编码相反。
信道译码器的作用 具有检错或纠错的功能,它能将落在其检错或纠错范围 内的错传码元检出或纠正,以提高传输消息的可靠性。
信息论--傅祖芸课后题解答
0.01
0.05
可得：
N0 0.4715 0.01 0.05
NH ( S )0.811
(2):
|| G N || 2
2
2
15295
第四章 5.3 (1) A、B、C、E是唯一可译码 (2) A、C、E即时码 4.17 不能直接相连
H ( S ) H (0.8) 0.722
2
4 3
1 4
log 4 0.811
2 2
D [ I ( s i )]
i 1
p i (log p i ) [ H ( S )]
3 2 1 1 2 2 (log ) log( ) (0.811) 0.4715 4 4 4 4
3
根据书中4.21式
D [ I ( s i )] N 0
习题讲解
第二章习题 2.4 解： x：女孩是大学生 y：女孩身高1.6m以上 P(x)=0.25 P(y)=0.5 P(y/x)=0.75
p(x / y) p ( xy ) p( y) p( x) p( y / x) p( y) 0.25 0.75 0.5 1 0.375 0.375
7 E
PE 1 ( p 7 p p )
7 6 6
0.01) 0.002
2 5 2 3 4 3
PE 1 ( p C 7 p p C 7 p p C 7 p p )
log(1 p ) log 2(1 p ) p
log
2(1 p ) p
0
2(1 p ) p
1
p
2 3
第二章习题 (4)
log 2(1 p ) p 0 2(1 p ) p 1 p 2 3
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
⋅ 第二章课后习题【2.1】设有 12枚同值硬币，其中有一枚为假币。
只知道假币的重量与真币的重量不同，但不知究竟是重还是轻。
现用比较天平左右两边轻重的方法来测量。
为了在天平上称出哪一枚是假币，试问至少必须称多少次？解：从信息论的角度看，“12枚硬币中，某一枚为假币”该事件发生的概率为 P = 112 ； “假币的重量比真的轻，或重”该事件发生的概率为 P = 1 2； 为确定哪一枚是假币，即要消除上述两事件的联合不确定性，由于二者是独立的，因此有I = log12 + log 2 = log 24比特而用天平称时，有三种可能性：重、轻、相等，三者是等概率的，均为 P = 平每一次消除的不确定性为 I = log 3比特因此，必须称的次数为13，因此天I 1 I 2log 24 log 3 H 2.9次因此，至少需称 3次。
【延伸】如何测量？分 3堆，每堆 4枚，经过 3次测量能否测出哪一枚为假币。
【2.2】同时扔一对均匀的骰子，当得知“两骰子面朝上点数之和为 2”或“面朝上点数之和为 8”或“两骰子面朝上点数是 3和 4”时，试问这三种情况分别获得多少信息量？解：“两骰子总点数之和为 2”有一种可能，即两骰子的点数各为 1，由于二者是独立的，因此该种情况发生的概率为 P =1 1 6 6 136，该事件的信息量为：⋅ ⋅ 5 =⋅ ⋅ 2 =I = log 36 H 5.17比特“两骰子总点数之和为 8”共有如下可能：2和 6、3和 5、4和 4、5和 3、6和 2，概率为 P =1 1 6 6 536 ，因此该事件的信息量为：36 I = logH 2.85比特 5“两骰子面朝上点数是 3和 4”的可能性有两种：3和 4、4和 3，概率为P = 1 1 6 6 118， 因此该事件的信息量为：I = log18 H 4.17比特【2.3】如果你在不知道今天是星期几的情况下问你的朋友“明天星期几？”则答案中含有多少信息量？如果你在已知今天是星期四的情况下提出同样的问题，则答案中你能获得多少信息量（假设已知星期一至星期日的顺序）？解：如果不知今天星期几时问的话，答案可能有七种可能性，每一种都是等概率的，均为P = 17，因此此时从答案中获得的信息量为I = log 7 = 2.807比特而当已知今天星期几时问同样的问题，其可能性只有一种，即发生的概率为 1，此时获得的信息量为 0比特。
【2.4】居住某地区的女孩中有 25%是大学生，在女大学生中有 75%是身高 1.6米以上的，而女孩中身高 1.6米以上的占总数一半。
假如我们得知“身高 1.6米以上的某女孩是大学生”的消息，问获得多少信息量？解：设 A 表示女孩是大学生， P ( A ) = 0.25；B 表示女孩身高 1.6米以上， P ( B | A ) = 0.75， P ( B ) = 0.5“身高 1.6米以上的某女孩是大学生”的发生概率为⎥ = ⎪ 3 / 81/ 8 ⎥⎦【 2.5】设离散无记忆信源 ⎪ P ( x )⎦ P ( A | B ) =P ( AB )P ( B )=P ( A ) P (B | A )P ( B )0. 25 ⋅ 0. 750.5= 0.375已知该事件所能获得的信息量为I = log10.375H 1.415比特⎩ X ⎤ ⎩a 1 = 0 a 2 = 1 a 3 = 2 a 4 = 3⎤1/ 4 1 / 4，其发出的消息为（202120130213001203210110321010021032011223210），求（1）此消息的自信息是多少？（2）在此消息中平均每个符号携带的信息量是多少？解：信源是无记忆的，因此，发出的各消息之间是互相独立的，此时发出的消息的自信息即为各消息的自信息之和。
根据已知条件，发出各消息所包含的信息量分别为：I (a 0 = 0) = log 83= 1.415比特 I (a 1 = 1) = log 4 = 2比特I (a 2 = 2) = log 4 = 2比特I (a 3 = 3) = log 8 = 3比特在发出的消息中，共有 14个“0”符号，13个“1”符号，12个“2”符号，6个“3”符号，则得到消息的自信息为：I = 14 ⋅1.415 + 13 ⋅ 2 + 12 ⋅ 2 + 6 ⋅ 3 H 87.81比特45个符号共携带 87.81比特的信息量，平均每个符号携带的信息量为I = 87.81 45= 1.95比特/符号注意：消息中平均每个符号携带的信息量有别于离散平均无记忆信源平均每个符号携带的信息量，后者是信息熵，可计算得H ( X ) = P ( x ) log P ( x ) = 1.91比特/符号⎩ a 1 ⎪ P ⎥ = ⎪ 1 48 48 ⎦H ( B | A ) = P (a i )P (b j | a i ) log P (b j | a i ) = log 47 = 5.55比特/符号【2.6】如有 6行 8列的棋型方格，若有二个质点 A 和 B ，分别以等概率落入任一方格内，且它们的坐标分别为（X A ,Y A ）和（X B ,Y B ），但 A 和 B 不能落入同一方格内。
（1）若仅有质点 A ，求 A 落入任一个格的平均自信息量是多少？（2）若已知 A 已落入，求 B 落入的平均自信息量。
（3）若 A 、B 是可分辨的，求 A 、B 同都落入的平均自信息量。
解：（1）求质点 A 落入任一格的平均自信息量，即求信息熵，首先得出质点 A 落入任一格的概率空间为：⎩ X ⎤⎦ ⎪a 2 1 48a 3 1 48 a 48 ⎤ 1 ⎥ ⎥平均自信息量为H ( A ) = log 48 = 5.58比特/符号（2）已知质点 A 已落入，求 B 落入的平均自信息量，即求 H ( B | A )。
A 已落入，B 落入的格可能有 47个，条件概率 P (b j | a i )均为 147 。
平均自信息量为 48 47i =1 j =1（3）质点 A 和 B 同时落入的平均自信息量为H ( AB ) = H ( A ) + H (B | A ) = 11.13比特/符号【2.7】从大量统计资料知道，男性中红绿色盲的发病率为 7%，女性发病率为 0.5%，如果你问一位男同志：“你是否是红绿色盲？”，他的回答可能是“是”，也可能是“否”，问这两个回答中各含有多少信息量？平均每个回答中含有多少信息量？如果你问一位女同志，则答案中含有的平均自信息量是多少？解：⎪ P ⎥ = ⎪0.07 0.93⎥ = ⎪ 0.005 0.995⎦ ⎦ ⎥ = ⎪0.2 0.19 0.18 0.17 0.16 0.17⎥，求此信源的熵，并解释为什 【2.8】设信源 ⎪ 男同志红绿色盲的概率空间为：⎩ X ⎤ ⎩ a 1 a 2 ⎤ ⎦ ⎦问男同志回答“是”所获昨的信息量为：I = log 10.07 H 3.836比特/符号问男同志回答“否”所获得的信息量为：I = log 10.93 H 0.105比特/符号男同志平均每个回答中含有的信息量为H ( X ) = P ( x ) log P ( x ) = 0.366比特/符号同样，女同志红绿色盲的概率空间为⎩Y ⎤ ⎪ P ⎥⎩ b 1 b 2 ⎤⎥ 问女同志回答“是”所获昨的信息量为：I = log 10.005 H 7.64比特/符号问女同志回答“否”所获昨的信息量为：I = log10.995 H 7.23 ⋅ 10 3比特/符号 女同志平均每个回答中含有的信息量为H (Y ) = P ( x ) log P ( x ) = 0.045比特/符号⎩ X ⎤ ⎩ a 1 a 2 a 3 a 4 a 5 a 6 ⎤P ( x )⎦ ⎦么 H ( X ) > log 6，不满足信源熵的极值性。
解：H ( X ) = P ( x ) log P ( x ) = 2.65 > log 6原因是给定的信源空间不满足概率空间的完备集这一特性，因此不满足极值条件。
令 f ( x ) = ( p 1 x ) log( p 1 x ) + ( p 2 + x ) log( p 2 + x )， x ⎧⎧ 0, 1 ⎥，则【 2.9】设离散无记忆信源 S 其符号集 A = {a 1 , a 2 ,..., a q }，知其相应的概率分别为(P 1 , P 2 ,..., P q )。
设另一离散无记忆信源 S 2，其符号集为 S 信源符号集的两倍，A 2 = {a i , i = 1,2,...,2q }，并且各符号的概率分布满足P i 2 = (1 ∑ ) P i P i 2 = ∑P ii = 1,2,..., qi = q + 1, q + 2, (2)试写出信源 S 2的信息熵与信源 S 的信息熵的关系。
解：H (S 2) = P ( x ) log P ( x )= (1 ∑ ) P i log(1 ∑ )P i ∑P i log ∑P i= (1 ∑ ) P i log(1 ∑ ) (1 ∑ ) P i log P i ∑ P i log ∑ ∑ P i log P i= (1 ∑ ) log(1 ∑ ) ∑ log ∑ + H (S ) = H (S ) + H (∑ ,1 ∑ )【2.10】设有一概率空间，其概率分布为 { p 1 , p 2 ,..., p q }，并有 p 1 > p 2。
若取 p 12 = p 1 ∑，p 22 = p 2 + ∑，其中 0 < 2∑ δ p 1 p 2，而其他概率值不变。
试证明由此所得新的概率空间的熵是增加的，并用熵的物理意义加以解释。
解：设新的信源为 X 2，新信源的熵为：H ( X 2) = p i log p i = ( p 1 ∑ ) log( p 1 ∑ ) ( p 2 + ∑ ) log( p 2 + ∑ ) p q log p q原信源的熵H ( X ) = p i log p i = p 1 log p 1 p 2 log p 2 p q log p q因此有，H ( X ) H ( X 2) = ( p 1 ∑ ) log( p 1 ∑ ) + ( p 2 + ∑ ) log( p 2 + ∑ ) p 1 log p 1 p 2 log p 2⎣ p p 2 ⎤⎨ 2 ⎦f 2( x ) = logp 2 + xp 1 xδ 0【2.11】试证明：若 p i = 1， q j = p L ，则q 1 q 2q 2 log 2 q m log m log 1 2 log 2 m log m ) q 1 q 2 即函数 f ( x )为减函数，因此有 f (0) ε f (∑ )，即( p 1 ∑ ) log( p 1 ∑ ) + ( p 2 + ∑ ) log( p 2 + ∑ ) δ p 1 log p 1 + p 2 log p 2因此 H ( X ) δ H ( X 2) 成立。