第2章 信源熵 第1讲 自信息量 与 互信息量

余 映 云南大学
17/38
计算举例
• 对于 2n 进制的数字序列, 假设每一符号的出现完 全随机且概率相等，求任一符号的自信息量。 解：设任一码元 xi 出现概率为 p(xi)，根据题意， p(xi) = 1/ 2n I (xi) = –log(1/ 2n) = n (bit) • 事件的自信息量只与其概率有关，而与它的取值 无关。
– 观察者得知输入端发出 xi 前、后对输出端出现 yj 的不 确定度的差（有变化），即从 xi 中也可提取关于 yj 的 信息量。
余 映 云南大学
34/38
互信息量的三种表达
• ③ 观察者站在通信系统总体立场上
• 通信前，输入 X 和输出 Y 之间没有任何关联，即 X，Y 统计独立，其 联合概率密度：p(xi yj) = p(xi)p(yj)
问题：什么样的函数能够同时满足上述条件呢？
余 映 云南大学 16/38
计算举例
• 一个0, 1等概率出现的二进制随机序列，求任一 码元的自信息量。 解：任一码元不是为0就是为1 因为 p(0) = p(1) = 1/2 所以 I (0) = I (1) = –log (1/2) = 1 (bit)
I(xi)=log2(1/p(xi)) 比特 I(xi)=ln(1/p(xi)) 奈特
– 若以10为底，则信息量单位称为哈特(hart)
I(xi)=lg(1/p(xi)) 哈特 • 1奈特＝1.44比特，1哈特＝3.32比特
余 映 云南大学 24/38
信息量的单位
• 在通信及信息传输系统中，绝大多数以二进制为 基础，因此信息量单位以比特最为常用。 • 因此一般都采用以 2 为底的对数，为书写简洁， 可以把底数 2 略去不写。
余 映 云南大学
25/38
信息量的单位
• 信息论中“比特”与计算机术语“比特”区别
– 若 p(xi)=1/2，则 I(xi)=1 比特。所以 1 比特信息量就是 两个互不相容的等可能事件之一发生时所提供的信息 量。 – 信息论中“比特”是指抽象的信息量单位； – 计算机术语中“比特”代表二元数字； – 这两种定义之间的关系是：每个二元数字所能提供的 最大平均信息量为1比特。
余 映 云南大学
19/38
信息量与不确定性的关系
• 信息量的直观定义：
收到某消息获得的信息量＝不确定性减少的量 ＝(收到此消息前关于某事件发生的不确定性) －(收到此消息后关于某事件发生的不确定性) • 在无噪声时，通过信道传输，可以完全不失真地收到消息， 收到此消息后关于某事件发生的不确定性完全消除，此项 为零。因此得 收到某消息获得的信息量 ＝收到此消息前关于某事件发生的不确定性 ＝信源输出的某消息中所含有的信息量
– 在无噪信道中，事件 xi 发生后，能正确无误地传输到 收信者，所以 I(xi) 可代表接收到消息 xi 后所获得的信 息量。这是因为消除了 I(xi) 大小的不确定性，才获得 这么大小的信息量。
余 映 云南大学
23/38
信息量的单位
• 信息量的单位与对数底数有关
– 若以 2 为底，则信息量单位称为比特(bit ) – 若以 e 为底，则信息量单位称为奈特(nat )
余 映 云南大学
2/38
2.1 自信息量和互信息量
余 映 云南大学
3/38
2.1.1 单符号离散信源数学模型
余 映 云南大学
4/38
信源的描述方法
• 在通信系统中收信者在未收到消息以前，对信源 发出什么消息是不确定的。 • ①离散信源：输出消息是以一个个符号形式出现， 这些符号的取值是有限的或可数的。
余 映 云南大学
18/38
信息量与不确定性的关系
• 信源中某一消息发生的不确定性越大，一旦它发生，并为 收信者收到后，消除的不确定性就越大，获得的信息也就 越大。 • 由于各种原因（例如噪声太大），收信者接收到受干扰的 消息后，对某信息发生的不确定性依然存在或者一点也未 消除时，则收信者获得较少的信息或者说一点也没有获得 信息。
余 映 云南大学
36/38
互信息量的性质
余 映 云南大学
37/38
互信息量的性质
• ① 对称性：I(xi ; yj) = I(yj ; xi) • 表明：从事件 yj 得到的关于事件 xi 的信息量等于 从 xi 得到的关于 yj 的信息量，只是观察角度不同。
• 定义：如果信源发出的消息是离散的、有限或无 限可列的符号或数字，且一个符号代表一条完整 的消息，则称这种信源为单符号离散信源。
余 映 云南大学
7/38
单符号离散信源
• 单符号离散信源的实例
– 掷骰子：每次只能是1,2,3,4,5,6中的某一个； – 天气预报：可能是晴、阴、雨、雪、风、冰雹… 中的 一种或其组合以及温度、污染等； – 二进制通信：传输的是1、0两个数字；等等。
31/38
互信息量的定义
• 先验概率：信源发出消息 xi 的概率 p(xi)。 • 后验概率：信宿收到yj后推测信源发出xi的概率 p(xi / yj)。
• yj 对 xi 的互信息量定义为后验概率与先验概率比 值的对数，即（公式写黑板上对比）
余 映 云南大学
32/38
互信息量的三种表达
• ① 观察者站在输出端（公式写黑板上对比）
• 由此推算信源输出的信息量应该是输出事件概率 的减函数。
余 映 云南大学 12/38
度量信息的基本思路
• 信息量的另一直观认识是，某一事件概率的微小 变化不会很大改变所传递的信息量，即信息量应 该是信源输出事件概率的连续减函数。
余 映 云南大学
13/38
度量信息的基本思路
• 假设与输出 xi 相关的信息能被分成独立的两部分， 比如 xi1 与 xi2，即 xi= {xi1 , xi2}。
• 这里的符号或数字都可以看作某一集合中的事件， 每个事件都是信源中的元素，它们的出现具有一 定的概率。 • 因此，信源可以看作是具有一定概率分布的某一 符号集合。
余 映 云南大学 8/38
单符号离散信源的数学模型
• 若信源的输出是随机事件X，其出现概率为P(X)， 则它们所构成的集合，称为信源的概率空间（信 源空间）。
– 单符号离散信源：只涉及一个随机事件，用随机变量 描述。 – 多符号离散信源（离散序列信源）：每次输出一个符 号序列，序列中每一位出现哪个符号是随机的，而且 一般前后符号之间有依赖关系，用随机矢量描述。
• ②连续信源：输出连续消息，可用随机过程描述。
余 映 云南大学 5/38
单符号离散信源
• 举例：天文学的事件
• 通信后，X 和 Y 之间由信道的统计特性相联系，其联合概率密度： p(xi yj) = p(xi)p(yj/xi ) = p(yj)p(xi /yj)
• 通信后的互信息量，等于前后不确定度的差（公式写黑板上对比）
余 映 云南大学
35/38
互信息量的三种表达
• 这三种表达式是等价的，在实际应用中可根据具 体情况选用一种较为方便的表达式。
余 映 云南大学 21/38
信息量与不确定性的关系
• 自信息量和不确定度的含义又有区别
– 不确定度只与事件的概率有关，是一个统计量，在静 态状态下也存在； – 自信息量只有该随机事件出现时才给出，不出现时不 给出，因此它是一个动态的概念。
余 映 云南大学
22/38
自信息的含义
• 在事件 xi 发生前：表示事件 xi 发生的不确定性。 • 在事件 xi 发生后：表示事件 xi 所提供的信息量。
余 映 云南大学
30/38
互信息量的定义
• X—信源发出的离散消息集合；Y—信宿收到的离散消息 集合；信源通过有干扰的信道发出消息传递给信宿； • 信宿事先不知道某一时刻发出的是哪一个消息，所以每个 消息是随机事件的一个结果； • 最简单的通信系统模型： • 信源X、信宿Y 的概率空间为
余 映 云南大学
余 映 云南大学 10/38
2.1.2 自信息量
余 映 云南大学
11/38
度量信息的基本思路
• 考虑单符号离散信源，其输出被传送给对此感兴 趣的一方。
– 设x1为最大可能的输出，xn 为最小可能的输出。 • 例如，假设信源输出代表天气情况，x1 为晴或多云 天气，xn 为冰雹或其它强对流天气。 – 哪个输出包含更多的信息，x1 还是 xn ？ – 直观认识，传递 xn 给出了更多的信息。
– 例如，假设天气预报中的天气及温度变化与污染程度 相关性很小甚至几乎完全独立，则信源每一个输出就 能分成独立的两部分。
• 直观地，传递ቤተ መጻሕፍቲ ባይዱxi 所包含的信息量应等于分别传递 xi1 和 xi2 所得到的信息量之和。
余 映 云南大学
14/38
度量信息的基本思路
• 若事件 xi 的出现所带来的信息量用 I(xi) 来表示， 并称之为事件 xi 的自信息量，则概率为 p(xi) 的信 源输出 xi 所包含的信息量 I(xi) 必须满足以下几个 条件：
余 映 云南大学
15/38
度量信息的基本思路
• ① 信源输出 xi 所包含的信息量仅依赖于其概率，而与其 取值无关。 • ② I(xi)是 p(xi) 的连续函数。 • ③ I(xi)是 p(xi) 的减函数，即： – 如果 p(xi) > p(xj)，则 I(xi) < I(xj)。 – 极限情况，若 p(xi) = 0, 则 I(xi) → ∞； – 若 p(xi) = 1, 则 I(xi) = 0。 • ④ 若两个单符号离散信源X, Y 统计独立, 则 X 中出现 xi、 Y 中出现 yj 的联合信息量 I(xi, yj) = I(xi) + I(yj)
余 映 云南大学
26/38
联合自信息量
• 信源的概率空间为
• 则联合自信息量为 • 当 X 和 Y 相互独立时
– 两个随机事件相互独立时，同时发生得到的信息量， 等于各自自信息量之和。
余 映 云南大学 27/38
条件自信息量
• 设 yj 条件下，发生 xi 的条件概率为 p(xi /yj)，那 么它的条件自信息量定义为
– 自信息量：对 yj 一无所知的情况下 xi 存在的不确定度； – 条件自信息量：已知 yj 条件下 xi 仍然存在的不确定度； – 互信息量：两个不确定度之差，是不确定度被消除的 部分。实际是从 yj 得到的关于 xi 的信息量。
余 映 云南大学
33/38
互信息量的三种表达
• ② 观察者站在输入端（公式写黑板上对比）
2 信源与信息熵
• 本章重点：信源的统计特性和数学模型、各类信 源的信息测度—熵及其性质。
余 映 云南大学
1/38
2 信源与信息熵
• 信息论的发展是以信息可以度量为基础的，度量 信息的量称为信息量。 • 对于随机出现的事件，它的出现会给人们带来多 大的信息量？ • 考虑到通信系统或很多实际的信息传输系统，对 于所传输的消息如何用信息量的方法来描述？ • 本章将围绕这些问题展开讨论。
余 映 云南大学
9/38
单符号离散信源的数学模型
• 单符号离散信源数学模型就是离散型的概率空间：
信源空间必定是 一个完备集 – – – – X 是随机变量，代表信源整体 Xi 代表随机事件的某一结果或信源的某个元素 p(xi)=P(X =xi)，表示随机事件X发生某一结果xi的概率。 n 是有限正整数或可数无限大
余 映 云南大学 20/38
信息量与不确定性的关系
• 信宿端收到某一消息后所得到的信息量，可以等效为接收 者在通信前后“不确定”因素的减少或消除。 • 事件的不确定性可用不确定度描述，它同样是事件概率的 函数，在数值和量纲上和自信息量相等，因此都可以用下 式来计算：
• 某一随机事件的出现所给出的信息量，在数值上与该随机 事件的不确定度不但相关而且相等，即事件的出现等效成 事件不确定集合的元素的减少，或简称为事件不确定度的 减少。
– 即在事件 yj 已出现的条件下，随机事件 xi 出现所带来 的信息量。
• 同理，
余 映 云南大学
28/38
自信息量、条件自信息量和联合自信息 量之间的关系
– 即 A、B 两个事件同时出现的信息量等于 A 出现的信 息量加上 A 出现条件下再出现 B 的信息量。
余 映 云南大学
29/38
2.1.3 互信息量
– 小行星撞击地球、月食、日食、流星雨、星系的产生 与消亡等等，都是天文学内一个个离散的事件。 – 若将一个事件用一个符号来表示，则一个符号代表一 个完整的消息。 – 如果把所有天文学的事件看作是天文学这个“信源” 输出的符号，则这个信源可以看作单符号离散信源。
余 映 云南大学
6/38
单符号离散信源