第二章 信息的度量

条件自信息、联合自信息、互信息量
I (u1 | u2 ) log p(u1 | u2 )
I ( xk y j ) log p( xk y j )
I ( xk ; y j ) I ( xk ) I ( xk | y j ) I ( y j ) I ( y j | xk )
香农信息论







信息的度量 信息量、熵 无失真信源编码 香农第一定理 信道编码 香农第二定理 带限信道传输能力 信道容量公式（香农公式） 信息传输失真及差错 信息率失真理论、香农第三定理、信息价值 网络信息传输 网络信息理论 保密通信
香农信息论体系结构
Shannon信息论 压缩理论 无失真编码 等长编码 定理 Shannon 1948 McMillan 1953 变长编码 定理 Shannon 1948 McMillan 1956 有失真编码 率失真理论 Shannon Gallager Berger 传输理论 信道编码定理 网络信息理论
单符号离散信源
x1 , x2 , ..., xi , ..., xN X X : P( X ): P( x ), P( x ), ..., P( x ), ..., P( x ) P 1 2 i N
P( x ) 1
i 1 i
n
例：对于二进制数据、数字信源：X={0,1}，则有
H(Y)=1bit / 符号
熵的性质


连续性: 当某事件Ek的概率Pk稍微变化时，H 函数也只作连续的不突变的变化； 对称性: 熵函数对每个Pk 对称的。该性质说明 熵只与随机变量的总体结构有关，与事件集合 的总体统计特性有关； 非负性: H>=0； 确定性，即：H(1,0)=H(1,0,0)=H(1,0,0…,0)=0， 即当某一事件为确定事件时，整个事件集合的 熵为0；
第一章 信息科学及其发展

1.1 通信系统的基本概念 1.2 信息科学的有关概念 1.3 信息理论的研究内容 1.4 香农信息论概述
通信系统模型
信 源
信 源 编 码
加 密
信 道 编 码
信 道
信 道 译 码
解 密
信 源 译 码
信 宿
密 钥 源
噪 声
密 钥 源
信息、消息和信号

信息

一个抽象的概念，可以定量的描述。信息、物质和能量是 构成一切系统的三大要素 是信息的载体，相对具体的概念，如语言，文字，数字， 图像 表示消息的物理量，电信号的幅度，频率，相位等等
1 s2 s3 s4 s1 s2 s3 s4 s 1 1 1 1 S p 1 p 2 p 3 p 4 2 4 8 8
则其熵为：
1 1 2 H(S) pi logpi log 2 log 4 log8 1.75比特 / 符号 2 4 8 i 1
单符号离散信源


这些信源可能输出的消息数是有限的或可数的，而且 每次只输出其中一个消息。因此，可以用一个离散型 随机变量X来描述这个信源输出的消息。这个随机变 量X的样本空间就是符号集A；而X的概率分布就是各 消息出现的先验概率，信源的概率空间必定是一个完 备集。 在实际情况中，存在着很多这样的信源。例如投硬币、 书信文字、计算机的代码、电报符号、阿拉伯数字码 等等。这些信源输出的都是单个符号(或代码)的消息， 它们符号集的取值是有限的或可数的。我们可用一维 离散型随机变量 X来描述这些信源的输出。它的数学 模型就是离散型的概率空间：


事件（或消息）输出的信息量仅依赖于它的概 率，而与它的取值无关。 信息量是概率分布的连续函数。 信息量是概率分布的减函数。 统计独立的两个信源产生的两个事件，其联合 信息量应为各事件信息量之和。
对数函数！
自信息量

由于信息量与概率成反比，并且具有可加性， 可以证明，信息量的计算式为
I ( x k ) log 2 1 log 2 Pk pk
它是一个科学的定义，有明确的数学模型和定量计 算； 它与日常生活中关于信息的理解不矛盾； 它排除了对信息一词某些主观性的含义，是纯粹形 式化的概念；
仙农关于信息定义和度量的局限

局限


这个定义的出发点是假设事物的状态可以用一个以 经典集合论为基础的概率模型来描述，然而实际存 在的某些事物运动状态很难用一个合适的经典概率 模型来描述，甚至在某些情况下不存在这样的模型； 这个定义和度量没有考虑收信者的主观性和主观意 义，也抛开了事物本身的具体含义、用途、重要程 度和引起的后果等，这与实际不完全一致。
n 1 H ( X ) E p(ai ) * log p(ai ) log p(a ) i 1 i

由于这个表达式和统计物理学中热熵的表达式相似， 且在概念上也有相似之处，因此借用“熵”这个词， 把H(X)称为信息“熵”；
熵的计算

例：设某信源输出四个符号，其符号集合的概 率分布为：

消息


信号

通信系统传输的是信号，信号是消息的载体，消息中的未知成分是信息。
信息的特征




未知性或不确定性。 又不知到知，等效为不确定性的集合的元素的 减少。 可以度量。 可以产生、消失，可以被携带、存储和处理。 可以产生动作。
信息论要解决的基本问题




什么是信息？如何度量？ 在给定的信道中，信息传输有没有极限？ 信息能否被压缩和恢复？极限条件是什么？ 从实际环境（如干扰，噪声）中抽取信息，极限条件 是什么？ 允许一定失真的条件下，信息能否被更大程度地压缩？ 极限条件是什么？ 设计什么样的系统才能达到上述极限？ 现实中，接近极限的设备是否存在？
信息量、信道容量、熵、香农定理、香农公式等。
信息论的研究内容

狭义信息论（香农信息论）

研究信息测度，信道容量以及信源和信道编码理论 研究信息传输和处理问题，除香农信息论外还包括 噪声理论，信号滤波和预测，统计检测和估值理论， 调制理论，信息处理理论和保密理论 除上述内容外，还包括自然和社会领域有关信息的 内容，如模式识别，计算机翻译，心理学，遗传学， 神经生理学
单消息（符号）信源


它是最简单也是最基本的信源，是组成实际 信源的基本单元。它可以用信源取值随机变 量的范围X和对应概率分布P(X)共同组成的 二元序对[X,P(X)]来表示。 当信源给定，其相应的概率空间就已给定； 反之，如果概率空间给定，这就表示相应的 信源已给定。所以，概率空间能表征这离散 信源的统计特性，因此有时也把这个概率空 间称为信源空间。
q1 qm H1 ( p1 , p2 ,..., pn ); H 2 ( p1 ,..., pn1; q1 ,..., qm ); H 3 ( ... ) pn pn 它们之间具有关系：H 2 H1 pn * H 3
这说明对集合的进一步划分会使它的不确定性增加，即熵总是往大 增加。
熵的性质（续）

极值性，即当所有事件等概率出现时，平均不 确定性最大，从而熵最大，即：
1 1 1 H ( P1 , P2 ,..., Pn ) H ( , , ... , ) log n n n n
熵的性质（续）

可加性: 设有一事件的完全集合{E1,E2,…,En},其熵为 H1(p1,p2,…,pn)。现设其中一事件En又划分为m个子集，即： m m q q .. qm En Fk , pn qk , p{Fk } qk； 则有 1 2 1 pn k 1 k 1 这时构成的三个概率空间分别具有熵函数：
I ( xk ; y j ) log
p( xk | y j ) p( xk )
自信息、条件自信息和互信息
I ( xk ; y j ) I ( xk ) I ( y j ) I ( xk y j )
I(xk) I(yj)
I(xk ;yj)
互信息量的性质

对称性。 值域为实数（可以小于0）。 不大于其中任一事件的自信息量。
U x0 0, x1 1 p , p P 0 1
当p0 p1

1 2
0,1 1 1 , 2 2
信息的度量



信息的度量（信息量）和不确定性消除的程度 有关，消除了多少不确定性，就获得了多少信 息量； 不确定性就是随机性，可以用概率论和随机过 程来测度不确定性的大小，出现概率小的事件， 其不确定性大，反之，不确定性小； 由以上两点可知：概率小 ——> 信息量大，即 信息量是概率的单调递减函数； 此外，信息量应该具有可加性；
纠错码 编码调制理论
网络最佳码
Huffman码(1952)、Fano码 算术码(1976,1982) LZ码(1977,1978)
压缩编码 JPEG MPEG
第二章 信息的度量

2.1 度量信息的基本思路 2.2 信源熵和条件熵 2.3 互信息量和平均互信息量 2.4 多维随机变量的熵
自信息量

自信息量的单位

自信息量的单位取决于对数的底； 底为2，单位为“比特（bit）”； 底为e，单位为“奈特（nat）”； 底为10，单位为“哈特（hat）”； 1 nat = 1.44bit , 1 hat = 3.32 bit；
仙农关于信息定义和度量的优点

优点

ቤተ መጻሕፍቲ ባይዱ
条件互信息量
I ( xi ; y j | zk ) log
p( xi | y j zk ) p( xi | zk )
熵(Entropy)的概念

通常研究单独一个事件或单独一个符号的信息 量是不够的，往往需要研究整个事件集合或符 号序列(如信源)的平均的信息量(总体特征)， 这就需要引入新的概念；
熵(Entropy)的概念（续）

假设离散事件集合的概率特性由以下数学模型表示：
X a1 p( x ) p(a1 ) a2 ...... an n P (a i ) 1 i p(a2 ) ...... P (an ) 1
则如果将自信息量看为一个随机变量，其平均信息量 为自信息量的数学期望，其定义为：

其中Pk是事件Xk发生的概率，这也是先农关于 (自)信息量的度量(概率信息)； 自信息量 I(xk) 的含义

当事件 xk发生以前，表示事件xk发生的不确定性； 当事件 xk发生以后，表示事件xk所提供的信息量；
自信息量


计算信息量主要要注意有关事件发生概率的计 算； 例：从26个英文字母中，随即选取一个字母， 则该事件的自信息量为 I = -log2 (1/26) = 4.7 比特 例：设m比特的二进制数中的每一个是等概率 出现的(这样的数共有2m个)，则任何一个数出 现的自信息为: I = -log2 (1/ 2m) = m 比特/符号
4
熵的含义

熵是从整个集合的统计特性来考虑的，它是从平均意 义上来表征集合的总体特征的。

熵表示事件集合中事件发生后，每个事件提供的平均信息量； 熵表示事件发生前，集合的平均不确定性；

例：有2个集合，其概率分布分别为：
a2 X a1 P( X ) 0.99 0.01 分别计算其熵，则： H(X)=0.08 bit /符号, Y a1 a2 P(Y ) 0.5 0.5
一般信息论


广义信息论

研究通信系统的目的


找到信息传输过程的共同规律，以提高信息传输的可 靠性、有效性、保密性和认证性，以达到信息传输系 统最优化。 可靠性: 使信源发出的消息经过信道传输以后，尽可 能准确地、不失真地再现在接收端。 有效性: 经济效果好，即用尽可能短的时间和尽可能 少的设备来传送一定数量的信息。 保密性: 隐蔽和保护通信系统中传送的消息，使它只 能被授权接收者获取，而不能被未授权者接收和理解。 认证性: 指接收者能正确判断所接收的消息的正确性 和完整性，而不是伪造的和被篡改的。