1.4 信息及其度量

1.4 信息及其度量
例【1-2】四进制信源（0，1，2, 3） 试求：等概独立发送符号时，每个符号的信息量。 解：
1 P(0) P(1) P(2) P(3) 4
I 0 I1 I 2 I3 log 2 4 2 bit
评注 二进制的每个码元含 1 bit； 四进制的每个码元含 2 bit；
I总 23I0 14I1 13I 2 7I3 108（bit）
利用熵的概念来计算： H 1.906 (b/符号）
I总 57 H 57 1 906 108.64（bit）
评注
1.4 信息及其度量
2、连续消息
1 f (x) a
I1 (x) = log
H1 (x) = -
1 2
1 I 0 I1 log 2 log 2 2 1 bit P( x)
评注
概率相同，每个符号蕴含的自信息量也相同； 二进制的每个码元含 1 bit。
1.4 信息及其度量
码元：与离散消息对应的数字信号的基本单位；
离散 消息 M个状态
数字 信号 参量有M个取值；
M种码元
+3E +E -E -3E
越不可能发生的 事件，带来的信 息量越大！

例：
1.4 信息及其度量
二、度量信息量的方法

信息量是概率P(x)的函数； I=f［P(x)］ P(x)越小，I越大； P(x)→1时， I→0 P(x)→0时， I→∞


若干个互相独立事件构成的消息，信息具有相加性；
I［P(x1)P(x2)…］=I［P(x1)］+I［P(x2)］+…
例1-1
2）信源每个符号的平均信息量—信源的熵；
H(x) = -
例1-3
等概最大：log2M
å
n
P(x i ) log 2 P(x i ) （bit/符号）
i= 1
3）某消息的信息量；
例1-4
1.4 信息及其度量
例【1-1】二进制信源（0，1） 试求：等概独立发送符号时，每个符号的自信息量？ 解： P (0) P (1)
ò
¥
- ?
f (x)log
f (x) a
dx ‘
推广：M进制的每个码元含 log2M （bit) ；
返回
1.4 信息及其度量
例【1-3】四进制信源（0，1，2, 3） P(0)=3/8，P(1)=P(2)=1/4，P(3)=1/8。试求：信源的平均 信息量？ 解
1 H ( x) p( xi ) log 2 p( xi ) i 1
M
1.4 信息及其度量

信息是消息的内涵（有效内容，不确定性）； 通信的目的：传输消息中所包含的信息； 信息量—对消息中内容的不确定性的定量描述；

1.4 信息及其度量
一、度量信息量的原则

能度量任何消息，与消息的种类无关；
度量方法与消息的重要程度无关； 消息中所含的信息量与消息中内容的不确定性有关；
P(0) I0 P(1) I1 P(2)I 2 P(3)I3 1.906 (b/符号）
返回ຫໍສະໝຸດ Baidu
1.4 信息及其度量
例【1-4】四进制信源（0，1，2, 3）
P(0)=3/8，P(1)=P(2)=1/4，P(3)=1/8。由它发送的一条消 息： ，试求：这条消息的总信息量？
解：利用信息相加性概念来计算：
1 p(x) a
I = log
P(x) = - loga
1.4 信息及其度量
二、度量信息量的方法
I = log
1 p(x) a P(x) = - loga
a=2—比特(bit);
a=e—奈特(nat);
a=10—哈特莱(Det);
1.4 信息及其度量
二、度量信息量的方法
1、离散消息
P(x ) 1）信源每个符号的自信息量；I(xi ) = - log2 i（bit）