第二信息论基础ppt文档

H(x)=-log2(1/M)=log2M=log22N=N
RbM NRB 数字通信原理
2021年4月11日星期日
xn
p(xn)
其中
p(xi ) 1
i 1
数字通信原理
2021年4月11日星期日
离散信源的平均信息量
则x1、x2、…、xn所包含的信息量分别为 -log2P(x1) - log2P(x2) … -log2P(xn)。
数字通信原理
2021年4月11日星期日
离散信源的平均信息量
于是，每个符号所含信息量的统计平均 值，即平均信息量为
H(x)=0.25*log24+ 0.75*log2(4/3)=0.81
数字通信原理
2021年4月11日星期日
二元信号与其概率分布的关系
1 0.9 0.8 0.7 0.6 0.5 0.4 0.3 0.2 0.1
0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1
§3 连续消息的信息量的度量
Ixloagp(1x)loagp(x)
n个码元的总信息量 I ＝ n I x
数字通信原理
2021年4月11日星期日
离散信源的平均信息量
2、非等概离散消息的度量
❖符号集：
组成离散信息源的n个符号xi组成的集合 每个符号xi在消息中是按一定概率P(xi)独立出
现的，设符号集中各符号出现的概率：
x1 x2 p(x1) p(x2)
数字通信原理
2021年4月11日星期日
信息量和概率
❖由概率论可知，事件的不确定性可以用其出 现的概率来描述。
❖因此消息中所含的信息量I与消息出现的概率 P(x)间的关系式应反映如下规律：
消息中所含的信息量I是出现该消息的概
率P(x)的函数：I=f [P(x)]
消息出现的概率P(x)越小，它所含的信息 量愈大；
第息及其度量
➢ 信息是消息中所包含的有意义的内容 ➢ “有意义”意味着信源发出的消息中，包含了收信者
所不知道（有价值的）的内容。 ❖ 传输信息的多少用“信息量”去衡量。 ❖ 对接收者来说，事件越不可能发生，信息量就越大。 ➢ 从统计理论的角度去理解，信息指的是消息中所包含 的不确定性。
❖连续消息的信息量可用概率密度来描述 ❖连续消息的平均信息量（相对熵）为
式中 f(x)---连续消息出现的概率密度
数字通信原理
2021年4月11日星期日
§4 信源传信率
信源传信率与传码率的关系为
Rb RBH(x)
➢二进制等概率时
H(x)=0.5*log22+ 0.5*log22=1
Rb=RB
➢多进制等概率时 M 2N
n
I总
i1
Ni
log 1 p(xi)
（各符号的出现 互相统计独立）
其中：n：表示符号数；
Ni：第i个符号在消息中出现的次数；
p(xi)：第i个符号xi在消息中出现的概率， 且
n
p(xi ) 1
i1
数字通信原理
2021年4月11日星期日
例题
➢ 例1：设英文字母E出现的概率为1/3，X 出现的概率为2/3，求出现E和X的信息量 分别是多少？
n个码元总信息量： I＝nH(x)
数字通信原理
2021年4月11日星期日
【说明】
➢ 改变离散信源各符号的概率分布，使其为 等概率分布，则可以得到最大的熵值。
【例】P28图2-13 二元信号与其概率分布的关系 ➢ 二进制等概率分布 （即1和0都以50%概率出现）
H(x)=0.5*log22+ 0.5*log22=1 ➢ 非等概率分布：1的概率为1/4，0的概率为3/4
➢ 例2：某离散信源由0，1，2，3四种符号 组成，其概率分别为3/8,1/4,1/4,1/8。求 消息 20102013021300120321010032101002 3102002010312032100120210的信息量。
数字通信原理
2021年4月11日星期日
§2 离散信源的平均信息量 1、等概率离散信源
消息出现的概率P(x)越大，它所含的信息 量愈小；且当P(x)=1时，I=0。
数字通信原理
2021年4月11日星期日
信息量和概率
不难看出，若I与p(x)间的关系式为
信息量的单位：取决于上式中对数底 a 的确定
a值
单位
2
比特（bit）
e
奈特（nit）
10 哈特莱（Hartley）
数字通信原理
换算公式
/ 1nit=1.44bit
1Hartley=3.22bit
2021年4月11日星期日
多个独立事件的信息量
❖若干个相互独立事件构成的消息， 所含的信息量等于各独立事件信 息量的和。
数字通信原理
2021年4月11日星期日
多个独立事件的信息量
➢ 当消息是由几个符号组成的离散信源时，
整个消息信息量的计算公式为：