信息及其度量

例题
例2：已知信息源由4个符号0、1、2、3组成，它们出现的 例1： 概率分别为3/8、1/4、1/4、1/8，且每个符号的出现都是 已知二元离散信源只有“0”、“1”两种符号，“0”出 独立的。试求消息 现 的概率为1/3，求“1”出现的概率。 20102013021300120321010032101002310200201031203210 0120210的信息量和平均信息量。 解： 解： P（“1”）=1-1/3=2/3
二、数字通信系统
可靠性：错误率Leabharlann Baidu需要使用统计和概率）
错误比特数 误比特率（误信率） Pb = 传输总的比特数
错误码元数 P 误码元率（误符号率） s = 传输总的码元数
三、信息论基础
1．信息的含义 ．
消息中包含的有意义的内容 例如：“今年冬天比去年冷”、“今年冬天和去年夏天一样热” 后句信息量>前句 越不可能，信息量越大。 用概率来描述，概率越小信息量越大；P=0时信息量为无穷
x →0 N →∞ i = N
N
= ∫ P ( x)dx{log[ P( x) dx]} ，
∞ ∞
∞
= ∫ P ( x) log P ( x)dx log dx ∫ P ( x)dx，
∞ ∞ ∞
∞
= ∫ P ( x) log P ( x)dx log dx
∞ ∞
1 = ∫ P ( x) log P ( x)dx + log dx ∞
所以，该消息的信息量为I=I(0)+I(1)+I(2)+I(3)=33+28+26+21=108bit 平均信息量： I = I = 108 = 1.89bit / 符号 符号数 57
H = ∑ P ( xi ) Ixi = 3 1 1 1 I (0) + I (1) + I (2) + I (3) = 1.906bit / 符号 8 4 4 8
二、数字通信系统
1．有效性： 有效性：
用信息传输速率衡量 信息速率（传信率）单位：b/s（bps：比特/秒，二进制）
（1）多进制传输速率 1 （2）单位比较
多进制每个码元信息量超过1bit bps、baud、Bps 设：码元速率为Rs、信息速率为Rb，码元有N种可能采用的符号 56Kbps=56×1000（或1024）/8/1024=6.8KBps 则： R = R log N (b / s ) b s 2 Rb Rs = (baud，波特率) log 2 N 例如：四进制，每个码元2bits信息 当1200baud时，信息速率为2400b/s
2.离散信息信息量规律
（1）信息量的特点规律 （2（a）信息量I与出现概率P（x）相关 ）应用和讨论
（b）P（x）越大，I越小 （b）若M为2的整数次幂（2、4、8、16进制） （c）熵和平均信息量 个离散消息之一、 （a）传M个离散消息之一、各消息等概出现 ） 个离散消息之一 （c）若干独立事件的信息量 M——离散系统的平均信息量 = 2 K 进制波形之一 ——可看作 K 可看作M进制波形之一2，单位为比特bit 可看作 a = = 则：I = log 2 2 1 K （bit） 设一组符号其概率为： 传一个消息的概率为1/Ma = e，单位为奈特nit 综合 I = log a a = 10，单位为哈特莱 P( x) X1:P(X1);X2:P(X2)……Xn:P(Xn)，且 ∑ P ( xi ) = 1 1 其中，K为传M进制波形用二进制所需的数目 = log a M 所以：I = 平均信息量： 如8个量要3个二进制位log a M I∑ 取a=2时， = log 2 M (bit) I 算术平均（有误差） = I 符号数 熵（统计平均） H ( x) = P ( x1) I1 + P ( x 2) I 2 + ... + P ( xn ) I n = ∑ P ( xi ) log 2 P ( xi )
3 1 符号出现次数0：23次；1：14次；2：13次；3：7次；共57个符号 log 2 = log 2 1 = 0.585(bit ) 1 I (0) = 23 × log 2∴I（1）= I (1) = 2 × log 2 2 = 28bit = 33bit； 14 3/8 1/ 4 3
I ( 2) = 13 × log 2 1 1 = 26bit；I (1) = 3 × log 2 = 21bit 1/ 4 1/ 8
∞ ∞
（2）绝对熵
设概率密度函数为P(x) 在一小段范围内的概率为 P ( xi ≤Nx ≤ xi + xi ) ≈ P( xi )xi 把积分区间分为2N段 H ( x ) ≈
i = N
∑ P ( x ) x
i
i
log[ P ( xi )xi ]
P(x)
P(Xi)△Xi
H ( x) = lim{ ∑ P( xi )xi log[ P( xi )xi ]}
平均信息量计算总结
1）平均信息量的差别在于处理方法的不同，算术平 均有一定误差，但符号的增加可使得误差减小。 2）总希望熵越大越好（信息量大，有效性高），在等 概时熵最大，为，n为符号数
3．连续信源的信息度量
（1）相对熵
H ( x) = ∑ P( xi ) log 2 P( xi )
H ( x) = ∫ P( x) log 2 P( x)dx
1 注意：log dx
例题
例：连续消息源，输出信号在（-1，1）取值范围内具有 均匀的概率密度函数。求其平均信息量，若输出信号放大 2倍，求平均信息量。
（1）当（-1，1）时P(x)=1/2，P(x)=1/(b-a)均匀分布
1 1 ∴ H ( x) = ∫ P ( x ) log P ( x )dx = ∫ log dx = log 2 = 1bit 2 2 ∞ 1
请给出数字通信与模 拟通信相比较的优点？ 拟通信相比较的优点？
信息及其度量
通信的任务?
传递信息
衡量的标准?
有效性：给定信道内传输的信息内容多少 可靠性：接受信息的准确度
不同的系统衡量的具体指标是不一样的
一、模拟通信系统
1．有效性： 有效性： 用传输频带宽度 2．可靠性： 可靠性： 收端最终的输出信噪比（信号噪声功率比） 如电话：20-40dB，电视40dB 不同调制方式频带和信噪比对比： Bw调频>Bw调幅；S/N调频>S/N调幅
1/2 -1 1
∞ 1
（2）当（-2，2）时P(x)=1/4，P(x)=1/(b-a)均匀分布
1 1 ∴ H ( x) = ∫ P ( x) log P ( x )dx = ∫ log dx = log 4 = 2bit 4 4 ∞ 2
∞ 2