量子信息导论

量子信息论基础之 经典信息论简介基本内容：

信息的基本概念和度量：香农熵

信源与信道：互信息量，信源编码

香农定理

什么是信息：获得消息和消除掉的不确定性信息量：消除不确定性的度量

例子：事件x,出现概率为P(x)

特征：小概率事件信息量大

P(下雨) >> P(地震)

度量事件x的信息量：自信息量

I(x)=-log[P(x)] 信息论中，常以2为底数

事件集合：事件集的信息熵：事件中各事件自信息量的统计平均性质：

正定性： 可加性：

强可加性：

上凸性:H(X)>=0

香农熵：

信源和信道

信源：物理属性（空间，时间），

概率属性（无记忆，Markov信源），

数学属性（离散，连续）

信道：传送信息

input output

信道传输概率矩阵:噪声信道数学表示

互信息量：接收信息B后消除的对A的不确定性（具有对称性）事件集{A,B}的总熵：

零概率事件：某些情况下，零概率不一定表示不可能发生。例如在实数轴上取点得有理数或整数的概率为零，但还是会发生。

零概率事件给出信息无穷大，但是由于出现概率为零，对整体信息量计算没有影响。

x*logx=logx/(1/x)-->-x-->0 when x-->0

各信息量之间的关系图

H(A|B)H(B|A)

H(A)H(B)

I(A,B)H(A,B)

事件集的互信息量：

信道容量：对于给定的信道，总存在一种信源，使得信息的传输率最大，这个最大值定义为信道的容量.

信源与信道的匹配性：

R=C 匹配； R

信道剩余度： C-R

信道的信息传输率R：

信道容量有时也表示为单位时间内可传输的二进制位的位数（称信道的数据传输速率，位速率），以位/秒（b/s ）形式予以表示，简记为bps 。

信源编码：在不失真或者减小失真的情况下尽量减少信号传送信息，提高传输率

信源信源编码信道编码信宿信源译码信道译码

信道

编码目的：适用于信号传输，增加抗干扰，

保证尽可能大的传输率

编码：使信源符号序列和码字符号C中的码字之间建立的一一对应关系

信源输出符号集合：

编码符号集合：

码元码字：

信源编码：依据输出符号的统计特性，寻找一定的方法，把信源输出的序列变成最短的码字序列，使每个码字携带的平均信息最大。例子： S: s1 s2 s3 s4

P: 1/2 1/4 1/8 1/8

编码a ： 00 01 10 11

编码b ： 0 10 110 111码字集合：

平均码长：

新信源的传输率：信源符号的平均信息量（比特/信源符号）

编码符号数（码元符号/信源符号）

码元符号的平均信息量（比特/码元符号）

香农定理：

1948年，香农第一定理

（无失真的信源编码定理）

{A_i} {P(A_i)}

能否用m个元素来表示？ m

要保证信号无失真 or 差别趋于0：

例子1：{a,b} with {P(a)=0.99,P(b)=0.01}

二次扩展信源符号集合 {aa,ab,ba,bb}

相应概率 {0.9801,0.0099,0.0099,0.0001}

其中bb出现概率很小，可以近似抛弃，对整体出错率影响不大。故传递三种组合{aa,ab,ba}就可达到很高的传输效果。随着位数的增加，其组合序列中有一些序列的出现概率指数逼近零，故在讨论时可以近似忽略。

NB:不是对单个信号一一编码，而是对信源整个符号序列进行编码,降低平均码长。

例子2：Shannon编码方法

pj sj Pj mj uj

0.4C00.000010

0.18B0.40.01103011

0.1A0.580.100141001

0.1F0.680.101041010

0.07G0.780.110041100

0.06E0.850.110141101

0.05D0.910.11101511101

0.04H0.960.11110511110

按概率大小排序；二进制表示概率；确定码元数目；获得码字

第一定理：离散无记忆信源的S^N,其熵为H(S^N),并有码字集合X,总可以找到一种编码方法，使得平均码长满足基本思路：引入典型序列(typical string)

log(n!)=nlog(n)-+O(logn) (n 很大)；

)()]1log()1(log [)!

1()!(!log log p nH p p p p n np np n C np

n =----=-=n 很大时，信源不同的n 字符串共有2^{nH(X)}个

0 {,} 1 1-i i p X x p p ⎧==⎨⎩信源123,,N X X X 次扩展，，最可能出现的序列，称为典型序列(1)()1212(,,,)()()()(1)

2np p n nH X n n p x x x p x p x p x p p --=≈-≈ ()2nH X 最多有个典型序列

}

,,,{X 21r x x x =码元符号：

香农第二定理（信道编码定理）

目的：加入冗余，增强信号传输稳定性

例子：二元对称信道编码： 1 ---> 111, 0 ---> 000 P0^3 3*P0^2*P1 3*P0*P1^2 P1^3

111 110,101,011 100,010,001 000

解码：少数服从多数 (111,110,101,011)-->1

(000,100,010,001)-->0

错误率：1-P0^3-3*P0^2*P1=3*P0*P1^2+P1^310

10

P0

P0

P1