信息论复习提纲

第一章

1、信息的概念。

信息是事物运动状态或存在方式的不确定性的描述。

2、信息论的研究对象、研究目的。

对象：通信系统模型。

目的：找到信息传输过程的共同规律，以提高信息传输的可靠性、有效性、保密性和认证性，以达到信息传输系统最优化。

3、通信系统模型的组成，及各部分的功能

（1）信息源：产生消息的源，消息可以是文字，语言，图像。可以离散，可以连续。随机发生。

（2）编码器：

信源编码器：对信源输出进行变换（消去冗余，压缩），提高信息传输的有效性

信道编码器：对信源编码输出变换（加入冗余），提高抗干扰能力，提高信息传输的可靠性（3）信道：信号从发端传到收端的介质

（4）译码器：译码就是把信道输出（已叠加了干扰）的编码信号进行反变换。

（5）信宿：信宿是消息传送的对象，即接受消息的人或机器。

（6）干扰源：系统各部分引入的干扰，包括衰落，多径，码间干扰，非线性失真，加性噪声，主要研究的是统计特性。

4、消息，信号，信息三者之间的关系

信息---可以认为是具体的物理信号、数学描述的消息的内涵，即信号具体载荷的内容、消息描述的含义。

信号---则是抽象信息在物理层表达的外延；

消息---则是抽象信息在数学层表达的外延

第二章

1、信源的分类，着重单符号信源。信源的概率空间的构成形式。

单消息（符号）信源，离散信源，连续变量信源，平稳信源，无/有记忆信源，马尔可夫信源，随机波形信源。

单消息（符号）信源：

单消息（符号）信源－－离散信源

单消息（符号）信源－－连续信源

2、自信息的计算及物理含义，单位与底数的关系，含义。

计算：

含义：当事件ai发生以前，表示事件ai发生的不确定性

当事件ai发生以后表示事件ai所含有（所提供）的信息量

单位与底数的关系：

通信与信息中最常用的是以2为底，这时单位为比特（bit）；

理论推导中用以e为底较方便，这时单位为奈特（Nat）；

工程上用以10为底较方便，这时单位为哈特（Hart）。

它们之间可以引用对数换底公式进行互换。比如：

1 bit = 0.693 Nat = 0.301 Hart

3、互信息的计算。ex ：设信源发出消息，通过信道后信宿收到，则互信息量的表达式

4、 离散单符号信源熵的计算，注意单位，熵的物理含义。 计算：

单位：（Bit/符号） 物理含义：

熵是随机变量的随机性的描述。

熵是信源输出消息前随机变量平均不确定性的描述

信源熵H(X)是表示信源输出后每个消息/符号所提供的平均信息量

5、信源熵的性质，着重非负性(会证明)，对称性，最大离散熵定理，强可加性，上凸性。 (1) 非负性 证明一：

而：

故： （取底数大于1时） 所以：

证明二：

有： 或： 所以：

(2) 对称性

① 定义：当变量p(x1),p(x2),…,p(xn) 的顺序任意互换时，熵函数的值不变，即

② 含义：该性质说明熵只与随机变量的总体结构有关，与信源的总体统计特性有关。如果某些信源的统计特性相同（含有的符号数和概率分布相同），那么这些信源的熵就相同。 (3) 最大离散熵定理

定理：离散无记忆信源输出N 个不同的信息符号，当且仅当各个符号出现概率相等时(即p(xi)=1/N)，熵最大。

H[p(x1),p(x2),…,p(xN) ]≤H(1/N,1/N,…,1/N)=log2N

结论：出现任何一个符号的可能性相等时，信源的平均不确定性最大。

∑

=-=N

n n

n N p p p p p H 121log ),...,,(∑=-=N

n

n n N p p p p p H 1

21log ),...,,(1

0≤≤n

p 0

log ≤n p 0)(≥P H 101>>>∀x x 1log

-≤x x x

x

-≥1log 10

)1(log )(1

1

1≥-≥=∑

∑==n N

n n p N n n p p p P H n

(4) 扩展性 (5) 确定性 (6) 可加性

H(XY)=H(X)+H(Y/X) H(XY)=H(Y)+H(X/Y)

(7) 上凸性

设有一个多元矢量函数 f(x1,x2,…,xn)=f(X )，对任一小于1的正数α(0＜α＜1)及f 的定义域中任意两个矢量X ,Y ，

若f[αX +(1-α)Y ]＞αf(X )+(1-α)f(Y )，则称f 为严格上凸函数。

设P ,Q 为两组归一的概率矢量：

P =[p(x1),p(x2), …,p(xn)]，Q=[p(y1),p(y2), …,p(yn)]

0≤p(xi)≤1，0≤p(yi)≤1，

有：

H[αP +(1-α)Q ]＞αH(P )+(1-α)H(Q )

6、什么是离散无记忆信源X 的N 次扩展信源？扩展信源的符号个数

定义：一个离散无记忆信源X ，其样本空间为{a1,a2,…,aq}，信源输出的消息可以用一组组长度为N 的序列表示。此时信源X 可等效成一个新信源XN=（X1,X2,…,XN ），其中的每个分量Xi 都是随机变量，都取于X ，分量之间统计独立，这样的新信源就是离散无记忆信源X 的N 次扩展信源。

结论：离散无记忆信源X 的N 次扩展信源的熵等于离散信源x 的熵的N 倍。

7、某一二维离散无记忆平稳信源：

联合概率：

8、联合熵，条件熵之间的关系： H(X1X2) = H(X1)+ H(X2/X1)

)()(X NH X H N =⎥

⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡)(),(),(,,

)(2121q q a P a P a P a a a x P X )(j i a a P ∑∑

==-=q i q

j j i j i a a P a a P X X H 112

1)(log )()(