信息论复习提纲

第一章
1、信息的概念。

信息是事物运动状态或存在方式的不确定性的描述。

2、信息论的研究对象、研究目的。

对象：通信系统模型。

目的：找到信息传输过程的共同规律，以提高信息传输的可靠性、有效性、保密性和认证性，以达到信息传输系统最优化。

3、通信系统模型的组成，及各部分的功能
（1）信息源：产生消息的源，消息可以是文字，语言，图像。

可以离散，可以连续。

随机发生。

（2）编码器：
信源编码器：对信源输出进行变换（消去冗余，压缩），提高信息传输的有效性
信道编码器：对信源编码输出变换（加入冗余），提高抗干扰能力，提高信息传输的可靠性（3）信道：信号从发端传到收端的介质
（4）译码器：译码就是把信道输出（已叠加了干扰）的编码信号进行反变换。

（5）信宿：信宿是消息传送的对象，即接受消息的人或机器。

（6）干扰源：系统各部分引入的干扰，包括衰落，多径，码间干扰，非线性失真，加性噪声，主要研究的是统计特性。

4、消息，信号，信息三者之间的关系
信息---可以认为是具体的物理信号、数学描述的消息的内涵，即信号具体载荷的内容、消息描述的含义。

信号---则是抽象信息在物理层表达的外延；
消息---则是抽象信息在数学层表达的外延
第二章
1、信源的分类，着重单符号信源。

信源的概率空间的构成形式。

单消息（符号）信源，离散信源，连续变量信源，平稳信源，无/有记忆信源，马尔可夫信源，随机波形信源。

单消息（符号）信源：
单消息（符号）信源－－离散信源
单消息（符号）信源－－连续信源
2、自信息的计算及物理含义，单位与底数的关系，含义。

计算：
含义：当事件ai发生以前，表示事件ai发生的不确定性
当事件ai发生以后表示事件ai所含有（所提供）的信息量
单位与底数的关系：
通信与信息中最常用的是以2为底，这时单位为比特（bit）；
理论推导中用以e为底较方便，这时单位为奈特（Nat）；
工程上用以10为底较方便，这时单位为哈特（Hart）。

它们之间可以引用对数换底公式进行互换。

比如：
1 bit = 0.693 Nat = 0.301 Hart
3、互信息的计算。

ex ：设信源发出消息，通过信道后信宿收到，则互信息量的表达式
4、 离散单符号信源熵的计算，注意单位，熵的物理含义。

计算：
单位：（Bit/符号） 物理含义：
熵是随机变量的随机性的描述。

熵是信源输出消息前随机变量平均不确定性的描述
信源熵H(X)是表示信源输出后每个消息/符号所提供的平均信息量
5、信源熵的性质，着重非负性(会证明)，对称性，最大离散熵定理，强可加性，上凸性。

(1) 非负性 证明一：
而：
故： （取底数大于1时） 所以：
证明二：
有： 或： 所以：
(2) 对称性
① 定义：当变量p(x1),p(x2),…,p(xn) 的顺序任意互换时，熵函数的值不变，即
② 含义：该性质说明熵只与随机变量的总体结构有关，与信源的总体统计特性有关。

如果某些信源的统计特性相同（含有的符号数和概率分布相同），那么这些信源的熵就相同。

(3) 最大离散熵定理
定理：离散无记忆信源输出N 个不同的信息符号，当且仅当各个符号出现概率相等时(即p(xi)=1/N)，熵最大。

H[p(x1),p(x2),…,p(xN) ]≤H(1/N,1/N,…,1/N)=log2N
结论：出现任何一个符号的可能性相等时，信源的平均不确定性最大。

∑
=-=N
n n
n N p p p p p H 121log ),...,,(∑=-=N
n
n n N p p p p p H 1
21log ),...,,(1
0≤≤n
p 0
log ≤n p 0)(≥P H 101>>>∀x x 1log
-≤x x x
x
-≥1log 10
)1(log )(1
1
1≥-≥=∑
∑==n N
n n p N n n p p p P H n
(4) 扩展性 (5) 确定性 (6) 可加性
H(XY)=H(X)+H(Y/X) H(XY)=H(Y)+H(X/Y)
(7) 上凸性
设有一个多元矢量函数 f(x1,x2,…,xn)=f(X )，对任一小于1的正数α(0＜α＜1)及f 的定义域中任意两个矢量X ,Y ，
若f[αX +(1-α)Y ]＞αf(X )+(1-α)f(Y )，则称f 为严格上凸函数。

设P ,Q 为两组归一的概率矢量：
P =[p(x1),p(x2), …,p(xn)]，Q=[p(y1),p(y2), …,p(yn)]
0≤p(xi)≤1，0≤p(yi)≤1，
有：
H[αP +(1-α)Q ]＞αH(P )+(1-α)H(Q )
6、什么是离散无记忆信源X 的N 次扩展信源？扩展信源的符号个数
定义：一个离散无记忆信源X ，其样本空间为{a1,a2,…,aq}，信源输出的消息可以用一组组长度为N 的序列表示。

此时信源X 可等效成一个新信源XN=（X1,X2,…,XN ），其中的每个分量Xi 都是随机变量，都取于X ，分量之间统计独立，这样的新信源就是离散无记忆信源X 的N 次扩展信源。

结论：离散无记忆信源X 的N 次扩展信源的熵等于离散信源x 的熵的N 倍。

7、某一二维离散无记忆平稳信源：
联合概率：
8、联合熵，条件熵之间的关系： H(X1X2) = H(X1)+ H(X2/X1)
)()(X NH X H N =⎥
⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡)(),(),(,,
)(2121q q a P a P a P a a a x P X )(j i a a P ∑∑
==-=q i q
j j i j i a a P a a P X X H 112
1)(log )()(
⏹求联合熵H(X1X2)
⏹求条件熵H(X2/X1)
9、剩余度与信源输出的符号序列的依赖程度之间的关系。

信源编码是通过减小剩余度来提高有效性的。

剩余度可以衡量信源输出序列中符号间的依赖程度，也表明了信源可压缩的程度。

剩余度r越大，表示信源的实际熵越小，即表明信源符号间的依赖关系越强。

第三章 离散信道
1、信道的分类，着重单符号信道，离散信道，无噪信道，N 次扩展信道 (1) 根据输入、输出端用户的个数
单用户信道——输入、输端出均只有一个用户
多用户信道——输入、输出端至少有一端包含两个以上用户
(2) 根据输入、输出端的关联
无反馈信道——输出端无信号反馈到输入端 反馈信道 ——输出端的信号反馈到输入端
(3) 根据信道的参数与时间的关系
固定参数信道——参数不随时间变化而改变 时变参数信道——参数随时间变化而变化
(4) 根据输入、输出随机变量的个数
单符号信道——输入、输出均用随机变量表示 多符号信道——输入、输出用随机矢量表示
(5)根据输入、输出随机信号特点
离散信道——输入、输出随机序列均离散取值 连续信道——输入、输出随机序列均连续取值 半离散(连续)信道——一为离散，另一为连续
2、信道的三种数学模型：图示法，信道矩阵法
3、单符号离散信道的传递概率；二元对称信道、二元删除的数学模型，传递概率矩阵的特点。

概率：
模型：
二者共同描述一个二维离散平稳信源。

X Y ]
),(,[Y x y P X
)()()(i j i j a b P a x b y P x y P ====信道
特点：
传递矩阵中每一行之和等于1。

4、单符号离散信道的各概率关系
5、信道疑义度的计算，平均互信息的计算，及平均互信息与各熵之间的关系（数
学公式和图示两种描述），平均互信息的物理含义
信道疑义度
平均互信息与各熵之间的关系
I(X;Y)=H(X)-H(X/Y) =H(X)+H(Y)-H(XY) =H(Y)-H(Y/X)
平均互信息的物理含义
①观察者站在输出端
②观察者站在输入端
③观察者站在通信系统总体立场上
6、无噪无损信道，全损信道的平均互信息的取值，信道的输入输出信源的熵值
7、平均互信息的性质
②对称性
I(X;Y)= I(Y;X)
②非负性
即I(X;Y)≥0，当且仅当X和Y相互独立，即p(x i y j)= p(x i) p(y j)
I(X;Y)=0
③极值性
I(X;Y)≤H(X) I(Y;X)≤H(Y)
③凸函数性
平均互信息量I(X;Y)是输入信源概率分布p(xi)的上凸函数
平均互信息量I(X;Y)是输入转移概率分布p(yj /xi)的下凸函数
8、信道容量的与平均互信息的关系。

信道的信息传输率R(信道中平均每个符号所能传送的信息量)：就是平均互信息 R=I(X;Y)。

9、无噪无损信道，有噪无损信道，无噪有损信道的信道容量的计算。

10、会判断强对称离散信道，对称离散信道，并会计算其信道容量。