信息论 总复习

Hc(X) 已不能代表信源的平均不确定度，也不能代表连续信 源输出的信息量。
17
信源编码
Wuhan University
离散信源的无失真编码实质上是一种统计匹配 编码。信息论指出信源中的统计多余度主要决定于 以下两个主要因素： 一是消息概率分布的非均匀性，另一个是消息 间的相关性。对无记忆信源主要决定于概率分布的 非均匀性，但是，对于有记忆信源，两者都起作用 ，且后者相关性更加重要。
ຫໍສະໝຸດ Baidu
自信息量、条件自信息量和联合自信息量之 间的关系
5

互信息量：yj 对 xi 的互信息量定义为的后 验概率与先验概率比值的对数。
Wuhan University

两个不确定度之差是不确定度被消除的部分 ，即等于自信息量减去条件自信息量。
6
Wuhan University

平均信息量—信源熵：自信息的数学期望。也称为 信源的信息熵/信源熵/无条件熵/熵。
凡是能载荷一定的信息量,且码字的平均长度最短, 可分离的变长码的码字集合就称为最佳变长码. 必须将概率大的信息符号以短的码字, 将概率小的 信息符号以长的码字. 主要有:香农-费诺(Shannon-Fano),哈夫曼(Huffman) 编码等
唯一可译性的两种解决方法
Def.逗点码 Def.异字头码
20
总 复 习
Wuhan University
1 绪论 2 信源的信息量 3 离散信源 4 离散信源的无失真编码 5 离散信道及其编码定理 6 连续信道及其容量 8 信息率失真理论及其应用 10 线性分组码
1
Wuhan University
信息论的研究对象:通信系统模型.
信源
消息
编码器
信号
信道
干扰
线性码能纠t个错
误的充要条件是码的最小距离为
34
Wuhan University
伴随式和错误检测
① 用监督矩阵编码，也用监督矩阵译码：接收到一 个接收字 R 后，校验 HRT=0T 是否成立：
若关系成立，则认为 R 是一个码字； 否则判为码字在传输中发生了错误；
② 伴随式/监督子/校验子：S=RHT或ST=HRT。 ③ 如何纠错？
2香农费诺编码
Wuhan University
费诺编码步骤如下： a.将概率按从大到小的顺序排列，令 b.按编码进制数将概率分组，使每组概率尽可能接近 或相等。
c.给每一组分配一位码元。
d.将每一分组再按同样原则划分，重复步骤b和c，直 至概率不再可分为止。
21
3 哈夫曼编码
Wuhan University
a.将信源符号按概率从大到小的顺序排列，令 b.给两个概率最小的信源符号p(xn-1)和p(xn)各分配 一个码位0和1，将这两个符号合并成一个新符号，其 概率之和作为新符号的概率，得到(n－1)个符号。 c.将缩减信源符号按概率排列，重复步骤a,b。直至 缩减信源只剩两个符号为止。 d.从最后一级缩减信源开始，依编码路径向前返回， 就得到各信源符号所对应的码字。 注意3进制编码？
解码器
消息
信宿
信号+干扰
信源 信道 加密
噪声源
通信系统模型
信源 信道 解密
通信系统的基本任务要求 可靠: 要使信源发出的消息经过传输后，尽可能准确地、 不失真或限定失真地再现在接收端 有效: 用尽可能短的时间和尽可能少的设备来传输最大的 消息
2
信源熵
单符号离散信源
Wuhan University
28
Wuhan University
对于 BSC 信道：最大化的 p(C’=C│R) 等价于最 大化的 p(R│C) ，最大化的p(R│C) 又等价于 最小化 d(R,C)，所以使差错概率最小的译码是 使接收向量 R 与输出码字 C’ 距离最小的译码 。
29
Wuhan University
对给定离散无记忆信道和任意e >0，若有一种编 码速率为R 的码，在N足够大时，能使pe<e，就 称R 是可达的。
12
Wuhan University

最大离散熵定理 (极值性) ：离散无记忆信源输 出 n 个不同的信息符号，当且仅当各个符号出 现概率相等时 (即p(xi)=1/n)，熵最大。 H[p(x1),p(x2),…,p(xn)]≤logn
13
Wuhan University

二进制信源的熵函数 H(p) 为
信道容量是完全描述信道特性的参量；信道容量是 信道能够传送的最大信息量。
24
当 n=2 时的强对称离散信道就是二进制均匀信道。 二进制均匀信道 的信道容量为：
C
Wuhan University
二进制均匀信道容量 曲线如图所示。
1.0
0
p 0.5 图3.2.5 二进制均匀信道容量曲线 1
25
对称DMC容量的计算
18
Wuhan University
Def. 可达速率：对于给定的信源和编码速率R及 任意δ>0，若存在L0、ξ()、D()，使当码长 L>L0时，Pe< δ ，就称R是可达的，否则R是不 可达的。 Th. 若R>H(U)，则R是可达的；若R<H(U)，则R是不 可达的。
19
Wuhan University

最小距离dmin：任意两个码字间距离最小值.
线性分组码：ci,cj是GF(q)上(n,k)分组码中的两 个码字,a,b GF(q)上两个元素,如果aci+bcj也是一个 码字,称码为线性分组码。(包含全0码字)

31
生成矩阵

Wuhan University
线性系统分组码: 通过行初等变换，将 G 化为前 k 列是单位子阵的标准形式
自信息量
–用概率测度定义信息量，设离散信源 X，其
概率空间为
–如果知道事件 xi 已发生，则该事件所含有的
自信息定义为
3
Wuhan University

联合自信息量

当 X 和 Y 相互独立时， p(xiyj)=p(xi)p(yj)
4
Wuhan University

条件自信息量：已知yj 的条件下xi 仍然存 在的不确定度。
X
Y
条件熵
H(X|Y)
X
Y
联合熵
H(XY)=H(YX)
X
Y
平均互信 I(X;Y)=I(Y;X) I(X;Y)=H(X)-H(X|Y) 息 =H(X)+H(Y)-H(X,Y)
X
Y
11
–数据处理定理（信息不增原理）
Wuhan University
I(X;Z) ≥ I(X;f(Z))=I(X;Y) H(X|Z) ≤ H(X|f(Z))=H(X|Y) 当消息通过多级处理器时,随着处理器数目的增多, 输入消息和输出消息之间的平均互信息量趋于变小。 信息不增
由于HCT=0T，所以 ST=HET 设H=(h1,h2,…,hn)，其中hi表示H的列。代入式得 到
36
Wuhan University
④ 总结 伴随式仅与错误图样有关，而与发送的具体码字无 关，即伴随式仅由错误图样决定； 伴随式是错误的判别式： 若S=0，则判为没有出错，接收字是一个码字；
设发送码矢 C=(Cn－1,Cn－2,…,C0) 信道错误图样为 E=(En－1,En－2,…,E0) ， 其中Ei=0，表示第i位无错； Ei=1，表示第i位有错。i=n－1,n－2,…,0。
35
Wuhan University
接收字 R 为 R=(Rn-1,Rn-2,…,R0)=C+E =(Cn-1+En-1,Cn-2+En-2,…,C0 +E0) 求接收字的伴随式（接收字用监督矩阵进行检验 ST=HRT=H(C+E)T=HCT+HET
定理(Shannon信道编码定理)，给定容量为C的离散 无记忆信道{X，p(x|y)，Y}，若编码速率R<C，则R 是可达的。
30
线性分组码

Wuhan University
码字重量：码字中非0码元符号的个数，汉明重量。
在二元线性码中，码字重量是码字中含“1”的个数
。 汉明距离：在(n,k)分组码中，两个码字 U、V 之间 对应码元位上符号取值不同的个数。

Wuhan University
结论 实现对称DMC信道容量的输入分布为等概分布

信道只关于输入对称的话（输入分布为等概分布）
26
连续信道的容量
香农公式
Wuhan University
当信道容量一定时，增大信道带宽，可以降低对信噪 功率比的要求；反之，当信道频带较窄时，可以通 过提高信噪功率比来补偿。 当信道频带无限时，其信道容量与信号功率成正比。

9
Wuhan University

平均互信息量定义：互信息量 I(xi;yj) 在联合概 率空间 P(XY) 中的统计平均值。

从一个事件获得另一个事件的平均互信息需要消除 不确定度，一旦消除了不确定度，就获得了信息。
10
平均互信息和熵的关系
熵 H(X)
Wuhan University
H(X)>=H(X|Y) H(X)=H(X|Y)+I(X;Y) H(X|Y)=H(XY)-H(Y) =H(X)-I(X;Y) H(XY)=H(X)+H(Y|X) =H(X|Y)+H(Y|X)+I(X;Y)
22
第3章

信道容量
Wuhan University
信道容量 C：在信道中最大的信息传输速率，单位 是比特/符号。 单位时间的信道容量 Ct：若信道平均传输一个符号 需要 t 秒钟，则单位时间的信道容量为


Ct 实际是信道的最大信息传输速率。
23
求信道容量的方法
Wuhan University
kbit信息位

(n-k)bit校验位
线性系统分组码：用标准生成矩阵Gk×n 编成的码字 ，这种信息数字(k位)在前,校验数字(r=n－k位)在 后的线性分组码称为线性系统分组码。
32
校验矩阵
Wuhan University
33
Wuhan University
1.最小距离与纠错能力：(n,k)
H(p) 1
0
0.5 图2.1.5 n=2时熵与概率的关系
1 p
14
Wuhan University
BSC信道的平均互信息量 设二进制对称信道的输入概率空间为

0 /q /q 1 1 q 0
q 图2.1.8 二元对称信道信道范例
15
Wuhan University
I(X;Y)
I(X;Y)
1-H(q)

信息熵的意义：信源的信息熵 H 是从整个信源的 统计特性来考虑的。它是从平均意义上来表征信源 的总体特性的。对于某特定的信源，其信息熵是唯 一的。不同的信源因统计特性不同，其熵也不同。
7
Wuhan University

条件熵：是在联合符号集合 XY 上的条件自信息 的数学期望。

联合熵 H(XY)：表示输入随机变量 X，经信道 传输到达信宿，输出随机变量 Y。即收、发双 方通信后，整个系统仍然存在的不确定度。
当信道特性 p(yj|xi) 固定后，I(X;Y)随信源概率分布 p(xi)的变化而变化。
调整 p(xi)，在接收端就能获得不同的信息量。由平均互 信息的性质已知，I(X;Y) 是 p(xi) 的上凸函数，因此 总能找到一种概率分布 p(xi)（即某一种信源），使信 道所能传送的信息率为最大。 C 和 Ct 都是求平均互信息 I(X;Y) 的条件极大值问题， 当输入信源概率分布 p(xi) 调整好以后， C 和 Ct 已 与 p(xi) 无关，而仅仅是信道转移概率的函数，只与 信道统计特性有关；
H(p)
0
0.5
p
0
q 0.5 1
图2.1.9 固定信道后平均互信息随信源变化的曲线
图2.1.10 固定信源后平均互信息随信道变化的曲线
16
Wuhan University

连续信源的熵为
定义的熵在形式上和离散信源相似。连续信源熵并不是实 际信源输出的信息量(绝对熵)； Hc(X) 也称为相对熵
连续信源的信息量为无限大；
8
Wuhan University

信道疑义度—H(X|Y)：表示信宿在收到 Y 后，信 源 X 仍然存在的不确定度。是通过有噪信道传输 后引起的信息量的损失，故也可称为损失熵。 噪声熵—H(Y|X)：表示在已知 X 的条件下，对于 符号集 Y 尚存在的不确定性，这完全是由于信道 中噪声引起的。唯一确定信道噪声所需要的平均信 息量。
27
信道编码
最佳译码准则（最大似然译码）
Wuhan University
通信是一个统计过程，纠、检错能力最终要反映到差 错概率上。 对于FEC方式，采用纠错码后的码字差错概率为pwe，
p(C)：发送码字C 的先验概率 p(C/R)：后验概率 若码字数为 2k，对充分随机的消息源有p(C)=1/ 2k ，所以最小化的pwe等价为最小化p(C’≠C│R )， 又等价为最大化p(C’=C│R)；