信息论与编码第一讲

i j
p (b j | ai ) log p (b j | a i )
j
H (Y | ai ) i 1, 2, n
H (Y | X ) H (Y | a i ) H ( p 1 , p 2 , p m )
• 对称DMC信道的容量
C log m H ( p1 , p 2 p m ) log m p ij log p ij
计分方式
期终考试占60％ 专题报告占20％；个人报告占20％ 小论文占20%
二、信息概念、信息论
2.1 信息 信息、消息、信号 信息是抽象、复杂的概念，它包含在消息之中， 是通信系统中传递的对象。 2.2 信息定义 信息就是事物运动的状态和方式，就是关于事 物运动的千差万别的状态和方式的知识。
I X ; Y H Y H Y | X
噪声熵
条件熵可看作唯一地确定信道噪声所需要的平均信息量（散布度）
无扰信道
I X ; Y H X H Y
H X |Y H X
噪声很大的信道
四、信道及其容量
4.1
4.2
4.3 信道容量计算
X
P x | y j log
X
Px | yj P x
定理2.5
XY联合集上的条件互信息量满足
y j 通过有扰信道的接收符号
当且仅当X集合中的各x都与 yi独立时，等号成立
x
任意一个可能被传输的消息
结论：有扰信道中接收到的符号所提供的
关于传输消息的平均信息量总是非负量。
平均互信息量： 平均条件互信息量在整个Y集合上的概率加权平均值 。
教学计划
第一讲：信息论（复习） 第二讲：有噪信道编码理论、线性分组码 （讲述和讨论） 第三讲：近世代数基础、循环码（讲述和 讨论） 第四讲：BCH码、RS码（讲述和讨论） 第五讲：卷积码编码（讲述和讨论） 第六讲：卷积码译码（讲述和讨论） 第七讲：Turbo码（讲述和讨论）
参考书
（1）纠错码——原理与方法（ 2001），西安电子科 技大学出版社； （2） 傅祖芸编著，《信息论－基础理论与应用》 （2001），北京：电子工业出版社； （3）姜丹，《信息论与编码》 （ 2001），合肥，中 国科学技术大学出版社； （4）曹雪虹，张宗橙，信息论与编码（ 2004），北 京，清华大学出版社。
第一讲
主 讲 人：刘丹平 联系方式：ldp@
主要内容
课程介绍 信息概念、信息论 信息的度量 信道及其容量
一、课程介绍
信息论与信道编码
教学目标
• 香农信息论的基本理论 – 信息的统计度量，信源，信道和信道容量。 • 编码的理论和实现原理 – 近世代数基础 ；信道编码定理；线性分组码 、 循环码、 卷积码 、 Turbo码的编、译码方法。 • 教学重点 – 信息度量、信源描述、信道容量 – 近世代数基础 、线性分组码 、循环码、 卷积码、 Turbo码的编、译码方法。
H(P)
1
最大熵
0
0.5
1
P
条件熵
条件熵是联合空间XY上的条件自信息量的概率加 权平均值。 若给定x条件下y的条件自信息量为I(y|x)，则它 在XY集合上的概率加权平均值H(Y|X)定义为：
H Y | X P xy I y | x
XY
H(Y|X)为条件熵，也可直接定义为：
I
X ;Y
H X H Y
与熵和共熵的关系
I X ;Y 0
I X ; Y H X H Y H XY
I X ;Y H X H X | Y
疑义度
条件熵可看作由于信道噪声而损失的信息量（损失熵） 也可以看作由于信道噪声所造成的对信源消息的平均不确定性
当且仅当信源中各符号的出现概率P(x)都等于时 1/M，上式取等号，可得最大熵：
H X max log M
二元信源的信源熵
二元信源的信源熵
信源X有两个消息，M=2 一个符号出现概率P 另一个符号出现概率1－P 该信源的熵
H X P log P 1 P log 1 P
XY
与信源熵和条件熵的关系
H XY H X H Y | X
H XY H Y H X | Y
联合熵与条件熵的关系
H ( XY ) p ( xi y j ) I ( xi y j )
i j
p ( xi y j )[ I ( xi ) I ( y j / xi )]
X
I xi log P xi
代入
H X P x log P x
X
信息论的一个基本的重要公式。
此式与统计热力学中“熵”的表示形式相同，因此往 往把平均自信息量H(X)称为熵。H(X)是P(x)的函数。
定理:
熵满足不等式
H X log M
• 离散信道可分成： • 特殊信道
– 无噪无损信道 – 有噪无损信道 – 无噪有损信道
• 有干扰无记忆信道 • 有干扰有记忆信道
特殊信道
信道名称 信道特征 信息传输情况 H(X/Y)=H(X) I(X;Y)=0 全损信道 P(xy)=P(x)P(y)
无损无噪 P(x/y)=0 or 1 信道 且P(y/x)=0 or 1
• 不具有对称性,因而所对应的信通不是对 称离散信道。
• 若输入符号和输出符号个数相同,都等于n,且信 道矩阵为
p p 1 p n 1 n 1 p p 1 p P n 1 n 1 p p n 1 n 1 1 p
• 此信道称为强对称信道 (均匀信道)
– 信道矩阵中各列之和也等于1
• 对称离散信道的平均互信息为
I ( X ,Y ) H ( X ) H ( X | Y ) H (Y ) H (Y | X )
H (Y | X ) p ( a i ) p (b j | a i ) log p (b j | a i )
条件自信息量
条件自信息量用其条件概率的负对数来量度 随机事件
xi
条件概率
P xi y j


条件自信息量
I xi y j log P xi y j




条件自信息量：能在规定条件下唯一地确定该事件 必须提供的信息量。
3.2 互信息量
先验概率
对于预先知道信源X集合的概率空间P(xi)的情况，各个 符号xi(i=1,2,…)的概率P(xi)。
j j 1
所以 H( X Y ) = H(X )＋H(Y | X ) 同理 H( X Y ) = H(Y )＋H( X | Y )
而当X、Y 是统计独立的两个信源： H( X Y ) = H(X )＋ H(Y联合集上的平均条件互信息量
I X ; y j P x | y j I x; y j
“通信的基本问题就是在一 点重新准确地或近似地再 现另一点所选择的消息”。 这是香农在他的惊世之著 《通信的数学理论》中的 一句铭言。正是沿着这一 思路,他应用数理统计的方 法来研究通信系统，从而 创立了影响深远的信息论。
他的成就轰动了世界， 激起了人们对信息理论的巨 大热情。信息论向各门学科 冲击，研究规模像滚雪球一 样越来越大。不仅在电子学 的其他领域，如计算机、自 动控制等方面大显身手，而 且遍及物理学、化学、生物 学、心理学、医学、经济学、 人类学、语音学、统计学、 管理学……等学科。它已远 远地突破了香农本人所研究 和意料的范畴，即从香农的 所谓“狭义信息论”发展到 了“广义信息论”。
三、信息的度量
3.1 自信息量
随机事件
xi
出现概率
P xi
自信息量定义
I xi log P xi
随机事件的不确定性 出现概率小的随机事件所包含的不确定性大， 它的自信息量大。 出现概率大的随机事件所包含的不确定性小， 它的自信息量小。 在极限情况下，出现概率为1的确定性事件， 其自信息量为零。

3.3 通信熵
无记忆信源 信源往往包含着多个符号，且各个符号的出现 概率按信源的概率空间分布。 当各个符号的出现相互独立时，这种信源称为 无记忆信源。 无记忆信源的平均自信息量是各消息自信息量 的概率加权平均值（统计平均值）。 通信熵
平均自信息量
自信息量
H X P x I x
后验概率
当信宿Y收到集合中的一个符号yj后，接收者重新估计 的关于信源各个符号的概率分布就变成条件概率。对 消息xi而言，其条件概率定义为P(xi|yj)。
互信息量
互信息量定义为后验概率与先验概率比值的对数： P xi | y j I xi ; y j log P xi



i j
p ( xi y j ) I ( xi ) p ( xi y j )I ( y j / xi )
i j i j
p ( xi ) I ( xi ) H (Y / X )
i
H ( X ) H (Y / X )
p ( xi ) p ( xi y j ) p ( y j ) p ( xi | y j ) 全概率公式
无损信道 P(x/y)=0 or 1 无噪信道 P(y/x)=0 or 1
H(X/Y)= H(Y/X)=0 I(X;Y)=H(X)=H(Y)
H(X/Y)= 0 I(X;Y)=H(X)
H(Y/X)=0 I(X;Y)=H(Y)
对称DMC信道
对称性:
– 每一行都是由同一集{p1, p2,…pm} 的诸元素 不同排列组成——输入对称 – 每一列都是由集{q1, q2,…qn}的诸元素不同 排列组成——输出对称