清华大学 通信原理概论 绪论与信息论基础 第一章讲义

熵的直观表示
文氏图
H(X |Y)
H ( XY )
H (Y | X )
H(X)
H (Y )
文氏图的启示：信息论的公式可以由集合运算对应得到！
文氏图的启示
文氏图把熵关系和集合运算对应起来
集合的并——联合熵 集合的减——条件熵 链式法则的集合运算对应
H ( XY ) = H ( X ) + H (Y | X ) ⇔| A U B |=| A | + | B − A | 集合的交——？？？ 但至少我们知道集合运算有
由于噪声、干扰、衰落等因素的影响，信息的 信号载体在传输中可能会失真、变形，从而导 致信息传递的错误
可靠性 如何减少信息传递中的差错？
如何度量信息、资源、失真以及差错？
信息论基础
信息是什么？
能够消除不确定性的“东西” 信息论中，关注由随机性带来的不确定性 因此，用随机变量描述不确定事物
一个例子
定义条件熵 pi|j = Pr{X = xi | Y = yj } 注意不是p_i|j
∑∑ H (X | Y ) = −
pi, j log pi| j
ij
一个重要的等式
熵，联合熵和条件熵的关系
H ( XY ) = H ( X ) + H (Y | X ) 物理意义：两个随机变量的联合不确定性＝
j
∑∑ H( X ) = −
pi, j log pi
ij
∑∑ H(Y | X ) = −
p log p
i, j
j|i
ij
∑∑ H ( X ) + H (Y | X ) = −
pi, j log( pi p j|i )
ห้องสมุดไป่ตู้
ij
∑∑ = − p log p
i, j
i, j
ij
注意这个常用方法
= H ( XY )
∑ ∑ ⎡
⎤
= H (Y ) −
p i
⎢−
p j|i log p j|i ⎥
i ⎣j
⎦
离散随机变量的信息度量
首先考虑离散随机变量，连续的后面再说
既然某一随机事件蕴含的信息量是其概率的减 函数，那么这个减函数是什么？
令 pi = Pr{X = xi }
H(X
=
xi ) =
log
1 pi
=
− log pi
凭什么这么定义？！
跳过严格的证明，我们从如下这个例子来看这 个定义的合理性与必然性
接收设备 （Receiver）
人工系统
信道 （Channel）
失真 （Distortion）
物理环境
现代通信系统的基本模型
这个活泼的学科里有帅哥，亦有美女
信源编码
加密
信道编码
复用
基带调制 脉冲成型
载波解调
基带解调 采样判决
解复用
信道
信道解码
解密
载波调制 信源解码
通信原理的学习方法
除信息论部分外，我们按模块划分来学习 整个通信系统，大家要关注
=
f
⎛1⎞ ⎜⎝ 4 ⎟⎠
显然，观测方式不同不会改变获得的信息量
离散随机变量的信息度量
所以，H (X = xi ) = f ( pi ) 一定要满足
f
⎛ ⎜⎝
1⎞ 4 ⎟⎠
=
f
⎛ ⎜⎝
1 2
⎞ ⎟⎠
+
f
⎛ ⎜⎝
1 2
⎞ ⎟⎠
并且，我们希望信息量是正的。
因此
H (X = xi ) = − log pi
Digital Communication》 R. Gallager
通信绪论
通信的内涵
通——传递 信——信息 借助于物理载体，实现信息在空间和时间上的传递
狭义的通信（分类不唯一，也不严格）
语音通信—— 手机，对讲机 图像通信—— 广播，监控 数据通信—— 电驴，FTP，电报
广义的通信
存储系统—— 光盘，磁带 遗传系统—— DNA 神经系统—— 脊髓，脑神经元
反之亦然！
再谈相等性
若X=Y，即 Pr{| X − Y |> δ} ≤ ε 则
I( X ;Y ) = H ( X ) = H (Y ) H ( X | Y ) = H (Y | X ) = 0
观测一个随机变量就完全了解了另一个！
反之亦然
信息传输的本质
信息传输的基本模型
X
希望了解的内容
p j|i
信息通道
课程定位
基本原理与方法，强调概念为主，推导为辅
课程信息
教材
《现代通信原理》曹志刚，钱亚生
参考书
《数字微波中继通信工程》姚彦，梅顺良，高葆新 《Digital Communications: Fundamentals and
Applications》 B. Sklar 《Digital Communications》 J. G. Proakis 对于勇于自我挑战的同学，推荐《Principles of
通信原理的学习内容
本课程中大家将要了解的知识
信息的度量和表示，信息传输的性能极限 典型信源（语音为主）的采样、编码和压缩 信息传输的信号调制和解调（数字通信为主） 通信中的纠错码 多址和复用
通信系统最简单的模型
信息源 （Source）
发送设备 （Transmitter）
信息宿 （Destination）
上面的信源编码方式称为Huffman编码
思考：对方随机抽取一张扑克牌，你最少需要 问几个问题可以知道其花色？
最大熵
离散随机变量的最大熵为
max H (X) = log | S | pi
其中，S表示该随机变量的取值集合
证明：用拉格朗日乘子求解如下优化问题
|S |
1
∑ max : − pi log pi 本门课强调基 0.8
理解二：I( X ;Y ) = H (Y ) − H (Y | X ) Y的不确定度减去观测X后Y残存的不确定度 即：通过观测X带来的帮助了解Y的信息
再谈独立性
若随机变量X和Y相互独立，则
I( X;Y) = 0 H(X) = H(X |Y) H (Y ) = H (Y | X )
观测一个随机变量完全无助于了解另一个！
更多的时候，需要一点点技巧！
对称二进制信道
Binary Symmetric Channel（BSC）
这是一种典型的信道模型，在分析信道编码时 有很多应用
基本模型
1−ε
0
0
ε
1
1−ε
1
有兴趣的同学可以利用上页的优化问题直接计算一下！
BSC的容量计算
利用互信息的表达式
I ( X ;Y ) = H (Y ) − H (Y | X )
X
~
⎛0 ⎜⎝1/ 2
1 1/ 4
2 1/8
3⎞ 1/ 8⎟⎠
描述它的二进制序列最短平均长度应为
H (X) = 1 log 2 + 1 log 4 + 1 log 8 + 1 log 8 = 1 3
2
4
8
8
4
熵的应用
达到最小平均长度的序列为
01 2 3 ⇓⇓ ⇓ ⇓ 0 10 110 111
这种对应关系称为信源编码（Source Coding），它通过信息的有效表示，提高通 信的有效性
离散随机变量的信息度量
令 H (X = xi ) = f ( pi ) 抛硬币两次，若均为反面{00}，其带来的信 息可用两种方法计算
方法一：抛一次观测一次，获得的总信息量是
f
⎛ ⎜⎝
1 2
⎞ ⎟⎠
+
f
⎛ ⎜⎝
1 2
⎞ ⎟⎠
方法二:一下观测两次结果，获得的总信息量是
f
⎛ ⎜⎝
1 2
×
1 2
⎞ ⎟⎠
直观上看，它对应于集合的交
| A I B |=| A | + | B | − | A U B | =| A | − | A − B | =| B | − | B − A |
互信息的理解
文氏图表示
I( X;Y)
互信息的理解
互信息的物理意义
理解一：I( X ;Y ) = H ( X ) − H ( X | Y ) X的不确定度减去观测Y后X残存的不确定度 即：通过观测Y带来的帮助了解X的信息
f(p)还可能有别的形式吗？
这还不够！ 仅仅描述了一种随机结果发生时带来的信息
离散随机变量的信息度量
随机变量的不确定性度量
各个随机结果带来信息的均值
表达式
∑ H (X) = E{H (X = xi )} = − pi log pi
i
称为熵，是信息论中最基本的物理量
熵的单位和对数的底有关
底为2，其单位是比特（Bit） 底为e，其单位是奈特（Nat）
Y
可观测的结果
信息通道，简称信道（Channel）对于输入符号 有随机扰动，本质上可用一组条件概率表示
限于物理条件，信宿只能观测信道输出Y，由 此了解其输入X
通过观测Y可以获得的关于X的信息量是I(X;Y)
信息传输的优化
目标
最大化发送端X和接收端Y的互信息
方法
显然，信道是由物理实现所决定的，难以控制 但是，我们可以选择X的概率分布
| A I B |=| A | + | B | − | A U B | =| A | − | A − B | =| B | − | B − A |
互信息（Mutual Information）
互信息的定义
互信息有三种等效的定义（为什么说是等效 的？） I( X ;Y ) = H ( X ) + H (Y ) − H ( XY ) = H(X)− H(X |Y) = H (Y ) − H (Y | X )
该模块的作用 该模块的设计目标和约束 基本模型，即输入、输出关系 模块的性能参数
不要求掌握复杂的数学推导，而是希望大家掌 握每个模块最基本的概念，原理和分析方法！
通信中的基础问题？
通信的资源
信息的发送，信道的使用，实质上都要占用某 种物理资源，如功率、带宽。
通信的失真
有效性 如何减少信息传递所需要的资源？ 如何利用给定资源尽可能多传递信 息？
显然，即使是最简单的信道，信道容量的 计算也不容易！
Blahut提出了一种迭代算法计算信道容量
R. E. Blahut, Computation of Channel Capacity and Rate-Distortion Function, IEEE Transactions on Information Theory, No. 4, pp. 460-473, July 1972.
i=1
本概念，所以
0.6
⎧ |S|
这里给出2元
s.t.
∑ ⎪
⎨
pi = 1
i=1
随机变量的一 0.4 个直观结果 0.2
⎪ ⎩
pi ≥ 0
0
0
0.2
0.4
0.6
0.8
1
熵的推广
联合熵
物理意义：描述两个随机变量的联合不确定度， 即观测两个随机事件结果所带来的信息
两个随机变量的概率测度——联合概率
pi, j = Pr{X = xi ,Y = yj } 类似与熵，定义联合熵
∑∑ H (XY ) = −
pi, j log pi, j
ij
熵的推广
条件熵
物理意义： 描述给定一个随机变量，另一个随 机变量残存的不确定度，即已知一个随机事件 结果，观测另一个随机事件结果所带来的信息
一个随机变量条件于另一个随机变量的概率测 度——条件概率
《通信原理概论》 Introductory Principles of Communications
第一讲 绪论与信息论基础
陈巍 副教授 电子工程系
课程信息
本讲提纲
通信绪论
信息论基础
课程信息
我的联系方式
办公室：东主楼11区330
电话：62771026
E-mail：wchen@tsinghua.edu.cn
于是，有如下优化问题
pi* = arg max I (X;Y ) ∑i pi =1, pi ≥0
并且定义信道容量 C = max I(X;Y )
∑i pi =1, pi ≥0
信道容量的计算
优化问题的表达式
∑ pi p j|i
∑∑ pi* = arg max − ∑i pi =1, pi ≥0 i
j pi p j|i log i p j|i
熵的单位换算
底为10，其单位是哈特（Hartely）
∑ ∑ Hb( X ) = − pi logb pi = − pi logb a loga pi = logb aHa ( X )
i
i
熵的应用
熵（单位bit）
用以描述一个随机变量的二进制序列的最短平 均长度
表示了信息描述的有效性极限
考虑随机变量
投掷硬币：“1”——正面，“0”——反面
我们只知道，先验分布
⎛0 1⎞ X ~ ⎜⎝ 0.5 0.5⎟⎠
观测投掷结果，消除了随机结果的不确定性， 带来了信息！
信息的度量
什么样的事情信息量大？
从刮奖说起… “谢谢支持”—— 都说天上不会掉馅饼，认了… “500万”——人品爆发，惊喜啊！
物以稀为贵，信息也是! 小概率事件蕴含的信息量大!
一个随机变量的不确定性＋知道这个随机变量 后另一个随机变量残余的不确定性
这一关系又称链式法则（Chain Rule），是信息 论最重要的公式之一，其对偶的表达式还有 H ( XY ) = H (Y ) + H ( X | Y )
链式法则的证明
由于链式法则非常重要，我们试证明之
∑ 注意到 pi = pi, j