清华大学 通信原理概论 绪论与信息论基础 第一章讲义

《通信原理概论》 Introductory Principles of Communications
第一讲 绪论与信息论基础
陈巍 副教授 电子工程系
课程信息
本讲提纲
通信绪论
信息论基础
课程信息
我的联系方式
办公室：东主楼11区330
电话：62771026
E-mail：wchen@
离散随机变量的信息度量
令 H (X = xi ) = f ( pi ) 抛硬币两次，若均为反面{00}，其带来的信 息可用两种方法计算
方法一：抛一次观测一次，获得的总信息量是
f
⎛ ⎜⎝
1 2
⎞ ⎟⎠
+
f
⎛ ⎜⎝
1 2
⎞ ⎟⎠
方法二:一下观测两次结果，获得的总信息量是
f
⎛ ⎜⎝
1 2
×
1 2
⎞ ⎟⎠
X
~
⎛0 ⎜⎝1/ 2
1 1/ 4
2 1/8
3⎞ 1/ 8⎟⎠
描述它的二进制序列最短平均长度应为
H (X) = 1 log 2 + 1 log 4 + 1 log 8 + 1 log 8 = 1 3
2
4
8
8
4
熵的应用
达到最小平均长度的序列为
01 2 3 ⇓⇓ ⇓ ⇓ 0 10 110 111
这种对应关系称为信源编码（Source Coding），它通过信息的有效表示，提高通 信的有效性
显然，即使是最简单的信道，信道容量的 计算也不容易！
Blahut提出了一种迭代算法计算信道容量
R. E. Blahut, Computation of Channel Capacity and Rate-Distortion Function, IEEE Transactions on Information Theory, No. 4, pp. 460-473, July 1972.
j
∑∑ H( X ) = −
pi, j log pi
ij
∑∑ H(Y | X ) = −
p log p
i, j
j|i
ij
∑∑ H ( X ) + H (Y | X ) = −
pi, j log( pi p j|i )
ij
∑∑ = − p log p
i, j
i, j
ij
注意这个常用方法
= H ( XY )
上面的信源编码方式称为Huffman编码
思考：对方随机抽取一张扑克牌，你最少需要 问几个问题可以知道其花色？
最大熵
离散随机变量的最大熵为
max H (X) = log | S | pi
其中，S表示该随机变量的取值集合
证明：用拉格朗日乘子求解如下优化问题
|S |
1
∑ max : − pi log pi 本门课强调基 0.8
Y
可观测的结果
信息通道，简称信道（Channel）对于输入符号 有随机扰动，本质上可用一组条件概率表示
限于物理条件，信宿只能观测信道输出Y，由 此了解其输入X
通过观测Y可以获得的关于X的信息量是I(X;Y)
信息传输的优化
目标
最大化发送端X和接收端Y的互信息
方法
显然，信道是由物理实现所决定的，难以控制 但是，我们可以选择X的概率分布
一个随机变量的不确定性＋知道这个随机变量 后另一个随机变量残余的不确定性
这一关系又称链式法则（Chain Rule），是信息 论最重要的公式之一，其对偶的表达式还有 H ( XY ) = H (Y ) + H ( X | Y )
链式法则的证明
由于链式法则非常重要，我们试证明之
∑ 注意到 pi = pi, j
反之亦然！
再谈相等性
若X=Y，即 Pr{| X − Y |> δ} ≤ ε 则
I( X ;Y ) = H ( X ) = H (Y ) H ( X | Y ) = H (Y | X ) = 0
观测一个随机变量就完全了解了另一个！
反之亦然
信息传输的本质
信息传输的基本模型
X
希望了解的内容
p j|i
信息通道
离散随机变量的信息度量
首先考虑离散随机变量，连续的后面再说
既然某一随机事件蕴含的信息量是其概率的减 函数，那么这个减函数是什么？
令 pi = Pr{X = xi }
H(X
=
xi ) =
log
1 pi
=
− log pi
凭什么这么定义？！
跳过严格的证明，我们从如下这个例子来看这 个定义的合理性与必然性
于是，有如下优化问题
pi* = arg max I (X;Y ) ∑i pi =1, pi ≥0
并且定义信道容量 C = max I(X;Y )
∑i pi =1, pi ≥0
信道容量的计算
优化问题的表达式
∑ pi p j|i
∑∑ pi* = arg max − ∑i pi =1, pi ≥0 i
j pi p j|i log i p j|i
投掷硬币：“1”——正面，“0”——反面
我们只知道，先验分布
⎛0 1⎞ X ~ ⎜⎝ 0.5 0.5⎟⎠
观测投掷结果，消除了随机结果的不确定性， 带来了信息！
信息的度量
什么样的事情信息量大？
从刮奖说起… “谢谢支持”—— 都说天上不会掉馅饼，认了… “500万”——人品爆发，惊喜啊！
物以稀为贵，信息也是! 小概率事件蕴含的信息量大!
定义条件熵 pi|j = Pr{X = xi | Y = yj } 注意不是p_i|j
∑∑ H (X | Y ) = −
pi, j log pi| j
ij
一个重要的等式
熵，联合熵和条件熵的关系
H ( XY ) = H ( X ) + H (Y | X ) 物理意义：两个随机变量的联合不确定性＝
课程定位
基本原理与方法，强调概念为主，推导为辅
课程信息
教材
《现代通信原理》曹志刚，钱亚生
参考书
《数字微波中继通信工程》姚彦，梅顺良，高葆新 《Digital Communications: Fundamentals and
Applications》 B. Sklar 《Digital Communications》 J. G. Proakis 对于勇于自我挑战的同学，推荐《Principles of
熵的单位换算
底为10，其单位是哈特（Hartely）
∑ ∑ Hb( X ) = − pi logb pi = − pi logb a loga pi = logb aHa ( X )
i
i
熵的应用
熵（单位bit）
用以描述一个随机变量的二进制序列的最短平 均长度
表示了信息描述的有效性极限
考虑随机变量
| A I B |=| A | + | B | − | A U B | =| A | − | A − B | =| B | − | B − A |
互信息（Mutual Information）
互信息的定义
互信息有三种等效的定义（为什么说是等效 的？） I( X ;Y ) = H ( X ) + H (Y ) − H ( XY ) = H(X)− H(X |Y) = H (Y ) − H (Y | X )
通信原理的学习内容
本课程中大家将要了解的知识
信息的度量和表示，信息传输的性能极限 典型信源（语音为主）的采样、编码和压缩 信息传输的信号调制和解调（数字通信为主） 通信中的纠错码 多址和复用
通信系统最简单的模型
信息源 （Source）
发送设备 （Transmitter）
信息宿 （Destination）
熵的直观表示
文氏图
H(X |Y)
H ( XY )
H (Y | X )
H(X)
H (Y )
文氏图的启示：信息论的公式可以由集合运算对应得到！
文氏图的启示
文氏图把熵关系和集合运算对应起来
集合的并——联合熵 集合的减——条件熵 链式法则的集合运算对应
H ( XY ) = H ( X ) + H (Y | X ) ⇔| A U B |=| A | + | B − A | 集合的交——？？？ 但至少我们知道集合运算有
由于噪声、干扰、衰落等因素的影响，信息的 信号载体在传输中可能会失真、变形，从而导 致信息传递的错误
可靠性 如何减少信息传递中的差错？
如何度量信息、资源、失真以及差错？
信息论基础
信息是什么？
能够消除不确定性的“东西” 信息论中，关注由随机性带来的不确定性 因此，用随机变量描述不确定事物
一个例子
接收设备 （Receiver）
人工系统
信道 （Channel）
失真 （Distortion）
物理环境
现代通信系统的基本模型
这个活泼的学科里有帅哥，亦有美女
信源编码
加密
信道编码
复用
基带调制 脉冲成型
载波解调
基带解调 采样判决
解复用
信道
信道解码
解密
载波调制 信源解码
通信原理的学习方法
除信息论部分外，我们按模块划分来学习 整个通信系统，大家要关注
=
f
⎛1⎞ ⎜⎝ 4 ⎟⎠
显然，观测方式不同不会改变获得的信息量
离散随机变量的信息度量
所以，H (X = xi ) = f ( pi ) 一定要满足
f
⎛ ⎜⎝
1⎞ 4 ⎟⎠
=
f
⎛ ⎜⎝
1 2
⎞ ⎟⎠
+