清华大学电子系通信原理第一讲_15809025(xin)

2008春季学期《现代通信原理》
第一讲 通信概论与信息论初步
Dr. 陈巍 清华大学电子工程系 2008年02月26日


可能有用的信息
课堂的规则 评分依据
平时作业 大作业 考试（期中随堂，期末） 积极参与课堂讨论有奖！ 概率与统计 信号与系统 线性代数 办公室：10-316，电话：62794923，E-mail： wchen@ 网络学堂——课程的幻灯片，补充讲义，在线答疑 助教（张婧垚1-3，计哲4-7，饶毓8-11），课代表（每班一名） 答疑
先修课程要求
交流平台


工欲善其事，必先利其器
课本
《现代通信原理》，曹志刚等，清华大学出版社
参考书
英文参考书：
E1. 《Introduction to digital communication》 Rodger E. Ziemer E2. 《Principle of communication engineering》 Wozencraft & Jacobs E3. 《Communication systems engineering》 Proakis & Salehi
中文参考书：
C1. 《数字微波中继通信工程》，姚彦、梅顺良、高葆新，人民邮电出版社 有电子版可供下载！ C2. 《通信原理》（1980, 1984），樊昌信，国防工业出版社 C3. 《现代通信理论基础（上册）》，樊平毅，冯重熙，清华大学出版社
补充讲义
网络学堂下载


这门课程能带来那方面知识？
信息表示，压缩与传输的基础理论
信息是什么？如何测度？信息世界的基本规律是什么？
通信系统的建模
现代通信系统如何描述？有哪些关键参数？
常见的通信系统
当前主流的通信体制与算法有什么？
通信系统的分析
对于给定的通信系统，其性能如何？
通信系统的设计
对于给定的性能指标，如何设计达到其性能的方案？
*通信系统的仿真
如何使用计算机，评价和测试复杂的通信系统？


通信简史（1）
前772年，姬宫湦（周幽王）烽火戏诸侯 1864年，Maxwell提出电磁理论，预言了电磁波的存在 1885年，Hertz通过实验证明了电磁波的存在 1891年，Tesla提出了无线电报的设想 1894年，Popov制造了无线电接收机原型 1895年，Marconi将无线电信号传输距离提高到1公里以上 1898年，Popov实现了超过6公里的船岸通信 1901年，Marconi实现了无线电越洋传输


通信简史（2）
1920年，匹兹堡设立了首个KDKA民用广播电台 1928年，Nyquist提出了模拟信号的数字采样定理 1933年，Armstrong申请了模拟频率调制（FM）的专利 1939-1945（WWII），军事应用驱动使得通信技术获得飞速发展 1946年，首次将移动用户接入到公共交换电话网（PSTN） 1947年，Shockley发明了晶体管 1948年，Shannon提出了通信的数学理论——信息论 1948年，Neumann发明了计算机


通信简史（3）
1950年，Hamming提出了数字通信的一种结构化纠错码 1959年，Kilby发明了集成电路技术 1963年，Gallager提出了低密度奇偶校验码（LDPC） 1966年，高锟制成了实用的光纤 1967年，Viterbi提出了针对卷积码的低复杂度译码算法


通信简史（4）
1968年，Kleinrock的实验室成为APRA的第一个节点并成为其测量 中心 1972年，Cover提出了广播信道理论 1979年，NTT开发了首个蜂窝移动通信系统 1984年，Verdu在博士论文中进行了多用户检测的先驱研究 1989年，GSM（Group Special Mobile）标准在欧洲提出 1991年，单兵无线通信系统在海湾战争中得到广泛应用


通信简史（5）
1993年，Berrou等提出了Turbo码 1993年，IS-95标准（CDMA）标准在美国提出 1995年，Foschini提出了多天线无线传输系统 1997年，IEEE提出802.11无线局域网标准 1998年，Alamouti提出空时编码 2001年，NTT试运行WCMDA服务，IEEE提出802.16标准 2003年，Li、Yeung、Cai提出了线性网络编码


通信是什么？
通信
通—— 流通，传递 信—— 信息 借助于物理载体，实现信息在时间或者空间上的传递。

狭义的通信（分类不唯一，也不严格）
语音通信—— 手机，对讲机 图像通信—— 广播，监控 数据通信—— 电驴，FTP，电报
广义的通信
存储系统—— 光盘，磁带 遗传系统—— DNA 神经系统—— 脊髓，脑神经元


互信息在通信中的物理意义
互信息（Mutual Information） I ( X ;Y ) = H ( X ) − H ( X | Y )
X
希望了解的内容 信息通道
p ( y j | xi )
Y
可观测的结果
观测到Y以后，对于随机实验X的不确定性的消除，其本质是信 息的传递——通信 条件概率 p ( y j | xi ) 是对一切信道的一致性和本征性描述！ 互信息描述了可靠信息传输的量
如何提高可靠信息传输的量？


信道容量
在通信系统设计中，我们的目标是最大化
I ( X ; Y ) = −∑∑ p ( xi , y j )log
i j
p ( yi ) p ( y j | xi )
= −∑∑ p ( xi ) p ( y j | xi ) log
i j
∑ p( x ) p( y
i i
j
| xi )
p ( y j | xi )
如何优化？
信道 p ( y j | xi ) —— 由客观物理环境所决定，不可控制 输入符号的分布 p ( xi ) —— 由发射机设计者所决定，可控制
信道容量
最大的可靠信息传输量（最大互信息） C = max I ( X ; Y )
p ( xi )
最优的信道编码，应当使输入符号的分布满足互信息最大的需求


对称二进制信道
对称二进制信道（BSC）
示意图
0
1− ε
0
有限域噪 声模型
ε
X
1 1
⎛ 0 N ~⎜ ⎝1 − ε
1⎞ ε⎟ ⎠
Y = X ⊕N
1− ε 输入输出分布 1 ⎞ 0 1 ⎛0 ⎛ ⎞ X ~⎜ Y ~⎜ ⎟ ⎟ ⎝ q + ε − 2qε 1 − q − ε + 2qε ⎠ ⎝ q 1− q ⎠ 01 10 11 ⎛ 00 ⎞ XY ~ ⎜ q − qε qε (1 − q )ε (1 − q )(1 − ε ) ⎟ ⎝ ⎠ 互信息 q (q + ε − 2qε ) q (1 − q − ε + 2qε ) − qε log f (q ) = I ( X ; Y ) = −(q − qε ) log q − qε qε (1 − q )(q + ε − 2qε ) (1 − q )(1 − q − ε + 2qε ) −(1 − q )ε log − (1 − q )(1 − ε ) log (1 − q )ε (1 − q )(1 − ε )


对称二进制信道（续）
信道容量 d f (q) = 0,0 ≤ q ≤ 1
dq
留给有兴趣的同学自己推导…
对于特殊的信道，是否存在较为巧妙的容量求法？
I ( X ; Y ) = H (Y ) − H (Y | X ) ⎡ ⎤ = H (Y ) − ∑ p ( xi ) ⎢ −∑ p ( y j | xi ) log p ( y j | xi ) ⎥ i ⎣ j ⎦ = H (Y ) − [ −ε log ε − (1 − ε ) log(1 − ε ) ]
注意到后一项为常数，所以最大化H(Y)即可
H (Y ) ≤ 1
1 ⎞ ⎛ 0 Y ~⎜ 1/ 2 1/ 2 ⎟ ⎝ ⎠
1 ⎞ ⎛ 0 X ~⎜ 1/ 2 1/ 2 ⎟ ⎝ ⎠
q=
1 2
C = 1 + ε log ε + (1 − ε ) log(1 − ε )


对称二进制信道（续）
BSC两种极端情况
差错概率 ε =
1 —— C = 1 + ε log ε + (1 − ε ) log(1 − ε ) = 0 2
差错概率 ε = 0 —— C = 1 + ε log ε + (1 − ε )log(1 − ε ) = 1
一点差错都没有，为什么信道容量不能无限制的增加？
对称性
⎛1 ⎞ ⎛1 ⎞ C ⎜ − Δε ⎟ = C ⎜ + Δε ⎟ ⎝2 ⎠ ⎝2 ⎠
当差错率大于1/2时，为什么增加 差错率反而能提高信道容量？ 从有限域噪声模型的角度理解， 又能获得什么启示？


通信系统的数学模型
人工系统包括：信源处理模块、信道处理模块
信息源
⎛ x X ~⎜ 1 ⎝ p ( x1 ) x2 xN ⎞ L ⎟ p ( x2 ) L p ( xN ) ⎠
信源编码器
（Source Encoder）
信道编码器
（Channel Encoder）
U = ϕ(X )
% X = f (U )
信息传递的有效性 和可靠性 信道 （Channel）
信息表示的有效性
% % p ( y j | xi )
信息宿
信源编码器
（Source Encoder）
信道解码器
（Channel Decoder）
Y
Y = ϕ −1 (V )
% V = g (Y )
用户终端
人工通信系统
物理环境


信息论中的简化计算
信息论公式的简化表示
H (X |Y) H ( XY )
H (Y | X )
H (X )
I ( X ;Y )
H (Y )
关于熵和互信息的运算，可以等效为集合的交、并、补、差等 运算。

具体对应规则如下： , ↔ U
; ↔ I | ↔ −


信息论基本公式的对应
信息论 集合
H (X ) ≥ 0 H (X ) ≥ H (X |Y) ≥ 0 H ( XY ) = H ( X ) + H (Y | X ) I ( X ; Y ) = H ( X ) + H (Y ) − H ( XY ) H ( XY ) = H ( X ) + H (Y ) ⇔ I ( X ; Y ) = 0 H ( X ) = 0 ⇔ p ( xi ) = {0,1} I(X ; X ) = H (X )
μ ( A) ≥ 0 μ ( A) ≥ μ ( A − B) ≥ 0 μ ( A U B ) = μ ( A) + μ ( B − A) μ ( A I B ) = μ ( A) + μ ( B) − μ ( A U B) μ ( A U B) = μ ( A) + μ ( B) ⇔ μ ( A I B) = 0 μ ( A) = 0 ⇔ A = φ μ ( A I A) = μ ( A)


KL距离 or Relative Entropy
KL距离
如何描述两种概率分布的接近程度？
p ( xi ) D( P || Q) = ∑ p ( xi ) log q ( xi ) i
性质1：
D( P || Q) ≥ 0
D( P || Q ) = 0 ⇔ ∀i, p ( xi ) = q ( xi ) 性质2： 为证明以上两条性质，给出如下引理：
（对数和不等式）：对于非负数 a1 ,L, an 和 b1 ,L, bn ，有不 ∑ ai ，等号条件为 ai = c 等式 a ⎛ ⎞ bi ai log i ≥ ⎜ ∑ ai ⎟ log i ∑ bi ⎝ i ⎠ i ∑ bi
i


对数和不等式
对数和不等式证明：构造函数 f (t ) = t log t
1 f ′′(t ) = log e t
对于t>0，f(t)为凸函数，于是由Jensen不等式，可得
⎛ ⎞ si f (ti ) ≥ f ⎜ ∑ si ti ⎟ ∑ i ⎝ i ⎠ ∑ si = 1, si ≥ 0 ，令 si = bi ti = ai i bi ∑ bi
i
其中
，可得
⎛ ⎞ bi ai ai ⎜ bi ai ⎟ bi ai ∑ b b log b ≥ ⎜ ∑ b b ⎟ log ∑ b b i ∑ i i i ∑ i i i ⎜ i ∑ i i⎟ i i i ⎝ ⎠
a ai log i ∑ bi i
∑a ⎛ ⎞ ≥ ⎜ ∑ a ⎟ log ⎝ ⎠ ∑b
i i i i
i
i


2008春季学期《现代通信原理》谢谢！。