02.Ch1+绪论与概览+_兼容模式_

第一章 绪论与概述
第一章 绪论与概述
香农贡献
• 第一定理（无失真信源编码定理）：给出 编码极限。 • 第二定理（有噪信道编码定理）：传输速 率小于信道容量，则误码率可以任意小。 • 第三定理（保失真度准则下的有失真信源 编码定理）：给定失真度，只要码字足够 长，就可以使编码的失真度小于给定失真 度。(EZW，DCT编码)
5
2013-09-10
第一章 绪论与概述
第一章 绪论与概述
AEP定理
条件：当随机变量的序列足够长时，其中一部分序 列就显现出一种典型的性质。 典型序列：序列中各个符号的出现频数非常接近于 各自的出现概率，而这些序列的概率则趋近于相等， 且它们的和接近1，这些序列就称为典型序列。 非典型序列：其余的非典型序列的出现概率之和接 近于零。 性质：序列的长度越长，典型序列的总概率越接近 于1，它的各个序列的出现概率越趋于相等(2-nH(X))。 渐近等同分割即因此得名。
图 1.1信息论与其它学科的关系
第一章 绪论与概述
第一章 绪论与概述
计算机科学
复杂度：由科尔莫戈罗夫给出，一组数据串的复杂 度可以定义为计算该数据串所需的最短二进制程序 的长度。 实质：最小描述长度。其定义为描述复杂度的理论 奠定了基础。 内在联系：若序列服从熵为H的分布，则该序列的 科尔莫戈罗夫复杂度K近似等于香农熵H。实际上， 科戈莫戈罗夫复杂度比香农熵更为基础。 应用：它不仅是数据压缩的临界值，而且也可以导 出逻辑上一致的推理过程。
1 1 H ( X ) pn log pn log 5(比特) 32 n 1 n 1 32
K K
例1.1.2 假定有8匹马参加的一场赛马比赛。设 8匹马的获胜概率分布为(1/2, 1/4, 1/8, 1/16 , 1/64 , 1/64 , 1/64 , 1/64) .计算出该场赛马的熵为
本书概览
信源熵：信源模型
X a1 a2 aK p ( x ) p ( a ) p ( a ) p (a ) 1 2 K
信源熵：
p
n 1
K
n
1
H ( X ) H ( p1 , p2 ,, pK ) pn log pn
n 1
第一章 绪论与概述
第一章 绪论与概述
电子工程（通信理论）
直觉：以正速率于有噪信道上发送信息，忽略误差概 率是不可能的。 事实：香农(Shannon)证明了只要通信速率小于信道 容量，可以使误差概率接近于零． 信道容量：可根据信道的噪声特征计算。 进一步：随机信号有一个不可再降低的复杂度，当低 于该值时，信号就不可能被压缩。 图示：将所有可能的通信方案看成一个集合，那么信 息论描绘了这个集合的两个临界值，如图1-2所示。
信息论研究现状
1. 信源编码：变换编码、模型编码，CS 2. 信道编码：卷积码、网格编码调制 (Trellis Coded Modulation, TCM) ， Turbo码，LDPC码 3. 联合信源信道编码：在编码时同时考虑信 源和信道特性
2
2013-09-10
第一章 绪论与概述
第一章 绪论与概述
中 文 版
第一章 绪论与概述
第一章 绪论与概述
简单测试
类比题： 请从下面个备选答案中选择一个与鸟－巢 最可类比的： A) 狗－窝；B) 松鼠－树；C) 海狸－坝； D) 猫－纸盒；E) 书－图书馆。
关于项目的说明
分组 从列表文章中选择几篇感兴趣文章 了解文章的背景和创新之处 模拟作者，写一份国家自然科学基金申请 书 用C语言、Java或Matlab实现其中一篇文 章中的一个算法
信息论方法应用及成就
1. 语音信号压缩：CCITT G.711(1972) 64kbit/s到目前600bit/s； 2. 图像视频信号压缩：H.261(1989) 16K1.5Mbps倍左右到目前H264 8k-1.5Mbps 倍左右； 3. 计算机文件压缩：大约为3倍左右； 4. 电话网数据传输速率的提高：从300bit/s到 多年前就达到的56kbit/s； 5. 降低信息传输的功率：主要应用于远距离无 线通信；
第一章 绪论与概述
第一章 绪论与概述
教材及参考书
教材： T. Cover, J. Thomas，Elements of Information Theory，John Wiley & Sons Inc., 2nd Edition，Hoboken, New Jersey, 2006. 主要参考书： 1. R. McEliece, The Theory of Information and Coding (2nd Edition), Cambridge University Press, England, 2002. 2.傅祖云，信息论—基础理论与应用（第二版）， 电子工业出版社，北京，2008。
香农科研
• 1940年在普林斯顿高级研究所期间开始思 考信息论与有效通信系统的问题。 • 1948年6月和10月在《贝尔系统技术杂志 上连载发表了他影响深远的论文《通信的数 学原理》。 • 1949年，香农又在该杂志上发表了著名论 文《噪声下的通信》及《保密系统的通信理 论 》。 •三篇论文成为了信息论的奠基性著作。
信道容量例子（1）
例1.1.3 （无噪二元信道） 接收端能够准确无误的接收 到发送端所发送码字，即信 道每次将1比特的信息准确 无误的传送给接收端。 C=1比特 图1.3 无噪二元信道
C max I ( X ;Y )
信息论方法应用及成就
6. 数据可靠性传输：自动重发请求的纠错码； 7.计算机中的容错问题：存储检错技术； 8.图像信号复原与重建：最大熵复原退化图像 和重建相关信号图像； 9. 模式分类：熵、鉴别信息与互信息作为距离 度量； 10. 其它：语言、生物、医学、经济（诺奖） 等方面都取得了巨大的成就。
第一章 绪论与概述
1
2013-09-10
第一章 绪论与概述
第一章 绪论与概述
第一章 绪论与概述
信息论是由通信技术、概 率论、随机过程等学科相 结合发展起来的一门新兴 交叉学科，成为一门新兴 学科的标志是香农 （C.E.Shannon）于1948 年发表论文“通信的数学 理论”奠定了信息论的基 础。
“通信的基本问题就是 在一点重新准确地或近 似地再现另一点所选择 的消息”。
K
单位：使用以2 为底的对数函数，熵的量纲为比特。
物力意义：熵可以看作是随机变量的平均不确定度的度量。 平均意义下：它是为了描述该随机变量所需的比特数。
第一章 绪论与概述
第一章 绪论与概述
例子
例1.1.1 考虑一个服从均匀分布且有32种可能结 果的随机变量，为标识每一种结果，需要5比特。 该信源的熵为
科学的哲学观与经济学
• 奥克姆剃刀：威廉说过“因不宜超出果之所
需”(如无必要，勿增实体)。 • 实质：最简单的解释是最佳的。 • 投资：平稳的股票市场中重复投资会使财富以 指数增长。 • 内在联系：1、获得适合处理数据的所有程序 的加权组合，并观察到下一步的输出值，能得 到万能的预测程序；2、财富的增长率与股票 市场的熵率有对偶关系。
ˆ ) 为互信息，右临界值 I ( X ; Y ) 为信道 左临界值 I ( X ; X 容量。 图1.2 通信理论的信息论临界点
4
2013-09-10
第一章 绪论与概述
第一章 绪论与概述
热力学与数学
热力学第二定律：对孤立系统，熵永远增加。 贡献：抛弃了存在永动机的幻想。 数学大偏差理论：估计稀有事件的概率。 信息论：信息论中的基本量——熵、相对熵 与互信息，定义成概率分布的泛函数。 内在联系：任一个量都能刻画随机变量长序 列的行为特征，使估计稀有事件的概率成为 可能，并且在假设检验中找到最佳的误差指 数。
3
2013-09-10
第一章 绪论与概述
第一章 绪论与概述
课程内容
Ch 7. 信道容量（香农第二定理） 信道的基本特征，信道编码定理，简单的信道编码：汉明 码。 Ch 9. 高斯信道 高斯信道定义、编码定理 Ch 10. 率失真理论 连续信源量化，失真的定义，率失真函数的计算，信道容 量与率失真函数的计算 Ch 15. 网络信息论 将P2P的通信问题扩展到网络通信，介绍一般网络通信的 信息理论。
H( X ) pn log pn 2(比特)
n1
K
备注：熵值恰好等于描述该随机变量的比特数。 在这个例子中，所有结果都用相同的比特数来 标识。
1/2 1/4 1/8 1/16 1/64 1/64 0 10 110 1110 111100 111101 1/64 1/64 111110 111111，平均码长为2。
意义：互信息是两个随机变量相互之间独立程度的度量，它 关于X和Y对称，并且永远为非负值，当且仅当X和Y相互独立 时，等于0。
第一章 绪论与概述
第一章 绪论与概述
信道容量
通信信道是一个系统，系统的输出信号按概率依
赖于输入信号。 性质：信道信息量是信源概密p的上凸函数，信道 前向转移矩阵Q=(p(y|x))的下凸函数，表示为 I(p,Q)，故 当输入信源使互信息达到最大值时，该最大 值即为信道容量，即
2013-09-10
第一章 绪论与概述
第一章 绪论与概述
信息论基础
Elements of Information Theory
陈德元
chendy@gucas.ac.cn OH: 周二，10：00~12：00 地点：学园二365
课程安排及成绩评判
Scheme & Grade evaluation
1、计划学时40（第二至第十一周） 2、最后一次课考试 3、总成绩由三部分组成：作业：20％， 项目：20％，期末考试：60％ 4、内容：第一至五、七、九、十、十五章
互信息
由另一随机变量导致的原随机变量不确定度的减少 量称为互信息，也可以采用直接定义X与Y之间 的互信息为：
I ( X ;Y ) H ( X ) H ( X | Y ) K J p( ak , b j ) p (ak , b j ) log p(ak ) p(b j ) k 1 j 1
第一章 绪论与概述
第一章 绪论与概述
香农生平 About Shannon
• 1916年4月30日出生于美国密执安州的加洛德一 个商人和教师的家庭。 • 1936年获得了密西根州大学的数学和电子工程学 学士学位。 • 1940年获得麻省理工学院博士学位和电子工程硕 士学位。 • 1941年至1972年间，在贝尔实验室工作。 • 从1958年在麻省理工学院任教（终生教授），至 1978年退休（名誉教授）。 • 2001年2月24日在马萨诸塞州的Medford因老年 痴呆症与世长辞，享年84岁。
第一章 绪论与概述
第一章 绪论与概述
计算与通信
• 网络计算：当将一些较小型的计算机组装成 较大型的计算机时，会受到计算和通信的双 重限制。 • 实质：计算受制于通信速度，而通信又受制 于计算速度，它们相互影响、相互制约。 • 内在联系：通信理论中所有以信息论为基础 所开发的成果，都会对计算理论造成直接的 影响
第一章 绪论与概述
实际应用
A New Single-Pixeቤተ መጻሕፍቲ ባይዱ Camera
DMD: Digital Micromirror Device
第一章 绪论与概述
第一章 绪论与概述
简单结果
课程内容
Ch 1. 绪论与概览 Ch 2. 熵、相对熵与互信息 这是信息论建立的基础，给出了各种信息量和各种熵的 概。 Ch 3. 渐近均分性 渐近均分定理：数据压缩的理论基础。 Ch 4. 随机过程的熵率 马尔科夫信源的熵率求解。 Ch 5. 数据压缩 数据压缩的基本理论和结论。
信息论与相关学科
信息论解答了通信理论中的两个基本问题： 临界数据压缩的值(答案：熵H) 临界通信传输速率的值(答案：信道容量C)。 与其它学科具有紧密的联系： 统计物理（热力学）、计算机科学(科尔莫戈 罗夫(Kolmogorov)复杂度或算法复杂度）、统计 推断(奥克姆剃刀(Occam Razor)：“最简洁的解 释最佳”）以及概率和统计（关于最优化假设检验 与估计的误差指数）等学科中都具有奠基性的贡献。 如图1.1所示。