信息熵讲义

信息熵的性质ቤተ መጻሕፍቲ ባይዱ
H ( p1 , p2 , pq ) H ( p2 , p1 , p3 , pq ) H ( p3 , p2 , p1 , pq )
熵只与随机变量的总体结构有关，与个别符号的
1、对称性：
概率没有直接关系。与随机变量的取值无关。例如以 下三个随机变量的熵是一样的。其中上面一行是可能 的取值，下面一行是对应的概率。
各式各样的编码方法。） 香农信息论和编码方法是密不可分的，有的课程叫
做《信息论与编码》。我们将侧重学习基础理论方面 的内容，对于具体的编码方法，仅做简单介绍。例如
霍夫曼编码、分组码和卷积码等。
信号、消息与信息的区别
信号是消息的载体，是物理的； 消息利用信号承载，是非物质的； 消息和符号可以视为一回事，消息用符号表示。 香农信息论中的信息是消息中的不确定成份。 信息不能单独存在，必须依附一定的物理形式。 物质、能量和信息构成自然界三大要素。 消息实际是全信息的概念，与 “ 数据 ” 等混为一谈了。
信息论基础
2011 年 3 月
教材和参考书：
傅祖芸 编著《信息论－基础理论与应用》， 电子工业出版社，2006，第二版. 孟庆生《信息论》，西安交通大学，1986。
（数学家写的研究生教材，含编码和密码）
朱雪龙《应用信息论基础》，清华大学出版社,2000。
（研究生教材，面向电子类，含编码方法。）
王育民、梁传甲《信息与编码理论》，西电教材。
信道容量等概念，最主要的结论是香农第二定理，以及
基于该定理的各种信道编码，如分组码、卷积码等。 4、围绕带限信道传输的能力所展开的讨论，最主要的结论 是信道容量公式，即香农公式。
5、 基于信息传输时允许一定程度的失真和差错所展开
的讨论。由此得到信息率失真理论、香农第三定理、
信息价值等。这是目前还在不断发展和完善的理论， 在通信以外得学科不断得到应用。 6、 围绕通信网的发展带来的信息传输问题展开的讨论。 即网络信息理论，随着通信网、因特网的发展，它越
第三讲 1. 2. 3. 平均互信息 信道和平均互信息 平均互信息的性质 数据处理定理
第四讲 信道容量及其计算 1. 信道容量 2. 信道容量的计算 第五讲 1. 2. 3. 4. 连续信源和信道 连续信源的微分熵 具有最大熵的连续信源 连续信道和波形信道 连续信道和波形信道的信道容量
第六讲 1. 2. 3.
人类利用眼、耳、鼻、舌、身等五种感觉器官来感受 外界的信息，形成一个信息流通的体系。
通信方式的不断提高，代表了人类文明和科技水平的 不断提高。
通信的根本任务：将一地点的消息可靠地、有效地 传送到另一地点。
通信系统的基本模型：
信源
信道
信宿
干扰源
为了使消息可靠地、有效地传送到信宿，就需要 对信源的消息进行处理；
就能够不失真地传输消息（可靠性），也能够解决有效
性问题。 “香农信息与消息的内容无关”，并不是不传输消息内 容而只传输信息。传送的还是经过处理的消息（编码），
只是“如何处理”是从保持信息的角度来考虑的。
信息论与其它学科的联系： 统计物理（热力学，热力学第二定律：热熵不减）；
计算机科学（Kolmogorov复杂性，或算法复杂性）；
全信息：语法信息（香农信息）、语义信息和语用信息。 Grammar, Semantic, Pragmatics
香农信息论只是概率语法信息论，即用概率的观点研究 语法信息，只考虑消息符号本身出现的概率，与内容无 关。 获得了消息所携带的原有的信息量，消息的不确定性也 就消除了。所以从信息的角度，只要保持消息的信息，
H (1,0,0) 0
确定的事物是无信息可言的。有一个符号概率为1 的信源，其熵为0。 4、扩展性：
lim H ( p1 , p2 , pq , ) H ( p1 , p2 , pq )
新的教材： 在广义信息论、网络信息论方面的内容有所增加。
第一讲
信息熵
1-1 1-2 1-3 信息论的主要内容 信息的度量－信息熵 信息熵的性质
1－1. 信息论的主要内容
香农信息论最初是为了解决通信问题而提出的。 通信的重要意义是勿庸置疑的。 人类传递思想、表达情感，就需要相互交流。 人类的劳动、生产、政治、文化、日常生活等都离不 开通信。
例：掷骰子。随机变量X表示结果。符号集为
X {1,2,3,4,5,6}
1 符号出现概率为 Pi 6
1 H ( X ) log 6 log 6 2.58bits 1.79nats 6 6
1 1 当X＝{0,1} 时 H ( X ) log 2 log 2 1 bit 2 2
等长信源编码定理 信源编码 典型序列和信源划分定理 等长信源编码定理
第七讲 变长信源编码定理 1． 变长信源编码定理 2． Huffman编码
第八讲 有噪声信道编码定理 1. 错误概率与译码准则 2． FANO不等式 3. 联合典型序列 4. 无失真信道编码定理 第九讲 1. 2. 3. 4． 第十讲 1. 2. 3. 限失真信源编码定理与多用户信息论 信息率失真函数 限失真信源编码定理 相关信源编码 多址信道和广播信道 通信系统的保密理论 完全保密性 理论保密性 实际保密性
16岁高中毕业，进入密西根大学。1936年获得电子工 程和数学双学士学位。随后进入 MIT，作为研究生和研 究人员。一年后，完成布尔代数用于开关电路的硕士论 文。1940年完成“关于遗传学的代数”的博士论文。
1941年以后进入 Bell 实验室。(新理论和技术的摇篮)
1945年写出“密码学的数学理论”，1949年正式出 版，名为“保密系统的通信理论”。1948年发表“通信 系统的数学理论”。其后又取得通信、人工智能等多方 面的成果。
a1 a2 aq [ A, pi ] p p p 2 q 1
p
i 1
q
i
1
一般情况，我们用概率的倒数的对数函数来表示 某一事件（某一符号）出现所带来的信息量。 每个符号的自信息量：
1 I (ai ) log pi
符号集的平均信息量就用信息熵来度量。
1 2 X 1 1 3 6 3 1 2 3 4 1 Y 1 1 1 Z 1 2 6 2 3 3 5 1 2 6 1 6
2、非负性：
H ( p1 , p2 , pq ) 0
因为每个p<1，所以它们的以不小于1的数为底的 对数是不大于零的。 3、确定性：
“ A Mathematical Theory of Communication ” “ Communication Theory of Secrecy System ”
About Claude Elwood Shannon:
1916年生于 Gaylord, MI 的一个小镇。母亲是一个语 言教师和中学校长，父亲是一个商人。
现在推广为：一位二进制数为1 bit，八位为1 byte
例：对于二元符号集X＝{0,1}, 如果
P{ X 0} p, P{ X 1} 1 p
则
H ( X ) p log p (1 p) log( 1 p)
H
log2 称为熵函数 写法：H(p)
1/2
p
1－ 3
信宿
信源 编码 加密
信道 编码 干扰源
信道 译码 解密 解密钥
信源 译码
加密钥
提出的背景： 在香农信息论出现以前，没有系统的通信理论。
是香农，开创了信息论的研究，奠定了一般性通信
理论的基础。对数字通信技术的形成有很大贡献。 （不论什么样的干扰信道，抓住了本质问题。）
( Shannon, 1916－2001)
来越受到重视。
7、 围绕通信的保密所展开的讨论。包括保密通信的技术 体制及其数学模型，传输线路保密技术的信息论基础， 信息保密技术的基础知识以及保密通信的各种方法。
本课程的讲授内容：
第一讲 1. 2. 3. 信息熵 信息论的主要内容 信息的度量－信息熵 信息熵的性质
第二讲 信源的信息熵 1. 信源的描述 2. 无记忆扩展信源 3. 离散平稳信源 4. 马尔可夫信源
（内容深入，推导过程少）
沈连丰、叶芝惠 编著《信息论与编码》 东南大学硕士教材，科学出版社，2004， （面向通信专业）。
周荫清主编《信息理论基础》 北航出版社，2006 （简洁，面向电子类）
T. M. Cover & J. A. Thomas , Elements of Information Theory ， Addison-Wesley Pub, 1990, 清华影印 。 R. J. McEliece《The Theory of Information and Coding》 第二版，电子工业出版社，2003。（内容简练，编码方面较全） * J.H.Van Lint 《Introduction to coding theory》 GTM 86, Springer-Verlag, 1998. * Roman 《Coding and information theory》, GTM 134，
有没有可靠的、有效的处理方法？如何进行编码？
香农信息论奠定了通信的理论基础。 信息是消息的不确定性度量。某消息出现的概率
大，它的信息量就小， 相反，某消息出现的概率
小，则它的信息量就大。通信的关键是信息的传 输问题。 信源编码：实现有效性；信道编码：实现可靠性； 密码：实现保密性及认证性；
信源
信道
信息论的发展
自香农提出信息论以来，信息论得到了不断完善和发展。 狭义信息论：香农的研究结果，也称香农信息论； 一般信息论：除香农信息论，还包括维纳的微弱信号
检测（滤波）理论，也称最佳接收理论；
广义信息论：包括所有与信息有关的领域，从主观和 客观两个方面全面研究信息的度量、获取、 传输、存储、加工处理、利用以及功用等。