信息熵算法
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
1. 2． 3. 4.
有噪声信道编码定理 错误概率与译码准则 FANO不等式 联合典型序列 无失真信道编码定理
第九讲 限失真信源编码定理与多用户信息论
1. 信息率失真函数 2. 限失真信源编码定理 3. 相关信源编码 4． 多址信道和广播信道
第十讲
1. 2. 3.
通信系统的保密理论 完全保密性 理论保密性 实际保密性
信息论基础
2011 年 3 月
教材和参考书：
傅祖芸 编著《信息论－基础理论与应用》， 电子工业出版社，2006，第二版.
孟庆生《信息论》，西安交通大学，1986。
（数学家写的研究生教材，含编码和密码）
朱雪龙《应用信息论基础》，清华大学出版社,2000。
（研究生教材，面向电子类，含编码方法。）
王育民、梁传甲《信息与编码理论》，西电教材。
熵只与随机变量的总体结构有关，与个别符号的 概率没有直接关系。与随机变量的取值无关。例如以 下三个随机变量的熵是一样的。其中上面一行是可能 的取值，下面一行是对应的概率。
X
1
1 3
2 1 6
3
1 2
Y
1
1 6
2 1 2
3
1 3
Z
4
1 3
5 1 2
6
1 6
2、非负性：
H ( p1, p2, pq ) 0
信息论与其它学科的联系： 统计物理（热力学，热力学第二定律：热熵不减）； 计算机科学（Kolmogorov复杂性，或算法复杂性）； 数学（概率统计－－大偏差分析、假设检验）； 经济（投资、股市的熵和财产增长率为对偶关系）。 －－－－－－
熵概念的发展： 加权熵；相对熵；平滑熵
还有人将信息论分为：基本理论、编码方法和密码。
（内容深入，推导过程少）
沈连丰、叶芝惠 编著《信息论与编码》 东南大学硕士教材，科学出版社，2004， （面向通信专业）。
周荫清主编《信息理论基础》 北航出版社，2006 （简洁，面向电子类）
T. M. Cover & J. A. Thomas , Elements of Information Theory ， Addison-Wesley Pub, 1990, 清华影印 。
检测（滤波）理论，也称最佳接收理论；
广义信息论：包括所有与信息有关的领域，从主观和
客观两个方面全面研究信息的度量、获取、
传输、存储、加工处理、利用以及功用等。
全信息：语法信息（香农信息）、语义信息和语用信息。
Grammar,
Semantic, Pragmatics
香农信息论只是概率语法信息论，即用概率的观点研究 语法信息，只考虑消息符号本身出现的概率，与内容无 关。
香农信息论和编码方法是密不可分的，有的课程叫 做《信息论与编码》。我们将侧重学习基础理论方面 的内容，对于具体的编码方法，仅做简单介绍。例如 霍夫曼编码、分组码和卷积码等。
信号、消息与信息的区别
信号是消息的载体，是物理的； 消息利用信号承载，是非物质的； 消息和符号可以视为一回事，消息用符号表示。
I (ai ) log
1 pi
符号集的平均信息量就用信息熵来度量。 信息熵：信源的平均信息量（概率平均）。
H (X ) E log 1
pi
i
pi log
1 pi
i
pi log pi
－－信源的每个符号所提供的平均信息量！
熵－Entropy E－Expectation 期望
信息量的单位为：比特bit（以2为底）， 奈特Nat（以e为底）， 迪特Det（以10为底）。
第五讲 1. 2. 3. 4.
连续信源和信道 连续信源的微分熵 具有最大熵的连续信源 连续信道和波形信道 连续信道和波形信道的信道容量
第六讲 1. 2. 3.
等长信源编码定理 信源编码 典型序列和信源划分定理 等长信源编码定理
第七讲 变长信源编码定理
1． 变长信源编码定理 2． Huffman编码
第八讲
“ A Mathematical Theory of Communication ” “ Communication Theory of Secrecy System ”
About Claude Elwood Shannon:
1916年生于 Gaylord, MI 的一个小镇。母亲是一个语 言教师和中学校长，父亲是一个商人。
香农信息论中的信息是消息中的不确定成份。 信息不能单独存在，必须依附一定的物理形式。 物质、能量和信息构成自然界三大要素。 消息实际是全信息的概念，与 “ 数据 ” 等混为一谈了。
信息论的发展 自香农提出信息论以来，信Biblioteka Baidu论得到了不断完善和发展。
狭义信息论：香农的研究结果，也称香农信息论；
一般信息论：除香农信息论，还包括维纳的微弱信号
5、可加性与强可加性： （涉及到了两个变量！）
H（XY）为两个随机变量的联合熵。 可加性：H（XY）等于 X的无条件熵，加上已知 X 时
Y的条件概率的熵的平均值，即条件熵。
H (XY) H (X ) H (Y | X )
q
q
H (Y | X ) p(xi )
i1
j 1
p( y j | xi ) log
第十一讲 线性码
1. 线性码的一般概念 3. 线性码的构造 2． Hamming 码
第十二讲 循环码
1． BCH 码 2． RS 码 3. Goppa 码
第十三讲 1. 2.
卷积码 编码过程 译码过程
第十四讲 其它类型的码
1. 非线性码 2. 几何码
几点解释：
香农信息论就是编码的理论，就是从信息的角度 研究如何提高通信的可靠性、有效性的理论。 香农信息论的编码定理是理论极限，是“非构造性的”， 具体实现的编码方法还需要具体构造。（实际中有 各式各样的编码方法。）
例：对于二元符号集X＝{0,1}, 如果
P{X 0} p, P{X 1} 1 p 则 H (X ) p log p (1 p) log(1 p)
H log2
称为熵函数 写法：H(p)
1/2
p
1－3 信息熵的性质
1、对称性： H ( p1, p2, pq ) H ( p2, p1, p3, pq ) H ( p3, p2, p1, pq )
6、 围绕通信网的发展带来的信息传输问题展开的讨论。 即网络信息理论，随着通信网、因特网的发展，它越 来越受到重视。
7、 围绕通信的保密所展开的讨论。包括保密通信的技术 体制及其数学模型，传输线路保密技术的信息论基础， 信息保密技术的基础知识以及保密通信的各种方法。
本课程的讲授内容：
第一讲 1. 2. 3.
新的教材：
在广义信息论、网络信息论方面的内容有所增加。
第一讲 信息熵
1-1 信息论的主要内容 1-2 信息的度量－信息熵 1-3 信息熵的性质
1－1. 信息论的主要内容
香农信息论最初是为了解决通信问题而提出的。 通信的重要意义是勿庸置疑的。
人类传递思想、表达情感，就需要相互交流。
人类的劳动、生产、政治、文化、日常生活等都离不 开通信。 人类利用眼、耳、鼻、舌、身等五种感觉器官来感受 外界的信息，形成一个信息流通的体系。 通信方式的不断提高，代表了人类文明和科技水平的 不断提高。
信源
信道
信宿
信源 编码
信道 编码
信道 译码
信源 译码
加密
干扰源
解密
加密钥
解密钥
提出的背景： 在香农信息论出现以前，没有系统的通信理论。
是香农，开创了信息论的研究，奠定了一般性通信 理论的基础。对数字通信技术的形成有很大贡献。
（不论什么样的干扰信道，抓住了本质问题。）
( Shannon, 1916－2001)
要描述一个离散随机变量构成的离散信源，就是
规定随机变量X的取值集合 A {a1, a2, aq}
及其概率测度 pi P[X ai ]
[
A,
pi
]
a1 p1
a2 aq p2 pq
q
pi 1
i 1
一般情况，我们用概率的倒数的对数函数来表示
某一事件（某一符号）出现所带来的信息量。
每个符号的自信息量：
R. J. McEliece《The Theory of Information and Coding》 第二版，电子工业出版社，2003。（内容简练，编码方面较全）
* J.H.Van Lint 《Introduction to coding theory》
GTM 86, Springer-Verlag, 1998. * Roman 《Coding and information theory》, GTM 134，
因为每个p<1，所以它们的以不小于1的数为底的 对数是不大于零的。
3、确定性： H (1,0, 0) 0
确定的事物是无信息可言的。有一个符号概率为1 的信源，其熵为0。
4、扩展性：
lim
0
H
(
p1,
p2
,
pq , ) H ( p1, p2,
pq )
lim log 0
0
（0 概率的事件信息量为0 ？）
香农第一定理以及各种信源编码方法 。 3、围绕信道编码所展开的讨论。它给出了信息传输率、
信道容量等概念，最主要的结论是香农第二定理，以及 基于该定理的各种信道编码，如分组码、卷积码等。 4、围绕带限信道传输的能力所展开的讨论，最主要的结论 是信道容量公式，即香农公式。
5、 基于信息传输时允许一定程度的失真和差错所展开 的讨论。由此得到信息率失真理论、香农第三定理、 信息价值等。这是目前还在不断发展和完善的理论， 在通信以外得学科不断得到应用。
例：掷骰子。随机变量X表示结果。符号集为
X {1,2,3,4,5,6}
符号出现概率为
Pi
1 6
H
(
X
)
6
1 6
log
6
log
6
2.58bits
1.79nats
当X＝{0,1} 时 H ( X ) 1 log 2 1 log 2 1 bit
2
2
现在推广为：一位二进制数为1 bit，八位为1 byte
获得了消息所携带的原有的信息量，消息的不确定性也 就消除了。所以从信息的角度，只要保持消息的信息， 就能够不失真地传输消息（可靠性），也能够解决有效 性问题。
“香农信息与消息的内容无关”，并不是不传输消息内 容而只传输信息。传送的还是经过处理的消息（编码）， 只是“如何处理”是从保持信息的角度来考虑的。
1－2. 信息的度量－信息熵
不确定性：信源输出的消息或符号，对于发送者来说， 是已知的，但对于通信系统和接受者来说， 是不确定的。信源消息的出现，或者说发送 者选择哪个消息，具有一定的不确定性，
信息量：
信息量就是信息大小或多少的度量，即解除 信源不确定性所需的信息的度量。信源发出 某个消息或符号时，获得这一事件的信息量 后，它的不确定性就被解除了。
通信的根本任务：将一地点的消息可靠地、有效地 传送到另一地点。
通信系统的基本模型：
信源
信道
信宿
干扰源
为了使消息可靠地、有效地传送到信宿，就需要 对信源的消息进行处理；
有没有可靠的、有效的处理方法？如何进行编码？ 香农信息论奠定了通信的理论基础。 信息是消息的不确定性度量。某消息出现的概率 大，它的信息量就小， 相反，某消息出现的概率 小，则它的信息量就大。通信的关键是信息的传 输问题。 信源编码：实现有效性；信道编码：实现可靠性； 密码：实现保密性及认证性；
N 信源
信息 信号
L
C－信道容量
n 信道
信源熵 H
信源编码 R ’> H
信道编码 R<C
信道 解码
R’－编码信息传输率 L/N R －信道信息传输率 L/n
噪声
信宿
信源 解码
香农信息论主要讨论如下内容： 1、围绕信息的度量所展开的讨论。这是信息论建立的基础，
给出了各种信息量和各种熵的概念； 2、围绕无失真信源编码所展开的讨论。最主要的结论是
16岁高中毕业，进入密西根大学。1936年获得电子工 程和数学双学士学位。随后进入 MIT，作为研究生和研 究人员。一年后，完成布尔代数用于开关电路的硕士论 文。1940年完成“关于遗传学的代数”的博士论文。
1941年以后进入 Bell 实验室。(新理论和技术的摇篮)
1945年写出“密码学的数学理论”，1949年正式出 版，名为“保密系统的通信理论”。1948年发表“通信 系统的数学理论”。其后又取得通信、人工智能等多方 面的成果。
信息熵 信息论的主要内容 信息的度量－信息熵 信息熵的性质
第二讲 1. 2. 3. 4.
信源的信息熵 信源的描述 无记忆扩展信源 离散平稳信源 马尔可夫信源
第三讲 1. 2. 3.
平均互信息 信道和平均互信息 平均互信息的性质 数据处理定理
第四讲 信道容量及其计算 1. 信道容量 2. 信道容量的计算
1 p( y j | xi )
对于 X 与 Y 独立的情况有： （强可加性）
有噪声信道编码定理 错误概率与译码准则 FANO不等式 联合典型序列 无失真信道编码定理
第九讲 限失真信源编码定理与多用户信息论
1. 信息率失真函数 2. 限失真信源编码定理 3. 相关信源编码 4． 多址信道和广播信道
第十讲
1. 2. 3.
通信系统的保密理论 完全保密性 理论保密性 实际保密性
信息论基础
2011 年 3 月
教材和参考书：
傅祖芸 编著《信息论－基础理论与应用》， 电子工业出版社，2006，第二版.
孟庆生《信息论》，西安交通大学，1986。
（数学家写的研究生教材，含编码和密码）
朱雪龙《应用信息论基础》，清华大学出版社,2000。
（研究生教材，面向电子类，含编码方法。）
王育民、梁传甲《信息与编码理论》，西电教材。
熵只与随机变量的总体结构有关，与个别符号的 概率没有直接关系。与随机变量的取值无关。例如以 下三个随机变量的熵是一样的。其中上面一行是可能 的取值，下面一行是对应的概率。
X
1
1 3
2 1 6
3
1 2
Y
1
1 6
2 1 2
3
1 3
Z
4
1 3
5 1 2
6
1 6
2、非负性：
H ( p1, p2, pq ) 0
信息论与其它学科的联系： 统计物理（热力学，热力学第二定律：热熵不减）； 计算机科学（Kolmogorov复杂性，或算法复杂性）； 数学（概率统计－－大偏差分析、假设检验）； 经济（投资、股市的熵和财产增长率为对偶关系）。 －－－－－－
熵概念的发展： 加权熵；相对熵；平滑熵
还有人将信息论分为：基本理论、编码方法和密码。
（内容深入，推导过程少）
沈连丰、叶芝惠 编著《信息论与编码》 东南大学硕士教材，科学出版社，2004， （面向通信专业）。
周荫清主编《信息理论基础》 北航出版社，2006 （简洁，面向电子类）
T. M. Cover & J. A. Thomas , Elements of Information Theory ， Addison-Wesley Pub, 1990, 清华影印 。
检测（滤波）理论，也称最佳接收理论；
广义信息论：包括所有与信息有关的领域，从主观和
客观两个方面全面研究信息的度量、获取、
传输、存储、加工处理、利用以及功用等。
全信息：语法信息（香农信息）、语义信息和语用信息。
Grammar,
Semantic, Pragmatics
香农信息论只是概率语法信息论，即用概率的观点研究 语法信息，只考虑消息符号本身出现的概率，与内容无 关。
香农信息论和编码方法是密不可分的，有的课程叫 做《信息论与编码》。我们将侧重学习基础理论方面 的内容，对于具体的编码方法，仅做简单介绍。例如 霍夫曼编码、分组码和卷积码等。
信号、消息与信息的区别
信号是消息的载体，是物理的； 消息利用信号承载，是非物质的； 消息和符号可以视为一回事，消息用符号表示。
I (ai ) log
1 pi
符号集的平均信息量就用信息熵来度量。 信息熵：信源的平均信息量（概率平均）。
H (X ) E log 1
pi
i
pi log
1 pi
i
pi log pi
－－信源的每个符号所提供的平均信息量！
熵－Entropy E－Expectation 期望
信息量的单位为：比特bit（以2为底）， 奈特Nat（以e为底）， 迪特Det（以10为底）。
第五讲 1. 2. 3. 4.
连续信源和信道 连续信源的微分熵 具有最大熵的连续信源 连续信道和波形信道 连续信道和波形信道的信道容量
第六讲 1. 2. 3.
等长信源编码定理 信源编码 典型序列和信源划分定理 等长信源编码定理
第七讲 变长信源编码定理
1． 变长信源编码定理 2． Huffman编码
第八讲
“ A Mathematical Theory of Communication ” “ Communication Theory of Secrecy System ”
About Claude Elwood Shannon:
1916年生于 Gaylord, MI 的一个小镇。母亲是一个语 言教师和中学校长，父亲是一个商人。
香农信息论中的信息是消息中的不确定成份。 信息不能单独存在，必须依附一定的物理形式。 物质、能量和信息构成自然界三大要素。 消息实际是全信息的概念，与 “ 数据 ” 等混为一谈了。
信息论的发展 自香农提出信息论以来，信Biblioteka Baidu论得到了不断完善和发展。
狭义信息论：香农的研究结果，也称香农信息论；
一般信息论：除香农信息论，还包括维纳的微弱信号
5、可加性与强可加性： （涉及到了两个变量！）
H（XY）为两个随机变量的联合熵。 可加性：H（XY）等于 X的无条件熵，加上已知 X 时
Y的条件概率的熵的平均值，即条件熵。
H (XY) H (X ) H (Y | X )
q
q
H (Y | X ) p(xi )
i1
j 1
p( y j | xi ) log
第十一讲 线性码
1. 线性码的一般概念 3. 线性码的构造 2． Hamming 码
第十二讲 循环码
1． BCH 码 2． RS 码 3. Goppa 码
第十三讲 1. 2.
卷积码 编码过程 译码过程
第十四讲 其它类型的码
1. 非线性码 2. 几何码
几点解释：
香农信息论就是编码的理论，就是从信息的角度 研究如何提高通信的可靠性、有效性的理论。 香农信息论的编码定理是理论极限，是“非构造性的”， 具体实现的编码方法还需要具体构造。（实际中有 各式各样的编码方法。）
例：对于二元符号集X＝{0,1}, 如果
P{X 0} p, P{X 1} 1 p 则 H (X ) p log p (1 p) log(1 p)
H log2
称为熵函数 写法：H(p)
1/2
p
1－3 信息熵的性质
1、对称性： H ( p1, p2, pq ) H ( p2, p1, p3, pq ) H ( p3, p2, p1, pq )
6、 围绕通信网的发展带来的信息传输问题展开的讨论。 即网络信息理论，随着通信网、因特网的发展，它越 来越受到重视。
7、 围绕通信的保密所展开的讨论。包括保密通信的技术 体制及其数学模型，传输线路保密技术的信息论基础， 信息保密技术的基础知识以及保密通信的各种方法。
本课程的讲授内容：
第一讲 1. 2. 3.
新的教材：
在广义信息论、网络信息论方面的内容有所增加。
第一讲 信息熵
1-1 信息论的主要内容 1-2 信息的度量－信息熵 1-3 信息熵的性质
1－1. 信息论的主要内容
香农信息论最初是为了解决通信问题而提出的。 通信的重要意义是勿庸置疑的。
人类传递思想、表达情感，就需要相互交流。
人类的劳动、生产、政治、文化、日常生活等都离不 开通信。 人类利用眼、耳、鼻、舌、身等五种感觉器官来感受 外界的信息，形成一个信息流通的体系。 通信方式的不断提高，代表了人类文明和科技水平的 不断提高。
信源
信道
信宿
信源 编码
信道 编码
信道 译码
信源 译码
加密
干扰源
解密
加密钥
解密钥
提出的背景： 在香农信息论出现以前，没有系统的通信理论。
是香农，开创了信息论的研究，奠定了一般性通信 理论的基础。对数字通信技术的形成有很大贡献。
（不论什么样的干扰信道，抓住了本质问题。）
( Shannon, 1916－2001)
要描述一个离散随机变量构成的离散信源，就是
规定随机变量X的取值集合 A {a1, a2, aq}
及其概率测度 pi P[X ai ]
[
A,
pi
]
a1 p1
a2 aq p2 pq
q
pi 1
i 1
一般情况，我们用概率的倒数的对数函数来表示
某一事件（某一符号）出现所带来的信息量。
每个符号的自信息量：
R. J. McEliece《The Theory of Information and Coding》 第二版，电子工业出版社，2003。（内容简练，编码方面较全）
* J.H.Van Lint 《Introduction to coding theory》
GTM 86, Springer-Verlag, 1998. * Roman 《Coding and information theory》, GTM 134，
因为每个p<1，所以它们的以不小于1的数为底的 对数是不大于零的。
3、确定性： H (1,0, 0) 0
确定的事物是无信息可言的。有一个符号概率为1 的信源，其熵为0。
4、扩展性：
lim
0
H
(
p1,
p2
,
pq , ) H ( p1, p2,
pq )
lim log 0
0
（0 概率的事件信息量为0 ？）
香农第一定理以及各种信源编码方法 。 3、围绕信道编码所展开的讨论。它给出了信息传输率、
信道容量等概念，最主要的结论是香农第二定理，以及 基于该定理的各种信道编码，如分组码、卷积码等。 4、围绕带限信道传输的能力所展开的讨论，最主要的结论 是信道容量公式，即香农公式。
5、 基于信息传输时允许一定程度的失真和差错所展开 的讨论。由此得到信息率失真理论、香农第三定理、 信息价值等。这是目前还在不断发展和完善的理论， 在通信以外得学科不断得到应用。
例：掷骰子。随机变量X表示结果。符号集为
X {1,2,3,4,5,6}
符号出现概率为
Pi
1 6
H
(
X
)
6
1 6
log
6
log
6
2.58bits
1.79nats
当X＝{0,1} 时 H ( X ) 1 log 2 1 log 2 1 bit
2
2
现在推广为：一位二进制数为1 bit，八位为1 byte
获得了消息所携带的原有的信息量，消息的不确定性也 就消除了。所以从信息的角度，只要保持消息的信息， 就能够不失真地传输消息（可靠性），也能够解决有效 性问题。
“香农信息与消息的内容无关”，并不是不传输消息内 容而只传输信息。传送的还是经过处理的消息（编码）， 只是“如何处理”是从保持信息的角度来考虑的。
1－2. 信息的度量－信息熵
不确定性：信源输出的消息或符号，对于发送者来说， 是已知的，但对于通信系统和接受者来说， 是不确定的。信源消息的出现，或者说发送 者选择哪个消息，具有一定的不确定性，
信息量：
信息量就是信息大小或多少的度量，即解除 信源不确定性所需的信息的度量。信源发出 某个消息或符号时，获得这一事件的信息量 后，它的不确定性就被解除了。
通信的根本任务：将一地点的消息可靠地、有效地 传送到另一地点。
通信系统的基本模型：
信源
信道
信宿
干扰源
为了使消息可靠地、有效地传送到信宿，就需要 对信源的消息进行处理；
有没有可靠的、有效的处理方法？如何进行编码？ 香农信息论奠定了通信的理论基础。 信息是消息的不确定性度量。某消息出现的概率 大，它的信息量就小， 相反，某消息出现的概率 小，则它的信息量就大。通信的关键是信息的传 输问题。 信源编码：实现有效性；信道编码：实现可靠性； 密码：实现保密性及认证性；
N 信源
信息 信号
L
C－信道容量
n 信道
信源熵 H
信源编码 R ’> H
信道编码 R<C
信道 解码
R’－编码信息传输率 L/N R －信道信息传输率 L/n
噪声
信宿
信源 解码
香农信息论主要讨论如下内容： 1、围绕信息的度量所展开的讨论。这是信息论建立的基础，
给出了各种信息量和各种熵的概念； 2、围绕无失真信源编码所展开的讨论。最主要的结论是
16岁高中毕业，进入密西根大学。1936年获得电子工 程和数学双学士学位。随后进入 MIT，作为研究生和研 究人员。一年后，完成布尔代数用于开关电路的硕士论 文。1940年完成“关于遗传学的代数”的博士论文。
1941年以后进入 Bell 实验室。(新理论和技术的摇篮)
1945年写出“密码学的数学理论”，1949年正式出 版，名为“保密系统的通信理论”。1948年发表“通信 系统的数学理论”。其后又取得通信、人工智能等多方 面的成果。
信息熵 信息论的主要内容 信息的度量－信息熵 信息熵的性质
第二讲 1. 2. 3. 4.
信源的信息熵 信源的描述 无记忆扩展信源 离散平稳信源 马尔可夫信源
第三讲 1. 2. 3.
平均互信息 信道和平均互信息 平均互信息的性质 数据处理定理
第四讲 信道容量及其计算 1. 信道容量 2. 信道容量的计算
1 p( y j | xi )
对于 X 与 Y 独立的情况有： （强可加性）