测量信息论基础PPT课件
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
lim(H)0
T0K
实验证明：是不能达到的，因此，上式也不可能实现。
熵（Entropy）
• 熵的定义： 在一个热力体系中，热能的利用是与环境温度有关的。蒸汽虽然 有热能，但如果周围的环境温度与蒸汽一样，则蒸汽的热能就无 法利用。如果周围温度略为降低，则一部分蒸汽的热能就可变为 功，而仍有一部分不能利用。不论在任何热力体系中，这种不能 利用的热能可以用热能除以温度所得的商来量度它，这个商就定 义为熵。
• 地球是一个封闭系统，其能源、 资源和容积有限，人类会的发 展增长必然有一个极限。
热力学定律
熵的概念是从热力学引导出来的。 • 热力学第0定律：温度与热平衡。
– 1709年荷兰G。D。Fahrenheit建立华氏温标， – 1742年瑞典天文学家A。Celsius建立摄氏温标，
• 热力学第一定律(能量守恒定律)：能量是守恒的、不灭的，只能 从一种形式转变成另一种形式。从而否认了第一类“永动机”。 物理学家焦耳经30年的研究，于1848年提出。
• 某事件发生所含有信息量称为自信息， 它是该事件发生的先验概率的函数，即
• I（xi）=f[P（xi）] • P（xi）是事件xi发生的先验概率； • I（xi）表示事件xi发生所含有的信息量。
• 信源中某一状态发生的先验概率很小， 但一旦发生，所获得的信息量就多。
• 例如：一台新机器，具有正常工作和 发生事故两种可能状态。
• 正常工作概率为P（x1）=0.99， • 发生故障概率为P（x2）=0.01。 • 一旦发生故障，则是一件引人注目的事
件。
I（xi）与P（xi）有以下关系：
• I（xi）是P（xi）的单调递减函数；
•
当P（xi）=1时，I（xi）=0，必然事件
信息量为零；
•
当P（xi）=0时，I（xi）=∞，不可能发
• 信宿（destination）是信息传输的对象。
信息的定量描述——信源模型与信息 熵。
• 自然科学通常都应作定量的描述，定性 描述只能解释一些现象。从理论上研究 信息大小当作定量描述。
• Shannon信息理论的贡献在于：运用概 率论与数理统计学方法，对信息给予了 数学描述。从而使信息论作为一门科学 建立起来。
热力学定律
• 热力学第二定律（熵增加原理）：研究热效率，否认 了第二类“永动机”（即认为能量是取之不竭的）。 1850年科学家克劳休斯/1851年科学家开尔芬提出。
• 热力学第三定律：绝对温度0K不可达定理，即称能 斯脱定理。1906年科学家能斯脱提出。如果一个系统 的温度趋近于绝对温度0K时，其熵趋于0，且不随时 间而变化，即有：
广义通信系统，即信息流通系统
信源
发信器
信道
受信器
信宿
噪声
广义通信系统模型
• 信息从信息源（information source）传 送到信宿。
• 发信器（transmitter）又称编码器，把信 息变换成物理信号。
• 受信器（receiver）又称译码器，把物理 信号转换成信宿能感知的信息的装置。
生的事件发生了，信息量为无穷大；
• 两个独立事件的联合信息量，应等于它 们各自信息量之和。
I（xi）与P（xi）关系用下图表示：
I(xi)
0
源自文库
P（xi）
根据上述条件，I（xi）与P（xi）用下式表达：
1 I(xi)logP(xi)logP(xi)
I（xi）代表两种含义：
• A. 当事件xi发生以前，表示事件xi发生 的不确定性；
• 信源的输出是随机的。信源的输出常 用随机变量或随机矢量来描述，从随 机变量出发研究信息，是shannon信息 理论的基本假设。
• 由概率论可知，随机变量可取值于某 一离散集合，也可取值于某一连续区 间，相应的信源称为离散信源及连续 信源。
离散信源模型
• 离散信源模型是离散型概率空间，即:
X
,
不能利用的热 所能获温得度的热能
熵的特性
• 物理学家R.Clausius提出了热熵的概念，它是热系统的一个状态函数，反映状 态的多样性和不可期望性的程度。
• 在热力学中，“熵是能量转变为有用功的能量多少的量度” 根据物理学原理，自然界具有三种平衡：
– 力学平衡 – 热平衡 – 化学平衡 一个系统愈接近平衡，则可用于作功的能量就愈少。因此，一个系统的熵愈大， 不能作功的能量就愈多，能量的品质就愈差。
P
x1, P(x1),
x2 ,..., P(x2 ),...,
xN P(xN
)
N
P(xi ) 1
i 1
x1,x2,…,xN 描述信源输出的可能状态。 P（x1）P（x2）P（xN） 描述各种状态出现的可能 性。
信源状态的出现是不相容的。
• 例如：抛硬币
X
,P
x1
0 .5
x2
0 .5
2
P ( xi ) 1 i 1
其为等中概，率P（事x件1），=称P（为x先2）验=概0.5率，。该系统
用超声波检测物体内部有无裂纹
信号处理
信 源
信源
超声波源
显示
X
,P
x1
P
(
x1
)
2
P ( xi ) 1
i 1
x2
P
(
x
2
)
X1 代表物体内部有裂纹 X2 代表物体内部无裂纹
自信息
测量信息论
• “信息”一词是本世纪20年代人们在研究 通信的一般规律时由哈特来（R.V.Hartley） 等人提出。而仙农（C.E.Shannon）在 1948<通信的数学理论>的著名论文中奠定 了信息论的理论基础。
信息论源于通信工程，背景是关于通 讯中的：
• ⒈ 信息传输的效率 • ⒉ 信息传输的准确性 • ⒊ 噪声干扰 • ⒋ 信道频率特性
熵的特性
• 能量只能不可逆转地沿着一个方向转化，即从对人类来说是可利用的到不可利 用的状态，从有效的到无效的状态转化。用加尔文的话说：这种无效能量已从 人们那里不可挽回地失去了，尽管它并没有消灭。
• 熵就是这种不能再被转化作功的能量的总和，即熵是无效能量（无序状态）的 总和，熵的增加就意味着有效能量的减少。
• B. 当事件xi发生以前，表示事件xi所含 有的信息量。
信息量单位取决于所取对数之底： 以2为底，信息量单位为比特（bit）， 以e为底，信息量单位为奈特（nat）， 以10为底，信息量单位为哈特（Hart）。 一般采用以2为底的对数， 当P（xi）=1/2，I（xi）=1比特。
熵---新的世界观
T0K
实验证明：是不能达到的，因此，上式也不可能实现。
熵（Entropy）
• 熵的定义： 在一个热力体系中，热能的利用是与环境温度有关的。蒸汽虽然 有热能，但如果周围的环境温度与蒸汽一样，则蒸汽的热能就无 法利用。如果周围温度略为降低，则一部分蒸汽的热能就可变为 功，而仍有一部分不能利用。不论在任何热力体系中，这种不能 利用的热能可以用热能除以温度所得的商来量度它，这个商就定 义为熵。
• 地球是一个封闭系统，其能源、 资源和容积有限，人类会的发 展增长必然有一个极限。
热力学定律
熵的概念是从热力学引导出来的。 • 热力学第0定律：温度与热平衡。
– 1709年荷兰G。D。Fahrenheit建立华氏温标， – 1742年瑞典天文学家A。Celsius建立摄氏温标，
• 热力学第一定律(能量守恒定律)：能量是守恒的、不灭的，只能 从一种形式转变成另一种形式。从而否认了第一类“永动机”。 物理学家焦耳经30年的研究，于1848年提出。
• 某事件发生所含有信息量称为自信息， 它是该事件发生的先验概率的函数，即
• I（xi）=f[P（xi）] • P（xi）是事件xi发生的先验概率； • I（xi）表示事件xi发生所含有的信息量。
• 信源中某一状态发生的先验概率很小， 但一旦发生，所获得的信息量就多。
• 例如：一台新机器，具有正常工作和 发生事故两种可能状态。
• 正常工作概率为P（x1）=0.99， • 发生故障概率为P（x2）=0.01。 • 一旦发生故障，则是一件引人注目的事
件。
I（xi）与P（xi）有以下关系：
• I（xi）是P（xi）的单调递减函数；
•
当P（xi）=1时，I（xi）=0，必然事件
信息量为零；
•
当P（xi）=0时，I（xi）=∞，不可能发
• 信宿（destination）是信息传输的对象。
信息的定量描述——信源模型与信息 熵。
• 自然科学通常都应作定量的描述，定性 描述只能解释一些现象。从理论上研究 信息大小当作定量描述。
• Shannon信息理论的贡献在于：运用概 率论与数理统计学方法，对信息给予了 数学描述。从而使信息论作为一门科学 建立起来。
热力学定律
• 热力学第二定律（熵增加原理）：研究热效率，否认 了第二类“永动机”（即认为能量是取之不竭的）。 1850年科学家克劳休斯/1851年科学家开尔芬提出。
• 热力学第三定律：绝对温度0K不可达定理，即称能 斯脱定理。1906年科学家能斯脱提出。如果一个系统 的温度趋近于绝对温度0K时，其熵趋于0，且不随时 间而变化，即有：
广义通信系统，即信息流通系统
信源
发信器
信道
受信器
信宿
噪声
广义通信系统模型
• 信息从信息源（information source）传 送到信宿。
• 发信器（transmitter）又称编码器，把信 息变换成物理信号。
• 受信器（receiver）又称译码器，把物理 信号转换成信宿能感知的信息的装置。
生的事件发生了，信息量为无穷大；
• 两个独立事件的联合信息量，应等于它 们各自信息量之和。
I（xi）与P（xi）关系用下图表示：
I(xi)
0
源自文库
P（xi）
根据上述条件，I（xi）与P（xi）用下式表达：
1 I(xi)logP(xi)logP(xi)
I（xi）代表两种含义：
• A. 当事件xi发生以前，表示事件xi发生 的不确定性；
• 信源的输出是随机的。信源的输出常 用随机变量或随机矢量来描述，从随 机变量出发研究信息，是shannon信息 理论的基本假设。
• 由概率论可知，随机变量可取值于某 一离散集合，也可取值于某一连续区 间，相应的信源称为离散信源及连续 信源。
离散信源模型
• 离散信源模型是离散型概率空间，即:
X
,
不能利用的热 所能获温得度的热能
熵的特性
• 物理学家R.Clausius提出了热熵的概念，它是热系统的一个状态函数，反映状 态的多样性和不可期望性的程度。
• 在热力学中，“熵是能量转变为有用功的能量多少的量度” 根据物理学原理，自然界具有三种平衡：
– 力学平衡 – 热平衡 – 化学平衡 一个系统愈接近平衡，则可用于作功的能量就愈少。因此，一个系统的熵愈大， 不能作功的能量就愈多，能量的品质就愈差。
P
x1, P(x1),
x2 ,..., P(x2 ),...,
xN P(xN
)
N
P(xi ) 1
i 1
x1,x2,…,xN 描述信源输出的可能状态。 P（x1）P（x2）P（xN） 描述各种状态出现的可能 性。
信源状态的出现是不相容的。
• 例如：抛硬币
X
,P
x1
0 .5
x2
0 .5
2
P ( xi ) 1 i 1
其为等中概，率P（事x件1），=称P（为x先2）验=概0.5率，。该系统
用超声波检测物体内部有无裂纹
信号处理
信 源
信源
超声波源
显示
X
,P
x1
P
(
x1
)
2
P ( xi ) 1
i 1
x2
P
(
x
2
)
X1 代表物体内部有裂纹 X2 代表物体内部无裂纹
自信息
测量信息论
• “信息”一词是本世纪20年代人们在研究 通信的一般规律时由哈特来（R.V.Hartley） 等人提出。而仙农（C.E.Shannon）在 1948<通信的数学理论>的著名论文中奠定 了信息论的理论基础。
信息论源于通信工程，背景是关于通 讯中的：
• ⒈ 信息传输的效率 • ⒉ 信息传输的准确性 • ⒊ 噪声干扰 • ⒋ 信道频率特性
熵的特性
• 能量只能不可逆转地沿着一个方向转化，即从对人类来说是可利用的到不可利 用的状态，从有效的到无效的状态转化。用加尔文的话说：这种无效能量已从 人们那里不可挽回地失去了，尽管它并没有消灭。
• 熵就是这种不能再被转化作功的能量的总和，即熵是无效能量（无序状态）的 总和，熵的增加就意味着有效能量的减少。
• B. 当事件xi发生以前，表示事件xi所含 有的信息量。
信息量单位取决于所取对数之底： 以2为底，信息量单位为比特（bit）， 以e为底，信息量单位为奈特（nat）， 以10为底，信息量单位为哈特（Hart）。 一般采用以2为底的对数， 当P（xi）=1/2，I（xi）=1比特。
熵---新的世界观