21信源的描述和分类解析
合集下载
2 信源及信源熵
为多符号的有记忆离散信息源。需要引入条件概率来反映符号 序列内各符号的记忆特征
p( x1 , x2 , x3 , x L ) p( x L x1 , x2 , x3 , x L1 ) p( x1 , x2 , x3 , x L1 )
p( x L x1 , x2 , x3 , x L1 ) p( x L1 x1 , x2 , x3 , x L2 ) p( x1 , x2 , x3 , x L2 )
i (ai1 , ai 2 , aiL )
则概率空间可表示为
X 1 , P p ( ), 1
2 , , p ( 2 ), ,
n p ( n
L
) L
对于L＝2的情况，此时信源 则概率空间可表示为
X (X1, X 2 )
位出现哪个符号都是随机的，而且一般前后符号之间是有依赖 关系的。可用随机矢量描述。
② 连续信源：输出连续消息。可用随机过程描述。
『举例』
单符号离散信源
1. 扔一颗质地均匀的骰子．研究其下落后，朝上一面的点数。每次 试验结果必然是1点、2点、3点、4点、5点、6点中的某一个面朝上。 这种信源输出消息是“朝上的面是l点”、“朝上的面是2 点”、……、“朝上的面是6点”等六个不同的消息。 得到这个信源的数学模型为：
l 1
L
L
3. 上述布袋实验中，先取一个球，记下颜色后不放回布袋，接着 取另一个。而在取第二个球时，布袋中的红球、白球概率已与取 第一个球时不同，此时的概率分布与第一个球的颜色有关，而取 第三个球时，袋中红、白球的概率分布与第一个、第二个球的颜 色均有关。
一般情况下，信源在不同时刻发出的符号之间是相互依赖的，称
• I(xi)是p(xi)的单调递减函 数
p( x1 , x2 , x3 , x L ) p( x L x1 , x2 , x3 , x L1 ) p( x1 , x2 , x3 , x L1 )
p( x L x1 , x2 , x3 , x L1 ) p( x L1 x1 , x2 , x3 , x L2 ) p( x1 , x2 , x3 , x L2 )
i (ai1 , ai 2 , aiL )
则概率空间可表示为
X 1 , P p ( ), 1
2 , , p ( 2 ), ,
n p ( n
L
) L
对于L＝2的情况，此时信源 则概率空间可表示为
X (X1, X 2 )
位出现哪个符号都是随机的，而且一般前后符号之间是有依赖 关系的。可用随机矢量描述。
② 连续信源：输出连续消息。可用随机过程描述。
『举例』
单符号离散信源
1. 扔一颗质地均匀的骰子．研究其下落后，朝上一面的点数。每次 试验结果必然是1点、2点、3点、4点、5点、6点中的某一个面朝上。 这种信源输出消息是“朝上的面是l点”、“朝上的面是2 点”、……、“朝上的面是6点”等六个不同的消息。 得到这个信源的数学模型为：
l 1
L
L
3. 上述布袋实验中，先取一个球，记下颜色后不放回布袋，接着 取另一个。而在取第二个球时，布袋中的红球、白球概率已与取 第一个球时不同，此时的概率分布与第一个球的颜色有关，而取 第三个球时，袋中红、白球的概率分布与第一个、第二个球的颜 色均有关。
一般情况下，信源在不同时刻发出的符号之间是相互依赖的，称
• I(xi)是p(xi)的单调递减函 数
信息论与编码 信源与信息熵2
20
⑵ L给定时,平均符号熵≥条件熵：
H L(X)≥H (XL|XL-1) ⑶ HL(X)是L的单调非增函数
HL(X)≤HL-1(X)
⑷
H ( X ) lim H ( X ) lim H ( X | X X 2 X L1 )
– H∞(X)称为平稳信源的极限熵或极限信息量
等概率无 记忆信源 L 单个符号 L X ) H ( X ) 1bit / 符号 2
1 H (X) 4 log 2 1/ 4 2bit / 序列 4
11
• 例:有一离散平稳无记忆信源
求：二次扩展信源的熵
X x1 x2 x3 p ( x) 1 1 1 2 4 4
i l l l 1
9
L
L
L
离散无记忆信源的序列熵
• 若又满足平稳特性,即与序号l无关时：
p( X ) p( xil ) p L
l 1
L
• 信源的序列熵
H ( X ) LH ( X )
• 平均每个符号(消息)熵为
1 HL (X ) H (X ) H (X ) L
离散无记忆信源 平均每个符号的 符号熵HL(X)等于 单个符号信源的 符号熵H(X)
a0 a0 a1 a2 1/4 1/18 0
a1 1/18 1/3 1/18
a2 0 1/18 7/36
p(a a ) p(a )
j 0 i j i
2
H(X2| X1 • 当信源符号之间无依赖性时,信源X的信息熵为)＜H(X)
•
信源的条件熵比无依 2 赖时的熵H(X)减少了 H1 ( X ) H ( X 1 ) H ( X ) p(ai )log p(a0.671 比 特 ,bit 正 是 因 i ) 1.543 这 / 符号 i 0 为符号之间有依赖性 所造成的结果。 当考虑符号之间有依赖性时,计算得条件熵
⑵ L给定时,平均符号熵≥条件熵：
H L(X)≥H (XL|XL-1) ⑶ HL(X)是L的单调非增函数
HL(X)≤HL-1(X)
⑷
H ( X ) lim H ( X ) lim H ( X | X X 2 X L1 )
– H∞(X)称为平稳信源的极限熵或极限信息量
等概率无 记忆信源 L 单个符号 L X ) H ( X ) 1bit / 符号 2
1 H (X) 4 log 2 1/ 4 2bit / 序列 4
11
• 例:有一离散平稳无记忆信源
求：二次扩展信源的熵
X x1 x2 x3 p ( x) 1 1 1 2 4 4
i l l l 1
9
L
L
L
离散无记忆信源的序列熵
• 若又满足平稳特性,即与序号l无关时：
p( X ) p( xil ) p L
l 1
L
• 信源的序列熵
H ( X ) LH ( X )
• 平均每个符号(消息)熵为
1 HL (X ) H (X ) H (X ) L
离散无记忆信源 平均每个符号的 符号熵HL(X)等于 单个符号信源的 符号熵H(X)
a0 a0 a1 a2 1/4 1/18 0
a1 1/18 1/3 1/18
a2 0 1/18 7/36
p(a a ) p(a )
j 0 i j i
2
H(X2| X1 • 当信源符号之间无依赖性时,信源X的信息熵为)＜H(X)
•
信源的条件熵比无依 2 赖时的熵H(X)减少了 H1 ( X ) H ( X 1 ) H ( X ) p(ai )log p(a0.671 比 特 ,bit 正 是 因 i ) 1.543 这 / 符号 i 0 为符号之间有依赖性 所造成的结果。 当考虑符号之间有依赖性时,计算得条件熵
信源及信源熵.ppt
一般情况下，信源在不同时刻发出的符号之间是相互依赖的，称
为多符号的有记忆离散信息源。需要引入条件概率来反映符号
序列内各符号的记忆特征
p(x1, x2 , x3 , xL ) p(xL x1, x2 , x3 , xL1) p(x1, x2 , x3 , xL1) p(xL x1, x2 , x3 , xL1) p(xL1 x1, x2 , x3 , xL2 ) p(x1, x2 , x3 , xL2 )
p(X1, X 2 ,, X l ,, X L ) p(X1) p(X 2 ) p(X l ) p(X L )
若信源随机矢量的各维概率分布都与时间起点无关，也就是任意
两个不同时刻随机矢量X的各维概率分布都相同。称离散平稳 信息源。即
p(X1) p(X 2 ) p(X l ) p(X L )
则概率空间可表示为
X P
1, p(1),
2, , p(2 ), ,
n
p(
L
n
L
)
对于L＝2的情况，此时信源 X ( X1, X 2 )
则概率空间可表示为
X P
(a1, a1 ) p(a1, a1)
(a1, a2 ) p(a1, a2 )
(an , an ) p(an , an )
X i a1 “红色”， a2 “白色”
用联合概率分布 p( X1, X 2 , X 3 )
其信源的概率空间为：
来表示信源特性
X P
(a1 , p(a1
a1 , , a1
a1 ) , a1 )源自(a1, a1, a2 ) p(a1, a1, a2 )
(a2 , a2 , a2 ) p(a2 , a2 , a2 )
第二章信源及信源的熵
一般地，任意 m步转移概率为： ij (m, n ) P{Sn S j | Sm Si } n P ( Sn 表示状态变量， 时刻的状态| ) n
Pij的性质： Pij ( m, n ) 0，i, j S
Pij (m, n ) 1,
jS
i S
17
齐次马尔可夫信源的状态转移概率： 齐次：状态转移概率与时间无关
{
无记忆信源 有记忆信源
（1）单符号信源和符号序列信源 前述各离散或连续信源都是单符号信源----信源（试验） 每次发出一个符号（消息的长度为1）。 更多信源输出的消息需要用多个符号（即符号序列）来表示 ，如：随机取球试验，一次取两个球。多少种消息？
8
3种消息：“红红”、“白白”、“红白或白红”；用符号序 列表示 个消息。这种信源称为符号序列信源。 （2）符号序列信源用多维随机变量（随机矢量或随机序列）及 其概率空间来描述。如上面的离散符号序列信源：
7
X [0，1.5] pX (x) pX (x)
任意连续信源 的数学模型为
1.5
,
pX (x)d x 1
0
X [a,b] p X (x) p X (x)
b
,
a
pX (x)d x 1
2、按照信源发出的符号之间的关系分类： 信源
香农第二章信源及信源熵第一节信源的描述和分类第二节离散信源熵和互信息第二节离散信源熵和互信息3第三节连续信源的熵和互信息第四节离散序列信源的熵第五节冗余度第一节信源的描述和分类一消息的统计特征香农信息论运用概率论和随机过程的理论来研究信息
复
1、信息的定义：
习
信息是指各个事物运动的状态及状态变化的形式。 是事物运动状态或存在方式的不确定性的描述。 2、信息论的定义 关于信息的本质和传输规律的科学理论，是研究信息的度 量、发送、传递、交换、接收和储存的一门新兴学科。它为 各种具体的信息技术提供理论依据，而信息技术则以此为根 据去研究如何实现、怎样实现的问题。 3、信息、消息和信号的关系：
Pij的性质： Pij ( m, n ) 0，i, j S
Pij (m, n ) 1,
jS
i S
17
齐次马尔可夫信源的状态转移概率： 齐次：状态转移概率与时间无关
{
无记忆信源 有记忆信源
（1）单符号信源和符号序列信源 前述各离散或连续信源都是单符号信源----信源（试验） 每次发出一个符号（消息的长度为1）。 更多信源输出的消息需要用多个符号（即符号序列）来表示 ，如：随机取球试验，一次取两个球。多少种消息？
8
3种消息：“红红”、“白白”、“红白或白红”；用符号序 列表示 个消息。这种信源称为符号序列信源。 （2）符号序列信源用多维随机变量（随机矢量或随机序列）及 其概率空间来描述。如上面的离散符号序列信源：
7
X [0，1.5] pX (x) pX (x)
任意连续信源 的数学模型为
1.5
,
pX (x)d x 1
0
X [a,b] p X (x) p X (x)
b
,
a
pX (x)d x 1
2、按照信源发出的符号之间的关系分类： 信源
香农第二章信源及信源熵第一节信源的描述和分类第二节离散信源熵和互信息第二节离散信源熵和互信息3第三节连续信源的熵和互信息第四节离散序列信源的熵第五节冗余度第一节信源的描述和分类一消息的统计特征香农信息论运用概率论和随机过程的理论来研究信息
复
1、信息的定义：
习
信息是指各个事物运动的状态及状态变化的形式。 是事物运动状态或存在方式的不确定性的描述。 2、信息论的定义 关于信息的本质和传输规律的科学理论，是研究信息的度 量、发送、传递、交换、接收和储存的一门新兴学科。它为 各种具体的信息技术提供理论依据，而信息技术则以此为根 据去研究如何实现、怎样实现的问题。 3、信息、消息和信号的关系：
信息论与编码第2章信源与信息熵PPT课件
pji(l)p(ul Si |ul1Sj)
p(Si |Sj)
pji表示从第(l-1)时刻到第l时刻的状态 转移概率，称为一步状态转移概率。 此时，信源的随机状态序列服从马尔
四、 马尔可夫信源的状态转移图
【补充】 马尔可夫信源的状态序列在数学模型上 可以用马尔可夫链的状态转移图来描述 信源。
状态转移图也可称为香农线图。
2. 数学条件
② 信源某一时刻(l)所处的状态只由当前 输出的符号和前一时刻(l-1)信源的状 态唯一确定。 即：
p(ul Si | xl ak,ul1 Sj ) p(Si | ak,Sj )
(Si,Sj S; ak A)
三、 n阶马尔可夫信源的条件
3. 状态转移概率
设信源在第(l-1)时刻处于状态Sj时， 下一时刻转移到Si的状态概率为：
四、 马尔可夫信源的状态转移图
状态转移图的元素
① 每个圆圈代表一个状态。
② 状态之间的有向线段代表某一状态向 另一状态的转移。
③ 有向线的一侧标注发出的某符号ak和 条件概率p(ak|Sj)。 ak:p(ak|Sj)
S1
S2
【例2.5】
设一个二元一阶马尔可夫信源，信 源符号集为A={0,1}，条件概率为 p(0|0)=0.25，p(0|1)=0.50， p(1|0)=0.75，p(1|1)=0.50。 试画出该信源的状态转移图。 【课本P64 例3.5.2】
假设信源发出的消息x用二进码011表示接收到每个二进制码元后得到有关2012128492222符号符号符号2012128502222平均互信息量其中2012128512222熵的性质对称性确定性香农辅助定理最大熵定理条件熵小于无条件熵20121285222222012128532222对称性信息熵相同2012128542222确定性香农辅助定理loglog2012128552222最大熵定理条件熵小于无条件熵2012128562222平均互信息的性质互易性与熵和条件熵及联合熵关系极值性凸性函数性质信息不增性原理2012128572222同理2012128582222互易性2012128592222平均互信息与熵的关系2012128602222互信息量与熵的关系2012128612222极值性2012128622222凸性函数当条件概率分布给定时平均互信息量是输入概率分布的上凸函数当集合x的概率分布保持不变时平均互信息量是条件概率分布的下凸函数2012128632222信息不增性条件下假设在2012128642323离散无记忆信源的序列熵离散有记忆信源的序列熵2012128652323离散无记忆信源的序列熵ililil2012128662323离散无记忆信源的序列熵平均每个符号熵消息熵2012128672323离散有记忆信源的序列熵和消息熵2012128682323eg求信源的序列熵和平均符号熵361191118211342918792012128692323离散有记忆信源的序列熵和消息熵结论1是l的单调非增函数结论3是l的单调非增函数2012128702323马氏链极限熵左边遍历马氏链对于齐次2012128712323右边2012128722323eg求马氏链平均符号熵三个状态2012128732424幅度连续的单个符号信源熵loglimloglim2012128742424幅度连续的单个符号信源熵互信息条件熵联合熵相对熵2012128752424波形信源熵随机波形信源取条件熵相对熵2012128762424最大熵定理具有最大熵当它是均匀分布时变量对于定义域有限的随机限峰功率最大熵定理dxdxdxdxdxdxdxdxdxdxdxdxdxdxdx2012128772424最大熵定理限平均功率最大熵定理
p(Si |Sj)
pji表示从第(l-1)时刻到第l时刻的状态 转移概率，称为一步状态转移概率。 此时，信源的随机状态序列服从马尔
四、 马尔可夫信源的状态转移图
【补充】 马尔可夫信源的状态序列在数学模型上 可以用马尔可夫链的状态转移图来描述 信源。
状态转移图也可称为香农线图。
2. 数学条件
② 信源某一时刻(l)所处的状态只由当前 输出的符号和前一时刻(l-1)信源的状 态唯一确定。 即：
p(ul Si | xl ak,ul1 Sj ) p(Si | ak,Sj )
(Si,Sj S; ak A)
三、 n阶马尔可夫信源的条件
3. 状态转移概率
设信源在第(l-1)时刻处于状态Sj时， 下一时刻转移到Si的状态概率为：
四、 马尔可夫信源的状态转移图
状态转移图的元素
① 每个圆圈代表一个状态。
② 状态之间的有向线段代表某一状态向 另一状态的转移。
③ 有向线的一侧标注发出的某符号ak和 条件概率p(ak|Sj)。 ak:p(ak|Sj)
S1
S2
【例2.5】
设一个二元一阶马尔可夫信源，信 源符号集为A={0,1}，条件概率为 p(0|0)=0.25，p(0|1)=0.50， p(1|0)=0.75，p(1|1)=0.50。 试画出该信源的状态转移图。 【课本P64 例3.5.2】
假设信源发出的消息x用二进码011表示接收到每个二进制码元后得到有关2012128492222符号符号符号2012128502222平均互信息量其中2012128512222熵的性质对称性确定性香农辅助定理最大熵定理条件熵小于无条件熵20121285222222012128532222对称性信息熵相同2012128542222确定性香农辅助定理loglog2012128552222最大熵定理条件熵小于无条件熵2012128562222平均互信息的性质互易性与熵和条件熵及联合熵关系极值性凸性函数性质信息不增性原理2012128572222同理2012128582222互易性2012128592222平均互信息与熵的关系2012128602222互信息量与熵的关系2012128612222极值性2012128622222凸性函数当条件概率分布给定时平均互信息量是输入概率分布的上凸函数当集合x的概率分布保持不变时平均互信息量是条件概率分布的下凸函数2012128632222信息不增性条件下假设在2012128642323离散无记忆信源的序列熵离散有记忆信源的序列熵2012128652323离散无记忆信源的序列熵ililil2012128662323离散无记忆信源的序列熵平均每个符号熵消息熵2012128672323离散有记忆信源的序列熵和消息熵2012128682323eg求信源的序列熵和平均符号熵361191118211342918792012128692323离散有记忆信源的序列熵和消息熵结论1是l的单调非增函数结论3是l的单调非增函数2012128702323马氏链极限熵左边遍历马氏链对于齐次2012128712323右边2012128722323eg求马氏链平均符号熵三个状态2012128732424幅度连续的单个符号信源熵loglimloglim2012128742424幅度连续的单个符号信源熵互信息条件熵联合熵相对熵2012128752424波形信源熵随机波形信源取条件熵相对熵2012128762424最大熵定理具有最大熵当它是均匀分布时变量对于定义域有限的随机限峰功率最大熵定理dxdxdxdxdxdxdxdxdxdxdxdxdxdxdx2012128772424最大熵定理限平均功率最大熵定理
21信源的描述和分类解析
p（sj | si），i , j =1,2,…Q。 • 更一般地，在时刻m系统处于状态si的条
件下，经n-m步后转移到状态的概率用 pij(m,n)表示:
pij(m,n) = p{Sn=sj| Sm= si}=p{sj | si} 其中si ,sj ∈S
25
马尔可夫信源
• 设信源在时刻m处于si状态,它在下一时刻(m+1)状 态转移到sj的转移概率为：
s1
q
29
马尔可夫信源
• 状态转移图
–齐次马尔可夫链可以用其
0/0.4状态转移图(香来自线图)表示–每个圆圈代表一种状态
so
s1
–状态之间的有向线代表某 1/0.6
一状态向另一状态的转移
0/0.3
1/0.2
1/0.7
–有向线一侧的符号和数字
分别代表发出的符号和条
s2
件概率
0/0.8
30
常返态：经有 限步后迟早要 返回的状态
s1, s2, …si-1, si, …
23
• 例：二元序列为…01011100… • 考虑m = 2，Q = nm =22= 4 • s1 = 00 s2 = 01 s3 = 10 s4 = 11 • 变换成对应的状态序列为
…s2 s3 s2 s4 s4 s3 s1…
24
马尔可夫信源
• 当信源符号出现后，信源所处的状态将 发生变化，并转入一个新的状态。这种 状态的转移可用状态转移概率表示为：
第二章
信源与信息熵
1
内容
2.1 信源的描述和分类 2.2 离散信源熵和互信息 2.3 离散序列信源的熵 2.4 连续信源的熵和互信息 2.5 冗余度
2
本章重点
件下，经n-m步后转移到状态的概率用 pij(m,n)表示:
pij(m,n) = p{Sn=sj| Sm= si}=p{sj | si} 其中si ,sj ∈S
25
马尔可夫信源
• 设信源在时刻m处于si状态,它在下一时刻(m+1)状 态转移到sj的转移概率为：
s1
q
29
马尔可夫信源
• 状态转移图
–齐次马尔可夫链可以用其
0/0.4状态转移图(香来自线图)表示–每个圆圈代表一种状态
so
s1
–状态之间的有向线代表某 1/0.6
一状态向另一状态的转移
0/0.3
1/0.2
1/0.7
–有向线一侧的符号和数字
分别代表发出的符号和条
s2
件概率
0/0.8
30
常返态：经有 限步后迟早要 返回的状态
s1, s2, …si-1, si, …
23
• 例：二元序列为…01011100… • 考虑m = 2，Q = nm =22= 4 • s1 = 00 s2 = 01 s3 = 10 s4 = 11 • 变换成对应的状态序列为
…s2 s3 s2 s4 s4 s3 s1…
24
马尔可夫信源
• 当信源符号出现后，信源所处的状态将 发生变化，并转入一个新的状态。这种 状态的转移可用状态转移概率表示为：
第二章
信源与信息熵
1
内容
2.1 信源的描述和分类 2.2 离散信源熵和互信息 2.3 离散序列信源的熵 2.4 连续信源的熵和互信息 2.5 冗余度
2
本章重点
第二章：信源及信源熵
信源的描述与分类
实际信源举例
1）图像信源 图像信源一般可以引用一个五元的随机场 来表示： 扫描时 U ( x, y, z, , t ) U ( x, t ) （简化） 主要统计特性：初步可以认为是一个近似 的平稳遍历过程
信源的描述与分类
实际信源举例
对于数字型图像信号，可以采用马氏链模 型 1
p( xi y j )
p( x y )
j 1 i j
m
单符号离散信源
信息量
信息无处不在，但：信息用 什么表示？如何表示？
不确定性＝携载的信息
可用随机变量的不确定性 或随机性作为信息的表示
单符号离散信源
考察、分析信息的特征
非负性 可加性 等概时与取值空间N的关系（单调增） 与发生的概率P的关系（单调减）
信源的描述与分类
离散序列信源
信源输出是一组随机序列（矢量）：
U U1 Ul U L U L
L维取值范围
uL
L
其样值为：U L u1
ul
uL
对应概率为： p U L p u1 ul
由于每个随机变量U L有n种取值，则 U 有 n 种可能取值。
信源的描述与分类
信源的描述与分类
无记忆信源
在某些简单的离散平稳信源情况下，信源先后发出的 一个个符号彼此是统计独立的。也就是说信源输出的 随机矢量X=(X１X２…XＮ）中，各随机变量Xi (i=1,2,…N)之间是无依赖的、统计独立的，则N维随机 矢量的联合概率分布满足 P(X)=P１（Ｘ１）P２（Ｘ２）…PＮ（ＸＮ） 称由上述信源空间［X，P(x)］描述的信源X为离散无 记忆信源。该信源在不同时刻发出的符号之间是无依 赖的，彼此统计独立的。
第2章 信源与信息熵-1
27
联合自信息、条件自信息与自信息间 的关系
I(xiyj )=- log2p(xi)p(yj|xi)= I(xi)+I (yj|xi)
16
【例2.1 】某二元信源（含有两个不同消息的信源）发 送1的概率0.99，0的概率0.01，信宿仅凭猜测就可以简 单的认为信源发出的消息始终都是1，即使如此，猜错 的概率仅为百分之一。这说明在这种情况下，信源基 本上在发送1，信源的不确定性很小。 【例2.2 】某二元信源发送1和0的概率相等，均为0.5， 这时信宿不依赖通信仅凭猜测的话，猜错的概率高达 50%。这说明在这种情况下，猜测信源发送什么消息 就困难了，因为信源发送什么消息相当不确定。
X 0 1 0 1 p p P 0 1 / 2 1 / 2 1
8
单个连续信源
X (a, b) p ( x) P X
pX(x)为随机变量X的概率密度函数
b
a
p X ( x) 1
19
二、自信息量
1) 定义：一个符号消息 xi 的自信息量为其发生概率的 对数的负数，并记为 I(xi)； I (xi) = -log p(xi) 当p(xi)=0，则 I(xi)→∞；当p(xi)=1，则 I(xi)=0. 2) 自信息量的单位 自信息量的单位与所用对数的底有关：
1º对数的底是2 时，单位为比特 — bit(binary unit) 2º对数的底是 e (自然对数)时，单位为奈特
第二章
信源与信息熵
本章内容
• 信源的分类及基本的信源数学模型描述、自信息 和信息熵的定义及性质、互信息的概念及性质、 信源冗余度的描述等。
本章重点
• 理解信源不确定性的含义，熵函数H(X)的性质、 平均互信息量的定义、性质，联合信源的联合熵、 条件熵，离散平稳信源的信源熵、极限熵等概念 和计算方法。 • 了解马尔可夫信源的定义和计算方法。
联合自信息、条件自信息与自信息间 的关系
I(xiyj )=- log2p(xi)p(yj|xi)= I(xi)+I (yj|xi)
16
【例2.1 】某二元信源（含有两个不同消息的信源）发 送1的概率0.99，0的概率0.01，信宿仅凭猜测就可以简 单的认为信源发出的消息始终都是1，即使如此，猜错 的概率仅为百分之一。这说明在这种情况下，信源基 本上在发送1，信源的不确定性很小。 【例2.2 】某二元信源发送1和0的概率相等，均为0.5， 这时信宿不依赖通信仅凭猜测的话，猜错的概率高达 50%。这说明在这种情况下，猜测信源发送什么消息 就困难了，因为信源发送什么消息相当不确定。
X 0 1 0 1 p p P 0 1 / 2 1 / 2 1
8
单个连续信源
X (a, b) p ( x) P X
pX(x)为随机变量X的概率密度函数
b
a
p X ( x) 1
19
二、自信息量
1) 定义：一个符号消息 xi 的自信息量为其发生概率的 对数的负数，并记为 I(xi)； I (xi) = -log p(xi) 当p(xi)=0，则 I(xi)→∞；当p(xi)=1，则 I(xi)=0. 2) 自信息量的单位 自信息量的单位与所用对数的底有关：
1º对数的底是2 时，单位为比特 — bit(binary unit) 2º对数的底是 e (自然对数)时，单位为奈特
第二章
信源与信息熵
本章内容
• 信源的分类及基本的信源数学模型描述、自信息 和信息熵的定义及性质、互信息的概念及性质、 信源冗余度的描述等。
本章重点
• 理解信源不确定性的含义，熵函数H(X)的性质、 平均互信息量的定义、性质，联合信源的联合熵、 条件熵，离散平稳信源的信源熵、极限熵等概念 和计算方法。 • 了解马尔可夫信源的定义和计算方法。
信源的名词解释
信源的名词解释在信息时代，我们经常听到关于“信源”这个词，但对于它的确切含义和定义可能并不清晰。
本文将对信源进行名词解释，帮助读者更好地理解这个概念。
一、信源的概念信源是信息传播中一个非常重要的概念，它代指信息的来源、产生者或发布者。
信源可以是个人、组织、机构或者媒体。
无论是文字、图像、声音还是视频等形式的信息，都需要有一个特定的信源才能产生或发布。
二、信源的分类信源可以根据其性质和属性进行分类，以下是几个常见的信源分类：1. 个人信源：个人信源是指信息由个人产生或发布。
例如，社交媒体上的个人账号、个人博客或微信公众号都可以作为个人信源。
个人信源的特点是信息源头相对于其他类型的信源来说更加个性化。
2. 组织信源：组织信源是指由组织或机构产生或发布的信息。
这些组织可以是政府机构、非营利组织、企业或学术机构等。
组织信源通常具有更专业的能力和资源，能够提供更加全面、权威的信息。
3. 媒体信源：媒体信源包括传统媒体和新媒体。
传统媒体信源主要包括报纸、电视台、广播电台等，而新媒体信源则包括网络媒体、社交媒体等。
媒体信源的特点是信息的传播覆盖面广，对社会舆论有着重要影响力。
三、信源的重要性信源在信息传播中起着至关重要的作用。
以下是信源的重要性体现：1. 提供信息的可信度和可靠性。
信源作为信息的来源，其可信度和可靠性至关重要。
对于读者来说，选择可靠的信源可以避免误导和虚假信息的传播，帮助他们做出准确的判断和决策。
2. 彰显信息的权威性和专业性。
某些信源可能具有特定领域的专业知识和丰富经验，这使得其提供的信息具有更高的权威性和专业性。
读者可以通过选择这些信源来获取更加权威和专业的信息。
3. 影响公众舆论和社会话题。
由于信源的影响力和传播能力，它们能够对公众舆论和社会话题产生重要影响。
媒体信源尤其如此，它们可以帮助塑造公众的观点和态度，影响社会的发展和变化。
四、对信源的评估和判断在信息时代，鉴别和评估不同信源的可信度和可靠性变得尤为重要。
第二章-信息论基本概念(1)
p( xi | y j )
定义两种条件自信息量：
p( y j | xi )
I ( xi | y j ) lbp( xi | y j ) I ( y j | xi ) lbp( y j | xi )
注意:
bit/符号 bit/符号
在给定yj条件下，随机事件xi所包含的不确定度在数值上 与条件自信息量相同，但两者含义不同。
b. 具有某种概率分布的随机事件不管发生与否，都存
c.
一个出现概率接近于1的随机事件，发生的可能 性很大，所以它包含的不确定度就很小； 反之，一个出现概率很小的随机事件，很难猜测 在某个时刻它能否发生，所以它包含的不确定度 就很大；
若是确定性事件，出现概率为1，则它包含的不确 定度为0。
几个关于自信息量的例子： （1） 一个以等概率出现的二进制码元（0，1）所包含
•
•
•
•
发出符号序列的有记忆信源 发出符号序列的有记忆信源是指用信源发出的一个 符号序列的整体概率（即联合概率）反映有记忆信 源的特征。
• 发出符号序列的马尔可夫信源 发出符号序列的马尔可夫信源是指某一个符号出 现的概率只与前面一个或有限个符号有关，而不 依赖更前面的那些符号，这样的信源可以用信源 发出符号序列内各个符号之间的条件概率来反映 记忆特征。
三、先验概率及概率空间的形式 一般信源可用一个概率空间来描述，信源的不确 定程度可用该概率空间的可能状态数目及其概率 来描述。
先验概率
一个离散信源发出的各个符号消息的集合为： } ——状态空间
P { p( x1 ), p( x2 ),, p( xn )}
（3）具有四个取值符号的随机变量 X [ x1 , x2 , x3 , x4 ] 各符号概率相等，均为1/4，各符号的自信息量：
第2章.信源与信息熵
p( x1 , x2 ,, xL ) p( xL | x1 , x2 ,, xL 1 ) p( x1 , x2 ,, xL 1 ) p( xL | xL m , , xL 1 ) p( x1 , x2 ,, xL 1 ) p( xL | xL m , , xL 1 ) p( xL 1 | x1 , x2 ,, xL 2 ) p( x1 , x2 ,, xL 2 ) p( xL | xL m , , xL 1 ) p( xL 1 | xL m1 ,, xL 2 ) p( x1 , x2 ,, xL 2 )
P中第i行元素对应于从某一个状态si 转移到所有状态s j ( s j S )的 第j列元素对应于从所有状态si ( si S )转移到同一个状态s j的转移 概率，列元素之和不一定为1。
29
转移概率。矩阵中的每一行元素都是非负的，且每行之和均为1。
2.1.3 马尔可夫信源
切普曼· 柯尔莫郭洛夫方程 ( k步转移概率pijk )与l (l k )步和k - l步转移概率之间有所谓
表述的复杂度将随着序列长度的增加而增加。 然而实际上信源发出的符号往往只与前若干个符号有较 强的依赖关系，随着长度的增加依赖关系越来越弱，因 此可以根据信源的特征和处理时的需要限制记忆的长度， 使分析简化。
18
2.1.3 马尔可夫信源
马尔可夫信源 当信源的记忆长度为m+1时，该时该发出的符号与前m 个符号有关联性，而与更前面的符号无关。这种有记忆 信源叫做m阶马尔可夫信源，可以用马尔可夫链来描述。
30
2.1.3 马尔可夫信源
切普曼· 柯尔莫郭洛夫方程 由前递推关系式可知，对于齐次马尔可夫链，一步转移 概率完全决定了k步转移概率。 为了确定无条件概率，引入初始概率，令：
P中第i行元素对应于从某一个状态si 转移到所有状态s j ( s j S )的 第j列元素对应于从所有状态si ( si S )转移到同一个状态s j的转移 概率，列元素之和不一定为1。
29
转移概率。矩阵中的每一行元素都是非负的，且每行之和均为1。
2.1.3 马尔可夫信源
切普曼· 柯尔莫郭洛夫方程 ( k步转移概率pijk )与l (l k )步和k - l步转移概率之间有所谓
表述的复杂度将随着序列长度的增加而增加。 然而实际上信源发出的符号往往只与前若干个符号有较 强的依赖关系，随着长度的增加依赖关系越来越弱，因 此可以根据信源的特征和处理时的需要限制记忆的长度， 使分析简化。
18
2.1.3 马尔可夫信源
马尔可夫信源 当信源的记忆长度为m+1时，该时该发出的符号与前m 个符号有关联性，而与更前面的符号无关。这种有记忆 信源叫做m阶马尔可夫信源，可以用马尔可夫链来描述。
30
2.1.3 马尔可夫信源
切普曼· 柯尔莫郭洛夫方程 由前递推关系式可知，对于齐次马尔可夫链，一步转移 概率完全决定了k步转移概率。 为了确定无条件概率，引入初始概率，令：
第二章 信源及信源熵
将这有限个符号记为一个状态，在信源发出的符号概率除与 次符号有关外，只与该时刻所处的状态有关，信源将来的状 态及其发出的符号只与信源当前的状态有关，而与信源过去 的状态无关。这种信源的一般数学模型就是马尔可夫过程， 所以称这种信源为马尔可夫信源。
信息论与编码
马氏链的基本概念 m阶马尔可夫信源：信源输出某一符号的概率仅与以前的m个 符号有关，而与更前面的符号无关。 p(xt|xt-1,xt-2, xt-3,…xt-m,…x1) = p(xt|xt-1,xt-2, xt-3,…xt-m) X x1 x2 ⋯ xq
第二章 信源及信源熵
信息论与编码
2. 2. 2. 2. 2.
1 2 3 4 5
信源的描述和分类 离散信源熵和互信息 连续信源的嫡和互信息 离散序列信源的熵 冗余度
重点： 重点：信源熵和互信息 难点： 难点：离散序列信源的熵
信息论与编码
2.1 信源的描述和分类
信源是信息的来源。信源的产生消息、消息序列以及 连续消息的来源。信源具有不确定性，可用概率统计特性 来描述。 一、信源的分类 1、按照信源每次输出符号的个数可分为单符号信源和多 符号信源。 单符号信源：是最简单也是最基本的信源，是组成实际信 源的基本单元。信源每次输出一个符号，通常用离散随机 变量和其概率分布来表示。
p11 ⋯ P = p( s j | si ) = ⋮ pQ1 ⋯ p1Q ⋮ p QQ
信息论与编码
也可将符号条件概率写成矩阵：
p11 ⋯ P = p( x j | si ) = ⋮ pQ1 ⋯ p1q ⋮ pQq
上两个矩阵，一般情况下是不同的。 齐次马尔可夫链可以用其状态转移图（香农线图）来表示， 图是一个有着6个状态的齐次马尔可夫链。
信源基本组成和技术指标
信源基本组成和技术指标一、引言在信息时代，信源是指能够向用户提供信息的源头，是用户获取信息的重要途径。
信源的基本组成和技术指标对于保证信息的准确性、及时性和可靠性具有重要意义。
本文将从基本组成和技术指标两个方面来探讨信源的重要性和相关知识。
二、信源的基本组成1. 数据源：数据源是信源的核心组成部分，它是信息的原始来源。
数据源可以是各类传感器、仪器设备、数据库等，能够产生和存储大量的数据。
数据源的选取和管理对于信源的质量和可靠性至关重要。
2. 数据采集与传输设备：数据采集与传输设备是连接数据源和信源的桥梁，它负责将数据从数据源采集并传输到信源中。
常见的数据采集与传输设备有传感器、数据线、网络设备等。
数据采集与传输设备的性能直接影响信源的数据获取速度和稳定性。
3. 数据处理与分析系统：数据处理与分析系统是信源的重要组成部分，它负责对采集到的数据进行处理、分析和加工，提取有用信息并进行展示。
数据处理与分析系统可以包括数据库、算法模型、数据可视化工具等。
数据处理与分析系统的高效性和准确性决定了信源的信息价值和用户体验。
4. 用户接口与交互系统：用户接口与交互系统是用户与信源进行交互和信息获取的界面。
它可以是手机应用、网站、终端设备等，能够提供友好的用户界面和丰富的交互功能。
用户接口与交互系统的设计和优化对于提高用户体验和信息获取效率具有重要作用。
三、信源的技术指标1. 数据准确性：数据准确性是衡量信源质量的重要指标，它表示信源所提供的数据与真实情况的符合程度。
数据准确性受到数据源和数据处理与分析系统的影响，需要通过合理的算法和质控措施来保证。
2. 数据时效性：数据时效性是指信源提供的数据与事件发生时间的接近程度。
数据时效性受到数据采集与传输设备和数据处理与分析系统的影响，需要保证数据采集和传输的实时性，以及数据处理和分析的高效性。
3. 数据可靠性：数据可靠性是指信源提供的数据的稳定性和可信度。
数据可靠性受到数据源和数据处理与分析系统的影响，需要采取合理的备份和冗余策略，以及完善的数据校验和验证机制。
第2章信源与信息熵
1. 非负性 2. 对称性
n
pi 1,
i 1
pi 0
(i 1, 2,..., n)
3. 确定性
4. 连续性
5. 扩展性
6. 最大熵定理
7. 条件熵小于无条件熵
熵函数的非负性
H ( X ) H ( p1, p2 , , pn ) 0
0 pi 1, log pi 0
pi log pi 0
i
熵的物理意义
H(X)表示信源发出任何一个消息状态所携带的平均信 息量
也等于在无噪声条件下，接收者收到一个消息状态所获 得的平均信息量
熵的本意为热力学中表示分子状态的紊乱程度 信息论中熵表示信源中消息状态的不确定度 信源熵与信息量有不同的意义
H(X)表示信源X每一个状态所能提供的平均信息量 H(X)表示信源X在没有发出符号以前，接收者对信源的
第2章 信源与信息熵
主要内容 1. 信源的分类与描述 2. 离散信源的信息熵和互信息 3. 离散序列信源的熵 4. 连续信源的熵与互信息 5. 冗余度
2.1 信源的分类与描述
信源的定义
产生消息（符号）、消息序列和连续消息的来源。
信源的基本特性是具有随机不确定性
分类
1. 时间
离散
2. 幅度
离散
3. 记忆
有
பைடு நூலகம்
连续 连续 无
介绍三类信源
➢ 单符号离散信源 ➢ 符号序列信源（有记忆和无记忆） ➢ 连续信源
单符号离散信源
单符号离散信源：用随机变量X来描述
X的概率空间
X p(xi
)
X
x1, p1,
X x2, p2 ,
, X xn
,
pn
信息论与编码 第二章 信源与信息熵
p( X1 , X 2 , X l , X L ) p( X l ) [ p( X )]L
l 1
L
2.1.2 有记忆信源
有记忆信源——在不同时刻发出的符号是相互依赖的。 发出符号序列的有记忆信源 ——每次发出1组含2个以上符号的符号序列来代表一 个消息的信源，且各符号之间是相互依赖的。
即当xi和yi相互独立时，有： I ( xi , y j ) I ( xi ) I ( y j )
2.2.1 自信息量
信源符号不确定度 定义：信源符号不确定度在数量上等于该信源符号的自信 息量。
不确定度与自信息量的区别:
两者的单位相同，但含义却不相同。 不确定度是信源符号固有的，不管符号是否发出； 而自信量是信源符号发出后给予收信者的。为了消除 该符号的不确定度，接收者需要获得信息量。
量化 -1
-2
-3
-4
-5
-6
2.1 信源的描述和分类
信源的分类
按照信源发出的消息在时间上和幅度上的分布情况可 将信源分成离散信源和连续信源两大类 ： 离散信源: 文字、数据、电报
信源
{ 连续信源: 话音、图像
离散信源 指发出在时间和幅度上都是离散分布的离散消息的信源， 如文字、数字、数据等符号都是离散消息。 连续信源 指发出在时间和幅度上是连续分布的连续消息（模拟消 息）的信源，如语音、图像、图形等都是连续消息。
信源熵是一个非负量。
2.2.2 离散信源熵
例如有两个信源，其概率空间如下所示，分别求出这 两个信源的信源熵:
X x1 , x2 0 . 99 0 . 01 p ( x )
Y y1 , y2 0 . 5 0 . 5 p( y )
第二章 信源与信息熵
连续信源的概率空间：
PX(pax,(bx))或Rpx(x)
b
px(x)0, px(x)dx1或px(x)0, Rpx(x)dx1 a
南通大学
2019/9/4
8
第2章 信源与信息熵
3. 发出符号序列离散无记忆信源－－每次发出 一组含两个以上的符号序列来代表一个消息
南通大学
2019/9/4
18
第2章 信源与信息熵
p ij m ,n 一 k 步 步 p p ijik jm m 齐 次 p p iijjk
注：平稳信源的概率分布特性具有时间推移不变性， 而齐次马氏链只要转移概率具有时间推移不变性， 因此一般情况下，平稳包含齐次。
p
k
ii
0
的
n中没有比1大的公因
子。
南通大学
2019/9/4
23
第2章 信源与信息熵
• 作业：2-1，2-2
南通大学
2019/9/4
24
第2章 信源与信息熵
第二章 信源与信息熵
• 第二讲
南通大学
2019/9/4
25
第2章 信源与信息熵
上一讲复习
• 1. 信源的分类
连续信源 信源
离散信源
随机波形信源 其它 单符号无记忆离散信源 符号序列无记忆离散信源 单符号有记忆离散信源 符号序列有记忆离散信源
实际上信源发出的符号往往只与前面几个符号 的依赖关系较强，而与更前面的符号依赖关系就弱。 为此可以限制随机序列的记忆长度。
南通大学
2019/9/4
11
第2章 信源与信息熵
• 连续信源的离散化
南通大学
2019/9/4
PX(pax,(bx))或Rpx(x)
b
px(x)0, px(x)dx1或px(x)0, Rpx(x)dx1 a
南通大学
2019/9/4
8
第2章 信源与信息熵
3. 发出符号序列离散无记忆信源－－每次发出 一组含两个以上的符号序列来代表一个消息
南通大学
2019/9/4
18
第2章 信源与信息熵
p ij m ,n 一 k 步 步 p p ijik jm m 齐 次 p p iijjk
注：平稳信源的概率分布特性具有时间推移不变性， 而齐次马氏链只要转移概率具有时间推移不变性， 因此一般情况下，平稳包含齐次。
p
k
ii
0
的
n中没有比1大的公因
子。
南通大学
2019/9/4
23
第2章 信源与信息熵
• 作业：2-1，2-2
南通大学
2019/9/4
24
第2章 信源与信息熵
第二章 信源与信息熵
• 第二讲
南通大学
2019/9/4
25
第2章 信源与信息熵
上一讲复习
• 1. 信源的分类
连续信源 信源
离散信源
随机波形信源 其它 单符号无记忆离散信源 符号序列无记忆离散信源 单符号有记忆离散信源 符号序列有记忆离散信源
实际上信源发出的符号往往只与前面几个符号 的依赖关系较强，而与更前面的符号依赖关系就弱。 为此可以限制随机序列的记忆长度。
南通大学
2019/9/4
11
第2章 信源与信息熵
• 连续信源的离散化
南通大学
2019/9/4
信源的分类
授课题目 信息论的数学基础与信源的分类 授课类型 理论课 首次授课时间学时 2课时教学目标掌握信息论涉及的数学基础； 理解信源的分类；重点与难点信息论的数学基础；平稳信源、MARKOV信源的理解；教学手段与方法讲授教学过程：（包括授课思路、过程设计、讲解要点及各部分具体内容、时间分配等） 授课思路与过程设计：（1） 信源的分类，特别是离散信源的分类：离散无记忆信源、N次扩展信源、平稳信源。
（2） 信源的单位与举例说明（3） 信息熵讲解要点：（1） 信源的分类，注意对平稳信源、无记忆信源以及扩展信源的理解；（2） 信源的基本单位与举例说明（3） 信息熵的基本概念与理解时间分配：内 容 时间分配复习 5分钟信源的分类 20分钟信源的单位与举例说明 30分钟信息熵 30分钟小结 5分钟若信源输入的消息可以用N 维随机矢量),,,(21N X X X K 来描述，其中每个随机分量i X 都是取值为连续的连续型随机变量，并且满足随机矢量X 的各维密度函数与时间起点无关，也就是在任意两个不同时刻随机矢量X 的各维密度函数均相同，这样的信源称为连续平稳信源。
例如，语音信号、热噪声信号等。
在某些简单的离散平稳信源情况下，信源先后发出的一个个符号彼此是统计独立的，也就是说信源输出的随机矢量),,,(21N X X X X K =中，各随机变量i X 之间是无依赖的、统计独立的，则N 维随机矢量的联合概率分布满足)()()()()(221121N N N X P X P X P X X X P X P L L == 由于信源是平稳的，根据平稳随机序列的统计特性可知，各变量i X 的一维概率分布都相同，即)()()(21i N i i X P X P X P ===L ，则得∏===Ni i N X P X P X P X P X P 121)()()()()(L若不同时刻的随机变量又取值于同一符号集},,,{:21q a a a A K ，则有∏=====N k i i i i i i i i k N N a P a P a P a P a a a P X P 1)()()()()()(2121L L α式中，i α是N 维随机矢量的一个取值，即)(21N i i i i a a a L =α。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
• 例：一个布袋内放100个球，其中80个红色， 20个白色。若随机取一个球，看它的颜色。 将这样的试验看成一种信源，请描述该信源。
记a1=“红色”，a2=“白色”
X a1 a2 a1 a2
P
p(a1)
••p(a2)
0.8
••0.2
ai为随机变量X 的样值
X P
1 1/ 6
2 1/ 6
3 1/ 6
4 1/ 6
5 1/ 6
6 1/ 6
11
信源的描述
• 一个离散信源发出的各个符号消息的集合为：
X {x1, x2, , xn}
• 它们的概率分别为
a,b,c,…z
P {p(x1), p(x2), , p(xn )}
• p(xi): xi的先验概率
• 在通信系统中收信者在未收到消息以前对 信源发出什么消息是不确定的,是随机的， 所以可用随机变量、随机序列或随机过程 来描述信源输出的消息,或者说用一个样本 空间及其概率测度—概率空间来描述信源
• 信源的基本特性：具有随机不确定性。
5
香农信息论的基本点
• 用随机变量或随机矢量来表示信源 • 用概率论和随机过程的理论来研究
• 当信源无记忆时
p(x1x2 xl xL )
p(x1) p(x2) p(xl ) p(xL )
L
p(xl )
l 1
17
2.1.2 有记忆信源
• 一般情况下,信源在不同时刻发出的符号之间 是相互依赖的，也就是信源输出的平稳随机序
列X中，各随机变量Xl之间是有依赖的。 • 如在汉字序列中前后文字的出现是有依赖的，
X P
(a1, a1) p(a1, a1)
•(a1, a2 ) p(a1, a2 )
•(a2 , p(a2
a1 ) , a1)
(a2 , p(a2
a2 ) , a2 )
(a1, a1
0.64
)
•(a1, a2 0.16
)
•(a2 , a1 0.16
)
7
信源的分类
• 离散信源
– 指发出在时间和幅度上都是离散分布的离散 消息的信源，如文字、数字、数据等符号都 是离散消息。
{ 离散
{ { 信源
离散无记忆信源 离散有记忆信源
发出单个符号的无记忆信源 发出符号序列的无记忆信源 发出符号序列的有记忆信源
发出符号序列的马尔可夫信源
8
2.1.1 无记忆信源
该信源就是发出单符 号的连续无记忆信源
b
a pX (x)dx 1
Px(x)为符号分布的概率密度函数
14
信源的描述
• 发出符号序列的信源
X 000
P
1/
6
001 1/ 6
010 1/ 6
011 1/ 6
100 1/ 6
101 布1/袋6摸球，每次取两
• 设信源输出的随机序列为
第二章
信源与信息熵
1
内容
2.1 信源的描述和分类 2.2 离散信源熵和互信息 2.3 离散序列信源的熵 2.4 连续信源的熵和互信息 2.5 冗余度
2
本章重点
• 信源熵和离散/连续互信息
本章难点
• 离散序列有记忆信源的熵
3
2.1 信源的描述和分类
4
信源
• 信源
– 产生消息(符号)、消息序列和连续消息的来源 – 产生随机变量、随机序列和随机过程的源。
X P
x1 1/ 6
x2 1/ 6
x3 1/ 6
x4 1/ 6
x5 1/ 6
x6 1/ 6
10
离散无记忆信源
• 发出单个符号的信源
– 指信源每次只发出一个符号代表一个消息；
• 发出符号序列的信源
– 指信源每次发出一组含二个以上符号的符号 序列代表一个消息
• 单符号离散信源的数学模型—概率空间
X P
x1 p(x1
)
x2 p(x2 )
xn p(xn )
p( xi ) 0
n
p(xi ) 1
i 1
12
离散信源的统计特性
• 离散消息是从有限个符号组成的符号集中选择 排列组成的随机序列（组成离散消息的信息源 的符号个数是有限的）
(a2 , a2 0.04
)
16
信源的描述
• 随机序列的概率
p(x1, x2, x3, xL )
p(xL | xL1, x1) p(x1, x2, xL1)
p(xL | xL1, x1) p(xL1 | xL2, x1) p(x1, x2, xL2 )
不能认为是彼此不相关的。
• 表述有记忆信源要比表述无记忆信用源信源困发难出得的多一个符
• 离散有记忆信源
号序列的整体概率(即 联合概率)反映有记忆
– 所发出的各个符号的概率是有关信源联的的特。征
个球，球的颜色组成的 消息就是符号序列。
X =(X1X2…Xl…XL)
该信源就是发出符号 序列的无记忆信源。
• 序列中的变量Xl∈{x1,x2,… xn}
(有放回)
• 这种由信源X输出的L长随机序列X所描述的信
源称为离散无记忆信源X的L次扩展信源
15
• 例：80个红球，20个白球，随机摸两个，描 述该信源（有放回）。
• 在形成消息时，从符号集中选择各个符号的概 率不同 。
• 组成消息的基本符号之间有一定的统计相关特 性。
13
信源的描述
• 连续信源：
– 输出在时间或幅度上是连续分布的消息
• 单符号连续无记忆信源的概率空间
X (a,b)
P
pX
(
x)
pX (x) 0
随机取一节干电池测 其电压值作为输出符号, 符号取值为[0,1.5]之间 的所有实数。
p(ai)为随机变量X 取相应样值的概率
9
2.1.1 无记忆信源
• 离散无记忆信源
– 所发出的各个符号是相互独立的，发出的符 号序列中的各个符号之间没有统计关联性， 各个符号的出现概率是它自身的先验概率。
• 例如扔骰子，每次试验结果必然是1～6点中的 某一个面朝上。
• 用一个离散型随机变量X来描述这个信源输出 的消息。
信息
6
信源的分类
• 按照信源发出的消息在时间上和幅度上的分布 情况可将信源分成离散信源和连续信源两大类
{ 信源 离散信源: 文字、数据、电报—随机序列 连续信源: 话音、图像—随机过程
• 连续信源
– 指发出在时间或幅度上是连续分布的连续消 息（模拟消息）的信源，如语言、图像、图 形等都是连续消息。
记a1=“红色”，a2=“白色”
X a1 a2 a1 a2
P
p(a1)
••p(a2)
0.8
••0.2
ai为随机变量X 的样值
X P
1 1/ 6
2 1/ 6
3 1/ 6
4 1/ 6
5 1/ 6
6 1/ 6
11
信源的描述
• 一个离散信源发出的各个符号消息的集合为：
X {x1, x2, , xn}
• 它们的概率分别为
a,b,c,…z
P {p(x1), p(x2), , p(xn )}
• p(xi): xi的先验概率
• 在通信系统中收信者在未收到消息以前对 信源发出什么消息是不确定的,是随机的， 所以可用随机变量、随机序列或随机过程 来描述信源输出的消息,或者说用一个样本 空间及其概率测度—概率空间来描述信源
• 信源的基本特性：具有随机不确定性。
5
香农信息论的基本点
• 用随机变量或随机矢量来表示信源 • 用概率论和随机过程的理论来研究
• 当信源无记忆时
p(x1x2 xl xL )
p(x1) p(x2) p(xl ) p(xL )
L
p(xl )
l 1
17
2.1.2 有记忆信源
• 一般情况下,信源在不同时刻发出的符号之间 是相互依赖的，也就是信源输出的平稳随机序
列X中，各随机变量Xl之间是有依赖的。 • 如在汉字序列中前后文字的出现是有依赖的，
X P
(a1, a1) p(a1, a1)
•(a1, a2 ) p(a1, a2 )
•(a2 , p(a2
a1 ) , a1)
(a2 , p(a2
a2 ) , a2 )
(a1, a1
0.64
)
•(a1, a2 0.16
)
•(a2 , a1 0.16
)
7
信源的分类
• 离散信源
– 指发出在时间和幅度上都是离散分布的离散 消息的信源，如文字、数字、数据等符号都 是离散消息。
{ 离散
{ { 信源
离散无记忆信源 离散有记忆信源
发出单个符号的无记忆信源 发出符号序列的无记忆信源 发出符号序列的有记忆信源
发出符号序列的马尔可夫信源
8
2.1.1 无记忆信源
该信源就是发出单符 号的连续无记忆信源
b
a pX (x)dx 1
Px(x)为符号分布的概率密度函数
14
信源的描述
• 发出符号序列的信源
X 000
P
1/
6
001 1/ 6
010 1/ 6
011 1/ 6
100 1/ 6
101 布1/袋6摸球，每次取两
• 设信源输出的随机序列为
第二章
信源与信息熵
1
内容
2.1 信源的描述和分类 2.2 离散信源熵和互信息 2.3 离散序列信源的熵 2.4 连续信源的熵和互信息 2.5 冗余度
2
本章重点
• 信源熵和离散/连续互信息
本章难点
• 离散序列有记忆信源的熵
3
2.1 信源的描述和分类
4
信源
• 信源
– 产生消息(符号)、消息序列和连续消息的来源 – 产生随机变量、随机序列和随机过程的源。
X P
x1 1/ 6
x2 1/ 6
x3 1/ 6
x4 1/ 6
x5 1/ 6
x6 1/ 6
10
离散无记忆信源
• 发出单个符号的信源
– 指信源每次只发出一个符号代表一个消息；
• 发出符号序列的信源
– 指信源每次发出一组含二个以上符号的符号 序列代表一个消息
• 单符号离散信源的数学模型—概率空间
X P
x1 p(x1
)
x2 p(x2 )
xn p(xn )
p( xi ) 0
n
p(xi ) 1
i 1
12
离散信源的统计特性
• 离散消息是从有限个符号组成的符号集中选择 排列组成的随机序列（组成离散消息的信息源 的符号个数是有限的）
(a2 , a2 0.04
)
16
信源的描述
• 随机序列的概率
p(x1, x2, x3, xL )
p(xL | xL1, x1) p(x1, x2, xL1)
p(xL | xL1, x1) p(xL1 | xL2, x1) p(x1, x2, xL2 )
不能认为是彼此不相关的。
• 表述有记忆信源要比表述无记忆信用源信源困发难出得的多一个符
• 离散有记忆信源
号序列的整体概率(即 联合概率)反映有记忆
– 所发出的各个符号的概率是有关信源联的的特。征
个球，球的颜色组成的 消息就是符号序列。
X =(X1X2…Xl…XL)
该信源就是发出符号 序列的无记忆信源。
• 序列中的变量Xl∈{x1,x2,… xn}
(有放回)
• 这种由信源X输出的L长随机序列X所描述的信
源称为离散无记忆信源X的L次扩展信源
15
• 例：80个红球，20个白球，随机摸两个，描 述该信源（有放回）。
• 在形成消息时，从符号集中选择各个符号的概 率不同 。
• 组成消息的基本符号之间有一定的统计相关特 性。
13
信源的描述
• 连续信源：
– 输出在时间或幅度上是连续分布的消息
• 单符号连续无记忆信源的概率空间
X (a,b)
P
pX
(
x)
pX (x) 0
随机取一节干电池测 其电压值作为输出符号, 符号取值为[0,1.5]之间 的所有实数。
p(ai)为随机变量X 取相应样值的概率
9
2.1.1 无记忆信源
• 离散无记忆信源
– 所发出的各个符号是相互独立的，发出的符 号序列中的各个符号之间没有统计关联性， 各个符号的出现概率是它自身的先验概率。
• 例如扔骰子，每次试验结果必然是1～6点中的 某一个面朝上。
• 用一个离散型随机变量X来描述这个信源输出 的消息。
信息
6
信源的分类
• 按照信源发出的消息在时间上和幅度上的分布 情况可将信源分成离散信源和连续信源两大类
{ 信源 离散信源: 文字、数据、电报—随机序列 连续信源: 话音、图像—随机过程
• 连续信源
– 指发出在时间或幅度上是连续分布的连续消 息（模拟消息）的信源，如语言、图像、图 形等都是连续消息。