3.2_离散无记忆信源及其扩展源解析
合集下载
信息论与编码第二章 离散信源新
例2：箱中有赤、橙、黄、青、兰、紫六种颜 色的32只彩球，其中赤16球，澄8球，黄4 球，青2球，蓝、紫各1球。有放回抽取：
x 赤橙黄青蓝紫 p(x) 1/21/41/81/16 1/32 1/3 2
精选ppt
二 离散无记忆的扩展信源
实际情况下，信源输出的消息往往不是单个符号，而是由 许多不同时刻发出的符号所组成的符号序列。设序列由N个 符号组成，若这N个符号取自同一符号集{ a1 , a2 , … , ak}， 并且先后发出的符号彼此间统计独立，我们将这样的信源称
f ( pi ) 0 。
（3）小概率事件发生，会给人 以极大的刺激，提供很大的信息量，即
p(ai ) 0 ， f ( pi ) 。
（4）独立事件的联合信息量，应等于它们各自信息量之和。
先验概率越大I(，a i得)到 的f信[p 息(a 量i越)小 ]， 反l之o 信p 息(a g 量i)越 大lop (1 g a i)
如果各维联合概率分布均与时间起点无关，那么，信源是完全平 稳的。这种各维联合概率分布均与时间起点无关的完全平稳信源 称为离散平稳信源。这时有：
P(xi) = P(xj) P(xi xi+1) = P(xj xj+1) …… P(xi xi+1 … xi+N ) =精选pPpt(xj xj+1 … xi+N )
bj
接收端
先验概率 p(ai ) 是指在接收到一个符号以前，选择符合ai 作为输入符号的概率
后验概率 p(ai bj ) 是指在接收到一个符号bj 以后，选择符合ai 作为输入符号的概率
精选ppt
自信息
解决信息的度量问题 信源发出的消息是随机的。未接收之前，收信者
对信源发出的消息是不确定的。消息传到收信者 后，才消除了不确定性，获得了信息。 某一消息发出的不确定性越大，一旦发生，接收 者消除的不确定性就越大，获得的信息也就越大。 一般而言，收信者所获取的信息量，在数量上等 于通信前后不确定性消除（减少）的量。
x 赤橙黄青蓝紫 p(x) 1/21/41/81/16 1/32 1/3 2
精选ppt
二 离散无记忆的扩展信源
实际情况下，信源输出的消息往往不是单个符号，而是由 许多不同时刻发出的符号所组成的符号序列。设序列由N个 符号组成，若这N个符号取自同一符号集{ a1 , a2 , … , ak}， 并且先后发出的符号彼此间统计独立，我们将这样的信源称
f ( pi ) 0 。
（3）小概率事件发生，会给人 以极大的刺激，提供很大的信息量，即
p(ai ) 0 ， f ( pi ) 。
（4）独立事件的联合信息量，应等于它们各自信息量之和。
先验概率越大I(，a i得)到 的f信[p 息(a 量i越)小 ]， 反l之o 信p 息(a g 量i)越 大lop (1 g a i)
如果各维联合概率分布均与时间起点无关，那么，信源是完全平 稳的。这种各维联合概率分布均与时间起点无关的完全平稳信源 称为离散平稳信源。这时有：
P(xi) = P(xj) P(xi xi+1) = P(xj xj+1) …… P(xi xi+1 … xi+N ) =精选pPpt(xj xj+1 … xi+N )
bj
接收端
先验概率 p(ai ) 是指在接收到一个符号以前，选择符合ai 作为输入符号的概率
后验概率 p(ai bj ) 是指在接收到一个符号bj 以后，选择符合ai 作为输入符号的概率
精选ppt
自信息
解决信息的度量问题 信源发出的消息是随机的。未接收之前，收信者
对信源发出的消息是不确定的。消息传到收信者 后，才消除了不确定性，获得了信息。 某一消息发出的不确定性越大，一旦发生，接收 者消除的不确定性就越大，获得的信息也就越大。 一般而言，收信者所获取的信息量，在数量上等 于通信前后不确定性消除（减少）的量。
中南大学信息论与编码讲义-第三章
3.1率失真函数
• R(δ)的计算
0 1 D= 1 0
例3.1(续)P{U=0}=p,P{U=1}=q。 d(u,v)=0 ● δmin=∑up(u) minv d(u,v)=0。 ● δmax=minv ∑up(u) d(u,v)=min{p,q}=p。 ●对于δmin≤δ≤δmax，选择达到了R(δ)试验信道。即， E(d)=P(U≠V)=δ,求I的最小值。 方法1：由定理1.2知，H(U|V)≤H(δ)。故有 I(U;V)=H(U)-H(U|V)=H(p)-H(U|V)≥H(p)-H(δ)。下面通过证 明可以找到一个试验信道达到这个值H(p)-H(δ)。 定义一个反向试验信道，即给定转移概率p(u|v)。如 图所示：
u v v
= ∑ p (u ) min d (u , v)
u v
率失真函数的性质
• R(δ)是δ≥δmin的下降函数
如果δ1>δ2，则满足E(d)≤kδ2的所有试验信道，一定是满足 E(d)≤kδ1的试验信道，所以Rk (δ1) ≤ Rk (δ2) 。所以 Rk (δ)在δ≥δmin范围内是下降函数。
第三章
离散无记忆信源及率失真函数
离散无记忆信源及率失真函数
一 般 可以 对 信源 输出的信息进行失真处理 , 降 低信 息率 , 提 高传输 效率那么允许在一定程度的失真 条件下 , 能够把信源信 息压 缩到什 么程 度 , 至少需 要 多 少比特的 信 息 率 才 能 描 述 信 源 呢 ? 本章主要讨论在一定程度的失真情况下，所需的最 少信息率。
证明：(略)
率失真函数的性质
• R (δ)在δ≥δmin范围内是连续的。 • 存在一个δmax，当δ≥δmax时，R(δ)=0。
《离散无记忆源》课件
游程编码
将连续出现的相同符号用一个符号和长度表示，以减少码符号数目。
LZ77编码
通过查找输入符号序列中的重复子串，用相对地址表示重复子串，以 减少码符号数目。
解码方法与解码误差
01
解码是编码的反过程，目的是从码符号序列中恢复出原始的符号序列。
02
解码方法主要有最大概率解码和算术解码两种。最大概率解码是根据每个码符 号对应的最大概率进行解码，算术解码是根据实数区间的长度进行解码。
详细描述
互信息用于描述两个随机变量之间的相互依赖程度，基于互 信息的优化设计通过最大化互信息来增强离散无记忆源中变 量之间的关联性，从而提高离散无记忆源的可靠性。
基于失真-率函数的优化设计
总结词
基于失真-率函数的优化设计是一种利用失真-率函数来衡量离散无记忆源的失真程度，并以此为依据 进行优化设计的方法。
详细描述
失真-率函数用于描述离散无记忆源的失真程度，基于失真-率函数的优化设计通过最小化失真-率函数 来降低离散无记忆源的失真度，从而提高离散无记忆源的可靠性。
06
离散无记忆源的未来研究方向
信源编码的算法优化
算法复杂度降低
研究更高效的算法，降低离散无记忆源 信源编码的复杂度，提高实时性和计算 效率。
03
离散无记忆源的编码与解码
信源编码的基本原理
编码过程中应遵循的三个基本原 则是：无失真编码、限失真编码 和强归纳编码。
限失真编码是指在信息损失可接 受的条件下，尽可能地压缩信息 ，以减少所需的带宽或存储空间 。
信源编码是一种将信源输出的符 号序列转换为更短的码符号序列 的过程，目的是减少信息传输所 需的带宽或存储空间。
无失真编码是指编码后的码符号 序列能够完全恢复原始符号序列 ，没有信息损失。
将连续出现的相同符号用一个符号和长度表示，以减少码符号数目。
LZ77编码
通过查找输入符号序列中的重复子串，用相对地址表示重复子串，以 减少码符号数目。
解码方法与解码误差
01
解码是编码的反过程，目的是从码符号序列中恢复出原始的符号序列。
02
解码方法主要有最大概率解码和算术解码两种。最大概率解码是根据每个码符 号对应的最大概率进行解码，算术解码是根据实数区间的长度进行解码。
详细描述
互信息用于描述两个随机变量之间的相互依赖程度，基于互 信息的优化设计通过最大化互信息来增强离散无记忆源中变 量之间的关联性，从而提高离散无记忆源的可靠性。
基于失真-率函数的优化设计
总结词
基于失真-率函数的优化设计是一种利用失真-率函数来衡量离散无记忆源的失真程度，并以此为依据 进行优化设计的方法。
详细描述
失真-率函数用于描述离散无记忆源的失真程度，基于失真-率函数的优化设计通过最小化失真-率函数 来降低离散无记忆源的失真度，从而提高离散无记忆源的可靠性。
06
离散无记忆源的未来研究方向
信源编码的算法优化
算法复杂度降低
研究更高效的算法，降低离散无记忆源 信源编码的复杂度，提高实时性和计算 效率。
03
离散无记忆源的编码与解码
信源编码的基本原理
编码过程中应遵循的三个基本原 则是：无失真编码、限失真编码 和强归纳编码。
限失真编码是指在信息损失可接 受的条件下，尽可能地压缩信息 ，以减少所需的带宽或存储空间 。
信源编码是一种将信源输出的符 号序列转换为更短的码符号序列 的过程，目的是减少信息传输所 需的带宽或存储空间。
无失真编码是指编码后的码符号 序列能够完全恢复原始符号序列 ，没有信息损失。
第5讲离散无记忆信源
尤为重要的是：
一类重要的符号序列有记忆离散信源----马尔可夫 信源： 某一个符号出现的概率只与前面一个或有限个 符号有关，而不依赖更前面的那些符号。
2.2 离散无记忆扩展信源
1. 单个符号的离散信源----每次只发出一个符号代表一 个消息，且消息数量有限。
a1 X P p ( a1 ) a2 p ( a2 ) p ( ar ) ar
则称此信源为离散平稳信源。 注：平稳信源既是指在发出符号不变的前提下，发出符号 概率不依时间而改变，今后不特别说明时，我们提到的信 源都是平稳信源。
2、平稳信源等价条件
p ( xk ) p ( xt ) p( x x ) p( x x ) k k 1 t t 1 (1) p ( xk xk N ) p ( xt xt N )
符号集
X {a1 , a2 ,
r
, ar },
i
p ai 0
p(a ) 1
i 1
2. 发出符号序列离散信源－－每次发出一组 含两个以上的符号序列来代表一个消息
信源X输出用N维随机序列（随机矢量）
X X 1 X2 Xl X N 来描述信源输出的消息，
用联合概率分布来表示信源特性。在上述随机矢量 中，若每个随机变量 X i (i 1, 2,
中每个符号才能使得X i 有r N 个，因此相当如后式中的i1 ,
, iN 都从
注2、
H(XN)=NH(X):每个消息所能提供的平均信息量为每个信源
符号平均信息量的N倍。
X a1 例1、设信源空间 1 P 4 信源的熵？
解：X 2的概率空间为
a2 1 2
第三章离散信源
p(xi )
? 熵函数的自变量是X,表示信源整体，实质上是无
记忆信源平均不确定度的度量。试验后平均信息
量为熵
不确定性＝携载的信息
? 单位：以2为底，比特/符号
? 为什么要用熵这个词与热熵的区别？
例3.2.1二元熵函数是对0－1分布的随机变量所求的熵：
X
0
1
＝
P（x）
p
1-p
则： H(X) = -plogp-(1-p)log(1-p)=H(p)
? ?X
??P( X
? )??
?
? x1,
? ?
p(
x1
),
x2,? , p(x2 ),?
xi ,? , , p(xi
),?
,
p(
xn ? xn )??
,
n i?1
p(xi )
?
1
则信源X的N次扩展信源用 X N来表示,该新信源有 nN个元素(消息序列)
取值于同一集合
，且分量之间
统计{ 独x1 ,立x 2，, ? 则, x由n }随机矢量 X 组成的新信源称为
离散无记忆信源 X的N次扩展信源。
离散无记忆信源 X的N次扩展信源 (或称序列信 源)的熵就是离散信源 X的熵的N倍。
H ( X N ) ? NH ( X )
理解
若单符号离散信源的数 学模型为 :
qN
qN q
? P(? i ) ? ?? P(aik ) ? 1
i?1
i? 1 ik ? 1
有记忆信源：输出的随机序列 X中各随机变量 之间有依赖关系，但记忆长度有限。 m阶马尔可夫信源：信源每次发出的符号只与 前m个符号有关，与更前面的符号无关。
P(xi |? xi?2xi?1xi?1xi?2xi?3 ? xi?m ? xi?1)
3.2_离散无记忆信源及其扩展源
【例3.3】
设离散无记忆信源X的概率空间为：
a2 a3 3 1 1 , p(ai ) 1 i 1 4 4 求：X的二次扩展信源的熵。 a 1 X 1 P 2
【例3.3】
解：二次扩展信源的概率空间为
X2的信 源符号
1 2
Байду номын сангаас
3
4
3.2 离散无记忆信源 及其扩展源
3.2.1 离散无记忆信源
【思考】实际通信过程中，信源发送 消息往往不是单个符号，而是符号序 列。当字符组成序列(如句子或文章) 时，会出现问题。
3.2.1 离散无记忆信源 分两种情况来讨论： 字符之间不存在统计关联的信源 【 两个新问题 】 叫做无记忆信源； 字符之间存在统计关联的信源叫 1. 随着序列的伸延，信源选取字符的 做 有记忆信源。 例如，一个袋子里有 10个黑球和 概率是否随着时间改变 ？ 10个白球。从袋子拿球，有放回的， 2. 序列前后字符之间是否统计相关？ 就相当于无记忆的；无放回的，就 假设所讨论的信源是 平稳信源， 是有记忆 的。 即信源选取字符的概率不随时间改变。
3.2.1 离散无记忆信源
1.
【特点】 ① 信源发出的各符号之间相互独立； ② 发出的符号序列中各个符号之间没 有统计关联性；
③ 各个符号的出现概率是它自身的先 验概率。
3.2.1 离散无记忆信源
2. 【定义】设信源X输出符号集 A={a1,a2,…,aq} ，q是信源发出的消息符 号个数，每个符号发生的概率为 p(ai)(i=1,2,…,q)，这些消息符号彼此互不 相关，且满足：
N次扩展
三、离散无记忆信源的 N次扩展信源
2014.信息论.第3章离散信源
设信源输出符号集合，每次信源输
9
是⼀一个离散⽆无记忆信源，其概率空间为
其中
信源X的符号集合为
N次扩展信源X N符号集合为
15
的有记忆平稳信源（⼆二维平稳信源）输
23
当且仅当X 1和X 2统计独⽴立时等号成⽴立，此时信源相当于⼆二次⽆无记忆扩展；
当X 1和X 2之间相关时，联合熵⼩小于信息熵之和，即⼩小于单个消息符号X 熵的 2 倍。
由于
25
例：设某⼆二维离散信源X =的原始信源X 的信源模型为
中前后两个符号的条件概率
7/92/901/83/41/80
2/11
9/11
(1)若该信源为⼆二维⽆无记忆扩展信源，求信源的熵。
(2)若该信源为⼆二维平稳信源，如表，求信源的熵。
26
原始信源的熵为：
由条件概率确定的条件熵为：
由于符号之间的依赖性，条件熵⽐比信源熵减少了0.672bit
⼆二维离散⽆无记忆扩展信源的熵为：2H(X)=2*1.542=3.084(bit ）7/92/901/83/4
1/8
2/119/11
27
信源X=
平均每发⼀一个消息所能提供的信息量，即联合熵
则每⼀一个信源符号所提供的平均信息量
⼩小于信源X所提供的平均信息量H(X)=1.542bit，这是
由于符号之间的统计相关性所引起的。
28
维平稳信源输出序列每N个符号⼀一组；各
30
则有：
时：
随N的增加是⾮非递增的；
给定时，平均符号熵≥条件熵；
–平均符号熵随N增加是⾮非递增的；
34
解：
35
1,2,......,J 某时刻随机
……
43
44。
离散无记忆的扩展信源精品PPT课件
根据信息熵的定义，N次扩展信源熵
H (X )
H(X
N
)
XN
P( X ) logP( X )
XN
P(i ) log
1
P(i )
可以证明离散无记忆信源 X的 N次扩展信源 X N的熵 等于信源 X的熵值的 N倍，即：
H ( X N ) NH ( X )
电子信息工程学院
信息论
2.4 离散无记忆的扩展信源
信息论
2.4 离散无记忆的扩展信源
2.4.1 单符号离散无记忆信源
X P
x1 p( x1 )
x2 ... p(x2 ) ...
xi ... p(xi ) ...
xq
p(
xq
)
0 p(xi ) 1 q
p(xi ) 1
i 1
信源X 的符号集 X x1, x2,..., xq ，每个符号的发生概
电子信息工程学院
信息论
2.4 离散无记忆的扩展信源
因为是无记忆的（彼此统计独立），若
i (ai1 ai2 ai3 ...aiN )
则 P(i ) P(ai1 )P(ai2 )...P(aiN ) pi1 pi2 ... piN ,
其中 i1, i2 ,..., iN 1, 2,.., q 又 0 P(i ) 1
电子信息工程学院
信息论
2.4
离散无记忆的扩展信源
3、任意进制离散无记忆信源的N次扩展信源
X
P
x1 p(x1 )
x2 p(x2 )
xi p(xi )
xq p(xq )
N次扩展信源
X N
P
a1 p(a1 )
a2
p(a2 )
aqN p(aqN
H (X )
H(X
N
)
XN
P( X ) logP( X )
XN
P(i ) log
1
P(i )
可以证明离散无记忆信源 X的 N次扩展信源 X N的熵 等于信源 X的熵值的 N倍，即：
H ( X N ) NH ( X )
电子信息工程学院
信息论
2.4 离散无记忆的扩展信源
信息论
2.4 离散无记忆的扩展信源
2.4.1 单符号离散无记忆信源
X P
x1 p( x1 )
x2 ... p(x2 ) ...
xi ... p(xi ) ...
xq
p(
xq
)
0 p(xi ) 1 q
p(xi ) 1
i 1
信源X 的符号集 X x1, x2,..., xq ，每个符号的发生概
电子信息工程学院
信息论
2.4 离散无记忆的扩展信源
因为是无记忆的（彼此统计独立），若
i (ai1 ai2 ai3 ...aiN )
则 P(i ) P(ai1 )P(ai2 )...P(aiN ) pi1 pi2 ... piN ,
其中 i1, i2 ,..., iN 1, 2,.., q 又 0 P(i ) 1
电子信息工程学院
信息论
2.4
离散无记忆的扩展信源
3、任意进制离散无记忆信源的N次扩展信源
X
P
x1 p(x1 )
x2 p(x2 )
xi p(xi )
xq p(xq )
N次扩展信源
X N
P
a1 p(a1 )
a2
p(a2 )
aqN p(aqN
信息论基础教学课件ppt-离散信源
11
3.1.4 离散平稳信源数学模型
l 信源X具有有限符号集 l 信源产生随机序列 l 对所有
有 则称信源为离散平稳信源，所产生的序列为平稳序列。
• 12
3.1.4 离散平稳信源数学模型
平稳序列的统计特性与时间的推移无关
•Page 13
3.1.4 离散平稳信源数学模型
n 例3.2 一平稳信源X的符号集A={0，1}，产生随机序列{xn}, 其中P(x1=0)=p, 求P(xn=1)（n >1）的概率。 解： 平稳性
数就是消息长度。
如果消息构成满树，消息概率也满足归一化条件，
这时消息集中的消息可视为某个信源的输出。这个
信源称为信源X的变长扩展源
19
3.2.2 变长消息扩展
如果消息树是全树
就对应着信源的等长扩展。所以等长扩展可以视为 变长扩展的特例。
20
3.2.2 变长消息扩展
什么消息集可以作为某信源的扩展？
7
单符号离散无记忆信源
n 例3.1 一个二元无记忆信源，符号集 A={0,1}, p为X=0
的概率,q为X=1的概率，q=1-p；写出信源的模型。 解：信源的模型
•8
3.1.2 离散无记忆信源的数学模型
多维离散无记忆信源数学模型:
Xi的符号集 的符号集
9
3.1.2 离散无记忆信源的数学模型
因为信源是无记忆的，所以：
●网格图 每时刻的网格节点与马氏链的状态一一对应
●状态转移图 状态转移图与矩阵有一一对应关系
47
3.4.2 齐次马氏链（3）
例3.8 一个矩阵，验证此矩阵对
=1
应一个齐次马氏链的转移概率矩
=1
阵并确定此马氏链的状态数
3.1.4 离散平稳信源数学模型
l 信源X具有有限符号集 l 信源产生随机序列 l 对所有
有 则称信源为离散平稳信源，所产生的序列为平稳序列。
• 12
3.1.4 离散平稳信源数学模型
平稳序列的统计特性与时间的推移无关
•Page 13
3.1.4 离散平稳信源数学模型
n 例3.2 一平稳信源X的符号集A={0，1}，产生随机序列{xn}, 其中P(x1=0)=p, 求P(xn=1)（n >1）的概率。 解： 平稳性
数就是消息长度。
如果消息构成满树，消息概率也满足归一化条件，
这时消息集中的消息可视为某个信源的输出。这个
信源称为信源X的变长扩展源
19
3.2.2 变长消息扩展
如果消息树是全树
就对应着信源的等长扩展。所以等长扩展可以视为 变长扩展的特例。
20
3.2.2 变长消息扩展
什么消息集可以作为某信源的扩展？
7
单符号离散无记忆信源
n 例3.1 一个二元无记忆信源，符号集 A={0,1}, p为X=0
的概率,q为X=1的概率，q=1-p；写出信源的模型。 解：信源的模型
•8
3.1.2 离散无记忆信源的数学模型
多维离散无记忆信源数学模型:
Xi的符号集 的符号集
9
3.1.2 离散无记忆信源的数学模型
因为信源是无记忆的，所以：
●网格图 每时刻的网格节点与马氏链的状态一一对应
●状态转移图 状态转移图与矩阵有一一对应关系
47
3.4.2 齐次马氏链（3）
例3.8 一个矩阵，验证此矩阵对
=1
应一个齐次马氏链的转移概率矩
=1
阵并确定此马氏链的状态数
离散信源的分类和数学模型离散无记忆信源的熵
离散信源的分类和数学模型离散⽆记忆信源的熵1.离散信源的分类和数学模型 在离散时间发出离散符号的信源称为离散信源。
如果信源符号集为有限集，则称为有限离散信源。
如果信源符号集为⽆限可数集，则称为⽆限离散信源。
离散⽆记忆信源的N次拓展源：设信源为X，则由X构成的N维随机⽮量集合X N = X1X2X3...X N(其中X i与X同分布)，称为信源X的N次扩展源。
2.离散⽆记忆信源的熵 2.1离散平稳信源若具有有限符号集A={a1,a2,a3,...,a n}的信源X产⽣的随机序列{x i},i=...1,2...且满⾜：对所有的i1,i2,...i n,h,j1,j2,...,j n及x i ε X,有p(x i1=a j1,x i2=a j2,x i3=a j3,...x i N=a jN) = p(x i1+h=a j1,x i2+h=a j2,...,x in+h=a jn)则称信源为离散平稳信源，所产⽣的序列为平稳序列。
平稳序列的统计特性与时间的推移⽆关，即序列中符号的额任意维联合概率分布与时间起点⽆关。
2.2离散平稳有记忆信源的熵设X为离散平稳有记忆信源，X的N次扩展源记为X N, X N=X1X2X3...X N. 根据熵的可加性，有H(X N)=H(X1X2X3...X N)=H(X1)+H(X2|X1)+...+H(X N|X1...X N-1) 定理1：对任意离散平稳信源，若H1(X)<∞,有以下结论：（1）H(X N|X1...X N-1)不随N⽽增加;（2）H N(X)≥H(X N|X1...X N-1); (3) H N(X)不随N⽽增加；(4)H∞(X)存在，且H∞(X)=limH(X N|X1...X N-1); 式（4）表明，有记忆信源的符号熵也可以通过计算极限条件熵得到。
3.有限状态马尔可夫链 3.1马⽒链的基本概念 设信源的符号集为{a1,a2,..,a q},信源的输出序列为x1,x2,...,x N,如果其中每个随机变量x n仅通过最接近的变量x n-1依赖于过去的随机变量x n-1,x n-2,...,即对所有的i,j,k,...有p(x n=j|x n-1=i,x n-2=k,...,x0=m ) = p(x n=j|x n-1=i) 则称{x n,n≥0}为马尔可夫链，简称马⽒链。
离散无记忆扩展信道及其信道容量课品
p
2
pp
pp
p
2
可以将信道的扩展和信源的扩展联系起来看， 当信源扩展以后，信道也就称为了扩展信道。
根据互信息的定义 I ( X N ;Y N ) H ( X N ) H ( X N / Y N ) H (Y N ) H (Y N / X N )
定理 如果信道是无记忆的，即
N
P( y / x) P( yi / xi ) i 1
则：
N
I ( X N ;Y N ) I ( X i ;Yi ) i 1
定理 如果信源是无记忆的，则
N
I ( X N ;Y N ) I ( X i ;Yi ) i 1
因此，如果信源、信道都是无记忆的 I ( X N ;Y N ) NI ( X ;Y )
CN NC
这就是离散无记忆扩展信道得信道容量，该信 道容量在信源是无记忆信源且每一个输入变量 Xi达到最佳分布时达到。
第三节 离散无记忆扩展信道及其信道容量
第三节 离散无记忆扩展信道及其信道容量
离散无记忆信道为：
p11 p12 ... p1s
P
p21
p22
...
p2
s
...
...
pr1
pr2 ...
prs
则它的N次扩展信道为：
11
21
ggg
rN 1
12 22
rN 2
ggg ggg
1s N 2sN
ggg
rN
s
kn P(h /k )
k 为N次扩展信源中的一个符号序列
h 为N次扩展接收符号集中的一个符号序列
我们首先从一个例子开始 例：二元无记忆对称信道得二次扩展信道
二元记忆对称信道为
《离散无记忆源》课件
《离散无记忆源》PPT课 件
这个PPT课件将介绍离散无记忆源的基本概念、熵与信息率、概率分布函数与 信息熵的性质、最优编码、应用以及结论和未来研究方向。
介绍
• 什么是离散无记忆源？ • 离散无记忆源的特点是什么？ • 离散无记忆源的应用领域有哪些？
基本概念
• 离散无记忆源的定义是什么？ • 什么是无偏离散无记忆源？ • 如何描述信源的概率分布函数？
• 离散无记忆源如何用于压缩编码？ • 离散无记忆源的通信应用有哪些？ • 如何在数据传输中应用离散无记忆源？
结论
• 对离散无记忆源的总结 • 展望未来ቤተ መጻሕፍቲ ባይዱ研究方向
参考文献
• 引用的相关文献
熵与信息率
• 离散无记忆源熵的定义是什么？ • 如何计算离散无记忆源的信息率？
概率分布函数与信息熵的性质
• 什么是离散无记忆源平凡上界？ • 如何定义离散无记忆源平凡下界？ • 具有哪些性质的信息熵？
最优编码
• 什么是霍夫曼编码？ • 最优前缀编码有什么特点？ • 香农-麦克米伦定理是什么？
应用
这个PPT课件将介绍离散无记忆源的基本概念、熵与信息率、概率分布函数与 信息熵的性质、最优编码、应用以及结论和未来研究方向。
介绍
• 什么是离散无记忆源？ • 离散无记忆源的特点是什么？ • 离散无记忆源的应用领域有哪些？
基本概念
• 离散无记忆源的定义是什么？ • 什么是无偏离散无记忆源？ • 如何描述信源的概率分布函数？
• 离散无记忆源如何用于压缩编码？ • 离散无记忆源的通信应用有哪些？ • 如何在数据传输中应用离散无记忆源？
结论
• 对离散无记忆源的总结 • 展望未来ቤተ መጻሕፍቲ ባይዱ研究方向
参考文献
• 引用的相关文献
熵与信息率
• 离散无记忆源熵的定义是什么？ • 如何计算离散无记忆源的信息率？
概率分布函数与信息熵的性质
• 什么是离散无记忆源平凡上界？ • 如何定义离散无记忆源平凡下界？ • 具有哪些性质的信息熵？
最优编码
• 什么是霍夫曼编码？ • 最优前缀编码有什么特点？ • 香农-麦克米伦定理是什么？
应用
信源编码--离散信源无失真编码概述(ppt 17页)
在一个固定的时刻，信源发出的是一个随机变量。 随着时间的延续，信源发出的是一个随机过程。 （因此，一般的信源种类太多，其统计性质太复杂。怎样做工
程实用的简化？）
2020/8/22
2
§3.1 信源及其分类
离散信源 信源每隔一个定长时间段就发出一个随机变量； 随着时间的延续，信源发出的是随机变量序列
pe= P{(U1U2…UL)=(u1u2…uL) | (u1u2…uL)的码字在译码时并不译为(u1u2…uL)}。
2020/8/22
8
§3.2 离散无记忆（简单）信 源的等长编码
（关于编码速率的说明：
编码速率本来是编码设备的性能指标。这就是说，首先有 了编码设备的编码速率R0，然后选择N和L，使得实际的编 码速率NlogD/L不能超过编码设备的编码速率R0 ： R=NlogD/L≤R0。
R<H(U1)≤logK。 （如果H(U1)=logK，则以上两种情形已经概括了全部情形。
但如果H(U1)<logK，则还有一种情形） 当logK>R>H(U1)时，虽然无论怎样编码都是有错编码，
但可以适当地编码和译码使译码错误的概率pe任意小。这 就是所谓“渐进无错编码”。
2020/8/22
10
2020/8/22
6
§3.2 离散无记忆（简单）信 源的等长编码
（3）如果限定码字的长度为N（即每个码字都是一个N维向 量），则称此编码为等长编码，能够选择的不同码字的个 数为DN。
（4）如果限定码字的长度为≤N（即每个码字都是一个≤N维 的向量），则称此编码为不等长编码，能够选择的不同码 字的个数为
2020/8/22
3
§3.1 信源及其分类
（总结：离散无记忆简单信源就是时间离散、事件离散、各 随机变量独立同分布的信源。课程学习所面对的信源将主 要是离散无记忆简单信源）
程实用的简化？）
2020/8/22
2
§3.1 信源及其分类
离散信源 信源每隔一个定长时间段就发出一个随机变量； 随着时间的延续，信源发出的是随机变量序列
pe= P{(U1U2…UL)=(u1u2…uL) | (u1u2…uL)的码字在译码时并不译为(u1u2…uL)}。
2020/8/22
8
§3.2 离散无记忆（简单）信 源的等长编码
（关于编码速率的说明：
编码速率本来是编码设备的性能指标。这就是说，首先有 了编码设备的编码速率R0，然后选择N和L，使得实际的编 码速率NlogD/L不能超过编码设备的编码速率R0 ： R=NlogD/L≤R0。
R<H(U1)≤logK。 （如果H(U1)=logK，则以上两种情形已经概括了全部情形。
但如果H(U1)<logK，则还有一种情形） 当logK>R>H(U1)时，虽然无论怎样编码都是有错编码，
但可以适当地编码和译码使译码错误的概率pe任意小。这 就是所谓“渐进无错编码”。
2020/8/22
10
2020/8/22
6
§3.2 离散无记忆（简单）信 源的等长编码
（3）如果限定码字的长度为N（即每个码字都是一个N维向 量），则称此编码为等长编码，能够选择的不同码字的个 数为DN。
（4）如果限定码字的长度为≤N（即每个码字都是一个≤N维 的向量），则称此编码为不等长编码，能够选择的不同码 字的个数为
2020/8/22
3
§3.1 信源及其分类
（总结：离散无记忆简单信源就是时间离散、事件离散、各 随机变量独立同分布的信源。课程学习所面对的信源将主 要是离散无记忆简单信源）
第17讲-离散无记忆扩展信道及其信道容量PPT课件
二元无记忆对称信道得二次扩展信道二元记忆对称信道为可以将信道的扩展和信源的扩展联系起来看当信源扩展以后信道也就称为了扩展信道
第三节 离散无记忆扩展信道及其信道容量
第三节 离散无记忆扩展信道及其信道容量
离散无记忆信道为：
p11 p12 ... p1s
P
p21
p22
...
p
2
s
...
...
定理 如果信道是无记忆的，即
N
P(y/x) P(yi /xi) i1
则：
N
I(XN;YN) I(Xi;Yi) i1
定理 如果信源是无记忆的，则
N
I(XN;YN) I(Xi;Yi) i1
因此，如果信源、信道都是无记忆的 I(XN;YN)NI(X;Y)
CN NC
这就是离散无记忆扩展信道得信道容量，该信 道容量在信源是无记忆信源且每一个输入变量 Xi达到最佳分布时达到。
pr1
pr2 ...
p rs
则它的N次扩展信道为：
11
21
rN 1
12 22
rN 2
1sN 2sN
rN
s
kn P(h/k)
k 为N次扩展信源中的一个符号序列
h 为N次扩展接收符号集中的一个符号序列
我们首先从一个例子开始 例：二元无记忆对称信道得二次扩展信道
二元记忆对称信道为
P
p p
p
p
则它的二次扩展信道为：
p2 pp pp p2
p
p
p2
p2
p
p
pp p2 p2 pp
p
2
pp
pp
p
2
可以将信道的扩展和信源的扩展联系起来看， 当信源扩展以后，信道也就称为了扩展信道。
第三节 离散无记忆扩展信道及其信道容量
第三节 离散无记忆扩展信道及其信道容量
离散无记忆信道为：
p11 p12 ... p1s
P
p21
p22
...
p
2
s
...
...
定理 如果信道是无记忆的，即
N
P(y/x) P(yi /xi) i1
则：
N
I(XN;YN) I(Xi;Yi) i1
定理 如果信源是无记忆的，则
N
I(XN;YN) I(Xi;Yi) i1
因此，如果信源、信道都是无记忆的 I(XN;YN)NI(X;Y)
CN NC
这就是离散无记忆扩展信道得信道容量，该信 道容量在信源是无记忆信源且每一个输入变量 Xi达到最佳分布时达到。
pr1
pr2 ...
p rs
则它的N次扩展信道为：
11
21
rN 1
12 22
rN 2
1sN 2sN
rN
s
kn P(h/k)
k 为N次扩展信源中的一个符号序列
h 为N次扩展接收符号集中的一个符号序列
我们首先从一个例子开始 例：二元无记忆对称信道得二次扩展信道
二元记忆对称信道为
P
p p
p
p
则它的二次扩展信道为：
p2 pp pp p2
p
p
p2
p2
p
p
pp p2 p2 pp
p
2
pp
pp
p
2
可以将信道的扩展和信源的扩展联系起来看， 当信源扩展以后，信道也就称为了扩展信道。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
1. 该信源输出的消息数是有限的。
2. 该信源每次只输出一个消息，出现 哪一种消息是随机的。 3. 6个不同的消息构成了互不相容的基 本事件集合，不可能出现这个集合 以外的消息。
【引例－例3.1】
【说明】 1. 利用离散型随机变量X来描述这个信 源输出的消息X= (x1,x2, …,x6)，其样 本空间即为符号集A。 2. 根据大量试验结果可得：各个消息 是等概率出现的，均为1/6。 因此， X的概率分布就是信源发出各种不同 符号的先验概率，即p(x1)=1/6， p(x2)=1/6，…，p(x6)=1/6。
X 1 P( X ) p( 1)
2 3 4 p( 2 ) p( 3 ) p( 4 )
N 2
且
p( i ) p(ai 1 ai 2 ) p(aik ) p(aik )
k 1 k 1
序列长度 N=2
例如：投硬币、书信、电报符号等
② 用离散随机变量的概率分布，表示 信源发出不同符号可能性的大小
三、数学模型
若单符号离散无记忆信源可能发出q种不 同的符号{a1,a2,…,aq}，相应的先验概率分别 为p(a1)，p(a2)，…，p(aq)，用随机变量X表 示这个信源，其信源的数学模型就是离散型 的概率空间: X a1 a2 aq
P( X ) P(a1a2 aq ) p(ai )
q
p(a ) 1,
i 1 i
q
0 p(ai ) 1 (i 1,2,, q)
i 1
则称该信源X为离散无记忆信源。
3.2.1 离散无记忆信源
3. 【数学模型】离散无记忆信源可用 信源空间[X,P(X)]来描述：
X a1 P( X ) p (a ) 1 aq p ( a2 ) p ( a q ) a2
【引例－例3.1】
【结论】 1. 抽象后得到该信源的数学模型：
x 1 X 1 P( X ) 6
6
x2 1 6
i
x3 1 6
x4 1 6
x5 1 6
x6 1 6
并满足
p( x ) 1
i 1
【引例－例3.1】
【结论】 2. 该信源输出的消息只可能是符号集 中任何一个，而且每次必定选取其 中一个。
二、二进制离散无记忆信源的 三次扩展信源 【典型实例】
三位PCM（脉码调制）信源由 5 011 7 110
2 001 4 100 6 101 8 111
单符号离散无记忆信源 (最简单的离散信源)
3.2.2 单符号离散信源
一、单符号离散无记忆信源 的定义
【定义】单符号离散无记忆信源 发出的消息是离散、有限的符 号，且一个符号代表一条完整 的消息。
3.2.2 单符号离散信源
二、单符号离散无记忆信源的 表示方法
① 用一个离散随机变量的可能取值， 来表示信源可能发出的不同符号
3.2.3 离散无记忆信源的 N次扩展源 一、二进制离散无记忆信源 的二次扩展信源
1. 典型实例
正交相移键控(QPSK) ：根据两个 二进制符号00、01、10和11进行 相位调制。
信源 X=(X1X2) 1 00, 2 01,3 10, 4 11
一、二进制离散无记忆信源的 二次扩展信源 2. 二次扩展信源的数学模型
当p1 p 2
1 2
0 1 2
1 1 2
四、单符号离散信源的熵
【定义】信源输出的各消息的自信息 量的数学期望为信源的平均自信息量 ，称为单符号离散信源的信息熵，简 称信源熵。
H ( X ) E[ I (ai )] p(ai ) log p(ai )
i 1 q
3.2.1 离散无记忆信源
1.
【特点】 ① 信源发出的各符号之间相互独立； ② 发出的符号序列中各个符号之间没 有统计关联性；
③ 各个符号的出现概率是它自身的先 验概率。
3.2.1 离散无记忆信源
2. 【定义】设信源X输出符号集 A={a1,a2,…,aq} ，q是信源发出的消息符 号个数，每个符号发生的概率为 p(ai)(i=1,2,…,q)，这些消息符号彼此互不 相关，且满足：
3.2 离散无记忆信源 及其扩展源
3.2.1 离散无记忆信源
【思考】实际通信过程中，信源发送 消息往往不是单个符号，而是符号序 列。当字符组成序列(如句子或文章) 时，会出现问题。
3.2.1 离散无记忆信源 分两种情况来讨论： 字符之间不存在统计关联的信源 【 两个新问题 】 叫做无记忆信源； 字符之间存在统计关联的信源叫 1. 随着序列的伸延，信源选取字符的 做 有记忆信源。 例如，一个袋子里有 10个黑球和 概率是否随着时间改变 ？ 10个白球。从袋子拿球，有放回的， 2. 序列前后字符之间是否统计相关？ 就相当于无记忆的；无放回的，就 假设所讨论的信源是 平稳信源， 是有记忆 的。 即信源选取字符的概率不随时间改变。
3.2.2 单符号离散信源
【引例－例3.1】
掷一颗质地均匀的骰子，研究其 下落后朝上一面的点数，将点数作为 这个随机试验的结果，并将这个随机 试验看作是一个信源。该信源输出了 有限个离散数字，组成了符号集 A:{1,2,3,4,5,6}，而且每一个数字代表 一条完整的消息。
【引例－例3.1】
【分析】
P( X ) p (a ) 1
0 p (ai ) 1 且满足 q p(a ) 1 i i 1 (i 1,2, , q )
p ( a2 ) p ( aq )
【例3.2】
对于二进制数字信源X={0,1}，有
X x1 0 x2 1 P p p2 1 x1 0 x2 1 1 p1 p1
2. 该信源每次只输出一个消息，出现 哪一种消息是随机的。 3. 6个不同的消息构成了互不相容的基 本事件集合，不可能出现这个集合 以外的消息。
【引例－例3.1】
【说明】 1. 利用离散型随机变量X来描述这个信 源输出的消息X= (x1,x2, …,x6)，其样 本空间即为符号集A。 2. 根据大量试验结果可得：各个消息 是等概率出现的，均为1/6。 因此， X的概率分布就是信源发出各种不同 符号的先验概率，即p(x1)=1/6， p(x2)=1/6，…，p(x6)=1/6。
X 1 P( X ) p( 1)
2 3 4 p( 2 ) p( 3 ) p( 4 )
N 2
且
p( i ) p(ai 1 ai 2 ) p(aik ) p(aik )
k 1 k 1
序列长度 N=2
例如：投硬币、书信、电报符号等
② 用离散随机变量的概率分布，表示 信源发出不同符号可能性的大小
三、数学模型
若单符号离散无记忆信源可能发出q种不 同的符号{a1,a2,…,aq}，相应的先验概率分别 为p(a1)，p(a2)，…，p(aq)，用随机变量X表 示这个信源，其信源的数学模型就是离散型 的概率空间: X a1 a2 aq
P( X ) P(a1a2 aq ) p(ai )
q
p(a ) 1,
i 1 i
q
0 p(ai ) 1 (i 1,2,, q)
i 1
则称该信源X为离散无记忆信源。
3.2.1 离散无记忆信源
3. 【数学模型】离散无记忆信源可用 信源空间[X,P(X)]来描述：
X a1 P( X ) p (a ) 1 aq p ( a2 ) p ( a q ) a2
【引例－例3.1】
【结论】 1. 抽象后得到该信源的数学模型：
x 1 X 1 P( X ) 6
6
x2 1 6
i
x3 1 6
x4 1 6
x5 1 6
x6 1 6
并满足
p( x ) 1
i 1
【引例－例3.1】
【结论】 2. 该信源输出的消息只可能是符号集 中任何一个，而且每次必定选取其 中一个。
二、二进制离散无记忆信源的 三次扩展信源 【典型实例】
三位PCM（脉码调制）信源由 5 011 7 110
2 001 4 100 6 101 8 111
单符号离散无记忆信源 (最简单的离散信源)
3.2.2 单符号离散信源
一、单符号离散无记忆信源 的定义
【定义】单符号离散无记忆信源 发出的消息是离散、有限的符 号，且一个符号代表一条完整 的消息。
3.2.2 单符号离散信源
二、单符号离散无记忆信源的 表示方法
① 用一个离散随机变量的可能取值， 来表示信源可能发出的不同符号
3.2.3 离散无记忆信源的 N次扩展源 一、二进制离散无记忆信源 的二次扩展信源
1. 典型实例
正交相移键控(QPSK) ：根据两个 二进制符号00、01、10和11进行 相位调制。
信源 X=(X1X2) 1 00, 2 01,3 10, 4 11
一、二进制离散无记忆信源的 二次扩展信源 2. 二次扩展信源的数学模型
当p1 p 2
1 2
0 1 2
1 1 2
四、单符号离散信源的熵
【定义】信源输出的各消息的自信息 量的数学期望为信源的平均自信息量 ，称为单符号离散信源的信息熵，简 称信源熵。
H ( X ) E[ I (ai )] p(ai ) log p(ai )
i 1 q
3.2.1 离散无记忆信源
1.
【特点】 ① 信源发出的各符号之间相互独立； ② 发出的符号序列中各个符号之间没 有统计关联性；
③ 各个符号的出现概率是它自身的先 验概率。
3.2.1 离散无记忆信源
2. 【定义】设信源X输出符号集 A={a1,a2,…,aq} ，q是信源发出的消息符 号个数，每个符号发生的概率为 p(ai)(i=1,2,…,q)，这些消息符号彼此互不 相关，且满足：
3.2 离散无记忆信源 及其扩展源
3.2.1 离散无记忆信源
【思考】实际通信过程中，信源发送 消息往往不是单个符号，而是符号序 列。当字符组成序列(如句子或文章) 时，会出现问题。
3.2.1 离散无记忆信源 分两种情况来讨论： 字符之间不存在统计关联的信源 【 两个新问题 】 叫做无记忆信源； 字符之间存在统计关联的信源叫 1. 随着序列的伸延，信源选取字符的 做 有记忆信源。 例如，一个袋子里有 10个黑球和 概率是否随着时间改变 ？ 10个白球。从袋子拿球，有放回的， 2. 序列前后字符之间是否统计相关？ 就相当于无记忆的；无放回的，就 假设所讨论的信源是 平稳信源， 是有记忆 的。 即信源选取字符的概率不随时间改变。
3.2.2 单符号离散信源
【引例－例3.1】
掷一颗质地均匀的骰子，研究其 下落后朝上一面的点数，将点数作为 这个随机试验的结果，并将这个随机 试验看作是一个信源。该信源输出了 有限个离散数字，组成了符号集 A:{1,2,3,4,5,6}，而且每一个数字代表 一条完整的消息。
【引例－例3.1】
【分析】
P( X ) p (a ) 1
0 p (ai ) 1 且满足 q p(a ) 1 i i 1 (i 1,2, , q )
p ( a2 ) p ( aq )
【例3.2】
对于二进制数字信源X={0,1}，有
X x1 0 x2 1 P p p2 1 x1 0 x2 1 1 p1 p1