ITD第二章信源及信源熵4

一个状态，旁边的数字代表转移概率。这就是香农提
出的马尔可夫状态图，也叫香农线图。
(2)由状态S3转移到S1的转移概率p(k)31=0，因为 一进人状态S3就一直继续下去，而不会再转移 到其他状态。P(k)41=0也是明显的，因S4和S1之 间没有连接箭头，因此这种链就是可约的。
2020/4/14
23
作业: 2-18到2-21 2-23到2-29
2020/4/14
36
p(k) ij
p p（kl) ir rj
p k-l ir
prj
r
r
矩阵表示:
(p(k))=(p)(p(k-1))=(p)(p)(p(k-2))=…=(p)k
对于齐次马氏链来说，一步转移概率完 全决定了k步转移概率。
2020/4/14
13
如何确定无条件概率?
• 令初始概率为p0i＝p(S0＝si)
p(Sk s j ) p(Sk s j , S0 si )
2020/4/14
32
问题2：信息效率、冗余度的定义
• 信息效率
H(X ) ,
Hm(X )
0 1
表示不肯定的程度
• 冗余度 1 1 H(X )
Hm(X )
表示肯定性的程度，因为肯定性不含有信息量，
2因020/4此/14 是冗余的。
33
书 P28 例子
由上述例子可看出：
• 由于各个符号出现的概率不均匀
...
2020/4/14 j
p1 j 1
p2Q
...
pQQ
1
18
0 p21 ... 0 p22 1 ... ... ... ...
pQ1 pQ2 0 ...
0 p2Q ... pQQ 1
所以
Wi pij W j j S
i
有非零解W1,W2,…,WQ。
2020/4/14
19
• 如果再用 Wj 1 就可解得各稳态分布
7
什么叫基本转移概率(一步转移概率)?
• 当n=m+1时，把pij(m,m+1)记为pij(m)， m≥0，并称为基本转移概率(一步转移概 率)。
记 pij (m) p Sm1 j / Sm i i, j S
2020/4/14
8
齐次马尔可夫链转移概率具有时间推移不变性 转移概率可表示为：
2020/4/14
17
p11 1 p21 ... pQ1 W1
p12
...
p22 1 ... ... ...
pQ2 ...
W2
...
0
p1Q
p2Q
...
pQQ
1
WQ
pij 1
j
j
p1 j 1
p21
...
pQ1
j
p1 j 1
p22 1 ...
pQ2
...
...
...
• 一步矩阵P中第j列元素对应于从所有状态Si转 移到同一个状态Sj的转移概率，列元素之和不 一定为1。
• 一步矩阵P中第i行元素对应于从某一个状态Si 转移到所有状态Sj的转移概率，显然矩阵中的 每一个元素都是非负的，并且每行之和均为1； 第j列元素对应于从所有状态Si转移到同一个状 态Sj的转移概率，列元素之和不一定为1。
2
5. 状态转移描述
• 对于m阶马尔可夫信源
X P
x1 p(xim1
x2 / xi1
... xq xi2 ...xim
)
2020/4/14
3
• 在某一时刻（m＋1），信源符号出现的 概率，仅与前面已出现的m个符号有关， 而与更前面出现的符号无关。可通过引 人状态转移概率，从而转化为马尔可夫 链，即令
0 1/ 2 (P(k) ) (P)k 1/ 2 0
0 1/ 2 1/ 2 0
0 1/ 2k 1/ 2 0 0 1/ 2 1/ 2 0
2020/4/14
25
• 当k为奇数时
0 1/ 2 (P(k) ) (P)k 1/ 2 0
0 1/ 2 1/ 2 0
0 1/ 2 1/ 2 0 (P) 0 1/ 2 1/ 2 0
• 当k为偶数时
1/ 2 0 1/ 2 0
(P(k) ) (P)k 0 1/ 2 0 1/ 2 (P) 1/ 2 0 1/ 2 0
0 1/ 2 0 1/ 2
2020/4/14
26
• 若起始状态为s1，则
经奇数步后，Sk=sj的概率为
0 j 1
pj
1/ 2 0
j2 j 3
1/ 2 j 4
• 经偶数步后
si (xi1 xi2 ...xim ), i1,i2 ,..., im (1,2,..., q)
2020/4/14
4
• 如果信源符号表中的数目为q，则由前面出现的
m个符号所组成的序列si共有Q＝qm种，将这些序 列看作是状态集S={s1,s2,…,sQ}，则信源在某一时 刻出现符号xj的概率就与信源此时所处的状态si有 关，用条件概率表示为p(xj/si)，i=1,2,...,Q； j=l,2,…,q。当信源符号xj出现后，信源所处的状 态将发生变化，并转人一个新的状态。用转移概
pij (m) p Sm1 j / Sm i pij
转移概率性质：
i, j S
pij 0
i, j S
pij 1
j
i, j S
2020/4/14
9
k步转移概率表示为:
p(k)ij (m)
p
Smk
j / Sm
i
p(k) ij
i, j S
k步转移概率矩阵:
P(k)
p(k) ij
1/ 2
pj
0 1 /
2
0
j 1 j2 j 3 j4
达不到稳定状态 !
2020/4/14
27
例 2-4-2
Xr
+
Yr
T
q p0
p 11
q
2020/4/14
28
• 输入的码Xr(r=1,2,…)是相互独立的，取值0或1， 且已知p(X=0)=p，p(X=1)=1-p=q，输出的码是
Yr，显然有
Y1= X1，Y2＝X2 Y1… 其中 表示模2加，那么Yr就是一个马氏链，因
(m), i,
j
S
说明: 一步转移概率矩阵为:
p11 ... p12
P
pij , i, j S
或P
....
2020/4/14
pQ1 .... pQQ 10
• 一步矩阵P中第i行元素对应于从某一个状态Si 转移到所有状态Sj的转移概率，显然矩阵中的 每一个元素都是非负的，并且每行之和均为1；
i
p(S0 si ) p(Sk s j / S0 si )
i
p0i
p (k) ij
i
2020/4/14
14
如何确定平稳分布的 Wj＝p(Sk=sj) ?
Wi pij W j j S
i
• 其中, Wi和Wj均为稳态分布概率 .
2020/4/14
15
分析:
Wi pij Wj
i
jS
W1 p11 W2 p21 ... WQ pQ1 W1
2020/4/14
34
结论：
在实际通信系统中，为了提高传输效率， 往往需要把信源的大量冗余进行压缩，即 所谓信源编码。但是考虑通信中的抗干扰 问题，则需要信源具有一定的冗余度。因 此在传输之前通常加人某些特殊的冗余度， 即所谓信道编码，以达到通信系统理想的 传输有效性和可靠性。
2020/4/14
35
所以：H1＜H0 • 随着序列增长，字母间的相关性越来越强:
所以：H＜…＜H3＜H2 • 正是因为信源符号中存在的这些统计不均匀性
和相关性，才使得信源存在冗余度。
• 当英文字母的结构信息已预先充分获得时，可 用合理符号来表达英语，例如传送或存储这些 符号，可大量压缩，100页的英语，大约只要29 页就可以了。
第六讲
2003年5月24日
2020/4/14
1
4. 离散马氏链信源
平稳信源的m阶马尔可夫信源： 信源发出的符号只与前面的m个符号有关， 而与更前面出现的符号无关。 用概率意义表达为: p(xt/xt-1,xt-2,xt-3,…,xt-m,…)=p(xt/xt-1,xt-2,…xt-m)
2020/4/14
概率 Wj。 j
• 若［ pij ij ］的秩是(n-1)，则解是唯一
的。
2020/4/14
20
马氏链的可约性
• 马氏链可约性:
若对所有 k，都有p(k)ij=0，就意味着一旦出现 Si以后不可能到达Sj, 也就是不能各态遍历，或者 状态中应把Sj取消，这样就成为可约的了。
• 马氏链不可约性:
对任意一对i和j，都存在至少一个k使p(k)ij＞0，
这就是说从Si开始，总有可能到达 Sj.
2020/4/14
21
香农线图
S1
1/2
1/2 1/2
S2
1/2 1/2
S3
1/2 1
可约马氏链
1/2 S4
1/2
S5
2020/4/14
22
• 注意:
(1)S1,S2,S3是三种状态，箭头是指从一个状态转移到另
率表示 如下:
pij(m,n)=p{Sn=sj/Sm=si}=p{sj/si} si,sjS
状态转移概率p(sj/si)由信源符号条件概率p(xj/si)
确定。 2020/4/14
5
为什么状态转移概率是一个条件概率?
• (1)状态转移概率Pij(m,n)表示已知在时刻m系 统处于状态si，或Sm取值si的条件下，经(n-m) 步后转移到状态sj的概率。