离散无记忆信源RD的计算
信息论基础总复习
2. 编码器 编码器是将消息变成适合于 信道传送的信号的设备。
信源编码器，提高传输效率
编码器
信道编码器，提高传输可靠性
3. 信道 信道是信息传输和存储的媒介。
4. 译码器 译码是编码的逆变换，分为 信道译码和信源译码。
5. 信宿 信宿是消息的接收者。
1.3 离散信源及其数学模型
信源是产生消息的源，根据X的不同情况，信源可分为以下
条件互信息
I(X ;Y|Z ) x y z p (x) ylo zp p (g (x x||z y z ))
I(X ;Y |Z ) H (X |Z ) H (X |Y )Z
I(X;Y)ZI(X;Y)I(X;Z|Y) I(X;Z)I(X;Y|Z)
连续随机变量的互信息
I(X;Y) 0 I (X ;Y ) I (Y; X ) I (X ;Y | Z) I (Y; X | Z) I(X;Z) I(X;Y) I (XY; Z) I (X ; Z) I (Y; Z | X )
说明: R（D）也称率失真函数。
对于离散无记忆信源，R（D）函数可写成
R (D )p m i jpDi n i1n jm 1p(xi)p(yj/xi)lop(p g y (jy/jx )i)
输入 xX
信道模型
输入 y Y
转移概率矩阵
p(y/ x)
图5-1-2 信道模型
5.1.2 信道容量
• 1．如何刻画DMC信道的容量 考虑一个DMC信道，其输入字符集是X={x0， x1，…，xq-1}，输出字符集是Y={y0,y1，…， yQ-1}，转移概率P（yj／xi）. 若给定信道的转 移概率和对应于输入符号的概率分布p（xi）, 则 DMC信道容量C为
• 这个表达式平均错误译码概率的最小值， 是把每一个yj对应的后验概率排除后再连 续求和。
3.2_离散无记忆信源及其扩展源解析
2. 该信源每次只输出一个消息，出现 哪一种消息是随机的。 3. 6个不同的消息构成了互不相容的基 本事件集合，不可能出现这个集合 以外的消息。
【引例－例3.1】
【说明】 1. 利用离散型随机变量X来描述这个信 源输出的消息X= (x1,x2, …,x6)，其样 本空间即为符号集A。 2. 根据大量试验结果可得：各个消息 是等概率出现的，均为1/6。 因此， X的概率分布就是信源发出各种不同 符号的先验概率，即p(x1)=1/6， p(x2)=1/6，…，p(x6)=1/6。
X 1 P( X ) p( 1)
2 3 4 p( 2 ) p( 3 ) p( 4 )
N 2
且
p( i ) p(ai 1 ai 2 ) p(aik ) p(aik )
k 1 k 1
序列长度 N=2
例如：投硬币、书信、电报符号等
② 用离散随机变量的概率分布，表示 信源发出不同符号可能性的大小
三、数学模型
若单符号离散无记忆信源可能发出q种不 同的符号{a1,a2,…,aq}，相应的先验概率分别 为p(a1)，p(a2)，…，p(aq)，用随机变量X表 示这个信源，其信源的数学模型就是离散型 的概率空间: X a1 a2 aq
P( X ) P(a1a2 aq ) p(ai )
q
p(a ) 1,
i 1 i
q
0 p(ai ) 1 (i 1,2,, q)
i 1
则称该信源X为离散无记忆信源。
3.2.1 离散无记忆信源
3. 【数学模型】离散无记忆信源可用 信源空间[X,P(X)]来描述：
失真度和平均失真度
i=1 j=1
若平均失真度 D 不大于我们所允许的失真D，我们 称此为保真度准则，即
D≤D
凡满足保真度准则的这些试验信道称为D失真许可的试验 信道。把所有D失真许可的试验信道组成一个集合，用符 号 BD 表示。
7.2 信息率失真函数及其性质
7.2.1 信息率失真函数
当信源和失真函数给定后，我们总希望在满足保真 度准则下寻找平均互信息的最小值。也就是在 BD 中找 一个信道，使平均互信息取极小值。这个最小值就是 在 D ≤ D 的条件下，信源必须传输的最小平均信息 量。
d (ui , v j ) ≥ 0 称为单个符号的失真度（或称失真函数）
失真函数用来表征信源发出一个符号 ui ，而在接收 端再现成符号 v j 所引起的误差或失真。d 越小表示失真 越小，等于0表示没有失真。
可以将所有的失真函数排列成矩阵的形式：
⎡ d (u1, v1) d (u1, v2 ) ... d (u1, vs )⎤
1、符合实际信源的R(D)函数的计算相当困难。 1）需要对实际信源的统计特性有确切的描述 2）需要对符合主客观实际的失真给予正确的描述 3）即使满足了前两条，R(D)的计算也比较困难
2、即使求得很好的R(D)函数，还需要研究采取何种编 码方法才能达到极限值R(D)。
5
这种编码方法，可以看成是一种特殊的试验信道
⎧1 P(vj / ui ) = ⎨⎩0
vj ∈C,vj = f (ui ) vj ≠ f (ui )
4
单个符号的平均失真度
d (C) = 1 ∑ P(U )P(V /U )d[u, f (u)] NU
= 1 ⋅ 1 [0 + 1 + 1 + 1 + 0 + 1 + 1+ 1] = 1
4.2 离散无记忆信源R(D)的计算解析
Dmax min p( xi )d ij
Y X
因为离散信源：
均方失真的连续信源的R(D)
R( D)
1 Dmax ln( ) 2 D
可直接当结论来应用
2018/10/12
8
例：设某连续信源X服从高斯分布，均值μ=0， 方差σ2，失真函数为均方失真即d(x,y)=(y-x)2
求它的信息率失真函数R(D)和Dmax。
例：已知离散无记忆信源
x2 X x1 0 1 ，求 P( X ) p 1 p ，其中p 2 ，失真矩阵为D 0 , 输出Y 0,1 Dmax，率失真函数R( D)。
2018/10/12
3
4.2 离散无记忆信源R(D)的计算
y
min[ x 2 p( x)dx 2 y xp( x)dx y 2 p( x)dx]
y
D
min[ 2 0 y 2 ]
y
2
2018/10/12 9
上题的扩展：若连续信源服从（μ，σ2）的高 斯分布，则再求上题。
解：先求Dmax：
服从(0, 2 )的高斯分布的概率密度 函数为： p ( x) 1 e 2
2、
（1）信道容量C一旦求出来，则与信源分布无关（只是 证明存在这样的满足信道容量的信源分布），只和信道 转移概率分布p(yj/xi)有关。即信道容量和信源特性无 关，反映信道特性。 （2）信息率失真函数R(D)一旦求出来，则与信道转移 概率分布无关（只是证明存在达到最小信息率的试验信 道），只和信源概率分布p(xi)有关。即信息率失真函数 和信道特性无关，反映信源特性。
信息论与编码第三版 第4章
p( x)
信息论与编码
3. 根据平均互信息量I（X; Y）达到信道容量的充要条件式对C进行验证：
p ( y j ) p ( xi ) p ( y j / xi )
i 1 3
1 P 0 0
0 1/ 2 0
0 1/ 2 0
0 0 1/6
x1 x2 x3 x4 x5
1 1 1 1 1
y1 y2 y3 y4 y5
1 0 P 0 0 0
0 1 0 0 0
0 0 1 0 0
0 0 0 1 0
0 0 0 0 1
【解】 该信道的信道容量为：
C max I ( X ; Y ) max H ( X ) log 5
C max I ( X ; Y ) max H (Y )
p( x) p( x)
由于
p( y ) p( x) p( y / x)，由于信道转移概率是确定的，求使H (
X
Y)
达到最大值的p ( x )的最佳分布就转化为求p ( y )的最佳分布。由极大离 散熵定理知，在p ( y )等概率分布时，H ( Y ) 达到最大，则
I ( x2 ; Y ) p ( y j / x2 ) log
j 1 2
p ( y j / x2 ) p( y j ) p ( y j / x3 ) p( y j ) p ( y j / x4 ) p( y j ) p ( y j / x5 ) p( y j )
1 log
1 1/ 2
log 2
I ( x3 ; Y ) p ( y j / x3 ) log
j 1 2
1 log
第5讲离散无记忆信源
尤为重要的是：
一类重要的符号序列有记忆离散信源----马尔可夫 信源： 某一个符号出现的概率只与前面一个或有限个 符号有关，而不依赖更前面的那些符号。
2.2 离散无记忆扩展信源
1. 单个符号的离散信源----每次只发出一个符号代表一 个消息，且消息数量有限。
a1 X P p ( a1 ) a2 p ( a2 ) p ( ar ) ar
则称此信源为离散平稳信源。 注：平稳信源既是指在发出符号不变的前提下，发出符号 概率不依时间而改变，今后不特别说明时，我们提到的信 源都是平稳信源。
2、平稳信源等价条件
p ( xk ) p ( xt ) p( x x ) p( x x ) k k 1 t t 1 (1) p ( xk xk N ) p ( xt xt N )
符号集
X {a1 , a2 ,
r
, ar },
i
p ai 0
p(a ) 1
i 1
2. 发出符号序列离散信源－－每次发出一组 含两个以上的符号序列来代表一个消息
信源X输出用N维随机序列（随机矢量）
X X 1 X2 Xl X N 来描述信源输出的消息，
用联合概率分布来表示信源特性。在上述随机矢量 中，若每个随机变量 X i (i 1, 2,
中每个符号才能使得X i 有r N 个，因此相当如后式中的i1 ,
, iN 都从
注2、
H(XN)=NH(X):每个消息所能提供的平均信息量为每个信源
符号平均信息量的N倍。
X a1 例1、设信源空间 1 P 4 信源的熵？
解：X 2的概率空间为
a2 1 2
第三章 信源编码-离散无记忆源等长编码
第三章 信源编码——离散信源无失真编码本章分析问题：在信宿要求无失真接收时，或所有信源信息无损的条件下，离散信源输出的表示——即信源编码问题。
内容：信源分类，信息速率的计算，编码定理，有效编码方法等。
一、信源及其分类 1． 离散信源和连续信源离散信源表示：…Ｕ－２Ｕ－１Ｕ０Ｕ１Ｕ２…其中ＵＬ随机变量，取值范围：Ａ＝｛ａ１，ａ２，…ａｋ｝ ２．无记忆源和有记忆源无记忆源：各ＵＬ彼此统计独立简单信源：各ＵＬ彼此统计独立且服从同一概率分布 Ｐ（ＵＬ＝ａｋ）＝Ｐｋ，ｋ＝１，２，…，Ｋ∑=Kk 1Ｐｋ＝１有记忆源：各ＵＬ取值相关。
ＵＬ＝（Ｕ１，Ｕ２，…，ＵＬ）∈ＵＬ，其概率分布由Ｌ维随机矢量表示，Ｐ（ＵＬ＝ａ）＝Ｐ（Ｕ１＝ａｋ１，…，ＵＬ＝ａｋＬ） ３．平稳信源：概率分布与起始下标无关Ｐ（Ｕ１＝ａｋ１，…，ＵＬ＝ａｋＬ）＝Ｐ（Ｕｔ＋１＝ａｋ１，…，ＵＬ＝ａｋＬ）４．各态历经源：信源输出的随机序列具有各态历经性。
５．有限记忆源：用条件概率Ｐ（ＵＬ，ＵＬ－１，ＵＬ－２，ＵＬ－ｍ）表述。
ｍ为记忆阶数。
６．马尔可夫源：有限记忆源可用有限状态马尔可夫链描述，当ｍ＝１时为简单马尔可夫链。
７．时间离散的连续源：各随机变量ＵＬ取值连续。
８．随机波形源：时间和取值上均连续的信源；由随机过程ｕ（ｔ）描述，时间或频率上有限的随机过程可展开成分量取值连续的随机矢量表示，即时间上离散，取值连续的信源。
９．混合信源二、离散无记忆源的等长编码离散无记忆源：ＤＭＳＬ长信源输出序列：ＵＬ＝（Ｕ１，Ｕ２，…，ＵＬ），Ｕｌ取值｛ａ１，ａ２，…ａｋ｝，共ＫＬ种不同序列。
对每个输出序列用Ｄ元码进行等长编码，码长为Ｎ，则可选码共有ＤＮ个。
１．单义可译码或唯一可译码：条件：ＤＮ≥ＫＬ＝Ｍ，即Ｎ≥ＬｌｏｇＫ／ｌｏｇＤＮ／Ｌ：每个信源符号所需的平均码元数；Ｎ／Ｌ→３．３２２；２．信息无损编码要求：设每个信源符号的信息量为Ｈ（Ｕ），则Ｌ长信源序列的最大熵值为ＬＨ（Ｕ），编码时由于Ｄ个码元独立等概时携带信息量最大，使码长最短。
信息论第三章离散信源无失真编码讲解
在一组码字集合C中的所有码字cm (m = 1,2, …,M)，其码 长都相同，则称这组码C为等长码。
3.变长码
若码字集合C中的所有码字cm (m = 1,2, …,M)，其码长不 都相同，称码C为变长码。
4.奇异码
对奇异码来说，从信源消息到码 字的影射不是一一对应的。奇异码 不具备惟一可译性。
变长码分为即时码和延长码，为保证即时译码，要求变长 惟一可译码采用即时码。
对于变长码，要求整个码集的平均码长力求最小，此 时编码效率最高。
对于给定信源，使平均码长达到最小的编码方法，称 为最佳编码，得到的码集称为最佳码。
3.3.2 克拉夫特不等式
定理3.2
D进制码字集合C ={c1, c2,…, cM }，码集中
码C中每个码字cm( m = 1, 2, …，M)其码长的概率加权平均值为
M
n
nm p(c m )
(3-1)
m 1
式中nm是码字cm所对应的码字的长度，p ( cm )是码字cm出现的 概率。
对于等长码，由于码集C中的每个码字的码长都相同，平
均码长就等于每个码字的码长
n nm p(c m ) n p(c m ) n
信源编码包括两个功能： （1） 将信源符号变换成适合信道传输的符号； （2） 压缩信源冗余度，提高传输效率。
一般来说，信源编码可归纳为如图3-1所示的模型。
消息
信源
ui = ui1 ui2 … uiL
信源编码器
码字ci = ci1 ci2 … cin
信源符号 {a1,a2, …, aK}
图3-1
信道符号（码符号）{b1, b2, …, bD} 信源编码器模型
{a1, a2, …, aK}为信源符号集，序列中每一个符号uml都 取自信源符号集。
4.2 离散无记忆信源R(D)的计算_万方通信
2019/1/14
7
例：求d(x,y)=(y-x)2的Dmax和信息率失真 函数R(D)。 min[ p( x)d ( x, y)dx] 解：连续信源的Dmax， D
max y
y
而 （x ）p( x)dx ，即 x p( x)dx
2 2 2
2
D
Dmax min[ 2 2 2 y y 2 ]
y
2
2019/1/14
10
结论：
若失真函数为均方失真，即d(x,y)=(x-y)2时,连续 1 D 信源的信息率失真函数 R( D) ln( max ) ，且
第4章 信息率失真函数
2019/1/14
1
4.1 基本概念
4.2 离散无记忆信源R(D)的计算 4.3 连续无记忆信源R(D)的计算 4.4 信道容量和信息率失真函数的比较
2019/1/14
2
4.2 离散无记忆信源R(D)的计算
参量表达式法求R(D)及P(Y/X)，具体推导略， 见p111页。
X x1 x2 0 1 ，其中 p ，失真矩阵为 D , 输出Y 0,1 P( X ) p 1 p 2 0
Dj 解：（1） Dmax min j 0 min p 1 p j 0 min(1 p ) , p
依据：平均互信息I是信源概率分布p(xi)的严格上 凸函数。
（2）信息率失真函数：求选择某一试验信道（转 移概率分布）的情况下，依据保真度准则，求平均 互信息的极小值。
3.2_离散无记忆信源及其扩展源
【例3.3】
设离散无记忆信源X的概率空间为：
a2 a3 3 1 1 , p(ai ) 1 i 1 4 4 求：X的二次扩展信源的熵。 a 1 X 1 P 2
【例3.3】
解：二次扩展信源的概率空间为
X2的信 源符号
1 2
Байду номын сангаас
3
4
3.2 离散无记忆信源 及其扩展源
3.2.1 离散无记忆信源
【思考】实际通信过程中，信源发送 消息往往不是单个符号，而是符号序 列。当字符组成序列(如句子或文章) 时，会出现问题。
3.2.1 离散无记忆信源 分两种情况来讨论： 字符之间不存在统计关联的信源 【 两个新问题 】 叫做无记忆信源； 字符之间存在统计关联的信源叫 1. 随着序列的伸延，信源选取字符的 做 有记忆信源。 例如，一个袋子里有 10个黑球和 概率是否随着时间改变 ？ 10个白球。从袋子拿球，有放回的， 2. 序列前后字符之间是否统计相关？ 就相当于无记忆的；无放回的，就 假设所讨论的信源是 平稳信源， 是有记忆 的。 即信源选取字符的概率不随时间改变。
3.2.1 离散无记忆信源
1.
【特点】 ① 信源发出的各符号之间相互独立； ② 发出的符号序列中各个符号之间没 有统计关联性；
③ 各个符号的出现概率是它自身的先 验概率。
3.2.1 离散无记忆信源
2. 【定义】设信源X输出符号集 A={a1,a2,…,aq} ，q是信源发出的消息符 号个数，每个符号发生的概率为 p(ai)(i=1,2,…,q)，这些消息符号彼此互不 相关，且满足：
N次扩展
三、离散无记忆信源的 N次扩展信源
第4章 离散无记忆信源无失真编码
第4章离散无记忆信源无失真编码主要内容1、基本概念2、码的唯一可译性3、定长编码定理和定长编码方法4、变长编码定理5 变长编码方法6 几种实用的无失真信源编码1、基本概念信源发出的消息序列通常不能直接送给信道传输，需要经过信源编码和信道编码。
信道编码的目的是降低差错率，提高传送的可靠性。
信源编码的目的是为了降低冗余度，提高通信的有效性。
编码是一种映射，是将输入符号映射成码字。
无失真编码，映射一一对应，可逆。
编码器模型：码长：码字所含码元的个数定长编码：所有码字均有相同的码长，对应的码叫做定长码(FLC ，Fixed Length code)；否则为变长编码。
编码器12{,,,}q u u u 12{,,,}r x x x WU12{,,,}q w w w X信源平均码长：码中所有码字码长的统计平均，即码元/符号编码效率：编码后的实际信息率与编码后的最大信息率之比冗余度：l l l2、码的唯一可译性（1）基本概念奇异码：一组码中含相同码字。
非奇异码：所有的码字都不相同。
唯一可译性：码字组成的任意有限长码字序列都能恢复成唯一的信源序列。
续长码：有些码字是在另一些码字后面添加码元得来的。
及时码：码字的最后一个码元出现时，译码器能立即判断一个码字已经结束，可以立即译码。
非续长码：任一码字都不是其它码字的延长。
唯一可译码定长非奇异码非续长码非奇异码5种不同的码35124121142183184()00001000100001001101001110011111110111111i P u W W W W W U u u u u（2）码树和Kraft不等式从树根开始，生长r个树枝，在节点处再各自生长r个树枝。
节点：树枝与树枝的交点。
l阶节点：经过l根树枝到达的节点。
整树：节点长出的树枝数等于r定理：对于任一r进制非续长码，各码字的码长必须满足Kraft不等式：反过来，若上式成立，就一定能构造一个r 进制非续长码。
2014.信息论.第3章离散信源
设信源输出符号集合，每次信源输
9
是⼀一个离散⽆无记忆信源，其概率空间为
其中
信源X的符号集合为
N次扩展信源X N符号集合为
15
的有记忆平稳信源（⼆二维平稳信源）输
23
当且仅当X 1和X 2统计独⽴立时等号成⽴立，此时信源相当于⼆二次⽆无记忆扩展；
当X 1和X 2之间相关时，联合熵⼩小于信息熵之和，即⼩小于单个消息符号X 熵的 2 倍。
由于
25
例：设某⼆二维离散信源X =的原始信源X 的信源模型为
中前后两个符号的条件概率
7/92/901/83/41/80
2/11
9/11
(1)若该信源为⼆二维⽆无记忆扩展信源，求信源的熵。
(2)若该信源为⼆二维平稳信源，如表，求信源的熵。
26
原始信源的熵为：
由条件概率确定的条件熵为：
由于符号之间的依赖性，条件熵⽐比信源熵减少了0.672bit
⼆二维离散⽆无记忆扩展信源的熵为：2H(X)=2*1.542=3.084(bit ）7/92/901/83/4
1/8
2/119/11
27
信源X=
平均每发⼀一个消息所能提供的信息量，即联合熵
则每⼀一个信源符号所提供的平均信息量
⼩小于信源X所提供的平均信息量H(X)=1.542bit，这是
由于符号之间的统计相关性所引起的。
28
维平稳信源输出序列每N个符号⼀一组；各
30
则有：
时：
随N的增加是⾮非递增的；
给定时，平均符号熵≥条件熵；
–平均符号熵随N增加是⾮非递增的；
34
解：
35
1,2,......,J 某时刻随机
……
43
44。
信息理论与编码_ 离散无记忆信源无失真编码_
3、编码器的输出f 是一一对应的映射i i P w P u i q()()1,2,, H W H U ()()bit/码字或bit/符号H W H U H X l l()()()bit/码元新信源X ：编码后的信息率R ：平均一个码元携带的信息量。
H W H U H X l l()()()bit/码元平均码长越小，每个码元携带的信息量就越多，传输一个码元就传输了较多的信息。
R X{,,,}12r x x x 编码器f12{,,,}q u u u 12{,,,}r x x x WU12{,,,}q w w w X信源4、编码效率为了衡量编码效果，定义编码效率：编码后的实际信息率与编码后的最大信息率之比。
max max ()()()()log log c R H X H U l H U R H X r l r注：编码效率实际上也是新信源X 的信息含量效率或熵的相对率。
新信源的冗余度也是码的冗余度：1c c X{,,,}12rx x x 编码器f12{,,,}q u u u 12{,,,}r x x x WU12{,,,}q w w w X信源5种不同的码i P u W W W W W U u u u u 351241234()1200001001401000010011810100111001118111110111111W 1: 定长码。
W 3: 变长码。
奇异码。
定长非奇异码肯定是UDC u u u u u u u u u u u u u12434321121211,00,10,010110,01,00,11,00,1,00,1W 2: 定长码。
W 4: 变长码。
W 5: 变长码。
非奇异码。
非奇异码。
非奇异码。
非奇异码。
续长码。
非续长码。
续长码。
及时码。
非及时码。
奇异码肯定不是UDC不是UDC非续长码肯定是UDC 是UDC非及时码。
非续长码。
W 3：1001001唯一可译码定长非奇异码非续长码非奇异码码奇异码非奇异码非唯一可译码唯一可译码定长非奇异码变长非续长码（部分）变长续长码4.3 定长编码定理和定长编码方法1、对信源输出的符号序列进行编码DMS编码器f12{,,,}q u u u 12{,,,}r x x x WU 12{,,,}q w w w XX12{,,,}r x x x DMS编码器f 12{,,,}N q 12{,,,}r x x x WNU 12{,,,}Nq w w w XX12{,,,}r x x x 对信源U 的单个符号进行编码对信源U 的N 长符号串进行编码对扩展信源U N 的单个符号进行编码12i i i iNu u u 1212,,,{,,,}i i iN q u u u u u u2、定长编码定理r 进制定长编码,码长为l N , 可用的码字数目：Nl r Nl Nrq唯一可译max max ()log ()log log N r H U l q H U N r r信息传输率编码效率()()/N H U R H X l Nmax ()()()log c NH X H U l H X r Nbit/码元DMS编码器f 12{,,,}Nq 12{,,,}r x x x W NU 12{,,,}N q w w w XX12{,,,}r x x x定长无失真编码定理：用r 元符号表对离散无记忆信源U 的N 长符号序列进行定长编码，N 长符号序列对应的码长为l N ，若对于任意小的正数ε，有不等式:就几乎能做到无失真编码，且随着序列长度N 的增大，译码差错率趋于0。
离散无记忆信源的不等长编码定理(“编码”相关文档)共9张
证 明 1、 H ( X ) n lo g r
q
q
p ( x i ) lo g p ( x i ) p ( x i ) k i lo g r
i1
i1
q
r ki
q
r ki
i1 p ( xi ) log p ( xi ) log i1 p ( xi ) p ( xi )
q
lo g r ki lo g 1 0
i1
q
存 在 唯 一 可 译 码 r ki 1 i1
所 以 存 在 唯 一 可 译 码 的 平 均 码 长 n H (X ). log r
1 1 log p ki
i
2、r p k log ,记 log 每个码字wi有其不同的码字长i度，记为ni.i
第四节 变长编码定理
1、变长编码定理 2、变长编码的编码速率、编码效率
非分组码
码
奇异码
非唯一可译码
分组码 非奇异码 唯一可译码
非即时码
即时码(非延长码)
唯一可译码存在的充分和必要条件
各码字的长度k 应符合克劳夫特不等式： 则称
为该编码的平均码长。
2、变长编码的编码速率、编码效率
i
定理1 若一个离散无记忆信源X具有熵为H(X)，对
r 设符号xi对应的概率为pi，编码后的码字为wi，码长为ni
定理1 若一个离散无记忆信源X具有熵为H(X)，对
各码字的长度ki 应符合克劳夫特不等式：
展信源
，其熵为
，
定理2(申农第一定理) ：离散无记忆信源X的N次扩
并有码符号集 A＝{a1,…,ar} 。
n－ ki 1
2、变长编码的编码速率、编码效率
信息论——习题解答
(2)
1 3 p ( xi ) 4 4
m
100 m
3
100 m 100
4
3
100 m 100
I ( xi ) log p ( x i ) log
4
41.5 1.585 m bit
(3)
H (X
100
) 100 H ( X ) 100 0 .811 81 .1 bit / symbol
i 2
x 忙 x 2闲 1 63 40 P( X ) 103 103 63 40 40 63 p ( xi ) log p ( x i ) log log 0.964 bit / symbol 103 103 103 103 X
2
P
(2) H p ( ei ) H ( X / ei )
i
3
1 3
H ( p, p)
1 3
H ( p, p)
1 3
H ( p, p)
H ( p, p)
p log p p log p
bit / symbol
2.18每帧电视图像可以认为是由3105个像素组成的，所有像素均是独立变化， 且每像素又取128个不同的亮度电平，并设亮度电平是等概出现，问每帧图 像含有多少信息量？若有一个广播员，在约10000个汉字中选出1000个汉字 来口述此电视图像，试问广播员描述此图像所广播的信息量是多少（假设汉 字字汇是等概率分布，并彼此无依赖）？若要恰当的描述此图像，广播员在 口述中至少需要多少汉字？ 解：(1)
(2) 设忙闲为随机变量X，天气状态为随机变量Y，气温状态为随机变量Z
信息论与编码实验一离散信源信息量的计算
信息论与编码实验一离散信源信息量的计算摘要：I.引言- 信息论与编码实验一的主题- 离散信源信息量的计算的重要性II.离散信源的定义- 离散信源的定义- 离散信源的特点III.信息量的计算- 信息量的定义- 离散信源信息量的计算方法- 计算实例IV.信息熵的定义- 信息熵的定义- 信息熵的性质- 计算实例V.编码与解码- 编码的过程- 解码的过程- 编码与解码的实例VI.总结- 离散信源信息量的计算的重要性- 对信息论与编码实验一的回顾正文：I.引言信息论与编码是通信工程中的重要内容，它旨在研究如何在传输过程中有效地传输信息。
在信息论与编码实验一中，我们主要关注离散信源的信息量的计算。
离散信源是我们日常生活中最常见的信源类型，例如文字、声音、图像等。
因此，了解离散信源信息量的计算方法对于理解和应用信息论与编码理论具有重要意义。
II.离散信源的定义离散信源是指信息以离散的方式存在的信源。
离散信源的特点是信息符号是离散的、不连续的，且每个符号的出现是相互独立的。
离散信源可以分为无记忆离散信源和有记忆离散信源。
无记忆离散信源是指信源发出的每个符号的概率分布与过去符号无关，而有记忆离散信源则与过去符号有关。
III.信息量的计算信息量是衡量信息的一个重要指标，它表示了接收者在接收到符号后所获得的信息。
对于离散信源，信息量的计算公式为：I(X) = -∑P(x) * log2(P(x))，其中X 表示离散信源，P(x) 表示符号x 出现的概率。
通过计算信息量，我们可以了解信源的信息程度，从而为后续的编码和解码提供依据。
IV.信息熵的定义信息熵是信息论中的一个重要概念，它表示了信源的平均信息量。
信息熵的定义为：H(X) = -∑P(x) * log2(P(x))，其中X 表示离散信源，P(x) 表示符号x 出现的概率。
信息熵具有以下性质：1）信息熵是信息量的期望；2）信息熵的值是有限的，且在0 到比特数之间；3）当信源的每个符号出现的概率相同时，信息熵最大。
马尔科夫信源
• 从第四单位时间开始，随机变量Xi只与前面二 个单位时间的随机变量Xi-2Xi-1有依赖关系: p(xi| xi-1 xi-2…x2 x1) = p(xi| xi-1 xi-2) (i＞3) 且 p(xi| xi-1 xi-2) = p(x3| x2x1) (i＞3) 求：⑴信源状态转移情况和相应概率； ⑵画出完整的二阶马尔可夫信源状态转移图； ⑶求平稳分布概率； （4）马尔科夫信源达到稳定后，0和1的分布 概率。
s1 00; s2 01; s3 10; s4 11
由于信源只可能发出0或者1，所以信源下一时刻只 可能转移到其中的两种状态之一。如目前所处状态 为00，那么下一时刻信源只可转移到00或者01。而不 12 会转到10或者11状态。
p( s1 | s1 ) p( s4 | s4 ) 0.8, p( s3 | s2 ) p( s1 | s3 ) p( s4 | s2 ) p( s4 | s2 ) p( s2 | s3 ) 0.5; p( s2 | s1 ) p( s3 | s4 ) 0.2
区 别
p11 p1n P p( x j | si ) pQ1 pQn
7
马尔可夫信源
• 状态转移图
–齐次马尔可夫链可以用其 状态转移图(香农线图)表示 –每个圆圈代表一种状态 –状态之间的有向线代表某 一状态向另一状态的转移 –有向线一侧的符号和数字 分别代表发出的符号和条 件概率
• 解: • 设信源开始处于s0状态,并以 等概率发出符号0和1,分别 到达状态s1和s2 : s0 • 若处于s1 ,以0.3和0.7的概率 发出0和1到达s3和s4 • 若处于s2,以0.4和0.6的概率 发出0和1到达s5和s6