信息理论与编码_ 离散无记忆信源无失真编码_
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
3、编码器的输出
f 是一一对应的映射
i i P w P u i q
()()1,2,, H W H U ()()bit/码字或bit/符
号
H W H U H X l l
()()
()bit/码元
新信源X ：
编码后的信息率R ：平均一个码元携带的信息量。
H W H U H X l l
()()
()bit/码元
平均码长越小，每个码元携带的信息量就越
多，传输一个码元就传输了较多的信息。
R X
{,,,}
12r x x x 编码器f
12{,,,}
q u u u 12{,,,}
r x x x W
U
12{,,,}
q w w w X
信
源
4、编码效率
为了衡量编码效果，定义编码效率：编码
后的实际信息率与编码后的最大信息率之比。
max max ()()()()log log c R H X H U l H U R H X r l r
注：编码效率实际上也是新信源X 的信息含量
效率或熵的相对率。
新信源的冗余度也是码的冗余度：
1c c X
{,,,}12r
x x x 编码器f
12{,,,}
q u u u 12{,,,}
r x x x W
U
12{,,,}q w w w X
信
源
5种不同的码
i P u W W W W W U u u u u 35
1241234
()120000100
14010000100118101001110011
18
11
11
10
111
111W 1: 定长码。W 3: 变长码。奇异码。
定长非奇异码肯定是UDC u u u u u u u u u u u u u
12434321
121211,00,10,010110,01,00,11,00,1,00,1W 2: 定长码。W 4: 变长码。
W 5: 变长码。非奇异码。
非奇异码。非奇异码。非奇异码。续长码。非续长码。续长码。及时码。非及时码。
奇异码肯定不是UDC
不是UDC
非续长码肯定是UDC 是UDC
非及时码。
非续长码。W 3：
1001001
唯一可译码
定长非奇异码
非续长码
非奇异码码
奇异码非奇异码非唯一可译码
唯一可译码定长非奇异码
变长非续长码
（部分）变长续长码
4.3 定长编码定理和定长编码方法
1、对信源输出的符号序列进行编码
DMS
编码器f
12{,,,}
q u u u 12{,,,}
r x x x W
U 12{,,,}
q w w w X
X
12{,,,}
r x x x DMS
编码器f 12{,,,}
N q 12{,,,}
r x x x W
N
U 12{,,,}N
q w w w X
X
12{,,,}
r x x x 对信源U 的单个符号进行编码对信源U 的N 长符号串进行编码对扩展信源U N 的单个符号进行编码
12i i i iN
u u u 1212,,,{,,,}
i i iN q u u u u u u
2、定长编码定理
r 进制定长编码,码长为l N , 可用的码字数目：
N
l r N
l N
r
q
唯一可译max max ()
log ()log log N r H U l q H U N r r
信息传输率编码效率
()
()/N H U R H X l N
max ()()()log c N
H X H U l H X r N
bit/码元
DMS
编码器f 12{,,,}
N
q 12{,,,}
r x x x W N
U 12{,,,}
N q w w w X
X
12{,,,}
r x x x
定长无失真编码定理：用r 元符号表对离散无记忆信源U 的N 长符号序列进行定长编码，N 长符号序列对应的码长为l N ，若对于任意小的正数ε，有不等式:就几乎能做到无失真编码，且随着序列长度N 的增大，译码差错率趋于0。反过来，若
就不可能做到无失真编码，且随着N 的增大，译
码差错率趋于1。
()()log N
r l H U H U N
r
()2()2log N r l H U H U N r
3、定长编码方法（例）
1
2345672
3
4
5
6
611111112
222222U u u u u u u u U P
对U 的单个符号进行2进制定长编码。码元集：X ={0, 1}
取l = 3
12
3
4
5
6
7
:
:001010011100101110111
U u u u u u u u W 7
1
63
()()log ()32i i i H U P u P u
63
32
()65.625%
log 3log 2
c H U l r 3l l bit /符号
码元/符号
log log 7
2.8log log 2
N l q l N r
码元/符号解：提高编码效率的方法：对符号串进行编码；引入一定的失真。