信息论与编码第六章
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
第六章 保真度准则下的信源编码
§7.1 引 言
无失真信源编码定理（无噪离散信道编码定理）实际上 是讨论信息传输有效性的界的问题，证明了必有一种编码 方法，使每一个信源符号所需要的平均码长符号数，在数 量上无限接近于该信源的熵值，用这样的码可几乎无差错 地译出原来的信源符号，反之，每一信源符号所含有的平 均码符号数小于信源的熵值，则不可能无差错地译出原信 源符号。
信息传输率R与失真有关，为了定量地描述信息传输率和 失真的关系，引入失真度（函数）的概念。
d(ai ,bj ) 0
(i 1 , ,r;j 1 , ,s)
a1 d(a1,b1) d12
[D]a2
d(a2,b1)
ar d(ar,b1)
d(a1,bs) d(a2,bs)
d(ar,bs)rs
rs
rs
D d ( a i,b j) p ( a ib j) d ( a i,b j) p ( a i) p ( b j|a i)p (d ( ))
i 1j 1
i 1j 1
整理ppt
2
是D 信源统计特性 ，p(a信i ) 道统计特性 以p(b及j | 人ai )们规定的
失真函数
的函d(数ai ,b，j ) 当失真函数被选定，信源和信道的统
计特性给定后， 就是一个确D 定的量，更为重要的是，当
给定后，d(a就i,b只j)是,p(信ai)道的统计特D 性：传递概率 的函
有噪离散信道的编码定理，讨论的是信息传输的可靠性 问题，证明了必有一种编码方法，只要信道的信息传输率 小于信道容量，在信道的输出端可几乎无差错地译出信道 输入端输入的消息，反之， R时C，不可能无差错译码。
概括两个定理：只要 ，R总C能找到一种编码，使在信道
上能以任意小的错误概率，以任意接近C的传输率来传送
整理ppt
6
整理ppt
7
整理ppt
8
整理ppt
9
整理ppt
10
整理ppt
11
整理ppt
12
整理ppt
13
整理ppt
14
整理ppt
Baidu Nhomakorabea15
整理ppt
16
整理ppt
17
整理ppt
18
整理ppt
19
整理ppt
20
此课件下载可自行编辑修改，供参考！ 感谢您的支持，我们努力做得更好！
p(y | x)
D [p(y| x)]
p(y | x)
数。
，变动信道的传递概率 ，就可变动平均失真度
D
“人们允许的失真”往往是规定其平均失真度D 不能超过 某一限定的值D，规定 D， D因此我们可以把本身能控制选 择的允许平均失真D作为对信道统计特性 的p(一y| x种) 约束条 件，求信道信息率 的R 最小I(X值,Y，) 使以前讨论的极小值问
N
d (i, j) d (a i1 a iN ,b j1 b jN ) d (a ik,b jk)
k 1
[D]
a1 a2
d(11)
d(1sN
)
arN d(rN 1)
d(rN sN )
r N s N
r N s N
D ( N ) d (i,j) P (i j) d (i,j) P (i) P (j|i) d (i,j)
题具有实用意义。
实质：用最小的信道信息率传输信息（最小代价）但能满足 给定的允许失真度 D ；D 换句话说：满足允许失真度前提 下，使信道传输的信息最小。
整理ppt
3
信道N次无记忆扩展后： P ( j |i ) P ( b j 1 b j N | a i 1 a i N ) P ( b j 1 | a i 1 ) P ( b j 2 | a i 2 ) P ( b j N | a i N )
信息。但若信息传输率R大于信道C，不可能实现无失真
的传输，使传输错误 任意整P理小Eppt。
1
实际上，完全无失真地传输信源消息是不可能实现的。 另一方面，实际生活中，人们一般并不要求，也没有必 要全无失真地恢复消息。 ? 如何在一定程度失真的条件下，快速而且较准确地传 送信源的消息。?
§7.2 信息率失真函数的定义和性质
i 1 j 1
i 1 j 1
rN sN
N
P(i)P(j |i) d(aik,bjk)
i1 j1
k1
当信源和信道无记忆时：
N
D(N) Dk
D(N) ND
k1
如平均失真度 D（D* 所允许的失真）称为保真度准则，则对
长为N的信源序列的保真度准则为： D(N) ND*
整理ppt
4
整理ppt
5
§7.1 引 言
无失真信源编码定理（无噪离散信道编码定理）实际上 是讨论信息传输有效性的界的问题，证明了必有一种编码 方法，使每一个信源符号所需要的平均码长符号数，在数 量上无限接近于该信源的熵值，用这样的码可几乎无差错 地译出原来的信源符号，反之，每一信源符号所含有的平 均码符号数小于信源的熵值，则不可能无差错地译出原信 源符号。
信息传输率R与失真有关，为了定量地描述信息传输率和 失真的关系，引入失真度（函数）的概念。
d(ai ,bj ) 0
(i 1 , ,r;j 1 , ,s)
a1 d(a1,b1) d12
[D]a2
d(a2,b1)
ar d(ar,b1)
d(a1,bs) d(a2,bs)
d(ar,bs)rs
rs
rs
D d ( a i,b j) p ( a ib j) d ( a i,b j) p ( a i) p ( b j|a i)p (d ( ))
i 1j 1
i 1j 1
整理ppt
2
是D 信源统计特性 ，p(a信i ) 道统计特性 以p(b及j | 人ai )们规定的
失真函数
的函d(数ai ,b，j ) 当失真函数被选定，信源和信道的统
计特性给定后， 就是一个确D 定的量，更为重要的是，当
给定后，d(a就i,b只j)是,p(信ai)道的统计特D 性：传递概率 的函
有噪离散信道的编码定理，讨论的是信息传输的可靠性 问题，证明了必有一种编码方法，只要信道的信息传输率 小于信道容量，在信道的输出端可几乎无差错地译出信道 输入端输入的消息，反之， R时C，不可能无差错译码。
概括两个定理：只要 ，R总C能找到一种编码，使在信道
上能以任意小的错误概率，以任意接近C的传输率来传送
整理ppt
6
整理ppt
7
整理ppt
8
整理ppt
9
整理ppt
10
整理ppt
11
整理ppt
12
整理ppt
13
整理ppt
14
整理ppt
Baidu Nhomakorabea15
整理ppt
16
整理ppt
17
整理ppt
18
整理ppt
19
整理ppt
20
此课件下载可自行编辑修改，供参考！ 感谢您的支持，我们努力做得更好！
p(y | x)
D [p(y| x)]
p(y | x)
数。
，变动信道的传递概率 ，就可变动平均失真度
D
“人们允许的失真”往往是规定其平均失真度D 不能超过 某一限定的值D，规定 D， D因此我们可以把本身能控制选 择的允许平均失真D作为对信道统计特性 的p(一y| x种) 约束条 件，求信道信息率 的R 最小I(X值,Y，) 使以前讨论的极小值问
N
d (i, j) d (a i1 a iN ,b j1 b jN ) d (a ik,b jk)
k 1
[D]
a1 a2
d(11)
d(1sN
)
arN d(rN 1)
d(rN sN )
r N s N
r N s N
D ( N ) d (i,j) P (i j) d (i,j) P (i) P (j|i) d (i,j)
题具有实用意义。
实质：用最小的信道信息率传输信息（最小代价）但能满足 给定的允许失真度 D ；D 换句话说：满足允许失真度前提 下，使信道传输的信息最小。
整理ppt
3
信道N次无记忆扩展后： P ( j |i ) P ( b j 1 b j N | a i 1 a i N ) P ( b j 1 | a i 1 ) P ( b j 2 | a i 2 ) P ( b j N | a i N )
信息。但若信息传输率R大于信道C，不可能实现无失真
的传输，使传输错误 任意整P理小Eppt。
1
实际上，完全无失真地传输信源消息是不可能实现的。 另一方面，实际生活中，人们一般并不要求，也没有必 要全无失真地恢复消息。 ? 如何在一定程度失真的条件下，快速而且较准确地传 送信源的消息。?
§7.2 信息率失真函数的定义和性质
i 1 j 1
i 1 j 1
rN sN
N
P(i)P(j |i) d(aik,bjk)
i1 j1
k1
当信源和信道无记忆时：
N
D(N) Dk
D(N) ND
k1
如平均失真度 D（D* 所允许的失真）称为保真度准则，则对
长为N的信源序列的保真度准则为： D(N) ND*
整理ppt
4
整理ppt
5