信息论与编码 清华大学
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
本课程主要内容
1. 2. 3. 4. 5. 6. 7. 8. 绪论 信源与信息熵 信道与信道容量 信息率失真函数 信源编码 信道编码 加密编码 网络信息理论简介
第1章 绪论
• 通信系统模型方框图:
信源 编码 信道 编码
信源
加密
干扰
信道 信宿 信源 译码 解密 信道 译码 噪声
有效性、可靠性、安全性
i, j
H ( X , Y ) H ( X ) H (Y / X )
• 马氏链信源： H (X) p( si ) H ( X / si )
i
第3章 信道与信道容量
p( y j / xi ) I ( X ;Y ) C
I ( X ;Y ) 信道容量 C max p ( ai )
pd
i 1 i
n
ij
第5章 信源编码
• 编码的定义：分组码、变长码、非奇异码、唯一 可译码、即时码、非延长码 • 唯一可译码存在的充要条件 • 编码效率 • 香农（Shannon）码、哈夫曼（Huffman）码、算 术码 • 无失真信源编码定理 /限失真信源编码定理
普通高等教育“十五”国家级规划教材 《信息论与编码》 曹雪虹等编著
11 普通高等教育“十五”国家级规 划教材《信息论与编码》 曹 雪虹等编著
码距与纠、检错能力
• 码的总体性能取决于码距的分布特性（重 量谱），而纠、检错能力取决于其中的最 小者dmin ，dmin = min {w (C i ) • 检、纠错能力：
– 可检dmin–1个差错 – 可纠t= INT[(dmin–1)/2]个差错
第2章 信源与信息熵
• 单符号离散信源熵
符号熵
条件熵 联合熵
H ( X ) p( xi )log p( xi )
i
H ( X / Y ) p( xi , y j )log p( xi / y j )
i, j
H ( X ,Y ) p( xi , y j )log p( xi , y j )
I ( X ;Y ) 信道相对剩余度 = 1 C
RC
第3ቤተ መጻሕፍቲ ባይዱ 信道与信道容量
对称DMC信道的容量
C log m pij log pij
j 1
m
准对称DMC信道的容量（三种求法） 限时限频限功率加性高斯白噪声信道
Ct W log(1 SNR)bit / s
第4章 信息率失真函数
• 校验矩阵H中有（dmin-1)列线性无关 • dmin (n-k+1)，极大最小距离码
12 普通高等教育“十五”国家级规 划教材《信息论与编码》 曹 雪虹等编著
第7章 加密编码
• • • • 加密编码的基本概念 加密编码中的熵概念 DES标准 RSA加密算法
13
普通高等教育“十五”国家级 规划教材《信息论与编码》 曹雪虹等编著
8
第6章 信道编码
• • • • 差错、差错控制 信道编码、信道编码定理 纠错编码 信道译码
9
普通高等教育“十五”国家级规 划教材《信息论与编码》 曹 雪虹等编著
第6章 信道编码
最优译码与最大似然译码
• 最佳译码 c ˆi＝ Max P(ci /r)，性能优，实现 难 • 最大似然译码 c ˆi＝ Max P(r / ci)，性能次 优，实现容易 • 最佳译码等同最大似然译码：
第8章 网络信息理论简介
• 网络信道的分类 • 网络信道的信道容量域
– 离散、高斯
• 网络中相关信源的信源编码
– 信源传输速率域
– 码集的码字以相同概率发送 – 接收码等概分布
10 普通高等教育“十五”国家级规 划教材《信息论与编码》 曹 雪虹等编著
线性分组码
• 线性分组码基本概念
– 码元、码字、码集 – 重量、重量分布、恒重码 – 线性码（封闭性） – 基底、矢量正交、矢量空间正交、对偶 空间、线性相关、线性无关
• 生成矩阵、校验矩阵、伴随式、标准 阵列译码、完备码、循环码
• 平均失真
D p( xi ) p y j / xi d ( xi , y j )
i, j
ij D
I ( X ;Y ) • 率失真函数 R( D) min p P
• 其定义域为0～Dmax，其值域为0～H(X)。 当D>Dmax时，R(D) 0。
Dmax min
j 1, 2,, m
2 普通高等教育“十五”国家级规 划教材《信息论与编码》 曹雪虹等编著
第2章 信源与信息熵
p( xi ) I ( xi ) H ( X )
R H(X )
H0 ( X ) H1( X ) H2 ( X ) H ( X )
H ( X ) 冗余度 : 1 1 Hm ( X )
1. 2. 3. 4. 5. 6. 7. 8. 绪论 信源与信息熵 信道与信道容量 信息率失真函数 信源编码 信道编码 加密编码 网络信息理论简介
第1章 绪论
• 通信系统模型方框图:
信源 编码 信道 编码
信源
加密
干扰
信道 信宿 信源 译码 解密 信道 译码 噪声
有效性、可靠性、安全性
i, j
H ( X , Y ) H ( X ) H (Y / X )
• 马氏链信源： H (X) p( si ) H ( X / si )
i
第3章 信道与信道容量
p( y j / xi ) I ( X ;Y ) C
I ( X ;Y ) 信道容量 C max p ( ai )
pd
i 1 i
n
ij
第5章 信源编码
• 编码的定义：分组码、变长码、非奇异码、唯一 可译码、即时码、非延长码 • 唯一可译码存在的充要条件 • 编码效率 • 香农（Shannon）码、哈夫曼（Huffman）码、算 术码 • 无失真信源编码定理 /限失真信源编码定理
普通高等教育“十五”国家级规划教材 《信息论与编码》 曹雪虹等编著
11 普通高等教育“十五”国家级规 划教材《信息论与编码》 曹 雪虹等编著
码距与纠、检错能力
• 码的总体性能取决于码距的分布特性（重 量谱），而纠、检错能力取决于其中的最 小者dmin ，dmin = min {w (C i ) • 检、纠错能力：
– 可检dmin–1个差错 – 可纠t= INT[(dmin–1)/2]个差错
第2章 信源与信息熵
• 单符号离散信源熵
符号熵
条件熵 联合熵
H ( X ) p( xi )log p( xi )
i
H ( X / Y ) p( xi , y j )log p( xi / y j )
i, j
H ( X ,Y ) p( xi , y j )log p( xi , y j )
I ( X ;Y ) 信道相对剩余度 = 1 C
RC
第3ቤተ መጻሕፍቲ ባይዱ 信道与信道容量
对称DMC信道的容量
C log m pij log pij
j 1
m
准对称DMC信道的容量（三种求法） 限时限频限功率加性高斯白噪声信道
Ct W log(1 SNR)bit / s
第4章 信息率失真函数
• 校验矩阵H中有（dmin-1)列线性无关 • dmin (n-k+1)，极大最小距离码
12 普通高等教育“十五”国家级规 划教材《信息论与编码》 曹 雪虹等编著
第7章 加密编码
• • • • 加密编码的基本概念 加密编码中的熵概念 DES标准 RSA加密算法
13
普通高等教育“十五”国家级 规划教材《信息论与编码》 曹雪虹等编著
8
第6章 信道编码
• • • • 差错、差错控制 信道编码、信道编码定理 纠错编码 信道译码
9
普通高等教育“十五”国家级规 划教材《信息论与编码》 曹 雪虹等编著
第6章 信道编码
最优译码与最大似然译码
• 最佳译码 c ˆi＝ Max P(ci /r)，性能优，实现 难 • 最大似然译码 c ˆi＝ Max P(r / ci)，性能次 优，实现容易 • 最佳译码等同最大似然译码：
第8章 网络信息理论简介
• 网络信道的分类 • 网络信道的信道容量域
– 离散、高斯
• 网络中相关信源的信源编码
– 信源传输速率域
– 码集的码字以相同概率发送 – 接收码等概分布
10 普通高等教育“十五”国家级规 划教材《信息论与编码》 曹 雪虹等编著
线性分组码
• 线性分组码基本概念
– 码元、码字、码集 – 重量、重量分布、恒重码 – 线性码（封闭性） – 基底、矢量正交、矢量空间正交、对偶 空间、线性相关、线性无关
• 生成矩阵、校验矩阵、伴随式、标准 阵列译码、完备码、循环码
• 平均失真
D p( xi ) p y j / xi d ( xi , y j )
i, j
ij D
I ( X ;Y ) • 率失真函数 R( D) min p P
• 其定义域为0～Dmax，其值域为0～H(X)。 当D>Dmax时，R(D) 0。
Dmax min
j 1, 2,, m
2 普通高等教育“十五”国家级规 划教材《信息论与编码》 曹雪虹等编著
第2章 信源与信息熵
p( xi ) I ( xi ) H ( X )
R H(X )
H0 ( X ) H1( X ) H2 ( X ) H ( X )
H ( X ) 冗余度 : 1 1 Hm ( X )