信息论与编码-复习
合集下载
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
能够进行伴随式译码:例：步骤见p178，课件中有具 体的例子
第6章 信道编码
计算：
对于循环码，已知（n,k）循环码 会求g(x),并根据g(x)求G， 例p191-192 6.3.3,p193 6.3.4 会求h(x)=(xn+1)/g(x),并根据h(x), 例p193 6.3.4 会求系统循环码码字:由G经过初等行变换得Gs, 再通过C=mGS得系统循环码码字
第4章 信息率失真函数
计算：
对于离散信源(如作业4.1(3))：
R(D)的计算、R(D)与D的关系图 只要求等概信源，对称失真的R(D),见P120 (4.2.50式) 关系图见P109 图4.1.1（注意区分离散和连续信源）， 所取的点的纵坐标根据R(D)的计算式求得
第4章 信息率失真函数
计算：
会计算达到稳态时的状态概率分布（作业2.16（1））和 极限熵（作业2.16（2），2.17（2）和p48 例2.2.4）；
给定状态转移概率，会画状态转移图，反之亦要求。
第二章 ——续
计算：
信源冗余度的计算（作业2.17（3）） 根据给出的离散信源，能够进行定长编码，求出码字。
掌握信源编码器的性能指标（编码效率η）及其与码 长（k）之间的关系。
第3章 信道容量
掌握离散无记忆信道的N次扩展信道的容量的求解
CN次扩展 NC单符号无记忆信道
无噪信道的容量：见作业3.14 应用连续信道的信道容量公式进行解题
连续信道的容量 所需的信号功率
S 如作业3.19,使用公式 C连续 B log 2 (1 ) N 注意：
C就是信号的传输速率 dB表示的信噪比在代入时要进行转换
能够通过分析电路的运行过程，得到生成的循环码字。 见课件
已知一个非高斯信源的熵H， 能够求出高斯信源达到此熵所需的功率 求出此高斯信源的概率密度函数
p( x)
1 2 P
1 2H P e 2e x2
e 2P
第3章 信道容量
概念与定理：
掌握信道容量的概念和用途
掌握什么是信道编码定理。
掌握限带的连续信源的信道容量
第3章 信道容量
计算：
对称离散无记忆信道的容量的求解和应用
第5章 信源编码
掌握最佳变长信源编码定理。
计算： 给定一个离散信源：
能进行二进制香农编码 二/三进制费诺编码 二/三哈夫曼编码 等长编码 平均码长、编码速率和编码效率。
第6章 信道编码
概念和定理：
信道编码的作用 计算：
对于线性分组码
已知G,会求码字：例p176 6.2.2
已知G，会求GS和HS:例：p177 6.2.3
变换方法见p177 6.2.3
第6章 信道编码
计算：
对于循环码，已知（n,k）循环码 会使用伴随式进行校验，即根据接收的向量r进行判 断 方法1：s=rHT,看s是否为0，非零则说明有差错 方法2：s(x)=r(x)mod g(x)，看是否有余数，有 则说明有差错 例p200 (6.3.16式)
能画出一般循环码的数字编码电路图：例p196 图6.3.4
该信道的转移概率矩阵 p P (Y / X ) n 1 p n 1 求该信道的信道容量 n 1 p p n 1 p n 1
n 1 p p n 1 n 1 p n 1 p n n
C对称 log2 n H mi
信息论与编码 复习
第1章 概论
掌握通信系统的基本模型； 掌握信息论的研究内容。
第2章 信源熵
概念： 自信息量 平均互信息量 熵功率 信源冗余度 定理 离散信源的最大熵定理 限平均功率的连续信源的最大熵定理 离散信源的无失真定长编码定理 离散信源的最佳变长编码定理
第二章 ——续
计算：
某个事件发生后对外提供的自信息量（例如作业：2.1，2.4 （1），2.15（2），2.18（自信息量的综合应用）） 某个单符号信源的熵（例如作业：2.5（3）（4），2.17 （1）） 序列信源的熵（例如作业：2.15（3）） 对于一阶和二阶马尔可夫信源：
(1)
p( xi ) min d ( xi , y j )
i i
Dminin ) R(0) H ( X ) 否则，只要求大家会一 种等概信源，失真函数 为对称时的 R( D), 详见p120, (4.2.50)
(3)
P(Y/X):失真矩阵每行最小的元素对应的位置的转 移概率才为1，其它为0
(3)
0 1 0 P (Y / X ) 0 1 0
d1n d 21 d nn
第4章 信息率失真函数
计算：
对于离散信源(如作业4.1(2))：
Dmin,R(Dmin)，及达到Dmin时对应的信道转移概率分布
对于连续信源（例：课堂上讲的两个例子）
失真函数为均方失真时，给定的连续信源的 Dmax和R(D) 的计算。
Dmax min p( x)d ( x, y )dx
y
1 Dmax R( D) ln 2 D 失真函数是绝对失真时，给定的指数分布信源的 Dmax和 R(D)的计算。 1 Dmax 1 1 R ( D ) ln 2 D
第3章 信道容量
计算 带宽无穷大时连续信道的容量 带宽无穷大时，连续信号传输所需的信号功率 如作业3.20：CB S log2 e n0 注意： 噪声功率有时并不直接给出，而是给出噪声 功率谱密度N0和带宽B,则N= N0B
第4章 信息率失真函数
概念和定理：
掌握保真度准则下的信源编码定理 掌握信息率失真函数的概念、是信源的特性、有哪 些应用
第4章 信息率失真函数
计算：
对于离散信源(如作业4.1(1))：
Dmax,R(Dmax)，及达到Dmax时对应的信道转移概率分布
(1)
Dmax min D j
j
(2)
R( Dmax ) 0
第j*列
d11 d 21 min p ( x1 ), p ( xn ) j d n1 D j*
如课后作业4.6
C对称 log2 m H mi Rmax C 符号速率 I 消息的长度 H ( X ) t Rmax
准对称信道的容量的求解和应用。
C准对称 log2 n H mi N k log2 M k
k 1 r
第3章 信道容量
计算：
均匀信道容量的求解：已知一个信源有n个符号， 传输的正确概率为p，错误概率均匀的分配给其余 p p 的符号，求 p
第6章 信道编码
计算：
对于循环码，已知（n,k）循环码 会求g(x),并根据g(x)求G， 例p191-192 6.3.3,p193 6.3.4 会求h(x)=(xn+1)/g(x),并根据h(x), 例p193 6.3.4 会求系统循环码码字:由G经过初等行变换得Gs, 再通过C=mGS得系统循环码码字
第4章 信息率失真函数
计算：
对于离散信源(如作业4.1(3))：
R(D)的计算、R(D)与D的关系图 只要求等概信源，对称失真的R(D),见P120 (4.2.50式) 关系图见P109 图4.1.1（注意区分离散和连续信源）， 所取的点的纵坐标根据R(D)的计算式求得
第4章 信息率失真函数
计算：
会计算达到稳态时的状态概率分布（作业2.16（1））和 极限熵（作业2.16（2），2.17（2）和p48 例2.2.4）；
给定状态转移概率，会画状态转移图，反之亦要求。
第二章 ——续
计算：
信源冗余度的计算（作业2.17（3）） 根据给出的离散信源，能够进行定长编码，求出码字。
掌握信源编码器的性能指标（编码效率η）及其与码 长（k）之间的关系。
第3章 信道容量
掌握离散无记忆信道的N次扩展信道的容量的求解
CN次扩展 NC单符号无记忆信道
无噪信道的容量：见作业3.14 应用连续信道的信道容量公式进行解题
连续信道的容量 所需的信号功率
S 如作业3.19,使用公式 C连续 B log 2 (1 ) N 注意：
C就是信号的传输速率 dB表示的信噪比在代入时要进行转换
能够通过分析电路的运行过程，得到生成的循环码字。 见课件
已知一个非高斯信源的熵H， 能够求出高斯信源达到此熵所需的功率 求出此高斯信源的概率密度函数
p( x)
1 2 P
1 2H P e 2e x2
e 2P
第3章 信道容量
概念与定理：
掌握信道容量的概念和用途
掌握什么是信道编码定理。
掌握限带的连续信源的信道容量
第3章 信道容量
计算：
对称离散无记忆信道的容量的求解和应用
第5章 信源编码
掌握最佳变长信源编码定理。
计算： 给定一个离散信源：
能进行二进制香农编码 二/三进制费诺编码 二/三哈夫曼编码 等长编码 平均码长、编码速率和编码效率。
第6章 信道编码
概念和定理：
信道编码的作用 计算：
对于线性分组码
已知G,会求码字：例p176 6.2.2
已知G，会求GS和HS:例：p177 6.2.3
变换方法见p177 6.2.3
第6章 信道编码
计算：
对于循环码，已知（n,k）循环码 会使用伴随式进行校验，即根据接收的向量r进行判 断 方法1：s=rHT,看s是否为0，非零则说明有差错 方法2：s(x)=r(x)mod g(x)，看是否有余数，有 则说明有差错 例p200 (6.3.16式)
能画出一般循环码的数字编码电路图：例p196 图6.3.4
该信道的转移概率矩阵 p P (Y / X ) n 1 p n 1 求该信道的信道容量 n 1 p p n 1 p n 1
n 1 p p n 1 n 1 p n 1 p n n
C对称 log2 n H mi
信息论与编码 复习
第1章 概论
掌握通信系统的基本模型； 掌握信息论的研究内容。
第2章 信源熵
概念： 自信息量 平均互信息量 熵功率 信源冗余度 定理 离散信源的最大熵定理 限平均功率的连续信源的最大熵定理 离散信源的无失真定长编码定理 离散信源的最佳变长编码定理
第二章 ——续
计算：
某个事件发生后对外提供的自信息量（例如作业：2.1，2.4 （1），2.15（2），2.18（自信息量的综合应用）） 某个单符号信源的熵（例如作业：2.5（3）（4），2.17 （1）） 序列信源的熵（例如作业：2.15（3）） 对于一阶和二阶马尔可夫信源：
(1)
p( xi ) min d ( xi , y j )
i i
Dminin ) R(0) H ( X ) 否则，只要求大家会一 种等概信源，失真函数 为对称时的 R( D), 详见p120, (4.2.50)
(3)
P(Y/X):失真矩阵每行最小的元素对应的位置的转 移概率才为1，其它为0
(3)
0 1 0 P (Y / X ) 0 1 0
d1n d 21 d nn
第4章 信息率失真函数
计算：
对于离散信源(如作业4.1(2))：
Dmin,R(Dmin)，及达到Dmin时对应的信道转移概率分布
对于连续信源（例：课堂上讲的两个例子）
失真函数为均方失真时，给定的连续信源的 Dmax和R(D) 的计算。
Dmax min p( x)d ( x, y )dx
y
1 Dmax R( D) ln 2 D 失真函数是绝对失真时，给定的指数分布信源的 Dmax和 R(D)的计算。 1 Dmax 1 1 R ( D ) ln 2 D
第3章 信道容量
计算 带宽无穷大时连续信道的容量 带宽无穷大时，连续信号传输所需的信号功率 如作业3.20：CB S log2 e n0 注意： 噪声功率有时并不直接给出，而是给出噪声 功率谱密度N0和带宽B,则N= N0B
第4章 信息率失真函数
概念和定理：
掌握保真度准则下的信源编码定理 掌握信息率失真函数的概念、是信源的特性、有哪 些应用
第4章 信息率失真函数
计算：
对于离散信源(如作业4.1(1))：
Dmax,R(Dmax)，及达到Dmax时对应的信道转移概率分布
(1)
Dmax min D j
j
(2)
R( Dmax ) 0
第j*列
d11 d 21 min p ( x1 ), p ( xn ) j d n1 D j*
如课后作业4.6
C对称 log2 m H mi Rmax C 符号速率 I 消息的长度 H ( X ) t Rmax
准对称信道的容量的求解和应用。
C准对称 log2 n H mi N k log2 M k
k 1 r
第3章 信道容量
计算：
均匀信道容量的求解：已知一个信源有n个符号， 传输的正确概率为p，错误概率均匀的分配给其余 p p 的符号，求 p