第2章-信源编码
信息论与编码复习题目
信息论复习提纲第一章绪论1.通信系统模型;2.香浓信息的概念;3.信源、信道、信源编码和信道编码研究的核心问题。
第二章离散信源及信源熵1.离散信息量、联合信息量、条件信息量、互信息量定义;2.信源熵、条件熵、联合熵定义;3.平均互信息量定义、性质、三种表达式及物理意义,与其它熵的关系(不证明);4.最大信源熵定理及证明;5.本章所有讲过的例题;第三章离散信源的信源编码1.信息传输速率、编码效率定义;2.最佳编码定理(即节定理:概率越大,码长越小;概率越小,码长越大)及证明;3.码组为即时码的充要条件;4.单义可译定理(Kraft不等式)及应用;5.费诺编码方法、霍夫曼编码方法应用(二进制,三进制,四进制);6.本章所有讲过的例题;第四章离散信道容量1.利用信道矩阵计算信道容量(离散无噪信道、强对称离散信道、对称离散信道、准对称离散信道);2.本章讲过的例题;第五章连续消息和连续信道1.相对熵的定义;2.均匀分布、高斯分布、指数分布的相对熵及证明;3.峰值功率受限条件下的最大熵定理及证明,平均功率受限条件下的最大熵定理及证明,均值受限条件下的最大熵定理及证明;4.香农公式及意义;5.本章所有讲过的例题;第六章差错控制1.重量、最小重量、汉明距离、最小汉明距离、编码效率的定义;2.最小距离与检错、纠错的关系(即节定理);3.本章所有讲过的例题;第七章线性分组码1.线性分组码定义;2.线性分组码的最小距离与最小重量的关系及证明;3.生成矩阵、一致校验矩阵定义,给出线性方程组求出生成矩阵和一致校验矩阵的标准形式,生成矩阵与一致校验矩阵的关系;4.制作标准阵列并利用标准阵列译码;5.本章所有讲过的例题;第八章循环码1.生成多项式的特点,有关定理(三定理1,定理2,定理3)及证明;2. 生成矩阵、一致校验矩阵定义,如何获得生成矩阵、一致校验矩阵的典型形式;3.本章所有讲过的例题; 习题:1.已知随机变量X 和Y 的联合分布如下:计算:、I(X;Y)。
第2章 数据通信基础(习题答案)
第2章数据通信基础习题及答案一、填空题(1)按使用的传输介质划分,信道可以分为__有线信道___和__无线信道__两类。
(2)按允许通过的信号类型划分,信道可以分为_模拟信道_和_数字信道_两类。
(3)按数据传输的方向和时序关系分类,信道可以分为_单工信道__、__半双工信道__和__全双工信道__三类。
(4)按传输信号频谱分类,信道可以分为__基带信道__和___频带信道_两类。
(5)数据通信系统的主要技术指标有__码元速率__、__信息速率__、__误比特率_、__误码率_、__可靠度__、_频带利用率__和__通信建立时间___。
(6)常用的数字传输系统的标准有__ T1____和__E1__。
(7)按同步方式划分,交换可以分为(同步交换)和(异步交换)两种类型。
(8)按差错控制的方式划分,交换可以分为(分组交换)和(快速分组交换)两种类型。
(9)按存储转发的信息单位划分,交换可以分为(报文交换)和(分组交换)两种类型。
(10)按占用信道的方式划分,交换可以分为(电路交换)和(分组交换)两种类型。
(11)按交换的信号类型划分,交换可以分为(数字交换)和(模拟交换)两种类型。
(12)按信号分割方式划分,信道共享技术分为(频分复用)、(时分复用)、(波分复用)和(码分复用)四种类型。
(13)按接入信道的方式划分,信道共享技术分为(集中器接入)和(多点接入)两种类型。
(14)按共享策略的实施时间划分,信道共享技术分为(静态复用)和(动态接入)两种类型。
(15)采用交换技术的计算机通信网络的核心设备是(结点交换机/路由器)。
二、名词解释信息:从信息论的角度来讲,信息就是对消息解除不确定度。
通常把信息理解成所关注的目标对象的特定知识。
数据:数据是对所关注对象进行观察所得到的结果或某个事实的结果。
信号:信号是通信系统实际处理的具体对象。
基带、基带传输:在电磁波的傅利叶级数表示中,从零开始并覆盖了信号的主要能量表现的那段频率范围称为基本频带,简称基带。
编码理论第二章
编码理论——信源编码
4
13
必须注意: 必须注意:
–Kraft不等式只是用来说明唯一可译码是否存在,并不能 Kraft不等式只是用来说明唯一可译码是否存在, Kraft不等式只是用来说明唯一可译码是否存在 作为唯一可译码的判据。 作为唯一可译码的判据。 –如码字{0,10,010,111}虽然满足Kraft不等式,但它不 如码字{0,10,010,111}虽然满足Kraft不等式, 如码字{0 虽然满足Kraft不等式 是唯一可译码。 是唯一可译码。
n L≤m K
X
信源
L长序列
信源编码器
Y
信道
码表
K长码字
15
பைடு நூலகம்
编码理论——信源编码
若对信源进行定长编码,必须满足: 若对信源进行定长编码,必须满足: 定长编码
n ≤m
L
K
或
K log n ≥ L log m
(2-2)
只有当K长的码符号序列数 mK大于或等于信源的符号数nL时,才可能存 只有当K 大于或等于信源的符号数n 定长非奇异码 非奇异码。 在定长非奇异码。 例如英文电报有27个符号,n=27,L=1,m=2(二元编码) 例如英文电报有27个符号,n=27,L=1,m=2(二元编码) 27个符号,n=27,L=1,m=2(二元编码
时,只要 失真, 也就是收端的译码差错概率接近于零, 失真 , 也就是收端的译码差错概率接近于零 , 条件是所取的 符号数L足够大。 符号数L足够大。
KL 1 (2-5) K= log m = log M L L _ 这种编码器一定可以做到几乎无 K > HL ( X ) ,这种编码器一定可以做到几乎无
a1 a2 a3 a4
信息论与编码(曹雪虹第三版)第一、二章
根据传输介质的不同,信道可分为有线信道和无线信道两大类。有线信道包括 双绞线、同轴电缆、光纤等;无线信道包括微波、卫星、移动通信等。
信道容量的定义与计算
信道容量的定义
信道容量是指在给定条件下,信道能 够传输的最大信息量,通常用比特率 (bit rate)来衡量。
信道容量的计算
信道容量的计算涉及到信道的带宽、 信噪比、调制方式等多个因素。在加 性高斯白噪声(AWGN)信道下,香农 公式给出了信道容量的理论上限。
信道编码分类
根据编码方式的不同,信道编码可分为线性分组码和卷积码 两大类。
线性分组码
线性分组码定义
线性分组码是一种将信息 序列划分为等长的组,然 后对每个组独立进行编码 的信道编码方式。
线性分组码特点
编码和解码过程相对简单 ,适用于各种信道条件, 且易于实现硬件化。
常见的线性分组码
汉明码、BCH码、RS码等 。
将信源消息通过某种数学变换转换到另一个域中,然后对变换 系数进行编码。
将连续的信源消息映射为离散的数字值,然后对数字值进行编 码。这种方法会导致量化噪声,是一种有损的编码方式。
信道编码的定义与分类
信道编码定义
信道编码是为了提高信息传输的可靠性、增加通信系统的抗 干扰能力而在发送端对原始信息进行的一种变换。
信息熵总是非负的,因 为自信息量总是非负的 。
当随机变量为确定值时 ,其信息熵为0。
对于独立随机变量,其 联合信息熵等于各自信 息熵之和。
当随机变量服从均匀分 布时,其信息熵达到最 大值。
03
信道与信道容量
信道的定义与分类
信道的定义
信道是信息传输的媒介,它提供了信号传输的通路,是通信系统中的重要组成 部分。
第二章基本信息论5信源冗余度
信源编码:通过减少冗余来提高通信效率 信道编码:通过增加冗余来提高通信的抗干扰能力
E 0.103 N 0.057 W 0.018 F 0.021 O 0.063 X 0.001 G 0.015 P 0.015 Y 0.016
27
p(xi ) lb p( xi )
i 1
H 0.047 Q 0.001 Z 0.001
4.03比特/符号
I 0.058 R 0.048 空格 0.189
3)看成一阶马尔可夫信源,则信源熵: H2 ( X ) H11( X ) 3.32比特/符号
4)看成二阶马尔可夫信源,则信源熵: H3( X ) H21( X ) 3.1比特/符号
5)看成无穷阶马尔可夫信源,则信源熵: H ( X ) 1.4比特/符号
二、冗余的利用
消息的冗余为提高通信效率、压缩信号容量提供 了基础。
lb
1 27
英语 出现 英语 出现 英语 出现 字母 概率 字母 概率 字母 概率
4.75比特/符号
A 0.064 J 0.001 S 0.051 2)按实际概率分布,且 B 0.013 K 0.005 T 0.08 无相关性,则信源熵:
C 0.022 L 0.032 U 0.023
D 0.032 M 0.020 V 0.008 H1( X ) H01( X )
2
Hmax ( X ) p( xi ) lb p( xi )
i 1
2 1 lb 1 1比特/符号
i1 2 2
若发送12个符号,则12个符号含有的信息量为:
I12 12H max ( X ) 12比特
若信源符号间有相关性,则信源熵达不到最大熵。 若实际上为0.8比特/符号,则发送12个符号只能传 递12*0.8=9.6比特的信息量。
2-1 第2章 信源的数学模型和分类
解:
如图所示棋子所在“位置”可用联合集XY上的 元素( xi y j )描述, 其中xi , i 1,2,..., 8; y j , j 1,2,..., 8 。 由于甲是将一粒棋子随意地放在棋盘中某一方格内, 因此棋子在棋盘中所处的行(或列)位置为一维等概率分布。 一维概率分布函数p ( xi ) 1 / 8,p ( y j ) 1 / 8, 同时,有二维概率分布函数p ( xi y j ) 1 / 64,故 在二维联合集XY上,元素xi 相对y j的条件自信息量为 I ( xi | y j ) log 2 p ( xi | y j ) log 2 p ( xi y j ) p( y j ) log 2 1 / 64 3 比特 1/ 8
8
2.1.1 单符号离散信源的数学模型
定义:单符号离散信源的数学模型
设信源X 输出符号集 x ( x1 , x2 ,...xn ),n为消息符号个数, 每个符号发生的概率为p( xi ) 0 i 1, 2,..., n, 消息符号彼此互不相关,且有
p( x ) 1,
i 1 i
I ( xi y j ) log p( xi y j )
p 式中 xi y j为积事件; ( xi y j )为元素 xi y j 的二维 联合概率。
当X和Y相互独立时,
I ( xi y j ) log p( xi y j ) log[ p( xi ) p( y j )] I ( xi y j ) log p( xi ) log p( y j ) I ( xi ) I ( y j ) 说明两个随机事件相互独立时,同时发生得到的自信息量, 等于这两个随机事件各自独立发生得到的自信息量之和。19
1 数字通信理论讲义 2012
课程介绍:·研究生专业课程。
讲座。
研讨。
·先修课。
·教材及参考书。
·要求。
科研方法。
深入。
前沿。
·考试。
第1章 概述1.1 数字通信系统基本组成·各框功能:1)信源与输入变换器 2)信源编码器 3)信道编码器4)数字调制器 之前,信号处理。
如均衡。
5)信道6)数字解调器 7)信道译码器 8)信源译码器 9)输出变换器1.2 通信信道及其特征一、信道概念信号传输的途径、媒介。
物理信道。
1)带宽。
2)衰减。
3)畸变。
4)噪声。
二、信道分类 1. 有线信道双绞线 同轴电缆 波导 光纤kHz MHz 百MHz GHz (带宽) 2. 光纤信道历史。
特点。
应用。
结构简述。
3. 无线电磁信道特点:直射。
反射。
散射。
绕射。
噪声。
干扰。
频率范围。
天线:/10λ>。
应用。
4. 水声信道传播距离:几十——几百 Km 。
声速:1500 m/s特点:背景噪声。
多径传播。
5. 存储信道信道编码。
1.3 通信信道的数学模型一、加性噪声信道 ()()()r t s t n t α=+二、线性滤波器信道 例:有线电话信道()()()()()()()r t s t c t n t c s t d n t ατττ∞-∞=*+=-+⎰三、线性时变滤波器信道例:水声信道。
电离层无线信道。
时变、多径。
()()(;)()(;)()()r t s t c t n t c t s t d n t αττττ∞-∞=*+=-+⎰特例:多径传播。
1(;)()()Lk k k c t t ταδττ==-∑1()()()()Lk k k r t t s t n t ατ==-+∑1.4 数字通信系统的参数与性能指标一、传输速率、带宽、带宽效率符号速率。
信息速率。
二、信噪比与错误概率信噪比定义。
符号错误概率。
比特错误概率。
蒙特卡洛法。
三、复杂度——2012 第1次3学时1.5 通信系统分类一、有线通信、无线通信二、模拟通信、数字通信三、长波、中波、短波、微波、光通信 四、单工、半双工、全双工、单向通信 五、语音、图像、多媒体通信 六、窄带通信、宽带通信 七、固定通信、移动通信1.6 信号传输有关概念一、基带传输与频带传输 二、串序传输与并序传输 三、同步传输与异步传输1.7 主要的远距离通信方式一、电缆通信SSB/FDM 。
第2章 卫星通信基本技术11
2.1 信号设计技术
通常将数字通信中用于系统设计的编码、译码与调制、解调技术统称为信号 设计。下面主要介绍数字卫星通信中的信号设计技术。 2.1.1 编码技术 在数字卫星通信中,所用的编码技术有信源编码和信道编码两类。 信源编码:是指通过压缩编码来去掉信号源中的冗余成分,以达到压缩码率和带宽 ,实现信号有效传输的目的。因此,信源编码实际上就是把话音、图像等模拟信号 变换成数字信号,并利用传输信息的性质,采用适当的编码方法,降低传输速率, 即实现话音或图像的频带压缩传输,提高通信系统的效率。而译码则是编码的逆过 程。 信道编码:是指通过按一定规则重新排列信号码元或加入辅助码的办法来防止码元 在传输过程中出错,并进行检错和纠错,以保证信号的可靠传输。因此,信道编码 是用来检测或纠正传输过程中的误码,它是一种编码变换。纠、检错用在数字卫星 通信中有着非常好的效果,它是实现通信系统传输质量的重要技术。
下面以码长为15的BCH码为例来进行说明。可见此时m=4(24-1=15),即表 示最高次数为4。由xn+1的因式分解可知: m0 ( x ) x 1
m1 ( x) x 4 x 1 m3 ( x) x 4 x 3 x 2 x 1 m5 ( x) x 2 x 1 m7 ( x ) x 4 x 3 1 x15 1 m0 ( x) m1 ( x) m3 ( x) m5 ( x) m7 ( x)
表2-1 校正子与错码位置
s1 0
s2 0
s3 0
错误 位置 无误
第2-3章+信源编码
来的。码字的最后一位码元一个赋于“0”码元,另一个
赋于“1”码元。如表3.1中第六步中概率0.6到第五步中分 裂
0.37和0.23,则所得码字分别为“00”和“01”。
为
表 3.1 Huffman 编码步骤
信源 X x1 x2 x3 x4 x5 x6 x7 x8 概率 p(xi) 0.40 (1) 0.18 (001) 0.10 (0.11) 0.10 (0000) 0.07 (0100) 0.06 (0101) 0.05 (00010) 0.04 (00011) 第一步 0.40 (1) 0.18 (001) 0.10 (011) 0.10 (0000) 0.09 (0001) 0.07 (0100) 0.06 (0101) 第二步 0.40 (1) 0.18 (001) 0.13 (010) 0.10 (011) 0.10 (0000) 0.09 (0001) 第三步 0.40 (1) 0.19 (000) 0.18 (001) 0.13 (010) 0.10 (011) 第四步 0.40 (1) 0.23 (01) 0.19 (000) 0.18 (001) 第五步 0.40 (1) 0.37 (00) 0.23 (01) 第六步 0.60 (0) 0.40 (1)
哈夫曼编码是根据可变长最佳编码定理,应用哈 夫曼算法产生的一种编码方法。它的平均码字长度在 具有相同输入概率集合的前提下,比其它任何一种唯 一可译码都小。 下面给出哈夫曼编码步骤 (1) 将几个信源符号按概率分布p(xi)的大小,由大 到小顺序排列(对概率分布相同的信源符号可以任意颠 倒排列位置),设
n sin 2 W t n 2W X (t ) X 2W 2 W t n n 2W
通信原理复习资料(有用)
通信原理复习资料(有⽤)第1章1、通信:是指不在同⼀地点的双⽅或多⽅之间进⾏迅速有效的信息传递。
单⼯半双⼯全双⼯串⾏传输:传输慢、但传输距离远。
并⾏传输:传输快、但传输距离近。
两点间直通传输、分⽀传输和交换传输3、信号:是信息的⼀种电磁编码。
信号是信息的载体。
通信系统的基本模弄4、通信系统的主要性能指⽰有效性:是指信息传输的效率。
可靠性:是系统接收信息的准确度。
备注:衡量系统有效性最全⾯的指标是系统的频带利⽤率。
第⼆章⼀、调制的分类:1、根据调制信号分类:模拟调制和数字调制2、根据载波分类:连续载波调制和脉冲载波调制3、根据调制的功能分类:AM、FM、PM4、根据调制前后的频谱关系分类:线性调制和⾮线性调制5、线性调制分为:AM、DSB、SSB、VSB6、单边带调制⽅法有:滤波法、移相法、移相滤波法备注:常规双边带调制(AM)调制效率最低,⽽单边带调(SSB)制效率最⾼解调的⽅法:相⼲解调(同步检波)和⾮相⼲解调(包络检波)。
7、频率调制分为:划分依据是瞬时相位偏移是否⼩于0.5窄带调制(NBFM)宽带调制(WBFM)8、调频分为:直接调频和间接调频间接调频:是选积分,然后再调相如下图:第3章1、PCM (脉冲编码调制)包括三个部分:抽样、量化、编码。
2、数字信息的电脉冲表过程称码型变换。
应该考虑的问题:低频和⾼频频率分量应尽量少,特别是不能含有直流分量;不能有长连0和1码,以便提取同步定时信息;具有⾃检⾃纠能⼒。
3、⼆元码的极性图P534、抽样定理分为:⾃然抽样和平顶抽样(性能⽐⾃然抽样性能好)5、量化分为:均匀量化和⾮均匀量化备注:只要确定了量化器,则⽆论抽样值⼤⼩如何,其量化噪声的平均功率值都是固定不变的;因为,X (T )较⼩时,输出信噪⽐就很低,弱信号的量化信噪⽐就可能⽆法达到额定要求⽽对还原解调产⽣较⼤的影响。
6、⾮均匀量化分为:A 率13折线(中国使⽤)和U 率15折线。
A=87.6 U=2557、编码:⾃然⼆进制码组、折叠⼆进制码组、格雷⼆进制码组。
《信息论与编码全部》课件
信息论与编码全部PPT课件
汇报人:PPT
目录
CONTENTS
01 添加目录标题 03 信息度量与熵
02 信息论与编码的基 本概念
04 信源编码
05 信道编码
06 加密与解密技术
07 信息安全与认证技 术
添加章节标题
信息论与编码的基本概 念
信息论的发展历程
1948年,香农提出信 息论,奠定了信息论
提高安全性
优点:安全性 高,速度快,
易于实现
应用:广泛应 用于电子商务、 网络通信等领
域
发展趋势:随 着技术的发展, 混合加密技术 将更加成熟和
完善
信息安全与认证技术
数字签名技术
数字签名:一种用于验证信息来源和完整性的技术 数字签名算法:RSA、DSA、ECDSA等 数字证书:用于存储数字签名和公钥的文件 数字签名的应用:电子邮件、电子商务、网络银行等
汇报人:PPT
熵越小,表示信息量越小,不确 定性越小
熵是概率分布的函数,与概率分 布有关
信源编码
定义:无损信源编码是指在编码过 程中不丢失任何信息,保持原始信 息的完整性。
无损信源编码
应用:无损信源编码广泛应用于音 频、视频、图像等媒体数据的压缩 和传输。
添加标题
添加标题
添加标题
添加标题
特点:无损信源编码可以保证解码 后的信息与原始信息完全一致,但 编码和解码过程通常比较复杂。
古典密码学:公元前400年,古希腊人使用替换密码 近代密码学:19世纪,维吉尼亚密码和Playfair密码出现 现代密码学:20世纪,公钥密码体制和数字签名技术出现 当代密码学:21世纪,量子密码学和后量子密码学成为研究热点
《5G无线网络规划与优化》第2章 5G关键技术
LTE OFDM
F-OFDM
LTE—10% Guard
NR—2~3% Guard
相对LTE90%的频谱利用率,F-OFDM可将5G的 频谱利用率最高提升至95%以上
F-OFDM的概念:子带滤波的正交频分复用、灵活子载波带宽 F-OFDM的效率:信道带宽、传输带宽、保护带宽
1. 【单选题】F-OFDM可将5G的频谱利用率最高提升至以下哪个值?( ) A. 95.4% B. 96% C. 98.28% D. 97.2%
2.1 5G波形技术 2.2 5G调制技术 2.3 5G编码技术 2.4 Massive MIMO技术
2.5 上下行解耦SUL技术 2.6 5G调度技术 2.7 5G HARQ技术 2.8 5G网络切片
通过本节学习,您可以:
掌握Massive MIMO原理 了解5G 波束管理
1. Massive MIMO原理 2. 5G 波束管理
加权MIMO(右图):对两个天线振子发射无线电波信号的时间和方向进行统一调配(加权),在其交叉覆 盖区域可以随时调控某个位置的信号强度,使得一直有方向性的、增强的赋型信号,让手机的通信一直良好。
MIMO原理
在Massive MIMO技术引入之前,由于天线阵子数量太少,导致满足配对的用户比例很低, 从而增益也非常有限。Massive MIMO正是通过引入大量的天线阵子,降低了不同UE之间的信道 相关性,从而可以更容易的行配对;同时,通过增加天线的阵子数,总的复用流数也增加了,从而 可以同时配对更多的用户。
5G eMBB信道编码
在5G系统中,3GPP协议定义了eMBB场景下的两类新编码,LDPC和Polar。
Turbo编码
性能好,随着速率的增加,编码的运算量会线性增加, 能效成为挑战
第2章 -1信源与信息熵1【单符号离散信源】
1. 离散信源熵 (平均自信息量/无条件熵)
[定义] 自信息量的数学期望为信源的平均信息量,记为:H(X)。
H(X)=E[I(xi)]= –∑p(xi)log2 p(xi)
——平均不确定度的度量、体现: 总体平均
[单位]
二进制:bit/(信源)符号,或bit/(信源)序列 [含义]信息熵具有以下三方面物理含义: ⑴ 表示信源输出前,信源的平均不确定性 ⑵ 表示信源输出后,每个符号所携带的平均信息量 ⑶ 表示信源的的随机性(不同的信源有不同的统计特性) 信息熵的意义: 信源的信息熵是从整个信源的统计特性来考虑的。它是从 平均意义上来表征信源的总体特性的。对于某特定的信源, 其信息熵只有一个。不同的信源因统计特性不同,其信息熵 也不同。
√
(后续章节)
一、概述
⒈ 信息的一般概念 一个人获得消息→消除不确定性→获得信息。 ⒉ 信息度量的定性分析 事件发生的概率越大,不确定性越小,该事件 包含的信息量越小; 事件发生的概率越小,不确定性越大,该事件 包含的信息量越大; 如果一个事件发生的概率为1,那么它包含的 信息量为0; 两个相互独立事件所提供的信息量应等于它们 各自提供的信息量之和。
2.2.1
自信息量
1.自信息量 [定义] 若信源发出符号xi,由于信道无干扰,收到的就
《信息论、编码与密码学》课后习题答案
《信息论、编码与密码学》课后习题答案第1章信源编码1.1 考虑一个信源概率为{0.30 , 0.25 , 0.20 , 0.15 , 0.10}的DMS求信源嫡H (X)。
5解:信源嫡H(X) = -£P k log 2( P k)H(X)=-[0.30*(-1.737)+0.25*(-2)+0.2*(-2.322)+0.15*(-2.737)+0.1*(-3.322)]=[0.521+0.5+0.464+0.411+0.332]=2.228(bit)故得其信源嫡H(X)为2.228bit1.2 证明一个离散信源在它的输出符号等概率的情况下其嫡达到最大值。
解:若二元离散信源的统计特性为P+Q=1 H(X)=-[P*log(P)+(1-P)*log(1-P)]对H(X)求导求极值,由dH(X)/d(P)=0可得log可知当概率P=Q=1/2时,有信源嫡H (X)max = 1(bit)对丁三元离散信源,当概率R = P2 = P3 = 1/3时,信源嫡H (X )m a=x1 .5 8 (5bit ),此结论可以推广到N元的离散信源。
1.3证明不等式lnx^x—1。
画出曲线y〔=lnx和y2 = x — 1的平■面图以表明上述不等式的正确性。
证明:f (x) = ln x 「x 1(x - 0) f(x)=【x令f(x),=0, x =1 又有x 0. 0 :. x < 1 时f(x) 0 此时 f(x) fx =0 也即 In x _x -1当x _1时同理可得此时Inx _x -1综上可得lnx 笑x -1证毕 绘制图形说明如下 可以很明确说明上述 不等式的正确性。
1.4证明I(X;Y)芝0。
在什么条件下等号成立?n mI(X ; V =' ' P(x,y j )i(x, y j )i 目j 目n m =' P(x,y j )logi 注j T 当和相互独立时等号成立。
2.10常用信源编码
(PPT 001第四章)
2.10.3冗余位编码
冗余的信息完全可以不全部传送(压缩掉),从而提高了传输效率。
1.L—D编码
现在来讨论一种由林绪(Lynch)和达维生(Davission)分别独立提出的冗余位编码法,称为L—D编码。
例如有一二元序列,其中的一串000100000001000共二进制15位,其余的也可分割成15位一串,称为一帧。现在研究压缩冗余的方法。显然对该帧可确切描述为:
[思考题]已知12个球中有一个球的重量与其它球不同,其它球均等重。问用无砝码的天平至少须几次才能找出此球?
解:天平有3种状态,即平衡,左重,左轻,所以每称一次消除的不确定性为log3,12个球中的不等重球(可较轻,也可较重)的不确定性为: 因为 3log3>log24
∴3次测量可以找出该球
具体称法略。
[例2.10.1]有一单符号离散无记忆信源X如下,要求进行山农—费诺编码
因为信源有8个符号,其理论最大熵为lb8=3比特/符号,而实际熵为2.55比特/符号,如采用三位二进制等长编码,则效率η=2.55/3 = 85%,或者说采用定长编码效率较低。如采用山农—费诺编码,则效率会提高不少。
2.10.2哈夫曼编码
2)从最小两个概率开始编码,并赋予一定规则,如下支路小概率为“1”,上支路大概率为“0”。若两支路概率相等,仍为下支为“1”上支为“0”。
3)将已编码两支路概率合并,重新排队,编码。
4)重复步骤3)直至合并概率归一时为止。
.
=
0.20 , 0.19 , 0.18 , 0.17 , 0.15 , 0.10 , 0.01
2)其次是速率匹配问题:由于绝大多数信源是不等概率的,由它编成的码长度与速率是可变的。然而实际信道则要求其输入端速率是固定的。所以信源与信道之间还存在一个速率匹配问题。在工程上解决这一问题的方法是在两者之间加一个类似与水库的缓存器,它变速入,恒速出,以解决两者速率的匹配。
信源编码(数据压缩)课程课后题与答案(第二章)
信源编码Assignment of CH21、(a)画出一般通信系统结构的组成框图,并详细说明各部分的作用或功能;信源信源编码信道编码调制噪声信道传输信宿信源解码信道解码解调图1、一般数字通信系统框图各部分功能:$1、信源和信宿:信源的作用是把消息转换成原始的电信号;信宿的作用是把复原的电信号转换成相应的消息。
2、信源编码和信源解码:一是进行模/数转换,二是进行数据压缩,即设法降低信号的数码率;信源解码是信源编码的逆过程。
3、信道编码和信道解码:用于提高信道可靠性、减小噪声对信号传输的影响;信道解码是信道编码的反变换。
4、调制和解调:将信息调制为携带信息、适应在信道中传输的信号。
数字解调是数字调制的逆变换。
¥5、信道:通信的通道,是信号传输的媒介。
(b)画出一般接收机和发射机的组成框图,并分别说明信源编解码器和信道编解码器的作用;高频振荡器高频放大调制高频功放天线( 信号音频功放图2、一般发射机框图(无线广播调幅发射机为例)天线信号放大器混频器解调器音频放大器信号本地振荡器图3、一般接收机框图(无线广播调幅发射机为例)信源编解码器作用:它通过对信源的压缩、扰乱、加密等一系列处理,力求用最少的数码最安全地传输最大的信息量。
信源编解码主要解决传输的有效性问题。
信道编解码器作用:使数字信息在传输过程中不出错或少出错,而且做到自动检错和尽量纠错。
信道编解码主要解决传输的可靠性问题。
(c)信源编码器和解码器一般由几部分组成,画出其组成图并给以解释。
信源编码器时频分析量化熵编码信道传输时频分析反量化熵解码信源解码器图 4、信源编解码器框图时频分析部分:信源编码器对信源传送来的信号进行一定方法的时域频域分析,建立一个能够表达信号规律性的数学模型,从而得知信号中的相关性和多余度,分析出信号数据中可以剔除或减少的部分(比如人感知不到的高频率音频信号或者看不见的色彩信号等等),以决定对后续数据的比特分配、编码速率等处理问题。
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
音在音色上的相似程度,或由收听者来判断发话
人是谁来衡量。通常,利用四级评分法(最好、 较好、较差、最差)来区别优劣程度。此评分法 称为自然度。
2.1.1 抽样
模拟信号数字化的第一步是在时间上对信号进
行离散化处理,即将时间上连续的信号处理成时 间上离散的信号,这一过程称之为抽样。 1. 抽样定义及实现抽样的电路模型 连续信号在时间上离散化的抽样过程如图2.1所示。
图 2 20 非 均 匀 量 化 特 性 及 量 化 误 差
.
图2.21 非均匀量化实现框图
图 2 22 压 缩 扩 张 特 性
.
(2)μ律和A律压缩扩张特性 目前PCM通信系统中采用两种描述压缩扩张特性方法:
• μ律特性:μ作为参量的压扩特性。
• A律特性:A作为参量的压扩特性。
目前应用较多的是以数字电路方式实现的A律13
1 ST t Ts
n
e
jns t
1 S T T s
n jn s t
e
jn s t j t
e
dt
1 Ts 1 Ts s
n n n
e
e
• (2) 与抽样有关的误差
前面所讨论的抽样定理是基于下列三个前提:
· 对语声信号带宽的限制是充分的; · 实行抽样的开关函数是单位冲激脉冲序列, 即理想抽样; · 通过理想低通滤波器恢复原语声信号。
① 抽样的折叠噪声
抽样定理指出,抽样序列无失真恢复原信
号的条件是fS≥2fM。为了满足抽样定理,对语 声信号抽样时先将语声信号的频谱限制在fM以 内。为此,在抽样之前,先设置一个前置低通 滤波器将输入信号的频带限制在3400Hz以下,
.
对展宽电路的要求: 展宽电路是用来形成矩形脉冲的,应该具有矩形
波形的冲激响应特性,其函数为:
1 q t 0 t t
2
2
传递函数为:
Q
sin
2
2
则经展宽后的样值序列频谱为:
FQ FS Q FS
-80
62.5 250 500 Hz
3. 语音信号的动态范围 语音信号的动态范围定义为:
Pmax L 10 lg Pmin
dB
( 5)
式中,Pmax,Pmin分别是语音信号的最大、最小 功率。
二、衡量语音质量的宏观感知特性 1. 可懂度 评定的方法是:一个人在发话端发出一系列有意 义的句子,在收话端由几个人共同收听,最后计
(3)高斯分布
u x 设 u e ,u为信号的瞬时电压,ue为u 的均方
根值,则标称化的分布函数为:
x2 2
p x
1 2
e
( 4)
2. 语音信号的功率谱密度
测量方法:将语音信
号同时加到一组并联
的BPF的输入端,测
dB -30 -40
出各个输出端的平均
值,即可画出功率谱 密度特性曲线。
2 U
2 ue
e
2U ue
3. 空载噪声功率 (可忽略不计)
'' 2
u j
4
2
4. 语音信号总的量化噪声平均功率
N q 2 '2 1 2 u j Pj ue2 e 12 j 1
N 2U ue
上式既可用于均匀量化,也可用于非均匀量化情况。
j t
dt
2 n s
n s
1 Fs Ts
n
F n s
图2.6 理想抽样样值序列频谱
图 2 7 三 种 不 同 抽 样 频 率 时 的 样 值 序 列 频 谱
.
至此,我们可以用下述两种彼此等价的方 式来表示有限能量频带受限信号的抽样定理。 ① 对于频谱分量低于 fM 的有限能量信号, 可以用时间间隔小于或等于 1/2fM 的该信号瞬 时样值来完全描述。 ② 对于频谱分量低于 fM 的有限能量信号, 可以从抽样速率大于或等于 2fM 的该信号瞬时 样值序列中完全地恢复,即抽样频率应为 fS≥2fM。
(1)均匀量化器 (2)最佳量化器
(3)对数量化器
(4)自适应量化器 (5)差分量化器
矢量量化:复杂、具有较高的数据压缩效率。
常用的方法:树形搜索法、多级矢量量化法、分裂式矢量 量化法等。
2. 均匀量化及量化噪声计算 一、均匀量化的概念 各量化分级间隔相等的量化方式即为均匀量化。
图2.16(a)所示的阶梯状特性中的一个台阶
图2.1 连续信号抽样示意图
图2.2 抽样器及抽样波形示意
图2.3 相乘器抽样模型
图2.4 开关函数
2. 抽样定理 一、定理 设时间连续信号f(t),其最高截止频率为fM。
如果用时间间隔为TS≤1/2fM的开关信号对f(t)进 行抽样,则f(t)就可被样值信号fS(t)=f(nTS) 来 唯一地表示。或者说,要从样值序列无失真地 恢复原时间连续信号,其抽样频率应选为
fS≥2fM。这就是著名的奈奎斯特抽样定理,简
称抽样定理。
二、定理证明
(1) 低通型信号抽样
低通信号:低端频率从0或某一低限频率f0到某 一高限频率fM的带限信号,并且f0 < fM — f0 。 理想抽样:指开关函数ST(t)为单位高度的周期冲 激脉冲序列,其波形图如图2.5所示。
图2. 5 单位冲激脉冲序列
方根值,则标称化的分布函数为:
K x
p x
K 2
e
x
( 1)
式中,K为常数,通常K = 0.866 。
(2)拉普拉斯分布 拉普拉斯分布函数:
a a x px e 2
。 a 式中,a为常数,通常
( 2)
2
。
当变量为u 时,
pu
1 2 ue
e
2 u
ue
( 3)
折线压扩特性。
具体实现的方法是:
对X轴在0~1(归一化)范围内以1/2递减规律分成
8个不均匀段,其分段点是1/2、1/4、1/8、1/16、
1/32、1/64和1/128。
图 2 23 8 段 折 线 的 分 段 示 意
.
图 2 24 律 13 折 线 压 缩 特 性
. A
2.1.3 编码与解码
开关函数: S T t
n
t nT
s
——式中,Ts为序列周期,即抽样周期。
ST t
n
An e
jns t
2 2 f s 式中: s Ts
1 An Ts
Ts
2 2
T S
ST t e
j n s t
1 dt Ts
sin
2
2
展宽孔径效应失真
图2.14 展宽孔径效应失真
解决孔径效应失真办法:
在接收端恢复原信号时,应加入具有孔径均衡特
性的均衡网络,其均衡网络的特性应为:
P 2 sin
2
2.1.2 量化
1. 量化定义及描述
量化:把信号在幅度域上连续取值变换为幅
度域上离散取值的过程。 量化过程是一个近似表示的过程,即无限个 数取值的模拟信号用有限个数值的离散信号近 似表示。
第2章 信源编码
2.1 模拟信号的数字化 2.2 语音编码技术 2.3 图像编码技术(此节略去不讲)
针对信源发送信息所进行的压缩编码,称为信源 编码。 信源编码的目的:
1)模拟信号数字化后,采用压缩编码技术,在 保证一定信号质量的前提下,尽可能去除信号中 的冗余信息,从而减少信号速率和传输所用带宽。 2)对于数字信号,也需要通过压缩编码降低信 息冗余,提高传输效率。
使用量化器的方法:
当输入信号的主要成分均超过量化范围时,信
号在进入量化器之前要进行线性缩小,若信号
平均值过小,波动范围大都在 1 个量化间隔 (Δ)范围内,此时信号在进入量化器之前要 进行线性放大。
二、量化噪声平均功率的计算
量化噪声:量化产生误差,对通信质量产生的影 响以噪声的形式出现,称其为量化噪声。
算出他们听懂句子与原句数的百分比。这个百分
比称为句子的可懂度,简称可懂度。
2. 清晰度 发话端发出一些孤立的单音字,在收话端由几个 人收听并记录下来,然后计算出正确收听到的单
字与原单字数的百分比,一般称之为单字清晰度,
简称清晰度。
3. 自然度 把语音经过通信系统传到对方并转换成语音信 号后,在收话端由几个人收听其与原来所发的语
2.1 模拟信号的数字化
现以语音信号的脉冲编码调制过程说明模拟 信号数字化的过程。
2.1 模拟信号的数字化
模拟信号的数字化过程可以分为抽样、量化、编码 三个阶段。
抽样:数字化的第一步,在时间上对信号进行离散处理, 量化:将幅度连续的信号转换成幅度离散的信号, 即将时间上连续的信号变换成时间上离散的信号,这一过 编码:用一组特定的代码来代表每个量化电平值。 即用某个特定的量化电平值代替原始信号幅度。 程称为抽样。
1.未过载部分量化噪声功率
1 2 u j Pj 12 j 1
2 N
Δuj:第j级,量化间隔; Pj:信号幅值在 Δuj 这一分级的概率。
图2.17 语声信号的幅度概率分布
图2.18 语声信号的分级间隔及量化值
2. 过载部分量化噪声功率
'2
2 u U P u du