信息论复习
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
信息熵
定义自信息的数学期望为信源的平均互信息量,即:
∑=-==q i i i i a P a P a P E X H 1
)(log )(])(1[log )(,也称为信息的信息熵。
信息熵的单位由自信息的单位决定的,即取决于对数选取的底。
一般选取以2为底,信息熵写成)(X H 形式,其中变量X 是指某随机变量的整体。
信源的信息熵H 是从整个信源的统计特性来考虑的。
它是从平均意义上表征信源的总体信息测度。
对于某个特定的信源(概论空间给定),其信息熵是个确定的数值,不同的信源由于统计特性不同,其熵也不同。
信息熵具有一下三种物理含义:
1.信息熵)(X H 表示信息输出后,每个消息(符号)所提供的平均信息量;
2.信息熵)(X H 表示信源输出前,信源的平均不确定性;
3.用信息熵)(X H 来表征变量X 的随机性。
信道容量
我们研究信道的目的是要讨论信道中平均每个符号所能传送的信息量,即信道的信息传输率R 。
而平均互信息);(Y X I 是指接收到符号Y 后平均每个符号获得的关于X 的信息量。
因此信道的信息传输率就是平均互信息,即:
)|()();(Y X H X H Y X I R -== (比特/符号) 而);(Y X I 是输入随机变量X 的概率分布)(x P 的∩型函数。
因此对于一个固定的信道,总存在一种信源(某种概率分布的函数),使传输每个符号的获得的信息量最大。
也就是每个固定信道都有一个最大的信息传输率,定义这个最大的信息传输率为信道容量C ,即
)};({max )
(Y X I C x P = 其单位是比特/符号或者纳特/符号。
而相应的输入的概率分布)(x P 称为最佳输入分布。
信息率失真函数
在信源给定,且又具体定义了失真函数后,我们总希望在满足一定失真的情况下,使信源必须传输给收信者的信息传输率R 尽可能的小。
也就是说在满足保真度准则下(*D D ≤),寻找信源必须传输给收信者的信息率R 的下限值。
这个下限值和D *有关。
若从接收端看,就是在满足保真度准则下,寻找再现信源消息所必须获得的最低平均信息量。
而接受端获得的平均信息量可以用平均互信息);(V U I 来表示,这就变成了在满足保真度准则条件下(*D D ≤),寻找平均互
信息);(V U I 的最小值。
而B D*是所有满足保真度准则的试验信道集合,因而可以在D *失真许可的试验信道集合B D*中寻找某一个信道)/(i j u v P ,使);(V U I 取最小值。
由于平均互信息);(V U I 是)/(i j u v P 的∪型凸函数,所以在B D*集合中,极小值存在。
这个最小值就是在*D D ≤条件下,信源必须传输的最小平均互信息量。
即
)};({min )(*
)|(*V U I D R D i j B u v P ∈= 这就是信息率失真函数或简称率失真函数,单位为比特/信源符号或者纳特/信源符号。
)(*D R 具有如下性质:
1.)(*D R 定义域为(0,D max );
2.)(*D R 是允许失真度D *的∪型凸函数;
3.)(*D R 具有单调递减性和连续性。
信道容量和信息率失真函数的关系
从数学上看,平均互信息);(V U I 是信源概率分布P(u)的∩型凸函数,但又是
信道传递概率P(v|u)的∪型函数。
因此信道容量C 和信息率失真函数)(*D R 具有
对偶性。
已知信道容量)}
;({max )(V U I C x P =是在信道固定的前提下,选择一种试验性信源
使信息传输率最大。
信道容量反映了信道传输信息的能力,使信道可靠传送的最大信息传输率。
信道容量和信源无关,使信道特性的参量。
不同的信道其信道容量不同。
而信息率失真函数)};({min )(});|({*V U I D R D D u v P i j *≤=是在信源和允许失真D*固定的情况下,选择一种试验信道使信息传输率最小,这个极小值
)(*D R 是在信源给点情况下,接收端以满足失真要求而再现信源消息所必须获得的最小平均信息
量。
因此
)(*D R 反映了信源可以压缩的程度,是在满足一定失真度要求下,信源可压缩的最低值。
所得的
)(*D R 是信源特性的参量,与在求极值过程中选择的试验信道无关,对于不同的信源其
)(*D R 也不同。
这两个概念在实际应用中是有区别的,研究信道容量C 是为了解决在已知信
道中传送最大信息量。
为了充分利用已给信道,使传输的信息量最大而错误的概率任意小,这就是一般信道编码问题。
研究信息率失真函数是为了解决在已知信源和允许失真度D*的条件下,使信源必须传送给用户的信息量最小。
这个问题是在一定的失真度D*条件下,尽可能用最少的码符号来传送信源消息,使信源的消息尽快地传送出去,以提高通讯地有效性。
这是信源编码问题。
香农信道容量公式及其包含的主要概念
有噪信道编码理论:设离散无记忆信道]),|(,[Y x y P X ,)|(x y P 是信道传递概率,其信道容量为C 。
让信息传输率R<C 时,只要码长n 足够长,总可以在输入X n 符号集中找到M =(2nR )个码字组成一组码(2nR ,n )和相应的译码规则,使译码的错误概率任意小。
也称香农第二定理。
香农公式为:)1log(N
S W C t +=,单位为比特/秒,其中W 为信道带宽,S 是输入信号的平均功率,N 是信道噪声的平均功率,并且N =n 0W ,n 0为噪声功率密度。
其包含的主要概念有:
1. 信道的带宽W 越大,信道容量越大,但是在一定的带宽范围内,若W
非常大时,N =n 0W ,Ct 趋近与
n S 。
2.
信道上信噪比比较大,信道容量越大。
3. 当信道的信噪比1<N S 时,信道容量≠0,信道仍有传输消息的能力。
4. 在保持信道容量不变的条件下,信道带宽W 和信噪比N S 可以相互补偿,或者说W 和N S 可以按公式互换。
5. 信道上的白色高斯噪声是危害最大的信道干扰。