信息论复习

合集下载

信息论基础总复习

2. 编码器编码器是将消息变成适合于信道传送的信号的设备。
信源编码器，提高传输效率
编码器
信道编码器，提高传输可靠性
3. 信道信道是信息传输和存储的媒介。
4. 译码器译码是编码的逆变换，分为信道译码和信源译码。
5. 信宿信宿是消息的接收者。
1.3 离散信源及其数学模型
信源是产生消息的源，根据X的不同情况，信源可分为以下
条件互信息
I(X ;Y|Z ) x y z p (x) ylo zp p (g (x x||z y z ))
I(X ;Y |Z ) H (X |Z ) H (X |Y )Z
I(X;Y)ZI(X;Y)I(X;Z|Y) I(X;Z)I(X;Y|Z)
连续随机变量的互信息
I(X;Y) 0 I (X ;Y ) I (Y; X ) I (X ;Y | Z) I (Y; X | Z) I(X;Z) I(X;Y) I (XY; Z) I (X ; Z) I (Y; Z | X )
说明: R（D）也称率失真函数。
对于离散无记忆信源，R（D）函数可写成
R (D )p m i jpDi n i1n jm 1p(xi)p(yj/xi)lop(p g y (jy/jx )i)
输入 xX
信道模型
输入 y Y
转移概率矩阵
p(y/ x)
图5-1-2 信道模型
5.1.2 信道容量
• 1．如何刻画DMC信道的容量考虑一个DMC信道，其输入字符集是X={x0， x1，…，xq-1}，输出字符集是Y={y0,y1，…， yQ-1}，转移概率P（yj／xi）. 若给定信道的转移概率和对应于输入符号的概率分布p（xi）, 则 DMC信道容量C为
• 这个表达式平均错误译码概率的最小值，是把每一个yj对应的后验概率排除后再连续求和。

信息论复习资料

8、解释最小错误概率译码准则，最大似然译码准则和最小距离译码准则，说明三者的关系。答：最小错误概率译码准则下，将接收序列译为后验概率最大时所对应的码字。最大似然译码准则下，将接收序列译为信道传递概率最大时所对应的码字。最小距离译码准则下，将接收序列译为与其距离最小的码字。三者关系为：输入为等概率分布时，最大似然译码准则等效于最小错误概率译码准则。在二元对称无记忆信道中，最小距离译码准则等效于最大似然译码准则。 9、保真度准则为：平均失真度不大于允许的失真度。 10、限失真信源编码：有失真信源编码的中心任务，在允许的失真范围内把编码的信息率压缩到最小。
4、线性分组码不具有的性质是（C）
1 / 2 1 / 4 [P XY ] 1 / 12 1 / 6
； [ PY ] [7 / 12 5 / 12] ；
； H (Y ) 7 / 12 log 2 (12 / 7) 5 / 12 log 2 (12 / 5)
I ( X ; Y ) H (Y ) H (Y | X )
对应的剩余度为
1 1
H1 0.811 1 0.189 H0 1 1 1 1 log log 2 2 2 2 H2 0.681 1 0.319 H0 1 1 1 1 log log 2 2 2 2
H ( p1 , p2 , , pL 1 , pL ) pL H (
并说明等式的物理意义
q q1 q2 , , , m ) pL p L pL
14、一阶齐次马尔可夫信源消息集
X∈｛ａ１,ａ２,ａ３｝，状态集Ｓ∈｛Ｓ１，Ｓ２，Ｓ３｝且令 Si=ai，
1 4 1 4 1 2 P(aj / S i ) 1 3 1 3 1 3 2 3 1 3 0

信息论复习

信息熵定义自信息的数学期望为信源的平均互信息量，即：∑=-==q i i i i a P a P a P E X H 1)(log )(])(1[log )(，也称为信息的信息熵。

信息熵的单位由自信息的单位决定的，即取决于对数选取的底。

一般选取以2为底，信息熵写成)(X H 形式，其中变量X 是指某随机变量的整体。

信源的信息熵H 是从整个信源的统计特性来考虑的。

它是从平均意义上表征信源的总体信息测度。

对于某个特定的信源（概论空间给定），其信息熵是个确定的数值，不同的信源由于统计特性不同，其熵也不同。

信息熵具有一下三种物理含义：1．信息熵)(X H 表示信息输出后，每个消息（符号）所提供的平均信息量；2．信息熵)(X H 表示信源输出前，信源的平均不确定性；3．用信息熵)(X H 来表征变量X 的随机性。

信道容量我们研究信道的目的是要讨论信道中平均每个符号所能传送的信息量，即信道的信息传输率R 。

而平均互信息);(Y X I 是指接收到符号Y 后平均每个符号获得的关于X 的信息量。

因此信道的信息传输率就是平均互信息，即：)|()();(Y X H X H Y X I R -== （比特/符号）而);(Y X I 是输入随机变量X 的概率分布)(x P 的∩型函数。

因此对于一个固定的信道，总存在一种信源（某种概率分布的函数），使传输每个符号的获得的信息量最大。

也就是每个固定信道都有一个最大的信息传输率，定义这个最大的信息传输率为信道容量C ，即)};({max )(Y X I C x P = 其单位是比特/符号或者纳特/符号。

而相应的输入的概率分布)(x P 称为最佳输入分布。

信息率失真函数在信源给定，且又具体定义了失真函数后，我们总希望在满足一定失真的情况下，使信源必须传输给收信者的信息传输率R 尽可能的小。

也就是说在满足保真度准则下（*D D ≤），寻找信源必须传输给收信者的信息率R 的下限值。

信息论复习资料

判断30名词解释4*5计算3道20分第一章1、自信息和互信息P6 公式2、信道P9 概念第二章1、离散平稳信源P18概念2、离散无记忆信源P19概念3、时齐马尔可夫信源P20概念4、自信息P22概念5、信息熵P25概念6、信息熵的基本性质P281)对称性2)确定性3)非负性4)扩展性5)可加性6)强可加性7)递增性8)极值性9)上凸性7、联合熵条件熵P42公式P43例题8、马尔克夫信源P54公式P55例题9、信源剩余度P5810、熵的相对率信源剩余度P5811、课后作业：2、4、13、21、22第三章1、有记忆信道P73概念2、二元对称信道BSC P743、前向概率、后向概率、先验概率、后验概率P764、条件熵信道疑义度、平均互信息P775、平均互信息、联合熵、信道疑义度、噪声熵计算公式P786、损失熵噪声熵 P797、平均互信息的特性P821)非负性2)极值性3)交互性4)凸状性8、信息传输率R P869、无噪无损信道P87概念10、有噪无损信道P88概念11、对称离散信道 P89概念12、对称离散信道的信道容量P90公式张亚威2012/06/20张亚威2012/06/2116、数据处理定理 P113定理 17、信道剩余度 P118公式 18、课后作业：1、 3、 9第五章1、编码：实质上是对信源的原始符号按一定的数学规则进行的一种变换。

2、等长码 P172概念3、等长信源编码定理 P1784、编码效率 P1805、克拉夫特不等式 P1846、香农第一定理 P1917、码的剩余度 P194第六章1、最大后验概率准则最小错误概率准则 P2002、最大似然译码准则 P2013、费诺不等式 P2024、信息传输率（码率） P2055、香农第二定理 P2156、课后习题 3、第八章1、霍夫曼码最佳码 P2732、费诺码 P2793、课后习题 11、第八章1、编码原则译码原则 P3072、定理9.1 P3133、分组码的码率 P314公式4、课后习题 3、一、填空题1、在现代通信系统中，信源编码主要用于解决信息传输中的有效性，信道编码主要用于解决信息传输中的可靠性，加密编码主要用于解决信息传输中的安全性。

信息论复习必考题

第一天：
1、请问什么是信息
答案：消除不确定因素
2、信息论的奠基人是谁，为什么？
答案：香农，香农三大定律
3、单个信源符号的自信息量的计算方法
答案：概率的倒数的对数
4、信源的离散熵怎么计算，熵的物理含义是什么
答案：熵代表离散程度，离散程度越大，熵值越大。

第二天：
1、请问一个随机变量在什么概率分布的时候，它的熵值最大？怎么和生活中进行对接
答案：概率分布均匀的时候熵值最大
2、请问互信息熵的计算和物理含义是什么？想想一条河流
3、数据处理定理是什么？在数据处理当中，丢失了什么？获得了什么？为什么要数据处理呢？（从通信系统的角度来考虑）沙里淘金
第三天：
1、离散的无记忆信源序列的熵值该怎么计算，它又有什么作用呢？
2、离散的有记忆序列的熵值该怎样计算？
3、极限熵的物理含义是什么？
4、编码的一些基本概念（等长和变长，奇异和非奇异，唯一可译码、平均编码长度、码树、前缀码和非前缀码等）
5、仔细体会从等长编码和变长编码，针对什么样的信源，有什么优缺点
第四天：
1、请问香农第一定理是什么？其含义是什么？如何理解？（信源符号的个数和码字个数之间的关系）
2、。

信息论复习

lim H q 1 ( p1 , p 2 , ..., p q , ) H q ( p 1 , p 2 , ..., p q )
0
③ 确定性
④ 扩展性 ⑤ 极值性 ⑥ 可加性
H ( p1 , p 2 , ..., p q ) H (1 / q ,1 / q , ...,1 / q ) log q
***********
H（XY）= H（X）+ H（Y）*******
H ( p 1 , p 2 , , p n 1 , q 1 , q 2 , , q m ) q1 pn , q2 pn , , qm pn )
⑦ 强可加性 H(XY)=H(X)+H(Y/X) *******
⑧ 递增性
⑨ 上凸性
3.平均互信息（ ***** *******课后习题3.3，6.1求输入符号概率分别为1/4, 1/2, 1/4 时平均互信息和信道容量）
I ( X ;Y )
P ( xy ) log
X ,Y
P(x y) P (x)

X ,Y
P ( xy ) log
P ( xy ) P (x)P ( y)
( b1b1b1b1 b1 ) 1
( b1b1b1b1 b 2 ) 2
XN
(ar ar ar ar ar ) r N
P ( h / k )
(bs bs bs bs bs ) s N
YN
kn P ( h / k ) P ( b h b h b h a k a k a k )
6.马尔可夫信源及其信息熵（*****）（1）马尔可夫信源的定义******（特别是M阶马尔可夫信源若一个信源满足下面两个条件，则称为马尔可夫信源： ① 某一时刻信源输出的符号的概率只与当前所处的状态有关，而与以前的状态无关； ② 信源的下一个状态由当前状态和下一刻的输出唯一确定。（2）时齐遍历马尔可夫信源的信息熵（***********） H Q ( E ) H ( X | E ) Q ( E ) P ( a | E ) lo g P ( a | E )

信息论总复习 new

27
3 哈夫曼编码
Wuhan University
a.将信源符号按概率从大到小的顺序排列，令
b.给两个概率最小的信源符号p(xn-1)和p(xn)各分配
一个码位0和1，将这两个符号合并成一个新符号，其
概率之和作为新符号的概率，得到(n－1)个符号。
c.将缩减信源符号按概率排列，重复步骤a,b。直至缩减信源只剩两个符号为止。
译码错误概率 pe
P eP r[|I(L uL)H(U)|]L I22
I(ak)的方差
信源序列中每个符号含有信息量的算术平均值
I(ak)的数学期望
2 I
L 2
契比雪夫不等式的右边是理论上的误码率的上限，
必须小于给定的误码率才能保证到达编码性能要求
24
定长编码定理
Wuhan University
其中差错率满足如下式子
Def. 可达速率：对于给定的信源和编码速率R及任意δ>0，若存在L0、ξ()、D()，使当码长 L>L0时，Pe< δ ，就称R是可达的，否则R是不可达的。
22
Wuhan University
Th. 若R>H(U)，则R是可达的；若R<H(U)，则R是不可达的。
• 对于给定的离散无记忆信源，若D元码的速率R超过信源的熵，即NlogD/L ≥H（U）+ε，则存在编码方法，当L足够大时能使译码错误概率任意小。
离散信源的无失真编码实质上是一种统计匹配编码。信息论指出信源中的统计多余度主要决定于以下两个主要因素：
一是消息概率分布的非均匀性，另一个是消息间的相关性。对无记忆信源主要决定于概率分布的非均匀性，但是，对于有记忆信源，两者都起作用，且后者相关性更加重要。

信息论总结与复习

i 1 k 1
i 1
k 1
结论：N阶马氏信源稳态信息熵(即极限熵)等于N+1阶条件熵。
H lN iN 1 m H (X 1 X 2 X N 1 X N ) H (X N 1 |X 1 X 2 X N )
第一部分、信息论基础
1.1 信源的信息理论
[例1] 已知二阶马尔可夫信源的条件概率：
第一部分、信息论基础
1.1 信源的信息理论
（4）序列信息熵的性质：
《1》条件熵不大于无条件熵，强条件熵不大于弱
条件熵：H(X1) ≥ H(X2|X1) ≥ H(X3|X1X2) ≥ …
…… ≥H (XN|X1X2……XN-1)
《2》条件熵不大于同阶的平均符号熵:
HN ≥H (XN|X1X2……XN-1)
[例3]求对称信道
P00..32
0.3 0.2
0.2 0.3
00..23的信道容量。
解：C =log4-H(0.2,0.3,0.2,0.3)
=2+(0.2log0.2+0.3log0.3)×2 = 0.03 bit/符号；
第二部分、无失真信源编码
2.1 信源编码理论
第二部分、无失真信源编码
1.1 信源编码理论:
稳态方程组是：
QQ((EE32
) )
0.2Q(E1 0.6Q(E2
) )
0.6Q(E3 ) 0.2Q(E4 )
Q(E4 ) 0.4Q(E2 ) 0.8Q(E4 )
Q(E1) Q(E2 ) Q(E3 ) Q(E4 ) 1
第一部分、信息论基础
1.1 信源的信息理论
可解得：
Q (E1 )
[例5] 以下哪些编码一定不是惟一可译码？写出每种编码克拉夫特不等式的计算结果。

信息论总复习

P( x)
等概率分布
设 B {b1，b2 , , bs } 等概率分布, 应由P ( x )保证
（3）对称离散信道容量
当 P( x) 等概率分布时
' C log s H ( p1'，p2，，ps' ) bit / 符号
（4）准对称离散信道容量
C log r H ( p ，p ，，p )
3、有噪信道编码定理定理6.5 有噪信道编码逆定理
设离散无记忆信道 [ X , P ( y | x ), Y ], 其信道容量为C。当信息传输率 R>C , 则无论码长n多长，总也找不到一种编码（M 2nR，n) ，使译码错误概率任意小。
第9章信道的纠错编码
1、线性分组码生成矩阵G、校验矩阵H、伴随式译码 2、循环码
2、最大似然译码准则
则选择译码函数 F (b ) a 的条件应满足
j
P ( b j | a) P ( b j | a i )
PE P(ai )P
X
(i ) e
3、有噪信道编码定理定理6.4 （有噪信道编码定理） P 设离散无记忆信道 [ X , P ( y | x ), Y ] ，( y | x ) 为其信道传递概率，其信道容量为C。当信息传输率R<C 时；只要码长n足够长， M ( 2 nR ) 总可以在输入符号集中找到 ( 2 nR , n) 和相应的个码字组成的一组码译码规则，使译码的错误概率任意小 ( PE 0) 。
N
称 H 为平稳信源的极限熵或熵率。
第三章离散信道及其信道容量
1、单符号离散信道的数学模型 a1 b1 a2 b2
X

ar
P (b j | a i )

信息论总复习

第一章作业题1. 设二元对称信道的传递矩阵为⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡32313132(1) 若P(0) = 3/4, P(1) = 1/4，求H (X ), H(X /Y ), H(Y /X )和I(X ;Y )；(2) 求该信道的信道容量及其达到信道容量时的输入概率分布；解：(1)symbolbit Y X H X H Y X I symbol bit X Y H Y H X H Y X H X Y H Y H Y X H X H Y X I symbolbit y p Y H x y p x p x y p x p y x p y x p y p x y p x p x y p x p y x p y x p y p symbolbit x y p x y p x p X Y H symbolbit x p X H jj iji j i j i i i / 062.0749.0811.0)/()();(/ 749.0918.0980.0811.0)/()()()/()/()()/()();(/ 980.0)4167.0log 4167.05833.0log 5833.0()()(4167.032413143)/()()/()()()()(5833.031413243)/()()/()()()()(/ 918.0 10log )32lg 324131lg 314131lg 314332lg 3243( )/(log )/()()/(/ 811.0)41log 4143log 43()()(222221212221221211112111222=-==-==+-=+-=-=-==⨯+⨯-=-==⨯+⨯=+=+==⨯+⨯=+=+==⨯⨯+⨯+⨯+⨯-=-==⨯+⨯-=-=∑∑∑∑2)21)(/ 082.010log )32lg 3231lg 31(2log log );(max 222==⨯++=-==i mi x p symbolbit H m Y X I C2. 设有一批电阻，按阻值分70%是2K Ω，30%是5 K Ω；按瓦分64%是0.125W ，其余是0.25W 。

信息论期末复习

n
i 1 求出p(ai ) 求出p(a ) 若 p(a ) 0则C就是所求的信道容量，否则重新计算 i i 求出p(a i )
i 1
a) 由p1(b j ) 1 p(ai ) p(/b j i / ai ) i i
n
n
求出p(ai )
22

离散无记忆扩展信道及其信道容量
23

若输入符号的先验概率非等概率分布，则采用最小错误概率准则可以使平均错误概率达到最小。

译码函数的选择方法：计算信道的联合概率矩阵，F(bj)应该译成联合概率矩阵第j列概率最大的那个元素对应的信源符号。平均错误概率的计算方法：按列计算，即把联合概率矩阵每列的错误概率相加，再对各列相加。
51Leabharlann 诺不等式29按噪声的统计特性

高斯信道白噪声信道高斯白噪声信道有色噪声信道乘性信道加性信道

按噪声对信号的作用

30

连续信道与波形信道的信息传输率

基本连续信道的平均互信息

连续信道平均互信息的特性
31
32

连续信道与波形信道的信道容量

单符号高斯加性信道的信道容量

限带高斯白噪声加性波形信道的信道容量
独立并联信道及其信道容量

数据处理定理、信息不增性原理
24

信源与信道的匹配
25
第四章波形信源与波形信道

连续信源的差熵
26

两种特殊连续信源的差熵

均匀分布

高斯分布
27

差熵的性质
28

具有最大差熵的连续信源

信息论复习

Байду номын сангаас
第三章

重点内容：平均互信息量的定义和计算；几种特殊的单符号离散信道容量的计算；一般信道的信道容量的计算方法；独立并联信道容量；信源与信道的匹配。难点内容：信道损失、噪声熵和平均信息量的物理意义及其相互关系；一般离散信道的信道容量的计算(侧重于思路的理解)；信源与信道匹配的含义。典型题型: Ø 已知信源的先验概率和信道的转移概率,计算信源熵\信道损失和平均互信息量; Ø 典型信道的信道容量;
第4-6章习题讲解
第四章

重点内容：唯一可译码和即时码的概念；码树和克拉夫特不等式；香农码、霍夫曼码和费诺码的编码方法。难点内容：无失真变长编码定理的理解典型题型: Ø 已知信源的概率空间,采用霍夫曼编码或费诺编码,并计算平均码长和编码效率.
第六章

1、熟悉失真函数的几种定义方法，特别是汉明失真；熟悉失真矩阵的表示方法；能计算单符号的平均失真和信源序列的平均失真；理解保真度准则； 2、理解信息率失真函数的含义及其性质；能计算r元离散对称信源、高斯信源的信息率失真函数； 3、理解限失真信源编码定理。重点内容：失真函数、失真矩阵和平均失真；信息率失真函数的定义和性质、几种常见信源的信息率失真函数的计算。难点内容：信息率失真函数的定义域以及其它性质；限失真信源编码定理。典型题型： Ø 计算平均失真； Ø 计算常见信源的信息率失真函数；
《信息论》复习
第二章

1、熟悉单符号离散信源的数学模型； 2、信息的度量和信源熵（1）掌握自信息量、联合自信息量和条件自信息量的计算和性质；（2）掌握信息熵、信道疑义度、噪声熵和联合熵的计算； 3、掌握信源熵的基本性质和定理。 4、熟悉离散无记忆的扩展信源的描述方式；掌握扩展信源熵的计算方法； 5、离散平稳信源（1）理解离散平稳信源的数学定义；（2）掌握二维离散平稳信源熵的计算方法；（3）理解离散平稳信源的几个性质，特别是极限熵的定义式和处理方法； 6、马尔可夫信源（1）理解马尔可夫信源的定义，熟悉数学模型和状态转移图；(课外阅读随机过程关于” 马尔可夫信源”的介绍) （2）掌握马尔可夫信源熵的计算方法；(总结解题步骤) 7、理解信源的相关性和剩余度。

信息论复习

3.平均互信息量和各种熵具有的性质。
4.本章介绍的一个重要定理：
极大熵定理
5.常用的概率关系： 6、离散信源
• 离散无记忆信源及离散无记忆信源的扩展信源 • 离散平稳信源的基本概念 • 离散平稳序列信源的特性 • 有记忆信源的联合熵、条件熵、极限熵、平均符号熵等
• 了解马尔可夫信源，稳态分布存在定理
对I(xi ；yj)求统计均值，得到平均互信息量
I ( X ; Y ) p( xi y j )I ( xi ; y j )
XY
I (X;Y) = H (X) – H (X︱Y) = H (Y) – H (Y︱X)= H(X)+ H(Y)- H(XY)
(6)在给定yj条件下，xi的条件自信息量为I(xi/yj)，X 集合的条件熵H（X/yj）
４．本章讨论在不允许失真前提下对信源的编码，分为两种情况，等长编码和变长编码。等长编码定理和变长编码定理分别给出了这两种情况，在无失真和码长尽可能短这两个约束条件下的平均码长的上界和下界。等长编码定理记H（X）为单符号信源熵，L为扩展信源输出序列长度， n 为码字长度， r 为码符号集元素个数，当满足条件 n H X ，则L →∞时，可使译码差错pe <δ (ε 、δ 为 L log r n H X 无穷小量)；反之，当时，则不可能实现无差错编 L log r 码。变长编码定理(Shannon第一定理) 记H（X）为单符号信源熵，L为扩展信源输出的序列长度，n 为信源每个符号所对应的平均码字数，r为码符号集元素个数，则对信源进行编码，总可以找到一种惟一可译码，使码长满足
本章介绍了常见的三种变长码的编码方法：香农编码法、Fano编码法和霍夫曼编码法。对于同一信源的编码，三种方法中，以霍夫曼编码的编码效率最高。香农编码法没有太多实用价值，但它在证明变长编码定理时起了重要作用，Fano编码法是遵照变长编码定理（香农第一定理）的指导思想导出的一种编码方法。霍夫曼编码步骤：

信息论复习知识点

信息论复习知识点本页仅作为文档封面，使用时可以删除This document is for reference only-rar21year.March1、平均自信息为表示信源的平均不确定度，也表示平均每个信源消息所提供的信息量。

平均互信息表示从Y获得的关于每个X的平均信息量，也表示发X前后Y的平均不确定性减少的量，还表示通信前后整个系统不确定性减少的量。

2、最大离散熵定理为：离散无记忆信源，等概率分布时熵最大。

3、最大熵值为。

4、通信系统模型如下：5、香农公式为为保证足够大的信道容量，可采用（1）用频带换信噪比；（2）用信噪比换频带。

6、只要，当N足够长时，一定存在一种无失真编码。

7、当R＜C时，只要码长足够长，一定能找到一种编码方法和译码规则，使译码错误概率无穷小。

8、在认识论层次上研究信息的时候，必须同时考虑到形式、含义和效用三个方面的因素。

9、1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。

按照信息的性质，可以把信息分成语法信息、语义信息和语用信息。

按照信息的地位，可以把信息分成客观信息和主观信息。

人们研究信息论的目的是为了高效、可靠、安全地交换和利用各种各样的信息。

信息的可度量性是建立信息论的基础。

统计度量是信息度量最常用的方法。

熵是香农信息论最基本最重要的概念。

事物的不确定度是用时间统计发生概率的对数来描述的。

10、单符号离散信源一般用随机变量描述，而多符号离散信源一般用随机矢量描述。

11、一个随机事件发生某一结果后所带来的信息量称为自信息量，定义为其发生概率对数的负值。

12、自信息量的单位一般有比特、奈特和哈特。

13、必然事件的自信息是 0 。

14、不可能事件的自信息量是 ∞ 。

15、两个相互独立的随机变量的联合自信息量等于两个自信息量之和。

16、数据处理定理：当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量趋于变小。

《信息论》复习资料

《信息论》复习资料信息论导论参考资料第⼀章概论●在认识论层次研究信息时，把只考虑到形式因素的部分称为语法信息，把只考虑到含义因素的部分称为语义信息；把只考虑到效⽤因素的部分称为语⽤信息。

⽬前，信息论中主要研究语法信息●归纳起来，⾹农信息论的研究内容包括： 1) 信息熵、信道容量和信息率失真函数2) ⽆失真信源编码定理、信道编码定理和保真度准则下的信源编码定理 3) 信源编码、信道编码理论与⽅法●⼀般认为，⼀般信息论的研究内容除⾹农信息论的研究内容外，还包括维纳的微弱信号检测理论：包括噪声理论、信号滤波与预测、统计检测与估计理论、调制理论等。

信息科学以信息为研究对象，信息科学以信息运动规律为研究内容，信息运动包括获取、传递、存储、处理和施⽤等环节。

消息、信息、信号●消息是由图像、声⾳、⽂字、数字等符号组成的序列。

●承载消息的载体称为信号●信息是通信系统传输和处理的对象，泛指消息和信号的具体内容和意义. ●三者关系：通信系统传输的是信号，信号承载着消息，消息中的不确定成分是信息。

第⼆章离散信源及离散熵●单符号离散信源的数学模型：1212()()()()n n x x x X P x P x P x P X = ⾃信息量：()log ()i x i I x P x =-，是⽆量纲的，⼀般根据对数的底来定义单位：当对数底为2时，⾃信息量的单位为⽐特(bit,binary unit)；对数底为e 时，其单位为奈特(nat,nature unit)；对数底为10时，其单位为哈特(Hart, Hartley)⾃信息量性质：I(x i )是随机量；I(x i )是⾮负值；I(x i )是P(x i )的单调递减函数。

●单符号离散信源的离散熵：1()[()]()()ni i i i H X E I x P x lbP x ===-∑，单位是⽐特/符号(bit/symbol)。

离散熵的性质和定理：H(X)的⾮负性；H(X)的上凸性；最⼤离散熵定理：()H X lbn ≤(证明)●如果除概率分布相同外，直到N 维的各维联合概率分布也都与时间起点⽆关，即：111111()()()()()()k l k k l l k k k N l l l N P X P X P X X P X X P X X X P X X X ++++-++-===则称该多符号离散信源为N 维离散平稳信源。

信息论复习要点总结(word文档良心出品)

自信息量：Harta p Nat a p bit a p a I i i e i i )(log )(log )(log )(102-=-=-=联合信息量：)(log )(2j i j i b a p b a I -=条件信息量：)/(log )/(2j i j ib a p b a I -=互信息量:)](/)/([log );(2i j i j i a p b a p b a I =信息的熵：∑=-=ni i i a p a p X H 12)(log )()(条件熵：∑∑==-=m j ni i j j i a b p b a p X YH 112)/(log )()/(联合熵：∑∑==-=m j ni j i j i b a p b a p XY H 112)(log )()(平均互信息量：)](/)/([log )();(112j mj ni i j j i b p a b p b a p X Y I ∑∑===马尔可夫信源问题： 1.n 元m 阶马尔科夫信源共有n m个稳定状态。

2. 用∑==mni i j i j s s p s p s p 1)/()()(和1)(1=∑=mni i s p 求各状态)(i s p ；3.极限熵：)/(log )/()(11i j ni nj i j i s s p s s p s p Hmm∑∑==∞-=4. 冗余度：0/1H H ∞-=ξ (H0表示等概分布信源的熵，2进制时为1)变长编码定理：m X H K m X H 22log /)(log /)(1≥>+信道容量问题：n 表示输入符号数，m 表示输出符号数。

bit/sign 无噪信道1（一一对应）信道容量：n C 2log =无噪信道2（一对多）信道容量：n C 2log =无噪信道3（多对一）信道容量：m C 2log = 对称信道（行列均可排列）信道容量：)..(log 212m q q q H m C-=当输入X 等概分布时，输出Y 也等概分布，此时达到信道容量。

信息论复习

信息论基础总复习

信息论复习资料

信息论复习

信息论复习资料

信息论复习必考题

信息论复习

信息论 总复习 new

信息论总结与复习

信息论 总复习

信息论总复习

信息论期末复习

信息论复习

信息论复习

信息论复习知识点

《信息论》复习资料

信息论复习要点总结(word文档良心出品)

信息论总复习 new

信息论总复习