信息论基础总复习2
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
i 1 def n
H C ( X ) p( x) log p( x)dx
RX
课程复习大纲
⑸. 熵函数的性质 （指离散熵） 1. 对称性： H ( p1, p2 ,, pn ) H ( p2 , p1, p3 , pn ) 2. 非负性： H ( X ) 0 Hn1 ( p1, p2 ,, pn , ) Hn ( p1, p2 ,, pn ) 3. 扩展性： lim 0 4. 确定性： H (1,0) H (1,0,0) H (1,0,0,,0) 0 5. 可加性： H ( XY ) H ( X ) H (Y X )
课程复习大纲 《Elements of Information Theorem》
Summary
P(ai | b j ) log Pji
I (ai | bj )
I (ai ) I (ai bj )
I (ai ; b j )
E[I (Pji )]
C
max I ( X ; Y )
min I ( X ; Y )
课程复习大纲
⒆. 比特能量的物理意义
Em Ps Em S t dt Eb 0 K R ⒇. 频谱利用率与功率利用率
T 2
w
bit
R F
def
bit Sec.Hz
and
Eb N0
如何提高两者的有效性？
(21). 什么是Shannon Limit ？要达到它的条件是什么？
n j i Pji i 1 解出极限分布 i 1 , 2 , , n L nL i 1 i 1
L
Then H i Pji log Pji
i 1 j 1
nL nL
⑼. 近似的Markov 信源
R(D) = H(P) - H( D α ) 表达式中各项的物理含义？
26 27
1 σ2 R ( D ) log( ) 是在何种条件下成立？ 2 D H (X ) H (X ) 1 是什么定理 ？ K log m log m L
28 29
RC R R(D)
课程复习大纲 ⒃. 不等式的物理意义
Pwo 1 1 log 2 C log(2e Pwo ) H ( N ) 2 2 n
⒄. Shannon’s公式的概念
S C FT log (1 ) N0F S CT F log(1 ) N0F
公式中包含了五个方面的概念：
⒅. 什么是信源编码？什么是信道编码？各 有什么差异？各解决什么问题？
存在性保证，
RC
且构造性给出。
存在性保证。
存在性保证。
Shannon’s编码定理体制
以上三个不等式分别代表了三类编码极限定理： 1. Shannon’s 1st limiting theorem为无失真信源编码定理。 2. Shannon’s 2nd limiting theorem为信道编码定理。 3. Shannon’s 3rd limiting theorem为限失真信源编码定理。 这三个极限定理构成了Shannon’编码定理体系。极 限定理都有其共性，也有个性。所给出的指导作用也各 不相同，但其证明方式都采用随机编码方式证明。 所谓存在性，是指定理仅给出是否存在着一种(至少 一种)编码方式可以满足要求；但如何编码则无可奉告。 它们的逆定理则给出了不存在性，这是它们的共性。 所谓构造性，是指定理不仅指出了存在性，而且还 给出了最佳码字的结构特性，如码长、代码形式等。
I ( ai ) I ( ai b j )
⑷. 信息熵
H ( X ) E I ( ai ) pi log pi
从平均的意义上反映了信源客观存在的发送信息能力的量—— 平均信息量。它不是指人们可以获得多少信息；而是指客观存在 多少信息，因而数学关系仅是平均不确定度的量。 而连续信源的相对熵，则是指相对平均不定度。
H m 1 lim H ( X L X L1 X L2 X Lm )
L def
从而得到：log n H 0 H1 H m 1 H
课程复习大纲
⑽. 冗余度 ⑾. 互信息
H R 1 Hm
def
or
R 1
Hm H0
理解两种冗余度的物理意义。
def
在已知条件 p x 的 情况下上式可作为评估两个条件概率 P y x 和Q y x 之间“差别”的一种度量方式。
课程复习大纲
⒁. 信道容量 C
C max I ( X ; Y ) P ( y x ) 最大可能性问题。
p ( x ) def
离散信道 Pji r s 连续信道
这最后一条性质是熵函数性质中最重要的一个性质, 因为它是唯一可以确定熵函数的数学表达式一定是对数 函数的形式。从物理概念上看，它也反映信息的知识属 性——积累性。
6. 极值性：
7. 上凸性： H [ Pi (1 )Qi ] H ( Pi ) (1 ) H (Qi ) ⑹. 最大熵定理 1. H c x, p( x ) log(b a ) 2. H c x, p( x ) 1 log(2e 2 ) 2 3. H c x, p( x ) log( e)
⒂. 单符号信道（掌握利用信道客观属性对信道分类）
1 .对称信道： C log S H ( P 1i P si ) 1 2 .准对称信道： p( x ) q( y ) C r Aj 3 .可逆矩阵信道: C log a a j 迭代算法 4 .其它信道： 5 Pwi 1 高斯信道: C log(1 2 ) n 2
Eb 从不等式中 ： r log 2 1 r N0 可解决何种工程设计问题？ 源自 Eb 2 r 1 N0 r
课程复习大纲
(22). 什么是定长编码？什么是变长编码？它们所采
用的压缩机制各是什么？那一种效率高？
(23). 掌握Huffman编码方法！（包括多元Huffman码） (24). R(D)函数的物理意义与工程指导作用。 (25).
P(ai )
log p (ai )
I (ai )
E I ( ai )
H(X )
H( X ) H( X | Y) HL ( X ) H
I ( X ;Y )
R( D)
d(x, y) D E d(x, y)
Source Coding H m1 无失真
限失真
是什么设计原则？ 可以保证什么模式一定出现？
课程复习大纲
(30). 以下不等式的物理意义和工程指导作用：
预祝大家 考试顺利！
定理成立的条件：限峰功率。 定理成立的条件：平均功率受限。 定理成立的条件： 均值受限。
H ( X ) log n H(X Y ) H(X ) log n H 0 H1 H 2 H m 1 H
课程复习大纲 H ( X ) p log p p log q
课程复习大纲
⑿. 信息散度 ⒀.条件信息散度
1º. 数学定义：
P x D P // q P x log q x X
def
理解信息散度的物理意义。
y ) P ( x D P ( y ) // Q ( y ) p x P ( y ) log x x x X Y Q( y ) x where : p x P ( y ) Q ( y ) 1 x x X Y Y 2º. 物理意义：
1º. 数学关系： I ( X ; Y ) E I ( ai ; b j ) H ( X ) H ( X Y ) H (Y ) H (Y X ) H ( X ) H (Y ) H ( XY ) 2º. 物理性质：
I ( X ; Y ) 0; I ( X ;Y ) 0; I ( X ; Y ) H ( X ) H (Y ); I ( X ; YY 1 2 ) I ( X ;Y 1 ); I ( X ; Y ) I ( X ; DY ) 等。
i i i i i
i
课程复习大纲
⑺. 序列熵、平均符号熵和极限熵 H ( X ) H ( X X X ) P
1 2 L i1 i2 iL i1i2 iL
log Pi1i2 iL
1 H L ( X ) H ( X1 X 2 X L ) L 1 H ( X ) H lim H ( X ) lim H ( X L X L 1 X L 2 X 1 ) L L L
Information Theory
Shannon’s Information Theory
通信的基本问题，是在消息的接收端精确地或近似 地复制发送端所挑选的信息。 The fundamental problem of communication is that of reproducing at one point either exactly or approximately a message selected at another point.
课程复习大纲
⑴. Information，message & signal
任何一种通信方式都可以归结为：某一信源在发消息；而 消息又要变成适合某种信道传输的信号。对接收者来说，则是 通过所接受到的信号，而得知消息；从消息中所包含随机事件 不确定度的是否减少来获得信息。 所以消息是信息的载体；信息是消息的内涵；但信号又是 消息符合某种物理特性的载体。 要重点理解信息的基本属性，消息的基本特征和信号的固有特征。
⑵. 概率信息的特征:(三要素）
ⅰ. 随机事件的随机性——随机变量。 ⅱ. 从事物的客观性出发，所带给人们的新知识。 ⅲ. 当事件完全确定后，其不确定度的解除量。
课程复习大纲
⑶. 自信息与信息量
I ( ai ) log pi I ( ai ; b j ) log
def def
P ( ai b j ) p ( ai )
信息论基础复习
Shannon’s编码定理体系
(The Shannon’s Coding Theorem System) 信 源
Source
X
信 道
Channel
Y
信 宿
Destination
Possibility Practical requirement Objective existence 客观存在性 最大可能性 实际需求性 C R(D) H(X) 编码极限定理——Coding Limited Theorem R H (X ) R R( D )
⑻. Markov Source
P( xL xL1 xL2 x1 ) P( xL xL1 xL2 xLm ) H ( X L X L1 X L2 X1 ) H ( X L X L1 X L2 X Lm )
课程复习大纲
P ( xL xL1 xL2 xLm ) P( Si S j )
H C ( X ) p( x) log p( x)dx
RX
课程复习大纲
⑸. 熵函数的性质 （指离散熵） 1. 对称性： H ( p1, p2 ,, pn ) H ( p2 , p1, p3 , pn ) 2. 非负性： H ( X ) 0 Hn1 ( p1, p2 ,, pn , ) Hn ( p1, p2 ,, pn ) 3. 扩展性： lim 0 4. 确定性： H (1,0) H (1,0,0) H (1,0,0,,0) 0 5. 可加性： H ( XY ) H ( X ) H (Y X )
课程复习大纲 《Elements of Information Theorem》
Summary
P(ai | b j ) log Pji
I (ai | bj )
I (ai ) I (ai bj )
I (ai ; b j )
E[I (Pji )]
C
max I ( X ; Y )
min I ( X ; Y )
课程复习大纲
⒆. 比特能量的物理意义
Em Ps Em S t dt Eb 0 K R ⒇. 频谱利用率与功率利用率
T 2
w
bit
R F
def
bit Sec.Hz
and
Eb N0
如何提高两者的有效性？
(21). 什么是Shannon Limit ？要达到它的条件是什么？
n j i Pji i 1 解出极限分布 i 1 , 2 , , n L nL i 1 i 1
L
Then H i Pji log Pji
i 1 j 1
nL nL
⑼. 近似的Markov 信源
R(D) = H(P) - H( D α ) 表达式中各项的物理含义？
26 27
1 σ2 R ( D ) log( ) 是在何种条件下成立？ 2 D H (X ) H (X ) 1 是什么定理 ？ K log m log m L
28 29
RC R R(D)
课程复习大纲 ⒃. 不等式的物理意义
Pwo 1 1 log 2 C log(2e Pwo ) H ( N ) 2 2 n
⒄. Shannon’s公式的概念
S C FT log (1 ) N0F S CT F log(1 ) N0F
公式中包含了五个方面的概念：
⒅. 什么是信源编码？什么是信道编码？各 有什么差异？各解决什么问题？
存在性保证，
RC
且构造性给出。
存在性保证。
存在性保证。
Shannon’s编码定理体制
以上三个不等式分别代表了三类编码极限定理： 1. Shannon’s 1st limiting theorem为无失真信源编码定理。 2. Shannon’s 2nd limiting theorem为信道编码定理。 3. Shannon’s 3rd limiting theorem为限失真信源编码定理。 这三个极限定理构成了Shannon’编码定理体系。极 限定理都有其共性，也有个性。所给出的指导作用也各 不相同，但其证明方式都采用随机编码方式证明。 所谓存在性，是指定理仅给出是否存在着一种(至少 一种)编码方式可以满足要求；但如何编码则无可奉告。 它们的逆定理则给出了不存在性，这是它们的共性。 所谓构造性，是指定理不仅指出了存在性，而且还 给出了最佳码字的结构特性，如码长、代码形式等。
I ( ai ) I ( ai b j )
⑷. 信息熵
H ( X ) E I ( ai ) pi log pi
从平均的意义上反映了信源客观存在的发送信息能力的量—— 平均信息量。它不是指人们可以获得多少信息；而是指客观存在 多少信息，因而数学关系仅是平均不确定度的量。 而连续信源的相对熵，则是指相对平均不定度。
H m 1 lim H ( X L X L1 X L2 X Lm )
L def
从而得到：log n H 0 H1 H m 1 H
课程复习大纲
⑽. 冗余度 ⑾. 互信息
H R 1 Hm
def
or
R 1
Hm H0
理解两种冗余度的物理意义。
def
在已知条件 p x 的 情况下上式可作为评估两个条件概率 P y x 和Q y x 之间“差别”的一种度量方式。
课程复习大纲
⒁. 信道容量 C
C max I ( X ; Y ) P ( y x ) 最大可能性问题。
p ( x ) def
离散信道 Pji r s 连续信道
这最后一条性质是熵函数性质中最重要的一个性质, 因为它是唯一可以确定熵函数的数学表达式一定是对数 函数的形式。从物理概念上看，它也反映信息的知识属 性——积累性。
6. 极值性：
7. 上凸性： H [ Pi (1 )Qi ] H ( Pi ) (1 ) H (Qi ) ⑹. 最大熵定理 1. H c x, p( x ) log(b a ) 2. H c x, p( x ) 1 log(2e 2 ) 2 3. H c x, p( x ) log( e)
⒂. 单符号信道（掌握利用信道客观属性对信道分类）
1 .对称信道： C log S H ( P 1i P si ) 1 2 .准对称信道： p( x ) q( y ) C r Aj 3 .可逆矩阵信道: C log a a j 迭代算法 4 .其它信道： 5 Pwi 1 高斯信道: C log(1 2 ) n 2
Eb 从不等式中 ： r log 2 1 r N0 可解决何种工程设计问题？ 源自 Eb 2 r 1 N0 r
课程复习大纲
(22). 什么是定长编码？什么是变长编码？它们所采
用的压缩机制各是什么？那一种效率高？
(23). 掌握Huffman编码方法！（包括多元Huffman码） (24). R(D)函数的物理意义与工程指导作用。 (25).
P(ai )
log p (ai )
I (ai )
E I ( ai )
H(X )
H( X ) H( X | Y) HL ( X ) H
I ( X ;Y )
R( D)
d(x, y) D E d(x, y)
Source Coding H m1 无失真
限失真
是什么设计原则？ 可以保证什么模式一定出现？
课程复习大纲
(30). 以下不等式的物理意义和工程指导作用：
预祝大家 考试顺利！
定理成立的条件：限峰功率。 定理成立的条件：平均功率受限。 定理成立的条件： 均值受限。
H ( X ) log n H(X Y ) H(X ) log n H 0 H1 H 2 H m 1 H
课程复习大纲 H ( X ) p log p p log q
课程复习大纲
⑿. 信息散度 ⒀.条件信息散度
1º. 数学定义：
P x D P // q P x log q x X
def
理解信息散度的物理意义。
y ) P ( x D P ( y ) // Q ( y ) p x P ( y ) log x x x X Y Q( y ) x where : p x P ( y ) Q ( y ) 1 x x X Y Y 2º. 物理意义：
1º. 数学关系： I ( X ; Y ) E I ( ai ; b j ) H ( X ) H ( X Y ) H (Y ) H (Y X ) H ( X ) H (Y ) H ( XY ) 2º. 物理性质：
I ( X ; Y ) 0; I ( X ;Y ) 0; I ( X ; Y ) H ( X ) H (Y ); I ( X ; YY 1 2 ) I ( X ;Y 1 ); I ( X ; Y ) I ( X ; DY ) 等。
i i i i i
i
课程复习大纲
⑺. 序列熵、平均符号熵和极限熵 H ( X ) H ( X X X ) P
1 2 L i1 i2 iL i1i2 iL
log Pi1i2 iL
1 H L ( X ) H ( X1 X 2 X L ) L 1 H ( X ) H lim H ( X ) lim H ( X L X L 1 X L 2 X 1 ) L L L
Information Theory
Shannon’s Information Theory
通信的基本问题，是在消息的接收端精确地或近似 地复制发送端所挑选的信息。 The fundamental problem of communication is that of reproducing at one point either exactly or approximately a message selected at another point.
课程复习大纲
⑴. Information，message & signal
任何一种通信方式都可以归结为：某一信源在发消息；而 消息又要变成适合某种信道传输的信号。对接收者来说，则是 通过所接受到的信号，而得知消息；从消息中所包含随机事件 不确定度的是否减少来获得信息。 所以消息是信息的载体；信息是消息的内涵；但信号又是 消息符合某种物理特性的载体。 要重点理解信息的基本属性，消息的基本特征和信号的固有特征。
⑵. 概率信息的特征:(三要素）
ⅰ. 随机事件的随机性——随机变量。 ⅱ. 从事物的客观性出发，所带给人们的新知识。 ⅲ. 当事件完全确定后，其不确定度的解除量。
课程复习大纲
⑶. 自信息与信息量
I ( ai ) log pi I ( ai ; b j ) log
def def
P ( ai b j ) p ( ai )
信息论基础复习
Shannon’s编码定理体系
(The Shannon’s Coding Theorem System) 信 源
Source
X
信 道
Channel
Y
信 宿
Destination
Possibility Practical requirement Objective existence 客观存在性 最大可能性 实际需求性 C R(D) H(X) 编码极限定理——Coding Limited Theorem R H (X ) R R( D )
⑻. Markov Source
P( xL xL1 xL2 x1 ) P( xL xL1 xL2 xLm ) H ( X L X L1 X L2 X1 ) H ( X L X L1 X L2 X Lm )
课程复习大纲
P ( xL xL1 xL2 xLm ) P( Si S j )