信息论基础课件
合集下载
信息论基础课件3.1-3.2.2
第三章 信道容量
信源 信道 信宿
噪声 图3.1.1 通信系统的简化模型
信源→ 每发一个符号提供平均信息量H(X) bit/信符 信源 每发一个符号提供平均信息量 信符 无噪信道→信宿可确切无误的接收信息 无噪信道 信宿可确切无误的接收信息 传递作用→ 传递作用 随机干扰作用 本章主要讨论在什么条件下， 本章主要讨论在什么条件下，通过信道的信息量 最大， 最大，即信道容量问题
的上凸函数， 因为 I ( X ; Y )是 p ( x i )的上凸函数，因此总能 找到一种 概率分布 p ( x i )(即某一种信源 )，使信道所能传送的 信息率为最大。 信息率为最大。我们就 信道容量。 信道容量。 称这个最大的信息传输 率为
信道容量： 信道容量： = max { I ( X ; Y )} C
x4 某信道的信道 0 .4
( 3 )" 收到 y 3的条件下推测输入 x 2 " 的概率 解： ) p( x 3 y 2 ) = p( x 3 ) p( y 2 / x 3 ) = 0.2 × 0.2 = 0.04 (1
(2) p( y 4 ) = p( x1 ) p( y 4 / x1 ) + p( x 2 ) p( y 4 / x 2 ) + p( x 3 ) p( y 4 / x 3 ) + p( x 4 ) p( y 4 / x 4 )
a1
b1 [P] = b2 M bs p( a 1 / b1 ) p( a / b ) 1 2 M p( a 1 / b s )
a2
L
ar
p( a r / b1 ) p( a r / b 2 ) M p( a r / b s )
7
信源 信道 信宿
噪声 图3.1.1 通信系统的简化模型
信源→ 每发一个符号提供平均信息量H(X) bit/信符 信源 每发一个符号提供平均信息量 信符 无噪信道→信宿可确切无误的接收信息 无噪信道 信宿可确切无误的接收信息 传递作用→ 传递作用 随机干扰作用 本章主要讨论在什么条件下， 本章主要讨论在什么条件下，通过信道的信息量 最大， 最大，即信道容量问题
的上凸函数， 因为 I ( X ; Y )是 p ( x i )的上凸函数，因此总能 找到一种 概率分布 p ( x i )(即某一种信源 )，使信道所能传送的 信息率为最大。 信息率为最大。我们就 信道容量。 信道容量。 称这个最大的信息传输 率为
信道容量： 信道容量： = max { I ( X ; Y )} C
x4 某信道的信道 0 .4
( 3 )" 收到 y 3的条件下推测输入 x 2 " 的概率 解： ) p( x 3 y 2 ) = p( x 3 ) p( y 2 / x 3 ) = 0.2 × 0.2 = 0.04 (1
(2) p( y 4 ) = p( x1 ) p( y 4 / x1 ) + p( x 2 ) p( y 4 / x 2 ) + p( x 3 ) p( y 4 / x 3 ) + p( x 4 ) p( y 4 / x 4 )
a1
b1 [P] = b2 M bs p( a 1 / b1 ) p( a / b ) 1 2 M p( a 1 / b s )
a2
L
ar
p( a r / b1 ) p( a r / b 2 ) M p( a r / b s )
7
数字通信原理4信息论基础1103页PPT文档
xMy1,pxMy1 xMy2,pxMy2 ...xMyN,pxMyN
满足条件：
M i1
N j1pxiyj 1
2020/4/5
11
离散信源的联合熵与条件熵(续)
第四章 信息论基础
两随机变量的联合熵
定义4.2.3 两随机变量 X :x iy Y j,i 1 , 2 ,. M ; .j .1 , 2 ,,. N ..,
I[P(xM)]
H(X)
图4－2－1 符号的平均信息量与各个符号信息量间关系 的形象表示
2020/4/5
7
离散信源的熵(续) 示例：求离散信源
X: 0 1 2 3
pX: 38 14 14 18
的熵。
第四章 信息论基础
按照定义：
H X i4 1pxilopg xi 8 3lo8 3g 1 4lo1 4g 1 4lo1 4g 8 1lo8 1g
2020/4/5
6
4、离散信源的平均信息量：信源的熵
第四章 信息论基础
离散信源的熵
定义4.2.2 离散信源 X:xi,i 1 ,2 ,.N ..的,熵
H X iN 1p xilop x g i
熵是信源在统计意义上每个符号的平均信息量。
I[P(x1)]
I[P(x2)]
I[P(x3)]
I[P(x4)]
同时满足概率函数和可加性两个要求。
2020/4/5
4
离散信源信的息量(续)
第四章 信息论基础
定义 离散消息xi的信息量:
IPxi loP g1xiloP gxi
信息量的单位与对数的底有关：
log以2为底时，单位为比特：bit
log以e为底时，单位为奈特：nit
《信息论基础》课件
2
信息论与数学中的概率论、统计学、组合数学等 学科密切相关，这些学科为信息论提供了重要的 数学工具和理论基础。
3
信息论与物理学中的量子力学、热力学等学科也 有密切的联系，这些学科为信息论提供了更深层 次的理论基础。
信息论未来发展趋势
信息论将继续深入研究量子信 息论和网络信息论等领域，探 索更高效、更安全的信息传输
和处理技术。
随着人工智能和大数据等技 术的快速发展，信息论将在 数据挖掘、机器学习等领域
发挥更大的作用。
信息论还将继续关注网络安全 、隐私保护等问题，为构建安 全可靠的信息社会提供重要的
理论支持。
2023
REPORTING
THANKS
感谢观看
海明码（Hamming Code）： 一种能够纠正一位错误的线性 纠错码。
里德-所罗门码（ReedSolomon Code）：一种广泛 应用于数据存储和通信领域的 强纠错码。
差错控制机制
前向纠错（FEC）
01
在发送端采用纠错编码，使得接收端能够自动纠正传输过程中
的错误。
自动重传请求（ARQ）
02
接收端检测到错误后请求发送端重传数据，直到接收正确为止
常见信道编码技术
线性分组码
将信息序列划分为若干组，对每组进行线性 编码，常见的有汉明码、格雷码等。
循环码
将信息序列进行循环移位后进行编码，常见的有 BCH码、RS码等。
卷积码
将信息序列进行卷积处理后进行编码，常见 的有Convolutional Code等。
2023
PART 04
信息传输与错误控制
。
混合纠错（HEC）
03
结合前向纠错和自动重传请求，以提高数据传输的可靠性和效
信息论基础线性分组码PPT
设码字x5 (x0 , x1, x2 , x3, x4 )， 可得 信息位 码字
00 00000 01 01101 10 10111 11 11010
x2
x3
x0 x0
x1
x4 x0 x1
20
线性分组码的基本概念
改写为
1 1
x0 x0
1 0
x1 x1
1 x2 0 0 x2 1
二战期间在路易斯维尔大学当教授，1945年参加曼哈顿计划， 负责编写电脑程式，计算物理学家所提供方程的解。该程式 是判断引爆核弹会否燃烧大气层，结果是不会，于是核弹便 开始试验。
1946至76年在贝尔实验室工作。他曾和约翰·怀尔德·杜奇、 克劳德·艾尔伍德·香农合作。1956年他参与了IBM 650的程 式语言发展工作。
码字无关！
记S= en·HT ，称之为接收序列rn的伴随式.
36
线性分组码的译码
（n，k）线性分组码的校验矩阵，用列向量
表出：
h1,1
h1,2
H
h2,1
h2,2
h1,n
h2,n
h1
h2
hn
hnk
,1
hnk ,2
hnk
,n
其中，hn-i为H矩阵的第i列.
37
线性分组码的译码
设en=(e1， e2，…，en)=(0，…，ei1，0，…，ei2，0，…， ei3，0，…，eit，0，…，0)
信息位 码字
00 00000
1(01) 1(10) 11
01 01101 10 10111
f (11) 11010
11 11010
1(01101) 1(10111) 11010
f (1(01) 1(10)) 1(01101) 1(10111)
第一章信息论基础PPT课件
2021
43
信息传输和传播手段经历了五次重大 变革：
1 语言的产生。
2 文字的产生。
3 印刷术的发明。
4 电报、电话的发明。
5 计算机技术与通信技术相结 合，促进了网络通信的发展。
2021
44
1.3 信息传输系统
通信的基本问题是在彼时彼地精确地或近似地再现此时此 地发出的消息。
各种通信系统，一般可概括的统计模型： 信息传输系统模型
2021
17
语法信息
仅仅考虑其中形式因素的部分。
语义信息
考虑其中含义因素的部分。
语用信息
考虑其中效用因素的部分。
2021
18
1.1 信息的概念
物质、能量和信息是构成客观世界的 三大要素。 信息是物质和能量在空间和时间上分 布的不均匀程度，或者说信息是关于 事物运动的状态和规律。
2021
19
信息存在于自然界，也存在于人类社会，
2021
15
认识论比本体论的层次要低，因为
认识主体具有感觉能力、理解能力和 目的性，所以从认识论层次上研究信 息“事物的运动状态及其变化方式”就 不再像本体论层次上那样简单，他必 须考虑到形式、含义和效用。
2021
16
全信息
同时考虑事物运动状态及其变化方式的 外在形式、内在含义和效用价值的认识 论层次信息。
信源
信源译码器 信道编码器
等效干扰 信道
等效信源 等效信宿
信
干
道
扰
源
信宿
信源译码器 信20道21 译码器
45
这个模型包括以下五个部分： 1.信源 信源是产生消息的源。
2. 编码器 编码器是将消息变成适合于 信道传送的信号的设备。
信息论基础课件2[1][1].1.1- 2
![信息论基础课件2[1][1].1.1- 2](https://img.taocdn.com/s3/m/5d523fd3360cba1aa811da2f.png)
r i 1
a2
…
ar p(ar)
p(a2) …
0 p(a i ) 1i 1,2, r
p(a i ) 1
信息论与编码-信源熵
需要注意的是，大写字母X,Y,Z代表随机变量，指 的是信源整体，带下标的小写字母代表随机事件的 某一结果或信源的某个元素。两者不可混淆。
信息论与编码-信源熵
(4) 如p(xi)=1，则I(xi) =0 ;(必然事件不含有任何不确定 性，所以不含有任何信息量）
(5) 自信息量也是一个随机变量，它没有确定的值。
信息论与编码-信源熵
例2、 设有12枚同值硬币，其中有一枚为假币，且只知道假币
的重量与真币的重量不同，但不知究竟是轻是重。现采 用天平比较两边轻重的方法来测量（因无法码）。问至 少需要称多少次才能称出假币？ 解：用天平每称一次能获得一定的信息量，能消除部分的不 确定性。测量若干次后，能消除全部不确定性，获得全部信 息，也就能确定出假币。 设“在12枚同值硬币中，某一枚为假币”该事件为a, p(a ) 1 / 12 则 p 又设“假币是重、或是轻”该事件为b，则(b) 1 / 2
(5)当X与Y相互独立时，
p( y j / xi ) p( y j ), p( xi / y j ) p( xi ), p( xi y j ) p( xi ) p( y j )
( 6) p( x i / y j ) p( x i y j )
p( x i y j )
i 1
n
p( y j / xi )
i 1 n j 1 i 1 j 1 i 1
n
m
n
m
n
p( xi y j ) p( y j ), p( xi y j ) p( xi )
a2
…
ar p(ar)
p(a2) …
0 p(a i ) 1i 1,2, r
p(a i ) 1
信息论与编码-信源熵
需要注意的是，大写字母X,Y,Z代表随机变量，指 的是信源整体，带下标的小写字母代表随机事件的 某一结果或信源的某个元素。两者不可混淆。
信息论与编码-信源熵
(4) 如p(xi)=1，则I(xi) =0 ;(必然事件不含有任何不确定 性，所以不含有任何信息量）
(5) 自信息量也是一个随机变量，它没有确定的值。
信息论与编码-信源熵
例2、 设有12枚同值硬币，其中有一枚为假币，且只知道假币
的重量与真币的重量不同，但不知究竟是轻是重。现采 用天平比较两边轻重的方法来测量（因无法码）。问至 少需要称多少次才能称出假币？ 解：用天平每称一次能获得一定的信息量，能消除部分的不 确定性。测量若干次后，能消除全部不确定性，获得全部信 息，也就能确定出假币。 设“在12枚同值硬币中，某一枚为假币”该事件为a, p(a ) 1 / 12 则 p 又设“假币是重、或是轻”该事件为b，则(b) 1 / 2
(5)当X与Y相互独立时，
p( y j / xi ) p( y j ), p( xi / y j ) p( xi ), p( xi y j ) p( xi ) p( y j )
( 6) p( x i / y j ) p( x i y j )
p( x i y j )
i 1
n
p( y j / xi )
i 1 n j 1 i 1 j 1 i 1
n
m
n
m
n
p( xi y j ) p( y j ), p( xi y j ) p( xi )
信息论基础教学课件ppt信息论基础概述信息论基础概论
33
§1.2.1 通信系统模型
例如，奇偶纠错 将信源编码输出的每个码组的尾补一个1或0 当传输发生奇数差错，打乱了“1”数目的奇偶性，就 可以检测出错误。
34
§1.2.1 通信系统模型
(a) 无检错
(b) 可检错 (奇校验) (c) 可纠错(纠一个错)
图1.4 增加冗余符号增加可靠性示意图
35
§1.2.1 通信系统模型
信源的消息中所包含的信息量 以及信息如何量度
核心 问题
29
§1.2.1 通信系统模型
编码器(Encoder)
编码器的功能是将消息变成适合于信道传输的信号 编码器包括：
信源编码器(source encoder) 信道编码器(channel encoder) 调制器(modulator)
信源编码器
信道编码器
调制器
功能：将编码器的输出符号变成适合信道传输的信号 目的：提高传输效率 信道编码符号不能直接通过信道输出，要将编码器的输 出符号变成适合信道传输的信号，例如，0、1符号变成 两个电平，为远距离传输，还需载波调制，例如，ASK， FSK，PSK等。
36
§1.2.1 通信系统模型
信道(channel)
13
§1.1.2 信息的基本概念
1949年，Weaver在《通信的数学》中解释香农的工 作时，把通信问题分成三个层次： 第一层：通信符号如何精确传输？（技术问题） 第二层：传输的符号如何精确携带所需要的含义？（语义问题） 第三层：所接收的含义如何以所需要的方式有效地影响行为？ （效用问题）
14
§1.1.2 信息的基本概念
§1.1.2 信息的基本概念
信息的三个基本层次：
语法(Syntactic)信息 语义(Semantic) 信息 语用(Pragmatic)信息
§1.2.1 通信系统模型
例如，奇偶纠错 将信源编码输出的每个码组的尾补一个1或0 当传输发生奇数差错，打乱了“1”数目的奇偶性，就 可以检测出错误。
34
§1.2.1 通信系统模型
(a) 无检错
(b) 可检错 (奇校验) (c) 可纠错(纠一个错)
图1.4 增加冗余符号增加可靠性示意图
35
§1.2.1 通信系统模型
信源的消息中所包含的信息量 以及信息如何量度
核心 问题
29
§1.2.1 通信系统模型
编码器(Encoder)
编码器的功能是将消息变成适合于信道传输的信号 编码器包括：
信源编码器(source encoder) 信道编码器(channel encoder) 调制器(modulator)
信源编码器
信道编码器
调制器
功能：将编码器的输出符号变成适合信道传输的信号 目的：提高传输效率 信道编码符号不能直接通过信道输出，要将编码器的输 出符号变成适合信道传输的信号，例如，0、1符号变成 两个电平，为远距离传输，还需载波调制，例如，ASK， FSK，PSK等。
36
§1.2.1 通信系统模型
信道(channel)
13
§1.1.2 信息的基本概念
1949年，Weaver在《通信的数学》中解释香农的工 作时，把通信问题分成三个层次： 第一层：通信符号如何精确传输？（技术问题） 第二层：传输的符号如何精确携带所需要的含义？（语义问题） 第三层：所接收的含义如何以所需要的方式有效地影响行为？ （效用问题）
14
§1.1.2 信息的基本概念
§1.1.2 信息的基本概念
信息的三个基本层次：
语法(Syntactic)信息 语义(Semantic) 信息 语用(Pragmatic)信息
信息论基础课件2.1.3
1
（3）最大离散熵定理
定理：信源X中包含n个不同的离散消息时，信源熵 H（X）有 H ( X ) log2 n 当且仅当X中各个消息出现的概率全相等时，上式 取等号。
1 p( xi ) log2 n 证明： H ( X ) log2 n p( x i ) log2 p( x i ) i 1 i 1
r
pi log pi pi log[ pi (1 )qi ]
i 1
r
r
r
i 1
r 1 pi l og (1 ) qi l ogqi pi i 1 i 1
1 (1 ) qi l og[ pi (1 )qi ] (1 ) qi l og qi i 1 i 1
p( x i y j ) log 2 [ p( x i ) p( y j / x i )]
i j
p( x i y j ) log2 p( x i ) p( x i y j ) log 2 p( y j / x i )
i j
i
j
p( x i ) log2 p( x i ) H (Y / X )
i
i
j
H ( X ) H (Y / X )
得证。
8
7、极值性（香农辅助定理）
,q 对于任意n及概率矢量 P ( p1 , p2 ,, pn ) 和 Q (q1 , q2 ,，n ) n n 有如下不等式成立 H ( p1 , p2 ,, pn ) pi log pi pi log qi
l 1
k l 1
k
H ( X ) [ p j log p j ] ( pi ) log(pi ) [ l log l ]
（3）最大离散熵定理
定理：信源X中包含n个不同的离散消息时，信源熵 H（X）有 H ( X ) log2 n 当且仅当X中各个消息出现的概率全相等时，上式 取等号。
1 p( xi ) log2 n 证明： H ( X ) log2 n p( x i ) log2 p( x i ) i 1 i 1
r
pi log pi pi log[ pi (1 )qi ]
i 1
r
r
r
i 1
r 1 pi l og (1 ) qi l ogqi pi i 1 i 1
1 (1 ) qi l og[ pi (1 )qi ] (1 ) qi l og qi i 1 i 1
p( x i y j ) log 2 [ p( x i ) p( y j / x i )]
i j
p( x i y j ) log2 p( x i ) p( x i y j ) log 2 p( y j / x i )
i j
i
j
p( x i ) log2 p( x i ) H (Y / X )
i
i
j
H ( X ) H (Y / X )
得证。
8
7、极值性（香农辅助定理）
,q 对于任意n及概率矢量 P ( p1 , p2 ,, pn ) 和 Q (q1 , q2 ,，n ) n n 有如下不等式成立 H ( p1 , p2 ,, pn ) pi log pi pi log qi
l 1
k l 1
k
H ( X ) [ p j log p j ] ( pi ) log(pi ) [ l log l ]
信息论基础课件第2章离散信源
)
a1 0.8
a2 0.2
如果被告知摸出的是红球，那么获得的信息量是：
I (a1) ＝－log p(a1) ＝－log0.8= 0.32 （比特） 如被告知摸出来的是白球，所获得的信息量应为：
I (a2) ＝ －log p(a2) ＝ －log0.2 = 2.32 （比特） 平均摸取一次所能获得的信息量为 ：
q
H (Y | X ai ) P(bj | ai ) log P(bj | ai ) j 1
当信源X发生的条件下，信源Y的不确定性，即条件熵为：
q
H (Y | X ) P(ai )H (Y | X ai )
P(ai )P(bj | ai ) log P(bj | ai )
i 1
X P(x)
a1 p(a1)
a2 p(a2
)
... ...
aq p(aq
)
并且满足
q
p(ai ) 1
i1
其中样本空间为
， a1, a2 ,..., aq
qI
，I为正整数集；
符号ai出现的概率为p(ai)。信源的概率空间是一个完
备集。
连续信源：
信源输出的是单个符号或代码的消息，但 信源符号集的取值是连续的，可以用一维连 续型随机变量来描述。相应的信源的数学模 型就是连续型随机变量的概率空间，表示为：
H(X ) Hr(X) = log r
信源的信息熵H是从整个信源的统计特性来考虑的， 是从平均意义上来表征信源的总体信息测度，是信源的平 均不确定程度的大小。
例：熵的计算
有一布袋内放100个球，其中80个球是红色的， 20个球是白色的。随机摸出一个球，猜测是什么颜 色，那么其概率空间为：
信息论基础课件2.2.4
= 1,2,L, q
9
阶马尔可夫信源的定义， 由m阶马尔可夫信源的定义，并考虑其平稳性，可得 阶马尔可夫信源的定义 并考虑其平稳性， P (a kN / a k 1a k 2 ,L, a km a km+1 La kN −1 )
= P (a kN / a kN −m a kN −m +1 ,L, a kN −1 )
H∞ (X) = lim H L ( X ) = lim H( X L / X1 X 2 LX L−1 )
L→∞ L→∞
1
2.2.4、马尔可夫信源的极限熵 、
在许多信源的输出序列中， 在许多信源的输出序列中，符号之间的依赖关系是 有限的。 有限的。也就是说任何时刻信源符号发生的概率只 与前面已经发出的若干个符号有关，而与更前面发 与前面已经发出的若干个符号有关， 出的符号无关。 出的符号无关。 与前面所讲的多符号平稳信源不同，这种信源发出符 与前面所讲的多符号平稳信源不同， 号时不仅与符号集有关，还与信源的状态有关。 号时不仅与符号集有关，还与信源的状态有关。 所谓状态，指与当前输出符号有关的前 个随机变 所谓状态，指与当前输出符号有关的前m个随机变 量序列的某一具体消息，用si 或者ei 表示。把这个 量序列的某一具体消息， 或者 表示。 具体消息看作某个状态： 具体消息看作某个状态：
时刻， 在第 l时刻，信源处于状态 e i 时，输出符号 x k 的概率 给定为 p l ( x k / e i ) = P ( X l = x k / S l = e i )
信源在 l − 1时刻处于 e i 状态，下一时刻转移到 e j 的状态 状态， 转移概率为 p l e j / e i = P S l = e j / S l −1 = e i
信息论基础详细ppt课件
1928年，哈特莱(Hartley)首先提出了用对数度量信
息的概念。一个消息所含有的信息量用它的可能值
香农
的个数的对数来表示。
(香农)信息： 信息是事物运动状态或存在方式的不确定性的描述。 可运用研究随机事件的数学工具——概率来测度不确定性大小。 在信息论中，我们把消息用随机事件表示，而发出这些消息的信 源则用随机变量来表示。
2.1 自信息和互信息
2.1.1 自信息
随机事件的自信息量 I (xi ) 是该事件发生概率 p(xi ) 的函数，并且应该满 足以下公理化条件：
1. I (xi )是 p(xi )的严格递减函数。当 p(x1)p(x2) 时，I(x1)I(x2)，概率 越小，事件发生的不确定性越大，事件发生后所包含的自信息量越大
事件 x i 的概率为p(xi ) ，则它的自信息定义为：
I(xi)d eflogp(xi)logp(1xi)
从图2.1种可以看到上述信息量的定义正 是满足上述公理性条件的函数形式。I (xi ) 代表两种含义：当事件发生以前，等于 事件发生的不确定性的大小；当事件发 生以后，表示事件所含有或所能提供的 信息量。
2．极限情况下当 p(xi )=0时，I(xi)；当 p(xi ) =1时，I (xi ) =0。
3．另外，从直观概念上讲，由两个相对独立的不同的消息所提供的 信息量应等于它们分别提供的信息量之和。 可以证明，满足以上公理化条件的函数形式是对数形式。
定义2.1 随机事件的自信息量定义为该事件发生概率的对数的负值。
我们把某个消息 x i 出现的不确定性的大小，定义为自信息，用这
个消息出现的概率的对数的负值来表示：I(xi)lop(g xi)
自信息同时表示这个消息所包含的信息量，也就是最大能够给予 收信者的信息量。如果消息能够正确传送，收信者就能够获得这 么大小的信息量。
第1章信息论基础ppt课件
p(
y1)
2
p(xi y1) p(x1y1) p(x2 y1)
i1
p(yj)
p(xiyj)
p(y2)
2
p(xi y2) p(x1y2) p(x2 y2)
i
i1
2
p(y3) p(xi y3) p(x1y3) p(x2y3)
i1
2019/12/29
2019/12/29
状态转移概率和已知状态下发符号的概率为 p(er＋1=sj｜er=si)和p(xr=al｜er=si)。
当状态转移概率和已知状态下发符号的概率与时刻无 关，即p(er＋1=sj｜er=si)=p(sj｜si)和p(xr=al｜er=si)＝p(al ｜si )时，称为时齐的/齐次的。
3. 信道 信道是信息传输和存储的媒介。
4. 译码器 译码是编码的逆变换，分为 信道译码和信源译码。
5. 信宿 信宿是消息的接收者。
2019/12/29
1.3.2 离散无记忆的扩展信源
实际情况下，信源输出的消息往往不是单个符号，而是由
许多不同时刻发出的符号所组成的符号序列。设序列由N个 符号组成，若这N个符号取自同一符号集{ a1 , a2 , … , ak}， 并且先后发出的符号彼此间统计独立，我们将这样的信源称 作离散无记忆的N维扩展信源。其数学模型为N维概率空间：
p(xi | yj)1
i1 2
p(xi
|
y2)
p(x1
|
y2)
p(x2
|
y2)
1
i
i1
2
i1
p(xi
信息论基础ppt课件
计算：
（a） H ( X , Y ) , H ( X ) , H ( Y ) , H ( X |Y ) , H ( Y |X ) , I ( X ; Y ) ;
（b）如果q(x,y)p(x)p(y)为两个边际分布的乘积分布，计 算 D( p Pq) 和 D(q P p)。
解：
(a )
H (X ,Y ) 1 lo g 1 1 lo g 1 1 lo g 1 5 lo g 5 44441 21 21 21 2
1 p(X)
可见熵是自信息的概率加权平均值
引理 1.2.1 H(X) 0，且等号成立的充要条件是 X 有退化分布。
例题 1.2.1 设
1
X
0
依概率 p 依概率 1 p
则 H ( X ) p l o g p ( 1 p ) l o g ( 1 p ) h ( p ) 。
I (x) log 1 。 p(x)
1.2 熵、联合熵、条件熵
X 定义 1.2.1 离散随机变量 的熵定义为
H(X)p(x)logp(x) x
e 我们也用 H ( p ) 表示这个熵，有时也称它为概率分布 p 的熵，其中对
数函数以2为底时，熵的单位为比特（bit），若对数以 为底时，则熵的
图1.1 通信系统模型
第一章 随机变量的信息度量
1.1 自信息 1.2 熵、联合熵、条件熵 1.3 相对熵和互信息
1.1 自信息
定理1.1.1
定义 1.1.1
若自信息I ( x ) 满足一下5个条件：
( i ) 非复性：I(x) 0;
( i i ) 如 p(x) 0, 则 I(x) ;
（a） H ( X , Y ) , H ( X ) , H ( Y ) , H ( X |Y ) , H ( Y |X ) , I ( X ; Y ) ;
（b）如果q(x,y)p(x)p(y)为两个边际分布的乘积分布，计 算 D( p Pq) 和 D(q P p)。
解：
(a )
H (X ,Y ) 1 lo g 1 1 lo g 1 1 lo g 1 5 lo g 5 44441 21 21 21 2
1 p(X)
可见熵是自信息的概率加权平均值
引理 1.2.1 H(X) 0，且等号成立的充要条件是 X 有退化分布。
例题 1.2.1 设
1
X
0
依概率 p 依概率 1 p
则 H ( X ) p l o g p ( 1 p ) l o g ( 1 p ) h ( p ) 。
I (x) log 1 。 p(x)
1.2 熵、联合熵、条件熵
X 定义 1.2.1 离散随机变量 的熵定义为
H(X)p(x)logp(x) x
e 我们也用 H ( p ) 表示这个熵，有时也称它为概率分布 p 的熵，其中对
数函数以2为底时，熵的单位为比特（bit），若对数以 为底时，则熵的
图1.1 通信系统模型
第一章 随机变量的信息度量
1.1 自信息 1.2 熵、联合熵、条件熵 1.3 相对熵和互信息
1.1 自信息
定理1.1.1
定义 1.1.1
若自信息I ( x ) 满足一下5个条件：
( i ) 非复性：I(x) 0;
( i i ) 如 p(x) 0, 则 I(x) ;
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
容易得到相 应的系统码 ： 为 1 0 0 0 1 G s 0 1 0 1 1 0 0 1 1 1 于是：一致校验矩阵 H 0 1 1 1 0 Hs 1 1 1 0 1
12
(5,3)线性分组码码例
1 0 1 1 0 G 0 1 0 1 1 1 1 0 1 0
1
它不但能发现差错，而且能将差错自动纠正过 来，避免频繁重发所消耗的时间，从而大大提
高了通讯的可靠性。本节和下一节介绍两种纠
错码：线性分组码和循环码。
线性分组码是分组码的一个子类，由于线性码
的编码和译码容易实现，至今仍是应用最广泛
的一类码。
2
6.2线性分组码
6.2.1 线性分组码的描述
定义1：一（n,k）线性分组码C是n维n长向量构成的 线性空间中的一个k维线性子空间。 因此我们研究线性分组码就是研究n维向量空 间中的k维子空间。 定义2：一个(n,k)线性分组码C是如下集合
c c c c c
c0
因为线性分组 码（ , k）事实上是一个 维线性子空间 ， n k 利用线性代数 的知识 , 线性分组码作 为线性空 间存在 一个对偶空间 。 （ n , k） 码 中 的 向 量 和 对 偶 空 中 任 意 向 量 正 交 。 间
而 这 个 对 偶 空 间 作 为维 线 性 空 间 的 k维 子 空 间 n n 也 是 一 个 线 性 分 组 码 ， 为 原 （ , k） 线 性 分 组 码 称 n 的对偶码。
m 0 , m1 , m 2 , m 0 m1 m 2
6
•线性分组码的性质： 利用分组码的第一个定义自然可以得到线性分组 码的三个性质：
（1） 零 向 量 （， 0） 是 一 个 码 字 ， 称 为 零 字 。 0 0， 码 （2） 任 意 两 个 码 字 的 和 仍 码 字 是 （3） 码 字 的 总 个 数 为 k 个 ， 任 意 码 字 是 线 性 分 组 2 c 码的生成矩阵 的行向量的线性组合。 G
0 0 1 1 1 1 G 0 1 1 0 0 1 1 0 1 0 1 1
( 3)设信息位为 ( m1 , m 2 , m 3 ) m
C mG 0 0 1 1 1 1 ( m 1 , m 2 , m 3 )0 1 1 0 0 1 1 0 1 0 1 1
c mG
这里的G就是由k维线性子空间的任意一组基向量 组成的线性子空间的生成矩阵。因此线性分组码 的生成矩阵不是唯一的。
•特别的如果对于二进制的编码c,m都是二元向量， G中的元也只有0，1。因此 c mG 的计算是模二 加或模二乘运算
4
•模二加法
+ 0 1
0 1
0 1
1 0
•模二乘法
0 1
系统码由于生成矩阵的 特殊性可以给我们研究 分组码带来方便。一个 简单的应用 我们直接得到一个系统 码的一致校验矩阵 : 设G [I k Q k (n -k) ], 则H [(Q k ( n k ) )T , I n k ]
11
•例：一个（5，3）线性分组码的生成矩阵为：
1 0 G 1 0 1 1 1 0 0 1 1 1 0 1 0
0 0 0
1 0 1
5
例： ,3)偶校验码是一个（ 3）线性分组码， (4 4， 它的生成矩阵为
1 0 0 1 G 0 1 0 1 0 0 1 1 1 0 0 1 c0 , c1 , c 2 , c 3 m0 , m1 , m 2 0 1 0 1 0 0 1 1
C {c | c mG },
其中m 为任意的 维向量， k G是k行n列秩为k ( k n)的矩阵
G称为码C的生成矩阵。
3
因此线性分组码C可以看作对消息m利用
进行编码得到码字c g 00 g 0,n1 G g k 1,0 g k 1,n1
10001
10110 01100 11101 00111
01100
10001 10110 11010 11101
10011
110 111
13
定 理 线 性 分 组 码 的 最 小 码 距 d min d , 当 且 仅 当 为 其 一 致 校 验 矩 阵 中 任 意d 1列 线 性 无 关 ， H 某d列 线 性 相 关 。
定理：任何满足下式的n维向量均是一个(n,k) 线性分组码的码字。
H 0
T
T
其中的H是分组码的一致校验矩阵
10
定义：如果线性分组码的生成 阵G具有如下形式： 矩
G [ I k Q k ( n k ) ], 则此码为系统码
•在线性空间理论中线性空间的生成矩阵G都可以 在不改变线性空间的条件下利用矩阵的初等行变 换把它化成上述形式。因此：在不改变码字集合 的条件下任何一个线性分组码都可以对应一个系 统码。
14
充分性： 若任意d - 1列线性无关，某 列hi 1 , hi 2 hid 线性相关， d 则必存在全不为零的i 1 , a id .有：a i 1 hi 1 a id hid 0 a 因此码字 (0, 0, a i 1 ,0, 0, a id ,0, 0)的汉明重量恰好 c 为d. 显然不可能有小于的码字了。 证毕 d
（2）构造这码的生成矩阵 （3）构造这码的一致校验矩阵 （4）求系统码的生成矩阵及一致校验矩阵
解：(1)因为码字数 M 8 2 k 2 3 , 所以 k 3, n 6
为(6，)线性分组码 3
16
( 2)生成矩阵 G为k 3行， n 6列的矩阵，由 k 3个 线性独立的码字组成。 故
(必要性) 证明：
h 记H为n个列向 量的矩阵 1 , h2 , hn , 若H中某d 1列
线性相 关， a i 1 hi 1 a i 2 hi 2 a id 1 hid 1 T
于是可以构造一个码字c：
c (0, 0, a i 1 , 0, a i 2 ,0 0, a id 1 ,0, 0) 显然码字 的汉明重量 (c ) d 1. c 这与d是最小汉明重量矛盾
1 1 1 1 0 0 所以，H 1 0 0 1 1 0 0 0 1 0 0 1
18
（4）系统码的生成矩阵及一致校验矩阵
0 0 1 1 1 1 G 0 1 1 0 0 1 1 0 1 0 1 1
经初等行变换，得系统码的生成矩阵
1 0 0 1 0 0 G s 0 1 0 1 1 0 0 0 1 1 H hr 1,0 hr 1,n1
9
由G kn 和H ( n k )n的意义有： T 0 k ( n k ) GH 注意G、H的行列的关系
注：虽然满足上式的 矩阵形式不唯一，但一 H 个码 的对偶码是唯一的。
1 1 1 1 0 0 H s 0 1 1 0 1 0 0 0 1 0 0 1
19
8
设对偶码的生成矩阵为 ，c是线性分组码（ k )的 H n, 任意向量。则： T 0 cH
反之，任意满足 T 0的向量c一定是线性分组码 cH ( n, k )中的码字。 因此我们可以 利用 T 0来判断接收向 量在传输 cH r
过程中是否发 生错误。 这个方程叫做 线性分组 码的 校验方程。矩阵 叫做线性分组 码的一致 H 校验矩阵
15
例、下面是某(n,k)线性二元码的全部码字：
C 1 000000 C 2 001111 C 3 011001 C 4 011110 , , , C 5 101011 C 6 101100 C 7 110010 C 8 110101 , , ,
（1）求n,k为何值？
利用性质（1）可以得到线性分组码的第四条性质： (4) 线性分组码的最小距离等于最小非零码字的汉明 重量
7
证明：要证明： min min (c ) d
对二元向量 和c有：d(c, c) (c c) c
所以： d (c , c ) min (c c ) min (c ) min
消息m 000 001 010
G生成码字 Gs生成码 对偶码 字 码字 00000 11010 01011 00000 00111 01011 00000 11101 01110
1 0 0 0 1 G s 0 1 0 1 1 0 0 1 1 1
011
0 1 1 1 0 100 Hs 1 1 1 0 1 101
检错码在发现差错后必须通过要求对方重发一遍 来获得正确的信息，在实时信息采集系统中可能 是有困难的（信息源已经发生变化）。就是在发 方保留有原信息样本的情况下，也只有在差错率 很低的条件下是比较可行的。如果通信条件比较 恶劣，差错出现频繁，以至多次重发仍然得不到 一份正确的信息。在这种情况下，只采用“检错” 手段就显得无能为力了。这时就要采用“纠错 码”，
17
所以， C 1 m 3
C 2 m2 C 3 m1 m 2 m 3 C 1 C 2 C 4 C 6 C 4 m1 C 5 m1 m 3 C 1 C 4
即：C 1 C 2 C 3 C 4 0 C1 C 4 C 5 0 C3 C6 0