信息论基础 总复习
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
因此，在这种情况下，平均错误译码概率只与译码 准则有关了。通过选择译码准则可以使平均译码概 率达到最小值。
当式中的每一项的P{F(yj)=xi/yj}达到最大值时，平 均错误译码概率就可以为最小值。
转移概率，满足0 p (yjxi ) 1，且
。
J
p( y j xi ) 1
j 1
离散集的平均自信息量－ 熵
熵
H(x) q(x)log q(x)
条件熵和联合熵
H(X | Y) p(xy)log p(x | y)
xy
XY独立时有H(X|Y)=H(X)
H ( XY) p(xy) log p(xy)
是正数，c1f1(a)+…+cLfL(a)也是上凸函 数 3. f(a)是上凸函数，E[f(a)]≤f[E(a)],E为求 数学期望
香农信息论三大定理
第一极限定理: 无失真信源编码定理。
第二极限定理: 信道编码定理(包括离 散和连续信道)。
第三极限定理: 限失真信源编码定理。
一些基本概念
• 二元码 • 定长码 • 变长码 • 非奇异码 • 奇异码 • 同价码 • 分组码 • 唯一可译码 • 即时码 • 码的前缀 • 码树
对于信息论的研究，一般划分为三个不同的范畴：
狭义信息论，即通信的数学理论，主要研究狭义 信息的度量方法，研究各种信源、信道的描述和信 源、信道的编码定理。
实用信息论，研究信息传输和处理问题，也就是 狭义信息论方法在调制解调、编码译码以及检测理论 等领域的应用。
广义信息论，包括信息论在自然和社会中的新的 应用，如模式识别、机器翻译、自学习自组织系统、 心理学、生物学、经济学、社会学等一切与信息问题 有关的领域。
d (xn , ym )
R(D) min I (X ;Y ) PD
说明: R（D）也称率失真函数。
对于离散无记忆信源，R（D）函数可写成
R(D)
min
pijpD
n i1
m j 1
p(xi ) p( y j
/ xi ) log
p( y j / xi ) p(yj )
m
q1 i0
Q1 j0
p(xi ) p( y j
/
xi ) log
p( y j / xi ) p(y j )
如何计算信道容量?
• （1）对称DMC信道的容量 什么叫对称DMC信道? 如果转移概率矩阵P的每一行都是第一行的
置换（包含同样元素），称该矩阵是输入对称的； 如果转移概率矩阵P的每一列都是第一列的置换 （包含同样元素），称该矩阵是输出对称的；如 果输入、输出都对称，则称该DMC为对称的 DMC信道。
A:{F(0)=0;F(1)=0} B:{F(0)=0;F(1)=1}
C:{F(0)=1;F(1)=0} D:{F(0)=1;F(1)=1}
译码错误概率
6.1.3最大后验概率准则
• 由平均错误译码概率的表达式可以看出，错误译码 概率与信道输出端随机变量Y的概率分布p(yj)有关， 也与译码准则有关。当信道信道转移概率p(yj/xi)确 定后，而且信源统计特性p(xi)确定之后，信道输出 端的p(yj)也就确定了。因为：p(xi,yj)=p(xi)p(yj/xi); 而p(yj)可以由p(xi,yj)的(i=1,2, n)求和得到。
pj 1
j 1
m
n
Dmax min p j pidij
j1 i1
n
Dmax
min
j1,2, ,m
i 1
pi d ij
输入 x X
信道模型
输入 y Y
转移概率矩阵
p( y / x)
图5-1-2 信道模型
5.1.2 信道容量
• 1．如何刻画DMC信道的容量?
1.2 信息传输系统
通信的基本问题是在彼时彼地精确地或近似地再现此时此 地发出的消息。
各种通信系统，一般可概括为图1.1所示的统计模型：
信源
图1-1 信息传输系统模型 信源编码器 信道编码器
等效干扰 信道
等效信源 等效信宿
信
干
道
扰
源
信宿
信源译码器 信道译码器
这个模型包括以下五个部分： 1.信源 信源是产生消息的源。
• 信源编码之后的码字序列抗干扰能力很脆 弱，在信道噪声的影响下容易产生差错， 为了提高通信系统的有效性和可靠性，要 在信源编码器和信道之间加上一个信道编 码器，
译码准则的含义
• 一个例子wenku.baidu.com影响通信系统可靠性的一个重要问题是译码方式，可以
通过一个例子看一下； 有一个BSC信道，如图所示。
• 对于这样一个信道，如果采用自然的译码准则， 即收0判0，收1判1；这时可以明显看到，当信 源先验概率的等概时p(0)=p(1)=1/2；这时收到 Y判X的后验概率等于信道转移概率，系统正 确的译码概率为1/4，错误译码概率为3/4。但 如果采用另一种译码准则，收0判1，收1判0； 则系统正确的译码概率为3/4，错误译码概率 为1/4，通信的可靠性提高了。
1.1 信息的概念
物质、能量和信息是构成客观世界的 三大要素。信息是物质和能量在空间 和时间上分布的不均匀程度，或者说 信息是关于事物运动的状态和规律。
通信系统中形式上传输的是消 息，实质上传输的是信息，消息 中包含信息，消息是信息的载体。
信息论是研究信息的基本性质及度量方法，研究信息的
获取、传输、存储和处理的一般规律的科学。
P
p( p(
y1 y1
x1 ) x2 )
p( y1 xI )
p( y2 x1 ) p(y2 x2 )
p( y2 xI )
p( y J p( yJ
x1 x2
) )
p( yJ xI )
p (yjxi )对应为已知输入符号为xi，当输出符号为yj时的信道
信息论基础 总复习
信息论基础
内容提要 信息论是应用近代概率统计方法研究信息 传输、交换、存储和处理的一门学科，也 是源于通信实践发展起来的一门新兴应用 科学。本章首先引出信息的概念，简述信 息传输系统模型的各个组成部分，进而讨 论离散信源和离散信道的数学模型，简单 介绍几种常见的离散信源和离散信道。
I(X;Y) 0 I ( X ;Y ) I (Y ; X ) I ( X ;Y | Z ) I (Y ; X | Z ) I(X;Z) I(X;Y) I ( XY; Z ) I ( X ; Z ) I (Y ; Z | X )
随机变量的相对熵(微分熵)
Hc (x) pX (x) log pX (x)dx
考虑一个DMC信道，其输入字符集是X={x0， x1，…，xq-1}，输出字符集是Y={y0,y1，…， yQ-1}，转移概率P（yj／xi）. 若给定信道的转 移概率和对应于输入符号的概率分布p（xi）, 则 DMC信道容量C为
C max I(X ;Y ) p( xi )
max
p( xi )
I(X ;Y | Z) H(X | Z) H(X | YZ)
I ( X ;YZ ) I ( X ;Y ) I ( X ; Z | Y ) I(X;Z) I(X;Y | Z)
连续随机变量的互信息
I (X ;Y )
pXY (xy) log
pXY (xy) dxdy pX (x) pY ( y)
2. 编码器 编码器是将消息变成适合于 信道传送的信号的设备。
信源编码器，提高传输效率
编码器
信道编码器，提高传输可靠性
3. 信道 信道是信息传输和存储的媒介。
4. 译码器 译码是编码的逆变换，分为 信道译码和信源译码。
5. 信宿 信宿是消息的接收者。
1.3 离散信源及其数学模型
信源是产生消息的源，根据X的不同情况，信源可分为以下
例如：
1/ 3 1/ 6
1/ 3 1/ 6
1/ 6 1/ 3
1/ 1/
63和
1/ 2 1/ 6 1/ 3
1/ 3 1/ 2 1/ 6
1/ 6 1/ 3 1/ 2
都是对称的
第六章 有噪信道编码
6.1 译码准则 与译码错误概率
• 有噪声信道编码的主要目的是提高传输可 靠性，增加抗干扰能力，因此也称为纠错 编码或抗干扰编码。
类型：
连续信
离散信源 消息集X 为离散集
合。
源 时间 离散而 空间连 续的信
波形信源 时间连续 的信源。
源。
根据信源的统计特性，离散信源又分为两种：
无记忆信源 X的各时刻取值相互独立。
有记忆信源 X的各时刻取值互相有关联。
1.4 离散信道及其数学模型
信道是信息传输的通道，如图1-3，信道可看作一个变换器， 它将输入消息x变换成输出消息y，以信道转移概率p (yx ) 来描述信道的统计特性。
1. 非负性 2. 对称性 3. I (X ;Y ) H (X ) H (X | Y )
H (Y ) H (Y | X ) H (X ) H (Y ) H ( X | Y )
条件互信息
I ( X ;Y
| Z)
xyz
p(xyz) log
p(xy | z) p(x | z)
• 译码准则
• 这时定义一个收到yj后判定为xi的单值函数， 即： F(yj)=xi (i=1,2,…n; j=1,2,…m)；这个 函数称为译码函数。它构成一个译码函数组， 这些函数的值组成了译码准则。
• 对于有n个输入，m个输出的信道来说，可 以有nm个不同的译码准则。例如上面例子 中有4中译码准则分别为：
凸函数
• 凸集R：a，b属于R， a(1)b也属于R， 其中0≤≤1
• 概率矢量
矢量a的所有分量和为1
• 上凸函数
f (a) (1 ) f (b ) f (a (1 )b )
凸函数的性质
1. f(a)是上凸的，－f(a)是下凸的 2. f1(a),…,fL(a)是R上的上凸函数，c1,…,cL
xy
H ( XY) H ( X ) H (Y | X ) H (Y ) H ( X | Y )
熵的凸性
• H(P)是P的上凸函数
H (P1 (1 )P2 ) H (P1) (1 )H (P2 )
平均互信息量
I ( X ;Y )
xy
p(xy) log
p(x | y) q(x)
Huffman编码
• 例(0.20,0.19,0.18,0.17,0.15,0.10,0.01)
平均码长
n p(ak )nk
k
Shannon-Fano-Elias编码
算术码
• 失真
基本概念
o 信道编码定理——欲无失真，必 R < C
若 R > C，必失真
o 失真必要性——
➢ 连续信源R趋向于无穷大，必有失真
波形信道 信道的输入和输出都是时间上连续， 并且取值也连续的随机信号。 根据统计特性，即转移概率p (yx )的不同，信道又可分类为：
无记忆信道 信道的输出y只与当前时刻的输入x有关。
有记忆信道 信道的输出y不仅与当前时刻的输入有关， 还与以前的输入有统计关系 。
1.4.1 离散无记忆信道
离散无记忆信道的输入和输出消息都是离散无记忆的单个符号， 输入符号xi { a1 , a2 , … , ak}，1 i I，输出符号yj { b1 , b2 , … , bD }，1 j J，信道的特性可表示为转移概率矩阵：
p ( y x)
x
y
信
道
图1-3 信道模型
信道可以按不同的特性进行分类，根据输入和输出信号的特 点可分为：
离散信道 信道的输入和输出都是时间上离散、取值 离散的随机序列。离散信道有时也称为数字信道。
连续信道 信道的输入和输出都是时间上离散、 取值连续的随机序列，又称为模拟信道
半连续信道 输入序列和输出序列一个是离散的， 而另一个是连续的。
➢ 压缩亦有失真
o 失真可能性——终端性能有限，如人眼,人耳
• 研究：信息率～允许失真——信息率失真理论
失真矩阵 将所有的失真函数 d(xi,yj)，i=1,2,…,n；
j＝1,2,…,m排列起来，用矩阵表示为
d (x1, y1 ) d
d (xn , y1 )
d (x1, ym )
唯一可译码定理
• 设原始信源符号集为S:{S1,S2,…Sq}，码元符 号集为x:{x1,x2,…,xr}，码字集合为 W:{W1,W2,…Wq}，其码长分别为 L1,L2,…,Lq；则唯一可译码存在的充要条件 为码长组合满足Kraft不等式，即
q
r li 1
i 1
式中，r是进制数，q是信源符号数，l为码字 长度。
当式中的每一项的P{F(yj)=xi/yj}达到最大值时，平 均错误译码概率就可以为最小值。
转移概率，满足0 p (yjxi ) 1，且
。
J
p( y j xi ) 1
j 1
离散集的平均自信息量－ 熵
熵
H(x) q(x)log q(x)
条件熵和联合熵
H(X | Y) p(xy)log p(x | y)
xy
XY独立时有H(X|Y)=H(X)
H ( XY) p(xy) log p(xy)
是正数，c1f1(a)+…+cLfL(a)也是上凸函 数 3. f(a)是上凸函数，E[f(a)]≤f[E(a)],E为求 数学期望
香农信息论三大定理
第一极限定理: 无失真信源编码定理。
第二极限定理: 信道编码定理(包括离 散和连续信道)。
第三极限定理: 限失真信源编码定理。
一些基本概念
• 二元码 • 定长码 • 变长码 • 非奇异码 • 奇异码 • 同价码 • 分组码 • 唯一可译码 • 即时码 • 码的前缀 • 码树
对于信息论的研究，一般划分为三个不同的范畴：
狭义信息论，即通信的数学理论，主要研究狭义 信息的度量方法，研究各种信源、信道的描述和信 源、信道的编码定理。
实用信息论，研究信息传输和处理问题，也就是 狭义信息论方法在调制解调、编码译码以及检测理论 等领域的应用。
广义信息论，包括信息论在自然和社会中的新的 应用，如模式识别、机器翻译、自学习自组织系统、 心理学、生物学、经济学、社会学等一切与信息问题 有关的领域。
d (xn , ym )
R(D) min I (X ;Y ) PD
说明: R（D）也称率失真函数。
对于离散无记忆信源，R（D）函数可写成
R(D)
min
pijpD
n i1
m j 1
p(xi ) p( y j
/ xi ) log
p( y j / xi ) p(yj )
m
q1 i0
Q1 j0
p(xi ) p( y j
/
xi ) log
p( y j / xi ) p(y j )
如何计算信道容量?
• （1）对称DMC信道的容量 什么叫对称DMC信道? 如果转移概率矩阵P的每一行都是第一行的
置换（包含同样元素），称该矩阵是输入对称的； 如果转移概率矩阵P的每一列都是第一列的置换 （包含同样元素），称该矩阵是输出对称的；如 果输入、输出都对称，则称该DMC为对称的 DMC信道。
A:{F(0)=0;F(1)=0} B:{F(0)=0;F(1)=1}
C:{F(0)=1;F(1)=0} D:{F(0)=1;F(1)=1}
译码错误概率
6.1.3最大后验概率准则
• 由平均错误译码概率的表达式可以看出，错误译码 概率与信道输出端随机变量Y的概率分布p(yj)有关， 也与译码准则有关。当信道信道转移概率p(yj/xi)确 定后，而且信源统计特性p(xi)确定之后，信道输出 端的p(yj)也就确定了。因为：p(xi,yj)=p(xi)p(yj/xi); 而p(yj)可以由p(xi,yj)的(i=1,2, n)求和得到。
pj 1
j 1
m
n
Dmax min p j pidij
j1 i1
n
Dmax
min
j1,2, ,m
i 1
pi d ij
输入 x X
信道模型
输入 y Y
转移概率矩阵
p( y / x)
图5-1-2 信道模型
5.1.2 信道容量
• 1．如何刻画DMC信道的容量?
1.2 信息传输系统
通信的基本问题是在彼时彼地精确地或近似地再现此时此 地发出的消息。
各种通信系统，一般可概括为图1.1所示的统计模型：
信源
图1-1 信息传输系统模型 信源编码器 信道编码器
等效干扰 信道
等效信源 等效信宿
信
干
道
扰
源
信宿
信源译码器 信道译码器
这个模型包括以下五个部分： 1.信源 信源是产生消息的源。
• 信源编码之后的码字序列抗干扰能力很脆 弱，在信道噪声的影响下容易产生差错， 为了提高通信系统的有效性和可靠性，要 在信源编码器和信道之间加上一个信道编 码器，
译码准则的含义
• 一个例子wenku.baidu.com影响通信系统可靠性的一个重要问题是译码方式，可以
通过一个例子看一下； 有一个BSC信道，如图所示。
• 对于这样一个信道，如果采用自然的译码准则， 即收0判0，收1判1；这时可以明显看到，当信 源先验概率的等概时p(0)=p(1)=1/2；这时收到 Y判X的后验概率等于信道转移概率，系统正 确的译码概率为1/4，错误译码概率为3/4。但 如果采用另一种译码准则，收0判1，收1判0； 则系统正确的译码概率为3/4，错误译码概率 为1/4，通信的可靠性提高了。
1.1 信息的概念
物质、能量和信息是构成客观世界的 三大要素。信息是物质和能量在空间 和时间上分布的不均匀程度，或者说 信息是关于事物运动的状态和规律。
通信系统中形式上传输的是消 息，实质上传输的是信息，消息 中包含信息，消息是信息的载体。
信息论是研究信息的基本性质及度量方法，研究信息的
获取、传输、存储和处理的一般规律的科学。
P
p( p(
y1 y1
x1 ) x2 )
p( y1 xI )
p( y2 x1 ) p(y2 x2 )
p( y2 xI )
p( y J p( yJ
x1 x2
) )
p( yJ xI )
p (yjxi )对应为已知输入符号为xi，当输出符号为yj时的信道
信息论基础 总复习
信息论基础
内容提要 信息论是应用近代概率统计方法研究信息 传输、交换、存储和处理的一门学科，也 是源于通信实践发展起来的一门新兴应用 科学。本章首先引出信息的概念，简述信 息传输系统模型的各个组成部分，进而讨 论离散信源和离散信道的数学模型，简单 介绍几种常见的离散信源和离散信道。
I(X;Y) 0 I ( X ;Y ) I (Y ; X ) I ( X ;Y | Z ) I (Y ; X | Z ) I(X;Z) I(X;Y) I ( XY; Z ) I ( X ; Z ) I (Y ; Z | X )
随机变量的相对熵(微分熵)
Hc (x) pX (x) log pX (x)dx
考虑一个DMC信道，其输入字符集是X={x0， x1，…，xq-1}，输出字符集是Y={y0,y1，…， yQ-1}，转移概率P（yj／xi）. 若给定信道的转 移概率和对应于输入符号的概率分布p（xi）, 则 DMC信道容量C为
C max I(X ;Y ) p( xi )
max
p( xi )
I(X ;Y | Z) H(X | Z) H(X | YZ)
I ( X ;YZ ) I ( X ;Y ) I ( X ; Z | Y ) I(X;Z) I(X;Y | Z)
连续随机变量的互信息
I (X ;Y )
pXY (xy) log
pXY (xy) dxdy pX (x) pY ( y)
2. 编码器 编码器是将消息变成适合于 信道传送的信号的设备。
信源编码器，提高传输效率
编码器
信道编码器，提高传输可靠性
3. 信道 信道是信息传输和存储的媒介。
4. 译码器 译码是编码的逆变换，分为 信道译码和信源译码。
5. 信宿 信宿是消息的接收者。
1.3 离散信源及其数学模型
信源是产生消息的源，根据X的不同情况，信源可分为以下
例如：
1/ 3 1/ 6
1/ 3 1/ 6
1/ 6 1/ 3
1/ 1/
63和
1/ 2 1/ 6 1/ 3
1/ 3 1/ 2 1/ 6
1/ 6 1/ 3 1/ 2
都是对称的
第六章 有噪信道编码
6.1 译码准则 与译码错误概率
• 有噪声信道编码的主要目的是提高传输可 靠性，增加抗干扰能力，因此也称为纠错 编码或抗干扰编码。
类型：
连续信
离散信源 消息集X 为离散集
合。
源 时间 离散而 空间连 续的信
波形信源 时间连续 的信源。
源。
根据信源的统计特性，离散信源又分为两种：
无记忆信源 X的各时刻取值相互独立。
有记忆信源 X的各时刻取值互相有关联。
1.4 离散信道及其数学模型
信道是信息传输的通道，如图1-3，信道可看作一个变换器， 它将输入消息x变换成输出消息y，以信道转移概率p (yx ) 来描述信道的统计特性。
1. 非负性 2. 对称性 3. I (X ;Y ) H (X ) H (X | Y )
H (Y ) H (Y | X ) H (X ) H (Y ) H ( X | Y )
条件互信息
I ( X ;Y
| Z)
xyz
p(xyz) log
p(xy | z) p(x | z)
• 译码准则
• 这时定义一个收到yj后判定为xi的单值函数， 即： F(yj)=xi (i=1,2,…n; j=1,2,…m)；这个 函数称为译码函数。它构成一个译码函数组， 这些函数的值组成了译码准则。
• 对于有n个输入，m个输出的信道来说，可 以有nm个不同的译码准则。例如上面例子 中有4中译码准则分别为：
凸函数
• 凸集R：a，b属于R， a(1)b也属于R， 其中0≤≤1
• 概率矢量
矢量a的所有分量和为1
• 上凸函数
f (a) (1 ) f (b ) f (a (1 )b )
凸函数的性质
1. f(a)是上凸的，－f(a)是下凸的 2. f1(a),…,fL(a)是R上的上凸函数，c1,…,cL
xy
H ( XY) H ( X ) H (Y | X ) H (Y ) H ( X | Y )
熵的凸性
• H(P)是P的上凸函数
H (P1 (1 )P2 ) H (P1) (1 )H (P2 )
平均互信息量
I ( X ;Y )
xy
p(xy) log
p(x | y) q(x)
Huffman编码
• 例(0.20,0.19,0.18,0.17,0.15,0.10,0.01)
平均码长
n p(ak )nk
k
Shannon-Fano-Elias编码
算术码
• 失真
基本概念
o 信道编码定理——欲无失真，必 R < C
若 R > C，必失真
o 失真必要性——
➢ 连续信源R趋向于无穷大，必有失真
波形信道 信道的输入和输出都是时间上连续， 并且取值也连续的随机信号。 根据统计特性，即转移概率p (yx )的不同，信道又可分类为：
无记忆信道 信道的输出y只与当前时刻的输入x有关。
有记忆信道 信道的输出y不仅与当前时刻的输入有关， 还与以前的输入有统计关系 。
1.4.1 离散无记忆信道
离散无记忆信道的输入和输出消息都是离散无记忆的单个符号， 输入符号xi { a1 , a2 , … , ak}，1 i I，输出符号yj { b1 , b2 , … , bD }，1 j J，信道的特性可表示为转移概率矩阵：
p ( y x)
x
y
信
道
图1-3 信道模型
信道可以按不同的特性进行分类，根据输入和输出信号的特 点可分为：
离散信道 信道的输入和输出都是时间上离散、取值 离散的随机序列。离散信道有时也称为数字信道。
连续信道 信道的输入和输出都是时间上离散、 取值连续的随机序列，又称为模拟信道
半连续信道 输入序列和输出序列一个是离散的， 而另一个是连续的。
➢ 压缩亦有失真
o 失真可能性——终端性能有限，如人眼,人耳
• 研究：信息率～允许失真——信息率失真理论
失真矩阵 将所有的失真函数 d(xi,yj)，i=1,2,…,n；
j＝1,2,…,m排列起来，用矩阵表示为
d (x1, y1 ) d
d (xn , y1 )
d (x1, ym )
唯一可译码定理
• 设原始信源符号集为S:{S1,S2,…Sq}，码元符 号集为x:{x1,x2,…,xr}，码字集合为 W:{W1,W2,…Wq}，其码长分别为 L1,L2,…,Lq；则唯一可译码存在的充要条件 为码长组合满足Kraft不等式，即
q
r li 1
i 1
式中，r是进制数，q是信源符号数，l为码字 长度。