信息论与编码 第二章 信源与信息熵
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
发出符号序列的无记忆信源
——每次发出1组含2个以上符号的符号序列来代表一 个消息的信源，且各符号之间没有统计关联性。
需要用随机序列（或随机矢量） X =(X1, X2,…, Xl, …, XL)来描 述信源输出的消息，用联合概率分布p(X1, X2,…, Xl, …, XL)来表 示信源特性。 p (X 1 ) p (X 2 ) … p (X l ) … p (X L ) 若离散信源输出的每个符号是统计独立的，且具有相同的概 率空间，则该信源是离散平稳无记忆信源，亦称为独立同分布 （independently identical distribution，i. i. d.）信源。
2.2.1 自信息量
条件自信息量
定义：
I ( xi | y j ) log p( xi | y j )
含义：表示在给定yj条件下，符号xi出现时收信者得 到的信息量。 推论：因为
p( xi , y j ) p( xi | y j ) p( y j )
则有 I ( xi , y j ) I ( xi | y j ) I ( y j )
px ( x) 0,
b
a
pX ( x)dx 1 或
R
pX ( x)dx 1
解释：信源输出的消息也是单符号，但消息取值有无限多种情况。 符号集A的取值是介于a和b之间的一个连续值，或者取值 为实数集R等，我们用连续型随机变量来表示。
2.1.1 无记忆信源
无记忆信源
所发出的各个符号是相互独立的，发出的符号序列 中的各个符号之间没有统计关联性，各个符号的出 现概率是它自身的先验概率。
p( X1 , X 2 , X l , X L ) p( X l ) [ p( X )]L
l 1
L
2.1.2 有记忆信源
有记忆信源——在不同时刻发出的符号是相互依赖的。 发出符号序列的有记忆信源 ——每次发出1组含2个以上符号的符号序列来代表一 个消息的信源，且各符号之间是相互依赖的。
2.1 信源的描述和分类
信源的分类
按照信源发出的符号之间的关系还可以分为：
信源
{
无记忆信源 有记忆信源
{发出符号序列的无记忆信源 发出符号序列的有记忆信源 { 发出符号序列的马尔可夫信源
发出单个符号的无记忆信源
2.1.1 无记忆信源
无记忆信源
所发出的各个符号是相互独立的，发出的符号序列
中的各个符号之间没有统计关联性，各个符号的出
第二章 信源与信息熵
2.1 信源的描述和分类
信源
定义：产生消息(符号)、消息序列和连续消息的来源。 ---产生随机变量、随机序列和随机过程的源。
在通信系统中收信者在未收到消息以前对信源发出什 么消息是不确定的,是随机的，所以可用随机变量、随 机序列或随机过程来描述信源输出的消息 。
信源的基本特性：具有随机不确定性。
此时的联合概率表示就需要引入条件概率来反映信源发出的 符号序列中各个符号之间的记忆特征：
p( X 1 , X 2 , X 3 , X L ) p( X L | X L 1 , X 1 ) p( X 1 , X 2 , X L 1 ) p( X L | X L 1 , X 1 ) p( X L 1 | X L 2 , X 1 ) p( X 1 , X 2 , X L 2 )
信源熵是一个非负量。
2.2.2 离散信源熵
例如有两个信源，其概率空间如下所示，分别求出这 两个信源的信源熵:
X x1 , x2 0 . 99 0 . 01 p ( x )
Y y1 , y2 0 . 5 0 . 5 p( y )
无记忆信源
{发出符号序列的无记忆信源
发出单个符号的无记忆信源
{
离散 连续
2.1.1 无记忆信源
发出单个符号的连续无记忆信源
——指信源每次只发出一个符号代表一个消息， 且消息的取值是连续的。 概率空间： p ( x ) P X
X (a, b)
或
R p ( x) X
单位为bit/符号
信源熵
i
i
——信源的平均不确定度。（信源中各个符号不确定度的 数学期望）
H ( X ) E[ I ( X )] p( xi )log p( xi )
i
单位为bit/符号
区别：
•信源熵在数值上与平均自信量相等，但含义不同。 •对于某一信源，它的各个符号具有的概率分布决定了该信源的平均不 确定度（即信源熵） •平均自信息量是消除信源不确定度时所需要的信息量。当接收者收到 这样大的信息量时，信源的不确定度就被消除了。
p(ai)是X =ai的先验概率
单符号离散信源的数学模型—概率空间
X a1 P p(a ) 1
an p(a2 ) p(an ) a2
p(ai ) 0
p (a ) 1
源自文库i 1 i
n
2.1.1 无记忆信源
无记忆信源
所发出的各个符号是相互独立的，发出的符号序列 中的各个符号之间没有统计关联性，各个符号的出 现概率是它自身的先验概率。
H ( X ) 0.99lb0.99 0.01lb0.01 0.08(比特 / 符号)
H (Y ) 0.5lb0.5 0.5lb0.5 1(比特 / 符号)
H(Y) ＞H(X) ， 信源Y 比信源X 的平均不确定度要大。
2.2.2 离散信源熵
例2－7
二元信源是离散信源的一个特例。该信源X 输出符号只有 两个,设为0和1。输出符号发生的概率分别为p和q，p＋q=l。 即信源的概率空间为 ： X 0 1 P p q 则二元信源熵为： H(X)= －plogp－qlogq = －plogp－ (1－ p)log(1－p) =H(p) 引申 最大熵定理：对于单符号离散无记忆信 源，若符号取值有M种可能，则当且仅当 各个取值出现概率相等时（即 pi 1/ M ）， P19 图2-5 熵函数 信源熵最大。
X (a1 , a1 ) P p(a , a ) 1 1
(an , an ) p(a1 , a2 ) p(an , an ) (a1 , a2 )
i , j 1
p(ai , a j ) 0
p(a , a ) 1
i j
n
2.1.1 无记忆信源
I=－log2(1/2m)=m bit
2.2.1 自信息量
自信息量I (xi)的特性：
⑴ I (xi)是非负值
⑵ 当p(xi) = 1时， I (xi) = 0
⑶ 当p (xi) = 0时， I (xi) =∞
⑷ I (xi)是先验概率p (xi)的单调递减函数，即 当p (x1)＞p (x2)时， I (x1) ＜ I (x2) ⑸可加性 ： 两个独立事件的联合信息量等于它们分别的信 息量之和。
2.1 信源的描述和分类
信源的分类
按照信源发出的消息在时间上和幅度上的分布情况可 将信源分成离散信源和连续信源两大类 ： 离散信源: 文字、数据、电报
信源
{ 连续信源: 话音、图像
2~3 1~2 0~1 2 1 0
电 压 5~6 4~5 范围 量化 5 4
3~4
3
电 压 -1~0 -2~-1 -3~-2 -4~-3 -5~-4 -6~-5 范围
现概率是它自身的先验概率。
无记忆信源
{发出符号序列的无记忆信源
发出单个符号的无记忆信源
{
离散 连续
2.1.1 无记忆信源
发出单个符号的离散无记忆信源
——指信源每次只发出一个符号代表一个消息， 且消息的取值个数是有限的（或可列无限多个）。 例如扔骰子，每次实验结果必然是1～6点中的某一 个面朝上。每次实验的结果不随实验次数变化，也 不与先前的实验结果相关，因而该信源是单符号离
2.2.2 离散信源熵
信源熵
——信源的平均不确定度。
H ( X ) E[ I ( X )] p( xi )log p( xi )
i
单位为bit/符号
信源熵是在平均意义上来表征信源的统计特性，它是信源X的函数。
当信源给定，各符号的概率空间就给定，信源熵就是一个确定的值。
不同的信源因概率空间不同而具有不同的信源熵。
2.2 离散信源熵和互信息
问题：信源发出的信息如何度量？
信源在某一个时刻发出哪个符号是随机的。 但各符号出现的概率是确定的。 概率的大小决定的信息量的大小。
2.2.1 自信息量
自信息量定义
•设离散信源X，其概率空间为：
X a1 P p(a ) 1
散无记忆信源。可用一个离散型随机变量X来描述这
个信源输出的消息。
2.1.1 无记忆信源
发出单个符号的离散无记忆信源
可用一个离散型随机变量X来描述这个信源输出的消息。 随机变量X的样本空间就是符号集：
A {a1 , a2 ,, an }
X的概率分布为：
P { p(a1 ), p(a2 ),, p(an )}
量化 -1
-2
-3
-4
-5
-6
2.1 信源的描述和分类
信源的分类
按照信源发出的消息在时间上和幅度上的分布情况可 将信源分成离散信源和连续信源两大类 ： 离散信源: 文字、数据、电报
信源
{ 连续信源: 话音、图像
离散信源 指发出在时间和幅度上都是离散分布的离散消息的信源， 如文字、数字、数据等符号都是离散消息。 连续信源 指发出在时间和幅度上是连续分布的连续消息（模拟消 息）的信源，如语音、图像、图形等都是连续消息。
2.2.1 自信息量
自信息量举例 一个发出二进制码元0和1的信源，当符号概率为 p(0)=1/4, p(1)=3/4，则这两个符号所包含的自信息量 分别为： I(0) =－log2 (1/4)=log24= 2bit I(1) =－log2 (3/4) =0.4151 bit 一个以等概率出现的二进制码元0和1信源，则这两个 符号所包含的自信息量分别为： I(0)= I(1)= －log2 (1/2)=log22=1 bit 若上述信源输出为一个m位的二进制序列X，则每 个m位二进制序列的自信量均相等，为：
即当xi和yi相互独立时，有： I ( xi , y j ) I ( xi ) I ( y j )
2.2.1 自信息量
信源符号不确定度 定义：信源符号不确定度在数量上等于该信源符号的自信 息量。
不确定度与自信息量的区别:
两者的单位相同，但含义却不相同。 不确定度是信源符号固有的，不管符号是否发出； 而自信量是信源符号发出后给予收信者的。为了消除 该符号的不确定度，接收者需要获得信息量。
无记忆信源
{ 发出符号序列的无记忆信源
发出单个符号的无记忆信源
{
离散 连续
2.1.1 无记忆信源
发出符号序列的信源
——每次发出1组含L个（L≥2）符号的符号序列来代表一 个消息的信源。
需要用随机序列（或随机矢量） X =(X1, X2,…, Xl, …, XL)来描 述信源输出的消息，用联合概率分布p(X1, X2,…, Xl, …, XL)来表 示信源特性。 当L=2时，此时信源为X =(X1, X2) ，其概率空间为：
an p(a2 ) p(an ) a2
•如果知道事件xi已发生,则该事件所含有的自信息量定义为:
I ( xi ) log p( xi )
信息量单位的确定： 在信息论中常用的对数底是2,信息量的单位为比特(bit)； 若取自然对数,则信息量的单位为奈特(nat); 若以10为对数底,则信息量的单位为笛特(det)。 1 nat＝lb（e） ≈ l.433 bit， l det＝lb（10）≈3.322 bit
即符号xi , y j同时出现的信息量等于y j出现的信息量加上 y j出现后xi再出现的信息量。
I ( xi | y j )
I(yj)
2.2.2 离散信源熵
信源平均自信息量
——信源中各个符号自信量的数学期望。
E[ I ( X )] p( xi ) I ( xi ) p( xi ) log p( xi )
——每次发出1组含2个以上符号的符号序列来代表一 个消息的信源，且各符号之间没有统计关联性。
需要用随机序列（或随机矢量） X =(X1, X2,…, Xl, …, XL)来描 述信源输出的消息，用联合概率分布p(X1, X2,…, Xl, …, XL)来表 示信源特性。 p (X 1 ) p (X 2 ) … p (X l ) … p (X L ) 若离散信源输出的每个符号是统计独立的，且具有相同的概 率空间，则该信源是离散平稳无记忆信源，亦称为独立同分布 （independently identical distribution，i. i. d.）信源。
2.2.1 自信息量
条件自信息量
定义：
I ( xi | y j ) log p( xi | y j )
含义：表示在给定yj条件下，符号xi出现时收信者得 到的信息量。 推论：因为
p( xi , y j ) p( xi | y j ) p( y j )
则有 I ( xi , y j ) I ( xi | y j ) I ( y j )
px ( x) 0,
b
a
pX ( x)dx 1 或
R
pX ( x)dx 1
解释：信源输出的消息也是单符号，但消息取值有无限多种情况。 符号集A的取值是介于a和b之间的一个连续值，或者取值 为实数集R等，我们用连续型随机变量来表示。
2.1.1 无记忆信源
无记忆信源
所发出的各个符号是相互独立的，发出的符号序列 中的各个符号之间没有统计关联性，各个符号的出 现概率是它自身的先验概率。
p( X1 , X 2 , X l , X L ) p( X l ) [ p( X )]L
l 1
L
2.1.2 有记忆信源
有记忆信源——在不同时刻发出的符号是相互依赖的。 发出符号序列的有记忆信源 ——每次发出1组含2个以上符号的符号序列来代表一 个消息的信源，且各符号之间是相互依赖的。
2.1 信源的描述和分类
信源的分类
按照信源发出的符号之间的关系还可以分为：
信源
{
无记忆信源 有记忆信源
{发出符号序列的无记忆信源 发出符号序列的有记忆信源 { 发出符号序列的马尔可夫信源
发出单个符号的无记忆信源
2.1.1 无记忆信源
无记忆信源
所发出的各个符号是相互独立的，发出的符号序列
中的各个符号之间没有统计关联性，各个符号的出
第二章 信源与信息熵
2.1 信源的描述和分类
信源
定义：产生消息(符号)、消息序列和连续消息的来源。 ---产生随机变量、随机序列和随机过程的源。
在通信系统中收信者在未收到消息以前对信源发出什 么消息是不确定的,是随机的，所以可用随机变量、随 机序列或随机过程来描述信源输出的消息 。
信源的基本特性：具有随机不确定性。
此时的联合概率表示就需要引入条件概率来反映信源发出的 符号序列中各个符号之间的记忆特征：
p( X 1 , X 2 , X 3 , X L ) p( X L | X L 1 , X 1 ) p( X 1 , X 2 , X L 1 ) p( X L | X L 1 , X 1 ) p( X L 1 | X L 2 , X 1 ) p( X 1 , X 2 , X L 2 )
信源熵是一个非负量。
2.2.2 离散信源熵
例如有两个信源，其概率空间如下所示，分别求出这 两个信源的信源熵:
X x1 , x2 0 . 99 0 . 01 p ( x )
Y y1 , y2 0 . 5 0 . 5 p( y )
无记忆信源
{发出符号序列的无记忆信源
发出单个符号的无记忆信源
{
离散 连续
2.1.1 无记忆信源
发出单个符号的连续无记忆信源
——指信源每次只发出一个符号代表一个消息， 且消息的取值是连续的。 概率空间： p ( x ) P X
X (a, b)
或
R p ( x) X
单位为bit/符号
信源熵
i
i
——信源的平均不确定度。（信源中各个符号不确定度的 数学期望）
H ( X ) E[ I ( X )] p( xi )log p( xi )
i
单位为bit/符号
区别：
•信源熵在数值上与平均自信量相等，但含义不同。 •对于某一信源，它的各个符号具有的概率分布决定了该信源的平均不 确定度（即信源熵） •平均自信息量是消除信源不确定度时所需要的信息量。当接收者收到 这样大的信息量时，信源的不确定度就被消除了。
p(ai)是X =ai的先验概率
单符号离散信源的数学模型—概率空间
X a1 P p(a ) 1
an p(a2 ) p(an ) a2
p(ai ) 0
p (a ) 1
源自文库i 1 i
n
2.1.1 无记忆信源
无记忆信源
所发出的各个符号是相互独立的，发出的符号序列 中的各个符号之间没有统计关联性，各个符号的出 现概率是它自身的先验概率。
H ( X ) 0.99lb0.99 0.01lb0.01 0.08(比特 / 符号)
H (Y ) 0.5lb0.5 0.5lb0.5 1(比特 / 符号)
H(Y) ＞H(X) ， 信源Y 比信源X 的平均不确定度要大。
2.2.2 离散信源熵
例2－7
二元信源是离散信源的一个特例。该信源X 输出符号只有 两个,设为0和1。输出符号发生的概率分别为p和q，p＋q=l。 即信源的概率空间为 ： X 0 1 P p q 则二元信源熵为： H(X)= －plogp－qlogq = －plogp－ (1－ p)log(1－p) =H(p) 引申 最大熵定理：对于单符号离散无记忆信 源，若符号取值有M种可能，则当且仅当 各个取值出现概率相等时（即 pi 1/ M ）， P19 图2-5 熵函数 信源熵最大。
X (a1 , a1 ) P p(a , a ) 1 1
(an , an ) p(a1 , a2 ) p(an , an ) (a1 , a2 )
i , j 1
p(ai , a j ) 0
p(a , a ) 1
i j
n
2.1.1 无记忆信源
I=－log2(1/2m)=m bit
2.2.1 自信息量
自信息量I (xi)的特性：
⑴ I (xi)是非负值
⑵ 当p(xi) = 1时， I (xi) = 0
⑶ 当p (xi) = 0时， I (xi) =∞
⑷ I (xi)是先验概率p (xi)的单调递减函数，即 当p (x1)＞p (x2)时， I (x1) ＜ I (x2) ⑸可加性 ： 两个独立事件的联合信息量等于它们分别的信 息量之和。
2.1 信源的描述和分类
信源的分类
按照信源发出的消息在时间上和幅度上的分布情况可 将信源分成离散信源和连续信源两大类 ： 离散信源: 文字、数据、电报
信源
{ 连续信源: 话音、图像
2~3 1~2 0~1 2 1 0
电 压 5~6 4~5 范围 量化 5 4
3~4
3
电 压 -1~0 -2~-1 -3~-2 -4~-3 -5~-4 -6~-5 范围
现概率是它自身的先验概率。
无记忆信源
{发出符号序列的无记忆信源
发出单个符号的无记忆信源
{
离散 连续
2.1.1 无记忆信源
发出单个符号的离散无记忆信源
——指信源每次只发出一个符号代表一个消息， 且消息的取值个数是有限的（或可列无限多个）。 例如扔骰子，每次实验结果必然是1～6点中的某一 个面朝上。每次实验的结果不随实验次数变化，也 不与先前的实验结果相关，因而该信源是单符号离
2.2.2 离散信源熵
信源熵
——信源的平均不确定度。
H ( X ) E[ I ( X )] p( xi )log p( xi )
i
单位为bit/符号
信源熵是在平均意义上来表征信源的统计特性，它是信源X的函数。
当信源给定，各符号的概率空间就给定，信源熵就是一个确定的值。
不同的信源因概率空间不同而具有不同的信源熵。
2.2 离散信源熵和互信息
问题：信源发出的信息如何度量？
信源在某一个时刻发出哪个符号是随机的。 但各符号出现的概率是确定的。 概率的大小决定的信息量的大小。
2.2.1 自信息量
自信息量定义
•设离散信源X，其概率空间为：
X a1 P p(a ) 1
散无记忆信源。可用一个离散型随机变量X来描述这
个信源输出的消息。
2.1.1 无记忆信源
发出单个符号的离散无记忆信源
可用一个离散型随机变量X来描述这个信源输出的消息。 随机变量X的样本空间就是符号集：
A {a1 , a2 ,, an }
X的概率分布为：
P { p(a1 ), p(a2 ),, p(an )}
量化 -1
-2
-3
-4
-5
-6
2.1 信源的描述和分类
信源的分类
按照信源发出的消息在时间上和幅度上的分布情况可 将信源分成离散信源和连续信源两大类 ： 离散信源: 文字、数据、电报
信源
{ 连续信源: 话音、图像
离散信源 指发出在时间和幅度上都是离散分布的离散消息的信源， 如文字、数字、数据等符号都是离散消息。 连续信源 指发出在时间和幅度上是连续分布的连续消息（模拟消 息）的信源，如语音、图像、图形等都是连续消息。
2.2.1 自信息量
自信息量举例 一个发出二进制码元0和1的信源，当符号概率为 p(0)=1/4, p(1)=3/4，则这两个符号所包含的自信息量 分别为： I(0) =－log2 (1/4)=log24= 2bit I(1) =－log2 (3/4) =0.4151 bit 一个以等概率出现的二进制码元0和1信源，则这两个 符号所包含的自信息量分别为： I(0)= I(1)= －log2 (1/2)=log22=1 bit 若上述信源输出为一个m位的二进制序列X，则每 个m位二进制序列的自信量均相等，为：
即当xi和yi相互独立时，有： I ( xi , y j ) I ( xi ) I ( y j )
2.2.1 自信息量
信源符号不确定度 定义：信源符号不确定度在数量上等于该信源符号的自信 息量。
不确定度与自信息量的区别:
两者的单位相同，但含义却不相同。 不确定度是信源符号固有的，不管符号是否发出； 而自信量是信源符号发出后给予收信者的。为了消除 该符号的不确定度，接收者需要获得信息量。
无记忆信源
{ 发出符号序列的无记忆信源
发出单个符号的无记忆信源
{
离散 连续
2.1.1 无记忆信源
发出符号序列的信源
——每次发出1组含L个（L≥2）符号的符号序列来代表一 个消息的信源。
需要用随机序列（或随机矢量） X =(X1, X2,…, Xl, …, XL)来描 述信源输出的消息，用联合概率分布p(X1, X2,…, Xl, …, XL)来表 示信源特性。 当L=2时，此时信源为X =(X1, X2) ，其概率空间为：
an p(a2 ) p(an ) a2
•如果知道事件xi已发生,则该事件所含有的自信息量定义为:
I ( xi ) log p( xi )
信息量单位的确定： 在信息论中常用的对数底是2,信息量的单位为比特(bit)； 若取自然对数,则信息量的单位为奈特(nat); 若以10为对数底,则信息量的单位为笛特(det)。 1 nat＝lb（e） ≈ l.433 bit， l det＝lb（10）≈3.322 bit
即符号xi , y j同时出现的信息量等于y j出现的信息量加上 y j出现后xi再出现的信息量。
I ( xi | y j )
I(yj)
2.2.2 离散信源熵
信源平均自信息量
——信源中各个符号自信量的数学期望。
E[ I ( X )] p( xi ) I ( xi ) p( xi ) log p( xi )