信息论与编码PPT课件

四、离散平稳信源
五、信源的剩余度
信息论与编码基础
1、自信息 2、信源的信息熵 3、熵的基本性质
离散信源
信息论与编码基础
离散信源
❖简单的离散信源模型
P X(x)P(aa 11)
a2 P(a2)
... aq ...P(aq)
q
P(ai ) 1
i 1
信息论与编码基础
离散信源
1、自信息 期末考试中，我挤进了班级十强。
X p(x)
(a,b)
p(x)
或
R
p
(
x
)
b p(x)dx1
或
p(x)dx1
a
R
例如：语音信号；遥控系统中测得的电压、温度、压力等连续数据。
信息论与编码基础
离散信源
➢复杂信源
例1：中文自然语言文字信源
牛气冲 天 例2：离散化的平面灰度图像信源
信息论与编码基础
离散信源
2) 信源输出的消息由随机矢量描述
2. I (xi)是p(xi)的连续函数。 3. I (xi )是p(xi)的减函数，即：
如果p(xi) > p(xj)，则I(xi) < I(xj)。 极限情况，若p(xi) = 0, 则 I(xi) → ∞； 若 p(xi) = 1, 则I(xi) = 0。
4.若两个单符号离散信源（符号集合X, Y ）统计独立, 则X中出现xi 、Y中出现yj的联合信息量 I (xi , yj) = I (xi) + I (yj)
符号离散信源。信源的输出符号集就是四种不同的颜色A：{红
黄、蓝、白}，试构建这个信源的信源空间。
红(100) 黄(50) 蓝(25) 白(25)
P X(x)1a12
a2 1
4
a3 1
8
a4 18
样本 概率
信息论与编码基础
离散信源
定义2.2 若信源输出的是单个符号的消息，但是其可 能出现的消息数是不可数的无限值，即输出消息的取 值是连续的，这样的信源称为简单的连续信源。
1期末P(考ai试) 中P ，(a 我j)挤进0了年I级(a十i)强I。(aj)
P(a6i0)3教1 学I楼(a已i)经开0始使用I(。ai
)
logr
1 P(ai
)
小P明(a体i ) 育0经I常(a不i)及格，昨天测试成绩排名第一。
现北a在 京i , 正 天b j 相在 安互进 门独行 前立有《游信客息I(a 在论ib照与j) 相编I。码(ai基)础I(》bj)课程学习。
P X(x)P(aa 11)
a2 P(a2)
... aq ...P(aq)
q
P(ai ) 1
i 1
信源空间
信息论与编码基础
离散信源
例 箱子中有红、黄、蓝、白四种不同颜色的彩球，它们大小 质量、重量完全一样。若从这个箱子中任意摸取出一个球，并 把球的颜色当作试验的结果。这个随机试验就可看作是一个单
五、信源的剩余度
信息论与编码基础
离散信源
信源的分类
D.S
离散信源：电报、文字、代码 连续信源信：源模输拟出语的音消、息模拟由由视随随频机机矢变量量描描述述
由随机过程描述 C.S
信息论与编码基础
离散信源
❖概念
样本空间
事物所有可能选择的消息的集合。
概率空间 一个样本空间和它的概率测度。
X
P
(
x
)
信息论与编码基础
离散信源
度量信息的基本思路
若信源中事件xi的出现所带来的信息量 用I(xi)来表示并称之为事件xi的自信息 量，
则概率为p(xi)的信源输出xi所包含的信 息量I(xi)必须满足以下几个条件：
信息论与编码基础
离散信源
度量信息的基本思路
1. 信它源的输取出值x无i所关包。含的信息量仅依赖于它的概率，而与
信息论与编码基础
学而不思则罔， 思而不学则殆。
－孔子
信息论与编码基础
离散信源
一、信源的数学模型及分类 二、离散信源的信息熵及其性质 三、离散无记忆的扩展信源
四、离散平稳信源
五、信源的剩余度
信息论与编码基础
离散信源
一、信源的数学模型及分类 二、离散信源的信息熵及其性质 三、离散无记忆的扩展信源
四、离散平稳信源
p ( x i|x i 1 .x . i m .. p .( x ) i|x i 1 .x . i m ) .
信息论与编码基础
离散信源
2) 信源输出的消息由随机矢量描述
定义2.4 若连续信源输出的消息是由一系列符号所组成 的，这样的信源称为多维的连续信源。
连续平稳信源： 随机矢量的各维概率密度都与时间起点无关
信息论与编码基础
离散信源
3) 信源输出的消息由随机过程描述
模随拟机语波音形X 信( t ) 源 模拟视频 ຫໍສະໝຸດ Baidu(x0,y0,t)
只时要间是随离时散机间的过上取程或样频值率来上表为示有随，限而机的每序过个列程取，样就值可都以是把离连随续散机型信过随源程机用变一量系。列
信息论与编码基础
离散信源
一、信源的数学模型及分类 二、离散信源的信息熵及其性质 三、离散无记忆的扩展信源
定义2.3 若离散信源输出的消息是由一系列符号 所组成的（不妨假设由N个符号组成，其中N为有 限正整数或可数的无限值），这样的信源称为多 维的离散信源。
X (X 1 ,X 2,.X .N .),
信息论与编码基础
离散信源
P X (N i) P ( 11)
2 P(2)
......P (qq NN)
其中 i (ai1ai2..a.iN) ik{1,2,..q.}
1)离散无记忆信源
扩展信源
2)离P 散(x 有 记P iX 忆)( x 信)P 源( a i1 a P i2(a ,a 11 .)a .iN) P . (a ,a 2k 2 N )1P ..(X ..马k ..P 尔(a a a q 可ik q))夫信源
问题：什么函数能够同时满足以上条件呢？
自信信息息论含与义编码基础
离散信源
❖自信息
I(ai )
logr
1 P(ai )
r = 2 bit r = e nat r = 10 hart
含义 当 a i 发生以前，表示 a i发生的不确定性 当 a i 发生以后，表示 a i 所提供的信息量
信息论与编码基础
离散信源
1) 信源输出的消息由随机变量描述
例 若扔一颗均匀的骰子，分析研究其下落后， 朝上一面的点数。
P X(x)1a1 6
a2 16
a3 16
a4 16
a5 16
a6 16
信息论与编码基础
离散信源
定义2.1 若信源输出的消息数是有限的或可数的，而 且每次只输出符号集中的一个消息，这样的信源称为 简单的离散信源。