离散无记忆的扩展信源
信息论基础ppt
X q(X
)
x 1 q(x
1
)
x2 q(x 2 )
xm q(x m )
x为各种长为N的符号序列，x = x1 x2 … xN ，xi { a1 , a2 , … , ak }，1 i N，序列集X = {a1a1… a1 , a1a1… a2 , … , akak… ak }，共有kN种序列，x X。
X q(
X
)
x1 q(
x1
)
x2 q(x2 )
xI q(xI )
q(xi )：信源输出符号消息xi的先验概率; I 满足：0 q(xi) 1，1 i I q(xi ) 1 i 1
1.3.2 离散无记忆的扩展信源
实际情况下，信源输出的消息往往不是单个符号，而是由
许多不同时刻发出的符号所组成的符号序列。设序列由N个 符号组成，若这N个符号取自同一符号集{ a1 , a2 , … , ak}， 并且先后发出的符号彼此间统计独立，我们将这样的信源称 作离散无记忆的N维扩展信源。其数学模型为N维概率空间：
P
p( p(
y1 y1
x1 ) x2 )
p( y1 xI )
p( y2 x1 ) p(y2 x2 )
p( y2 xI )
p( y J p( yJ
x1 x2
) )
p( yJ xI )
p (yjxi )对应为已知输入符号为xi，当输出符号为yj时的信道
转移概率，满足0 p (yjxi ) 1，且
波形信道 信道的输入和输出都是时间上连续， 并且取值也连续的随机信号。 根据统计特性，即转移概率p (yx )的不同，信道又可分类为：
无记忆信源 X的各时刻取值相互独立。
有记忆信源 X的各时刻取值互相有关联。
信息论第2章(2010)
ai 后所获得的信息量。
自信息量的性质：
1）非负性。 2) 单调递减性。 3) 可加性。
I xi ,y j log pxi ,y j
若两个符号x i , y j同时出现，可用联合概率px i , y j 来表示 这时的自信息量为 I y j I xi | y j
例题：二元信源，每个符号发生的概率分别为p(x1)=p，p(x2)=1-p. 试计算信源熵，并画出熵函数H(p)和p的曲线图。
① 等概时（p=0.5)：随机变量具有最大的不确定性
② p=0或1时：随机变量的不确定性消失。
信息熵的物理意义
1）表示了信源输出前，信源的平均不确定性。 2）表示了信源输出后，每个消息或符号所提供的 平均信息量。 3）信息熵反映了变量X的随机性。
平均自信息量H (X ) 表示信源输出消息中的每个符号所含信息量的统计 平均值，其表达式为 q
H ( X ) EI ( xi ) P( xi ) log P( xi )
i 1
式中， E 表示统计平均，
I ( xi ) 表示符号 x i 包含的自信息量。
平均信息量可以表示为：
任何一个物理量的定义都应当符合客观规律和逻辑上 的合理性，信息的度量也不例外。直观经验告诉我们： ① 消息中的信息量与消息发生的概率密切相关：出现消 息出现的可能性越小，则消息携带的信息量就越大。 ② 如果事件发生是必然的（概率为1），则它含有的信息 量应为零。如果一个几乎不可能事件发生了（概率趋 于0），则它含有巨大的信息量。 ③ 如果我们得到不是由一个事件而是由若干个独立事件 构成的消息，那么我们得到的信息量就是若干个独立 事件的信息量的总和。
② 联合信源中平均每个符号对所包含的信息量？
信息论与编码[第二章离散信源及其信息测度]山东大学期末考试知识点复习
![信息论与编码[第二章离散信源及其信息测度]山东大学期末考试知识点复习](https://img.taocdn.com/s3/m/4f9eb902763231126edb115f.png)
第二章离散信源及其信息测度2．1．1 信源的分类信源是信息的来源，是产生消息或消息序列的源泉。
不同的信源输出的消息其随机性质不同。
根据消息所具有的随机性质的不同，对信源进行如下分类：按照消息取值集合以及取值时刻集合的离散性和连续性，信源可分为离散信源(数字信源)和波形信源(模拟信源)；按照某取值时刻消息的取值集合的离散性和连续性，信源可分为离散信源和连续信源；按照信源输出消息所对应的随机序列的平稳性，信源可分为平稳信源和非平稳信源；按照信源输出的信息所对应的随机序列中随机变量前后之间有无统计依赖关系，信源可分为无记忆信源和有记忆信源。
2．1．2 基本信源的数学模型根据信源输出消息所对应的不同的随机特性就有不同的信源数学模型。
而基本的信源数学模型有以下几种。
1．离散信源信源输出的是单个符号或代码的消息，信源符号集的取值是有限的，或可数的，可以用一维离散型随机变量来描述。
信源的数学模型就是离散型随机变量x的概率空间，表示为2．连续信源信源输出的是单个符号或代码的消息，但信源符号集的取值是连续的，可以用一维连续型随机变量来描述。
相应的信源的数学模型就是连续型随机变量的概率空间，表示为其中(a，b)是连续随机变量X的取值区间，R表示全实数集，而p(x)是连续随机变量X的概率密度函数。
2．1．3 离散信源的信息熵1．自信息自信息即为某事件a i发生所含有的信息量。
事件的自信息定义为式中P(a i)是事件a i发生的概率。
自信息的单位有几种：以2为底的对数时单位是比特(bit)；以e为底的自然对数时单位是奈特(nat)；以10为底的常用对数时单位是哈特(hart)。
2．信息熵离散随机变量X的信息熵就是其概率空间中每个事件所含有的自信息量的数学期望，即其单位是：以2为底的对数时是比特／符号(bit／symbol)；以e为底的对数时是奈特／符号(nat／symbol)；以10为底的对数时是哈特／符号(hart／symbol)。
信息论讲义_第七讲
信息理论基础（第七讲）授课教师：于泽电子信息工程学院201教研室2粟傈37010703 docx李远宁docxbarry-hp docx付立37230131苏立焱362301133第三章离散信源内容提要3.1 信源的数学模型及其分类3.2 离散无记忆信源3.3 离散无记忆信源的扩展信源3.4 离散平稳信源3.5 马尔可夫信源3.6 信源的相关性和剩余度4m 时刻有限状态马尔科夫链⎧⎪⎪⎨⎪⎪⎩状态空间转移概率⎧⎪⎪⎨⎪⎪⎩基本转移概率p ij (m )k 步转移概率p (k )ij (m )k 步转移矩阵P ={p (k )ij (m )}齐次马尔科夫链（时齐马尔科夫链）基本转移概率同时刻m 无关（具有平稳转移概率矩阵）C-K 方程初始分布⎫⎪⎬⎪⎭()()()n m n m +=PP Pi 0()i i P X S p ==任意时刻系统的状态分布C-K方程初始分布⎫⎪⎬⎪⎭()()()n m n m+=P P P i()i iP X S p==任意时刻系统的状态分布平稳分布（极限分布）()lim nij j np p →∞=稳态分布存在定理⎧⎪⎪⎨⎪⎪⎩唯一性定理存在定理=W P WiNP中元素均大于零563.5.3 马尔可夫信源1. 状态信源输出符号的概率仅与已经输出的若干个符号有关，而与在前面的符号无关，称这若干个符号为信源的状态S i ，所有可能的状态集合S 称为状态空间{}12,,,mJ J q S S S ==S7{}()()121212112,,,,,,1,2,,m l l q ml l l l l l m x a a a a x x x x u a a a l l l q +⎧=∈⎪⎪⎪⎨=⎪⎪∈⎪⎩信源输出信源状态{}()()121212,,,,,,1,2,,m l l q l l l l m x a a a a u a a a l l l q ⎧=∈⎪⎨=∈⎪⎩信源输出符号在某一状态下信源状态，转入新状态u l+1=(a l1···a lm a l )，J=q m 个状态，m 称为马尔可夫信源阶数8X 1X i+1X 2X i X i+2S j X i-2S j-1X i-1…………S j+1S 2S 1…………121111()()()i i i i i j j j p X X X X p X S p S S +−−+−−==若信源随机状态序列服从马尔可夫链，则称该信源为马尔可夫信源三阶马尔可夫信源92. 马尔可夫信源满足下列条件的信源称为马尔可夫信源(1) 信源输出仅与当时状态有关(2) 信源状态由当时输出符号与前一时刻信源状态决定()()11|,;, |l k l j l j l i l k l j P x a u S x a u S P x a u S −−======= ()0101|,0l i l k l j i i P u S x a u S i i −=⎧====⎨≠⎩10m 阶马尔可夫信源的状态空间为其中，p (S i |S j )由信源符号条件概率确定，()12|mq i jS S S p S S ⎡⎤⎢⎥⎢⎥⎣⎦()112|m mi i i i p a a a a + ()()12112,1,2,,,,,,,,,,m m mi i i i q i j q a a a a a a a +∈∈11(3) 信源的极限熵当时间足够长时，遍历的m 阶马尔可夫信源可视为平稳信源其中，p (S j )是平稳分布()()|jj j s p S H X S =∑121111121lim (|)lim (|)(|)N N N N N m N m N N m m m H H X X X X H X X X X H X X X X H ∞−→∞−−+−→∞++==== 时齐性限制关联长度时齐性定义式1211111111111111,,,,(,,)log (|,,)(,,)(|)log (|)()(|)log (|)()(|)m m mm mm m m m m m ii i i i i i i i i i i i i i i i i i i i i S i i ip x x p x x x p x x p x s p x s p s p x s p x s p s H X s +++++++++=−=−==∑∑∑∑∑ 1m H +H (X|S j )是信源处于状态S j 时的条件熵X 的取值集()()()||log |jj i j i j SH X S p a S p a S =∑()12,,,q A a a a =13例设有一个二进制马尔可夫信源，其信源符号集为{0,1},条件概率为p (0|00)=p (1|11)=0.8p (1|00)=p (0|11)=0.2p (0|01)=p (0|10)=p (1|01)=p (1|10)=0.8信源符号个数q=2，故可能的状态为q m =22=4，S 1=00，S 2=01，S 3=10，S 4=11。
信息论与编码基础第2章离散信源及其信息测度
故：
P1(Xi) = P2 (Xi)= ···= PN (Xi)
N
P( X ) P( X1, X 2, , X N ) P( X i ) i 1
2.1 信源的数学模型及分类
15
设各随机变量 Xi 取自同样符号集 A={a1, a2, …, aq}，则：
N
P( X i ) P(ai1 , ai2 ,..., aiN ) P(aik ), ik {1, 2,..., q} k 1
... ...
aq P(aq )
q
P(ai ) 1
i 1
称事件ai发生所含有的信息量为 ai 的自信息量。定义为：
I (ai )
f [P(ai )] logr
1 P(ai )
logr
P(ai )
2.2 离散信源的信息熵
24
I(ai)代表两种含义：(1) 当事件ai 发生以前，表示事件ai 发生 的不确定性；(2) 当事件ai 发生以后，表示事件ai 所提供的信 息量。
1
信息论与编码基础
第二章 离散信源及其信息测度
第二章 离散信源及其信息测度
2
消息是信息的载荷者。对信息的研究，要从消息开始。 信源是产生消息或消息序列的源头。我们并不关心信源的内
部结构，不关心消息的产生原因和过程，而研究信源各种可 能的输出，以及输出各种可能消息的不确定性。 对收信者而言，在收到消息之前，对于信源发送什么消息是 不可预知的、随机的。因此可以用随机变量和随机过程来描 述信源输出的消息，或者说用一个概率空间来描述信源。 不同的信源输出不同类型的消息。可以根据消息不同的随机 性质来对信源进行分类。
qN
qN N
k 1
P(i ) P(aik ) 1
信息论与编码理论-习题答案-姜楠-王健-编著-清华大学
第1章 绪论1.1 信源、编码器、信道、干扰、译码器、信宿 1.2 香农1.3 通信系统模型1.4信号是消息的表现形式，是物理的，比如电信号、光信号等。
消息是信息的载荷者，是信号的具体容，不是物理的，但是又比较具体，例如语言、文字、符号、图片等。
信息包含在消息中，是通信系统中被传送的对象，消息被人的大脑所理解就形成了信息。
1.5 略第2章 信息的统计度量2.1 少2.2 y 的出现有助于肯定x 的出现、y 的出现有助于否定x 的出现、x 和y 相互独立 2.3 FTTTF 2.4 2.12比特2.5依题意，题中的过程可分为两步，一是取出一枚硬币恰好是重量不同的那一枚，设其发生的概率为1p ，由于每枚硬币被取出的概率是相同的，所以1181p =所需要的信息量()()1log 6.34I A p bit =-=二是确定它比其他硬币是重还是轻，设其发生的概率为2p ，则212p =总的概率12111812162p p p ==⨯=所需要的信息量()log log1627.34I p bit =-==2.6 设A 表示“大学生”这一事件，B 表示“身高1.60m 以上”这一事件，则()()()0.250.5|0.75p A p B p B A ===故()()()()()()|0.750.25|0.3750.5p AB p A p B A p A B p B p B ⨯====()()()11|loglog 1.42|0.375I A B bit p A B ===2.7 四进制波形所含的信息量为()log 42bit =，八进制波形所含信息量为()log 83bit =，故四进制波形所含信息量为二进制的2倍，八进制波形所含信息量为二进制的3倍。
2.8()()()()()()2322log 3log 32log 3 1.585I p bit I p bit I I =-=-==故以3为底的信息单位是比特的1.585倍。
第二章-信息论基本概念(2)(1)
前面所述熵为单符号信源情况， 前面所述熵为单符号信源情况，是最简单的离散 信源。事务是普遍联系的，两个随机变量 ， 之间 信源。事务是普遍联系的，两个随机变量X，Y之间 也是相互联系的，比如： 在某种程度上 也是相互联系的，比如：
1、 离散无记忆信源 扩展信源 、 离散无记忆信源(扩展信源 扩展信源) 概率空间： （1）定义：若单符号离散信源 概率空间： ）定义：若单符号离散信源X概率空间
X a1 , a2 , L , ai , L , aq P( X ) = p(a ), p(a ),L , p(a ),L , p(a ) , ∑ p(ai ) = 1 i 2 i q 1
0( p )
q
X
[例] 二进制对称信道 例
1( p )
q q
q
0
Y
1
H ( X ) = H ( p) = − p log p − p log p
I(X;Y)
H (Y / X ) = H (q) = −q log q − q log q
H (Y ) = H ( pq + pq)
0
1-H(q) 0.5 I(X;Y) H(p) 1 p
5. 数据处理定理 I(X;Z) ≤ I(X;Y) I(X;Z) ≤ I(Y;Z) [意义 信息不增原理 意义] 信息不增原理 原理—— 意义 处理， 每经一次 处理，可能丢失一部分信息 X Y P(Z/;Y) = H(X) – H(X/Y) = H(Y) – H(Y/X) H(XY) = H(X) + H(Y/X) = H(Y) + H(X/Y) I(X;Y) = H(X) + H(Y)－ H(XY) －
信息理论与编码习题
解：
(1) /符号
/符号
(2)
=
= /符号
= /符号
= /符号
= /符号
(3) /符号
/符号
(4)、(5)
/符号
/符号
/符号
/符号
又根据
= /符号
3.3设有一批电阻，按阻值分：70%是2 ，30%是5 ；按功率分：64%是1/8 ，其余是1/4 。现已知2 阻值的电阻中80%是1/8 。问通过测量阻值可以平均得到的关于瓦数的信息量是多少？
答案：王虹
解：设电视图像每个像素取128个不同的亮度点平，并设电平等概率出现，每个像素的亮度信源为
得每个像素亮度含有的信息量为：
一帧中像素均是独立变化的，则每帧图像信源就是离散亮度信源的无记忆 次扩展信源。得每帧图像含有的信息量为
广播口述时，广播员是从10 000个汉字字汇中选取的，假设汉字字汇是等概率分布的，则汉字字汇信源是
由 得
由对称性可得
（2）
H p ㏒ p =-
H =H -H
H =H -H
H =H -H
H =H -H
H =H -H
H =H -H
H =H -H
H =H -H
H =H -H
(3)
2.5 联合熵和条件熵
2.10任意三个离散随机变量 、 和 ，求证：
(1)
证明：
（1）方法一：利用定义证明。
左边=
=
右边=
=
在输入等概率分布下，计算得
，满足
然后计算
=
=
=
又 =
=
=
可见 ，当 时。
所以，根据信道容量解的充要性（参考书[1]定理3.3）得
高等教育《信息论》第3章离散信源
X
P
x1
px1
x2
px2
xq
p
xq
(3.5)8
信源输出信息量的度量
定义 3.2.2 设信源 X 中，事件 xi 发生的概率为 pxi ，
则所含有的自信息量定义为
de f
I xi log pxi
(3.6)
定义 3.2.2 给出的自信息量的函数形式有如下性质：
① 信源中信息的量度与输出符号发生的概率有关。
000, 001, 011, 111,100,110, 010,101
5
3.1.2 信源的分类 无记忆信源
① 离散无记忆信源 信源发出的消息符号彼此是统计独立的，并且具有
相同的概率分布，其 N 维随机矢量的联合概率分布为
N
N
p X p X k aik pik
k 1
k 1
i 1, 2, , q
其中 N 可为有限正整数或可数无穷值。通常，总限定 N 是有限的，故只限于讨论“有限离散信源”。若在这随机
矢量中的每个随机变量Xk , k 1, 2, , N 都是离散的，则可 用N重离散概率空间的数学模型来描述这类信源。
X
P
a1
pa1
a2
pa2
aqN p aqN
(3.4)
其中
9
自信息量 I xi 是指某一信源发出某一消息符号 xi 所含
有的信息量，所发出的信息符号不同，它们含有的信息量
也就各不相同，故自信息量 I xi 是一个随机变量，不能用
它来作为整个信源输出信息的信息测度。为此，需要引入 平均自信息量，即信息熵来作为信源输出信息的信息测度。
定义 3.2.3 信源输出的各消息的自信息量的数学期望为 信源的平均自信息量，或称为信源的信息熵。
n次扩展信源及其熵
P(1)P(1)P(0)
P(1)P(1)P(1)
2、 n次扩展信源的熵
(1) n次扩展信源各消息的自信息
各消息的自信息—— 消息 xi1 xi2 xin 所对应概率 P(xi1 )P(xi2 )P(xin )对数的负值， 用 I(xi1 xi2 xin ) 表示 i1,i2,…,in=1,2,…,N I(xi1 xi2 xin ) log P(xi1 xi2 xin ) log(P(xi1 )P(xi2 )P(xin )) log P(xi1 ) log P(xi2 ) log P(xin ) I(xi1 ) I(xi2 ) I(xin )
1、n次扩展信源及其模型
(1)n维离散平稳无记忆信源——n次扩展信源
n维离散无记忆信源——n维离散信源发出的消息中各符 号相互独立 P(X1X2 Xn ) P(X1)P(X2 / X1)P(Xn / X1X2 Xn1) P(X1)P(X2 )P(Xn )
n维离散平稳无记忆信源——n维离散无记忆信源对任意 两个不同时间起点的概率相同
P(X1) P(Xk ) k 2,3,, n
(2)n维离散平稳无记忆信源—— n次扩展信源的模型
离散型随机变量的n次方Xn~P(Xn)
P(Xn ) P(X1X2 Xn ) [P(xi1 xi2 xin ) i1, i2 ,in 1,2,, N] [P(xi1 )P(xi2 )P(xin ) i1,i2 ,in 1,2,, N]
n
n
i1 1
i2 1
in 1
N
N
N
P(xi1 ) log P(xi1 ) P(xi2 ) log P(xi2 ) P(xin ) log P(xin )
信息论-复习资料(傅祖芸版本)
即：传递信息，消除不确定性。
31
2.2.2 信息熵
对一个信源发出不同消息所含有的信息量也不同。所以 自信息I(ai)是一个随机变量，不能用它来作为整个信源 的信息测度。
信息熵：自信息的数学期望，平均自信息量Hr(X)：
Hr (X ) Elogr
1 p(ai
)
q i 1
p(ai
26
2.2 离散信源的信息熵
基本的离散信源： 输出单符号消息，且这些消息间两两互不相容。用一
维随机变量X来描述信源的输出，其数学模型可抽象为:
X P(x)
a1 P(a1
)
a2 P(a2 )
a3 P(a3 )
... ... ... ...
aq
P(aq )
q
P(ai ) 1
i 1
问题：这样的信源能输出多少信息? 每个消息的出现携带多少信息量?
... ... ... ...
aq P(aq )
▪概率空间能表征离散信源的统计特性，因此也称概率空
间为信源空间。
21
2、随机矢量描述的信源
1）平稳信源
特点:
信源输出的消息由一符号序列所组成。 可用N维随机矢量 X＝(X1,X2,…,XN)描述，且随机矢量 X的各维概率分布都与时间起点无关 。
离散平稳信源：每个随机变量Xi (i＝1,2,…,N)是取值离 散的随机变量。
（下标1-N为时间标志）
N
P(X) P( X1X 2 X N ) P( Xi )
i 1
若各随机变量Xi取值同样符号集A:{a1,a2,…,aq}，则
N
P(x i ) P(ai1ai2 ,..., aiN ) P(aik ), ik (1,2,..., q) k 1
离散无记忆的扩展信源精品PPT课件
H (X )
H(X
N
)
XN
P( X ) logP( X )
XN
P(i ) log
1
P(i )
可以证明离散无记忆信源 X的 N次扩展信源 X N的熵 等于信源 X的熵值的 N倍，即：
H ( X N ) NH ( X )
电子信息工程学院
信息论
2.4 离散无记忆的扩展信源
信息论
2.4 离散无记忆的扩展信源
2.4.1 单符号离散无记忆信源
X P
x1 p( x1 )
x2 ... p(x2 ) ...
xi ... p(xi ) ...
xq
p(
xq
)
0 p(xi ) 1 q
p(xi ) 1
i 1
信源X 的符号集 X x1, x2,..., xq ，每个符号的发生概
电子信息工程学院
信息论
2.4 离散无记忆的扩展信源
因为是无记忆的（彼此统计独立），若
i (ai1 ai2 ai3 ...aiN )
则 P(i ) P(ai1 )P(ai2 )...P(aiN ) pi1 pi2 ... piN ,
其中 i1, i2 ,..., iN 1, 2,.., q 又 0 P(i ) 1
电子信息工程学院
信息论
2.4
离散无记忆的扩展信源
3、任意进制离散无记忆信源的N次扩展信源
X
P
x1 p(x1 )
x2 p(x2 )
xi p(xi )
xq p(xq )
N次扩展信源
X N
P
a1 p(a1 )
a2
p(a2 )
aqN p(aqN
通信原理十套试卷及答案(请认真准备复试)
通信原理试卷一1、如果系统满足理想低通传输特性,则频带利用率可以达到:a、1B/Hzb、1bit/Hzc、2B/Hzd、2bit/Hz2、一个均值为零的平稳高斯窄带噪声，它的包络一维分布服从a、高斯分布b、均匀分布c、瑞利分布d、莱斯分布3、模拟信号解调的“门限效应"有可能出现在_________信号的解调中：a、DSBb、AMc、PMd、SSB4、发端发送纠错码，收端译码器自动发现并纠正错误,传输方式为单向传输,这种差错控制的工作方式被称为：a、FECb、ARQc、IFd、HEC5、在“0”、“1"等概率出现情况下，以下哪种码能够直接提取位同步信号：a、单极性不归零码b、双极性归零码c、单极性归零码d、双极性不归零码6、无码间串扰的基带系统传输双极性信号时，误码率与信噪功率比ρ的关系为a、 b、 c、 d、7、平稳随机过程协方差函数C（τ）与自相关函数R(τ）和均值m的关系为：a、 b、 c、 d、8、以奈奎斯特速率进行抽样得到的以下抽样信号，仅用理想低通滤波器不可能将原始信号恢复出来的是.a、自然抽样b、曲顶抽样c、理想抽样d、平顶抽样9、由发送端发送专门的同步信息，接收端把这个专门的同步信息检测出来作为同步信号的方法,被称为：a、外同步法b、自同步法c、位同步法d、群同步法10、连贯式插入法中的群同步保护，在维持态时通常要求：a、判决门限提高,漏同步概率提高b、判决门限降低，漏同步概率提高c、判决门限提高，漏同步概率降低d、判决门限降低,漏同步概率降低11、设x（t)为调制信号，调相波的表示式为：，则PM调制方式的瞬时角频率偏差为：a、 b、 c、 d、12、码长ｎ=7的汉明码，监督位应是:a、2位b、3位c、4位d、5位13、如果在已知发送独立的符号中，符号“E”出现的概率为0.125，则符号“E”所包含的信息量为：a、1bitb、2 bitc、3 bitd、4 bit二、填空题（1分/空）1、已知二进制数字信号每个码元占有的时间为1ms，0、1码等概率出现，则码元速率为__________，信息速率为__________；2、从信息传输角度来看，数字通信系统的主要质量指标是__________和__________.3、高斯白噪声是指噪声的概率密度服从__________分布，功率谱密度服从__________分布。
离散信源的分类和数学模型离散无记忆信源的熵
离散信源的分类和数学模型离散⽆记忆信源的熵1.离散信源的分类和数学模型 在离散时间发出离散符号的信源称为离散信源。
如果信源符号集为有限集，则称为有限离散信源。
如果信源符号集为⽆限可数集，则称为⽆限离散信源。
离散⽆记忆信源的N次拓展源：设信源为X，则由X构成的N维随机⽮量集合X N = X1X2X3...X N(其中X i与X同分布)，称为信源X的N次扩展源。
2.离散⽆记忆信源的熵 2.1离散平稳信源若具有有限符号集A={a1,a2,a3,...,a n}的信源X产⽣的随机序列{x i},i=...1,2...且满⾜：对所有的i1,i2,...i n,h,j1,j2,...,j n及x i ε X,有p(x i1=a j1,x i2=a j2,x i3=a j3,...x i N=a jN) = p(x i1+h=a j1,x i2+h=a j2,...,x in+h=a jn)则称信源为离散平稳信源，所产⽣的序列为平稳序列。
平稳序列的统计特性与时间的推移⽆关，即序列中符号的额任意维联合概率分布与时间起点⽆关。
2.2离散平稳有记忆信源的熵设X为离散平稳有记忆信源，X的N次扩展源记为X N, X N=X1X2X3...X N. 根据熵的可加性，有H(X N)=H(X1X2X3...X N)=H(X1)+H(X2|X1)+...+H(X N|X1...X N-1) 定理1：对任意离散平稳信源，若H1(X)<∞,有以下结论：（1）H(X N|X1...X N-1)不随N⽽增加;（2）H N(X)≥H(X N|X1...X N-1); (3) H N(X)不随N⽽增加；(4)H∞(X)存在，且H∞(X)=limH(X N|X1...X N-1); 式（4）表明，有记忆信源的符号熵也可以通过计算极限条件熵得到。
3.有限状态马尔可夫链 3.1马⽒链的基本概念 设信源的符号集为{a1,a2,..,a q},信源的输出序列为x1,x2,...,x N,如果其中每个随机变量x n仅通过最接近的变量x n-1依赖于过去的随机变量x n-1,x n-2,...,即对所有的i,j,k,...有p(x n=j|x n-1=i,x n-2=k,...,x0=m ) = p(x n=j|x n-1=i) 则称{x n,n≥0}为马尔可夫链，简称马⽒链。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
N
p(ai ) P( X N ai ) p(ai1) p(ai2 ) p(aiN ) p(aik ) (ai ai1, ai2 , , aiN ) k 1 电子信息工程学院
率为 p(xi )，信源每次发出一个符号，且符号发生的概
率相互独立，称为单符号离散无记忆信源，简称离散
无记忆信源。
def
q
H ( X ) E I (xi ) E log p(xi ) p(xi ) log p(xi )
i 1
电子信息工程学院
信息论
2.4 离散无记忆的扩展信源
2.4.2 离散无记忆信源的扩展信源
信息论
2.4 离散无记忆的扩展信源
4、离散无记忆信源X 的N 次扩展信源
设离散无记忆信源 X，其样本空间为 a1, a2,...aq，
用一组长度为 N的序列表示其输出消息序列。此时， 将输出序列等效为一个新的信源，用 N维离散随机矢 量来描述，记作 X X1, X2,..., X N ，则称 X组成的新 信源为离散无记忆信源 X 的 N次扩展信源。
电子信息工程学院
信息论
2.4
离散无记忆的扩展信源
3、任意进制离散无记忆信源的N次扩展信源
X
P
x1 p(x1 )
x2 p(x2 )
xi
xq
p(xi ) p(xq )
N次扩展信源
X N
P
a1 p(a1 )
a2
p(a2 )
aqN p(aqN
)
其中： X N X1X 2 L X N ( X1, X 2 ,L , X N X )
先考察其中一项
XN
P(i ) log
1= pi1 X N
pi1 pi2
piN
log
1 pi1
q
q
=
i11
pi1
X 2 X 1 X 2 {a1, a2 , a3 , a4} {00,01,10,11}
电子信息工程学院
信息论
2.4
离散无记忆的扩展信源
2 、离散无记忆二进制信源的三次扩展信源
X P
x1 p(x1
)
x2 p(x2
)
0 p(0)
1 p(1)
三次扩展信源
X3 P
a1 p(a1
信息论
2.4 离散无记忆的扩展信源
2.4.1 单符号离散无记忆信源
X P
x1 p(x1
)
x2 ... p(x2 ) ...
xi ... p(xi ) ...
xq p(xq )
0 p(xi ) 1 q
p(xi ) 1
i 1
信源X 的符号集 X x1, x2,..., xq ，每个符号的发生概
p(i ) log p(i )
XN
p(i ) log
1
p(i )
XN
p(i ) log
1 p(ai1 ) p(ai2 )L
p(aiN )
XN
p(i ) log
1 pi1
XN
p(i ) log
1 pi2
L
XN
p(i ) log
1 piN
电子信息工程学院
信息论
2.4 离散无记忆的扩展信源
)
a2 p(a2 )
a3 p(a3 )
a4 p(a4 )
a5 p(a5 )
a6 p(a6 )
a7 p(a7 )
a8 p(a8 )
扩展后的信源符号集合
X 3 X1 X 2 X 3 {a1, a2 , a8} {000,001,010,011,100,101,110,111}
新概率的计算举例: p(000) p(0) p(0) p(0)...
H ( X N ) NH ( X )
电子信息工程学院
信息论
2.4 离散无记忆的扩展信源
证明:设 i是 X N概率空间的一个符号，对应于由N个 ai 组
成的序列
p(i ) p(ai1ai2 L aiN ) p(ai1 ) p(ai2 )L p(aiN ) pi1 pi2 L piN
H (X N ) XN
电子信息工程学院
信息论
2.4 离散无记忆的扩展信源
因为是无记忆的（彼此统计独立），若
i (ai1 ai2 ai3 ...aiN )
则 P(i ) P(ai1 )P(ai2 )...P(aiN ) pi1 pi2 ... piN ,
其中 i1, i2 ,..., iN 1, 2,.., q 又 0 P(i ) 1
上式表明离散无记忆信源 X 的 N次扩展信源的概率空
间 [X N , Pi ]也是完备集。
根据信息熵的定义，N次扩展信源熵
H (X )
H(X
N)
XN
P( X ) logP( X )
XN
P(i ) log
1
P(i )
可以证明离散无记忆信源 X的 N次扩展信源 X N的熵 等于信源 X的熵值的 N倍，即：
其中，每个分量 X i (i 1, 2..., N ) 都是随机变量， 它们都取决于同一信源 X ，并且分量之间统计独立。 用 N 重空间描述离散无记忆信源 X的 N 次扩展信源， 记为 X N 。
电子信息工程学院
信息论
2.4 离散无记忆的扩展信源
设一个离散无记忆信源的概率空间为:
X P( x)
1、离散无记忆二进制信源的二次扩展信源
X
P
x1 p( x1 )
x2 p(x2
)
0 p(0)
1 p(1)
二次扩展信源
X2 P
a1 p(a1
)
a2 p(a2 )
a3 p(a3 )
a4 p(a4
)
00 p(00)
01 p(01)
10 p(10)
11 p(11)
扩展后的信源符号集合
而
qN
q
q
q
P(i ) P(ai1 )g P(ai2 )... P(Байду номын сангаасiN )
i 1
i1
i2
iN
q
q
q
g
...
pi1 pi2 ... piN
i1 1 i2 1
iN 1
q
q
q
pi1 g pi2 ... piN 1
i1 1
i2 1
iN
电子信息工程学院
信息论
2.4 离散无记忆的扩展信源
a1
p1
a2 p2
... ...
aq
pq
,
q i 1
pi
1( pi
0)
则信源X的N次扩展信源XN是具有qN个符号的离散信 源，其中N重概率空间为
X N 1
P(i
)
p(1 )
2 ... p(2 ) ...
qN
p(qN )
上式中，每个符号 i是对应于某一个由N个 ai组成的 序列。 i 的概率 P(i )是对应N个 ai 组成的序列概率。