信息论-第3章多符号离散信源与信道
第三章 信息论基础知识(Part2)
信息论基础知识主要内容：信源的数学模型 信源编码定理 信源编码算法 信道容量 通信的容限第 1 页 2011-2-21引言一、信息论的研究范畴 信息论是研究信息的基本性质及度量方法，研究信息的获取、传输、存储和处理的一般规律的科学。
狭义信息论：通信的数学理论，主要研究信息的度量方 法，各种信源、信道的描述和信源、信道的编码定理。
实用信息论：信息传输和处理问题，也就是狭义信息 论方法在调制解调、编码译码以及检测理论等领域的应用。
广义信息论，包括信息论在自然和社会中的新的应用， 如模式识别、机器翻译、自学习自组织系统、心理学、生物 学、经济学、社会学等一切与信息问题有关的领域。
第 2 页 2011-2-21二、信息论回答的问题通信信道中，信息能够可靠传 输的最高速率是多少？噪声信道编码定理 噪声信道编码定理信息进行压缩后，依然可以从已压 缩信息中以无差错或低差错恢复的 最低速率是多少？香农信源编码理论 香农信源编码理论最佳系统的复杂度是多少？第 3 页2011-2-21三、香农的贡献香农(Claude Elwood Shannon,1916～2001年)， 美国数学家，信息论的创始人。
创造性的采用概率论的方法来研究通信中的问题，并且对 信息给予了科学的定量描述，第一次提出了信息熵的概念。
1948年，《通信的数学理论》(A mathematical theory of communication ) 以及1949年，《噪声下的通信》标志了信息论的创立。
1949年，《保密通信的信息理论》，用信息论的观点对信息保密问题做了 全面的论述，奠定了密码学的基础。
1959年，《保真度准则下的离散信源编码定理》，它是数据压缩的数学基 础，为信源编码的研究奠定了基础。
1961年发表“双路通信信道”，开拓了多用户信息理论（网络信息论）的研 究；第 4 页 2011-2-21四、信息论发展历史1924年 奈奎斯特(Nyquist,H.)总结了信号带宽和信息速率之 间的关系。
信息论讲义_第一讲
• 香农定义的信息也有其局限性，存在一些缺陷
– 定义的出发点是假定事物状态可以用一个以经典集 合论为基础的概率模型来描述。 – 没有考虑收信者的主观特性和主观意义，也撇开了 信息的具体含意、具体用途、重要程度和引起后果 等因素。
20
1.1.4 信息、消息与信号
信息： 比较抽象的概念；是系统中传输的对 象；包含在消息之中。 消息：比较具体，但不是物理量；具有不同 形式，例如语言、文字、符号、图像等能够 被人感知；可以传输并被通信双方理解；同 一消息含有不同信息；同一信息可用不同消 息载荷。 信号：最具体，是消息的载荷者；是表示消 息的物理量，可测量、可显示、可描述，是 信息的物理表达层。
12
1.1.2 广义的信息概念
信息本身看不见、摸不着，它必须依附于一定的物 质形式（如文字、声波、电磁波等）。这种运载信 息的物质称为信息的载体，一切物质都有可能成为 信息的载体。
13
1.1.3 概率信息概念
由美国数学家香农1948年提出，亦称香农信息 基于对通信活动基本功 基于对通信活动对象和 基于对通信活动的机制 或狭义信息。概率信息是从 不确定性 能的观察分析，“通信 过程的分析研究，“信 和本质的分析研究， (Uncertainty) 和概率测度出发定义信息的。 的基本问题是在信宿端 源发出的消息总是从可 “人类只有在两种情况 香农针对人类通信活动的特点，提出了 精确或近似地复制发送 能发生的消息符号集合 下有通信的需求， 1）自 端所挑选的消息。通常 中随机选择，通信系统 己有某种形式的消息要 ① 形式化假说 消息是有语义的，即它 无法预先知道信源在什 告诉对方，且估计对方 ② 非决定论 按某种关系与某些物质 么时候会选择什么消息 不知道； 2）自己有某种 ③ 不确定性 概念的实体联系着。通 发送”，即具有通信意 疑问需要对方给出解答” 信中语义方面的问题与 义的消息都是随机发生 经过通信活动后，消除 工程问题没有关系” 的 了 随机事件，获取了信 不确定性
信息论与编码技术第三章课后习题答案
Chap3 思考题与习题 参考答案3.1 设有一个信源，它产生0、1 序列的消息。
它在任意时间而且不论以前发生过什么符号，均按P(0)＝0.4，P(1)＝0.6 的概率发出符号。
(1) 试问这个信源是否平稳的? (2) 试计算H(X 2)，H(X 3/X 1X 2)及H ∞。
(3) 试计算H(X 4)，并写出X 4 信源中可能有的所有符号。
解：（1）根据题意，此信源在任何时刻发出的符号概率都是相同的，均按p(0)=0.4，p(1)=0.6，即信源发出符号的概率分布与时间平移无关，而且信源发出的序列之间也是彼此无信赖的。
所以这信源是平稳信源。
(2)23123121()2()2(0.4log 0.40.6log 0.6) 1.942(/)(|)()()log ()(0.4log 0.40.6log 0.6)0.971(/)lim (|)()0.971(/)i i iN N N N H X H X bit symbols H X X X H X p x p x bit symbol H H X X X X H X bit symbol ∞−→∞==−×+===−=−+====∑" (3)4()4()4(0.4log 0.40.6log 0.6) 3.884(/)H X H X bit symbols ==−×+=4X 的所有符号：0000 0001 0010 0011 0100 0101 0110 0111 1000 1001 1010 1011 1100 1101 1110 11113.2 在一个二进制的信道中，信源消息集X={0，1}且p(1)=p(0)，信宿的消息集Y={0，1}，信道传输概率(10)1/p y x ===4，(01)1/p y x ===8。
求：(1) 在接收端收到y=0后，所提供的关于传输消息x 的平均条件互信息I(X ；y=0)； (2) 该情况下所能提供的平均互信息量I(X ；Y)。
高等教育《信息论》第3章离散信源
X
P
x1
px1
x2
px2
xq
p
xq
(3.5)8
信源输出信息量的度量
定义 3.2.2 设信源 X 中，事件 xi 发生的概率为 pxi ，
则所含有的自信息量定义为
de f
I xi log pxi
(3.6)
定义 3.2.2 给出的自信息量的函数形式有如下性质：
① 信源中信息的量度与输出符号发生的概率有关。
000, 001, 011, 111,100,110, 010,101
5
3.1.2 信源的分类 无记忆信源
① 离散无记忆信源 信源发出的消息符号彼此是统计独立的，并且具有
相同的概率分布，其 N 维随机矢量的联合概率分布为
N
N
p X p X k aik pik
k 1
k 1
i 1, 2, , q
其中 N 可为有限正整数或可数无穷值。通常，总限定 N 是有限的，故只限于讨论“有限离散信源”。若在这随机
矢量中的每个随机变量Xk , k 1, 2, , N 都是离散的，则可 用N重离散概率空间的数学模型来描述这类信源。
X
P
a1
pa1
a2
pa2
aqN p aqN
(3.4)
其中
9
自信息量 I xi 是指某一信源发出某一消息符号 xi 所含
有的信息量，所发出的信息符号不同，它们含有的信息量
也就各不相同，故自信息量 I xi 是一个随机变量，不能用
它来作为整个信源输出信息的信息测度。为此，需要引入 平均自信息量，即信息熵来作为信源输出信息的信息测度。
定义 3.2.3 信源输出的各消息的自信息量的数学期望为 信源的平均自信息量，或称为信源的信息熵。
第3章信道与信道容量-信息论与编码(第3版)-曹雪虹-清华大学出版社
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
2
3.1.2 信道的数学模型
– 信道输入 X ( X1, X 2, Xi , ), Xi a1, , an – 信道输出 Y (Y1,Y2, Yj , ),Yj b1, ,bm
– 条件概率p(Y/X)来描述信道输入、输出信号之间 统计的依赖关系。
有干扰无记忆信道
– 离散无记忆信道（DMC)
p11 p12 p1m
a1 a2
b1 b2
P
p21
p22
p2m
an
bm
pn1
pn2
pnm
m
p(b j | ai ) 1,
j 1
i 1,2,, n
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
7
信道参数
有干扰无记忆信道
– 离散输入、连续输出信道
X
Y
+
Y＝X＋N
N
加性高斯白噪声 (AWGN) 信道：
pY ( y / ai )
1 e( yai )2 / 2 2
2
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
8
信道参数
有干扰无记忆信道
x(t)
– 波形信道
波形信道转化成多维连续信道，
pY ( y / x) pY ( y1, , yL / x1, , xL )
Cavg EH (C)
11
中断容量（Outage Capacity）：当信道 瞬时容量Cinst小于用户要求的速率时，信 道就会发生中断事件，这个事件的概率 称为中断概率Poutage。这个用户要求的速 率就定义为对应于该中断概率Poutage的中 断容量Coutage，即
信息论与编码姜丹第三版答案
信息论与编码习题参考答案 第一章单符号离散信源信息论与编码作业是 74页，1.1的(1)(5)，1.3,1.4,1.6,1.13,1.14 还有证明熵函数的 连续性、扩展性、可加性1.1同时掷一对均匀的子，试求：(1) “2和6同时出现”这一事件的自信息量； (2) “两个5同时出现”这一事件的自信息量； (3) 两个点数的各种组合的熵； ⑷两个点数之和的熵；(5) “两个点数中至少有一个是 1”的自信息量。
解：样本空间：N =c ；c ； =6 X6 =36n 12(1) R =—”1(a) =—log R =log18=4.17bitN 36 n 2 1(2) F 2 N =36 I (a) = -log F 2 =log36 =5.17bit (3) 信源空间:2 36 1.H(x)=15 log 6 log 36 = 4.32bit36 2 36(4)log 36+ — l og 36 — log 36 — log 迸36 2 36 3 36 4 log 塑 + — log 36 =3.71bit5 36 6 (5) F 3 =匹 二11. 1(a) - Tog F 3 -log 36 =1.17bit N 36 111.2如有6行、8列的棋型方格，若有两个质点A 和B ，分别以等概落入任一方格内，且它2H(r.卫36们的坐标分别为(Xa，Ya) , (Xb，Yb),但A，B不能同时落入同一方格内。
(1)若仅有质点A，求A落入任一方格的平均信息量；(2)若已知A已落入，求B落入的平均信息量；(3)若A，B是可辨认的，求A，B落入的平均信息量。
解：1(1) 幕A落入任一格的概率:P(a i) I (aj =-log P(aJ = log 484848.H(a) - P(a j)log P(aJ = log 48 =5.58biti 41(2) ；在已知A落入任一格的情况下,B落入任一格的概率是：P(bJ = —47.I(b) - -logP(b i) =log4748.H(b) = -' P(b i)log P(b i) =log47 =5.55biti -11 1(3) AB同时落入某两格的概率是P(ABJ二一一48 47.I(ABJ =-log P(AB i)48 47H(AB」-八P(ABJIog P(ABJ =log(48 47)=11.14biti 二1.3从大量统计资料知道，男性中红绿色盲的发病率为7%,女性发病率为0.5%.如果你问一位男士：“你是否是红绿色盲？”他的回答可能是：“是”，也可能“不是”。
信息论与编码理论-第3章信道容量-习题解答-071102
第3章 信道容量习题解答3-1 设二进制对称信道的转移概率矩阵为2/31/31/32/3⎡⎤⎢⎥⎣⎦解: (1) 若12()3/4,()1/4P a P a ==，求(),(),(|),(|)H X H Y H X Y H Y X 和(;)I X Y 。
i i 2i=13311H(X)=p(a )log p(a )log()log()0.8113(/)4444bit -=-⨯-=∑符号111121*********j j j=132117p(b )=p(a )p(b |a )+p(a )p(b |a )=43431231125p(b )=p(a )p(b |a )+p(a )p(b |a )=4343127755H(Y)=p(b )log(b )=log()log()0.9799(/)12121212bit ⨯+⨯=⨯+⨯=---=∑符号 22i j j i j i j i ,H(Y|X)=p(a ,b )logp(b |a )p(b |a )logp(b |a )2211log()log()0.9183(/)3333i jjbit -=-=-⨯-⨯=∑∑符号I(X;Y)=H(Y)H(Y|X)=0.97990.91830.0616(/)bit --=符号 H(X|Y)=H(X)I(X;Y)=0.81130.06160.7497(/bit --=符号)(2)求该信道的信道容量及其达到信道容量时的输入概率分布。
二进制对称信息的信道容量H(P)=-plog(p)-(1-p)log(1-p)1122C =1-H(P)=1+log()+log()=0.0817(bit/)3333符 BSC 信道达到信道容量时，输入为等概率分布，即：{0.5，0.5} 注意单位3-2 求下列三个信道的信道容量及其最佳的输入概率分布。
1b 2b 3b 3a 2a 1a Y X 1b 2b 3a 2a 1a Y X 1b 2b 2a 1a Y X 3b 11111110.70.3第一种：无噪无损信道，其概率转移矩阵为： 1 0 0P=0 1 00 0 1⎡⎤⎢⎥⎢⎥⎢⎥⎣⎦信道容量：()max (;)P X C I X Y @ bit/符号()()()()max{(;)}max{()(|)}(|)0max{(;)}max{()}p x p x p x p x C I X Y H X H X Y H X Y C I X Y H X ==-∴=∴==离散无记忆信道(DMC)只有输入为等概率分布时才能达到信道容量，C=log3=1.5850 bit/符号输入最佳概率分布如下：111,,333⎧⎫⎨⎬⎩⎭第二种：无噪有损信道，其概率转移矩阵为： 1 0P=0 10 1⎡⎤⎢⎥⎢⎥⎢⎥⎣⎦，离散输入信道， ()()()()max{(;)}max{()(|)}(|)0max{(;)}max{()}p x p x p x p x C I X Y H Y H Y X H Y X C I X Y H Y ==-∴=∴==H(Y)输出为等概率分布时可达到最大值，此值就是信道容量 此时最佳输入概率：123p(a )+p(a )=0.5,p(a )=0.5 信道容量：C=log(2)=1 bit/符号 第三种：有噪无损信道，由图可知：()()()()max{(;)}max{()(|)}(|)0max{(;)}max{()}p x p x p x p x C I X Y H X H X Y H X Y C I X Y H X ==-∴=∴==输入为等概率分布时可达到信道容量，此时信道容量p(x)C=max{H(X)}=log(2)=1 bit/符号 输入最佳概率分布：11,22⎧⎫⎨⎬⎩⎭3-3 设4元删除信道的输入量{1,2,3,4}X ∈，输出量{1,2,3,4,}Y E ∈，转移概率为(|)1(|)1-ε 0 0 0 ε0 1-ε 0 0 ε P=0 0 1-ε 0 ε0 0 0 1-ε ε1-ε 0 0 0 ε0 1-ε 0 0 ε p1= p2=0 0 1-ε 0 ε0 0 0 1-ε εP Y i X i P Y E X i εε===-===⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦⎡⎤⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦⎣⎦其中1,2,3,4i = 1）该信道是对称DMC 信道吗？ 2）计算该信道的信道容量；3）比较该信道与两个独立并联的二元删除信道的信道容量。
信息论与编码理论-第3章信道容量-习题解答-071102
第3章 信道容量习题解答3-1 设二进制对称信道的转移概率矩阵为2/31/31/32/3⎡⎤⎢⎥⎣⎦解: (1) 若12()3/4,()1/4P a P a ==，求(),(),(|),(|)H X H Y H X Y H Y X 和(;)I X Y 。
i i 2i=13311H(X)=p(a )log p(a )log()log()0.8113(/)4444bit -=-⨯-=∑符号111121*********j j j=132117p(b )=p(a )p(b |a )+p(a )p(b |a )=43431231125p(b )=p(a )p(b |a )+p(a )p(b |a )=4343127755H(Y)=p(b )log(b )=log()log()0.9799(/)12121212bit ⨯+⨯=⨯+⨯=---=∑符号 22i j j i j i j i ,H(Y|X)=p(a ,b )logp(b |a )p(b |a )logp(b |a )2211log()log()0.9183(/)3333i jjbit -=-=-⨯-⨯=∑∑符号I(X;Y)=H(Y)H(Y|X)=0.97990.91830.0616(/)bit --=符号 H(X|Y)=H(X)I(X;Y)=0.81130.06160.7497(/bit --=符号)(2)求该信道的信道容量及其达到信道容量时的输入概率分布。
二进制对称信息的信道容量H(P)=-plog(p)-(1-p)log(1-p)1122C =1-H(P)=1+log()+log()=0.0817(bit/)3333符 BSC 信道达到信道容量时，输入为等概率分布，即：{0.5，0.5} 注意单位3-2 求下列三个信道的信道容量及其最佳的输入概率分布。
1b 2b 3b 3a 2a 1a Y X 1b 2b 3a 2a 1a Y X 1b 2b 2a 1a Y X 3b 11111110.70.3第一种：无噪无损信道，其概率转移矩阵为： 1 0 0P=0 1 00 0 1⎡⎤⎢⎥⎢⎥⎢⎥⎣⎦信道容量：()max (;)P X C I X Y @ bit/符号()()()()max{(;)}max{()(|)}(|)0max{(;)}max{()}p x p x p x p x C I X Y H X H X Y H X Y C I X Y H X ==-∴=∴==离散无记忆信道(DMC)只有输入为等概率分布时才能达到信道容量，C=log3=1.5850 bit/符号输入最佳概率分布如下：111,,333⎧⎫⎨⎬⎩⎭第二种：无噪有损信道，其概率转移矩阵为： 1 0P=0 10 1⎡⎤⎢⎥⎢⎥⎢⎥⎣⎦，离散输入信道， ()()()()max{(;)}max{()(|)}(|)0max{(;)}max{()}p x p x p x p x C I X Y H Y H Y X H Y X C I X Y H Y ==-∴=∴==H(Y)输出为等概率分布时可达到最大值，此值就是信道容量 此时最佳输入概率：123p(a )+p(a )=0.5,p(a )=0.5 信道容量：C=log(2)=1 bit/符号 第三种：有噪无损信道，由图可知：()()()()max{(;)}max{()(|)}(|)0max{(;)}max{()}p x p x p x p x C I X Y H X H X Y H X Y C I X Y H X ==-∴=∴==输入为等概率分布时可达到信道容量，此时信道容量p(x)C=max{H(X)}=log(2)=1 bit/符号 输入最佳概率分布：11,22⎧⎫⎨⎬⎩⎭3-3 设4元删除信道的输入量{1,2,3,4}X ∈，输出量{1,2,3,4,}Y E ∈，转移概率为(|)1(|)1-ε 0 0 0 ε0 1-ε 0 0 ε P=0 0 1-ε 0 ε0 0 0 1-ε ε1-ε 0 0 0 ε0 1-ε 0 0 ε p1= p2=0 0 1-ε 0 ε0 0 0 1-ε εP Y i X i P Y E X i εε===-===⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦⎡⎤⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦⎣⎦其中1,2,3,4i = 1）该信道是对称DMC 信道吗？ 2）计算该信道的信道容量；3）比较该信道与两个独立并联的二元删除信道的信道容量。
第三章 多符号离散信源与信道
极限熵的求取
• 例3.3 m=2 , r=2。因此状态有rm = 4个: S1 ~ S4 测得一步转移概率为： 写成矩阵形式：
各态遍历性的判定
方法1：
香农线图（有限状态机）
各态遍历的判定
• 方法2：不可约闭集，且非周期性 （1）不可约：闭集中不存在闭集
（2）非周期性： 所有出发状态回到该状态所需的步数不存 在公因子
第6节 信源的剩余度
第7节 离散无记忆信道容量
作业
• 本章作业：3.7, 3.10
• 在本人研究领域中，需找一篇利用马尔科 夫链进行研究的文献，理解并制作5-10页 PPT，在课堂上介绍5-10分钟。时间：第18 周中。
规律影响后续时刻的取值 • 平稳性：不同时刻的联合概率相等
离散平稳有记忆信源的数学模型
• 联合概率求取：
• 完备集证明：式（3.24~3.26）
• 二维离散平稳信源的例子：式（3.27~3.42）
二维离散平稳信源的熵
• 无记忆 • 有记忆（3.27-3.32）
• 有记忆/无记忆信源熵的比较（3.33-3.42）： • 定义平均符号熵：HN(X)
奇数步转移概率：
偶数步转移概率：
极限熵的求取
1）求状态极限概率
的约束下
的唯一解。
例3.3中的极限概率方程组：
2）极限状态概率和转移概率求极限熵
例3.4 二 维 M 信 源 状 态 稳 定 过 程
例3.4（看图计算）
1）写出一步转移矩阵； 2）画出状态转移图；
3）判断各态遍历性；
4）列出方程组，求解极限概率； 5）求极限熵。
第三章 多符号离散信源与信道
第1~5节
第一节 多符号离散平稳信源 的数学模型
2014.信息论.第3章离散信源
设信源输出符号集合，每次信源输
9
是⼀一个离散⽆无记忆信源，其概率空间为
其中
信源X的符号集合为
N次扩展信源X N符号集合为
15
的有记忆平稳信源（⼆二维平稳信源）输
23
当且仅当X 1和X 2统计独⽴立时等号成⽴立，此时信源相当于⼆二次⽆无记忆扩展；
当X 1和X 2之间相关时，联合熵⼩小于信息熵之和，即⼩小于单个消息符号X 熵的 2 倍。
由于
25
例：设某⼆二维离散信源X =的原始信源X 的信源模型为
中前后两个符号的条件概率
7/92/901/83/41/80
2/11
9/11
(1)若该信源为⼆二维⽆无记忆扩展信源，求信源的熵。
(2)若该信源为⼆二维平稳信源，如表，求信源的熵。
26
原始信源的熵为：
由条件概率确定的条件熵为：
由于符号之间的依赖性，条件熵⽐比信源熵减少了0.672bit
⼆二维离散⽆无记忆扩展信源的熵为：2H(X)=2*1.542=3.084(bit ）7/92/901/83/4
1/8
2/119/11
27
信源X=
平均每发⼀一个消息所能提供的信息量，即联合熵
则每⼀一个信源符号所提供的平均信息量
⼩小于信源X所提供的平均信息量H(X)=1.542bit，这是
由于符号之间的统计相关性所引起的。
28
维平稳信源输出序列每N个符号⼀一组；各
30
则有：
时：
随N的增加是⾮非递增的；
给定时，平均符号熵≥条件熵；
–平均符号熵随N增加是⾮非递增的；
34
解：
35
1,2,......,J 某时刻随机
……
43
44。
第三章信道及信道容量
2但为有限值,即
p11
P
p2
1
p12 p22
,
p1m
p2m
pn1
pn2
pn
m
②二进制对称信道（BSC）：输入和输出信号的符号数都 是2，即X∈A={0,1}和Y∈B={0，1}的对称信道。
1-p
0 p
0
1p p
p
P
p
1p
1
1
1-p
16
《信息论与编码》
3）有干扰有记忆信道：每个信道输出不但与当前输入信号 之间有转移概率关系，而且与其它时刻的输入输出信号也 有关。
27
《信息论与编码》
2）信道容量的定义 对于某特定信道，可找到某种信源的概率分布p(ai)，使
得 I（X；Y）达到最大。
C m ax { I(X ;Y )} (b it/符 号 ) p(x)
注：对于特定的信道，信道容量是个定值，但是在传输信 息时信道能否提供其最大传输能力，则取决于输入端的概 率分布。一般相应的输入概率分布称为最佳输入分布。
28
若平均传输一个符号需要t秒钟，则信道单位时间内 平均传输的最大信息量为：
C T1 tm p(axx ){I(X;Y)}(bit/秒 )
即信道传输速率。
信道容量C已与输入信源的概率分布无关，它只是 信道传输概率的函数，只与信道的统计特性有关。 所以，信道容量是完全描述信道特性的参量，是信 道能够传输的最大信息量。
这样，波形信道化为多维连续信道，信道转移概率密度 函数为
其中：
19
《信息论与编码》
如果多维连续信道的转移概率密度函数满足
这样的信道称为连续无记忆信道即在任一时刻输出变 量只与对应时刻的输入变量有关，与以前时刻的输入输出 都无关。
信息论 多符号离散信道及其平均互信息
N
N
M
M
M
H(Y1Y2 Yn ) H(Y1Y2 Yn / X1X 2 X n )
I(X1X 2 X n ; Y1Y2 Yn ) P( x i1 x i 2 x i n , y j1 y j2 y jn ) log
i1 1 i 2 1 N N i n 1 j1 1 j2 1 N M M jn 1 M N N N M M M
I( x i1 x i 2 x i n ; y j1 y j2 y jn ) I( y j1 y j2 y jn ) I( y j1 y j2 y jn / x i1 x i 2 x i n ) log P( y j1 y j2 y jn ) log P( y j1 y j2 y jn / x i1 x i 2 x i n ) log P( y j1 y j2 y jn ) P( y j1 y j2 y jn / x i1 x i 2 x i n )
1、多符号离散信道及其模型 (1)多符号离散信道
信道传输（转移）多符号离散信源为多符号离散信宿
(2)多符号离散信道的模型
n维离散型随机变量序列 Y1Y2…Yn/X1X2…Xn~P(Y1Y2…Yn/X1X2…Xn)
P( y1 y1 y 2 / x1x1 x1 ) P( y1 y1 y1 / x1x1 x1 ) P( y y y / x x x ) P( y1 y1 y 2 / x1x1 x 2 ) 1 1 1 1 1 2 P(Y1Y2 Yn / X1X 2 X n ) P( y1 y1 y1 / x N x N x N ) P( y1 y1 y 2 / x N x N x N ) P( y M y M y M / x1x1 x1 ) P( y M y M y M / x1x1 x 2 ) P( y M y M y M / x N x N x N )
信息论基础第3章
则该信源称为离散平稳信源。 对于平稳信源来说，其条件概率也与时间起点 无关。
12
3.3 离散平稳信源
(m+1)维离散平稳信源
如果离散平稳信源某时刻发出什么符号只与 前面发出的m个符号有关联，而与更早些时 刻发出的符号无关联，则该信源称为(m+1) 维离散平稳信源。
P (x i +m | x 1 x i +m-1 ) = P (x i +m | x i x i +m-1 )
信息论基础
第3章 离散信源和熵
通信与信息工程学院 雷维嘉
本章内容
3.1 3.2 3.3 3.4 3.5
离散信源的分类 离散信源的N次扩展信源 离散平稳信源 马尔可夫信源 信源的相关性和剩余度
2
3.1 离散信源的分类
按照离散信源输出的是一个消息符号还是消息 符号序列，可分为单符号离散信源和多符号离 散信源。 按输出符号之间依赖关系分类，多符号离散信 源可分为无记忆信源和有记忆信源。 按照信源输出的符号序列的统计特性是否随时 间变化，多符号离散信源可分为平稳信源和非 平稳信源。
P (x 1 = 1) = 1/ 2, P (x 1 = 2) = 1/ 4, P (x 1 = 3) = 1/ 4
信源输出符号只与前一个符号有关，其条件概率 P (xl +1 | xl ) (l = 1,2, )具有时间推移不变性，如下表 所示。试问该信源是否为二维离散平稳信源？
xl xl+1 1 2 3
3.2 离散信源的N次扩展信源
6
N次扩展信源的数学模型
设单符号离散信源的数学模型为
é X ù é a ù a a 1 2 q ê ú=ê ú êP (x )ú êP (a ) P (a ) P (a )ú 1 2 q ú êë úû êë û
信息论-第3章多符号离散信源与信道
所以，有
P( X Q 1 ) P( X T 1 ) P( X Q 1 ) P( X Q 2 X Q ! ) P( X T 1 ) P( X T 2 X T 1 ) P( X Q 1 ) P( X Q 2 X Q 1 ) P( X Q N X Q 1 X Q N 1 ) P( X T 1 ) P( X T 2 X T 1 ) P( X T N X T 1 X T N 1 ) 20
0 p(ai ) 1
(i 1,2,, r )
p(a ) 1
i 1 i
r
则 X 称为离散无记忆信源。
9
3.2 离散平稳无记忆信源的信息熵
若N维离散平稳信源 X X 1 X 2 X N 中，各时刻 随机变量 X k (k 1,2,, N )之间相互统计独立，则 我们将 X X 1 X 2 X N 称为N维离散平稳无记忆信源。
表明N+1维离散平稳信源的1至N+1维联合概率分布不随时间的 推移而变化，对时间的起点来说是平稳的。 5
3.1 离散平稳信源的数学模型
2. 数学模型
信源符号集 X : {a1 , a2 ,, ar } ，N维离散平稳信源，
X X1 X 2 X N
X {a1 , a2 ,, ar }
令 i (ai1 , ai 2 ,, aiN )表示N维平稳信源发出的一条 消息
19
3.3 离散平稳有记忆信源的信息熵
N维平稳有记忆信源 X X 1 X 2 X N 有平稳的特性 设Q和T是任意两个时刻，即有
P( X Q 1 ) P( X T 1 ) P( X Q 1 X Q 2 ) P( X T 1 X T 2 ) P( X Q 1 X Q 2 X Q N ) P( X T 1 X T 2 X T N )
(完整版)信息论基础与编码课后题答案(第三章)
3-1 设有一离散无记忆信源，其概率空间为12()0.60.4X x x P x ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦，信源发出符号通过一干扰信道，接收符号为12{,}Y y y =，信道传递矩阵为51661344P ⎡⎤⎢⎥=⎢⎥⎢⎥⎢⎥⎣⎦，求： （1） 信源X 中事件1x 和2x 分别含有的自信息量；（2） 收到消息j y （j ＝1，2）后，获得的关于i x （i ＝1，2）的信息量； （3） 信源X 和信宿Y 的信息熵；（4） 信道疑义度(/)H X Y 和噪声熵(/)H Y X ； （5） 接收到消息Y 后获得的平均互信息量(;)I X Y 。
解：（1）12()0.737,() 1.322I x bit I x bit ==（2）11(;)0.474I x y bit =，12(;) 1.263I x y bit =-，21(;) 1.263I x y bit =-，22(;)0.907I x y bit =（3）()(0.6,0.4)0.971/H X H bit symbol ==()(0.6,0.4)0.971/H Y H bit symbol ==（4）()(0.5,0.1,0.1,0.3) 1.685/H XY H bit symbol ==(/) 1.6850.9710.714/H X Y bit symbol =-= (/)0.714/H Y X bit symbol =（5）(;)0.9710.7140.257/I X Y bit symbol =-=3-2 设有扰离散信道的输入端是以等概率出现的A 、B 、C 、D 四个字母。
该信道的正确传输概率为0.5，错误传输概率平均分布在其他三个字母上。
验证在该信道上每个字母传输的平均信息量为0.21比特。
证明：信道传输矩阵为：11112666111162661111662611116662P ⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥=⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦，信源信宿概率分布为：1111()(){,,,}4444P X P Y ==， H(Y/X)=1.79（bit/符号），I(X;Y)=H(Y)- H(Y/X)=2-1.79=0.21（bit/符号）3-3 已知信源X 包含两种消息：12,x x ，且12()() 1/2P x P x ==，信道是有扰的，信宿收到的消息集合Y 包含12,y y 。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
N维平稳 XX 信 1X2 源 XN共可以 rN种 发 不 出 同的
rN
0p(i)p(ai1ai2 aiN )1 p(i)1 i 1 6
3.1 离散平稳信源的数学模型
数学模型
信源空间
X Pp (11)
2 p(2)
p (rN rN)
r
0p (a i)1(i1 ,2 , ,r) p (a i)1 i 1
则 X 称为离散无记忆信源。
9
3.2 离散平稳无记忆信源的信息熵
若N维离散平稳信源 XX1X2 XN 中，各时刻 随机变量 Xk(k1,2, ,N)之间相互统计独立，则 我们将 XX1X2 XN称为N维离散平稳无记忆信源。 对N维离散平稳无记忆信源 XX1X2 XN，有
11
3.2 离散平稳无记忆信源的信息熵
二 离散无记忆信源的信息熵
1. 最简单离散信源 用一维随机变量X描述，其数学模型为
pX (x)p(aa 11)
a2 p(a2)
aq p(aq)
q
且
p(ai)1, p(ai)0,i1,2, ,q
i1
特点:
消 息 符 号 彼 此 统 计 独 立 消 息 符 号 具 有 相 同 概 率 分 布
第3章 多符号离散信源与信道
• 内容提要 3.1 离散平稳信源的数学模型 3.2 离散平稳无记忆信源的信息熵 3.3 离散平稳有记忆信源的信息熵 3.4 离散平稳有记忆信源的极限熵 3.5 马尔可夫信源的极限熵 3.6 信源的剩余度和结构信息
1
3.1 离散平稳信源的数学模型
1. 基本概念
2. 多符号离散信源：由多个符号组成的时间（或空间） 序列
i1 ,i2 , ,iN 1 ,2 , ,r i1,2,,rN
0 p ( i ) p ( a i 1 a i 2 a i) N p ( a i 1 ) p ( a i 2 ) p ( a i) N 1
rN
rr
r
p(i) p(ai1ai2 aiN )1
i1
i11i21 iN 1
p ( X Q X Q 1 X Q N ) P ( X T X T 1 X T N )
则把信源X称为N+1维离散平稳信源。
4
3.1 离散平稳信源的数学模型
说明（符号集 X:{a1,a2, ,ar}）
1 .P (X Q a i)P (X Ta i)p (a i) i(1 ,2 , ,r)
中，每N个随机变量看作一组，每组代表一个完整的消息。
N维离散平稳信源 XX1X2 XN称为信源 X:{a1,a2, ,ar} 的N次扩展。
8
3.2 离散平稳无记忆信源的信息熵
一. 离散平稳无记忆信源概念
定义 3.2.1 设信源 X 输出符号集{a1,a2,,ar}，r为信
源发出的消息符号个数，每个符号发生的概率为p(ai )。这 些消息符号彼此互不相关，且
3
3.1 离散平稳信源的数学模型
离散平稳信源
一般情况下，信源X的概率分布与时间k(k=1,2, …)有关
P (X k) {p k(a 1)p ,k(a 2) ,,p k(a r)} (k 1 ,2 , )
设Q,T为两个任意时刻，若信源X的分布与时间无关，即有
P(XQ)P(XT)
p(X Q X Q 1)P (X TX T 1)
P (X ) P (X 1 )P (X 2 ) P (X N )
10
3.2 离散平稳无记忆信源的信息熵
N维离散平稳无记忆信源 XX1X2 XN
信源空间
X Pp (11)
2 p(2)
p (rN rN)
其中
i (ai1ai2 aiN )
a i1 ,a i2 , ,a iN { a 1 ,a 2 , ,a r}
多符号离散信源的表示：
XX1X2X3 X k X :{ a 1 ,a 2 , ,a r } k ( 1 ,2 , )
多符号离散信源可用随机变量序列Xk(k=1,2, …)组成的时 间序列来表示，其中Xk表示某一单位时间k信源发出的符(k=1,2, …) 的单符号离散信源Xk(k=1,2, …)的时间序列。
表明N+1维离散平稳信源的1至N+1维联合概率分布不随时间的
推移而变化，对时间的起点来说是平稳的。
5
3.1 离散平稳信源的数学模型
2. 数学模型
信源符号集 X:{a1,a2, ,ar}，N维离散平稳信源，
XX1X2 XN X{a1,a2, ,ar}
令 i (ai1,ai2, ,aiN)表N 示 维平稳信源消 发息 出
其中
i (ai1ai2 aiN )
a i1 ,a i2 , ,a iN { a 1 ,a 2 , ,a r}
i1 ,i2 , ,iN 1 ,2 , ,r
i1,2,,rN
0 p (i) p (a i1 a i2 a iN ) 1(i1,2,,rN)
rN
rr
r
p(i) p(ai1ai2 aiN )1
i1
i11i21 iN 1
7
3.1 离散平稳信源的数学模型
推广
不妨假定：多符号离散平稳信源发出的所有信息都由N 个符号组成；多符号离散平稳信源发出的长度为N的不同 消息间相互统计独立、互不相关，因此可将N维离散稳定 信源在时间上延长到无穷序列
X X 1 X 2 X N X N 1 X N 2 X N N X 2 N 1 X 2 N 2 X 2 N N
2 .P (X Q a i,X Q 1 a j) P (X T a i,X T 1 a j) p (a ia j) 其 (i,j 中 1 ,2 , ,r )
3.P{XQ1ai1,XQ2ai2, ,XQNaiN } P{XT1ai1,XT2ai2, ,XTNaiN }p(ai1ai2 aiN) 其(a 中 i1,ai2, ,aiN){a1,a2, ,ar} i1,i2, ,iN 1,2, ,r
3. 才能代表一个完整的消息的信源，称为多符号离散信 源。
4. 多符号离散信道：相对于多符号离散信源来说，若信 道的
5. 输入端输入一个由多个信源符号组成的时间序列所代 表的
6. 消息，在信道的输出端相应以一定概率输出一个由同 样个
7. 数的符号组成的时间序列所代表的消息，这种信道称 2
3.1 离散平稳信源的数学模型