第4章-单符号离散信道
《信息论与编码技术》复习提纲复习题
《信息论与编码技术》复习提纲复习题纲第0章绪论题纲：I.什么是信息？II.什么是信息论？III.什么是信息的通信模型？IV.什么是信息的测度？V.自信息量的定义、含义、性质需掌握的问题：1.信息的定义是什么？（广义信息、狭义信息——Shannon信息、概率信息）2.Shannon信息论中信息的三要素是什么？3.通信系统模型图是什么？每一部分的作用的是什么？4.什么是信息测度？5.什么是样本空间、概率空间、先验概率、自信息、后验概率、互信息？6.自信息的大小如何计算？单位是什么？含义是什么（是对什么量的度量）？第1章信息论基础㈠《离散信源》题纲：I.信源的定义、分类II.离散信源的数学模型III.熵的定义、含义、性质，联合熵、条件熵IV.离散无记忆信源的特性、熵V.离散有记忆信源的熵、平均符号熵、极限熵VI.马尔科夫信源的定义、状态转移图VII.信源的相对信息率和冗余度需掌握的问题：1.信源的定义、分类是什么？2.离散信源的数学模型是什么？3.信息熵的表达式是什么？信息熵的单位是什么？信息熵的含义是什么？信息熵的性质是什么？4.单符号离散信源最大熵是多少？信源概率如何分布时能达到？5.信源的码率和信息率是什么，如何计算？6.什么是离散无记忆信源？什么是离散有记忆信源？7.离散无记忆信源的数学模型如何描述？信息熵、平均符号熵如何计算？8.离散有记忆多符号离散平稳信源的平均符号熵、极限熵、条件熵（N阶熵）的计算、关系和性质是什么？9.什么是马尔科夫信源？马尔科夫信源的数学模型是什么？马尔科夫信源满足的2个条件是什么？10.马尔科夫信源的状态、状态转移是什么？如何绘制马尔科夫信源状态转移图？11.马尔科夫信源的稳态概率、稳态符号概率、稳态信息熵如何计算？12.信源的相对信息率和冗余度是什么？如何计算？㈡《离散信道》题纲：I.信道的数学模型及分类II.典型离散信道的数学模型III.先验熵和后验熵IV.互信息的定义、性质V.平均互信息的定义、含义、性质、维拉图VI.信道容量的定义VII.特殊离散信道的信道容量需掌握的问题：1.信道的定义是什么？信道如何分类？信道的数学模型是什么？2.二元对称信道和二元删除信道的信道传输概率矩阵是什么？3.对称信道的信道传输概率矩阵有什么特点？4.根据信道的转移特性图，写出信道传输概率矩阵。
通信原理第四章 (樊昌信第七版)PPT课件
则接收信号为
2 1
fo(t) = K f(t - 1 ) + K f(t - 2 ) 相对时延差
F o () = K F () e j 1 + K F () e j ( 1 )
信道传输函数
H()F F o(( ))K Keejj 11((1 1 eejj ))
常数衰减因子 确定的传输时延因子 与信号频率有关的复因子
课件
精选课件
1
第4章 信道
通信原理（第7版）
樊昌信 曹丽娜 编著
精选课件
2
本章内容:
第4章 信道
信道分类
信道模型
恒参/随参信道特性对信号传输的影响
信道噪声
信道容量
定义·分类
模型·特性
影响·措施
信道噪声 信道容量
精选课件
3
概述
信道的定义与分类
n 狭义信道：
—传输媒质 有线信道 ——明线、电缆、光纤 无线信道 ——自由空间或大气层
1. 传输特性
H ()H ()ej ()
H() ~ 幅频特性
()~ 相频特性
2. 无失真传输
H()Kejtd
H() K
()td
精选课件
27
n 无失真传输（理想恒参信道）特性曲线：
恒参信道
|H()|
K
() td
td
0
H() K
幅频特性
0
0
()td
()d() d
td
相频特性
群迟延特性
精选课件
28
n 理想恒参信道的冲激响应:
恒参信道
H()Kejtd
h(t)K(ttd)
若输入信号为s(t)，则理想恒参信道的输出:
信息论基础智慧树知到答案章节测试2023年广东工业大学
第一章测试1.信息论由哪位科学家创立（）。
A:傅里叶B:香农C:奈奎斯特D:冯诺依曼答案:B2.点对点通信模型包含以下哪些部分（）。
A:译码器B:信源C:信宿D:信号答案:ABC3.信息就是消息。
（）A:对B:错答案:B4.连续信源分为，，。
答案:5.研究信息论的目的是：提高信息传输的_，_，、，达到信息传输的最优化。
答案:第二章测试1.某一单符号离散信源的数学模型为，则其信息熵为（）。
A:1比特/符号B:0.1比特/符号C:0.88比特/符号D:0.08 比特/符号答案:A2.单符号信源具有以下哪些特点（）。
A:无记忆B:连续C:有记忆D:平稳答案:AD3.熵函数具有以下哪些基本性质（）。
A:对称性B:随机性C:连续性答案:ACD4.信源要含有一定的信息，必须具有随机性。
（）A:错B:对答案:B5.信息熵表示信源X每发一个符号所提供的平均信息量。
（）A:错B:对答案:B第三章测试1.以下等式或不等式关系成立的是（）。
A:B:C:D:答案:A2.单符号离散无记忆的N次扩展信道，有以下哪两种特点（）。
A:无预感性B:无记忆性C:平稳性D:对称性答案:AB3.后向信道矩阵中任·一行之和为1。
（）A:错B:对答案:B4.信道容量指信道的最大信息传输率。
（）A:错B:对答案:B5.互信息量等于_与_比值的对数。
答案:第四章测试1.某信源输出信号的平均功率和均值均被限定，则其输出信号幅值的概率密度函数是以下哪种分布时，信源达到最大差熵值（）。
A:高斯分布B:均匀分布C:指数分布答案:A2.某信源的峰值功率受限，则概率密度满足以下哪个个条件时，差熵达到最大值（）。
A:均匀分布B:泊松分布C:高斯分布D:指数分布答案:A3.连续信道的平均互信息不具有以下哪些性质（）。
A:非负性B:连续性C:上凸性D:极值性答案:B4.差熵具有以下哪两个性质（）。
A:条件差熵值大于无条件差熵B:差熵必为负值C:条件差熵值小于无条件差熵D:差熵可为负值答案:CD5.一维高斯分布连续信源是瞬时功率受限的一类连续平稳信源。
信息论与编码第三版 第4章
p( x)
信息论与编码
3. 根据平均互信息量I（X; Y）达到信道容量的充要条件式对C进行验证：
p ( y j ) p ( xi ) p ( y j / xi )
i 1 3
1 P 0 0
0 1/ 2 0
0 1/ 2 0
0 0 1/6
x1 x2 x3 x4 x5
1 1 1 1 1
y1 y2 y3 y4 y5
1 0 P 0 0 0
0 1 0 0 0
0 0 1 0 0
0 0 0 1 0
0 0 0 0 1
【解】 该信道的信道容量为：
C max I ( X ; Y ) max H ( X ) log 5
C max I ( X ; Y ) max H (Y )
p( x) p( x)
由于
p( y ) p( x) p( y / x)，由于信道转移概率是确定的，求使H (
X
Y)
达到最大值的p ( x )的最佳分布就转化为求p ( y )的最佳分布。由极大离 散熵定理知，在p ( y )等概率分布时，H ( Y ) 达到最大，则
I ( x2 ; Y ) p ( y j / x2 ) log
j 1 2
p ( y j / x2 ) p( y j ) p ( y j / x3 ) p( y j ) p ( y j / x4 ) p( y j ) p ( y j / x5 ) p( y j )
1 log
1 1/ 2
log 2
I ( x3 ; Y ) p ( y j / x3 ) log
j 1 2
1 log
离散信道
4.3.3信道的平均互信息及其含义 定义4-3信源熵与信道疑义度之差称为平均互 信息 I（X；Y）= H(X) - H(X/Y)
H(X)是信道输入X本身具有的信息量， H(X/Y) 是观察到信道输出之后仍然保留 的关于X的信息量。因此I（X；Y）的含义
是接收到信道的输出符号集Y后，平均每个 符号获得的关于X的信息量，即通过信道传 送过去的信息量。
j=1
共有r*s个P（yj/xi）组成一个矩阵，称为信道转移矩阵
p11 p12 p 21 p 22 PY/X = ... ... pr1 pr2
p1s ... p 2s ... ... ... prs ...
例4-3接例2-12，假设串口通信的误码率为 4%，可以得该信道的转移矩阵为
I ( X ; Y ) p( x, y ) log
x, y
p( x / y) p( x) p( y / x) p( y)
p( x, y) log
x, y
p ( x, y ) p( x) p( y )
p( x, y) log
x, y
可见平均互信息是p（x）和p（y/x）的函数， 而p（x）代表了信源，p（y/x）代表了信道。 因此平均互信息是信源和信道的函数。
例4-10接例4-6 I（X；Y）=
(p p) log 1 1 1 1 (p p) log ( p log p log ) p p p p p p
对于给定的二进制对称信道，当信源为等概分布 时，即ω =1/2时，信道输出端平均每个符号获 得最大信息量，即信道容量为
4.2 信道的分类
1.按输入和输出符号的时间特性分 离散信道、连续信道和半连续信道。 离散信道的输入空间X和输出空间Y都是离散 符号集，离散信道有时又称为数字信道。像 手机和手机之间的信道就是数字信道。 连续信道的输入空间X和输出空间Y都是连续 符号集，连续信道又称为模拟信道。像电台 发出信号，我们用收音机接收就是一个模拟 信道。
信息论基础ElementsofInformationTheory
信息论
3.1信道的数学模型及分类
4.单符号离散信道的一些概率关系
后验 先验 对于信道[ X, P, Y ]， 概率 概率 输入和输出符号的联合概率 P( x ai , y b j ) P(aib j ) P(ai ) P(b j | ai ) P(b j ) P(ai | b j )
电子信息工程学院
信息论
3.1信道的数学模型及分类
2.信道模型
记
P(b j | ai ) pij
则信道传递矩阵为
信道矩阵，可作为单符号离散信道的另一种数学模型 表达形式。
电子信息工程学院
信息论
3.1信道的数学模型及分类
3.几个重要的单符号离散信道
对称离散信道：信道矩阵中的行元素集合相同，列元素 集合也相同的信道，称为对称信道。
P( y | x )
P( y | x ) 1
y
电子信息工程学院
信息论
3.1信道的数学模型及分类
信道 X 其 中 称为信道的(前向) P( y | x ) 转移概率 用概率空间 描述为， X , P( y | x), Y
具体就是
a1 a X 2 ar P(b j | ai ) b1 b2 Y bs
根据联合概率可得输出符号的概率 P(b1 ) P(a1 ) P (b ) P ( a )P(b | a ) 矩阵形式： P(b2 ) P T P(a2 )
r j i 1 i j i
根据贝叶斯定律可得后验概率
P(ai | b j ) P(ai b j ) P (b j ) P (ai ) P (b j | ai )
信息论复习提纲
信道传递概率可以用信道矩阵来表示：
x1 x2 P xr
y1 p( y1 | x1 ) p( y | x ) 1 2 p( y1 | xr )
y2 p( y2 | x1 )
p( y2 | x2 ) p( y2 | xr )
ys p( ys | x1 ) 1 p( ys | x2 ) p( ys | xr )
i
第四章：信道及信道容量
二、离散单符号信道及其信道容量
1.离散单符号信道的数学模型（续14）
例3：求二元删除信道的 H ( X )、H (Y )、H ( X | Y )和I ( X ;Y ) 。
已知
1 3 PX 4 4
1 1 2 2 0 P 1 2 0 3 3
3. 后验概率（后向概率）: 贝叶斯公式
p ( xi | y j ) p ( xi y j ) p( y j ) p ( xi ) p ( y j | xi )
p( x ) p( y
i 1 i
r
j
| xi )
（i =1，2，…，r;j =1，2，…，s）
且
p ( xi | y j ) 1
Y y2
ys
i 1, 2,..., r ; j 1, 2,..., s
满足： （1）0≤ p(yj|xi) ≤ 1 (i=1,2,…,r；j=1,2,…,s) （2）
p( y j | xi ) 1
j 1
s
(i=1,2,…,r)
第四章：信道及信道容量
二、离散单符号信道及其信道容量
1.离散单符号信道的数学模型（续2）
r s
第四章：信道及信道容量
《信息论与编码》课程教学大纲
《信息论与编码》课程教学大纲一、课程基本信息课程代码：16052603课程名称：信息论与编码英文名称：Information Theory and Coding课程类别：专业课学时：48学分：3适用对象:信息与计算科学考核方式：考试先修课程：数学分析、高等代数、概率论二、课程简介《信息论与编码》是信息科学类专业本科生必修的专业理论课程。
通过本课程的学习，学生将了解和掌握信息度量和信道容量的基本概念、信源和信道特性、编码理论等，为以后深入学习信息与通信类课程、为将来从事信息处理方面的实际工作打下基础。
本课程的主要内容包括：信息的度量、信源和信源熵、信道及信道容量、无失真信源编码、有噪信道编码等。
Information Theory and Coding is a compulsory professional theory course for undergraduates in information science. Through this course, students will understand and master the basic concepts of information measurement and channel capacity, source and channel characteristics, coding theory, etc., lay the foundation for the future in-depth study of information and communication courses, for the future to engage in information processing in the actual work.The main contents of this course include: information measurement, source and source entropy, channel and channel capacity, distortion-free source coding, noisy channel coding, etc。
信息论与编码习题参考答案(全)
111
(1)在W4＝011中，接到第一个码字“0”后获得关于a4的信息量I(a4;0)；
(2)在收到“0”的前提下，从第二个码字符号“1”中获取关于a4的信息量I(a4;1/0)；
(3)在收到“01”的前提下，从第三个码字符号“1”中获取关于a4的信息量I(a4;1/01)；
(4)从码字W4＝011中获取关于a4的信息量I(a4;011)。
其中N=2FT,б2X是信号的方差(均值为零),б2N是噪声的方差(均值为零).
再证:单位时间的最大信息传输速率
信息单位/秒
(证明详见p293-p297)
5.12设加性高斯白噪声信道中,信道带宽3kHz,又设{(信号功率+噪声功率)/噪声功率}=10dB.试计算改信道的最大信息传输速率Ct.
解:
5.13在图片传输中,每帧约有2.25×106个像素,为了能很好的重现图像,需分16个量度电平,并假设量度电平等概率分布,试计算每分钟传输一帧图片所需信道的带宽(信噪功率比为30dB).
(2)求信源的极限熵H∞；
(3)求当p=0,p=1时的信息熵，并作出解释。
解:
3.10设某马尔柯夫信源的状态集合S：{S1S2S3}，符号集X：{α1α2α3}。在某状态Si(i=1,2,3)下发发符号αk(k=1,2,3)的概率p(αk/Si) (i=1,2,3; k=1,2,3)标在相应的线段旁,如下图所示.
证明:
3.5试证明：对于有限齐次马氏链，如果存在一个正整数n0≥1，对于一切i，j＝1，2，…，r，都有pij(n0)>0，则对每个j＝1，2，…，r都存在状态极限概率：
(证明详见:p171~175)
3.6设某齐次马氏链的第一步转移概率矩阵为：
信息论与编码姜丹第三版答案精编版
信息论与编码习题参考答案 第一章 单符号离散信源信息论与编码作业是74页，1.1的（1）（5），1.3,1.4,1.6,1.13,1.14还有证明熵函数的连续性、扩展性、可加性1.1同时掷一对均匀的子，试求：(1)“2和6同时出现”这一事件的自信息量； (2)“两个5同时出现”这一事件的自信息量； (3)两个点数的各种组合的熵； (4)两个点数之和的熵；(5)“两个点数中至少有一个是1”的自信息量。
解：bitP a I N n P bit P a I N n P c c N 17.536log log )(361)2(17.418log log )(362)1(36662221111616==-=∴====-=∴===⨯==样本空间：(3)信源空间：bit x H 32.436log 3616236log 36215)(=⨯⨯+⨯⨯=∴ bitx H 71.3636log 366536log 3610 436log 368336log 366236log 36436log 362)(=⨯⨯+⨯+⨯+⨯⨯=∴＋＋ (5) bit P a I N n P 17.11136log log )(3611333==-=∴==1.2如有6行、8列的棋型方格，若有两个质点A 和B ，分别以等概落入任一方格内，且它们的坐标分别为（Xa ，Ya ）, （Xb ，Yb ）,但A ，B 不能同时落入同一方格内。
（1） 若仅有质点A ，求A 落入任一方格的平均信息量； （2） 若已知A 已落入，求B 落入的平均信息量； （3） 若A ，B 是可辨认的，求A ，B 落入的平均信息量。
解：bita P a P a a P a I a P A i 58.548log )(log )()(H 48log )(log )(481)(:)1(481i i i i i ==-=∴=-=∴=∑=落入任一格的概率bitb P b P b b P b I b P A i 55.547log )(log )()(H 47log )(log )(471)(:B ,)2(481i i i i i ==-=∴=-=∴=∑=落入任一格的概率是落入任一格的情况下在已知 bitAB P AB P AB H AB P AB I AB P AB i i i i i i i 14.11)4748log()(log )()()(log )(471481)()3(47481=⨯=-=-=∴⨯=∑⨯=是同时落入某两格的概率1.3从大量统计资料知道,男性中红绿色盲的发病率为7%,女性发病率为0.5%.如果你问一位男士：“你是否是红绿色盲？”他的回答可能是：“是”，也可能“不是”。
信息论——精选推荐
信息论信号论考试复习题⼀、填空题。
1. ⾹农信息论中定义的信息是“事物运动状态和存在⽅式不确定性的描述”。
2. 消息是信息的载体。
构成消息的两个条件是能被通信双⽅所理解和可以在通信中传递和交换。
3. 信源编码的作⽤是根据失真度准则对信源的输出消息进⾏编码，⽤码字表⽰消息。
4. 信息论研究的主要问题是如何提⾼信息传输系统的有效性和可靠性。
5. 如果信源输出的消息的随机变量，可以在某⼀离散集合内取值，也可以在某⼀连续区间内取值，相应的信源就分别称为和。
——[答案：1.连续信源离散信源]6. 当条件概率分布p （y ∣x ）给定时，平均互信息量I （X;Y ）是输⼊概率分布p(x)的。
——【上凸函数】7. ⼋进制脉冲的平均信息量为，⼋进制脉冲所含信息量是⼆进制脉冲信息量的倍。
——【3 3】8. 熵函数的数学特性有、、、确定性、可加性、极值性、上凸性。
——【对称性⾮负性扩展性】9. 平均互信息量I （X;Y ）与信源熵和条件熵之间的关系是。
【I （X;Y ）=H （X ）—H(X/Y)】 10. 设信源X 包含 4个不同的离散信息，当且仅当X 中各个信息出现的概率为时，信源熵达到最⼤值为，此时各个信息的⾃信息量为。
【1/4 2 2】 11. ⾃信息量表征信源中各个符号的不确定度，信源符号的概率越⼤，其⾃信息量越。
【⼩】 12. 信源的冗余度来⾃两个⽅⾯，⼀是信源符号之间的，⼆是信源符号分布的。
【相关性不均匀性】 13. 离散信道是输⼊和输出的随机变量的取值都是离散的信道。
14. 信道可依据输⼊输出的随机变量类型分成离散信道、连续信道、半离散或半连续信道。
15. 单符号离散信道的输⼊符号是X ，取之于｛a1、a2…… an ｝;输出符号为Y ,取值为｛b1、b2、……bn ｝，并有条件概率P(Y=bj/X=ai)=P(bj/ai)(i=1、2……m)，这⼀组条件概率称为信道的传递概率或转移概率。
4-第四讲信道容量及其计算
不同排列组成，并且每一列也是同一元素
集的不同的排列组成。
1 1 1 1
,
1 1 1 1
6 6 3 3
1 1 1
2
3
6
P
1 6
1 2
1 3
1
1
1
3 6 2
1/3 1/3 1/6 1/6
1/6 1/6
1/3
1/3
行
列
1/2
1/3 1/6
1/6 1/2
1/3
1/3 1/6
1/2
行
列
C log 4 H (1 , 1 , 1 , 1) 2 (1 log 1 1 log 1 1 log 1 1 log 1)
3366
3 33 36 66 6
0,0817(bit / symbol)
（2）、准对称信道的容量
准对称信道：信道矩阵（列）的子阵是对称矩阵。
1 1 1 1
P
3
有时我们需要关心单位时间内（一般为秒为单位） 平均传输的信息量，若平均传输一个符号需要 t 秒，则 信道每秒平均传输的信息量为（速率）
Rt
1 I(X ;Y ) t
1H(X)1H(X
t
t
|Y)
(bit / sec)
I（X；Y）是输入随机变量的概率分布的上凸函数， 所以对于固定的信道，总存在一种信源分布，使传输 每个符号平均获得的信息量最大，也就是说，每一个 固定信道都有一个最大的信息传输率。
信道2 p(j’|k’)
Y1 {bj} Y2 {bj '}
定理：独立并行信道的容量为各分信道容量之和。
C C1 C2
和信道：随机选取信道1或信道2传送，（并信道）。
第4章离散信道
I ( X ;Y )
XY
p(xy) log
p(y | x) p( y)
XY
p( y
|
x) p(x)log
p(y | x)
p(y | x) p(x)
I(X;Y)
X
信道1的容量
但是容量C已对所有
信道2的容量
可能的p(x)取最大值，因此
容量C仅与信道特性p(y|x)有关，
也就是说，容量C是信道的固有 特性，与信源无关。
H(X|Y)≤H(X)：收到输出符号Y以后，总能 消除一些对X的不确定性，获得一些信息。
【定义4-1】 称信道的输入空间X对输出空 间Y的条件熵
H (X | Y ) p(xi y j ) log p(xi | y j )
为信道疑义度。XY
信道疑义度的含义是观察到信道的输出之 后仍然保留的关于信道输入的平均不确定 性。
I ( X ;Y ) I (Y; X ) p(xy) log p( y | x) H ( p p) H ( p)
XY
p( y)
固定信道
p固定 从0到1 变化
固定信源
固定 p从0到1 变化
4.4 信道的组合
组合方式
并行：积信道 例如：Internet
串行：级联信道 例如：GSM
积信道
P P1P2
2 p(1 p)
(1
p)2
p2
则 I(X;Y)=1-H(p) I(X;Z)=1-H(2p(1-p))
从图中能够看出 I(X;Z)≤I(X;Y)
例4-8
X 1/3
Y
Z
1
信道I和信道II的信道矩阵分别为 1/3 2/3
1 1 1
通信原理第4章信道
人为噪声 － 例：开关火花、电台辐射 自然噪声 － 例：闪电、大气噪声、宇宙噪声、热
噪声
30
信道中的噪声
热噪声
来源：来自一切电阻性元器件中电子的热运动。 频率范围：均匀分布在大约 0 ～ 1012 Hz。 热噪声电压有效值：
V 4kTRB(V)
式中 k = 1.38 10-23（J/K） － 波兹曼常数； T － 热力学温度（ºK）； R － 阻值（）； B － 带宽（Hz）。
8
有线信道
4.2 有线信道
明线
9
有线信道
对称电缆：由许多对双绞线组成
导体 绝缘层
同轴电缆
图4-9 双绞线
实心介质 导体
金属编织网
保护层
图4-10 同轴线
10
有线信道
n2 n1 折射率
光纤
结构
(a)
纤芯 包层
n2 n1 折射率
按折射率分类 (b) 阶跃型
梯度型 按模式分类
噪声等效带宽：
Bn
Pn(f)d
f
2Pn(f0)
0 Pn(f)df Pn(f0)
式中 Pn(f0) － 原噪声功率谱密度曲线的最大值
噪声等效带宽的物理概念：
以此带宽作一矩形
滤波特性，则通过此
接收滤波器特性
特性滤波器的噪声功率，
等于通过实际滤波器的
Pn(f)
噪声功率。
Pn (f0)
噪声等效 带宽
利用噪声等效带宽的概念，
32
信道中的噪声
窄带高斯噪声
带限白噪声：经过接收机带通滤波器过滤的热噪 声
窄带高斯噪声：由于滤波器是一种线性电路，高 斯过程通过线性电路后，仍为一高斯过程，故此 窄带噪声又称窄带高斯噪声。
信息论基础-第4章信息论基础1
研究目的——信息传输系统最优化
1.可靠性高 使信源发出的消息经过信道传输后，尽可能准确地、 不失真地再现在接收端。
2.有效性高 经济效果好，用尽可能短的时间和尽可能少的设备来 传送一定数量的信息。
往往提高可靠性和提高有效性是矛盾的。
3. 保密性 隐蔽和保护通信系统中传送的消息，使它只能被授
权接收者获取，而不能被未授权者接收和理解。
★信息论研究的对象、目的和内容
研究对象——通信系统模型
信 源 消息 编码器 信号 信 道
干扰
噪声源
译码器 消息 信 宿
1. 信息源：简称信源 信源是产生消息和消息队列的源。如电视直播厅，广 播室，人等等。
特点：信源输出的消息是随机的、不确定的，但有一 定的规律性。
2. 编码器：
编码器是把消息变换成信号的措施，编码器输出的 是适合信道传输的信号。
定理4.2.5 熵函数 H X 是概率 px1, px2 ,..., pxN
的型凸函数。
定理4.2.6 当离散信源X取等概分布时，其熵 H X 取最大值。
max
H px1 ,
px2
,...,
pxN
H
1 N
,
1 Ng 1 log 1
i1 N
N
N
即：当信源取等概分布时，具有最大的不确定性。
(1) f ( p应i ) 是先验概率 的P(x单i ) 调递减函数，
即
P(x1)时 P,(x2 )
f [P(x1)] f [P(x2)]
(2) 当 P(xi )时,1
f ( pi ) 0
(3) 当 P(xi )时 0, f ( pi )
(4) 两个独立事件的联合信息量应等于它们分
《信息论与编码》复习试题
填空1.人们研究信息论的目的是为了 高效、可靠、安全 地交换和利用各种各样的信息。
2.信息的 可度量性 是建立信息论的基础。
3.统计度量 是信息度量最常用的方法。
4.熵 是香农信息论最基本最重要的概念。
5.事物的不确定度是用时间统计发生 概率的对数 来描述的。
6.单符号离散信源一般用随机变量描述，而多符号离散信源一般用 随机矢量 描述。
7.一个随机事件发生某一结果后所带来的信息量称为自信息量，定义为 其发生概率对数的负值 。
8.自信息量的单位一般有 比特、奈特和哈特 。
9.必然事件的自信息是 0 。
10.不可能事件的自信息量是 ∞ 。
11.两个相互独立的随机变量的联合自信息量等于 两个自信息量之和 。
12.数据处理定理：当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量 趋于变小 。
13. 离散平稳无记忆信源X 的N 次扩展信源的熵等于离散信源X 的熵的 N 倍 。
14. 离散平稳有记忆信源的极限熵，=∞H )/(lim 121-∞→N N N X X X X H 。
15. 对于n 元m 阶马尔可夫信源，其状态空间共有 n m 个不同的状态。
16. 一维连续随即变量X 在[a ，b]区间内均匀分布时，其信源熵为 log 2（b-a ） 。
17.平均功率为P 的高斯分布的连续信源，其信源熵，H c （X ）=eP π2log 212。
18.对于限峰值功率的N 维连续信源，当概率密度 均匀分布 时连续信源熵具有最大值。
19.对于限平均功率的一维连续信源，当概率密度 高斯分布 时，信源熵有最大值。
20.若一离散无记忆信源的信源熵H （X ）等于2.5，对信源进行等长的无失真二进制编码，则编码长度至少为 3 。
21.若把掷骰子的结果作为一离散信源，则其信源熵为 log 26 。
22.同时掷两个正常的骰子，各面呈现的概率都为1/6，则“3和5同时出现”这件事的自信息量是 log 218（1+2 log 23）。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
b 3 态转移图确定。
反之，状态转移
b j 图确定，则信道 确定。
bs
信息论与编码
湖北大学物电学院蒋碧波
第1节 离散信道的数学模型
例：在通信工程，通常使用二进制删除信道。 (输入符号集{0,1}，输出符号集{0,?,1})
1) 转移概率模型
p ( y 0 /x 0 ) pp ( y ? /x 0 ) 1 p pp ( y 1 /x 0 ) 0 p ( y 0 /x 1 ) 0p ( y ? /x 1 ) 1 p pp ( y 1 /x 1 ) p
日思日睿 笃志笃行
信息论与编码
湖北大学物电学院蒋碧波
第1节 离散信道的数学模型
2) 转移概率矩阵模型
p p 0
0
p
p
3) 状态转移图模型
日思日睿 笃志笃行
0
p0 1-p ?
1
1-p
p1
信息论与编码
湖北大学物电学院蒋碧波
第1节 离散信道的数学模型
例：在通信工程，通常使用二进制对称信道。 (输入符号集{0,1}，输出符号集{0, 1})
湖北大学物电学院蒋碧波
第2节 条件自信量及平均条件自信量
I ( x0 | y1 ) log P ( x0 | y1 )
log P ( x0 y1 ) log P ( y1 )
P ( x0 )P ( y1 / x0 )
1
P ( xi )P ( y1 / xi )
i0
1 0.3
log
信宿符号的概率分布 P ( y j )
日思日睿 笃志笃行
信息论与编码
湖北大学物电学院蒋碧波
第2节 条件自信量及平均条件自信量
r
p(xi) 1
i1
s
p(yj) 1
j 1
s
p( y j / xi ) 1
j 1
r
p(xi / y j ) 1
i 1
r
p(yj) p(xi)p(yj /xi) i1
P ( y1 )
P ( x1 ) P ( y1 / x1 )
1
P ( xi ) P ( y1 / xi )
i0
2 0.8
log
1
3 0.3
2
0.8
0 .3 0 ( b its )
3
3
1 I(x0) lo 2P g (x0) lo 23 g 1 .5(b 8)its
I(x1) lo 2P g (x1) lo 23 2 g 0 .5(b 8)its
分析：
I ( x0 | y0 ) log P ( x0 | y0 )
log P ( x0 y0 ) log P( y0 )
P(x0 )P( y0 / x0 )
1
P( xi )P( y0 / xi )
i0
1 0.7
log
1
3 0.7
2
0.2
0.65(bits)
3
3
日思日睿 笃志笃行
信息论与编码
0
1-p p
0
1
p 1-p
1
日思日睿 笃志笃行
信息论与编码
湖北大学物电学院蒋碧波
第1节 离散信道的数学模型
2、平稳马尔可夫信道的数学模型
平稳就是与什么时候传输没有关系，无记忆就是与前面传输的符号没有 关系。而马尔可夫信道是有记忆的，只是记忆长度很短。 例如有这样一个信道，信源发送的符号集{0，1}，
0
0
0
0
1
1
1
0
0
0
1
1
1
1
日思日睿 笃志笃行
信息论与编码
湖北大学物电学院蒋碧波
第2节 条件自信量及平均条件自信量
1、几种概率及其关系
信源符号的概率分布，也称作先验概率 P ( x i )
信道的转移概率 后验概率 联合概率分布
P( y j / xi ) P(xi / y j ) P (xi y j )
信2节 条件自信量及平均条件自信量
2、条件自信量 1)、定义
I(xi|yj)loP g (xi1 |(yj)) loP (g xi|yj) 2)、物理意义
A 已知接收为有yj的条件下，对发送为xi的不确定性。
日思日睿 笃志笃行
信息论与编码
湖北大学物电学院蒋碧波
第2节 条件自信量及平均条件自信量
第4章-单符号离散信道
日思日睿 笃志笃行
信息论与编码
湖北大学物电学院蒋碧波
日思日睿 笃志笃行
信息论与编码
湖北大学物电学院蒋碧波
日思日睿 笃志笃行
信息论与编码
湖北大学物电学院蒋碧波
第1节 离散信道的数学模型
3) 状态转移图模型
a1 a2 a3 ai ar
日思日睿 笃志笃行
b1
b2
信道确定，则状
日思日睿 笃志笃行
信息论与编码
湖北大学物电学院蒋碧波
第2节 条件自信量及平均条件自信量
1) 转移概率模型
p (y 0 /x 0 ) 1 p p (y 1 /x 0 ) p p ( y 0 /x 1 ) p p ( y 1 /x 1 ) 1 p
日思日睿 笃志笃行
信息论与编码
湖北大学物电学院蒋碧波
第1节 离散信道的数学模型
2) 转移概率矩阵模型
1 p p p 1 p
3) 状态转移图模型
p ( x iy j) p ( x i) p ( y j/x i) p ( y j) p ( x i/y j)
p(y/x) j i
p(xiyj) p(xi)
p(yj)p(xi/yj) p(xi)
p(x/y) i j
p(xiyj) p(yi)
p(xi)p(yj/xi) p(yj)
日思日睿 笃志笃行
1
P( xi )P( y0 / xi )
i0
2 0.2
log
3
1.46(bits)
1 0.7 2 0.2
3
3
日思日睿 笃志笃行
信息论与编码
湖北大学物电学院蒋碧波
第2节 条件自信量及平均条件自信量
I ( x1 | y1 ) log P ( x1 | y1 )
lo g P ( x1 y1 ) lo g
例： 某一无记忆信源的符号集为{0,1}，已知，p 0
1 3
p1
2 3
。信道转移概率矩阵为
01
0 0.7 0.3 1 0.2 0.8
求条I 件 (x0|y0 自 )I,(x0|信 y 1)I,(x 1 量 |y0)I,(x 1|y 1)
日思日睿 笃志笃行
信息论与编码
湖北大学物电学院蒋碧波
第2节 条件自信量及平均条件自信量
1
3 0.3
2
0.8
2 .6 6 ( b its )
3
3
日思日睿 笃志笃行
信息论与编码
湖北大学物电学院蒋碧波
第2节 条件自信量及平均条件自信量
I ( x1 | y0 ) log P ( x1 | y0 )
log P ( x1 y0 ) log P( y0 )
P ( x1 ) P ( y0 / x1 )