多符号离散信道(1)
信息论与编码-第2讲-信源及信息度量1
自信息含义
当事件xi发生以前：表示事件xi发生的不确定性。 当事件xi发生以后：表示事件xi所含有（或所提供）的信
息量。在无噪信道中，事件xi发生后，能正确无误地传输到 收信者，所以I(xi)可代表接收到消息xi后所获得的信息量。 这是因为消除了I(xi)大小的不确定性，才获得这么大小的信 息量。
2.1.1 单符号离散信源的数学模型
(1) 信源的描述方法 (2) 单符号离散信源数学模型
(1) 信源的描述方法
在通信系统中收信者在未收到消息以前，对信源发出 什么消息是不确定的。
① 离散信源：输出的消息常常是以一个个符号形式出现，
这些符号的取值是有限的或可数的。 单符号离散信源：只涉及一个随机事件，可用随机变量描述。 多符号离散信源：每次输出是一个符号序列，序列中每一位出现
② 联合自信息量
信源模型为
x2 y1 ,, x2 ym ,, xn y1 ,, xn y m XY x1 y1 ,, x1 ym , P( XY ) p( x y ),, p( x y ), p( x y ),, p( x y ),, p( x y ),, p( x y ) 1 m 2 1 2 m n 1 n m 1 1
计算y1与各种天气之间的互信息量 对天气x1，不必再考虑 对天气x2， I ( x2 ; y1 ) log2 p( x2 / y1 ) log2 1/ 2 1(比特) p( x ) 1/ 4
i i
验概率的函数。
函数f [p(xi)]应满足以下4个条件 根据上述条件可以从数学上证明这种函数形式是对 数形式。
信息论与编码-第10、11讲-第3章信道容量
容
量
多用户信道：有多个输入和多个输出的信道。
2019/5/2
0
10
第 ④ 根据信道上有无干扰分类
三 章
信 道
有干扰信道：存在干扰或噪声或两者都有的信
容
量 道。实际信道一般都是有干扰信道。
无干扰信道：不存在干扰或噪声，或干扰和噪
声可忽略不计的信道。计算机和外存设备之间的信道
可看作是无干扰信道。
统计依赖关系；
知道了信道的输入信号、输出信号以及它们之间的依 赖关系，信道的全部特性就确定了。一般来说，输入和输出信
号都是广义的时间连续的随机信号，可用随机过程来描述。
2019/5/2
0
5
② 一般信道的数学模型
第
三 章
信道的一般数学模型如图3.1.1所示
信 道
数学模型的数学符号表示 {X P(Y/X) Y}
道 容
量 号总可以分解成随机序列来研究。
一个实际信道可同时具有多种属性。
最简单的信道是单符号离散信道。
2019/5/2
0
13
3.2 单符号离散信道的信道容量
第 三 章
信 道
3.2.1 信道容量定义
容
量
3.2.2 几种特殊离散信道的信道容量
3.2.3 离散信道容量的一般计算方法
2019/5/2
0
3 信道容量
第 信道的功能：以信号形式传输和存储信息。
三 章
信道传输信息的速率：与物理信道本身的特性、载荷信息
信 的信号形式和信源输出信号的统计特性有关。
道 容
信道容量研究内容：在什么条件下，通过信道的信息量最
量
大。
3.1 信道的数学模型和分类
第三章离散信道及其信道容量
0
0 1
不是一一对应,无扰有信息损失
1
(2)有扰信道 例3:
a1
0.9
X
0.1
a2
0.2 0.8
b1
Y
b2
0.9 0.1 [P] 0.2 0.8 有扰有信息损失,干扰严重
例4:
a1
X
a2
1/2 1/2 1/2 1/2
b1
Y
b2
1/ 2 1 / 2 [P] 1/ 2 1 / 2
P yi xi P xi yi
即E{log x} ≤log{E(X)}
即E{log x} ≤log{E(X)}
I(X
;Y
)
X
Y
P(x,
y)
log
P( x)P( y) P(x, y)
log
XY
P(x,
y)
P( x)P( y) P(x, y)
log1
0
∴ I(X;Y) ≥ 0
∵ logx为∩ 型凸函数,只有当且仅当 p(x.y)=P(x)P(y),即x和Y统计独立时I(X;Y)=0
根据输入和输出信号的特点，信道可以分为： (1)离散信道。指输入和输出的随机变量的取值都 有是离散的信道。 (2)连续信道。指输入和输出的随机变量的取值都 是连续的信道。 (3)半离散半连续信道。输入变量是离散型的但相 应的输出变量是连续的信道，或者相反。 (4)波形信道。信道的输入和输出都是一些时间上 连续的随机信号。即信道输入和输出的随机变量的 取值是连续的，并且还随时间连续变化。一般用随 机过程来描述其输入和输出。
p( x1 ) 4
a2 1 4
a3 1 4
a4
1
4
1 P 1
信息论与编码试卷及答案(多篇)
一、概念简答题（每题5分，共40分）1.什么是平均自信息量与平均互信息，比较一下这两个概念的异同？答：平均自信息为表示信源的平均不确定度，也表示平均每个信源消息所提供的信息量。
平均互信息表示从Y获得的关于每个X的平均信息量，也表示发X前后Y的平均不确定性减少的量，还表示通信前后整个系统不确定性减少的量。
2.简述最大离散熵定理。
对于一个有m个符号的离散信源，其最大熵是多少？答：最大离散熵定理为：离散无记忆信源，等概率分布时熵最大。
最大熵值为。
3.解释信息传输率、信道容量、最佳输入分布的概念，说明平均互信息与信源的概率分布、信道的传递概率间分别是什么关系？答：信息传输率R指信道中平均每个符号所能传送的信息量。
信道容量是一个信道所能达到的最大信息传输率。
信息传输率达到信道容量时所对应的输入概率分布称为最佳输入概率分布。
平均互信息是信源概率分布的∩型凸函数，是信道传递概率的U型凸函数。
4.对于一个一般的通信系统，试给出其系统模型框图，并结合此图，解释数据处理定理。
答：通信系统模型如下：数据处理定理为：串联信道的输入输出X、Y、Z组成一个马尔可夫链，且有，。
说明经数据处理后，一般只会增加信息的损失。
5.写出香农公式，并说明其物理意义。
当信道带宽为5000Hz，信噪比为30dB时求信道容量。
.答：香农公式为，它是高斯加性白噪声信道在单位时间内的信道容量，其值取决于信噪比和带宽。
由得，则6.解释无失真变长信源编码定理。
.答：只要，当N足够长时，一定存在一种无失真编码。
7.解释有噪信道编码定理。
答：当R＜C时，只要码长足够长，一定能找到一种编码方法和译码规则，使译码错误概率无穷小。
8.什么是保真度准则？对二元信源，其失真矩阵，求a>0时率失真函数的和？答：1）保真度准则为：平均失真度不大于允许的失真度。
2）因为失真矩阵中每行都有一个0，所以有，而。
二、综合题（每题10分，共60分）1.黑白气象传真图的消息只有黑色和白色两种，求：1）黑色出现的概率为0.3，白色出现的概率为0.7。
信道分类
摘要在一般的广义通信系统中，信道是很重要的一部分。
它是传输信息的载体，其任务是以信号方式传输信息、存储信息。
因而研究信道就是研究信道中能够传送或存储的最大信息量，即信道容量问题。
信源输出的是携带着信息的消息，而消息必须首先转换成能在信道中传输或存储的信号，然后通过信道传送到收信者。
并且认为噪声或干扰主要是从信道中引入，它使信号通过信道后产生错误和失真。
故信道的输入和输出信号之间一般不是确定的函数关系，而是统计依赖的关系。
只要知道了信道的输入信号、输出信号，以及它们之间的统计依赖关系，则信道的全部特性就确定了。
实际的通信系统中，信道的种类很多，所包含的设备也各部相同，因而可以从不同的角度进行分类。
根据信道用户数量（1）单用户信道：只是一个输入端和一个输出端，信息只朝着一个方向（单向）传输。
其信道容量为一个确定的非负数。
（2）多用户信道：输入端或输出端至少有一端有两个以上的用户，信息在两个方向上（双向）都能传输。
其信道容量为一个二维或多维区间的一个限定区域的界限。
根据信道输入端和输出端的关系（1）无反馈信道：输出端的信号不反馈到输入信号，即输出信号对输入信号没有影响。
（2）反馈信道：信道输出端的信号反馈到输入端，影响输入端信号发生变化；根据信道的参数与时间的关系（1）固定参数信道：信道的参数（统计特性）不随时间变化而变化，如光纤、电缆信道。
（2）时变参数信道。
信道的参数（统计特性）随时间变化而变化，如无线信道的参数会因天气、周围环境的变化而发生较大的变化。
根据信道所受噪声种类的不同（1）随机差错信道：噪声独立随机地影响每个传输码元，如以高斯白噪声为体的信道。
（2）突发差错信道：噪声、干扰的影响前后相关，错误成串的出现，如实际的衰落信道、码间干扰信道，这些噪声可能是由不同的脉冲干扰或闪电等引起的。
根据输入和输出信号的特点（1）离散信道：输入和输出信号在时间和幅度上均离散。
离散信道的数学模型离散信道的数学模型一般如下图所示，输入和输出信道用随机矢量表示。
信息论与编码期末考试题----学生复习
《信息论基础》参考答案一、填空题1、信源编码的主要目的是提高有效性,信道编码的主要目的是提高可靠性。
2、信源的剩余度主要来自两个方面，一是信源符号间的相关性,二是信源符号的统计不均匀性。
3、三进制信源的最小熵为0，最大熵为bit/符号。
4、无失真信源编码的平均码长最小理论极限制为信源熵（或H(S)/logr= H r （S））。
5、当R=C或（信道剩余度为0）时，信源与信道达到匹配.6、根据信道特性是否随时间变化,信道可以分为恒参信道和随参信道。
7、根据是否允许失真，信源编码可分为无失真信源编码和限失真信源编码。
8、若连续信源输出信号的平均功率为，则输出信号幅度的概率密度是高斯分布或正态分布或时，信源具有最大熵，其值为值。
9、在下面空格中选择填入数学符号“”或“"（1）当X和Y相互独立时，H（XY)=H(X）+H（X/Y）=H（Y)+H（X）。
（2)（3）假设信道输入用X表示，信道输出用Y表示.在无噪有损信道中，H(X/Y)〉 0, H（Y/X)=0,I(X；Y）<H(X)。
二、若连续信源输出的幅度被限定在【2，6】区域内，当输出信号的概率密度是均匀分布时，计算该信源的相对熵，并说明该信源的绝对熵为多少.=2bit/自由度该信源的绝对熵为无穷大.三、已知信源(1）用霍夫曼编码法编成二进制变长码;（6分)（2）计算平均码长;（4分）（3）计算编码信息率；（2分）（4）计算编码后信息传输率；（2分）（5)计算编码效率。
(2分）(1)编码结果为：（2）（3）（4）其中，（5)四、某信源输出A、B、C、D、E五种符号，每一个符号独立出现,出现概率分别为1/8、1/8、1/8、1/2、1/8。
如果符号的码元宽度为0。
5。
计算:（1）信息传输速率。
（2）将这些数据通过一个带宽为B=2000kHz的加性白高斯噪声信道传输，噪声的单边功率谱密度为。
试计算正确传输这些数据最少需要的发送功率P。
解：（1）（2）五、一个一阶马尔可夫信源，转移概率为.（1) 画出状态转移图。
北邮信息论课件-第6章 离散信道及其容量
2）非高斯噪声信道 信道噪声分布不是高斯分布
11/78
§6.1.2 离散信道的数学模型
噪声
X
信道
Y
P(y|x)
12/78
离散无记忆信道
★ 一般的信道数学模型 ★ 离散无记忆信道 ★ 平稳（或恒参）信道 ★ 单符号离散信道
13/78
一般信道的数学模型
32/78
§6.2.2 离散对称道的容量
例 6.2.3 一信道的转移概率矩阵如图，求信道容量和达
到容量时的输入概率。
1 p
解：设输入输出概率为 pi ，q j ，i 1, 2 , , r
p
r 1
...
由于信道为强对称信道，故当
p r 1
p1 ... pr 1/ r 时,达到容量。
★ 无损信道：输出符号只对应一个输入符号。
C max H (X ) log r (比特/符号)
其中r为输入符号集的大小
X a1 a2
1/2 1/2
1/3 1/6
1/2 26/78
Y b1 b2
b3 b4
b5
§6.2.1 离散无噪信道的容量
★ 确定信道：每个输入符号都对应一个输出符号
C max H (Y ) log s (比特/符号)
p(0|M1 ) q ("0")
1
log 1/ 2
log[2(1 )]
1
ε 1-ε
1
21/78
单符号离散信道
4
2) q("00" )
i1
p
(
M
i
)
p
(00|M
差错控制编码第4章 离散信道
【在接收到Y=bj后，关于X的不确定性 的度量】
二、熵及平均互信息的物理 意义
3. 信道疑义度(损失熵)：
H ( X | Y ) p(ai b j ) log p (ai | b j )
i 1 j 1 r s
【输出端收到全部符号Y后，对输入X 尚存在的平均不确定性的度量】
三种特殊的离散信道
• 无噪无损信道
•有损无噪信道
•无损有噪信道
1. 无损无噪信道
① 信道中没有随机性的干扰或者干 扰很小，输出信号Y与输入信号 X之间有确定的、一一对应的关 系，即： yn=f(xn)
1. 无损无噪信道
② 传递概率矩阵是单位矩阵，为：
1 y n f ( x n ) p( y n | xn ) ij 0 y n f ( x n )
当X=Y时，有I(X;X)=H(X)
【例4.1】
1 信源X的概率测度为 PX 4
过下图所示的二元信道，计算H(X) 、H(Y) 和H(X|Y)。
0ቤተ መጻሕፍቲ ባይዱ
H(X |Y) p (ai b j ) log p (ai | b j )
j 1 i 1 s r
3 ，通 4
1/2 1/2 1/3
1. 传递概率p(y|x) 描述了输入信号和 输出信号之间统计依赖关系，集中 体现了信道对输入符号X的传递作 用，反映了信道的统计特性。 2. 信道不同，传递概率不同。
补充内容：
1. 有损有噪信道
若信源发出ai有可能收到任意一 个bj；收到bj也有可能来自任意一个 ai，即yn与xn多多对应，传输矩阵中 所有的矩阵元素都有可能不为零。
2. 有噪无损信道
③ 【有噪无损信道的特点】传递概率矩 阵中每列有且仅有一个非零元素，即 具有一行多列的分块对角化形式。
信息论基础第3章离散信道及其信道容量
《信息论基础》
3.6 多符号离散信道及其信道容量
【例】求图所示的二元无记忆离散对称信道的二次 扩展信道的信道容量。
【例】 已知两个独立的随机变量 X、Y 的分布律如下。
X P(x)
a1 0.5
a2 0.5
,
Y P( y)
b1 0.25
b2 b3 0.25 0.5
计算 H X , H Y , H XY , H X |Y , H Y | X , I X ;Y 。
《信息论基础》
3.4 信道容量的定义
I (ai ) 减去已知事件 bj 后对 ai 仍然存在的不确定性 I (ai | bj ) ，实际就是事件
bj 出现给出关于事件 ai 的信息量。
【例】 甲在一个16 16 的方格棋盘上随意放一枚棋
子，在乙看来棋子放入哪一个位置是不确定的。如果甲 告知乙棋子放入棋盘的行号，这时乙获得了多少信息 量？
《信息论基础》
第3章 离散信道及其信道容量
通信系统的基本功能是实现信息的传递，信道是信息 传递的通道，是信号传输的媒质。一般而言，信源发出的 消息，必须以适合于信道传输的信号形式经过信道的传输， 才能被信宿接收。
从信源的角度看，信源发出的每个符号承载的平均信 息量由信源熵来定量描述；而从信宿的角度看，信宿收到 的每个符号平均能提供多少信息量由平均互信息来定量描 述。在信息论中，信道问题主要研究在什么条件下，信道 能够可靠传输的信息量最大，即信道容量问题。
《信息论基础》
3.7 信源与信道的匹配
信息论习题集
信息论习题集第一章、判断题1、信息论主要研究目的是找到信息传输过程的共同规律，提高信息传输的可靠性、有效性、保密性和认证性，以达到信息传输系统的最优化。
（√）2、同一信息，可以采用不同的信号形式来载荷；同一信号形式可以表达不同形式的信息。
（√）3、通信中的可靠性是指使信源发出的消息准确不失真地在信道中传输；（√）4、有效性是指用尽量短的时间和尽量少的设备来传送一定量的信息。
（√）5、保密性是指隐蔽和保护通信系统中传送的消息，使它只能被授权接收者获取，而不能被未授权者接收和理解。
（√）6、认证性是指接收者能正确判断所接收的消息的正确性，验证消息的完整性，而不是伪造的和被窜改的。
（√）7、在香农信息的定义中，信息的大小与事件发生的概率成正比，概率越大事件所包含的信息量越大。
（×）第二章一、判断题1、通信中获得的信息量等于通信过程中不确定性的消除或者减少量。
（√）2、离散信道的信道容量与信源的概率分布有关，与信道的统计特性也有关。
（×）3、连续信道的信道容量与信道带宽成正比，带宽越宽，信道容量越大。
（×）4、信源熵是信号符号集合中，所有符号的自信息的算术平均值。
（×）5、信源熵具有极值性，是信源概率分布P 的下凸函数，当信源概率分布为等概率分布时取得最大值。
（×）6、离散无记忆信源的N 次扩展信源，其熵值为扩展前信源熵值的N 倍。
（√）7、互信息的统计平均为平均互信息量，都具有非负性。
（×）8、信源剩余度越大，通信效率越高，抗干扰能力越强。
（×）9、信道剩余度越大，信道利用率越低，信道的信息传输速率越低。
（×）10、信道输入与输出之间的平均互信息是输入概率分布的下凸函数。
（×）11、在信息处理过程中，熵是不会增加的。
（√）12、熵函数是严格上凸的。
（√）13、信道疑义度永远是非负的。
（√）14、对于离散平稳信源，其极限熵等于最小平均符号熵。
离散信道
4.3.3信道的平均互信息及其含义 定义4-3信源熵与信道疑义度之差称为平均互 信息 I（X；Y）= H(X) - H(X/Y)
H(X)是信道输入X本身具有的信息量， H(X/Y) 是观察到信道输出之后仍然保留 的关于X的信息量。因此I（X；Y）的含义
是接收到信道的输出符号集Y后，平均每个 符号获得的关于X的信息量，即通过信道传 送过去的信息量。
j=1
共有r*s个P（yj/xi）组成一个矩阵，称为信道转移矩阵
p11 p12 p 21 p 22 PY/X = ... ... pr1 pr2
p1s ... p 2s ... ... ... prs ...
例4-3接例2-12，假设串口通信的误码率为 4%，可以得该信道的转移矩阵为
I ( X ; Y ) p( x, y ) log
x, y
p( x / y) p( x) p( y / x) p( y)
p( x, y) log
x, y
p ( x, y ) p( x) p( y )
p( x, y) log
x, y
可见平均互信息是p（x）和p（y/x）的函数， 而p（x）代表了信源，p（y/x）代表了信道。 因此平均互信息是信源和信道的函数。
例4-10接例4-6 I（X；Y）=
(p p) log 1 1 1 1 (p p) log ( p log p log ) p p p p p p
对于给定的二进制对称信道，当信源为等概分布 时，即ω =1/2时，信道输出端平均每个符号获 得最大信息量，即信道容量为
4.2 信道的分类
1.按输入和输出符号的时间特性分 离散信道、连续信道和半连续信道。 离散信道的输入空间X和输出空间Y都是离散 符号集，离散信道有时又称为数字信道。像 手机和手机之间的信道就是数字信道。 连续信道的输入空间X和输出空间Y都是连续 符号集，连续信道又称为模拟信道。像电台 发出信号，我们用收音机接收就是一个模拟 信道。
信息论与编码姜丹第三版答案
信息论与编码习题参考答案 第一章单符号离散信源信息论与编码作业是 74页，1.1的(1)(5)，1.3,1.4,1.6,1.13,1.14 还有证明熵函数的 连续性、扩展性、可加性1.1同时掷一对均匀的子，试求：(1) “2和6同时出现”这一事件的自信息量； (2) “两个5同时出现”这一事件的自信息量； (3) 两个点数的各种组合的熵； ⑷两个点数之和的熵；(5) “两个点数中至少有一个是 1”的自信息量。
解：样本空间：N =c ；c ； =6 X6 =36n 12(1) R =—”1(a) =—log R =log18=4.17bitN 36 n 2 1(2) F 2 N =36 I (a) = -log F 2 =log36 =5.17bit (3) 信源空间:2 36 1.H(x)=15 log 6 log 36 = 4.32bit36 2 36(4)log 36+ — l og 36 — log 36 — log 迸36 2 36 3 36 4 log 塑 + — log 36 =3.71bit5 36 6 (5) F 3 =匹 二11. 1(a) - Tog F 3 -log 36 =1.17bit N 36 111.2如有6行、8列的棋型方格，若有两个质点A 和B ，分别以等概落入任一方格内，且它2H(r.卫36们的坐标分别为(Xa，Ya) , (Xb，Yb),但A，B不能同时落入同一方格内。
(1)若仅有质点A，求A落入任一方格的平均信息量；(2)若已知A已落入，求B落入的平均信息量；(3)若A，B是可辨认的，求A，B落入的平均信息量。
解：1(1) 幕A落入任一格的概率:P(a i) I (aj =-log P(aJ = log 484848.H(a) - P(a j)log P(aJ = log 48 =5.58biti 41(2) ；在已知A落入任一格的情况下,B落入任一格的概率是：P(bJ = —47.I(b) - -logP(b i) =log4748.H(b) = -' P(b i)log P(b i) =log47 =5.55biti -11 1(3) AB同时落入某两格的概率是P(ABJ二一一48 47.I(ABJ =-log P(AB i)48 47H(AB」-八P(ABJIog P(ABJ =log(48 47)=11.14biti 二1.3从大量统计资料知道，男性中红绿色盲的发病率为7%,女性发病率为0.5%.如果你问一位男士：“你是否是红绿色盲？”他的回答可能是：“是”，也可能“不是”。
通信原理期末复习题答案复习资料1
一、填空题1. 信源编码的两大任务为__提高信息传输效率_和__完成A/D转换__。
2.为使基带脉冲传输获得足够小的误码率，必须最大限度地减小码间干扰和随机噪声干扰的影响。
3.对于点对点之间的通信，按信息传送的方向和时间关系，通信方式可以分为__单工通信__,__半双工通信__和__全双工通信___4.在香农公式中，一个连续信道的信道容量受“三要素”限制，这三要素是__带宽__,___信号功率__,___噪声功率谱密度__5.离散信道又称编码信道，其模型可用转移概率来表示，而连续信道的信道模型用时变网路来表示。
6.滚降系数是Δf超出奈奎斯特带宽扩展量与f N奈奎斯特带宽的比值。
7.最常见多路复用方法有__频分__、___码分__和___时分__。
8.非均匀量化方法之一是采用压缩扩张技术，其压缩形式均为__对数压缩__形式，实际方法A律为__13折线__，μ律为__15折线__。
9．衡量数字通信系统性能指标是传输速率(有效性)和__差错率(可靠性)_两项指标。
10．八进制数字信号信息传输速率为600b/s，其码元速率为__200b/s__，若传送1小时后，接收到12个错误码元，其误码率为 1.67*10^-5。
12．在香农公式中，一个连续信道的信道容量受“三要素”限制，这三要素是_带宽_,__信号功率_,_噪声功率谱密度_。
13．一个均值为零的平稳高斯窄带噪声，它的包络一维分布服从__瑞利分布__ ，相位一维分布服从__均匀分布__。
14．最常见的二进制数字调制方式有2ASK(二进制振幅键控)、_2FSK(二进制频移键控)_和_2PSK(二进制相移键控)_。
15．模拟信号转变为数字信号需要经过以下三个过程：__采样_ 、__量化__ 和 ___编码__。
16．PCM30/32制式中一复帧包含有__16__帧，而每一帧又包含有__32__个路时隙，每一路时隙包含有__8__个位时隙。
17．码组（0011010）的码重为____3___ ，与码组（0100100）之间的码距为____5___ 。
计算机科学技术：信息论与编码考试题库二
计算机科学技术：信息论与编码考试题库二1、问答题（江南博哥）请给出平均码长界定定理及其物理意义。
答案：2、填空题多用户信道的信道容量用（）来表示。
答案：多维空间的一个区域的界限3、判断题狭义的信道编码既是指：信道的检、纠错编码。
答案：对4、判断题互信息量I（X；Y）表示收到Y后仍对信源X的不确定度。
答案：对5、判断题对于具有归并性能的无燥信道，当信源等概率分布时（p（xi）=1/n），达到信道容量。
答案：错6、问答?有两个二元随机变量X和Y，它们的联合概率为P[X=0，Y=0]=1/8，P[X=0，Y=1]=3/8，P[X=1，Y=1]=1/8，P[X=1，Y=0]=3/8。
定义另一随机变量Z=XY，试计算：（1）H（X），H（Y），H（Z），H（XZ），H（YZ），H（XYZ）；（2）H（X/Y），H（Y/X），H（X/Z），H（Z/X），H（Y/Z），H（Z/Y），H （X/YZ），H（Y/XZ），H（Z/XY）；（3）I（X；Y），I（X；Z），I（Y；Z），I（X；Y/Z），I（Y；Z/X），I（X；Z/Y）。
答案：7、填空题平均互信息量I（X；Y）与信源熵和条件熵之间的关系是（）。
答案：（X;Y)=H(X)-H(X/Y）8、填空题根据输入输出信号的特点，可将信道分成离散信道、连续信道、（）信道。
答案：半离散或半连续9、填空题单符号离散信源一般用随机变量描述，而多符号离散信源一般用（）描述。
答案：随机矢量10、填空题信源编码的目的是提高通信的（），信道编码的目的是提高通信的（），加密编码的目的是保证通信的（）。
答案：有效性；可靠性；安全性11、填空题某离散无记忆信源X，其符号个数为n，则当信源符号呈（）分布情况下，信源熵取最大值（）。
答案：等概；log（n）12、名词解释前向纠错（FEC）答案：是指差错控制过程中是单向的，无须差错信息的反馈。
13、名词解释信源编码答案：就是针对信源输出符号序列的统计特性，通过概率匹配的编码方法，将出现概率大的信源符号尽可能编为短码，从而使信源输出的符号序列变换为最短的码字序列针对信源输出符号序列的统计特性，通过概率匹配的编码方法，将出现概率大的信源符号尽可能编为短码，从而使信源输出的符号序列变换为最短的码字序列。
离散信道及其容量
第四章离散信道及其容量首先让我们来介绍信道的定义：信道是信息传输的媒介或者通道，它有输入端与输出端，其中输入端输入信息，而输出端输出信息。
下面我们要根据信道传输的信息的特点与信道的输入端与输出端的特点来对信道进行分类：1：信息可分为离散与连续两种，根据信息的这一特点，可以把信道分为：)a离散信道：输入与输出的信息都是离散的信道。
)b连续信道：输入与输出的信息都是连续的信道。
)c半连续信道：输入端信息与输出端信息中有且仅有一端是连续信息的信道。
2：输入端与输出端均既可以只有一个接口，也可以有多个接口，根据信道的这一特点，我们可以把信道分为：)a多元接入信道：多个输入端的信息在一个输出端输出的信道（如卫星通信系统可以同时接收多个地面站的信息）。
)b广播信道：把一个输入端的信息在多个输出端输出的信道（如卫星可以同时把信息发送给多个地面站）。
一般我们把一个信源或者一个信宿称为一个用户，如果整个信道中有三个或三个以上的用户，我们称该信道为多端信道（多用户信道），这样多元接入信道与广播信道都称为多端信道。
而只有一个信源与信宿的信道称为两端信道（两用户信道）。
要注意的是即使信息在传输的过程中没有受到干扰，输出的信息也并不一定与输入的信息是完全一样的（从这个角度来讲，信道不仅具有传输信息的功能，还具有信息转换的功能，如正在研究能在大型会议上使用的中英文翻译器可看作这样的一个信道）。
现在我们具体来研究信道（我们在这里主要考虑的是只有一个输入端与一个输出端的离散信道，而且我们不考虑信息的转换功能）：首先我们要提出一个问题：我们应该从哪个角度来研究信道？我们不会从一个信道单位时间内传输多少个二元码（或别的码）这个角度来研究信道，因为这取决于信道的硬件。
那么我们应该从哪个角度来考虑信道呢？我们知道信息在信道中传输的时候是有可能发生传输错误的，而这会影响信息的传输速度。
举个例子说明：设信道传输的不同符号只有两个：0与1，信道在传输0与1的时候错误概率均为01.0，为了降低传输的错误概率到可以忽视不计，我们就需要在信道传输前在信息中加一些重复码，这样肯定会在降低错误概率的同时降低了传输的速度。
通信原理第八章-离散信道及信道容量
信道，顾名思义就是信号的通道。图 8.1 中位于调制器和解调器之间的信道指用来传 输电信号的传输介质，如电缆，光缆，自由空间等，我们把这样的信道称为狭义信道。狭 义信道的输入为波形信号，输出为连续信号。还有一种定义即凡是信号经过的路径都称为 信道，这就是广义信道的概念。如图 8.1 所示，由调制器，信道和解调器构成了一个广义 编码信道。编码信道的输入和输出均为数字信号，因此，我们也将这类信道称为离散信道。
P(a������b������) = P(a������)������(b������|a������) = P(b������)P(a������|b������)
（8.5）
其中 ������(b������|a������)是信道传递概率，即发送为a������，通过信道传输接收到为b������的概率。通常称为前向
(������ = 1,2, … , ������ ������ = 1,2, … ������) （8.7）
8.2 平均互信息及平均条件互信息 在阐明了离散单符号信道的数学模型，即给出了信道输入与输出的统计依赖关
系以后，我们将深入研究在此信道中信息传输的问题。
8.2.1 损失熵和噪声熵
信道输入信号 x 的熵为
I(X, Y) = ������(������) − H(������|������)
（8.12）
I(X, Y)称为 X 和 Y 之间的平均互信息。它代表接收到输出符号后平均每个符号获得的关于 X
的信息量。根据式（8.8）和式（8.11）得
I(X; Y)
=
∑������,������
������(������������)
H (Y
X)
离散信道及其信道容量
离散信道及其信道容量
例3
1 1 1 2 2 P( Y / X) 1 1 2 1 2
离散信道及其信道容量
2、互信息量
定义
信宿消息yj的自信息量I(yj)减去信道关于发出消息 xi和接收消息yj的条件信息量I(yj/xi)为信宿消息yj 所含信源消息xi的互信息量，用I(xi; yj)表示。
离散信道及其信道容量
信道对于信息率的容纳并不是无限制 的，它不仅与物理信道本身的特性有关 ，还与信道输入信号的统计特性有关， 它有一个极限值，即信道容量，信道容 量是有关信道的一个很重要的物理量。
离散信道及其信道容量
一般信道的定义及模型
信道是传输信息的媒质或通道。
影响信道传输的因素：噪声、干扰。 噪声、干扰：非函数表述、随机性、统计依赖。 信道的全部特性：输入信号、输出信号，以及它们之间 的依赖关系。 信道的一般数学模型：
P( y1 / x1 ) P( y 2 / x1 ) P( y / x ) P( y / x ) 1 2 2 2 P( Y / X) P( y1 / x n ) P( y 2 / 2 … xn
P(y1/x1) P(y2/x2) … P(ym/xn)
离散信道及其信道容量
信道容量：信息率能大到什么程度
(1)信道容量是信道信息率的上限，定量描述了信道（信息的）最 大通过能力； (2)使得给定信道的达到最大值（即信道容量）的输入分布，称为 最佳输入（概率）分布 (3)信道的I(x;y)与输入概率分布和转移概率分布两者有关，但信 道容量是信道的固有参数，只与信道转移概率有关。
X
P（Y/X） 一般信道的数学模型
Y
离散信道及其信道容量
第4章离散信道
I ( X ;Y )
XY
p(xy) log
p(y | x) p( y)
XY
p( y
|
x) p(x)log
p(y | x)
p(y | x) p(x)
I(X;Y)
X
信道1的容量
但是容量C已对所有
信道2的容量
可能的p(x)取最大值，因此
容量C仅与信道特性p(y|x)有关，
也就是说，容量C是信道的固有 特性，与信源无关。
H(X|Y)≤H(X)：收到输出符号Y以后，总能 消除一些对X的不确定性，获得一些信息。
【定义4-1】 称信道的输入空间X对输出空 间Y的条件熵
H (X | Y ) p(xi y j ) log p(xi | y j )
为信道疑义度。XY
信道疑义度的含义是观察到信道的输出之 后仍然保留的关于信道输入的平均不确定 性。
I ( X ;Y ) I (Y; X ) p(xy) log p( y | x) H ( p p) H ( p)
XY
p( y)
固定信道
p固定 从0到1 变化
固定信源
固定 p从0到1 变化
4.4 信道的组合
组合方式
并行：积信道 例如：Internet
串行：级联信道 例如：GSM
积信道
P P1P2
2 p(1 p)
(1
p)2
p2
则 I(X;Y)=1-H(p) I(X;Z)=1-H(2p(1-p))
从图中能够看出 I(X;Z)≤I(X;Y)
例4-8
X 1/3
Y
Z
1
信道I和信道II的信道矩阵分别为 1/3 2/3
1 1 1
信道及信道容量
第5章 信道及信道容量教学内容包括：信道模型及信道分类、单符号离散信道、多符号离散信道、多用户信道及连续信道5．1信道模型及信道分类教学内容：1、一般信道的数学模型2、信道的分类3、信道容量的定义1、 一般信道的数学模型影响信道传输的因素：噪声、干扰。
噪声、干扰：非函数表述、随机性、统计依赖。
信道的全部特性：输入信号、输出信号，以及它们之间的依赖关系。
信道的一般数学模型：2、 信道的分类输出随机信号输入、输出随机变量个数输入和输出的个数信道上有无干扰有无记忆特性3、信道容量的定义衡量一个信息传递系统的好坏，有两个主要指标：图5.1.1 一般信道的数学模型离散信道、连续信道、半离散或半连续信道 单符号信道和多符号信道 有干扰信道和无干扰信道有记忆信道和无记忆信道单用户信道和多用户信道 速度指标质量指标速度指标：信息（传输）率R ，即信道中平均每个符号传递的信息量；质量指标：平均差错率e P ，即对信道输出符号进行译码的平均错误概率；目标：速度快、错误少，即R 尽量大而e P 尽量小。
信道容量：信息率R 能大到什么程度； )/()()/()();(X Y H Y H Y X H X H Y X I R -=-==若信道平均传送一个符号所需时间为t 秒，则);(1Y X I t R t =（bit/s ）称t R 为信息（传输）速率。
分析：对于给定的信道，总存在一个信源（其概率分布为*)(X P ），会使信道的信息率R 达到最大。
（);(Y X I 是输入概率)(X P 的上凸函数，这意味着);(Y X I 关于)(X P 存在最大值）每个给定的信道都存在一个最大的信息率，这个最大的信息率定义为该信道的信道容量，记为C ，即);(max max Y X I R C XXP P ==bit/符号 （5.1.3）信道容量也可以定义为信道的最大的信息速率，记为t C⎭⎬⎫⎩⎨⎧==);(1max max Y X I t R C XX P t P t （bit /s ） （5.1.4） 解释：(1)信道容量C 是信道信息率R 的上限，定量描述了信道（信息的）最大通过能力； (2)使得给定信道的);(Y X I 达到最大值（即信道容量C ）的输入分布，称为最佳输入（概率）分布，记为*)(X P ；(3)信道的);(Y X I 与输入概率分布)(X P 和转移概率分布)/(X Y P 两者有关，但信道容量C 是信道的固有参数，只与信道转移概率)/(X Y P 有关。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
b j ( y j1 , y j2 , , y jN )； j 1, 2, , mN，j k (1, 2, , m)
mN
且满足 pij 1 j 1
i 1, 2, , nN
这仍意味着N次扩展信道矩阵中各行之和为 1 。
6
N次扩展信道的信道矩阵
由于信道是无记忆的，故有 pij p(bj / ai ) p( y j1 y j2 y jN / xi1 xi2
输入符号集为X2 =00,01,10,11，共有nN 22 4个输入符号。
输出符号集为Y2 =00,01,10,11，共有mN 22 4个输出符号。
8
例 二次扩展信道的传递概 率
根据信道的无记忆特性，可以求出二次扩展信道的 传递概率 p(bj / ai )，i, j 1, 2,3, 4为
• 一般离散无记忆信道的数学模型基本上与 输入和输出为单符号的简单离散无记忆信 道的模型相同。
• 不同的是其输入和输出不是单个随机变量X 和Y，而是随机序列
X ( X1X 2 , X N )和Y (Y1Y2 ,YN ).
• 其概率空间为 [X, p(y/x), Y]
2
简单的离散无记忆信道
• 简单的离散无记忆信道的输入和输出都是 单个随机变量，其数学模型如下图：
第3章 信道容量
• 3.1 信道的数学模型和分类 • 3.2 单符号离散信道的信道容量 • 3.3 多符号离散信道
– 3.3.1 多符号离散信道的数学模型 – 3.3.2 离散无记忆信道和独立并联信道的信道
容量
• 3.4 多用户信道 • 3.5 连续信道 • 3.6 信道编码定理
1
离散无记忆N次扩展信道
k 1 5
N次扩展信道的信道矩阵
p11
p12
N次扩展信道的信道矩阵为
P
p21
p22
p n
N
1
pnN 2
p1mN
p2mN
pnN mN
其中:p ij
p(bj
/
ai )
i 1, 2, , nN ;
j 1, 2, , mN
ai (xi1 , xi2 , , xiN )；i 1, 2, nN，ik (1, 2, , n)
00 b1
a2 01
XN
a3 10
01 b2
YN
10 b3Βιβλιοθήκη a4 1111 b4
11
N次扩展信道的平均互信息
根据平均互信息的定义，
可以求出N次扩展信道的平均互信息
I (X; Y) H ( X N ) H ( X N / Y N ) I ( X N ;Y N )
H (Y N ) H (Y N / X N )
9
例 二次扩展信道的信道矩 阵
• 从而求得二元对称信道的二次扩展信道的 信道矩阵为：
p2 pp pp p2
P
pp
p2
p2
pp
pp p2 p2 pp
p
2
pp
pp
p
2
10
例 二元对称信道的二次扩 展信道
• 二元对称信道的二次扩展信道如下图所示
：
pij p(bj / ai )
a1 00
N
P(Y/X) P(Yi / Xi ) i 1
N
或者 p(bj / ai ) p( y j k / xi k ) i 1, 2, , nN ; j 1, 2, , mN i 1
则存在
N
I X; Y I ( Xi;Yi )
i 1
式中,Xi和Yi是随机序列X 和Y中第i位随机变量,
它意味着平均互信息I X; Y小于或等于
其中：i 1, 2, , nN ; j 1, 2, , mN
N
xiN ) p( y j k / xi k )
k 1
7
例 二元对称信道的二次扩展
信道
• 分析二元无记忆对称信道的二次扩展信道。
0X
p
Y
0
p
p
1
p
1
二元无记忆对称信道的输入和输出随机变量X 和Y都
取值于同一符号集0,1，因此，二次扩展信道的
P
• 且满足 m
pn1
pnm
pij 1 ; i 1, 2, , n
j 1
– 这意味着矩阵中每一行之和为1。
其中 pij p( y j / xi ) P(Y y j / X xi ) 其概率空间为[X ,P( y j / xi ),Y ].
4
离散无记忆信道的N次扩展 信道
• 此离散无记忆信道的N次扩展信道的数学模
型如下图：
XN
N次扩展信道
YN
p(bj / ai ) 输入随机矢量X的可能取值有nN个，分别是ai，i 1, 2,…,nN 输出随机矢量Y的可能取值有mN个，分别是b j，j 1, 2,…,mN 根据信道的无记忆特性，有
N
p(bj /ai ) p( y j1 y j2...y jN / xi1xi2...xiN ) p( y jk / xik )
X N ,Y N
p(aibj ) log
p(ai / bj ) p(ai )
X N ,Y N
p(aibj ) log
p(bj / ai ) ； p(bj )
其中：i 1, 2,..., nN ; j 1, 2,..., mN 12
定理一
• 若信道的输入和输出分别是N长序列X和Y，且信道是无记忆 的，亦即信道传递概率为
单个随机变量Xi和Yi的互信息I Xi ;Yi ,i 1, 2, N之和。
13
定理 二
• 若信道的输入和输出分别是N长序列X和Y，且信源是无 记忆的，亦即
N
P(X) P(Xi ) i1
或者 p(ai ) p(xi1 ) p(xi2 ) p(xiN ) i 1, 2, , nN
X
信道
Y
p( y j / xi )
• 信道的输入随机变量取值于符号集X
• 信道的输出随机变量取值于符号集Y
X {x1, x2,..., xn} ; Y {y1, y2,..., ym}
• 信道的传递概率为 pij p( y j / xi )
3
简单的离散无记忆信道
• 信道矩阵为： p11
p1m