第4章离散信道
信息论与编码复习题目
信息论复习提纲第一章绪论1．通信系统模型；2．香浓信息的概念；3．信源、信道、信源编码和信道编码研究的核心问题。
第二章离散信源及信源熵1．离散信息量、联合信息量、条件信息量、互信息量定义；2．信源熵、条件熵、联合熵定义；3．平均互信息量定义、性质、三种表达式及物理意义，与其它熵的关系（不证明）；4．最大信源熵定理及证明；5．本章所有讲过的例题；第三章离散信源的信源编码1．信息传输速率、编码效率定义；2．最佳编码定理（即节定理：概率越大，码长越小；概率越小，码长越大）及证明；3．码组为即时码的充要条件；4．单义可译定理（Kraft不等式）及应用；5．费诺编码方法、霍夫曼编码方法应用（二进制，三进制，四进制）；6．本章所有讲过的例题；第四章离散信道容量1．利用信道矩阵计算信道容量（离散无噪信道、强对称离散信道、对称离散信道、准对称离散信道）；2．本章讲过的例题；第五章连续消息和连续信道1．相对熵的定义；2．均匀分布、高斯分布、指数分布的相对熵及证明；3．峰值功率受限条件下的最大熵定理及证明，平均功率受限条件下的最大熵定理及证明，均值受限条件下的最大熵定理及证明；4．香农公式及意义；5．本章所有讲过的例题；第六章差错控制1．重量、最小重量、汉明距离、最小汉明距离、编码效率的定义；2．最小距离与检错、纠错的关系（即节定理）；3．本章所有讲过的例题；第七章线性分组码1．线性分组码定义；2．线性分组码的最小距离与最小重量的关系及证明；3．生成矩阵、一致校验矩阵定义，给出线性方程组求出生成矩阵和一致校验矩阵的标准形式，生成矩阵与一致校验矩阵的关系；4．制作标准阵列并利用标准阵列译码；5．本章所有讲过的例题；第八章循环码1．生成多项式的特点，有关定理（三定理1，定理2，定理3）及证明；2． 生成矩阵、一致校验矩阵定义，如何获得生成矩阵、一致校验矩阵的典型形式；3．本章所有讲过的例题； 习题：1.已知随机变量X 和Y 的联合分布如下：计算：、I(X;Y)。
通信原理 (完整)精选全文
数字通信的主要优点：
(a) 失真的数字信号
(b) 恢复的数字信号
数字信号波形的失真和恢复
数字通信的主要缺点：
➢ 占用带宽大 ➢ 设备复杂 ➢ 同步要求高
宽带通信、压缩编码 VLSI、SOC、ASIC 信号处理技术
应用实例：
➢ 数字传输技术：电话、电视、计算机数据等 信号的远距离传输。
➢ 模拟传输技术：有线电话环路、无线电广 播、电视广播等。
狭义信道
有线信道 无线信道
中长波地波 短波电离层反射 超短波、微波视距传输 超短波、微波对流层散射 卫星中继
编码信道 调制信道
信 源
加 密 器
编 码 器
调 制 器
发 转 换 器
信 道
收 转 换 器
解 调 器
解解 码密 器器
信 宿
发送设备
噪 声
接收设备
广义信道
广义信道
调制信道：
调制器输出端到解调器输入端的所有设备和媒介。 研究调制和解调时，常用调制信道。 连续信道/模拟信道。
eo(t)
e0t htei t nt e0t kt ei t nt
n(t)
n(t): 加性干扰 k(t): 乘性干扰
k t 依赖于网络的特性，k t 反映网络特性对 ei t 的作用。
干扰
加性干扰：本地噪声
始终存在
乘性干扰：非理理想信道 与信号共存
sR t sT tht nt
乘性 加性
增量调制DM
军用、 民用电话
Hale Waihona Puke 差分脉码调制DPCM电视电话、 图像编码
其 他 语 言 编 码 方 式 中低速数字电话 ADPCM、 APC、 LPC
按信号复用方式分类
第4章_信道
32
4.3 信道的数学模型
内蒙古大学电子信息工程学院 《通信原理》
4.3.2 编码信道模型
由于信道噪声或其它因素的影响，将导致输出数字序列发生 错误，因此输入输出数字序列之间的关系可以用一组 转移概率 来表征。 转移概率：在二进制系统中，就是“0”转移为“1”的 概率和“1”转移为“0”的概率。
8
4.1 无线信道
内蒙古大学电子信息工程学院 《通信原理》
地波
频率在2MHz以下的电磁波，趋于沿弯曲的地球表面传 播，有一定的绕射能力。 地波在传播过程中要不断损失能量，而且频率越高损 失越大，因此传播距离不大，一般在数百千米到数千千米。
传播路径 传播路径
发射天线 发射天线
地面 地面
接收天线 接收天线
导体 绝缘层
图4-9 双绞线
21
4.2 有线信道
内蒙古大学电子信息工程学院 《通信原理》
传输电信号的有线信道主要有三类：
明线、对称电缆和同轴电缆。 同轴电缆
由内外两根同心圆柱导体构成，两根导体之间用绝缘体 隔离开。内导体多为实心导线，外导体是一根空心导电管或 金属编织网，在外导体外面有一层绝缘保护层。其优点是抗 干扰特性好。
增大视线传播距离的途径 卫星中继（卫星通信）
利用三颗地球同步卫星可以覆盖全球，从而实现全球通信。
利用卫星作为中继站能够增大一次 转发的距离，但是却增大了发射功 率和信号传输的延迟。 此外，发射卫星也是一项巨大的工 程。 故开始研究使用平流层通信。 图4-5 卫星中继
15
4.1 无线信道
发射天线 发射天线
地面 地面
接收天线 接收天线
图4-4
无线电中继
特点：容量大、发射功率小、稳定可靠等。
第4章_离散信道及其容量题与答案
4.1 设有一离散无记忆信源，其概率空间为⎭⎬⎫⎩⎨⎧=⎥⎦⎤⎢⎣⎡4.06.0)(21x x X P X 它们通过一干扰信道，信道输出端的接收符号集为Y = { y1, y2 }，信道转移概率如题图4.1所示。
求：(1) 信源X 中事件x 1和事件x 2分别含有的自信息； (2) 收到消息y j (j=1,2)后，获得的关于x i (i=1,2)的信息量； (3) 信源X 和信宿Y 的信息熵；(4) 信道疑义度H(X/Y)和噪声熵H(Y/X)； (5) 接收到信息Y 后获得的平均互信息。
解：信道转移矩阵为：⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡414361651)bitx p x I bit x p x I 322.14.0log )(log )( 737.06.0log )(log )(2211=-=-==-=-=2)bity p x y p y x I bity p x y p y x I bity p x y p y x I bity p x y p y x I x y p x p x y p x p y p x y p x p x y p x p y p 322.02.04/3log )()/(log);( 093.08.04/1log )()/(log );( 263.02.06/1log )()/(log );( 059.08.06/5log )()/(log );(2.0414.0616.0)/()()/()()(8.0434.0656.0)/()()/()()(2222212112212211111122212122121111===-===-=======⨯+⨯=+==⨯+⨯=+=3)bity p y p Y H bitx p x p X H jj j ii i 722.0)2.0log 2.08.0log 8.0()(log )()( 971.0)4.0log 4.06.0log 6.0()(log )()(=+-=-==+-=-=∑∑4)∑∑-=iji j i j i x y p x y p x p X Y H )/(log )/()()/(5/61/4 3/4 1/6 1x2x 2y1y 题图 4.1bitY H X Y H X H Y X H Y X H Y H X Y H X H bit964.0722.0715.0971.0 )()/()()/()/()()/()( 715.0 43log 434.041log 414.061log 616.065log 656.0 =-+=-+=∴+=+=⎪⎭⎫ ⎝⎛⨯+⨯+⨯+⨯-=5)bit Y X H X H Y X I 0075.0964.0971.0)/()();(=-=-=4.2 设有扰离散信道的输入端是以等概率出现的A, B, C, D 四个字母。
信息论讲义_第一讲
• 香农定义的信息也有其局限性，存在一些缺陷
– 定义的出发点是假定事物状态可以用一个以经典集 合论为基础的概率模型来描述。 – 没有考虑收信者的主观特性和主观意义，也撇开了 信息的具体含意、具体用途、重要程度和引起后果 等因素。
20
1.1.4 信息、消息与信号
信息： 比较抽象的概念；是系统中传输的对 象；包含在消息之中。 消息：比较具体，但不是物理量；具有不同 形式，例如语言、文字、符号、图像等能够 被人感知；可以传输并被通信双方理解；同 一消息含有不同信息；同一信息可用不同消 息载荷。 信号：最具体，是消息的载荷者；是表示消 息的物理量，可测量、可显示、可描述，是 信息的物理表达层。
12
1.1.2 广义的信息概念
信息本身看不见、摸不着，它必须依附于一定的物 质形式（如文字、声波、电磁波等）。这种运载信 息的物质称为信息的载体，一切物质都有可能成为 信息的载体。
13
1.1.3 概率信息概念
由美国数学家香农1948年提出，亦称香农信息 基于对通信活动基本功 基于对通信活动对象和 基于对通信活动的机制 或狭义信息。概率信息是从 不确定性 能的观察分析，“通信 过程的分析研究，“信 和本质的分析研究， (Uncertainty) 和概率测度出发定义信息的。 的基本问题是在信宿端 源发出的消息总是从可 “人类只有在两种情况 香农针对人类通信活动的特点，提出了 精确或近似地复制发送 能发生的消息符号集合 下有通信的需求， 1）自 端所挑选的消息。通常 中随机选择，通信系统 己有某种形式的消息要 ① 形式化假说 消息是有语义的，即它 无法预先知道信源在什 告诉对方，且估计对方 ② 非决定论 按某种关系与某些物质 么时候会选择什么消息 不知道； 2）自己有某种 ③ 不确定性 概念的实体联系着。通 发送”，即具有通信意 疑问需要对方给出解答” 信中语义方面的问题与 义的消息都是随机发生 经过通信活动后，消除 工程问题没有关系” 的 了 随机事件，获取了信 不确定性
信息论与编码第三版 第4章
p( x)
信息论与编码
3. 根据平均互信息量I（X; Y）达到信道容量的充要条件式对C进行验证：
p ( y j ) p ( xi ) p ( y j / xi )
i 1 3
1 P 0 0
0 1/ 2 0
0 1/ 2 0
0 0 1/6
x1 x2 x3 x4 x5
1 1 1 1 1
y1 y2 y3 y4 y5
1 0 P 0 0 0
0 1 0 0 0
0 0 1 0 0
0 0 0 1 0
0 0 0 0 1
【解】 该信道的信道容量为：
C max I ( X ; Y ) max H ( X ) log 5
C max I ( X ; Y ) max H (Y )
p( x) p( x)
由于
p( y ) p( x) p( y / x)，由于信道转移概率是确定的，求使H (
X
Y)
达到最大值的p ( x )的最佳分布就转化为求p ( y )的最佳分布。由极大离 散熵定理知，在p ( y )等概率分布时，H ( Y ) 达到最大，则
I ( x2 ; Y ) p ( y j / x2 ) log
j 1 2
p ( y j / x2 ) p( y j ) p ( y j / x3 ) p( y j ) p ( y j / x4 ) p( y j ) p ( y j / x5 ) p( y j )
1 log
1 1/ 2
log 2
I ( x3 ; Y ) p ( y j / x3 ) log
j 1 2
1 log
差错控制编码第4章 离散信道
【在接收到Y=bj后，关于X的不确定性 的度量】
二、熵及平均互信息的物理 意义
3. 信道疑义度(损失熵)：
H ( X | Y ) p(ai b j ) log p (ai | b j )
i 1 j 1 r s
【输出端收到全部符号Y后，对输入X 尚存在的平均不确定性的度量】
三种特殊的离散信道
• 无噪无损信道
•有损无噪信道
•无损有噪信道
1. 无损无噪信道
① 信道中没有随机性的干扰或者干 扰很小，输出信号Y与输入信号 X之间有确定的、一一对应的关 系，即： yn=f(xn)
1. 无损无噪信道
② 传递概率矩阵是单位矩阵，为：
1 y n f ( x n ) p( y n | xn ) ij 0 y n f ( x n )
当X=Y时，有I(X;X)=H(X)
【例4.1】
1 信源X的概率测度为 PX 4
过下图所示的二元信道，计算H(X) 、H(Y) 和H(X|Y)。
0ቤተ መጻሕፍቲ ባይዱ
H(X |Y) p (ai b j ) log p (ai | b j )
j 1 i 1 s r
3 ，通 4
1/2 1/2 1/3
1. 传递概率p(y|x) 描述了输入信号和 输出信号之间统计依赖关系，集中 体现了信道对输入符号X的传递作 用，反映了信道的统计特性。 2. 信道不同，传递概率不同。
补充内容：
1. 有损有噪信道
若信源发出ai有可能收到任意一 个bj；收到bj也有可能来自任意一个 ai，即yn与xn多多对应，传输矩阵中 所有的矩阵元素都有可能不为零。
2. 有噪无损信道
③ 【有噪无损信道的特点】传递概率矩 阵中每列有且仅有一个非零元素，即 具有一行多列的分块对角化形式。
精品课件-通信原理(第二版)(黄葆华)-第4章
y(t) kx(t td )
(4-3-1)
式中，k和td均为常数，k是衰减（或放大）系数，td为固定的 时延。
第4章 信道
对上式进行傅氏变换，得到
Y ( f ) F y(t) F kx(t td ) k X ( f )e j2 ftd
因此，传输特性为
H ( f ) Y ( f ) k e j2 ftd H ( f ) e j( f ) X( f )
第4章 信道
调制信道的共性如下： (1) 有一对(或多对)输入端和一对(或多对)输出端。 (2) 绝大多数的信道都是线性的，即满足线性叠加原理。 (3) 信号通过信道具有一定的延迟时间，而且它还会受到固 定的或时变的损耗。 (4) 即使没有信号输入，在信道的输出端仍可能有一定的噪 声输出。 根据上述共性，我们可以用一个二对端(或多对端)的时变线 性网络来表示调制信道，该网络称为调制信道模型，如图4.2.2所 示。
P(0 / 0) 1 P(1/ 0)
P(1/1) 1 P(0 /1)
Pe P(0)P(1/ 0) P(1)P(0 /1)
第4章 信道
图4.2.3 二进制编码信道模型
第4章 信道
4.3 恒参信道特点及其对信号传输的影响
1.无失真传输 无失真传输是指信号通过信道后波形形状并未发生改变， 即输出信号的波形与输入信号波形相比只是成比例地缩小（或 放大）和时间上的延迟。因此，无失真传输时，输入输出信号
(4－3－2)
式(4－3－2)表明，要保证信号通过信道不产生失真，信道传 输特性必须具备下列两个条件：
（1）幅频特性为一条水平直线，即|H(f)|=k（常数）。
第4章 信道
（2）相频特性是一条通过原点且斜率为2πtd的直线， 或者其群时延特性是一条水平直线(常数)。即
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
例4-7 两个二元对称信道串联
X P
p(x 1, y 0) p(x 1) p( y 0 | x 1) p p(x 1, y 1) p(x 1) p( y 1| x 1) p
p(Y 0) p(0, 0) p(1, 0) p (1 ) p p p
p(Y 1) p(0,1) p(1,1) p (1 ) p p p
XY
p(x) XY
p( y)
平均互信息具有非负性。
含义：接收到信道的输出符号集Y之后，平 均每个符号获得的关于信道输入符号集X的 信息量，即通过信道传送过去的信息量。
两个定理
I ( X ;Y ) p(xy) log p( y | x) p( y | x) p(x) log p( y | x)
根据输入输出个数
两端信道（单路信道）：电话 多元接入信道：信道的复用 广播信道：广播
根据统计特性
恒参信道：信道的统计特性不随时间发生变化。 随参信道：信道的统计特性随时间发生变化。
根据记忆特性
无记忆信道：信道的输出仅与当前的输入有关，与以前的输入无 关。
有记忆信道：信道的输出不仅与当前的输入有关，与以前的输入 也有关系。
p p
p p
4.3.2 信道疑义度和噪声熵
定义4-1 称输入空间X对输出空间Y的条件
熵
H(X | Y)
p(aibj )logp(ai | bj )
ij
为信道疑义度。
含义：收到全部输出符号Y以后，对输入符 号X尚存在的平均不确定性。
这种不确定性是由信道干扰引起的。
对无噪信道：H(X|Y)=0。
二进制对称信道
简称为BSC（Binary Symmetric Channel）
二元：输入和输出符号集均为{0,1}
对称：1变成0和0变成1的概率相等。
a1=0
1-p
b1=0
p p
a2=1
1-p
b2=1
p(0|0)=p(1|1)=1-p，p(0|1)=p(1|0)=p
BSC的信道矩阵：
P
H(X|Y)≤H(X)：收到输出符号Y以后，总能 消除一些对X的不确定性，获得一些信息。
【定义4-1】 称信道的输入空间X对输出空 间Y的条件熵
H (X | Y ) p(xi y j ) log p(xi | y j )
为信道疑义度。XY
信道疑义度的含义是观察到信道的输出之 后仍然保留的关于信道输入的平均不确定 性。
I ( X ;Y ) I (Y; X ) p(xy) log p( y | x) H ( p p) H ( p)
XY
p( y)
固定信道
p固定 从0到1 变化
固定信源
固定 p从0到1 变化
4.4 信道的组合
组合方式
并行：积信道 例如：Internet
串行：级联信道 例如：GSM
积信道
y6
有噪无损信道
x1
x2
y1
x3
x4
y2
x5
y3ห้องสมุดไป่ตู้
x6
无噪有损信道
x1
y1
x2
y2
x3
y3
x4
y4
无噪无损信道
无用信道：输入与输出相互独立，没有任何关系。
4.3 离散无记忆信道 4.3.1 离散信道的数学模型
离散无记忆信道中，当前的输出yj仅与当前 的输入xi有关，与过去的输入无关，即yj出 现的概率仅与xi有关
信道转移矩阵或者信道矩阵
p11
PY |X
p21
M
pr1
p12 L p22 L
p1s
p2s
M M M
pr2 L
prs
例4-3
假设串口通信的误码率为4%，即A发送“0” 而B接收到“1”的概率是0.04，A发送“1” 而B接收到“0”的概率也是0.04，可以得 到该信道的信道转移矩阵
0.96 0.04 PY|X 0.04 0.96
信息论与编码理论 第4章 离散信道
4.1 离散信道的数学模型
由于干扰的存在，信道的输出Y与信道的输 入X不完全相同，用条件概率p(y|x)描述。
而输入和输出又有各自的统计特性，分别 用 X 和 Y 表示。
P
P
4.2 信道的分类
根据输入输出事件的时间特性
离散信道：GSM 连续信道：有线电视、广播 半连续信道
XY
p( y) XY
p(y | x) p(x)
信道
X
信源
定理4-1 对于固定的信道，平均 互信息I(X;Y)是信源概率分布p(x) I(X;Y) 的上凸函数。
固定信道：信道传递概率p(y|x)不
变
p(x)
定理4-2 对于固定的信源分布， 平均互信息I(X;Y)是信道传递概 I(X;Y) 率p(y|x)的下凸函数。
这种对X尚存在的不确定性是由于传输过程 中的信道干扰引起的。
4.3.3 平均互信息
定义4-3 原始信源熵与信道疑义度之差称为 平均互信息。
I(X;Y)=H(X)-H(X|Y)
I (X ;Y ) p(xy) log p(x | y) p(xy) log p( y | x) I (Y; X )
固定信源：信源概率分布p(x)不变
p(y|x)
平均互信息的例子
例4-6 信源： 则互信息量：
X P
信0 道1：
1
p p P
p p
p(x 0, y 0) p(x 0) p( y 0 | x 0) p p(x 0, y 1) p(x 0) p( y 1| x 0) p
重点介绍级联信道（串联信道）
级联信道
X
信道I
Y
信道II Z
p(y|x)
p(z|xy)
假设串联的两个信道为信道I和信道II，信道I的传 递概率为p(y|x)，信道II的传递概率为p(z|xy)。
定理4-3 若随机变量X,Y,Z构成一个马尔可夫链 （p(z|xy)=p(z|y)），则有
I(X;Z)≤I(X;Y) I(X;Z)≤I(Y;Z)
几种特殊信道
无噪无损信道：输入集和输出集之间存在一一对应的关系。 有噪无损信道：有噪无损信道的一个输入符号可能对应多
个输入符号，而一个输出符号只对应一个输入符号。
无噪有损信道：无噪有损信道的一个输入符号只对应一个 输入符号，而一个输出符号可能对应多个输入符号。
y1
x1
y2
y3
x2
y4
y5
x3