3第3章信息论课件

容
并假定信道的传输特性已知,这样信息论就可
量
以抽象地将信道用下图所示的模型来描述。
输入量X (随机过程)
p(Y|X) 信道
输出量Y (随机过程)
2020/11/24
6
3.1.1信道分类
第
三 章
➢ 根据信道用户的多少：
单用户信道：只有一个输入端和一个输出端。
信 道
多用户信道：至少有一端有两个以上的用户，双向通信。
与 ➢根据输入端和输出端的关联：
信 无反馈信道：输出端信号对输入端信号无影响、无作用。
道 容
有反馈信道：输出端信号会影响输入端信号变化。
量 ➢根据输入输出随机变量个数的多少：
单符号信道：输入和输出端都只用一个随机变量表示。
多符号信道：输入和输出端用随机变量序列/随机矢量表示。
7
信道分类
第 三 ➢根据信道参数与时间的关系： 章 固定参数信道：信道的统计特性不随时间变化而变化。
a r
bs
14
第 三
条件概率p(bj/ai)表示成矩阵形式：
章
信
…
道
b1
b2
bm
与
信
a1 p(b1/a1) p(b2/a1) … p(bm/a1)
道 容
[P]= a2 p(b1/a2) p(b2/a2) … p(bm/a2)
量
……
…… …
an p(b1/an) p(b2/an) … p(bm/an)
道
容
量
2020/11/24
13
3.1.2 信道参数
第 三
单符号离散信道的数学模型
章
信 道
❖ 设输入X∈{a1 … an} ❖ 输出 Y∈{b1 … bm}
与 ❖ 信道转移概率/信道传递概率：条件概率p(bj /ai)。
信 ❖ 其信道模型如图所示。
道
容
a1
b1
量
a
2
b
2
P (b j | ai )
道 与
0 21
信
P 0 p 1 p 0
道 容
1
0
1 q
q
量
0
p
0
1-p
1-q
2
1
q
1
17
第 三
由此可见，一般单符号离散信道的传递概率可以用矩阵表示:
章
信
道
与 信
b1 b2
道 容
P
a1 a2
p11 p 21
p12 p 22
量
ar
pr1
pr2
bs
... ...
...
p1s
p
2
s
P(bj /ai)pij
❖ 离散无记忆信道：
▪ 用条件概率矩阵来描述。
❖ 离散有记忆信道：
▪ 可像有记忆信源中那样引入状态的概念。
2020/11/24
10
无干扰(无噪声)信道
信息论与编码
第
三 章
❖ 无干扰(无噪声)信道
信 道
▪ 信道的输出信号Y与输入信号X之间有确定的 关系Y=f (X),已知X后就确知Y
与 ▪ 转移概率:
15
第
三
章 [例1] 二元对称信道（BSC）
信
X={0,1}; Y={0,1}; p(0/0)=p(1/1)=1-p; p(0/1)=p(1/0)=p;
道 与
01
信
P 0 1 p p
道 容
1
p
1
p
量
0 1-p 0
p p
1
1-p 1
16
第
三
章 [例2] 二元删除信道(BEC)
信 X={0,1}； Y={0,2,1}。
干扰信道。
以下我们只研究无反馈、固定参数的单用户离散信道。
9
信道分类
信息论与编码
第
三 章
❖ 按输入／输出信号之间的关系是否是确定关系:
❖ 无干扰信道：
信 道 与
▪ 输入/输出符号之间有确定的一一对应关系 ❖ 有干扰信道：
信 ▪ 输入/输出之间关系是一种统计依存的关系
道 ❖ 输入/输出的统计关系：
容 量
信
道 容 量
p(Y| X)01,,
Yf(X) Yf(X)
2020/11/24
11
信息论与编码
第
三 ❖有干扰无记忆信道
章 ▪ 信道的输出信号Y与输入信号X之间没有确定
信
的关系,但转移概率满足:
道
与 信
p ( Y |X ) p ( y 1 | x 1 ) p ( y 2 | x 2 ) p ( y L | x L )
第
三 ❖信道的功能：以信号形式传输和存储信息。
章 ❖信道传输信息的速率：与物理信道本身的特性、
信 载荷信息的信号形式和信源输出信号的统计特性
道 与
有关。
信 ❖信道容量研究内容：在什么条件下，通过信道的
道 信息量最大。
容
量
2020/11/24
4
信息论与编码
第
三 章
3.1 信道数学模型和分类
信
道
与 信
信 道
时变参数信道：信道的统计特性随时间变化而变化。
与 ➢根据信道输入和输出的关系：
信 离散信道：输入、输出随机变量都取离散值。
道 容
连续信道：输入、输出随机变量都取连续值。
量
半离散半连续信道：输入变量取离散值而输出变量取连续值， 或反之。
波形信道
8
信道分类
第
三 ➢根据信道上有无记忆关系： 章 无记忆信道：输出仅与当前输入有关，而与过去输入无关
3第3章信息论课件
第三章
信道与信道容量
信息论与编码
内容
信息论与编码
第
三
第三章
章 信 3.1 信道数学模型和分类 A
信道与信道容量
道
与 3.2 平均互信息
B
信
道
3.3 离散单个符号信道及其容量
容
C
量
3.4 离散序列信道及其容量
3.5 信源于信道的匹配 D
2020/11/24
3
结束
重点
信息论与编码
3.1.2 信道数学模型
道
容
量
3.1.1 信道分类
202wk.baidu.com/11/24
5
信道
信息论与编码
第
三 ❖信道：信息传输的通道
章 ▪ 在通信中,信道按其物理组成常被分成微波信
信
道、光纤信道、电缆信道等。信号在这些信
道
道中传输的过程遵循不同的物理规律, 通信技
与
术必须研究信号在这些信道中传输时的特性
信 道
▪ 信息论不研究信号在信道中传输的物理过程,
p
rs
p11
P
p21
...
pr1
p12 p22
pr2
... ...
...
p1s
p
2
s
...
p rs
18
3.2平均互信息
信息论与编码
第
三 章
❖设有两个随机事件X和Y ,X取值于信源发出的离
信 的信道。 道 有记忆信道：信道输出不仅与当前输入有关，还与过去输
与 入和（或）过去输出有关。
信 ➢根据信道上有无干扰关系：
道 容 量
有干扰信道：存在干扰或噪声或两者都有的信道。实际 信道一般都是有干扰信道。 无干扰信道：不存在干扰或噪声，或干扰和噪声可忽略
不计的信道。计算机和外存设备之间的信道可看作是无
道 容
❖ 有干扰无记忆信道可分为:
量
▪ 二进制离散信道
▪ 离散无记忆信道
▪ 离散输入、连续输出信道
▪ 波形信道
2020/11/24
12
信息论与编码
第
三 ❖有干扰有记忆信道
章
一般情况都是如此，例如实际得数字信
信 道 与 信
道中，当信道特性不理想，存在码间干扰时，输 入信号不但与当前得输入信号有关，还和以前的 输入信号有关。