信息论与编码傅祖云_讲义第三章 ppt课件

信息论与编码傅祖云_讲义第三章
离散信道的数学模型如下图所示
X
信道
Y
X ( X 1 ,.X 2 . ,. .X N , .).P ,( y x ) Y ( Y 1 ,. Y i,.. Y .N ) .,.,
X:a1,.a .r.,
Y:b1,..b.s,
P(yx) 1
y
图3.1 离散信道数学模型
根据信道的统计特性即条件概率 P ( y x)的不同，离
率 P (yx ) P (y b jx a i) P (b ja i)
这一组条件概率称为信道的传递概率或转移概率
一般简单的单符号离散信道的数学模型可以用概率
空间[X,p(y|x),Y]来描述。
a1
a
2
X
. .
. a r
P(b j ai )
b1
b
2
. .
Y
. b s
信息论与编码傅祖云_讲义第三章
信息论与编码傅祖云_讲义第三 章
本章主要内容：
3.1 信道的数学模型及分类 3.2 平均互信息及平均条件互信息 3.3 平均互信息的特征 3.4 信道容量及其一般计算方法 3.9 信源与信道的匹配 小结
信息论与编码傅祖云_讲义第三章
本章的重、难点内容： 了解信道的分类及基本数学模型 掌握平均互信息和平均条件互信息的概念 和意义 知道平均互信息的特征 掌握信道容量及其一般计算方法*
上式说明P，(ai /在bj)信 PP道((abibj输)j ) 出端接收ir1到P(任ai / b一j ) 符1 号b j
一定是输入符号a 1 ,…a r 中的一个输入信道。
信息论与编码傅祖云_讲义第三章
3.2.1信道疑义度 信源输入信道的熵—先验熵H(X)
H (X )i r1p (a i)lop (1 g a i)Xp (x)lop (g x) 信道中有干扰(噪声)存在，接收到符号b j 后输入的 是什么符号仍存在有不确定性— 后验熵。
0 1 p
P(b1a2)P(01)p P(b2a1)P(10)p
1
p
1
p 1 p
信息论与编码傅祖云_讲义第三章
例3.2 二元删除信道BEC（Binary Erasure Channel）
这也是很重要的一种特殊信道。输入符号X取值
于｛0，1｝；输出符号取值于｛0，2，1｝。
0
p 0
1-p
2 1-q
散信道又可分成三种情况。
信息论与编码傅祖云_讲义第三章
无干扰（无噪）信道
y f (x)
P(y x) 01
y f (x) y f (x)
有干扰无记忆信道：离散无记忆信道的充要条件
N
P (yx ) P (y 1 y 2 .y .N .x 1 x 2 .x .N .) P (y ix i)
对任意N值和任意x、y的取值，i 1 上式都成立。
p(b2 a1) p(bs a1) p(b2 a2) p(bs a2)P
ar p(b1ar) p(b2 ar) p(bs ar)
关于信道矩阵的几点说明：
1、输入和输出符号的联合概率为
p (a ib j) p (a i)p (b ja i) p (b j)p (a ib j)
信息论与编码傅祖云_讲义第三章
其中p(bj ai )是信道传递概率，通常称为前向概率， 它是由于噪声引起的，描述了信道噪声的特性。 而 p(ai称bj )为后向概率。也把 p(称ai )为先验概率， 而把 p(ai b称j ) 为后验概率。
2、根据联合概率可得输出符号的概率 r P(bj) p(ai)p(bj /ai) i1
3、根据贝叶斯公式得后验概率
例3.1 二元对称信道BSC（Binary Symmetric Channel） 这是很重要的一种特殊信道。输入符号X取值于 ｛0，1｝；输出符号也取值于｛0，1｝。
X a1=0
1-p p
Y b1=0
pቤተ መጻሕፍቲ ባይዱ
a2=1
1-p
b2=1
传递概率：
传递矩阵：
P (b1a1)P (00)1pp
0
P(b2a2)P(11)1pp
有干扰有记忆信道：即有干扰（噪声）又有记忆 ，实际信道往往是这种类型。信道输出不但与输 入有关，还与其它时刻的输入和输出有关，这样 的信道称为有记忆信道。
信息论与编码傅祖云_讲义第三章
单符号离散信道的输入变量为X，取值于a1,a2,.a .r. ；输出变量为Y，取值于b1,b2,..b.s, 。并有条件概
如果信道干扰不是很严重的话，10和 01的可能 性要比02和12的可能性小得多，所以，假设
p (y 1 x 0 )p (y 0x 1 ) 0是较合理的。
信息论与编码傅祖云_讲义第三章
由此可见，一般单符号离散信道的转移概率可用
信道转移矩阵P来表示：
b1
b2
bs
a1 a2
p(b1 a1) p(b1 a2)
本章只限于研究一个输入端和一个输出端即单用 户信道，以无记忆、无反馈、恒参离散信道为重 点。
信息论与编码傅祖云_讲义第三章
两端（单用户）信道
根据信道的用户多少 多端（多用户）信道
无反馈信道
根据信道输入输出的关联 反馈信道
固定参数信道
根据信道参数与时间的关系 时变参数信道
离散信道
根据输入输出信号的特点 连续信道 半离散或半连续信道 波形信道
信息论与编码傅祖云_讲义第三章
在广义的通信系统中，信道是很重要的一部分。
信道的任务是以信号方式传输信息和存储信息。
研究信道的目的就是研究信道中能够传送或存储 的最大信息量，即信道容量问题。
本章首先讨论离散信道的统计特性和数学模型， 然后定量地研究信道传输的平均互信息及其性质 ，并导出信道容量及其计算方法。
H (X b j) i r 1p (a ib j)lo p (a g 1 ib j)Xp (x b j)lo p (x 1 g b j)
意义：后验熵是当信道接收端接收到输出 符号b j 后，关于输入符号的信息测度。
信息论与编码傅祖云_讲义第三章
后验熵在输出符号集Y范围内是个随机量，对后 验熵在符号集Y中求数学期望，得条件熵为—信 道疑义度(含糊度)：
1
q
1
信道传递矩阵：
02 1
0 p 1 p 0
1
0
1 q q
信息论与编码傅祖云_讲义第三章
这种信道实际是存在的，当信号波形传输中失真 较大时，我们在接收端不是对接收信号硬性判为 0和1，而是根据最佳接收机额外给出的信道失真 信息增加一个中间状态2（称为删除符号），采 用特定的纠删编码，可有效的恢复出这个中间状 态的正确取值。