离散无记忆信道(dmc)的信道容量的计算方法
信息论基础总复习
2. 编码器 编码器是将消息变成适合于 信道传送的信号的设备。
信源编码器，提高传输效率
编码器
信道编码器，提高传输可靠性
3. 信道 信道是信息传输和存储的媒介。
4. 译码器 译码是编码的逆变换，分为 信道译码和信源译码。
5. 信宿 信宿是消息的接收者。
1.3 离散信源及其数学模型
信源是产生消息的源，根据X的不同情况，信源可分为以下
条件互信息
I(X ;Y|Z ) x y z p (x) ylo zp p (g (x x||z y z ))
I(X ;Y |Z ) H (X |Z ) H (X |Y )Z
I(X;Y)ZI(X;Y)I(X;Z|Y) I(X;Z)I(X;Y|Z)
连续随机变量的互信息
I(X;Y) 0 I (X ;Y ) I (Y; X ) I (X ;Y | Z) I (Y; X | Z) I(X;Z) I(X;Y) I (XY; Z) I (X ; Z) I (Y; Z | X )
说明: R（D）也称率失真函数。
对于离散无记忆信源，R（D）函数可写成
R (D )p m i jpDi n i1n jm 1p(xi)p(yj/xi)lop(p g y (jy/jx )i)
输入 xX
信道模型
输入 y Y
转移概率矩阵
p(y/ x)
图5-1-2 信道模型
5.1.2 信道容量
• 1．如何刻画DMC信道的容量 考虑一个DMC信道，其输入字符集是X={x0， x1，…，xq-1}，输出字符集是Y={y0,y1，…， yQ-1}，转移概率P（yj／xi）. 若给定信道的转 移概率和对应于输入符号的概率分布p（xi）, 则 DMC信道容量C为
• 这个表达式平均错误译码概率的最小值， 是把每一个yj对应的后验概率排除后再连 续求和。
离散信道信道容量的计算
输能力或者说能否达到信 道 容 量,取 决 于 两 点:信 源 离
散无记忆;信 源 的 输 入 概 率 分 布 是 使I(x;y)最 大 的 分 布.下面给出离散无记忆信道容量的定义:
C ＝ maxI(X;Y); p(ai)
∑∑ 其 中I(X;Y)＝
n i＝１
j＝m１p(ai)p(bj/ai)logpp(b(jb/ja)i)
工程管理与技术
离散信道信道容量的计算
余秀玲
(西南石油大学,四川 成都 ６１０５００)
摘 要:信道容量的计算是信道研究的核心,据 此 对 信 道 容 量 定 义 和 特 性 进 行 了 探 讨,并 研 究 了 三 种 特 殊 离 散信道的信道容量计算方法,有对称离散信道、强对 称 离 散 信 道 和 准 对 称 离 散 信 道,并 对 三 种 信 道 容 量 计 算 方 法 进行了区分与比较.最后介绍了一般离散信道的信道容量计算方法.
[５]严 新 乔 ．高 职 院 校 实 施 混 合 所 有 制 办 学 的 实 践 与 探 索 ——— 以 浙 江 高 职 院 校 为 例 [J]．职 业 技 术 教 育 ,２０１７,(１１):１３Ｇ１６．
１ 信 道 容 量 最简单的 通 信 系 统 由 信 源、信 道 和 信 宿 组 成. 对
于信道来说,在信道固定的 前 提 下,传 输 的 信 息 量 当 然 是越多越 好,因 此 信 道 容 量 问 题 是 信 道 研 究 的 重 点. 信道容量是信 道 传 输 信 息 的 最 大 能 力,由 信 道 特 性 决 定.对于特 定 的 信 道,信 道 容 量 是 个 定 值. 根 据 平 均 互信息的凸 函 数 性,平 均 互 信 息 量I(x;y)是 输 入 信 源 概率分布 {p(ai),i＝１,２,������,n}的上凸函数,在固定信 道的的前提下,平均互信息 量 有 最 大 值,即 信 道 容 量 一 定存在.但是,在传输信息时,信 道 能 否 提 供 其 最 大 传
信息论基础——信道容量的计算
0
[P]=
0
1－p
1
0
2.2.二进删除
信道—M信道
X={0,1}; Y={0,2,1}
0
1-p p
p
0
2
1 1-p
1
2
1
p 0
p
1-p
C=1-p 最佳入口分布为等概分布
1
离散无记忆信道和信道容量
对称离散信道的信道容量
I(X;Y)=H(Y)-H(Y/X) 而
H (Y
/
X ) P(x) P( y / x) log
p(y) C t
15
信道容量的计算
③常见信道的信道容量C：
——无噪信道
I(X;Y) H(X )
C log || ||
16
11
移动通讯技术的分类 移动通信系统有多种分类方法。例如按信号性质分，可分为模拟、数
字；按调制方式分，可分为调频、调相、调幅；按多址连接方式分， 可分为 频分多址(FDMA)、时分多址(TDMA)、码分多址(CDMA)。 目前中国联通、中国移动所使用的GSM移动电话网采用的便是FDMA 和TDMA两种方式的结合。GSM比模拟移动电话有很大的优势，但是， 在频谱效率上仅是模拟系统的3倍，容量有限；在话音质量上也很难 达到有线电话水平；TDMA终端接入速率最高也只能达到9.6kbit/s； TDMA系统无软切换功能，因而容易掉话，影响服务质量。因此， TDMA并不是现代蜂窝移动通信的最佳无线接入，而CDMA多址技术 完全适合现代移动通信网所要求的大容量、高质量、综合业务、软切 换等，正受到越来越多的运营商和用户的青睐。
C log s H ( p1' , p2' ... ps' ) 3
4.信道及其容量
第4章 离散信道及其容量4.1节离散无记忆信道（DMC, Discrete Memoryless Channel ）什么是 “信道”？通信的基本目标是将信源发出的消息有效、可靠地通过“信道”传输到目的地，即信宿（sink ）。
但什么是“信道”？Kelly 称信道是通信系统中“不愿或不能改变的部分”。
比如CDMA 通信中，设备商只能针对给定的频谱范围进行设备开发，而运营商可能出于成本的考虑，不愿意进行新的投资，仍旧采用老的设备。
通信是对随机信号的通信，因此信源必须具有可选的消息，因此不可能利用一个sin(·)信号进行通信，而是至少需要两个可供发射机进行选择。
一旦选择了信息传输所采用的信号，信道决定了从信源到信宿的过程中信号所受到的各种影响。
从数学上理解，信道指定了接收机接收到各种信号的条件概率(conditional probability)，但输入信号的先念概念（prior probability ）则由使用信道的接收机指定。
如果只考虑离散时间信道，则输入、输出均可用随机变量序列进行描述。
输入序列X 1,X 2,……是由发射机进行选择，信道则决定输出序列Y 1, Y 2,……的条件概率。
数学上考虑的最简单的信道是离散无记忆信道。
离散无记忆信道由三部分组成：（1） 输入字符集A ={a 1, a 2, a 3,…}。
该字符集既可以是有限，也可以是可数无限。
其中每个符号a i 代表发射机使用信道时可选择的信号。
（2） 输出字符集B={b 1, b 2, b 3,…}。
该字符集既可以是有限，也可以是可数无限。
其中每个符号bi 代表接收机使用信道时可选择的信号。
（3） 条件概率分布P Y |X (·|X )，该条件分布定义在B 上，其中X ∈A 。
它描述了信道对输入信号的影响。
离散无记忆的假设表明，信道在某一时刻的输出只与该时刻的输入有关，而与该时刻之前的输入无关。
或者：1111|(|,...,,,...,)(|)n n n Y X n n P y x x y y P y x --=，n =1,2,3….Remark: (1) n x 在信道传输时受到的影响与n 时刻以前的输入信号无关。
第13讲——离散无记忆信道的容量(1)
例 二元删除信道容量
解： 它为准对称信道， 达到C的分布为等概分布，即 Q0 = Q1 = 1 / 2
1 1 1 1 1 w0 = (1 − p − q ) + p = (1 − q ) = w1 w2 = q + q = q 2 2 2 2 2 I ( X = 0; Y ) = I ( X = 1; Y ) (1 − p − q ) p q = (1 − p − q ) log + q log + p log 1 1 q (1 − q ) (1 − q ) 2 2 1− q = (1 − p − q ) log(1 − p − q ) + p log p − (1 − q ) log 2
得
β1 = β 4 = −2 β 2 = β 3 = 0
从而
C = log(∑ 2 j ) = log 5 − 1
β
j
例题
验证 根据 w j = 2
w1 = 2
β1 −C
⎡1 / 2 1 / 4 0 1 / 4⎤ ⎢ 0 1 0 0 ⎥ ⎥ P=⎢ ⎢ 0 0 1 0 ⎥ ⎢ ⎥ ⎣1 / 4 0 1 / 4 1 / 2⎦
XN)
= H (Y1 X 1 X 2 +
N n =1
X N ) + H (Y2 X 1 X 2 X N Y1Y2 NhomakorabeaN −1 )
X N Y1 )
H (YN X 1 X 2
= ∑ H (Yn X n ) 无记忆信道
H (Y N ) = H (Y1Y2
≤ ∑ H (Yn )
n =1 N
YN )
H (YN Y1Y2 YN −1 )
可逆矩阵信道容量
假定所有输入字母的概率 Qk ，则 由
一般离散无记忆信道容量的迭代计算
一般离散无记忆信道容量的迭代计算信道容量的迭代算法1信道容量的迭代算法的步骤一、用了matlab 实现DMC 容量迭代的算法如下：第一步:首先要初始化信源分布：.0deta 10,1,0,1)(>>=⋯==，选置，，k r i rP k i 即选取一个精度，本次中我选deta=0.000001。
第二步：}{,)()()()(k ij i ji k i jik i k ij t p pp p t 得到反向转移概率矩阵根据式子∑=。
第三步：第四步：第五步： 若a C C C k k k det )1()()1(>-++，则执行k=k+1，然后转第二步。
直至转移条件不成立，接着执行下面的程序。
第六步：输出迭代次数k 和()1+k C 和1+k P ，程序终止。
()()()()(){}111]log exp[]log exp[+++==∑∑∑k i k i j ij k ji j ij k ji k i p P t pt p p 计算由式()()()()()()。
C t p t P I C k r i s j k ij ji k k k 10011log exp log ,+==++⎪⎭⎪⎬⎫⎪⎩⎪⎨⎧⎥⎦⎤⎢⎣⎡==∑∑计算由式2. Matlab实现clear;r=input('输入信源个数：');s=input('输入信宿个数：');deta=input('输入信道容量的精度： ');Q=rand(r,s); %形成r行s列随机矩阵QA=sum(Q,2); %把Q矩阵每一行相加和作为一个列矩阵AB=repmat(A,1,s); %把矩阵A的那一列复制为S列的新矩阵%判断信道转移概率矩阵输入是否正确P=input('输入信道转移矩阵P：')%从这句话开始将用下面两句代替可自动生成信道转移矩阵[r,s]=size(P);for i=1:rif(sum(P(i,:))~=1) %检测概率转移矩阵是否行和为1.error('概率转移矩阵输入有误！！')return;endfor j=1:sif(P(i,j)<0||P(i,j)>1) %检测概率转移矩阵是否负值或大于1error('概率转移矩阵输入有误！！')return;endendend%将上面的用下面两句代替可自动生成信道转移矩阵%disp('信道转移概率矩阵:')%P=Q./B 信道转移概率矩阵（每一个原矩阵的新数除以所在行的数总和）i=1:1:r; %设置循环首项为1，公差为1，末项为r（Q的行数）的循环p(i)=1/r; %原始信源分布r个信源,等概率分布disp('原始信源分布：')p(i)E=repmat(p',1,s);%把r个等概率元素组成一列，复制为s列for k=1:1:1/detam=E.*P; % m=p.*E; %后验概率的分子部分a=sum(m); %把得到的矩阵m每列相加之和构成一行su1=repmat(a,r,1);%把得到的行矩阵a复制r行,成一新矩阵sul,后验概率的分母部分t=m./su1; %后验概率矩阵n=exp(sum(P.*log(t),2)); %信源分布的分子部分su2=sum(n); %信源分布的分母部分p=n/su2; %信源分布E=repmat(p,1,s);C(k+1)=log(sum(exp(sum(P.*log(t),2))))/log(2);kk=abs(C(k+1)-C(k))/C(k+1);if(kk<=deta)break;enddisp('迭代次数：k='),disp(k)enddisp('最大信道容量时的信源分布：p='),disp(p')disp('最大信道容量：C='),disp(C(k+1))3.运行结果及分析结果分析：这两组数据都是我随机选的，都是选的信源个数为2，信宿的个数为3，选用的精度为0.000001。
离散信道
4.3.3信道的平均互信息及其含义 定义4-3信源熵与信道疑义度之差称为平均互 信息 I（X；Y）= H(X) - H(X/Y)
H(X)是信道输入X本身具有的信息量， H(X/Y) 是观察到信道输出之后仍然保留 的关于X的信息量。因此I（X；Y）的含义
是接收到信道的输出符号集Y后，平均每个 符号获得的关于X的信息量，即通过信道传 送过去的信息量。
j=1
共有r*s个P（yj/xi）组成一个矩阵，称为信道转移矩阵
p11 p12 p 21 p 22 PY/X = ... ... pr1 pr2
p1s ... p 2s ... ... ... prs ...
例4-3接例2-12，假设串口通信的误码率为 4%，可以得该信道的转移矩阵为
I ( X ; Y ) p( x, y ) log
x, y
p( x / y) p( x) p( y / x) p( y)
p( x, y) log
x, y
p ( x, y ) p( x) p( y )
p( x, y) log
x, y
可见平均互信息是p（x）和p（y/x）的函数， 而p（x）代表了信源，p（y/x）代表了信道。 因此平均互信息是信源和信道的函数。
例4-10接例4-6 I（X；Y）=
(p p) log 1 1 1 1 (p p) log ( p log p log ) p p p p p p
对于给定的二进制对称信道，当信源为等概分布 时，即ω =1/2时，信道输出端平均每个符号获 得最大信息量，即信道容量为
4.2 信道的分类
1.按输入和输出符号的时间特性分 离散信道、连续信道和半连续信道。 离散信道的输入空间X和输出空间Y都是离散 符号集，离散信道有时又称为数字信道。像 手机和手机之间的信道就是数字信道。 连续信道的输入空间X和输出空间Y都是连续 符号集，连续信道又称为模拟信道。像电台 发出信号，我们用收音机接收就是一个模拟 信道。
信息论与编码理论-第3章信道容量-习题解答-071102
第3章 信道容量习题解答3-1 设二进制对称信道的转移概率矩阵为2/31/31/32/3⎡⎤⎢⎥⎣⎦解: (1) 若12()3/4,()1/4P a P a ==，求(),(),(|),(|)H X H Y H X Y H Y X 和(;)I X Y 。
i i 2i=13311H(X)=p(a )log p(a )log()log()0.8113(/)4444bit -=-⨯-=∑符号111121*********j j j=132117p(b )=p(a )p(b |a )+p(a )p(b |a )=43431231125p(b )=p(a )p(b |a )+p(a )p(b |a )=4343127755H(Y)=p(b )log(b )=log()log()0.9799(/)12121212bit ⨯+⨯=⨯+⨯=---=∑符号 22i j j i j i j i ,H(Y|X)=p(a ,b )logp(b |a )p(b |a )logp(b |a )2211log()log()0.9183(/)3333i jjbit -=-=-⨯-⨯=∑∑符号I(X;Y)=H(Y)H(Y|X)=0.97990.91830.0616(/)bit --=符号 H(X|Y)=H(X)I(X;Y)=0.81130.06160.7497(/bit --=符号)(2)求该信道的信道容量及其达到信道容量时的输入概率分布。
二进制对称信息的信道容量H(P)=-plog(p)-(1-p)log(1-p)1122C =1-H(P)=1+log()+log()=0.0817(bit/)3333符 BSC 信道达到信道容量时，输入为等概率分布，即：{0.5，0.5} 注意单位3-2 求下列三个信道的信道容量及其最佳的输入概率分布。
1b 2b 3b 3a 2a 1a Y X 1b 2b 3a 2a 1a Y X 1b 2b 2a 1a Y X 3b 11111110.70.3第一种：无噪无损信道，其概率转移矩阵为： 1 0 0P=0 1 00 0 1⎡⎤⎢⎥⎢⎥⎢⎥⎣⎦信道容量：()max (;)P X C I X Y @ bit/符号()()()()max{(;)}max{()(|)}(|)0max{(;)}max{()}p x p x p x p x C I X Y H X H X Y H X Y C I X Y H X ==-∴=∴==离散无记忆信道(DMC)只有输入为等概率分布时才能达到信道容量，C=log3=1.5850 bit/符号输入最佳概率分布如下：111,,333⎧⎫⎨⎬⎩⎭第二种：无噪有损信道，其概率转移矩阵为： 1 0P=0 10 1⎡⎤⎢⎥⎢⎥⎢⎥⎣⎦，离散输入信道， ()()()()max{(;)}max{()(|)}(|)0max{(;)}max{()}p x p x p x p x C I X Y H Y H Y X H Y X C I X Y H Y ==-∴=∴==H(Y)输出为等概率分布时可达到最大值，此值就是信道容量 此时最佳输入概率：123p(a )+p(a )=0.5,p(a )=0.5 信道容量：C=log(2)=1 bit/符号 第三种：有噪无损信道，由图可知：()()()()max{(;)}max{()(|)}(|)0max{(;)}max{()}p x p x p x p x C I X Y H X H X Y H X Y C I X Y H X ==-∴=∴==输入为等概率分布时可达到信道容量，此时信道容量p(x)C=max{H(X)}=log(2)=1 bit/符号 输入最佳概率分布：11,22⎧⎫⎨⎬⎩⎭3-3 设4元删除信道的输入量{1,2,3,4}X ∈，输出量{1,2,3,4,}Y E ∈，转移概率为(|)1(|)1-ε 0 0 0 ε0 1-ε 0 0 ε P=0 0 1-ε 0 ε0 0 0 1-ε ε1-ε 0 0 0 ε0 1-ε 0 0 ε p1= p2=0 0 1-ε 0 ε0 0 0 1-ε εP Y i X i P Y E X i εε===-===⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦⎡⎤⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦⎣⎦其中1,2,3,4i = 1）该信道是对称DMC 信道吗？ 2）计算该信道的信道容量；3）比较该信道与两个独立并联的二元删除信道的信道容量。
信息论与编码理论-第3章信道容量-习题解答-071102
第3章 信道容量习题解答3-1 设二进制对称信道的转移概率矩阵为2/31/31/32/3⎡⎤⎢⎥⎣⎦解: (1) 若12()3/4,()1/4P a P a ==，求(),(),(|),(|)H X H Y H X Y H Y X 和(;)I X Y 。
i i 2i=13311H(X)=p(a )log p(a )log()log()0.8113(/)4444bit -=-⨯-=∑符号111121*********j j j=132117p(b )=p(a )p(b |a )+p(a )p(b |a )=43431231125p(b )=p(a )p(b |a )+p(a )p(b |a )=4343127755H(Y)=p(b )log(b )=log()log()0.9799(/)12121212bit ⨯+⨯=⨯+⨯=---=∑符号 22i j j i j i j i ,H(Y|X)=p(a ,b )logp(b |a )p(b |a )logp(b |a )2211log()log()0.9183(/)3333i jjbit -=-=-⨯-⨯=∑∑符号I(X;Y)=H(Y)H(Y|X)=0.97990.91830.0616(/)bit --=符号 H(X|Y)=H(X)I(X;Y)=0.81130.06160.7497(/bit --=符号)(2)求该信道的信道容量及其达到信道容量时的输入概率分布。
二进制对称信息的信道容量H(P)=-plog(p)-(1-p)log(1-p)1122C =1-H(P)=1+log()+log()=0.0817(bit/)3333符 BSC 信道达到信道容量时，输入为等概率分布，即：{0.5，0.5} 注意单位3-2 求下列三个信道的信道容量及其最佳的输入概率分布。
1b 2b 3b 3a 2a 1a Y X 1b 2b 3a 2a 1a Y X 1b 2b 2a 1a Y X 3b 11111110.70.3第一种：无噪无损信道，其概率转移矩阵为： 1 0 0P=0 1 00 0 1⎡⎤⎢⎥⎢⎥⎢⎥⎣⎦信道容量：()max (;)P X C I X Y @ bit/符号()()()()max{(;)}max{()(|)}(|)0max{(;)}max{()}p x p x p x p x C I X Y H X H X Y H X Y C I X Y H X ==-∴=∴==离散无记忆信道(DMC)只有输入为等概率分布时才能达到信道容量，C=log3=1.5850 bit/符号输入最佳概率分布如下：111,,333⎧⎫⎨⎬⎩⎭第二种：无噪有损信道，其概率转移矩阵为： 1 0P=0 10 1⎡⎤⎢⎥⎢⎥⎢⎥⎣⎦，离散输入信道， ()()()()max{(;)}max{()(|)}(|)0max{(;)}max{()}p x p x p x p x C I X Y H Y H Y X H Y X C I X Y H Y ==-∴=∴==H(Y)输出为等概率分布时可达到最大值，此值就是信道容量 此时最佳输入概率：123p(a )+p(a )=0.5,p(a )=0.5 信道容量：C=log(2)=1 bit/符号 第三种：有噪无损信道，由图可知：()()()()max{(;)}max{()(|)}(|)0max{(;)}max{()}p x p x p x p x C I X Y H X H X Y H X Y C I X Y H X ==-∴=∴==输入为等概率分布时可达到信道容量，此时信道容量p(x)C=max{H(X)}=log(2)=1 bit/符号 输入最佳概率分布：11,22⎧⎫⎨⎬⎩⎭3-3 设4元删除信道的输入量{1,2,3,4}X ∈，输出量{1,2,3,4,}Y E ∈，转移概率为(|)1(|)1-ε 0 0 0 ε0 1-ε 0 0 ε P=0 0 1-ε 0 ε0 0 0 1-ε ε1-ε 0 0 0 ε0 1-ε 0 0 ε p1= p2=0 0 1-ε 0 ε0 0 0 1-ε εP Y i X i P Y E X i εε===-===⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦⎡⎤⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦⎣⎦其中1,2,3,4i = 1）该信道是对称DMC 信道吗？ 2）计算该信道的信道容量；3）比较该信道与两个独立并联的二元删除信道的信道容量。
信息论20153分析
3.1.1 熵速率与信道容量
这样，从数学模型化的角度看，熵速率就是平均交互信息量。熵速率既是 信源先验概率的函数，也是信道转移概率的函数。
为了专门描述某一个信道的统计特性对通信系统信息传输能力的影响，信 息论又定义了信道容量。
定义：信道容量是在给定信道条件下（即一定的信道转移概率），对于所有可能
R r I( X;Y ) r [H(X ) H(X /Y )] r [H(Y ) H(Y / X )]
在信息论中，定义熵速率及信道容量的目的是研究通信能力与信源和信道特性的关系，因此 参数r并没有多大理论意义，通常假定r=1，可表示为
R I (X ;Y ) [H(X ) H(X /Y )] [H(Y ) H(Y / X )]
第三章 信道容量与高斯信道
3.1 离散信道的信道容量 3.2 串联信道的交互信息量 3.3 连续信源的熵 3.4 连续信源的最大熵 3.5 连续有噪声信道的信道容量
1
3.1 离散信道的信道容量
2
3.1.1 熵速率与信道容量
单符号离散无记忆信源与离散无记忆信道构成的通信系统模型如图。信道 输入随机变量X，信道数出随机变量Y，描述信道特性的参数是信道转移概 率矩阵。
0 1
i 1
其可疑度
nm
H ( X / Y ) p( xi , y j ) log p( xi / y j ) 0 i1 j1
因此有I(X,Y)=H(X)=H(Y)
根据信道容量的定义有 C max{I(X;Y )} max{H(X )} logn
P( X )
P( X )
这类信道是最基本得无噪声信道，其信道容量就等于信源的最大熵，也等于信宿的最大熵。
n
p(xi ) 1
离散信道的信道容量
23
(y j ) log(y j )
q(xi ) p( y j xi ) log p( y j xi )
j 1
i1 j1
= -(1-q) [ log + (1-) log (1-)]
。根令据定I义X，;Y求C的0问题就转化为0为.5何值时，I (X; Y ) 达到最大值
C
I(X;Y)
q
(
x1
)
q
(
x2
)
1 2
4
(y j
j 1
) log( y j
)
1 2
2 i1
4
p( y j xi ) log p( y j xi )
j 1
= 0.0325 (比特/符号)
2. 信源只含两个消息
【例5.8】 信道输入符号集X = {x1, x2 }，输出符号 集Y = {y1, y2, y3}，给定信道转移概率矩阵
i 1
先根据计算3出ω(yj)， ( y1 ) q(xi ) p( i 1
j =1,2,3,4,5,6
1 y1 xi ) 3 1
1 3
( y2 )
3 i 1
q(xi ) p( y2
xi )
1 3
1 2
1 6
( y3 ) ( y4 ) ( y5 ) ( y6 )
2
( y j ) p 1 ( y1 x j ) 0.562 1.143 0.438 0.286 0.517 0
j 1 2
q(
x
2
信道容量的计算
（4o 2o。
（沽）§ 4.2信道容量的计算这里，我们介绍一般离散信道的信道容量讣算方法，根据信道容量的定义，就是在固定信 道的条件下，对所有可能的输入概率分布P （x ）求平均互信息的极大值.前面已知/（XV ）是 输入概率分布的上凸函数，所以极大值一定存在•而/（XV ）是厂个变虽:{"（州）,〃（花）,…"（》）}的多元函数。
并且满足工”（兀・）=1。
所以可用拉格朗日乘子法来 r-I 计算这个条件极值。
引入一个函数：0 = /（X;Y ） — /l 工〃©）解方程组.2>（易）=1 1）可以先解岀达到极值的概率分布和拉格朗日乘子久的值，然后在解出信道容MCo 因为/（xv ）=£j>a）e （xk ）iog/=| >1而卩（必）=£卩（兀）2（牙也），所以r-1希log 〃（）；）=（為 In 〃（x ）） log e =岑勢 log e 。
解（4。
2。
1）式有£ Q （x |兀）-XX 〃（兀 Q （）'i k'） loge -兄=0気p （x ） 务気 p （yj（对i = i,2,都成立）又因为C $>（丑）2（片|无）=〃（丹）A-! <乞。
（兀X ）TJ T,2,…，厂 9 7=1所以（4.2。
1）式方程组可以转化为'C （Vj\Xi ）log^—J —=24-logeQ = l,2,- -,r ） j=i p （yj ） i>u ）TWi>3X2(y_,k)i。
（儿|兀）= 2 +logt?现在令z(x f .；y)= ^(2(y >|\)iog冃假设使得平均互信息/（XV ）达到极值的输入概率分布｛p v p 2^ P r ｝这样有从而上式左边即为信道容咼，得 C = A + \oge0(儿|兀) 丽式中，I （Xi ;Y ）是输岀端接收到Y 后获得关于X=Xj 的信息量.即是信源符号X=£对输 出端Y 平均提供的互信息.一般来讲，心;Y ）值与為有关•根据（4。
信息论基础离散无记忆信道信道容量
存储的最大信息量，即信息无差错传输的最大 速
率 ，就是信道容量问题.
12
第13页/共23页
信道容量
带宽 :信道可以不失真地传输信号的频率范围。为不同应用而设 计的
传输媒体所支持的带宽有所不同；在现代网络技术中， “带宽” 表示
信道的数据传输速率.
信道容量:信道在单位时间内可以传输的最大信号量，表示信道 的传
p
[P]=
1
p
1-p
p称为交叉 概率误差！
0
1-p 0
p
p
1
1-p
1
19
第20页/共23页
离散无记忆信道和信道容量
如果信道的输入概率分布X={w,1-w}，则
I (X ;Y ) H ( p p) H ( p)
由此可得
20
第21页/共23页
离散无记忆信道和信道容量
平均互信息对 即当
有极大值
I (X ;Y )
p(x, y) log p(x, y)
xX yY
p(x) p(y)
p(x) Q( y | x) log
xX
yY
Q(y | x) p(x)Q( y | x)
xX
15
第16页/共23页
离散无记忆信道和信道容量
通常，P(xi)称为信道的入口分布 P(yi)称为信道的出口分布 i(x;y)=logP(x,y)/P(x)P(y)为入口与
（1）有记忆信道
（2）无记忆信道
（任一时刻输出符号只统计依赖于对应时刻输入符 号的
信道）
7
第8页/共23页
离散无记忆信道
根据输入输出信号的特点，可分为
（1）离散信道
数字信道以数字 脉冲形式（离散 信号）传输数据
第三章信道及信道容量
2但为有限值,即
p11
P
p2
1
p12 p22
,
p1m
p2m
pn1
pn2
pn
m
②二进制对称信道（BSC）：输入和输出信号的符号数都 是2，即X∈A={0,1}和Y∈B={0，1}的对称信道。
1-p
0 p
0
1p p
p
P
p
1p
1
1
1-p
16
《信息论与编码》
3）有干扰有记忆信道：每个信道输出不但与当前输入信号 之间有转移概率关系，而且与其它时刻的输入输出信号也 有关。
27
《信息论与编码》
2）信道容量的定义 对于某特定信道，可找到某种信源的概率分布p(ai)，使
得 I（X；Y）达到最大。
C m ax { I(X ;Y )} (b it/符 号 ) p(x)
注：对于特定的信道，信道容量是个定值，但是在传输信 息时信道能否提供其最大传输能力，则取决于输入端的概 率分布。一般相应的输入概率分布称为最佳输入分布。
28
若平均传输一个符号需要t秒钟，则信道单位时间内 平均传输的最大信息量为：
C T1 tm p(axx ){I(X;Y)}(bit/秒 )
即信道传输速率。
信道容量C已与输入信源的概率分布无关，它只是 信道传输概率的函数，只与信道的统计特性有关。 所以，信道容量是完全描述信道特性的参量，是信 道能够传输的最大信息量。
这样，波形信道化为多维连续信道，信道转移概率密度 函数为
其中：
19
《信息论与编码》
如果多维连续信道的转移概率密度函数满足
这样的信道称为连续无记忆信道即在任一时刻输出变 量只与对应时刻的输入变量有关，与以前时刻的输入输出 都无关。
信息论与编码第4章习题解答
P[ Z N
= 1|
X
= 0] =
P
Z
'
N
>
1 2
|
X
= 0
=
PZ 'N
−p
>
1 2
−
p|
X
=
0
≤
P|
Z
' N
−
p
|>
1 2
−
p|
X
=
0
≤
σ2 Z 'N |X =0
1 2
−
p 2
= p(1 − p) N (1 − p)2 2
当 p < 1 ，以及 N 充分大时 2
求该级联信道的容量 C N
，并证明
lim
N →∞
C
N
=0
X0
BSC X1
BSC X2 ……
BSC XN
习题 4.4（1）图 级联信道
（2）并联输入信道，把输入 X 并联接到各信道，输出是矢量，当 N → ∞ 时并联输
入信道容量趋于 1。
X
BSC Y1
BSC Y2
BSC YN
习题 4.4（2）图 并联输入信道
所以
C = 6 ⋅ 1 log 1/ 3 + 3 ⋅ 1 log 1/ 3 9 2/9 9 1/3
= 2 log 3 bit/次 32
（f）信道转移概率矩阵
P
=
1
− δ
ε
1
ε −
δ
利用方程求逆方法计算信道容量。设
p( X = 0) = q ， p( X = 1) = 1 − q ， 0 < q < 1
信道与信道容量(1)
准对称信道的信道容量
• 例3-5 已知一个信道的信道转移矩阵为
P 00..53
0.3 0.5
0.2 0.2
• 由P可看出信道的输入符号有两个，可设
• p(a 1),p(a2)1。 信道的输出符号有3个，
用b1,b2,b3表示。由 合概率的矩阵为
p(ai,bj)p(ai)p(bj|ai)得联
• 将信道矩阵P的列划分成若干个互不相交的子 集mk,由mk为列组成的矩阵[P]k是对称矩阵。
1 1 1 1 1 1 1 1
P131
3 1
6 1
6113
16
13
16
6 3 6 3 6 3 3 6
• 它们满足对称性,所以P1所对应的信道为准对称
信道。
可编辑ppt
30
准对称信道的信道容量
• 准对称信道
串联信道
• 例3-4 设有两个离散BSC信道,串接如图,两个
BSC信道的转移矩阵为:
1-p Y 1-p
X0
0Z
1p p
P1 P2
p
1p
p p
• 串联信道的转移矩阵为: 1
1-p
1 1-p
1 pp 1 pp (1 p )2 p 2 2 p (1 p ) P P 1 P 2 p1 p p1 p 2 p (1 p ) (1 p )2 p 2
i
j
p(bj | ai)logp(bj | ai)
j
H(Y| ai) i 1,2,n
H ( Y |X ) H ( Y |a i) H 可( 编p 辑1 p,ptp 2 , p m ) 15
对称DMC信道
• 对称DMC信道的容量：
信息理论与编码课后答案第3章
第3章 信道模型和信道容量3.1 基本要求通过本章学习，了解信道的模型和分类，掌握信道容量的定义，掌握无噪信道、对称信道的信道容量的计算，了解准对称信道信道容量的计算，了解一般离散无记忆信道（DMC ）达到信道容量的充要条件，掌握DMC 扩展信道的信道容量计算，了解加性高斯噪声信道的信道容量的结论，掌握香农信道容量公式。
3.2 学习要点3.2.1 信道的分类信道是信息传输的通道。
研究信道的目的，主要是为了描述和分析各种不同类型信道的特性，度量其信息的极限传输能力。
信息理论中常用的信道分类方法如下。
（1）根据信道输入/输出信号在时间和幅值上的取值是离散或连续来划分，可分为4类,如表3.1所示。
（2）根据信道的记忆特性划分，可分为2类：无记忆信道：信道当前的输出只与当前的输入有关。
有记忆信道：信道当前的输出不但与当前的输入有关，还与当前时刻以前的输入有关。
（3）根据信道的输入/输出关系是确定关系还是统计依存关系划分，可分为2类： 无噪声信道：信道的输入/输出关系是确定关系。
有噪声信道：信道的输入/输出关系是统计依存关系。
3.2.2 信道的数学模型3.2.2.1 离散无记忆信道（DMC ）的数学模型离散无记忆信道（DMC ）的数学模型如图3.1所示，记为|{,,}Y X X P Y 。
信道的输入X 取值于集合12{,,,}r A a aa = ，输出Y 取值于集合12{,,,}s Bb b b = 。
|{(|)|1,2,,;1,2,,}Y X j i P P b a i r j s === （3.1） 为分析计算方便，常常把所有转移概率排成矩阵：图3.1 离散无记忆信道（DMC ）模型示意图噪声干扰12112111122222|12(|)(|)(|)(|)(|)(|)[](|)(|)(|)ss s Y X r r s r rb b b P b a P b a P b a a P b a P b a P b a a P P b a P b a P b a a ⎡⎤⎢⎥⎢⎥=⎢⎥⎢⎥⎢⎥⎣⎦（3.2） 转移矩阵中各行s 个转移概率自身是完备的：1(|)1,1,2,,sji j P ba i r ===∑ （3.3）3.2.2.2 扩展信道的数学模型图3.2所示的是N 次扩展信道的模型，其输入和输出均为N 元随机变量序列。
关于DMC容量与AWGN信道容量
返回
4
离散无记忆信道（DMC）
DMC---Discrete Memoryless Channel 若离散信道对任何N有：
N
pN y N | x N pyn | xn
n1
称该信道为离散无记忆信道（DMC）。
以X ; pyn | xn ;Y 表示。
5
离散无记忆信道（DMC）
对任意n与m有：
n
p(xn , y n ) log
p( yi | xi )
xn ,yn
i 1
n
p(xn , y n ) log p( yi | xi )
i 1 xn , y n
n
p(xi , yi ) log p( yi | xi )
i 1 xi , yi
n
H (Yi | X i ) i 1
8
信道容量
1
本讲框架体系
离散信道 容量及性质
离散无记忆信道DMC DMC容量
信道容量
连续信道容量
AWGN信道容量
2
离散信道容量及性质
离散信道，输入输出时间上离散，取值上取有
限个值
X 0,1,, K 1
输入序列
Y 0,1,, J 1
x n x1, x2 ,, xn
输出序列
y n y1, y2 ,, yn
11
DMC容量
对恒参信道和平稳信源来说：
I X1 X 2 X n ;Y1Y2 Yn nI X ;Y
因此，得到离散无记忆信道容量为：
C max I X ;Y Qk
其中Qk 为X的概率分布。
返回
12
AWGN信道容量
AWGN---Additive White Gaussian Noise