07-信道容量解析
信息论与编码理论-第3章信道容量-习题解答
信息论与编码理论-第3章信道容量-习题解答-071102(总11页)--本页仅作为文档封面，使用时请直接删除即可----内页可以根据需求调整合适字体及大小--第3章 信道容量习题解答3-1 设二进制对称信道的转移概率矩阵为2/31/31/32/3⎡⎤⎢⎥⎣⎦解: (1) 若12()3/4,()1/4P a P a ==，求(),(),(|),(|)H X H Y H X Y H Y X 和(;)I X Y 。
i i 2i=13311H(X)=p(a )log p(a )log()log()0.8113(/)4444bit -=-⨯-=∑符号111121*********j j j=132117p(b )=p(a )p(b |a )+p(a )p(b |a )=43431231125p(b )=p(a )p(b |a )+p(a )p(b |a )=4343127755H(Y)=p(b )log(b )=log()log()0.9799(/)12121212bit ⨯+⨯=⨯+⨯=---=∑符号22i j j i j i j i ,H(Y|X)=p(a ,b )logp(b |a )p(b |a )logp(b |a )2211log()log()0.9183(/)3333i jjbit -=-=-⨯-⨯=∑∑符号I(X;Y)=H(Y)H(Y|X)=0.97990.91830.0616(/)bit --=符号 H(X|Y)=H(X)I(X;Y)=0.81130.06160.7497(/bit --=符号)(2)求该信道的信道容量及其达到信道容量时的输入概率分布。
二进制对称信息的信道容量H(P)=-plog(p)-(1-p)log(1-p)1122C =1-H(P)=1+log()+log()=0.0817(bit/)3333符 BSC 信道达到信道容量时，输入为等概率分布，即：{，} 注意单位3-2 求下列三个信道的信道容量及其最佳的输入概率分布。
信道容量
信道容量研究通信的科研人员总是逃不过信道容量的计算。
而且会经常使用到C=B\mathrm{Log(1+SNR)}这个公式。
所以这个信道容量到底是什么意思呢，到底是怎么来的？所以信道容量的定义是什么，怎么推导、计算，实际意义又是什么？信道容量有两种:香农容量(遍历容量)和中断容量。
香农容量信道容量是在不考虑编解码延时和复杂度的情况下，误码率趋近于零的最高传输速率。
通道容量是一个上限。
如果要以高于这个的速率传输，就要付出误码率的代价。
香农是这样描述信道容量的:存在一个输入分布，可以最大化传输信息时的互信息。
这个最大互信息就是信道容量。
至于香农为什么可以这样定义，已经严格证明了，这是信息论的内容，后面再说。
互信息那么什么是互信息(这里默认理解为信息熵)？首先互信息是描述一个信息传递过程的一个量，用来刻画这个传输过程传输了多少有价值的信息。
比如说，你暗恋一个姑娘，你想去告白但是你很忐忑，成功了就很棒，失败了可能连朋友都做不成，所以H(X)就表示这种不确定性。
有一天你终于鼓起勇气给他发告白了，正常情况下对方会回复你，可能是“你是个好人”或者“那我们明天一起去看电影吧”或者给你一个尼克杨表情包，所以互信息就是用来刻画这条携带了多少信息量。
显然“好人”和“电影”这两个信息终究是给了你一个答案，解除了你心中的不确定性，携带的信息量就是你心中本来的不确定性。
但是如果他把你当备胎，回复你一个表情包，当然表情包也是可以看出来一点点她对你的态度，所以你心中的不确定性可能减小了一点，你能感受到对方的态度是有机会的还是没有机会的，所以这个表情包的携带的信息量可能就很小，因为虽然知道了一点对方的态度，但是你还是搞不清楚对方怎么想的。
X,Y分别表示两个随机变量，因为信源发送什么信息是一个随机事件，信息熵H(X)量化了信源的平均不确定性，而接收的信息经过信道的污染，也是随机的，所以H(Y)也量化了接收信息的平均不确定性。
虽然X,Y是两个变量，但是接收到的Y 肯定和X有点关系，并不是完全独立的，那么我们就可以根据Y猜X，能缩小一些X范围，能减小一些不确定性（互信息），这个互信息用I(X,Y)表示。
信道容量(Channel Capacity)
信道容量（Channel Capacity）无线传输环境中，如果发端和收端均采用单天线发送和接收信号，接收信号y的数学模型可以表示为y=hx+n \tag{1} ,其中h为无线信道, x为发送信号，n为高斯加性白噪声服从正太分布 \mathcal{C}(0,\sigma^2) 。
通信相关专业的学生应该知道香农公式：公式(1)表示的无线信道容量（Channel Capacity）为C=B\log_2\left(1+\frac{P_t|h|^2}{\sigma^2} \right),\tag{2}其中B为信号带宽， P_t 为信号发射功率。
相信很多人知道结论(2)，但是不明白它是怎么得到的。
下面将简单的阐述其推导过程。
阅读该过程之前，建议阅读“ 徐光宁：信息论（1）——熵、互信息、相对熵”中关于熵和互信息的定义。
对于接收端，发送信息x是一个随机变量，例如以概率p(x=a)发送x=a。
如果发送信息x对于接收端为一个确定值，那发送本身就没有任何意义。
因为发送信号x和噪声n 都是随机变量，接收信号y也是随机的。
可以引入熵来描述随机变量y所含的信息量，即H(y)=\int_y p(y)\log \frac{1}{p(y)}dy,\\其中p(y)为y的概率密度函数。
当某一时刻发送某一x后(x 此时是确定的), 收到的y的信息量为H(y|x)=\int_y p(y|x)\log \frac{1}{p(y|x)}dy,\\其中p(y|x)为y在给定x下的条件概率。
注意y因为是随机变量x和n的和，且x和n相互独立，其信息量为传输信号x和噪声n的信息量之和。
而y|x的随机性仅仅与噪声n有关，其信息量为噪声n的信息量。
互信息定义为I(x,y)=H(y)-H(y|x)\\ 。
其物理意义为随机变量y的信息量减去噪声n的信息量，等于x的信息量。
信道容量C指信道所实际传输信息量的最大值C=\max\limits_{p(x)} I(x,y) \tag{3}数学证明当x服从高斯分布 \mathcal{C}(0,P_t) 时，C in (3)取得最大值。
信道及其容量
解：此时，X:{0,1} ; Y:{0,1} ; r=s=2，a1=b1=0；a2=b2=1。
传递概率:
a1=0
1－p
0=b1
P(b1 | a1) P(0| 0) 1 p p
p
P(b2 | a2) P(1| 1) 1 p p
P(b1 | a2) P(0| 1) p P(b2 | a1) P(1| 0) p
0
p
0
1－p
2 1－q
1
q
1
021
0 p 1 p 0 1 0 1q q
符号“2”表示接收到了“0”、“1”以外的特殊符 号
• 一般离散单符号信道的传递概率可用矩阵形式表示，即
b1
b2 … bs
a1 P(b1|a1) P(b2|a1) … P(bs|a1) a2 P(b1|a2) P(b2|a2) … P(bs|a2)
（3）交互性（对称性） 即 I(X;Y) = I(Y;X) 当 X、Y统计独立时 I(X;Y) = I(Y;X)=0 当信道无干扰时(一一对应) I(X;Y) = I(Y;X)=H(X)=H(Y)
（4）凸状性
P (y|x)
P (y|x)
I(X ;Y)I(Y ;X ) P (xy)lo
P (x)P (y|x)lo g
• 一般简单的单符号离散信道可以用[X, P(y/x) ,Y] 三者加以描 述。
• 其数学模型可以用概率空间[X, P(y/x) ,Y]描述。当然，也可 用下图来描述：
a1
a2
X
.
.
ar
P(bj/ai)
b1 b2 .Y . bs
[例1] 二元对称信道，[BSC，Binary Symmetrical Channel]
信道容量的公式
信道容量的公式信道容量是通信领域中的一个重要概念，它描述了在给定噪声条件下，信道能够可靠传输信息的最大速率。
信道容量的公式是由克劳德·香农（Claude Shannon）提出的，这个公式为 C = B * log₂(1 + S/N) ，其中 C 表示信道容量，B 表示信道带宽，S 表示信号功率，N 表示噪声功率。
咱们先来说说这个信道带宽 B 。
想象一下，信道就像是一条公路，带宽呢，就好比公路的宽度。
公路越宽，能同时通过的车辆就越多；同理，信道带宽越大，能同时传输的信息也就越多。
比如说，我们现在的 5G 网络，它的信道带宽可比之前的 4G 大多了，所以传输速度那叫一个快。
再来说说信号功率 S 和噪声功率 N 。
这俩就像是在公路上行驶的车辆，信号是正常行驶的车，噪声就是捣乱的车。
信号功率越大，就相当于正常行驶的车越多，信息传输就越顺畅；而噪声功率越大，就像捣乱的车越多，会干扰正常的信息传输。
我记得有一次，我家里的网络出了问题，看个视频老是卡顿。
我就琢磨着，这是不是信道容量不够啊。
于是我开始研究，发现原来是周围太多人同时使用网络，导致噪声功率增大，影响了我家的网络速度。
就好像公路上突然涌入了好多乱开的车，把路都堵了，我正常的信息传输也被堵住了。
那这个信道容量的公式有啥用呢？比如说，在设计通信系统的时候，工程师们可以根据这个公式来确定需要多大的带宽，以及如何控制信号功率和噪声功率，以达到期望的信道容量，保证信息能够快速、准确地传输。
在实际应用中，比如卫星通信。
卫星在太空中向地球发送信号，由于距离远，信号会衰减，噪声也会增加。
这时候，就得用信道容量的公式来计算，怎样调整参数，才能让我们在地球上能清晰地接收到卫星传来的信息，像看电视直播、导航定位啥的。
还有无线局域网，像咱们家里的Wi-Fi。
如果同时连接的设备太多，就可能会导致信道容量不足，网速变慢。
这时候，我们可以通过优化路由器的设置，增加带宽，或者减少周围的干扰源，来提高信道容量，让网络更顺畅。
通信课件信道及信道容量
• 信道的基本概念 • 信道数学模型：调制、编码信道模型 • 恒参信道特性及其对信号传输的影响 • 随参信道特性及其对信号传输的影响 • 分集接收技术 • Shannon信道容量公式
1
信道的基本概念
• 信道：信号通道，必不可少 • 影响通信系统可靠性能的两个主要因素：噪声和信道传输特性的
不理想。
• 由于多径使得确定的载波信号Acosω0t变成了包络和相位都受 到调制的窄带信号，衰落信号。从时域来看，多径时延扩散； 从频域来看，频率展宽
15
随参信道对信号传输的影响(续2)
• 时变多径信道
R(t)
t 时域：瑞利衰落（快衰落）
f0 频域：频率弥散
16
随参信道对信号传输的影响例举
• 以两条路径且衰减恒定为例
3
信道数学模型
• 反映信道输出和输入之间的关系。 • 调制信道模型：传输已调信号，关心的是信号的失真
情况及噪声对信号的影响。已调信号的瞬时值是连续 变化的，故也称调制信道为连续信号，甚至称为信道 。 • 编码信道模型：输出输入都是数字信号→数字序列变 换，离散或数字信道。包含调制信道→依赖于调制信 道的性能，噪声的干扰体现在误码上，关心的是误码 率而不是信号失真情况→使用转移概率来描述。
ui (t)cos[0t i (t)] ui (t) cos i (t) cosot ui (t) sin i (t) sin ot
X c (t) cosot X s (t) cosot V (t) cos[ot (t)]
V(t) Xc2(t) Xs2(t)
(t) arctg(Xc (t) Xs (t))
2
N
(bit/s)
Shannon公式
《信道容量》PPT课件
C log r H ( p1, p2 ps ) Nk log M k
k 1
log 2 H ( 1 , 1 , 1 , 1) ( 3 log 3 1 log 1 ) 2488 4 4 4 4
1 1.75 0.811 0h.06（1 比特 / 信道符号） 35
• 另一种简单的方法： • 1.当输入分布为等概率时：计算出各个输出概率
信道容量的取得的过程亦是信源符号概率分布的自我调整的过程某一个输入信源符号对输入提供的平均信息量大于其他符号则势必更多的使用这个信源符号与此同时信源符号的概率分布也就发生了变化和调整由于输入信源符号分布的调整又减少了这个符号对输出提供的平均信息量增加了其他符号提供的平均信息量
第三章
信道与信道容量
h
1
• 求信道容量，必须求出使互信息量达到 最大的信源概率分布p(x)；
• 对于无噪无损信道，当信宿为等概分布 时，信源也为等概分布;
• 问题：对于无噪有损信道，信源的概率 分布是否也为等概分布？
h 18
3.4.2 对称离散信道的信道容量
h 19
对称DMC信道
• 对称离散信道：
• 对称性:
– 每一行都是由同一集{q1, q2,…qs}的诸元素不 同排列组成——输入对称
分布p(bj); • 2.然后计算H(Y); • 3.C=H(Y)max-H(Y/ai);
h 36
• 上题另解：
h 23
• 找一组信源概率分布，使C达到最大。 • 现在P(bj）=1/s，信源的概率分布为： • 假设信源为等概率分布p(ai)=1/r
p(bj ) p(a1) p(bj / a1) p(a2) p(bj / a2) p(am) p(bj / am) 1/ r[ p(bj / a1) p(bj / a2) p(bj / ar )] 1/ r 常数
第三章 信道容量
由C 2。
3。
log （ , 求C 2 2 ）
βj j 1
β j C
m
由p(b j ) 2
n
,求p(b j )
i j i i
4。由p(b j )
p(a ) p(b /a ),求p(a )
i 1
对于离散无记忆N次扩展信道，当信源是平稳无记忆 I ( X ;Y ) 等于单符号信道的平均互信息 信源时，其平均互信息 的N倍。 离散无记忆信道的N次扩展信道的信道容量为
k 1
当N个独立并联信道的信道容量都相同时，
C并 NC
图4.10 独立并联信道
§3.5 连续信道
{X P(Y / X ) Y }
P(Y/X)
X [a, b]
(,)R
'
Y [a , b ]
' '
(,) R
连续信道的数学模型
C max I C ( X ; Y )
p( x)
二、强对称(均匀)离散信道的信道容量
X a1 , a2 ,an Y b1 , b2 ,bn
n=m
Pnn
p 1 p n 1 p n 1 1 p ...... p p n 1 n 1
p ...... n 1 p ...... n 1 ...... p 1 p n 1 nn
对称离散信道的信道容量
H (Y / X ) p(ai ) p(b j / ai ) log p(b j / ai )
i 1 j 1 n n m
p(ai )[ p(b j / ai ) log p (b j / ai )]
i 1 j 1
第三章信道及信道容量PPT课件
第一节 信道分类及表示参数 第二节 单符号离散信道及其容量 第三节 离散序列信道及其容量 第四节 连续信道及其容量
05.12.2020
1
研究信道容量的意义?
信道是信息传输的通道。由于干扰而丢失的信息为 H(X|Y ); 在接收端获取的关于发送端信源X的信息量是：
I(X;Y)＝H(X)-H(X|Y) 即：信道中平均每个符号传送的信息量。对于信道,所关心的问 题是平均每个符号传送的最大信息量。这就是信道容量C=max I(X;Y) bit/符号
每个数字对应一种颜色（反之未必），数字已知，则颜色确 定，H(X|Y)=0。H(X,Y)=H(Y)=…..
6、2.21（3）信号放大问题。课上已经强调过，仍出错。
7、向孔祥品学习
05.12.2020
9
复习：第四节 连续信源的熵和互信息
一、单符号连续信源的熵 相对熵（差熵）
H c(X ) p X (x)lop X g (x)dx Hc(XY )p(xy)lopg(xy)dxdy Hc(Y/X )p(xy)lopg(y/x)dxdy
(2) 离散无记忆信道(DMC-Discrete Memoryless Channel)
仍是单符号离散信道，符号集中的符号数目大于2 。
05.12.2020
7
转移概率矩阵（传递阵矩）P :
P11 P12 P1m
P [
P ij
]
P21
P22
P2m
Pn1
Pn2
Pnm
m
m
转移概率矩 元阵 素中 之 1。 各 和 P(b 行 j等 |ai)的 于 Pij1
2 Pm2,通常m0,2 P,此时有：
H0C5.1(2X.202)0
信道容量
称为信道的信息传输率，通常用 R 表示。
有时我们所关心的是信道在单位时间内平均传输的信息量。如果
平均传输一个符号为 t 秒，则信道平均每秒钟传输的信息量为 Rt 一般称为信息传输速率。
对于固定的信道，
总存 在一种 信源（ 某种输 入概率 分布 ），使 信道平 均传输 一个符 号接收 端获得 的信息 量最大 ，也就 是说对 于每个 固
信道容量
根据信道的统计特性是否随时间变化分为：
①恒参 信道（ 平稳信 道 ）：信 道的统 计特性 不随时 间变化 。卫
星通信信道在某种意义下可以近似为恒参信道。
②随参 信道（ 非平稳 信道 ）：信 道的统 计特性 随时间 变化 。如
短波通信中，其信道可看成随参信道
信道容量是信道的一个参数，反映了信道所能传输的最大信息量，其大
图3
式中∑为所有允许的输入符号概率分布的集。
当 A 或 B 是连续集时，相应的概率应理解为概率密度，求
和号 应改为 积分 ，其他 都相仿 。 多 用户信 道容 量
多用 户信道 容量问 题要复 杂一些 。以二 址接入 信道为 例 ，
这种 信道有 两个输 入 X2∈A1和 X2∈A2，分别 与两个 信源联 结 ,发送 信息率 分别为 R1和 R2；有一 个输出 Y,用它 去
组合信道及其信道容量
前面 我们分 析了单 符号离 散信道 和离散 无记忆 信道的 扩展信 道 。实际 应用中 常常会 遇到两 个或更 多个信 道组合
在一 起使用 的情况 。例如 ，待发 送的消 息比较 多时 ，可能 要用两 个或更 多个信 道并行 发送 ，这种 组合信 道称为 并 联
信 道；有时 消息会 依次地 通过几 个信道 串联发 送 ，例如 无线电 中继信 道 ，数据 处理系 统 ，这种 组合信 道称为 级 联信
通信基础知识｜信道容量
通信基础知识｜信道容量写在前面：关于信道容量相关的定义与理论，最经典的是与AWGN信道相关的香农公式，随着移动通信系统的发展，通信信道越来越复杂，在香农公式研究的基础上实际上又有很多展开的研究，包括平坦衰落信道、频率选择性等信道的容量、又包括收发端是否已知信道信息条件下的容量。
本篇文章将相关的资料加以记录整理，供个人学习使用。
1 相关定义•香农容量（各态历经容量、遍历容量）：系统无误传输（误码率为0）下，能够实现的最大传输速率；香农定义该容量为在某种输入分布\(p_X(x)\)下，信息传递能够获得的最大平均互信息\(I(X;Y)\)，也即\(C_{\rmergodic}=\max_{p_X(x)}I(X;Y)\)；如果信道衰落变化很快，在一个编码块内，所有的信息会经历所有可能的衰落，那么此时通常用各态历经容量来定义capacity，为每种可能衰落下，信道容量的统计平均值•中断容量：系统在某个可接受的中断概率下的最大传输速率（注意信噪比越小，中断概率越大，于是可接受的最大中断概率对应着一个最小的信噪比），有\(P_{\rm outage}=P(\gamma<\gamma_{\min})\)；如果信道衰落变化较慢，在一个编码块内，信息经历相同的衰落，而不同编码块内信息经历不同的衰落，此时通常用中断容量来讨论capacity2 影响信道容量的因素•信道种类：AWGN信道、平坦衰落信道、频率选择性衰落信道、时间选择性衰落信道等•信道信息对于收发端是否已知：收发端已知信道衰落分布信息CDI、接收端已知信道实时的状态信息CSIR、收发端都已知信道实时的状态信息CSIRT3 SISO信道容量AWGN信道：最简单的加性高斯白噪声AWGN信道的（香农）信道容量，即是经典的香农公式：\(C=B\log(1+\frac{S}{N})\)，其推导见通信基础知识 | 信息熵与香农公式，注意两个条件：高斯分布的信源熵最大、信号与噪声不相关平坦衰落信道：对于平坦衰落信道模型\(y=hx+n\)来说，信道的抽头系数可以写为\(\sqrt{g[i]}\)，其中\(g[i]\)为每时刻的功率增益系数，信噪比此时考虑信道的衰落作用，为\(\gamma=\frac{S|h|^2}{N}\)•CDI：求解困难•CSIR：经过衰落的信道\(h\)的作用，相比AWGN信道，平坦衰落信道的信噪比会随之随机下降o各态历经容量：\(C_{\rmergodic}=B\int_0^{\infty}\log(1+\gamma)p(\gamma)d\gamma\)，由于平坦衰落信道中的信噪比\(\gamma\)相比AWGN信道都是下降的，不难判断有\(C_{\rm fading}<C_{\rm AWGN}\)o中断容量：\(C_{\rmoutage}=B\log(1+\gamma_{\min})\)，平均正确接受的信息速率为\(C_{\rm right}=(1-P_{\rmoutage})B\log(1+\gamma_{\min})\)•CSIRT：根据香农公式，信道容量与接收信号功率、噪声功率、信号带宽相关。
信道容量及其计算PPT课件
6 6 3 3
C log 4 H (1 , 1 , 1 , 1) 2 (1 log 1 1 log 1 1 log 1 1 log 1)
3366
3 33 36 66 6
0,0817(bit / symbol)
第12页/共27页
（2）、准对称信道的容量
准对称信道：信道矩阵（列）的子阵是对称矩阵。
信道容量定义为信道中每个符号所能传递的最大 信息量，也就是最大 I (X；Y)值。
C max{I (X ;Y )} P(x)
此时输入的概率分布称为最佳输入分布。
第5页/共27页
信道容量C与输入信源的概率无关（C只对应着一种 信源概率分布，即最佳概率分布），它只是信道传输概 率的函数（不同的转移概率对应不同的信道），只与信 道的统计特性有关，所以信道容量是完全描述信道特性 的参量。
I(x
k;Y )
j
P(
j
|
k) log
P( j | k) P(i)P( j
|
i)
i
第17页/共27页
一般信道容量的计算方法 （拉格朗日乘子法）
第18页/共27页
（4）、扩展信道的信道容量
定理1：如果信道的输入随机序列为 X (X1, X 2,X N ) 通过信道传输，接收到的随机序列为 Y (Y1,Y2 ,YN ) 若信道是无记忆的，即满足
级联信道：信道1的输出作为信道2的输入。
C min{ C1,C2}
第25页/共27页
第四讲 信道容量及其计算
结束
第26页/共27页
谢谢您的观看！
第27页/共27页
第13页/共27页
例：求二元对称删除信道的C。（例3.8中特例 ）
02 1
信道模型及信道容量
p(ai b j ) p(ai ) p(b j ) I (Y ; X )
p(b j ai ) log
i 1 j 1
r
s
p(b j ai ) p(b j ) p(ai )
I ( X ; Y ) I (Y ; X )
结 论 平均互信息特性：
平均互信息量的非负性 平均互信息量的极值性（凸函数） 平均互信息量的交互性（对称性）
单符号信道的数学模型：
{ X , p( y / x),Y }
单维离散信道的数学模型
输入输出的联合概率为：
p(bj ai ) p(ai ) p(bj / ai ) p(bi ) p(a j / bi )
P(ai )
称作输入概率/先验概率
P(bj / ai ) 称作前向概率 P(ai / bj ) 称作后向概率/后验概率
平均互信息量
当信宿Y收到某一具体符号bj(Y=bj)后，推测信 源X发符号ai的概率，已由先验概率p(ai)转变为 后验概率p(ai/bj)，从bj中获取关于输入符号的信 息量，应是互信息量I(ai ; bj)在两个概率空间X 和Y中的统计平均值：
I ( X ; Y ) p(ai b j ) I (ai ; b j )
称为信宿熵
H(Y/X)——散布度，噪声熵。 表示由噪声引起的不确定性的增加。
(3)
I ( X ; Y ) p(ai b j ) log
i 1 j 1
r
s
p(ai b j ) p(ai ) p(b j )
联合熵
H ( X ) H (Y ) H ( XY )
I ( X ;Y ) H ( X ) H ( X / Y ) H (Y ) H (Y / X ) H ( X ) H (Y ) H ( XY )
第3章.信道与信道容量
即每个输出信号只与当前的输入信号之间有转移概率关 系，而与其他非该时刻的输入信号、输出信号都无关， 也就是无记忆性。
14
3.1.2 信道参数
有干扰无记忆信道 按照输入输出信号的符号数目，有干扰信道可以进一步 划分为： （1）二进制离散信道 （2）离散无记忆信道 （3）离散输入、连续输出信道 （4）波形信道
22
3.2 离散单个符号信道及其容量
信息传输率
有时需要了解的是信道在单位时间内平均传输的信息量，
若已知平均传输一个符号所需的时间为t秒，则将信道
在单位时间内平均传输的信息量定义为信息传输速率，
即：
I ( X ;Y ) Rt t bit / s
注意：
R：单位为bit / 符号
信息传输率
Rt：单位为bit / s
maxH (Y ) H (Y | X ) p(ai )
max
p(ai )
H
(Y
)
H
(Y
|ai)393.2.2 对称DMC信道
对称DMC信道的容量 如果信道输入符号等概率分布，即p(ai)=1/n，则由于转 移概率矩阵的列对称，所以：
p(bj )
i
p(ai
)
p(bj
|
ai
)
1 n
i
p(bj | ai )
信息论不研究信号在信道中传输的物理过程，并假定信 道的传输特性已知，这样信息论就可以抽象地将信道用 下图所示的模型来描述。
3
3.1.1 信道的分类
信道
输入量X (随机过程)
P(Y | X ) 信道
输出量Y (随机过程)
信道容量的概念
由香农公式(3.6 - 7)可以看出：对于一定的信道容量C 来说， 信道带宽B、信号噪声功率比S/N及传输时间三者 之间可以互相转换。若增加信道带宽，可以换来信号噪 声功率比的降低， 反之亦然。如果信号噪声功率比不变，
那么增加信道带宽可以换取传输时间的减少，等等。如 果信道容量C给定， 互换前的带宽和信号噪声功率比分别 为B1和S1/N1，互换后的带宽和信号噪声功率比分别为B2 和S2/N2，则有
s) n0B
s n0
B
n0B S
log2
(1
s n0B
)
s n0
log2
e
1.44 s n0
香农公式给出了通信系统所能达到的极限信息传输速 率， 达到极限信息速率的通信系统称为理想通信系统。
但是，香农公式只证明了理想通信系统的“存在性”， 却没有指出这种通信系统的实现方法。因此，理想通信 系统的实现还需要我们不断努力。
山农公式又告诉我们，维持同样大小的信道容量，可以通
过调整信道的B及S/N来达到，即信道容量可以通过系统带宽与
信噪比的互换而保持不变。 例如， 如果S/N=7, B=4 000 Hz，则
可得C=12×103b/s；但是，如果S/N=15, B=3 000 Hz，则可得同
样数值C值。这就提示我们，为达到某个实际传输速率， 在系
互换前，在3kHz带宽情况下，使得信息传输速率达到 104 b/s，要求信噪比S1/N1≈9 倍。 如果将带宽进行互换， 设互换后的信道带宽B2=10kHz。这时，信息传输速率仍 为
104 b/s，则所需要的信噪比S2/N2=1 倍。
可见，信道带宽B的变化可使输出信噪功率比也 变化，而保持信息传输速率不变。这种信噪比和带 宽的互换性在通信工程中有很大的用处。例如，在 宇宙飞船与地面的通信中，飞船上的发射功率不可 能做得很大，因此可用增大带宽的方法来换取对信 噪比要求的降低。相反，如果信道频带比较紧张， 如有线载波电话信道，这时主要考虑频带利用率， 可用提高信号功率来增加信噪比， 或采用多进制 的方法来换取较窄的频带。
信道容量
3. 信道容量信道容量指信道所能承受的最大数据传输速率，单位为bps或b/s。
信道容量受信道的带宽限制，信道带宽越宽，一定时间内信道上传输的信息就越多。
带宽指物理信道的频带宽度，即信道允许的最高频率和最低频率之差。
按信道频率范围的不同，通常可将信道分为窄带信道（0～300Hz）、音频信道（300～3400Hz）和宽带信道（3400Hz以上）三类。
信道容量有两种衡量的方法：奈奎斯特公式和香农公式。
(1) 奈奎斯特公式（Nyquist）对有限带宽无噪声信道，信道容量可用如下公式计算：其中，C —最大数据速率（信道容量）H —信道的带宽（Hz）N —一个脉冲所表示的有效状态数，即调制电平数例如，若某信道带宽为4kHz，任何时刻信号可取0、1、2和3四种电平之一，则信道容量为：奈奎斯特公式表明，对某一有限带宽无噪声信道，带宽固定，则调制速率也固定。
通过提高信号能表示的不同的状态数，可提高信道容量。
(2) 香农公式（Shannon）对有限带宽随机噪声（服从高斯分布）信道，信道容量可用如下公式计算：其中，H —信道的带宽（Hz）S —信道内信号的功率N —信道内服从高斯分布的噪声的功率S/N是信噪比，通常用表示，单位dB（分贝）例如，计算信噪比为30dB，带宽为4kHz的信道最大容量：由，得出S/N=1000 则，C=4k×log2(1+1000)≈40kbps表示无论采用何种调制技术，信噪比为30dB，带宽为4kHz的信道最大的数据速率约为40kbps。
4. 三个指标之间的关系从上面的分析可以看出，数据速率用于衡量信道传输数据的快慢，是信道的实际数据传输速率；信道容量用于衡量信道传输数据的能力，是信道的最大数据传输速率；而误码率用于衡量信道传输数据的可靠性。
信道带宽与信道容量的区别是什么？增加带宽是否一定能增加信道容量？带宽:信道可以不失真地传输信号的频率范围。
为不同应用而设计的传输媒体具有不同的信道质量，所支持的带宽有所不同。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
2018/12/19
电信学院
江小平
9/44
• 几种特殊离散信道的信道容量
离散无噪信道的信道容量 强对称离散信道的信道容量 对称离散信道的信道容量 准对称离散信道的信道容量
2018/12/19
电信学院
江小平
10/44
具有一一对应关系的无噪信道
信道模型如 图
对应的信道 矩阵是
1 0 0 0
(比特 / 信道符号)
单位时间的信道容量Ct：若信道平均传输一个符号需要 t 秒钟，则单位时间的信道容量为 Ct 1 (比特 / 秒) t max I ( X ; Y )
p ( xi )
C和Ct都是求平均互信息I(X;Y)的条件极大值问题，当输入 信源概率分布p(xi)调整好以后， C和Ct已与p(xi)无关，而仅 仅是信道转移概率的函数，只与信道统计特性有关； 信道容量是完全描述信道特性的参量；是信道能够传送的 最大信息量。
p( y j ) p( xi ) p( y j / xi )
i 1
n
p( xi y j ) p( xi ) p( y j / xi )
p ( y j / xi ) 2 p( y j )
I ( X ; Y ) p( xi y j ) log
i 1 j 1
n
m
p( xi ) p( y j / xi ) log2
2018/12/19
电信学院
江小平
6/44
信道统计特性
信道统计特性描述：由信道转移概率p(yj /xi)描述。 信道特性表示：用信道转移概率矩阵，简称信道矩阵。
y1 x1 p( y1 / x1 ) x2 p ( y / x ) 1 2 xn p( y1 / xn )
i 1 j 1
n
m
p ( y j / xi )
p ( xi ) p ( y j / xi )
i 1
n
2018/12/19
电信学院
江小平
8/44
信道容量
信道容量C：信道中最大的信息传输速率，单位是比特/信 道符号。
C max R max I ( X ;Y )
p ( xi ) p ( xi )
上一节讲过求信道容量C的方法：
信道容量C是假定信道固定的前提下，选择一种试验信源，使信息率最大。 一旦找到了这个信道容量，它就与信源不再有关，而是信道特性的参量， 随信道特性的变化而变化。 不同的信道，其容量C是不同的。
2018/12/19
电信学院
江小平
2/44
信道的输入输出关系
信道容量
信道的数学模型和分类 单符号离散信道的信道容量 多符号离散信道 多用户信道 连续信道
2018/12/19
电信学院江小平源自1/44
信道的功能：以信号形式传输和存储信息。 信道传输信息的速率：与物理信道本身的特性、载荷信息 的信号形式和信源输出信号的统计特性有关。 信道容量研究内容：在什么条件下，通过信道的信息量最 大。
信号在信道中传输会引入噪声或干扰，它使信号 通过信道后产生错误和失真； 信道的输入和输出之间一般不是确定的函数关系， 而是统计依赖关系； 知道了信道的输入信号、输出信号以及它们之间 的依赖关系，信道的全部特性就确定了。一般来说，
输入和输出信号都是广义的时间连续的随机信号，可用随 机过程来描述。
2018/12/19
2018/12/19
电信学院
江小平
4/44
信道的分类
① 根据输入输出随机信号的特点分类：离散信道，连续信 道，半离散/半连续信道。 ② 根据输入输出随机变量个数的多少分类：单符号信道， 多符号信道。 ③ 根据输入输出个数分类：单用户信道，多用户信道。 ④ 根据信道上有无干扰分类：有干扰信道，无干扰信道。 ⑤ 根据信道有无记忆特性分类：无记忆信道，有记忆信道。
2018/12/19
信道矩阵 y2 p( y2 / x1 )
ym
p( ym / x1 ) p ( y 2 / x2 ) p ( y m / x2 ) p ( y 2 / xn ) p ( y m / xn )
电信学院
江小平
7/44
信道的信息传输速率
如果信源熵为H(X)，希望在信道输出端接收的信息量就是H(X)，由 于干扰的存在，一般只能接收到I(X;Y)。信道的信息传输率：就是平 均互信息 R=I(X;Y)。 输出端Y往往只能获得关于输入X的部分信息，这是由于平均互信息 性质决定的：I(X;Y)≤H(X)。 I(X;Y)是信源无条件概率p(xi)和信道转移概率p(yj /xi)的二元函数：当 信道特性p(yj /xi)固定后，I(X;Y)随信源概率分布p(xi)的变化而变化。 调整p(xi)，在接收端就能获得不同的信息量。由平均互信息的性质已 知，I(X;Y)是p(xi)的上凸函数，因此总能找到一种概率分布p(xi)（即 某一种信源），使信道所能传送的信息速率为最大。
实际信道的带宽总是有限的，输入和输出信号总可以分 解成随机序列来研究。一个实际信道可同时具有上述的 多种属性。最简单的信道是单符号离散信道。
2018/12/19
电信学院
江小平
5/44
单符号离散信道的数学模型
设输入X∈{x1,x2,…,xi,…,xn} 输出Y∈{y1,y2,…,yj,…,ym} 信道模型如图所示。
电信学院
江小平
3/44
一般信道的数学模型
信道的一般数学模型如图所示
X
P(Y/X)
一般信道的数学模型
Y
模型的数学符号表示 {X P(Y/X) Y} 实际信道带宽总是有限的，所以输入和输出信号总可以分 解成随机序列来研究。随机序列中每个随机变量的取值可以是可
数的离散值，也可以是不可数的连续值。
0 0 0 1 0 0 0 1 0 0 0 1
江小平
0 0 0 1
0 0 1 0 1 0 1 0 0 0 0 0
11/44
2018/12/19
电信学院
因为信道矩阵中所有元素均是“1”或“0”，X和Y 有确定的对应关系： 已知X后Y没有不确定性，噪声熵 H(Y/X)=0； 反之，收到Y后，X也不存在不确定性，信道疑义 度 H(X/Y)=0; 故有 I(X;Y)=H(X)=H(Y)。 当信源呈等概率分布时，具有一一对应确定关系 的无噪信道达到信道容量: