任意DMC信道容量的计算与仿真
(最新整理)信道容量的计算
(完整)信道容量的计算编辑整理：尊敬的读者朋友们：这里是精品文档编辑中心，本文档内容是由我和我的同事精心编辑整理后发布的，发布之前我们对文中内容进行仔细校对，但是难免会有疏漏的地方，但是任然希望（(完整)信道容量的计算）的内容能够给您的工作和学习带来便利。
同时也真诚的希望收到您的建议和反馈，这将是我们进步的源泉，前进的动力。
本文可编辑可修改，如果觉得对您有帮助请收藏以便随时查阅，最后祝您生活愉快业绩进步，以下为(完整)信道容量的计算的全部内容。
§4.2信道容量的计算这里,我们介绍一般离散信道的信道容量计算方法,根据信道容量的定义，就是在固定信道的条件下，对所有可能的输入概率分布)(x P 求平均互信息的极大值。
前面已知()Y X I ;是输入概率分布的上凸函数，所以极大值一定存在。
而);(Y X I 是r 个变量)}(),(),({21r x p x p x p 的多元函数。
并且满足1)(1=∑=ri i x p 。
所以可用拉格朗日乘子法来计算这个条件极值。
引入一个函数：∑-=ii x p Y X I )();(λφ解方程组0)(])();([)(=∑∂-∂∂∂i ii i x p x p Y X I x p λφ1)(=∑iix p （4.2。
1）可以先解出达到极值的概率分布和拉格朗日乘子λ的值，然后在解出信道容量C .因为 )()(log)()();(11i i i i i ri sj i y p x y Q x y Q x p Y X I ∑∑===而)()()(1i i ri i i x y Q x p y p ∑==，所以e e y p y p i i i i i x y Q i x p i x p log log ))(ln ()(log )()()(==∂∂∂∂。
解（4.2。
1）式有0log )()()()()()(log )(111=--∑∑∑===λe y p x y Q x y Q x p y p x y Q x y Q ii i ii r i s j i i i i sj i i (对r i ,,2,1 =都成立） 又因为)()()(1j k k rk k y p x y Q x p =∑=ri x y Q sj i j,,2,1,1)(1==∑=所以（4.2.1）式方程组可以转化为 ),,2,1(log )()(log)(1r i e y p x y Q x y Q j i j sj i j =+=∑=λ1)(1=∑=ri i x p假设使得平均互信息);(Y X I 达到极值的输入概率分布},,{21r p p p 这样有 e y p x y Q x y Q x p j i j i j ri sj i log )()(log)()(11+=∑∑==λ从而上式左边即为信道容量，得 e C log +=λ 现在令)()(log)();(1j i j sj i j i y p x y Q x y Q Y x I ∑==式中，);(Y x I i 是输出端接收到Y 后获得关于i x X =的信息量，即是信源符号i x X =对输出端Y 平均提供的互信息。
中北大学信息论实验报告(离散信道容量计算)
信息与通信工程学院实验报告
（软件仿真性实验）
课程名称：信息论基础
实验题目：离散信道容量计算 指导教师：
班级： 学号： 学生姓名：
一、实验目的和任务
1.掌握离散信道的信道容量的计算方法。
2.学会利用MATLAB 计算离散信道的信道容量。
3.学会依据所绘制的信道容量曲线，分析其物理意义。
二、实验内容及原理
1）实验内容：
离散信道容量的计算与分析
2）实验原理：
1.信道容量定义为平均互信息量的最大值：
)},({max )
(Y X I C x p = 2.对称DMC 信道，其信道容量计算公式为：
ij m
j ij i p p m a Y H m C log log )(log 1∑=+=-=丨
3.准对称DMC 信道，其信道容量计算公式为：
k k k M N n C log log k
1∑=-=
成绩
三、实验步骤或程序流程
以matlab软件为基础，通过编程：计算对称信道的信道容量。
四、实验数据及程序代码
1.离散信道的信道容量的计算
假设信道转移概率矩阵为
则该信道容量为：
2.绘制信道容量曲线
程序代码：
五、实验数据分析及处理
该函数曲线的物理意义为：
由信道容量曲线可知，当概率为0或1时，信道容量达到最大即由干扰造成的信息损失为0.
六、实验结论与感悟（或讨论）
通过本次试验，掌握了离散信道容量的计算与分析，学会了依据所绘制的信道容量曲线，分析其物理意义。
信道容量基本原理的应用
信道容量基本原理的应用1. 什么是信道容量？信道容量是指信道能够传输的最大信息速率，也称为信息传输速率上限。
在信息论中，信道容量被用来衡量信道的质量和可靠性。
2. 信道容量的计算方法信道容量的计算方法根据不同的信道模型和条件而有所不同，以下是几种常见的计算方法：•高斯信道容量计算–对于高斯信道，信道容量可以通过香农公式进行计算。
香农公式的表达式为：C = B * log2(1 + S/N)，其中C为信道容量，B为信道的带宽，S为信道中的信号功率，N为信道中的噪声功率。
•多径信道容量计算–对于多径信道，信道容量的计算比较复杂。
通常需要考虑多径传播导致的信号衰减、时延扩展以及相关性等因素。
•天线阵列信道容量计算–对于天线阵列系统，信道容量的计算需要考虑信号的幅度、相位和天线之间的相关性。
3. 信道容量的应用信道容量的基本原理在通信系统中有广泛的应用，以下是一些常见的应用领域：•码率控制–在数据通信中，为了提高信道的利用率和系统的可靠性，常常会根据信道容量进行码率控制。
通过控制发送端的编码速率，可以适应信道的变化，提高系统的性能。
•功率分配–在无线通信系统中，多个用户共享有限的频谱资源。
为了提高系统的容量和性能，需要根据信道容量进行功率分配。
通过将更多的功率分配给信道质量好的用户，可以提高系统的整体性能。
•天线设计–在无线通信系统中，天线设计对信号的传输质量和容量有很大影响。
根据信道容量的计算结果，可以优化天线的配置和布局，提高系统的容量和覆盖范围。
•无线网络规划–在无线网络规划中，信道容量是一个重要的指标。
根据信道容量的计算结果，可以确定网络的规模和布局，优化网络的覆盖范围和用户体验。
4. 信道容量的局限性虽然信道容量在通信系统中有重要的应用，但是它也存在一些局限性：•复杂性–信道容量的计算需要考虑多个因素，涉及到复杂的数学模型和计算方法。
这对于系统的设计和优化需要专业的知识和技能。
•理论上的极限–信道容量的计算结果是基于理论模型和假设的。
DMC算法MATLAB编程及仿真
一、前言工业生产的过程是复杂的，建立起来的模型也是不完善的。
即使是理论非常复杂的现代控制理论，其效果也往往不尽人意，甚至在一些方面还不及传统的PID控制。
20世纪70年代，人们除了加强对生产过程的建模、系统辨识、自适应控制等方面的研究外，开始打破传统的控制思想，试图面向工业开发出一种对各种模型要求低、在线计算方便、控制综合效果好的新型算法。
在这样的背景下，预测控制的一种，也就是动态矩阵控制（DMC）首先在法国的工业控制中得到应用。
因此预测控制不是某种统一理论的产物，而是在工业实践中逐渐发展起来的。
预测控制中比较常见的三种算法是模型算法控制（MAC），动态矩阵控制（DMC）以及广义预测控制。
本篇所采用的是动态矩阵控制，其采用增量算法，因此在消除稳态余差方面非常有效。
二、控制系统设计方案2.1 控制系统方案设计图动态矩阵控制是基于系统阶跃响应模型的算法，隶属于预测控制的范畴。
它的原理结构图如下图(1)所示：图(1) 预测控制原理结构图上图就是预测控制原理结构图，从图中我们可以看到，预测控制的主要特点。
即建立预测模型；采用滚动优化策略，采用模型误差反馈矫正。
这也是预测控制的本质所在。
下面将对这三个特点一一说明。
2.2 预测控制基本原理1、预测模型：预测模型的功能是根据对象历史信息和未来输入对对象输出进行预测，它是被控对象的准确模型。
这里只强调模型的功能而不强调其结构形式。
因此，预测模型可以是状态方程、传递函数等传统的参数模型，对于线性稳定对象，阶跃响应、脉冲响应这类非参数模型也可以作为预测模型使用。
预测模型具有展示系统未来动态行为的功能，这样，就可以利用预测模型来预测未来时刻被控对象的输出变化及被控变量与其给定值的偏差，作为控制作用的依据，使之适应动态系统所具有的因果性的特点，得到比常规控制更好的控制效果。
2、滚动优化：预测控制是一种优化控制算法，它是通过某一性能指标的最优来确定未来的控制作用。
这一性能指标涉及到系统未来的行为。
信道容量的计算
（bit/符号）
最佳分布是
若设输入分布为 。同理可得 ，根据定理有
从而，输入分布 也是最佳分布，可见，信道最佳输入分布不是唯一的。
对于一般的离散信道，我们很难利用特殊计算方法，因此只能采用解方程组式（）的方法。
我们将（）式的前r个方程组改写成
移项后得
令 ，代入上式得
化为矩阵形式为
这是含有 个未知数 个方程的非齐次线性方程组。
如果设 ，信道矩阵 为非奇异矩阵，则此方程组有解，并且可以求出 的数值，然后根据 求得信道容量
（bit/符号）
由这个 值可解得对应的输出概论分布 。
再根据 即可解出达到信道容量的最佳输入分布 。
下面给出一例。
例设离散无记忆信道输入 的符号集为 ，输出 的符号集为 ，如图所示。其信道矩阵为
上式只与対称信道矩阵中行矢量 和输出符号集的个数s有关。
证明
而
由于信道的对称性，所以 与 无关，为一常熟，即
接着举一个例子加以说明。
例某对称离散信倒的信道矩阵为
用公式计算信道容量
（bit/符号）
定义若信道矩阵Q的列可以划分成若干互不相交的子集矩阵 ，即 且 。由 为列组成的矩阵 是对称矩阵，则称信道矩阵Q所对应的信道为准对称信道。
如果信道的噪声熵 ，则此信道容量为
（bit/符号）
这里输出信源符Y的符号个数为s.
定义一个信道Q称为对称离散信道，如果它满足下面的性质：
（1）信道Q矩阵中每一行是另一行的置换；
（2）每一列式另一列的置称离散信道。
定义对称离散信道的信道容量为
（bit/符号）
只有当输入符号 互相独立，且输入符号 的概率分布达到各子信道容量的概率分布时，独立并联信道的信道容量才等于各信道容量之和，即
4-第四讲 信道容量及其计算
4 －2
信道容量的计算
（1）、对称信道的容量 ） 对称信道： 对称信道：信道矩阵的每一行都是由同一概率分布的 不同排列组成， 不同排列组成，并且每一列也是同一元素 集的不同的排列组成。 集的不同的排列组成。 1 2 1 1 1 1 3 3 6 6 1 P= , P= 6 1 1 1 1 6 6 3 3 1 3
（2）、准对称信道的容量 ）、准对称信道的容量 准对称信道：信道矩阵（ 准对称信道：信道矩阵（列）的子阵是对称矩阵。 的子阵是对称矩阵。
1 3 P= 1 6 1 3 1 3 1 6 1 6 1 6 , 1 3 0.7 0.1 0.2 P= 0.2 0.1 0.7
（与公式计算的结果相同）
此时平均互信息就是信道容量
C = (1− p − q) log(1− p − q) 2 + p log p + (1− q) log (1− q)
此例题可作为后面： 此例题可作为后面：一般信道容量充分必要条件定理 的例子。该定理说明： 的例子。该定理说明：只要信源每个符号对于输出端 Y提供相同的互信息（概率为零的除外），则此时 提供相同的互信息（概率为零的除外），则此时 提供相同的互信息 ）， 平均互信息就是信道容量。 平均互信息就是信道容量。
; I ( X;Y) = px (0)I (x = 0; y) + p1(1)I (x =1 y) 1 P( y | x = 0) 1 P( y | x =1) = ∑P( y | x = 0) log + ∑P( y | x =1) log 2 y 2 y P( y) P( y) 1 P(0 | 0) P(1| 0) P(2 | 0) = [P(0 | 0) log + P(1| 0) log + P(2 | 0) log ] 2 Py (0) Py (1) Py (2) 1 P(0 |1) P(1|1) P(2 |1) + [P(0 |1) log + P(1|1) log + P(2 | 1) log ] Py (2) 2 Py (0) Py (1) 1 1 = [(1− q) log 2 + 0 + qlog1] + [0 + (1− q) log 2 + qlog1] 2 2 = 1− q
信道带宽和信道容量
信道带宽模拟信道：模拟信道的带宽W=f2-f1其中f1是信道能够通过的最低频率，f2是信道能够通过的最高频率，两者都是由信道的物理特性决定的。
当组成信道的电路制成了，信道的带宽就决定了。
为了是信号的传输的失真小些，信道要有足够的带宽。
数字信道：数字信道是一种离散信道，它只能传送离散值的数字信号，信道的带宽决定了信道中能不失真的传输脉序列的最高速率。
一个数字脉冲称为一个码元，我们用码元速率表示单位时间内信号波形的变换次数，即单位时间内通过信道传输的码元个数。
若信号码元宽度为T秒，则码元速率B=1/T。
码元速率的单位叫波特(Baud)，所以码元速率也叫波特率。
早在1924年，贝尔实验室的研究员亨利·尼奎斯特就推导出了有限带宽无噪声信道的极限波特率，称为尼奎斯特定理。
若信道带宽为W，则尼奎斯特定理指出最大码元速率为B=2W(Baud)尼奎斯特定理指定的信道容量也叫尼奎斯特极限，这是由信道的物理特性决定的。
超过尼奎斯特极限传送脉冲信号是不可能的，所以要进一步提高波特率必须改善信道带宽。
码元携带的信息量由码元取的离散值个数决定。
若码元取两个离散值，则一个码元携带1比特(bit)信息。
若码元可取四种离散值，则一个码元携带2比特信息。
总之一个码元携带的信息量n(bit)与码元的种类数N有如下关系:n=log2N单位时间内在信道上传送的信息量(比特数)称为数据速率。
在一定的波特率下提高速率的途径是用一个码元表示更多的比特数。
如果把两比特编码为一个码元，则数据速率可成倍提高。
我们有公式:R=B log2N=2W log2N(b/s)其中R表示数据速率，单位是每秒比特，简写为bps或b/s数据速率和波特率是两个不同的概念。
仅当码元取两个离散值时两者才相等。
对于普通电话线路，带宽为3000HZ，最高波特率为6000Baud。
而最高数据速率可随编码方式的不同而取不同的值。
这些都是在无噪声的理想情况下的极限值。
DMC信道容量迭代计算的matlab实现
DMC 信道容量迭代计算的matlab 实现--通信与信息系统一、用了matlab 实现DMC 容量迭代的算法如下：1. 初始化信源分布：.0deta 10,1,0,1)(>>=⋯==，选置，，k r i rP k i 一般我选deta=0.000001。
2. }{,)()()()(k ij ijik i ji k i k ij t p p p p t 得反向转移概率矩阵由式∑=。
3.()()()()(){}111]log exp[]log exp[+++==∑∑∑k i k i j ij k ji jij k ji k i p P t pt p p 计算由式。
4.()()()()()()。
C t p t P I C k r i s j k ij ji k k k 10011log exp log ,+==++⎪⎭⎪⎬⎫⎪⎩⎪⎨⎧⎥⎦⎤⎢⎣⎡==∑∑计算由式5. 若a C C C k k k det )1()()1(>-++，则k=k+1，转第2步6.输出迭代次数k 和()1+k C 和1+k P ，终止。
二、了解了信道容量的定义和DMC 信道容量迭代计算方法，我用了matlab 来进行编程进行迭代计算得出信道容量。
不足之处在于每迭代一次就输出一次迭代次数直到最后一次迭代。
1）输入：输入信源个数、信宿个数和信道容量的精度，程序能任意生成随机的信道转移概率矩阵，也可以自己输入信道转移矩阵。
2）输出：输出最佳信源分布和信道容量。
将附件里的dmc.m 文件直接run 运行可以自主输入信道转移概率矩阵，按照程序中提示将那两句代替判断输入矩阵是否正确的那部分，dmc1.m 运行可以随机生成信道转移概率矩阵。
三、检验程序之一：输入信源个数：2输入信宿个数：3输入信道容量的精度： 0.000001输入信道转移矩阵P ：[0.5000 0.3000 0.2000;0.3000 0.5000 0.2000] 之二：P ：[0.4000 0.3000 0.2000;0.3000 0.5000 0.2000] 之三：P ：[1.1000 -0.3000 0.2000;0.3000 0.5000 0.2000] 之四：P:[0.6 0.4;0.01 0.99]之五：自动生成信道转移矩阵四、程序源代码：clear;r=input('输入信源个数：');s=input('输入信宿个数：');deta=input('输入信道容量的精度：');Q=rand(r,s); %形成r行s列随机矩阵QA=sum(Q,2); %把Q矩阵每一行相加和作为一个列矩阵AB=repmat(A,1,s); %把矩阵A的那一列复制为S列的新矩阵%判断信道转移概率矩阵输入是否正确P=input('输入信道转移矩阵P：')%从这句话开始将用下面两句代替可自动生成信道转移矩阵[r,s]=size(P);for i=1:rif(sum(P(i,:))~=1) %检测概率转移矩阵是否行和为1.error('概率转移矩阵输入有误！！')return;endfor j=1:sif(P(i,j)<0||P(i,j)>1) %检测概率转移矩阵是否负值或大于1error('概率转移矩阵输入有误！！')return;endendend%将上面的用下面两句代替可自动生成信道转移矩阵%disp('信道转移概率矩阵:')%P=Q./B 信道转移概率矩阵（每一个原矩阵的新数除以所在行的数总和）i=1:1:r; %设置循环首项为1，公差为1，末项为r（Q的行数）的循环p(i)=1/r; %原始信源分布r个信源,等概率分布disp('原始信源分布：')p(i)E=repmat(p',1,s);%把r个等概率元素组成一列，复制为s列for k=1:1:1/detam=E.*P; % m=p.*E; %后验概率的分子部分a=sum(m); %把得到的矩阵m每列相加之和构成一行su1=repmat(a,r,1);%把得到的行矩阵a复制r行,成一新矩阵sul,后验概率的分母部分t=m./su1; %后验概率矩阵n=exp(sum(P.*log(t),2)); %信源分布的分子部分su2=sum(n); %信源分布的分母部分p=n/su2; %信源分布E=repmat(p,1,s);C(k+1)=log(sum(exp(sum(P.*log(t),2))))/log(2);kk=abs(C(k+1)-C(k))/C(k+1);if(kk<=deta)break;enddisp('迭代次数：k='),disp(k)enddisp('最大信道容量时的信源分布：p='),disp(p')disp('最大信道容量：C='),disp(C(k+1))五、运行结果如下：检验程序之一：输入信源个数：2输入信宿个数：3输入信道容量的精度：0.000001输入信道转移矩阵P：[0.5000 0.3000 0.2000;0.3000 0.5000 0.2000]P =0.5000 0.3000 0.20000.3000 0.5000 0.2000原始信源分布：ans =0.5000 0.5000迭代次数：k=1最大信道容量时的信源分布：p=0.5000 0.5000最大信道容量：C=0.0365检验程序之二：P：[0.4000 0.3000 0.2000;0.3000 0.5000 0.2000]检验程序之三：P：[1.1000 -0.3000 0.2000;0.3000 0.5000 0.2000]检验程序之四：P:[0.6 0.4;0.01 0.99]输入信源个数：2输入信宿个数：2输入信道容量的精度：0.000001输入信道转移矩阵P：[0.6 0.4;0.01 0.99]P =0.6000 0.40000.0100 0.9900原始信源分布：ans =0.5000 0.5000迭代次数：k=1迭代次数：k=2迭代次数：k=3迭代次数：k=4迭代次数：k=5迭代次数：k=6迭代次数：k=7迭代次数：k=8迭代次数：k=9最大信道容量时的信源分布：p=0.4240 0.5760最大信道容量：C=0.3688检验程序之五：自动生成信道转移矩阵变为dmc1.m文件改程序如下：结果运行如下：输入信源个数：2输入信宿个数：2输入信道容量的精度：0.000001 信道转移概率矩阵:P =0.6102 0.38980.3223 0.6777原始信源分布：ans =0.5000 0.5000迭代次数：k=1迭代次数：k=2迭代次数：k=3迭代次数：k=4迭代次数：k=5迭代次数：k=6迭代次数：k=7迭代次数：k=8迭代次数：k=9迭代次数：k=10迭代次数：k=11迭代次数：k=12最大信道容量时的信源分布：p=0.4977 0.5023最大信道容量：C=0.0610YS20112508 夏笑笑通信与信息系统。
高等数学1 信道容量
高等数学1 信道容量
信道容量是指在给定的带宽和信噪比条件下，信道中最大可传输的信息量。
在高等数学中，通常用香农公式来计算信道容量。
香农公式为：
C = B * log2(1 + S/N)
其中，C表示信道容量，B表示信道的带宽，S表示信道传输
中的平均信号功率，N表示信道传输中的平均噪声功率。
该公式的含义是，信道容量与信道带宽成正比，与信噪比成对数关系。
当信噪比增大时，信道容量也会增大。
而当信噪比较小时，信道容量会接近于0，表示信号的信息无法可靠地传输。
需要注意的是，香农公式是基于理想条件下的计算，实际情况中可能会有噪声和其他因素的影响，因此实际传输的信道容量可能会小于理论值。
信道容量迭代算法(信息与编码论)
实验四信道容量迭代算法一、实验目的让学生初步掌握信道容量的基础知识、计算方法及迭代算法计算方法，以及取得信道容量的判别算法，并学会使用c 语言完成迭代算法。
二、实验原理信息率失真函数迭代算法具体如下：(1)首先假设绝对值足够大的负数作为斜率S 的取值，并且选择试验信道的转移概率1(|)j k p b a 为等分布的，且令1n =。
(2)根据公式1()(|)()rn j n j k k k p b p b a p a ==∑计算出()n j p b 。
(2)将()n j p b 代入公式1()exp((,))(|)()exp[(,)]n j i j n j i n j i jj p b Sd a b p b a p b Sd a b +=∑计算出1(|)n j i p b a +。
(4)计算平均失真和信息率1111()(|)(,)s r n i n j i i j j i D p a p b a d a b ++===∑∑11(|)()(|)log()r s n j i n i n j i i j n j p b a R p a p b a p b ===∑∑(5)如果1||n n D D ε+-≤，则跳转到(6);否则，令1n n =+，跳转到(2)。
其中ε为事先确定的精度。
(6)令()n D S D =，()n R S R =；改变斜率值S ，选择初始条件概率为等概率分布，令1n =，然后跳转到(2)，直至斜率足够接近0为止。
三、实验内容1）给定一个两输入的概率分布和失真矩阵测度分别如下12()1X a a p x p p ⎡⎤⎡⎤=⎢⎥⎢⎥-⎣⎦⎣⎦11122122(,)(,)01(,)(,)10d a b d a b d a b d a b ⎡⎤⎡⎤==⎢⎥⎢⎥⎣⎦⎣⎦D 令p=0.5，初始斜率s=-20，斜率递增步长为0.05，利用迭代算法完成信息率失真函数的计算；将失真和信息率的值写入excel 文档，利用excel 的绘图工具画出信息率失真函数曲线；2）令p=0.3，0.1重复上述过程。
任意信道容量的计算及MATLAB仿真与分析
姓名：孟云飞学号Y080430 任意信道的信道容量C及最佳输入分布P_X源程序function [P_X,C,N]=contmax(P_YX,e)% 计算任意信道的信道容量C及最佳输入分布P_X% P_X -------输入概率分布% C----------信道容量N----------迭代次数% P_YX-----DMC信道的转移矩阵e-----------精度if length(find(P_YX<0)~=0)error('Not a probable vector.Negtive component');endif abs(sum(P_YX')-1)>10e-10error('Not a probable vector,Component do not add up to "1" ');end% 变量初始化C1=1;C=0;N=0;r=size(P_YX);P_X=ones(1,r(1))/r(1);% 调整P_YX的零元素值Pyx=(P_YX==0).*eps;P_YX=P_YX+Pyx;% 迭代求解while (abs(C1-C))>eP_Y=P_X*P_YX;I1=sum((P_YX.*log2(P_YX))');I2=log2(P_Y)*(P_YX'); BETA=exp(I1-I2);B=P_X*(BETA');C1=log(B);C=log(max(BETA));P_X=P_X.*BETA/B;N=N+1;endP_YX =0.5000 0.3000 0.20000.4000 0.3000 0.30000.1000 0.6000 0.4000>> [P_X,C,N]=contmax(P_YX,0.001)P_X =0.3599 0.0023 0.6378C =0.1596N =40>> [P_X,C,N]=contmax(P_YX,0.0001)P_X =0.3620 0.0002 0.6378C = 0.1591N = 58由上面结果可以看出，不同的停止迭代容差限对信道容量没有太大影响P_YX =0.3333 0.3333 0.33330.3333 0.3333 0.33330.3333 0.3333 0.3333>> [P_X,C,N]=contmax(P_YX,0.00001)P_X =0.3333 0.3333 0.3333C =N = 1P_YX =0.5000 0.3000 0.20000.4000 0.3000 0.30000.3000 0.3000 0.4000>> [P_X,C,N]=contmax(P_YX,0.00001)P_X =0.5072 0.0002 0.4926C =0.0427N = 181P_YX =0.5000 0.3000 0.20000.4000 0.3000 0.30000.1000 0.6000 0.4000>> [P_X,C,N]=contmax(P_YX,0.00001)P_X =0.3622 0.0000 0.6378C =0.1590N = 76P_YX =0.8000 0.1000 0.10000.2000 0.7000 0.10000.1000 0.3000 0.6000>> [P_X,C,N]=contmax(P_YX,0.00001)P_X =0.4114 0.2412 0.3474C =0.4551N =26由上面的结果可以看出信道容量和转移概率矩阵有关，不同的信道参数信道容量不同，当转移概率矩阵的每行的概率越趋于均匀分布，信道容量就越小。
信息论基础——信道容量的计算
p p1 p 1
将p=3/5代入（2），得到信道容为:C=0.32bit/sym.
20
信道容量的计算
2 达到信道容量输入分布的充要条件
令
I (xi ;Y )
s j 1
p( y j
|
xi ) log
p( y j | xi ) p( yj )
def
D(Q( y |
x) ||
p( y))
定理4.2.2 一般离散信道的互信息I(X；Y)达到极大值
1 信道容量的计算原理
C是选择不同的输入概率分布p(x),在满足
∑p(x)=1条件下，求互信息的极大值：
I(X ;Y )
r i 1
s j 1
p(xi ) p( y j | xi ) log
p( y j | xi ) p(yj )
Lagrange乘子
法
17
信道容量的计算
例1、设某二进制数字传输系统接收判决器
6
数据可靠传输和信道编码
4.1 离散无记忆信道和信道容量 4.2 信道容量的计算
4.3 信道编码理论 4.4 带反馈的信道模型 4.5 联合信源-信道编码定理 4.6 线性分组码 习题四
7
8
接入信道容量的分析与寻呼信道不一样，寻呼信道用于前 向链路，容量的分析主要在于对寻呼信道占用率的计算， 而接入信道用于反向链路，对 CDMA 系统来说，反向链 路容量主要用于干扰的分析。即使采用时隙化的随机接入 协议，接入信道也可能有较高的通过量，大量的接入业务 会在反向链路中产生无法接受的干扰。如前所述，第一个 接入试探失败后，下一个接入试探将增加一定量的功率， 最终的结果将导致小区接收功率的增加以及反向链路容量 的减少。
信道容量的一般计算方法-
例：已知信道转移概率如图所示，求信道容量利用公式1⎪⎪⎩⎪⎪⎨⎧==+=∑∑==1)(log )()|(log )|(11r i i j i j s j i j x P C e y P x y P x y P λ由题可知：)(32)(11x P y P =，)(31)(12x P y P =，)()(23x P y P =当1=i 时，得到一个等式C x P x P =++0log 0)(31log 31)(32log 32131132当2=i 时，得到第二个等式C x P =⋅++)(1log 10log 00log 02再考虑约束条件1)()(21=+x P x P ，可解得：21)()(21==x P x P ，1=C 比特/次传递由于0)()(121≥≥x P x P ，，所有1=C 比特/次传递方法2：利用公式j sj i j i j s j i j x y P x y P x y P β)|()|(log )|(11∑∑===当1=i 时，得到一个等式321031320log 031log 3132log 32βββ⋅++=++当2=i 时，得到第二个等式3211001log 10log 00log 0βββ⋅+⋅+⋅=⋅++因为)(32)(11x P y P =，)(31)(12x P y P =，即)(2)(21y P y P =。
而C y P j j +=)(log β，所有12log )(log )(log 2121==−=−y P y P ββ根据等式可以解得0,31log ,32log 321===βββ。
据此可求得1)13132log()2log(1=++==∑=s j j C β比特/次传递信道输出符号的概率分布为C j j y P −=β2)(得31222)(31log 132log 11====−C y P β，6122)(131log 22===−−C y P β，2122)(033===−C y P β。
DMC迭代算法
ij pi p ji ( * 1) q j ij pi p ji q j pi 0 ij i j i j j i
* 等式仅当 ij ij时达到.
则在给[定输入分布p下I X ; Y max I P, I P, * C max max I P,
I P, 证明 : 由K T条件得, 分布P使I P, 取极大值的充要条件为 pi 其中pi* 0的i, 上式等号成立 .
J 1 exp p ji log ij j 0 * pi K 1 J 1 exp p ji log ij j 0 i 0
0
ij
r
pi
i
r
pi
r
p ji p ji
p ir 1
exp[ p ji log r ij ]
j
exp[ p ji log r ij ]
i j
C
r 1
I P
r 1
,
r
K 1 J 1 r log exp p ji log ij i 0 j 0 0。
5若 C r 1 C r ， 则转向7 。 6令r 1 r , 转向2。 r 1 r 1 7 打印P 和C 。 8停机。
*
另一个分布， 使得I P, 最大
K 1 J 1 I P , 1 log exp p ji logij i 0 j 0 则得到一个求C的迭代方法， 交替地固定P和中一个， 改变
*
DMC容量的迭代算法如下 ： 1 令初始输入分布为 i , i 0,1, , K P K 令r 0,1,2, 为迭代序号， 得：
信道容量PPT课件
• I（X;Y）＝H（y）-H（Y/X）
p( y j ) ln p( y j ) p( xi ) p( y j / xi ) ln p( y j / xi )
j i j
(0.3 0.2 ) ln(0.3 0.2 ) (0.5 0.2 ) ln(0.5 0.2 ) 0.5 ln 0.5 0.3 ln 0.3
i
说明:
• (1) 两个公式
p( y j ) p(Y y j ) p( xi ) p( y j / xi )
i 0 q 1
I ( X ;Y ) p( xi ) p( y j / xi ) log
i 0 j 0
q 1 Q1
p( y j / xi ) p( y j )
0.3 0.2 0.5 0.3(1 ) 0.5(1 ) 0.2(1 )
由
p( y j ) xi y j 得
i
p(y1)=0.5 +0.3(1- )=0.3+0.2 p(y2)=0.3 +0.5(1- )=0.5-0.2 p(y3)=0.2 +0.2(1- )=0.2 其中p（y3）恒定，与xi的分布无关。
3)当X和Y统计独立时，接收的Y完全与发送 说明损失的信息达到与输人符号信息熵相等
的程度。可得I（X;Y）=0或C＝0，即信道
的X无关，此时P=0.5及H（X/Y）=H（X），
上没能传送任何信息。
（3）准对称DMC信道的容量
• 什么叫准对称DMC信道? 如果转移概率矩阵P是输入对称而输出不对 称，即转移矩阵P的每一行都包含同样的元素 而各列的元素可以不同，则称该矩阵是准对称 DMC信道。 例如，矩阵
关于DMC容量与AWGN信道容量
返回
4
离散无记忆信道（DMC）
DMC---Discrete Memoryless Channel 若离散信道对任何N有：
N
pN y N | x N pyn | xn
n1
称该信道为离散无记忆信道（DMC）。
以X ; pyn | xn ;Y 表示。
5
离散无记忆信道（DMC）
对任意n与m有：
n
p(xn , y n ) log
p( yi | xi )
xn ,yn
i 1
n
p(xn , y n ) log p( yi | xi )
i 1 xn , y n
n
p(xi , yi ) log p( yi | xi )
i 1 xi , yi
n
H (Yi | X i ) i 1
8
信道容量
1
本讲框架体系
离散信道 容量及性质
离散无记忆信道DMC DMC容量
信道容量
连续信道容量
AWGN信道容量
2
离散信道容量及性质
离散信道，输入输出时间上离散，取值上取有
限个值
X 0,1,, K 1
输入序列
Y 0,1,, J 1
x n x1, x2 ,, xn
输出序列
y n y1, y2 ,, yn
11
DMC容量
对恒参信道和平稳信源来说：
I X1 X 2 X n ;Y1Y2 Yn nI X ;Y
因此，得到离散无记忆信道容量为：
C max I X ;Y Qk
其中Qk 为X的概率分布。
返回
12
AWGN信道容量
AWGN---Additive White Gaussian Noise
预测控制中动态矩阵(DMC)算法研究及仿真
预测控制中动态矩阵(DMC)算法研究及仿真摘要：预测控制是近年来发展起来的一类新型计算机控制算法。
由于预测控制具有多步预测、滚动优化和反馈校正的功能，所以控制效果比较好，鲁棒性也很强，对于一些不易建立精确的数学模型并且比较复杂的工业生产过程来说，预测控制是一种比较好的控制方法。
本文阐述了预测控制的基本原理和典型方法，并选取基于动态矩阵算法预测控制实例，进行了MA TLAB仿真，并对仿真结果进行分析研究。
关键词：预测控制，动态矩阵算法，模型1 预测控制介绍20世纪70年代，在工控领域，预测控制作为一类新型计算机控制算法被工控工作者提出来。
预测控制在全球化工、炼油等行业的数千个复杂装置中得到了成功的应用，并且获得了巨大的经济效益，它对复杂工业过程的优化控制产生了很大影响，成为先进过程控制的代表，是最受工控工作者青睐的先进控制算法。
预测控制算法的应用已经扩展到了各种领域，这是因为预测控制算法具有可以在不确定环境下进行优化控制的机理。
在20世纪90年代之后，预测控制在实践中得到了广泛的应用，逐渐形成了以传统最优控制与预测控制的联系为基础的新型控制算法，它在方法上具有创新性、理论上具有深刻性，是充满活力与生机的新的学科分支。
预测控制在国外的工业过程中得到了成功的应用，在很大程度上鼓舞了我国工控工作者对于加快掌握和应用预测控制这种先进控制技术的信心。
从20世纪90年代以来，在国家科技攻关计划的支持下，国内不少单位研发了具有自主知识产权的预测控制软件，并将其应用在各类工业过程中，获得了成功，积累了丰富的经验。
然而，目前预测控制在我国应用的深度和广度和国外相比仍有很大差距，因此，进一步普及预测控制技术，特别是推广预测控制工业应用的经验，是推动预测控制在我国各行各业应用的当务之急。
一般来说，采样控制算法而非连续控制算法，作为预测控制的表现形式，这是因为计算机是预控制的实现手段。
预测控制，是指利用内部模型的输出或状态来进行预测，与此同时，采取反馈校正和有限时域滚动优化的思想，对系统的某个性能指标进行最优计算，并且依据这个最优化的计算结果来确定一个控制时域内最优的控制序列。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
文章编号：1009 -2552 (2017) 06 -0121 -03 D O I：10. 13274/ki.hdzj.2017. 06. 028任意DMC信道容量的计算与仿真徐伟业，耿苏燕，马湘蓉，冯月芹(南京工程学院通信工程学院，南京210016)摘要：离散无记忆信道容量求解就是在一定输入分布条件下的一个极值求解问题，但实际的 输入分布求解时没有足够多条件用来建立方程，因此求解困难。
但是借助计算机进行迭代计算 可以消除输入分布的条件不足的缺点，计算出任意D M C信道的精确容量，并找出最佳的输入分 布。
经过计算推导与仿真验算，结果符合实际。
关键词：离散无记忆信道；信道容量；迭代算法；仿真中图分类号：T N911.5 文献标识码：ACalculation and simulation of arbitrary DMC capacityXU Wei-ye，GENG Su-yan，MA Xiang-rong，FENG Yue-qin(School of C om m unication E ngineering，N anjing Institute of Technology，N anjing 210016，C hina) Abstract:Solving the capacity of discrete memoryless channel(D M C)i s a extreme-value problemunder the condition of a certain input distribution.In practice，however，there are no conditions enough t o establish the equations f or solving the input distribution.But by uti l i z i n g the numerical computation of the computer，the i t e r a t i v e algorithm can eliminate the shortcomings of insufficient conditions of input distributions.Arbitrary D M C channel capacity can be calculated and the optimal distribution of inputs can be searched.The results show the mathematical derivation and simulation t e s t are correct accord with the actual case.Key words：D M C;channel capacity；i t e r a t i v e algorithm；simulation2017年第6期 V信息疼术本文研究信道的主要目的就是考虑信道的传输 能力，而这种能力的主要指标就是指信道的容纳力 量，即信道容量。
在定量计算时，信道容量是指信道 所能传送的最大平均互信息量，即：C =max/( X；F)P(a i)当信道是离散无记忆的（Discrete Memoryless Channel)D M C信道时，其最大平均互信息量表示为：H(XY)H p(a i)i jX X P(ai)P(b j/a i)i j(1)在固定信道，即转移概率j p(b/ai))已知的条 件下，互信息是信源输人概率分布j p(ai)的凸函数，具有极大值，也就是说可以找到某种概率分布j p(ai)，使/(X；Y)达到最大。
此时，最大平均互信 息就是信道容量，所找到的输人概率分布称之为最 佳分布。
由上述可知，信道容量求解是一个典型的求取 最大值的问题。
对于D M C信道，输人分布^(a j是 满足非负性和归一性条件的一维数组，因此，可以用 Lagrange拉格朗日乘子法求得条件极值。
但实际计算信道容量时却没有那么容易。
首先 信道容量定理只给出了达到信道容量时最佳输人概 率分布应满足的条件，没有给出最佳输人概率分布 值，也没有给出信道容量的数值[1]。
其次，定理本收稿日期：2016 -05 -25基金项目：南京工程学院教改基金项目（JG201429，JG201425)作者简介：徐伟业（1977 -)女，硕士研究生，副教授，研究方向为移动通信。
/(X；Y)= H(X)-,b ,、'P(b/ai)卿ai)log心.）=.P(b/ai)og P(ai)P(b/ai)一 121 —身还隐含着达到信道容量的最佳分布不一定是唯一 的，只要输人概率分布满足充要条件定理时都是信 道的最佳输人分布。
因此，在一般情况下，D M C 信 道容量定理不适用，本文将计算方法转向别的方向。
1计算方法既然D M C 信道的容量是输人分布火^)的函 数，那么可以采取改变变量的方法进行计算以寻找 容量最大值,即对输人分布火^)的选取可以采用 遍取法，缺点是需要运算大量数据和耗费较大运行 时间;另外也有人推出采用贪婪法，有特定公式[2]， 比遍取法要省时间，但是算法复杂度和运行时间都 不是很理想。
因此，这些方法都有较多的限制。
随着集成芯片和计算机的快速发展，本文借助 计算机进行迭代计算成为比较可行的方法，而且可 以达到精度非常理想的结果。
1.1算法原理D M C 信道容量的迭代算法是一种有效的数值算法，由S . Arimoto 和R . E . Blahut 提出[3]，能以任 意给定的精度以及有限步数计算出任意D M C 信道的容量。
由式（1)计算信道容量，在^”（〜）=1条件下利用拉格朗日条件极值能够计算出最大容量，但 是此时p (ai )的分布式很难找。
因此，利用互信息 的对称性，将式（1)改写为下式所示：I (X -，Y ) = H (Y ) -H (Y /X ) = H P (ai)P i j(2)P ( a,)P ( b /at )X P ( ai )P ( b /ai )i(3)显然M a /y不是独立变量，且有约束条件X ^a /^.) = 1。
从反向实验信道来看，后验概率ij P (a /^)可以看作反向实验信道的传递概率。
因 此，平均互信息I (X ;Y )就是输人概率分布矢量P = {'(a j 丨和反向传递概率$ = {'(a /b )丨的函数,简记为I (P ，$)。
I (P ，$) = XL X P ( ai )P ( b /at ) log(4)在进行迭代计算时，分别以输人概率分布矢量P 和反向传递概率$为变量，相互制约，相互影响，求取平均互信息的最大值,具体过程如下：①先假定P = {M a d 丨不变，以$ =(b /ai ) logP ( ai /b,)P ( ai )式中，后验概率为p ( a /^.)。
P ( ai )P ( b /ai )P (bi )P ( ai /bj ){jP(a /b )}为自变量，由式(4)知，I (P ，$)有极大 值。
又因为有约束条件X M a /b ) = 1，则由拉格i朗曰数乘法计算条件极值得I ( P ，$)取到极大值时 对应的后验概率：p *(ai /b )p (ai ) p ( b /ai )X p ( ai ) p ( b /ai )i此时信道容量:(5)C = m^ix I ( P ，$) = I ( P ，$* ) = X X P ( ai )p ( a i /b i ') i j (b , )1 户 *(ai /b) ⑷P (b /ai ) log 户& )(6)②再假定$ = {户（a /b )}不变，以P ={户（a j }为自变量，在约束条件X p (a J = 1限制下，当I (P ，$)最大时的输入概率分布:exP [ X 户(b /ai ) l n , ( a /b )]P *(a j =j Xh exP [ X P ( b /a t) lnp * ( al /b j)]Si = exp 将式(5)带人式(7)，再令：P ( b /ai )XP ( b /a i ) ln X p ( ai ) p ( b /ai )-式(5)简写为：P * (a jP ( ai)SiX p ( ai ) S ii此时信道容量:(7)(8)(9)C = maxI ( P ，$) = I ( P *，$*) = l n X P *( ai ) S *(1〇)1.2算法仿真流程根据迭代算法原理，交替固定输人概率分布矢 量P 和反向传递概率$，使I (P ，$)最大化，具体 迭代步骤如下。
任意选择初始输人概率分布P (l)(—般情况下 都选择等概分布）。
由 P 0)4$0)4I(P 0)，$0))，$(1)^P (2)^I (P (2)，$(1))，依此类推,《步之后有：C ( n ，n ) = max I ( P ( n)，$( n))P (a /b j )C ( n + 1，n ) = maxI ( P (^+1)，$(n})p (a i )当n — ¥时，C (n ，n ) = C (n +1，n ) = C实际运算中只需要逐次比较C (n ，n )与C(n + 1，n )，当其差值小到要求的精度时，停止迭代，此时 认为达到信道容量。
一 122 —其算法流程图如图1所示。
图1D M C信道容量迭代算法流程图2算法程序编制该算法在程序编制时按照算法原理来，首先 检查离散信道的输人、输出数量，由输人数量确定 起始的输人概率分布，由起始概率分布计算起始 后验概率分布，计算出起始信道容量；由起始后验 概率分布计算出二次输人概率分布，再次计算二 次信道容量，比较一次，在精度范围之内，结束程 序，否则，继续重复上述步骤，直至达到所要求的 精度。
仿真环境采用M A T L A B，具体程序略。
但是在程序运行过程中，有几个关键步骤需要 特别注意：①考虑到运行速度和仿真时间，在进行大循环 时采用中间过渡变量5,以减少往复运算数据量：for i= 1:n a⑴=0;%define an intermediate variable of iterationfor j = 1：mifP(i，j) = =0a(i) = a(i) + 0 ;elsea(i) =a(i) +P(i，j)*log(P(i，j)/Pb(j));endends1(i) =exp(a(i)) ；%calculate s1(i) end② 每完成一次比较，才算完成一次真正意义的迭代。