实验二 离散信道容量
实验二 离散信道及其容量
实验二 离散信道及其容量一、[实验目的]1、理解离散信道容量的内涵；2、掌握求二元对称信道（BSC ）互信息量和容量的设计方法；3、掌握二元扩展信道的设计方法并会求其平均互信息量。
二、[实验环境]windows XP,MATLAB 7三、[实验原理]若某信道输入的是N 维序列x ，其概率分布为q(x ),输出是N 维序列y ,则平均互信息量记为I(X ;Y )，该信道的信道容量C 定义为()max (X;Y)q x C I =。
四、[实验内容]1、给定BSC 信道，信源概率空间为信道矩阵 0.990.010.010.99P ⎡⎤=⎢⎥⎣⎦求该信道的I(X;Y)和容量，画出I(X;Y)和ω、C 和p 的关系曲线。
2 、编写一M 脚本文件t03.m ，实现如下功能：在任意输入一信道矩阵P 后，能够判断是否离散对称信道，若是，求出信道容量C 。
3、已知X=(0,1,2);Y=(0,1,2,3),信源概率空间和信道矩阵分别为求： 平均互信息量；4、 对题(1)求其二次扩展信道的平均互信息I(X;Y)。
五、[实验过程] XP ０ １0.6 0.4= XPx ０ １ ２ 0.3 0.5 0.2= 0.1 0.3 0 0.6 0.3 0.5 0.2 0 0.1 0.7 0.1 0.1P=每个实验项目包括：1)设计思路2)实验中出现的问题及解决方法；1)设计思路1、信道容量( )max (X; Y)q xC = I，因此要求给定信道的信道容量，只要知道该信道的最大互信息量，即求信道容量就是求信道互信息量的过程。
程序代码：clear all,clc;w=0.6;w1=1-w;p=0.01;XP０１= 0.6 0.4p1=1-p;save data1 p p1;I_XY=(w*p1+w1*p)*log2(1/(w*p1+w1*p))+(w*p+w1*p1)*log2(1/(w*p+w1*p1))- ...(p*log2(1/p)+p1*log2(1/p1));C=1-(p*log2(1/p)+p1*log2(1/p1));fprintf('互信息量:%6.3f\n信道容量:%6.3f',I_XY,C);p=eps:0.001:1-eps;p1=1-p;C=1-(p.*log2(1./p)+p1.*log2(1./p1));subplot(1,2,1),plot(p,C),xlabel('p'),ylabel('C');load data1;w=eps:0.001:1-eps;w1=1-w;I_XY=(w.*p1+w1.*p).*log2(1./(w.*p1+w1.*p))+(w.*p+w1.*p1).*log2(1./(w.*p+w1.*p1))- . ..(p.*log2(1./p)+p1.*log2(1./p1));subplot(1,2,2),plot(w,I_XY)xlabel('w'),ylabel('I_XY');实验结果：互信息量:0.891信道容量:0.919I(X;Y)和ω、C和p的关系曲线图：0 0.5 10.10.20.30.40.50.60.70.80.91pC0 0.5 10.10.20.30.40.50.60.70.80.91wI X Y2、离散对称信道：当离散准对称信道划分的子集只有一个时，信道关于输入和输出对称。
实验二 计算信道容量
PXi[i] = ((PXi[i] * a[i]) / sum);
}
n ++;
}
}while(cap_max-cap_result>= e);
printf("\n\n迭代次数为：%d\n" ,n);
for(i=0;i<X_num;i++)
{
printf("最佳信源概率：%f\n" ,PXi[i]);
}
/**************************************************************************
函数名：double Calculate_cap_result(double PXi[],double a[])
功能：计算并输出迭代法所需的参数cap_result
double Calculate_cap_max(double a[])
{
int i;
double max_a = a[0];
for(i=0;i<X_num;i++)
{
if(a[i] > max_a)
{
max_a = a[i];
}
}
printf("较大值=%f",log(max_a));
return log(max_a);
for(i=0;i<X_num;i++)
{
for(j=0;j<Y_num;j++)
{
printf("P[%d][%d]=",i,j);
scanf("%lf",&P[i][j]);
离散信源熵信道容量实验报告
离散信源熵信道容量实验报告实验目的：通过模拟离散信源熵和信道容量的实验，掌握熵和信道容量的概念及计算方法。
实验原理：离散信源：离散信源是指其输出符号集合为有限的离散符号集合，通常用概率分布来描述其输出符号的概率分布，称为离散概率分布。
离散信源的熵是度量这一离散概率分布的不确定度的量度，其单位是比特。
离散信源的熵公式为：H(S)=-Σpi×log2pi其中，H(S)为离散信源的熵，pi为消息符号i出现的概率，log2为以2为底的对数。
信道容量：信道容量是指在某一固定的信噪比下，能够传送的最大信息速率。
信道容量的大小决定了数字通信系统的最高可靠传输速率。
离散无记忆信道的信道容量公式为：C=max{I(X;Y)}其中，X为输入符号，Y为输出符号，I为信息熵。
实验步骤：1. 生成随机概率分布对于3种不同的符号数量，生成随机的符号及其概率分布。
在生成时，要求概率之和为1。
2. 计算离散信源的熵根据所生成的随机概率分布计算离散信源的熵。
3. 构建离散无记忆信道构建一个离散的2进制对称信道，并存储在一个概率矩阵中，利用生成的概率分布对该矩阵进行初始化。
4. 计算信道容量根据所构建的离散无记忆信道计算其信道容量。
实验结果分析：以下是实验结果分析，其中H(S)表示离散信源的熵，C表示离散无记忆信道的信道容量。
符号数量为3时：符号概率a 0.2b 0.3c 0.5H(S) = 1.485构建的离散无记忆信道的概率矩阵为：| 0 | 1 |--------------------------a | 0.20 | 0.80 |--------------------------b | 0.60 | 0.40 |--------------------------c | 0.80 | 0.20 |--------------------------C = 0.823从实验结果可以看出，当符号数量增加时，熵的值也会随之增加，这是由于符号集合增加，随机性增强所导致的。
离散无记忆信道的信道容量计算实验报告PPT课件
2.信道容量算法
信道容量是互信息的最大值，首先要将信道容量求极值得问题表示 为二重交替优化问题。
（1）
• 运行结 果
(2)
实验结果(1)：输入概率转移矩阵是之前例题中的概率转移矩阵，迭代 次数为11和70次，经验证，迭代程序结果比例题中的一般信道容量算 法更为精确。
实验结果(2)：迭代次数为4，迭代结果为1.3219，经验算发现此输入 概率转移矩阵的实际结果为1.329，误差不大，符合要求，另外精度越 高，结果越接近。
离散无记忆信道的迭代运算
一、为什么要迭代？
(*)
（1）解方程组求出的输入分布 {P(x)}可能不唯一，因为可能有多个 极值点；
（2）需要验证求出的输入分布序列 是否符合要求。
（2）从达到DMC的信道容量的充要条件出发:
二、Blahut-Arimoto算法
1.交替优化
（2）、通过轮流固定f的其中一个自变量，对另一个没固定的 自变量求极值，由此来确定受此自变量影响下的最值。下一 次对另一个自变量也如此操作，循环往复形成迭代。
程序部分
• 程序设计思路
• （1）参数输入模块
• （2）判断模块
判断矩阵中的元素是否 >=0且<=1
判断矩阵的行相加是否 都为1
• （3）迭代模块1
• （4）迭代模块2
• （5）输出模块Байду номын сангаас
• P116 4.3 (b)
• 一般的DMC
• 一般的DMC
概率矩阵：
参考文献
[1]王育民、李晖 .《信息论与编码理论第二版》[M]北京：高等教育出版社，2013.4 96-101 [2]辛英.《离散信道容量的迭代算法及其实现》[D]山东：山东工商学院，1994 [3]徐伟业 耿苏燕 马湘蓉 冯月芹.《任意DMC信道容量的计算与仿真》[D]南京：南京工程学院 2017
离散无记忆信道的信道容量计算实验报告
感谢聆听！
2.信道容量算法
信道容量是互信息的最大值，首先要将信道容量求极值得问题表示 为二重交替优化问题。
（1）
运行结果
(2)
实验结果(1)：输入概率转移矩阵是之前例题中的概率转移矩阵，迭代 次数为11和70次，经验证，迭代程序结果比例题中的一般信道容量算 法更为精确。
实验结果(2)：迭代次数为4，迭代结果为1.3219，经验算发现此输入概 率转移矩阵的实际结果为1.329，误差不大，符合要求，另外精度越高， 结果越接近。
离散无记忆信道的迭代运算
一、为什么要迭代？
（1）解方程组求出的输入分布 {P(x)}可能不唯一，因为可能有多个 极值点；
（2）需要验证求出的输入分布序列 是否符合要求。
二、Blahut-Arimoto算法
1.交替优化
（2）、通过轮流固定f的其中一个自变量，对另一个没固定的 自变量求极值，由此来确定受此自变量影响下的最值。下一 次对另一个自变量也如此操作，循环往复形成迭代。
程序部分
程序设计思路
（1）参数输入模块
（2）判断模块
判断矩阵中的元素是否 >=0且<=1
判断矩阵的行相加是否 都为1
（3）迭代模块1
（4）迭代模块2
（5）输出模块
P116 4.3 (b)
一般的王育民、李晖 .《信息论与编码理论第二版》[M]北京：高等教育出版社，2013.4 96-101 [2]辛英.《离散信道容量的迭代算法及其实现》[D]山东：山东工商学院，1994 [3]徐伟业 耿苏燕 马湘蓉 冯月芹.《任意DMC信道容量的计算与仿真》[D]南京：南京工程学院 2017
离散信源熵信道容量实验报告
计算离散信源熵、离散信道容量1 实验任务和目的实验任务：（1）简要总结信源的熵、信道容量的物理意义，概念；（2）写出离散信源熵、离散信道容量计算的基本步骤，画出实现离散信源熵、离散信道容量计算的程序流程图；（3）讨论信源的熵的大小与前后符号之间相关性的关系，讨论信道容量与信源先验概率及信道转移概率的关系。
实验目的：掌握信源的熵、信道容量的物理意义，概念；熟练掌握离散信源熵、离散信道容量的计算方法步骤；利用Matlab 编写离散信源熵、离散信道容量的计算程序；验证程序的正确性。
2 实验过程和结果 2.1 实验过程1、简要总结信源的熵、信道容量的物理意义，概念。
信源熵的物理意义是指信源中的各个符号的平均不确定性；熵是信源符号的平均信息量，是信源符号的平均不确定度。
信道容量 概念：在信道可以传输的基本前提下，对信源的一切可能的概率分布而言，信道能够传输的最大（接收）熵速率称为信道容量。
意义：求出了某个信道的信道容量，也就找到了信源的最佳概率分布。
从而指导人们改造信源，使之最大可能地利用信道的传输能力。
2、写出离散信源熵、离散信道容量计算的基本步骤，画出实现离散信源熵、离散信道容量计算的程序流程图；离散信源熵的计算步骤：()()()11log log ()qr r r i i i i H X E p a a p a =⎛⎫==- ⎪⎝⎭∑信道容量的计算步骤：()(){}()符号/;max bit Y X I C XP =3、（1）讨论信源的熵的大小与前后符号之间相关性的关系，讨论信道容量与信源先验概率及信道转移概率的关系。
信源的相关性是信源符号间的依赖程度的度量。
由于信源输出符号间的依赖关系也就是 信源的相关性使信源的实际熵减小。
信源输出符号间统计约束关系越长，信源的实际熵越小。
当信源输出符号间彼此不存在依赖关系且为等概率分布时，信源的实际熵等于最大熵。
（2）信道容量与信源先验概率及信道转移概率的关系。
实验二 离散信道容量
实验二 离散信道容量一、实验目的1. 掌握离散信道容量的计算。
2. 理解离散信道容量的物理意义。
3. 练习应用matlab 软件进行二元对称离散信道容量的函数曲线的绘制，并从曲线上理解其物理意义。
二、实验原理信道是传送信息的载体—信号所通过的通道。
信息是抽象的，而信道则是具体的。
比如二人对话，二人间的空气就是信道；打电话，电话线就是信道；看电视，听收音机，收、发间的空间就是信道。
研究信道的目的：在通信系统中研究信道，主要是为了描述、度量、分析不同类型信道，计算其容量，即极限传输能力，并分析其特性。
二元对称信道BSC （Binary Symmetric Channel ）二进制离散信道模型有一个允许输入值的集合X={0，1}和可能输出值的集合Y={0，1}，以及一组表示输入和输出关系的条件概率（转移概率）组成。
如果信道噪声和其他干扰导致传输的二进序列发生统计独立的差错，且条件概率对称，即(0/1)(1/0)(1/1)(0/0)1p Y X p Y X p p Y X p Y X p ======⎧⎨======-⎩这种对称的二进制输入、二进制输出信道称做二元对称信道（或二进制对称信道，简称BSC 信道），如下图所示：信道容量公式：{()}max p x C I(X,Y)=三、实验内容BSC信道是DMC信道对称信道的特例，对于转移概率为P(0/1)=P(1/0)=p，P(0/0)=P(1/01)=1-p，求出其信道容量公式，并在matlab上绘制信道容量C与p 的曲线。
根据曲线说明其物理意义。
四、实验要求1.提前预习实验，认真阅读实验原理以及相应的参考书。
2.认真高效的完成实验，实验中服从实验室管理人员以及实验指导老师的管理。
3.认真填写实验报告。
正式实验报告二—信道容量计算
一、实验目的1．掌握离散信道的信道容量的计算方法；2．理解不同类型信道的不同特点与不同的计算方法；二、实验内容1．进一步熟悉一般离散信道的信道容量计算方法；2．进一步复习巩信道性质与实际应用；3．学习如何将复杂的公式转化为程序。
三、实验仪器、设备1、计算机－系统最低配置256M内存、P4 CPU；2、MATLAB编程软件。
四、实现原理信道容量是信息传输率的极限，当信息传输率小于信道容量时，通过信道编码，能够实现几乎无失真的数据传输；当数据分布满足最佳分布时，实现信源与信道的匹配，使得信息传输率能够达到信道容量。
本实验利用信道容量的算法，使用计算机完成信道容量的计算。
实验采用迭代算法计算信道容量，即：设DMC的转移概率pyx(i,j)，p(i)是任意给定的一组初始给定输入分布，开始为等概率分布，以后逐次迭代更新p(i)的取值。
其所有分量P (i)均不为0。
按照如下方法进行操作：具体方法：1、计算q(j)=ijipyxip),(*)(，pyx(i,j)为信道转移概率2、计算a(i)先算中间变量d(i)=∑jjqjipyxjipyx)(/),(log(*),(然后，a(i)=exp(d(i))3、计算中间变量U=∑iip ia)(*)(4、计算IL=log2(u)5、计算IU=log2(max(a(i))6、当IU-IL>ε（ε为设定的迭代精度）时，进入以下循环，否则输出迭代次数n，信道容量C=IU计算结果，最佳分布p(i)。
①重新计算p(i)=p(i)*a(i)/U②计算q(j),方法同1③计算a(i)，方法同2④计算中间变量U=∑iip ia)(*)(⑤计算IL=log2(u)⑥计算IU=log2(max(a(i))⑦计次变量n=n+1返回6判断循环条件是否满足。
五、实验步骤1、计算非对称信道的信道容量运行程序待程序运行完毕，记录迭代次数n和信道容量计算结果C。
2、计算对称信道的信道容量运行程序待程序运行完毕，记录迭代次数n和信道容量计算结果C。
离散信道及容量
平均信息量之和； H XY H X H Y
(b)一个符号不能提供有关另一符号的任何信息。
IX ;Y IY; X 0
HX ,Y 0
当两个信源相关时 (a)联合熵小于两个信源的熵的和:
H XY H X H Y
(b)平均互信息量等于两信源熵重合的部分； (c)信源的条件熵等于其熵减去平均互信息量：
3. 平均互信息的交换性（对称性）
I (X ;Y ) I (Y; X )
4. 平均互信息 I ( X ; Y ) 的凸状性
I ( X ;Y ) P(xy) log P( y | x)
X ,Y
P( y)
P(x)P( y | x) log X ,Y
P( y | x) P(x)P( y | x)
p0 / 0 0.99
0
0
p0 /1 0.01
p1/ 0 0.01
错误的概率为0.01。
1
1
即有
p1/1 0.99
p yi / xi p0/ 0 p1/1 0.99
p yj / xi p1/ 0 p0 /1 0.01 i j
转移矩阵
pY / X p y j / xi
满足其的充要条件是：
N
P(Y X ) p( y1y2...yN x1x2...xN ) p( yi xi ) i1
对任意的N值和x,y值上式都成立。
3.有干扰有记忆信道 信道中某一瞬间的输出符号不但与对应时刻的输入符号 有关，而且还与此前其它时刻信道的输入符号有关，则该信 道称有记忆信道。 此时 P(Y X ) 不满足：
p(xi ) p( y j
N
xi )
离散信道容量
P(x1y1) = P(x1) P(y1|x1) = 0.5×0.98 = 0.49
即对于一定的信道转移概率分布，总可以找到某 P(x y ) = P(x ) P(y |x ) = 0.5×0.80 = 0.40
一个先验概率分布的信源 X，使平均交互信息量达到 n pmax (yj) p( xi ) p( y j | xi ) ，求Y集合中各符号 （2）根据 I 相应的最大值 ，称此信源为该信道的匹配信源。
（ 3）根据 P(xi是信源概率分布 |yj) = P(xi yj)/P(yj) ，求各后验概率，得 平均互信息 I(X;Y) P(X) 的∩型凸函数
P(x1| y1) = P(x1y1)/ P(y1) = 0.49/0.59 = 0.831 即对于一定的信道转移概率分布，总可以找到某 P(x2| y1) = P(x2y1)/ P(y1) = 0.10/0.59 = 0.169 一个先验概率分布的信源 ，使平均交互信息量达到 P(x1| y2) = P(x1y2)/ P(X y2 ) = 0.01/0.41 = 0.024 相应的最大值 ，称此信源为该信道的匹配信源。 P(x | y ) I =max P(x y )/ P(y ) = 0.40/0.41 = 0.976
称I(X;Y)是Y对X的平均互信息量（简称平均互信息/平 均交互信息量/交互熵）。 X对Y的平均互信息定义为
I (Y ; X ) p( xi y j ) I ( y j ; xi ) p( xi y j )log 2
i 1 j 1 i 1 j 1
n
m
n
m
p ( y j / xi ) p( y j )
p11 p1s P(b / a ) p p j i ij p2 s P 21 ... pr1 prs p12 ... p1s p2 s ... prs
离散信道的信道容量
∑
∑
∑
∑
∑
∑∑
2
= 0.0325 (比特/符号)
2. 信源只含两个消息 【例5.8】 信道输入符号集X = {x1, x2 }，输出符号 例 集Y = {y1, y2, y3}，给定信道转移概率矩阵
0 1 q q P = 0 q 1 q ，求信道容量C。
设使平均互信息量达到信道容量的信源分布为 q(x1) =α ， q(x2) =1-α =1 α 。 2 j = 1,2,3 由 ω ( y j ) = ∑ q ( xi ) p( y j xi ) i =1 可算出 2 ω ( y1 ) = ∑ q( x i ) p( y1 xi ) = α (1 q)
∑
计算 q ( x ) i
i = 1,2, L , K
j =1
【例4.9】 例 ，求信道容量C。
0.9 0.1 给出信道转移概率矩阵 P = 0.2 0.8 , K = 2
0 .9 0 .1 ≠0 （1）P矩阵的行列式 P = 0 .2 0 .8
，说明P是一个非奇异方阵。 （2）P的逆矩阵 P （3）算出
=
∑ω ( y
j =1
3
j ) log
ω ( y j ) + ∑∑ q( xi ) p ( y j xi ) log p( y j xi )
i =1 j =1
2
3
= -(1-q) [α logα + (1-α) log (1-α)] 根据定义，求C的问题就转化为α为何值时，I (X; Y ) 达到最大值 。令 I ( X ; Y ) = 0 α = 0.5 则信道容量
q ( x2 ) q ( xN )
∑ I (X ;Y ) )
信息论离散信道及其容量
单击此处添加文本具体内容
演讲人姓名
CLICK HERE TO ADD A TITLE
通信系统模型
信息论的研究基础是通信系统模型。
01
4.1 信道的数学模型及其分类
不同
信道是信息传输的通道。Βιβλιοθήκη 信道的分类一些特殊信道
无损信道：输出可以决定输入，即知道了信道的输出符号，能确切判断出它对应的输入符号是什么。 确定信道：输出完全由输入决定，即输入符号一旦定下来，信道的输出是确定的。 无噪信道：既是无损信道，又是确定信道。输出能决定输入，输入也能决定输出。现实生活中很少存在这样的信道。 无用信道：输入与输出相互独立，没有任何关系。
N=1，信道传递概率： p(y|x)=P(Y=bj|X=ai)= p(bj|ai)=pij，满足pij≥0， 所有的信道传递概率可以组成一个矩阵：信道矩阵P：
例 二元对称信道 简称为BSC 二元：输入和输出符号集均为{0,1} 对称：1变成0和0变成1的概率相等。 p(0|0)=p(1|1)=1-p，p(0|1)=p(1|0)=p BSC的信道矩阵：
4.3.2 定理
4.4 信道的组合
组合方式 并行：积信道 串行：级联信道 例如：Internet 例如：GSM 重点介绍级联信道（串联信道）
信道I p(y|x)
信道II p(z|xy)
X
Y
Z
假设串联的两个信道为信道I和信道II，信道I的传递概率为p(y|x)，信道II的传递概率为p(z|xy)。 定理 若随机变量X,Y,Z构成一个马尔可夫链（p(z|xy)=p(z|y)），则有 I(X;Z)≤I(X;Y) I(X;Z)≤I(Y;Z) 定理叫做数据处理定理，它的含义是通过串联信道的传输，只会丢失信息，不会增加信息，至多保持原来的消息量。这是信息不增性原理。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
实验二 离散信道容量
一、实验目的
1. 掌握离散信道容量的计算。
2. 理解离散信道容量的物理意义。
3. 练习应用matlab 软件进行二元对称离散信道容量的函数曲线的绘制，并
从曲线上理解其物理意义。
二、实验原理
信道是传送信息的载体—信号所通过的通道。
信息是抽象的，而信道则是具体的。
比如二人对话，二人间的空气就是信道；打电话，电话线就是信道；看电视，听收音机，收、发间的空间就是信道。
研究信道的目的：在通信系统中研究信道，主要是为了描述、度量、分析不同类型信道，计算其容量，即极限传输能力，并分析其特性。
二元对称信道BSC （Binary Symmetric Channel ）
二进制离散信道模型有一个允许输入值的集合X={0，1}和可能输出值的集合Y={0，1}，以及一组表示输入和输出关系的条件概率（转移概率）组成。
如果信道噪声和其他干扰导致传输的二进序列发生统计独立的差错，且条件概率对称，即
(0/1)(1/0)(1/1)(0/0)1p Y X p Y X p p Y X p Y X p ======⎧⎨======-⎩
这种对称的二进制输入、二进制输出信道称做二元对称信道（或二进制对称信道，简称BSC 信道），如下图所示：
信道容量公式：
{()}
max p x C I(X,Y)=
三、实验内容
BSC信道是DMC信道对称信道的特例，对于转移概率为P(0/1)=P(1/0)=p，P(0/0)=P(1/01)=1-p，求出其信道容量公式，并在matlab上绘制信道容量C与p 的曲线。
根据曲线说明其物理意义。
四、实验要求
1.提前预习实验，认真阅读实验原理以及相应的参考书。
2.认真高效的完成实验，实验中服从实验室管理人员以及实验指导老师的
管理。
3.认真填写实验报告。