信息与编码信息与编码 6-3

合集下载

信息论与编码(第二版)陈运主编课件第六章 (3)

x xa x i i a x x a x
a
1
mod x 1
n
mod x 1
n
定理：（n,k）循环码C( x)中存在唯一的一个
非零的，首一的和最低次为r（r<n）的码
多项式g(x)满足： g(x)=xr+gr-1xr-1+….+g X+g0
1
信息论与编码
Information Theory and coding
内蒙古工业大学电子信息工程系宋丽丽
Email: songlili@
§6.3.1 循环码的多项式描述
§6.3.2循环码的生成矩阵 §6.3.3系统循环码
循环码
循环码是采用循环移位特性界定的一类线性分组码。编码设备不太复杂，而且检纠错能力较强。
循环码的定义
定义
如果一个线性分组码的任意一个码字c(n 元组)都是另外一个码字c’的循环移位,称此线性分组码为一个循环码.
例 6.3.2 如下确定的CA是线性循环码，CB是非循环的线性分组码，CC是非线性的循环码。
，，
循环码的多项式描述
将循环码的码字用多项式c(x)，称为码多项式（简称码式）表示后，循环码集合表示C(x),
k n
(n,k)循环码的校验矩阵为
hk , hk 1 , 0, h , k H 0, 0,
h0 , 0, 0, 0 h1 , h0 , 0, 0 hk , hk 1 , h0 rn
i 1, 2,, n
a x an 1 x n 1 an 2 x n 2 a1 x a0 ai 0,1 1 a x an 2 x n 1 an 3 x n 2 a1 x 2 a0 x an i a x an 1i x n 1 an 2i x n 2 a1 x i 1 a0 x i an 1 x i 1 an i

信息论与编码(第三版) 第6章信道编码理论

信号无失真传输条件：通频带内系统增益为常数；相位为线性(群延时
相等)
❖ 信号差错的指标通常用概率大小表征，符号差错概率也称为误码元率，是指信号差错的概率；
❖ 误比特率则是表示信息差错概率的一种方法；
❖ 对于M进制码元，差图样E为
E (C R)(mod M )
❖ 二进制码而言 E CR
2需要反馈信道，占用额外频率资源
二、前向纠错方式（FEC）
检测结果
发送端
信道
接收端
发送
纠错码
接收码字
根据编译码规则
Y 错误
N
译码规则纠错
纠错能力足够好，能够纠正信道引入的数据错误
输出信息
优点不足
1.不需要反馈信道，能够实现一对多的同步广播通信 2.译码实时性好，控制电路比ARQ也简单由于假设纠错码的纠错能力足够纠正信息序列传输中的错误，也就是纠错码与信道的干扰是相匹配的，所以对信道的适应性较差
❖ 差错图样中的1就是符号差错，同时也是比特差错，而差错的个数就是汉明距离。
C (1010)
R (0011)
E C R (1001)
一、功能
纠错码的分类
检测码
纠错码
只检测信息传输是否出现错误，本身没有纠错的能力
不仅能够检测信息传输中的错误，
并且能够自动纠
循环冗余校验码、奇偶校验码等
信号传输过程中出现大的信号波形畸变，导致信号检错时发生错误，进而出现码元错误
叠加强的干扰或者噪声
信号传输过程中出现线性或者非线性失真
线性失真
信号传输过程中不同的频率分量增益不同，或者由于非
线性相位引起的延时不同

(6,3)线性分组码编码分析与实现

吉林建筑大学电气与电子信息工程学院信息理论与编码课程设计报告设计题目：线性分组码编码的分析与实现专业班级：电子信息工程学生姓名：学号：指导教师：设计时间：2014.11.24－2014.12.5第1章概述1.1 设计的作用、目的《信息论与编码》是一门理论与实践密切结合的课程,课程设计是其实践性教学环节之一，同时也是对课堂所学理论知识的巩固和补充。

其主要目的是加深对理论知识的理解，掌握查阅有关资料的技能，提高实践技能，培养独立分析问题、解决问题及实际应用的能力。

通过完成具体编码算法的程序设计和调试工作，提高编程能力，深刻理解信源编码、信道编译码的基本思想和目的，掌握编码的基本原理与编码过程，增强逻辑思维能力，培养和提高自学能力以及综合运用所学理论知识去分析解决实际问题的能力，逐步熟悉开展科学实践的程序和方法。

1.2 设计任务及要求设计一个（6, 3）线性分组码的编译码程序：完成对任意序列的编码，根据生成矩阵形成监督矩阵，得到伴随式，并根据其进行译码，同时验证工作的正确性。

1．理解信道编码的理论基础，掌握信道编码的基本方法； 2．掌握生成矩阵和一致校验矩阵的作用和求解方法；3．针对线性分组码分析其纠错能力，并能够对线性分组码进行译码； 4．能够使用MATLAB 或其他语言进行编程，实现编码及纠错，编写的函数要有通用性。

1.3设计内容已知一个（6,3）线性分组码的Q 矩阵：设码字为(c 5, c 4, c 3, c 2, c 1, c 0)11101110Q ⎡⎤⎢⎥=⎢⎥⎢⎥⎣⎦求出标准生成矩阵和标准校验矩阵，完成对任意信息序列（23个许用码字）的编码。

当接收码字R 分别为(000000), (000001), (000010), (000100), (001000), (010000), (100000), (100100)时，写出其伴随式S ，以表格形式写出伴随式与错误图样E 的对应关系。

纠错并正确译码，当有两位错码时，假定c 5位和c 2位发生错误。

信息论与编码理论课后答案

信息论与编码理论课后答案【篇一：《信息论与编码》课后习题答案】式、含义和效用三个方面的因素。

2、 1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。

3、按照信息的性质，可以把信息分成语法信息、语义信息和语用信息。

4、按照信息的地位，可以把信息分成客观信息和主观信息。

5、人们研究信息论的目的是为了高效、可靠、安全地交换和利用各种各样的信息。

6、信息的是建立信息论的基础。

7、8、是香农信息论最基本最重要的概念。

9、事物的不确定度是用时间统计发生概率的对数来描述的。

10、单符号离散信源一般用随机变量描述，而多符号离散信源一般用随机矢量描述。

11、一个随机事件发生某一结果后所带来的信息量称为自信息量，定义为其发生概率对数的负值。

12、自信息量的单位一般有比特、奈特和哈特。

13、必然事件的自信息是。

14、不可能事件的自信息量是15、两个相互独立的随机变量的联合自信息量等于两个自信息量之和。

16、数据处理定理：当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量趋于变小。

17、离散平稳无记忆信源x的n次扩展信源的熵等于离散信源x的熵的。

limh(xn/x1x2?xn?1)h?n???18、离散平稳有记忆信源的极限熵，。

19、对于n元m阶马尔可夫信源，其状态空间共有m个不同的状态。

20、一维连续随即变量x在[a，b] 。

1log22?ep21、平均功率为p的高斯分布的连续信源，其信源熵，hc（x）=2。

22、对于限峰值功率的n维连续信源，当概率密度均匀分布时连续信源熵具有最大值。

23、对于限平均功率的一维连续信源，当概率密度24、对于均值为0，平均功率受限的连续信源，信源的冗余度决定于平均功率的限定值p和信源的熵功率p25、若一离散无记忆信源的信源熵h（x）等于2.5，对信源进行等长的无失真二进制编码，则编码长度至少为。

2728、同时掷两个正常的骰子，各面呈现的概率都为1/6，则“3和5同时出现”这件事的自信息量是 ?mn?ki?11?mp(x)?em29、若一维随即变量x的取值区间是[0，∞]，其概率密度函数为，其中：x?0，m是x的数学2期望，则x的信源熵c。

信息论与编码第六章

编码矩阵的第i行第j列元素表示由一个状态转移到
下一个状态时发送的码字。“.”表示该状态转移不可能。
信息论与编码-卷积码
还可以用状态流图（状态转移图）来表示，如下图所示。
1/111
S2
1/100
S0
1/110
0/011
S3
0/000 0/001
S1
0/010
1/101
所以当输入信息序列是10110…时，输出码字为：
码流首先经串并转换送入移位寄存器中，移位寄存器的一列存放一个信息组。由于约束长度为 L+1，所以共有k行L+1列。这L+1个信息码组的k(L+1)个码元信息送入线性组合器，得到线性
组合后的n个码元 c0 i、 c1i、、 cn i1 ，经并串
转换后作为编码器的输出。
信息论与编码-卷积码
S 1/111
0
……。
S 0/011
2
S S S 1/110 1
S 1/100
0/010
2
3
1
信息论与编码-卷积码
从例题中可以看出，编码矩阵C比较好地展示了状态转移规律，但不足之处在于没有状态随时刻变化的状态转移轨迹。网格图解决了这一问题。
网格图分两部分：一部分实际上就是状态转移图，即在某移时刻从某一状态可能转移到下一时刻的哪些状态，输入/输出信息是什么；另一部分是对编码过程的纪录，即状态随时刻变化的轨迹。通过一个例题来说明。
解：本题 n=3，k=1，L=2，可以得到编码器的状态定义、不同状态和输入时的输出以及不同状态和输入时的下一个状态，如下表所示。
信息论与编码-卷积码
信号入
m
i 0

信息论与编码(陈运)习题答案

· 1 ·2.1 试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍？解：四进制脉冲可以表示4个不同的消息，例如：{0, 1, 2, 3}八进制脉冲可以表示8个不同的消息，例如：{0, 1, 2, 3, 4, 5, 6, 7} 二进制脉冲可以表示2个不同的消息，例如：{0, 1} 假设每个消息的发出都是等概率的，则：四进制脉冲的平均信息量symbol bit n X H / 24log log )(1=== 八进制脉冲的平均信息量symbol bit n X H / 38log log )(2=== 二进制脉冲的平均信息量symbol bit n X H / 12log log )(0=== 所以：四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的2倍和3倍。

2.2 居住某地区的女孩子有25%是大学生，在女大学生中有75%是身高160厘米以上的，而女孩子中身高160厘米以上的占总数的一半。

假如我们得知“身高160厘米以上的某女孩是大学生”的消息，问获得多少信息量？解：设随机变量X 代表女孩子学历X x 1（是大学生） x 2（不是大学生） P(X) 0.25 0.75设随机变量Y 代表女孩子身高Y y 1（身高>160cm ） y 2（身高<160cm ） P(Y) 0.5 0.5已知：在女大学生中有75%是身高160厘米以上的即：bit x y p 75.0)/(11=求：身高160厘米以上的某女孩是大学生的信息量即：bit y p x y p x p y x p y x I 415.15.075.025.0log )()/()(log )/(log )/(11111111=⨯-=-=-=2.3 一副充分洗乱了的牌（含52张牌），试问(1) 任一特定排列所给出的信息量是多少？(2) 若从中抽取13张牌，所给出的点数都不相同能得到多少信息量？解：(1) 52张牌共有52！种排列方式，假设每种排列方式出现是等概率的则所给出的信息量是：!521)(=i x p bit x p x I i i 581.225!52log )(log )(==-=(2) 52张牌共有4种花色、13种点数，抽取13张点数不同的牌的概率如下：· 2 ·bit C x p x I C x p i i i 208.134log)(log )(4)(135213135213=-=-==2.4 设离散无记忆信源⎭⎬⎫⎩⎨⎧=====⎥⎦⎤⎢⎣⎡8/14/1324/18/310)(4321x x x x X P X ，其发出的信息为(202120130213001203210110321010021032011223210)，求 (1) 此消息的自信息量是多少？(2) 此消息中平均每符号携带的信息量是多少？解：(1) 此消息总共有14个0、13个1、12个2、6个3，因此此消息发出的概率是：62514814183⎪⎭⎫ ⎝⎛⨯⎪⎭⎫ ⎝⎛⨯⎪⎭⎫ ⎝⎛=p此消息的信息量是：bit p I 811.87log =-=(2) 此消息中平均每符号携带的信息量是：bit n I 951.145/811.87/==2.5 从大量统计资料知道，男性中红绿色盲的发病率为7%，女性发病率为0.5%，如果你问一位男士：“你是否是色盲？”他的回答可能是“是”，可能是“否”，问这两个回答中各含多少信息量，平均每个回答中含有多少信息量？如果问一位女士，则答案中含有的平均自信息量是多少？解：男士：symbolbit x p x p X H bitx p x I x p bit x p x I x p i i i N N N Y Y Y / 366.0)93.0log 93.007.0log 07.0()(log )()( 105.093.0log )(log )(%93)( 837.307.0log )(log )(%7)(2=+-=-==-=-===-=-==∑女士：symbol bit x p x p X H ii i / 045.0)995.0log 995.0005.0log 005.0()(log )()(2=+-=-=∑2.6 设信源⎭⎬⎫⎩⎨⎧=⎥⎦⎤⎢⎣⎡17.016.017.018.019.02.0)(654321x x x x x x X P X ，求这个信源的熵，并解释为什么H(X) > log6不满足信源熵的极值性。

信息论与编码-曹雪虹-课后习题参考答案

《信息论与编码》-曹雪虹-课后习题答案第二章错误!未定义书签。

2.1一个马尔可夫信源有3个符号{}1,23,uu u ，转移概率为：()11|1/2p u u =，()21|1/2p u u =，()31|0p u u =，()12|1/3p u u =，()22|0p u u =，()32|2/3p u u =，()13|1/3p u u =，()23|2/3p u u =，()33|0p u u =，画出状态图并求出各符号稳态概率。

W 2、W 31231025925625W W W ⎧=⎪⎪⎪=⎨⎪⎪=⎪⎩ 2.2(0|p (0|01)p =0.5，(0|10)p 解：(0|00)(00|00)0.8p p ==(0|01)(10|01)0.5p p ==于是可以列出转移概率矩阵：0.80.200000.50.50.50.500000.20.8p ⎛⎫ ⎪ ⎪= ⎪ ⎪⎝⎭ 状态图为：设各状态00，01，10，11的稳态分布概率为W1,W2,W3,W4有411iiWP WW==⎧⎪⎨=⎪⎩∑得13113224324412340.80.50.20.50.50.20.50.81W W WW W WW W WW W WW W W W+=⎧⎪+=⎪⎪+=⎨⎪+=⎪+++=⎪⎩计算得到12345141717514WWWW⎧=⎪⎪⎪=⎪⎨⎪=⎪⎪⎪=⎩2.31/6，求：(1)“3和5(2)“两个1(3)1的自信息量。

11 12 13 14 15 1621 22 23 24 25 2631 32 33 34 35 3641 42 43 44 45 4651 52 53 54 55 5661 62 63 64 65 66共有21种组合：其中11，22，33，44，55，66的概率是3616161=⨯ 其他15个组合的概率是18161612=⨯⨯ (4)x p x p X H X P X i i i 1212181log 1812361log 3612 )(log )()(1211091936586173656915121418133612)( ⎝⎛⨯+⨯+⨯-=-=⎪⎩⎪⎨⎧=⎥⎦⎤⎢⎣⎡∑2.575%是身高160厘米以上的占总数的厘米以上的某女孩是大学生”的设随机变量X 代表女孩子学历X x 1（是大学生） x 2（不是大学生）P(X) 0.25 0.75设随机变量Y 代表女孩子身高Y y1（身高>160cm）y2（身高<160cm）P(Y) 0.5 0.5已知：在女大学生中有75%是身高160厘米以上的即：bitxyp75.0)/(11=求：身高160即：ypxypxpyxpyxI5.075.025.0log)()/()(log)/(log)/(11111111⨯-=-=-=2.6掷两颗骰子，1()(1,2)(2,1)18p x p p=+=log()log18 4.170p x bit=-==7的概率log()log6 2.585p x bit=-==341231/41/8x x===⎫⎪⎭（1）求每个符号的自信息量（2）信源发出一消息符号序列为{202120130213001203210110321010021032011223210}，求该序列的自信息量和平均每个符号携带的信息量解：122118()log log 1.415()3I x bit p x === 同理可以求得233()2,()2,()3I x bit I x bit I x bit === 因为信源无记忆，所以此消息序列的信息量就等于该序列中各个符号的信息量之和就有：123414()13()12()6()87.81I I x I x I x I x bit =+++= 平均每个符号携带的信息量为87.81 1.9545=bit/符号 2.8试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍？解：四进制脉冲可以表示4个不同的消息，例如：{0,1,2,3}八进制脉冲可以表示8个不同的消息，例如：{0,1,2,3,4,5,6,7}二进制脉冲可以表示2个不同的消息，例如：{0,1}假设每个消息的发出都是等概率的，则：四进制脉冲的平均信息量symbol bit n X H / 24log log )(1=== 八进制脉冲的平均信息量symbol bit n XH / 38log log )(2=== 二进制脉冲的平均信息量symbol bit n X H / 12log log )(0===所以：四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的2倍和3倍。

信息论与编码第六章课后习题答案(曹雪虹)(word文档良心出品).docx

第六章：信道 (本章复大我重新修改了一下，尤其要关注色内容 )1、基本概念：差符号、差比特；差：随机差、突差；分：和、分和卷、性与非性、随机差和突差；矢量空、空及其偶空；有离散信道的定理：P e e- NE ( R)（掌握信道定理的内容及减小差概率的方法）；形分的展与短（掌握奇偶校及短的校矩、生成矩与原形分的关系）。

2、性分 (封性 )：生成矩及校矩、系形式的 G 和 H、伴随式与准列表、距与能力、完(明 )、循的生成多式及校多式、系形式的循。

作： 6-1、6-3、6-4、6-5 和 6-6 一、 6-7 6-8 和 6-9 一6-1 二元域上 44重失量空的元素个数共有24=16 个，它分是(0,0,0,0),(0,0,0,1)⋯ (1,1,1,1)，它的一个自然基底是(0,0,0,1),(0,0,1,0),(0,1,0,0)和(1,0,0,0)；其中一个二子空含有的元素个数 22个，取其中一个自然基底(0,0,0,1)和(0,0,1,0)，其二子空中所包含的全部矢量(0,0,0,0,),(0,0,0,1),(0,0,1,0)和(0,0,1,1)(注不唯一 )；上述子空的偶子空可以有三种不同的：(0,0,0,0) ,(0,1,0,0),(1,0,0,0)，(1,1,0,0)或(0,0,0,0) ,(0,1,0,0)或(0,0,0,0) (1,0,0,0)。

(注意本中所包含的关于矢量空的一些基本概念 )6-3 由可以写出系 (8,4)的形方程如下：v 7 u 3 v 6 u 2 v 5 u 1v 4 u 0(注：系统码高四位与信息位保持一致， u i 为信息位 )v 3 u 3 u 2 u 0 v 2 u 3 u 1 u 0 v 1 u 2 u 1 u 0 v 0 u 3 u 2 u 1把上述方程组写成矩阵形式，可以表示为 V=UG ，其中 V 为码字构成的矢量，即 V=(v 7,v 6,v 5,v 4,v 3,v 2,v 1,v 0)，U 为信息位构成的矢量，即U=( u 3,u 2,u 1,u 0)，观察方程组可得系统生成矩阵为：1 0 0 0 1 1 0 10 1 0 0 1 0 1 1 4| P4*4G0 1 0 0 1 1 I 0 1 0 0 0 1 1 1 1 0由系统生成矩阵和校验矩阵的关系可得：1 1 0 1 1 0 0 0 HP 4*4T1 0 1 1 0 1 0 0| I 41 1 1 0 0 1 01 1 1 0 0 0 0 1由校验矩阵可以看出，矩阵 H 的任意三列都是线性无关的 (任意三列之和不为 0)，但存在四列线性相关的情况 (如第 1、5、6、8 列，这四列之和为 0)，即校验矩阵 H 中最小的线性相关的列数为 4，从而得该线性分组码的最小码距为 4。

信息论与编码习题参考答案(全)

110
111
(1)在W4＝011中，接到第一个码字“0”后获得关于a4的信息量I(a4;0)；
(2)在收到“0”的前提下，从第二个码字符号“1”中获取关于a4的信息量I(a4;1/0)；
(3)在收到“01”的前提下，从第三个码字符号“1”中获取关于a4的信息量I(a4;1/01)；
(4)从码字W4＝011中获取关于a4的信息量I(a4;011)。
其中N=2FT,б2X是信号的方差(均值为零),б2N是噪声的方差(均值为零).
再证:单位时间的最大信息传输速率
信息单位/秒
(证明详见p293-p297)
5.12设加性高斯白噪声信道中,信道带宽3kHz,又设{(信号功率+噪声功率)/噪声功率}=10dB.试计算改信道的最大信息传输速率Ct.
解:
5.13在图片传输中,每帧约有2.25×106个像素,为了能很好的重现图像,需分16个量度电平,并假设量度电平等概率分布,试计算每分钟传输一帧图片所需信道的带宽(信噪功率比为30dB).
(2)求信源的极限熵H∞；
(3)求当p=0,p=1时的信息熵，并作出解释。
解:
3.10设某马尔柯夫信源的状态集合S：{S1S2S3}，符号集X：{α1α2α3}。在某状态Si(i=1,2,3)下发发符号αk(k=1,2,3)的概率p(αk/Si) (i=1,2,3; k=1,2,3)标在相应的线段旁,如下图所示.
证明:
3.5试证明：对于有限齐次马氏链，如果存在一个正整数n0≥1，对于一切i，j＝1，2，…，r，都有pij(n0)>0，则对每个j＝1，2，…，r都存在状态极限概率：
(证明详见:p171~175)
3.6设某齐次马氏链的第一步转移概率矩阵为：

信息论与编码第六章3

信息论与编码-线性分组码
上次课小结： • 信道编码定理：
Pe eNE (R)
• 差错控制的途径增加码长、增加带宽、提高信噪比、噪声均
化 • 码距与检错纠错的关系
ec dmin 1 / 2 ed dmin 1
信息论与编码-线性分组码
• 最优译码与最大似然译码
最优译码：
Cˆi
max
i1,2, ,2k
系统码的前k位为信息位，后n-k位为校验位。
信息论与编码-线性分组码
校验矩阵H除了可以用来检验码字外，还与码的最小距离（也就和码的检错纠错能力）有关。
因为
h11 H h(hn21k)1
h12 h22 h(nk)2
h1n
h2n h(nk )n
(h1 , h 2 ,
,hn
)
其中，h1,h2, ,hn 是H矩阵的列向量。
h
T j
项，而右边为零。
也就是说， dmin个
h
T j
是线性相关的。
而
信息论与编码-线性分组码
dmin 1
个
h
T j
一定是线性无关的（反证法：如
果 dmin 1
个
h
T j
列矢量是线性相关的，则可以把
其对应的系数当成码字，而该码字的重量
为 dmin
盾）。
1
，这与码字的最小重量为
d min
相矛
由于H是 (n k) n 的矩阵，其秩最大为n-k，也就是说，最多有n-k个列矢量线性无关。所以
p1(nk )
p2(n
k
)
pk (nk )
这样生成的（n，k）码是系统码。
信息论与编码-线性分组码

信息论与编码(第二版)曹雪虹(最全版本)答案

《信息论与编码（第二版）》曹雪虹答案第二章2.1一个马尔可夫信源有3个符号{}1,23,u u u ，转移概率为：()11|1/2p u u =，()21|1/2p u u =，()31|0p u u =，()12|1/3p u u =，()22|0p u u =，()32|2/3p u u =，()13|1/3p u u =，()23|2/3p u u =，()33|0p u u =，画出状态图并求出各符号稳态概率。

解：状态图如下状态转移矩阵为：1/21/201/302/31/32/30p ⎛⎫ ⎪= ⎪ ⎪⎝⎭设状态u 1，u 2，u 3稳定后的概率分别为W 1，W 2、W 3由1231WP W W W W =⎧⎨++=⎩得1231132231231112331223231W W W W W W W W W W W W ⎧++=⎪⎪⎪+=⎪⎨⎪=⎪⎪⎪++=⎩计算可得1231025925625W W W ⎧=⎪⎪⎪=⎨⎪⎪=⎪⎩ 2.2 由符号集{0，1}组成的二阶马尔可夫链，其转移概率为：(0|00)p =0.8，(0|11)p =0.2，(1|00)p =0.2，(1|11)p =0.8，(0|01)p =0.5，(0|10)p =0.5，(1|01)p =0.5，(1|10)p =0.5。

画出状态图，并计算各状态的稳态概率。

解：(0|00)(00|00)0.8p p == (0|01)(10|01)0.5p p ==(0|11)(10|11)0.2p p == (0|10)(00|10)0.5p p == (1|00)(01|00)0.2p p == (1|01)(11|01)0.5p p == (1|11)(11|11)0.8p p == (1|10)(01|10)0.5p p ==于是可以列出转移概率矩阵：0.80.200000.50.50.50.500000.20.8p ⎛⎫ ⎪⎪= ⎪ ⎪⎝⎭状态图为：设各状态00，01，10，11的稳态分布概率为W 1,W 2,W 3,W 4 有411i i WP W W ==⎧⎪⎨=⎪⎩∑ 得 13113224324412340.80.50.20.50.50.20.50.81W W W W W W W W W W W W W W W W +=⎧⎪+=⎪⎪+=⎨⎪+=⎪+++=⎪⎩ 计算得到12345141717514W W W W ⎧=⎪⎪⎪=⎪⎨⎪=⎪⎪⎪=⎩2.3 同时掷出两个正常的骰子，也就是各面呈现的概率都为1/6，求： (1) “3和5同时出现”这事件的自信息； (2) “两个1同时出现”这事件的自信息；(3) 两个点数的各种组合（无序）对的熵和平均信息量； (4) 两个点数之和（即2, 3, … , 12构成的子集）的熵； (5) 两个点数中至少有一个是1的自信息量。

信息论与编码第六章课后习题答案(曹雪虹)(word文档良心出品)

第六章：信道编码(本章复习大纲我重新修改了一下，尤其要关注红色内容)1、基本概念：差错符号、差错比特；差错图样：随机差错、突发差错；纠错码分类：检错和纠错码、分组码和卷积码、线性码与非线性码、纠随机差错码和纠突发差错码；矢量空间、码空间及其对偶空间；有扰离散信道的编码定理：-()NE R e P e （掌握信道编码定理的内容及减小差错概率的方法）；线形分组码的扩展与缩短（掌握奇偶校验码及缩短码的校验矩阵、生成矩阵与原线形分组码的关系）。

2、线性分组码(封闭性)：生成矩阵及校验矩阵、系统形式的G 和H 、伴随式与标准阵列译码表、码距与纠错能力、完备码(汉明码)、循环码的生成多项式及校验多项式、系统形式的循环码。

作业：6-1、6-3、6-4、6-5和6-6选一、6-7 6-8和6-9选一 6-1 二元域上4维4重失量空间的元素个数总共有24=16个，它们分别是(0,0,0,0),(0,0,0,1)…(1,1,1,1)，它的一个自然基底是(0,0,0,1),(0,0,1,0),(0,1,0,0)和(1,0,0,0)；其中一个二维子空间含有的元素个数为22个，选取其中一个自然基底为(0,0,0,1)和(0,0,1,0)，则其二维子空间中所包含的全部矢量为(0,0,0,0,),(0,0,0,1),(0,0,1,0)和(0,0,1,1)(注选择不唯一)；上述子空间对应的对偶子空间可以有三种不同的选择：(0,0,0,0) ,(0,1,0,0),(1,0,0,0)，(1,1,0,0)或(0,0,0,0) ,(0,1,0,0)或(0,0,0,0) (1,0,0,0)。

(注意本题中所包含的关于矢量空间的一些基本概念)6-3 由题设可以写出该系统(8,4)码的线形方程组如下：736251403320231012100321v u v u v u v u v u u u v u u u v u u u v u u u=⎧⎪=⎪⎪=⎪=⎪⎨=++⎪⎪=++⎪=++⎪⎪=++⎩(注：系统码高四位与信息位保持一致，u i 为信息位) 把上述方程组写成矩阵形式，可以表示为 V =U G ，其中V 为码字构成的矢量，即V =(v 7,v 6,v 5,v 4,v 3,v 2,v 1,v 0)，U 为信息位构成的矢量，即U =( u 3,u 2,u 1,u 0)，观察方程组可得系统生成矩阵为：[]44*41000110101001011G I |P 0010011100011110⎡⎤⎢⎥⎢⎥==⎢⎥⎢⎥⎣⎦由系统生成矩阵和校验矩阵的关系可得：4*441101100010110100H P |I 0111001011100001T ⎡⎤⎢⎥⎢⎥⎡⎤==⎣⎦⎢⎥⎢⎥⎣⎦由校验矩阵可以看出，矩阵H 的任意三列都是线性无关的(任意三列之和不为0)，但存在四列线性相关的情况(如第1、5、6、8列，这四列之和为0)，即校验矩阵H 中最小的线性相关的列数为4，从而得该线性分组码的最小码距为4。

信息论与编码试卷及答案

一、（11’）填空题（1）1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。

（2）必然事件的自信息是 0 。

（3）离散平稳无记忆信源X的N次扩展信源的熵等于离散信源X的熵的 N倍。

（4）对于离散无记忆信源，当信源熵有最大值时，满足条件为__信源符号等概分布_。

（5）若一离散无记忆信源的信源熵H（X）等于，对信源进行等长的无失真二进制编码，则编码长度至少为 3 。

（6）对于香农编码、费诺编码和霍夫曼编码，编码方法惟一的是香农编码。

（7）已知某线性分组码的最小汉明距离为3，那么这组码最多能检测出_2_______个码元错误，最多能纠正___1__个码元错误。

（8）设有一离散无记忆平稳信道，其信道容量为C，只要待传送的信息传输率R__小于___C（大于、小于或者等于），则存在一种编码，当输入序列长度n足够大，使译码错误概率任意小。

（9）平均错误概率不仅与信道本身的统计特性有关，还与___译码规则____________和___编码方法___有关三、（5）居住在某地区的女孩中有25%是大学生，在女大学生中有75%是身高米以上的，而女孩中身高米以上的占总数的一半。

假如我们得知“身高1.6米以上的某女孩是大学生”的消息，问获得多少信息量解：设A表示“大学生”这一事件，B表示“身高以上”这一事件，则P(A)= p(B)= p(B|A)= （2分）故 p(A|B)=p(AB)/p(B)=p(A)p(B|A)/p(B)=*= （2分）I(A|B)== （1分）四、（5）证明：平均互信息量同信息熵之间满足I(X;Y)=H(X)+H(Y)-H(XY)证明：()()()()()()()()()()Y X H X H y x p y x p x p y x p x p y x p y x p Y X I X X Y j i j i Y i j i XYi j i j i -=⎥⎦⎤⎢⎣⎡---==∑∑∑∑∑∑log log log; （2分）同理()()()X Y H Y H Y X I -=; （1分）则()()()Y X I Y H X Y H ;-= 因为()()()X Y H X H XY H += （1分）故()()()()Y X I Y H X H XY H ;-+=即()()()()XY H Y H X H Y X I -+=; （1分）五、（18’）.黑白气象传真图的消息只有黑色和白色两种，求：1）黑色出现的概率为，白色出现的概率为。

信息论与编码理论基础(第六章)

进行编码再送入信道传送，以降低平均差错率而进行的编码称为信道编码。

信道编码主要分为：检验码、纠错码。

检验码只检查信息在传输过程中是否有差错，而纠错码不但检查是否有差错，而且还可以将错误的信息纠正。
3
2013-7-15
为什么要引入线性码

信道编码研究的主要问题是：发现或构造实际上可实现的好码（纠错能力和传信率都比较理想的码）。
注3：有限域GF(D)与实数域的区别是：传统的“逼近”、“极限”的概念消失了。
2013-7-15 13
预备知识 -- Galois域
例：GF(2)上的方阵 1 0 1 是否可逆？
1 0 1 1 0 0
回答是肯定的。两种不同的判别方法都能够证明它是可逆的：（1）它经过可逆行变换能够变成单位阵；（2）它的行列式不等于0。（等于1！）
信道编码的引入

信息传输系统的基本功能是：在系统输出端及时、准确地再现系统输入端发送的信息。
我们希望信息传输多快好省，但现实与我们的良好愿望之间总是存在差距。

首先，信息传输的速度受信道容量的限制，不可能无限大；其次，由于信道噪声的干扰，传输错误不可避免。
1
2013-7-15
信道编码的引入
编码方案太多，以至全局搜索好码是不可能的，现实的做法是对编码方案加以一定的约束，在一个子集中寻找局部最优，这种约束既要能包含尽可能好的码，又要便于分析，便于译码，目前对线性系统的研究远比非线性系统充分
2013-7-15 4
线性分组码定义
n长向量 k长信息分组。。。。。 n长码字。。。。。

香农的信道编码定理指出：只要信息传输速率低于信道容量，通过对信息进行适当的编码，可以在不牺牲信息传输或存储速率的情况下，将有噪信道或存储媒质引入的差错降到任意低的程度。这就是说，可以通过编码使通信过程实际上不发生错误，或者使错误控制在允许的数值之下。

信息论与编码第6章信道编码

素(既约)多项式
若 p( x) f ( x), deg( p( x)) 1且p( x)在F[ x] 中只有因式 c和cp( x) 则称 p( x) 为域F上的不可约多项式。
的集合
余类环
多项式剩余类环 n n1 f ( x) an x an1x ... a1x a ai Fq 用 Fq [ x] 或者 GF (q)[ x] 表示所有这样多项式
纠错码的分类
根据监督码元与信息组之间的关系系统码信息码元是否发生变化非系统码代数码几何码算术码线性码非线性码分组码卷积码
构造编码的数学方法
根据监督码元和信息码元的关系
根据码的功能
按纠误的类型
检错码纠错码纠删码纠随机差错码纠突发差错码纠混合差错码二元码多元码等保护纠错码不等保护纠错码
3 3 2 2 3 2 3 2
x x , x x, x x 1, x 1, x ,
3 3 3 3
x x 1, x x, x 1, x , x 1, x,1, 0
2 2 2 2
4．有限域的性质和代数结构
1）有限域 Fq 的结构对 a Fq , a 0, 满足 na 0, 的最小正整数 n ，称为元素 a 的周期。定理6-6：在有限域 Fq中 (1) ( Fq , ) 是循环加群，它的非零元素的周期等于其域的特征； (2) ( Fq* , ) 是循环乘群，共有 (q 1) 个乘群的生成元。 a 乘群 ( Fq* , ) 的生成元 a 称有限域 Fq 的本原元，的阶为 q 1 ，即 a q 1 e ，且 F * a
q
本原元性质定理6-7
* F (1) q
的元素的阶都是 q 1 的因子， Fq* 的所 q 1 x e 0 的根。有元恰是 (2) 若 a 是 Fq 的本原元，则当且仅当(k , q 1) 1 k k a 时，也是本原元。非本原元 a 的阶是

信息理论与编码》,答案,考试重点(1--3章)

《信息理论与编码》习题参考答案1. 信息是什么信息与消息有什么区别和联系答：信息是对事物存在和运动过程中的不确定性的描述。

信息就是各种消息符号所包含的具有特定意义的抽象内容，而消息是信息这一抽象内容通过语言、文字、图像和数据等的具体表现形式。

2. 语法信息、语义信息和语用信息的定义是什么三者的关系是什么答：语法信息是最基本最抽象的类型，它只是表现事物的现象而不考虑信息的内涵。

语义信息是对客观现象的具体描述，不对现象本身做出优劣判断。

语用信息是信息的最高层次。

它以语法、语义信息为基础，不仅要考虑状态和状态之间关系以及它们的含义，还要进一步考察这种关系及含义对于信息使用者的效用和价值。

三者之间是内涵与外延的关系。

第2章1. 一个布袋内放100个球，其中80个球是红色的，20个球是白色的，若随机摸取一个球，猜测其颜色，求平均摸取一次所能获得的自信息量答：依据题意，这一随机事件的概率空间为120.80.2X x x P ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦其中：1x 表示摸出的球为红球事件，2x 表示摸出的球是白球事件。

a)如果摸出的是红球，则获得的信息量是()()11log log0.8I x p x =-=-（比特）b)如果摸出的是白球，则获得的信息量是()()22log log0.2I x p x =-=-（比特）c) 如果每次摸出一个球后又放回袋中，再进行下一次摸取。

则如此摸取n 次，红球出现的次数为()1np x 次，白球出现的次数为()2np x 次。

随机摸取n 次后总共所获得信息量为()()()()1122np x I x np x I x +d)则平均随机摸取一次所获得的信息量为()()()()()()()()()112211221log log 0.72 H X np x I x np x I x n p x p x p x p x =+⎡⎤⎣⎦=-+⎡⎤⎣⎦=比特/次2. 居住某地区的女孩中有25%是大学生，在女大学生中有75%是身高1.6米以上的，而女孩中身高1.6米以上的占总数的一半。

信息与编码

• 如何编码才能使平均码长最短？
一般离散信源各符号出现的概率并不相等, 由
n pi ( xi ) ni
i 1
m
可知, 概率大的符号编短码,概率小的编长码, 就可以使平均码长最短. Morse电报就采用这种方法.
字母 E T A ...... J Q Z
pi 0.1073 0.0856 0.0668 0.00108 0.00099 0.00063
上述例子说明：
• 附加监督元可实现检（纠错），监督元越多，码的纠、检错能力越强。
• 为了提高纠、检错能力，必须有适当的编译码规则。
例如，在例2中，若编码规则为
晴
011，雨 000，则无纠错能力。当发生1位错时：
（011）111，001，010 （000） 001，100，010 则不能纠1位错，但仍能检1位错。
信息
§1 信息与编码
1 什么是信息？
信息是消息中有意义的那一部分内容
2 消息、信息与信号的关系
信息蕴涵于消息之中，信号是消息的表现形式
3 编码：是为了提高通信或计算机存储系统的有效性、可靠性或安全性（或其他目的）对消息进行的某种变换。 4 信息论：研究信息及其度量、信道容量、编码所能达到的理论极限等内容的学科，又称为通信的数学理论，对通信具有重大的指导作用。
就狭义而言，在通信中对信息的表达分为三个层次：信号、消息、信息。 • 信号：是信息的物理表达层，是三个层次中最具体的层次。它是一个物理量，是一个载荷信息的实体，可测量、可描述、可显示。 • 消息：(或称为符号)是信息的数学表达层，它虽不是一个物理量，但是可以定量地加以描述，它是具体物理信号的进一步数学抽象，可将具体物理信号抽象为两大类型：离散(数字)消息，一组未知量，可用随机序列来描述： X=(X1…Xi…Xn) 连续(模拟)消息，未知量，它可用随机过程来描述： X( t, ω) • 信息：它是更高层次哲学上的抽象，是信号与消息的更高表达层次。