(6,3)线性分组码编码分析与实现
信息论与编码理论习题答案
信息论与编码理论习题答案LG GROUP system office room 【LGA16H-LGYY-LGUA8Q8-LGA162】第二章 信息量和熵八元编码系统,码长为3,第一个符号用于同步,每秒1000个码字,求它的信息速率。
解:同步信息均相同,不含信息,因此 每个码字的信息量为 2⨯8log =2⨯3=6 bit因此,信息速率为 6⨯1000=6000 bit/s掷一对无偏骰子,告诉你得到的总的点数为:(a) 7; (b) 12。
问各得到多少信息量。
解:(1) 可能的组合为 {1,6},{2,5},{3,4},{4,3},{5,2},{6,1})(a p =366=61得到的信息量 =)(1loga p =6log = bit (2) 可能的唯一,为 {6,6})(b p =361得到的信息量=)(1logb p =36log = bit 经过充分洗牌后的一副扑克(52张),问:(a) 任何一种特定的排列所给出的信息量是多少?(b) 若从中抽取13张牌,所给出的点数都不相同时得到多少信息量?解:(a) )(a p =!521信息量=)(1loga p =!52log = bit (b) ⎩⎨⎧⋯⋯⋯⋯花色任选种点数任意排列13413!13)(b p =1352134!13A ⨯=1352134C 信息量=1313524log log -C = bit 随机掷3颗骰子,X 表示第一颗骰子的结果,Y 表示第一和第二颗骰子的点数之和,Z 表示3颗骰子的点数之和,试求)|(Y Z H 、)|(Y X H 、),|(Y X Z H 、)|,(Y Z X H 、)|(X Z H 。
解:令第一第二第三颗骰子的结果分别为321,,x x x ,1x ,2x ,3x 相互独立,则1x X =,21x x Y +=,321x x x Z ++=)|(Y Z H =)(3x H =log 6= bit )|(X Z H =)(32x x H +=)(Y H=2⨯(361log 36+362log 18+363log 12+364log 9+365log 536)+366log 6= bit )|(Y X H =)(X H -);(Y X I =)(X H -[)(Y H -)|(X Y H ]而)|(X Y H =)(X H ,所以)|(Y X H = 2)(X H -)(Y H = bit或)|(Y X H =)(XY H -)(Y H =)(X H +)|(X Y H -)(Y H 而)|(X Y H =)(X H ,所以)|(Y X H =2)(X H -)(Y H = bit),|(Y X Z H =)|(Y Z H =)(X H = bit )|,(Y Z X H =)|(Y X H +)|(XY Z H =+= bit设一个系统传送10个数字,0,1,…,9。
信息理论与编码-期末试卷A及答案
信息理论与编码-期末试卷A及答案⼀、填空题(每空1分,共35分)1、1948年,美国数学家发表了题为“通信的数学理论”的长篇论⽂,从⽽创⽴了信息论。
信息论的基础理论是,它属于狭义信息论。
2、信号是的载体,消息是的载体。
3、某信源有五种符号}{,,,,a b c d e ,先验概率分别为5.0=a P ,25.0=b P ,125.0=c P ,0625.0==e d P P ,则符号“a ”的⾃信息量为 bit ,此信源的熵为 bit/符号。
4、某离散⽆记忆信源X ,其概率空间和重量空间分别为1234 0.50.250.1250.125X x x x x P =???和12340.5122X x x x x w=,则其信源熵和加权熵分别为和。
5、信源的剩余度主要来⾃两个⽅⾯,⼀是,⼆是。
6、平均互信息量与信息熵、联合熵的关系是。
7、信道的输出仅与信道当前输⼊有关,⽽与过去输⼊⽆关的信道称为信道。
8、马尔可夫信源需要满⾜两个条件:⼀、;⼆、。
9、若某信道矩阵为010001000001100,则该信道的信道容量C=__________。
10、根据是否允许失真,信源编码可分为和。
11、信源编码的概率匹配原则是:概率⼤的信源符号⽤,概率⼩的信源符号⽤。
(填短码或长码)12、在现代通信系统中,信源编码主要⽤于解决信息传输中的性,信道编码主要⽤于解决信息传输中的性,保密密编码主要⽤于解决信息传输中的安全性。
13、差错控制的基本⽅式⼤致可以分为、和混合纠错。
14、某线性分组码的最⼩汉明距dmin=4,则该码最多能检测出个随机错,最多能纠正个随机错。
15、码字1、0、1之间的最⼩汉明距离为。
16、对于密码系统安全性的评价,通常分为和两种标准。
17、单密钥体制是指。
18、现代数据加密体制主要分为和两种体制。
19、评价密码体制安全性有不同的途径,包括⽆条件安全性、和。
20、时间戳根据产⽣⽅式的不同分为两类:即和。
《信息论与编码技术》复习提纲复习题
《信息论与编码技术》复习提纲复习题纲第0章绪论题纲:I.什么是信息?II.什么是信息论?III.什么是信息的通信模型?IV.什么是信息的测度?V.自信息量的定义、含义、性质需掌握的问题:1.信息的定义是什么?(广义信息、狭义信息——Shannon信息、概率信息)2.Shannon信息论中信息的三要素是什么?3.通信系统模型图是什么?每一部分的作用的是什么?4.什么是信息测度?5.什么是样本空间、概率空间、先验概率、自信息、后验概率、互信息?6.自信息的大小如何计算?单位是什么?含义是什么(是对什么量的度量)?第1章信息论基础㈠《离散信源》题纲:I.信源的定义、分类II.离散信源的数学模型III.熵的定义、含义、性质,联合熵、条件熵IV.离散无记忆信源的特性、熵V.离散有记忆信源的熵、平均符号熵、极限熵VI.马尔科夫信源的定义、状态转移图VII.信源的相对信息率和冗余度需掌握的问题:1.信源的定义、分类是什么?2.离散信源的数学模型是什么?3.信息熵的表达式是什么?信息熵的单位是什么?信息熵的含义是什么?信息熵的性质是什么?4.单符号离散信源最大熵是多少?信源概率如何分布时能达到?5.信源的码率和信息率是什么,如何计算?6.什么是离散无记忆信源?什么是离散有记忆信源?7.离散无记忆信源的数学模型如何描述?信息熵、平均符号熵如何计算?8.离散有记忆多符号离散平稳信源的平均符号熵、极限熵、条件熵(N阶熵)的计算、关系和性质是什么?9.什么是马尔科夫信源?马尔科夫信源的数学模型是什么?马尔科夫信源满足的2个条件是什么?10.马尔科夫信源的状态、状态转移是什么?如何绘制马尔科夫信源状态转移图?11.马尔科夫信源的稳态概率、稳态符号概率、稳态信息熵如何计算?12.信源的相对信息率和冗余度是什么?如何计算?㈡《离散信道》题纲:I.信道的数学模型及分类II.典型离散信道的数学模型III.先验熵和后验熵IV.互信息的定义、性质V.平均互信息的定义、含义、性质、维拉图VI.信道容量的定义VII.特殊离散信道的信道容量需掌握的问题:1.信道的定义是什么?信道如何分类?信道的数学模型是什么?2.二元对称信道和二元删除信道的信道传输概率矩阵是什么?3.对称信道的信道传输概率矩阵有什么特点?4.根据信道的转移特性图,写出信道传输概率矩阵。
信息理论与编码-期末试卷A及答案
一、填空题(每空1分,共35分) 1、1948年,美国数学家 发表了题为“通信的数学理论”的长篇论文,从而创立了信息论。
信息论的基础理论是 ,它属于狭义信息论。
2、信号是 的载体,消息是 的载体。
3、某信源有五种符号}{,,,,a b c d e ,先验概率分别为5.0=a P ,25.0=b P ,125.0=c P ,0625.0==e d P P ,则符号“a ”的自信息量为 bit ,此信源的熵为 bit/符号。
4、某离散无记忆信源X ,其概率空间和重量空间分别为1234 0.50.250.1250.125X x x x x P ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦和12340.5122X x x x x w ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦,则其信源熵和加权熵分别为 和 。
5、信源的剩余度主要来自两个方面,一是,二是 。
6、平均互信息量与信息熵、联合熵的关系是 。
7、信道的输出仅与信道当前输入有关,而与过去输入无关的信道称为 信道。
8、马尔可夫信源需要满足两个条件:一、 ; 二、。
9、若某信道矩阵为⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡010001000001100,则该信道的信道容量C=__________。
10、根据是否允许失真,信源编码可分为 和 。
12、在现代通信系统中,信源编码主要用于解决信息传输中的 性,信道编码主要用于解决信息传输中的 性,保密密编码主要用于解决信息传输中的安全性。
13、差错控制的基本方式大致可以分为 、 和混合纠错。
14、某线性分组码的最小汉明距dmin=4,则该码最多能检测出 个随机错,最多能纠正 个随机错。
15、码字101111101、011111101、100111001之间的最小汉明距离为 。
16、对于密码系统安全性的评价,通常分为 和 两种标准。
17、单密钥体制是指 。
18、现代数据加密体制主要分为 和 两种体制。
19、评价密码体制安全性有不同的途径,包括无条件安全性、 和 。
通信原理题库总合
通信原理题库总合(共23页) -本页仅作为预览文档封面,使用时请删除本页-第八章错误控制编码100道题一、选择题1、已知(5,1)重复码,它的两个码组分别为00000和11111,若用于纠错,可以纠正的误码位数至少为:ba、1位b、2位c、3位d、4位2、、发端发送纠错码,收端译码器自动发现并纠正错误,传输方式为单向传输,这种差错控制的工作方式被称为:aa、FECb、ARQc、IFd、HEC3、码长n=7的汉明码,监督位应是:ba、2位b、3位c、4位d、5位4、根据纠错码组中信息元是否隐蔽来分,纠错码组可以分为:ca、线性和非线性码b、分组和卷积码c、系统和非系统码d、二进制和多进制码5、汉明码的最小码距为:ba、2b、3c、4d、56、假设分组码的最小码距为5则它能检测误码的位数至少为:ca、2b、3c、4d、57、假设分组码的最小码距为5则它能纠正的误码位数至少为:aa、2b、3c、4d、58、根据纠错码各码组码元与信息元之间的函数关系来分,纠错码组可以分为:aa、线性和非线性码b、分组和卷积码c、系统和非系统码d、二进制和多进制码9、通常5位奇监督码的信息位数为:ca、2b、3c、4d、510、汉明码能够纠正的误码位数为:aa、1b、2c、3d、411、通常6位偶监督码的信息位数为:da、2b、3c、4d、512、假设分组码的最小码距为8则它能检测误码的位数至少为:ba 、6b 、7c 、8d 、913、、以下哪一个码字属于码长为5的奇监督码ca 、10001b 、10010c 、10011d 、1010014、属于码长为5的偶监督码是:ca 、00001b 、00010c 、00011d 、0010015、在“0”、“1”等概率出现情况下,以下包含直流成分最大码是:aa 、差分码b 、AMI 码c 、单极性归零码d 、HDB3码16、为了解决连0码而无法提取位同步信号的问题,人们设计了ca 、AMI 码b 、多进值码c 、HDB3码d 、差分码17、已知(5,1)重复码,它的两个码组分别为00000和11111,若用于纠错,可以纠正的误码位数至少为:ba 、1位b 、2位c 、3位d 、4位18、在一个码组内纠正t 位错误,同时检测()t e e >个误码,要求最小距离min d 应为 A 。
(6,3)线性分组码编码分析与实现
吉林建筑大学电气与电子信息工程学院信息理论与编码课程设计报告设计题目:线性分组码编码的分析与实现专业班级:电子信息工程学生姓名:学号:指导教师:设计时间:2014.11.24-2014.12.5第1章 概述1.1 设计的作用、目的《信息论与编码》是一门理论与实践密切结合的课程,课程设计是其实践性教学环节之一,同时也是对课堂所学理论知识的巩固和补充。
其主要目的是加深对理论知识的理解,掌握查阅有关资料的技能,提高实践技能,培养独立分析问题、解决问题及实际应用的能力。
通过完成具体编码算法的程序设计和调试工作,提高编程能力,深刻理解信源编码、信道编译码的基本思想和目的,掌握编码的基本原理与编码过程,增强逻辑思维能力,培养和提高自学能力以及综合运用所学理论知识去分析解决实际问题的能力,逐步熟悉开展科学实践的程序和方法。
1.2 设计任务及要求设计一个(6, 3)线性分组码的编译码程序:完成对任意序列的编码,根据生成矩阵形成监督矩阵,得到伴随式,并根据其进行译码,同时验证工作的正确性。
1.理解信道编码的理论基础,掌握信道编码的基本方法; 2.掌握生成矩阵和一致校验矩阵的作用和求解方法;3.针对线性分组码分析其纠错能力,并能够对线性分组码进行译码; 4.能够使用MATLAB 或其他语言进行编程,实现编码及纠错,编写的函数要有通用性。
1.3设计内容已知一个(6,3)线性分组码的Q 矩阵:设码字为(c 5, c 4, c 3, c 2, c 1, c 0)11101110Q ⎡⎤⎢⎥=⎢⎥⎢⎥⎣⎦求出标准生成矩阵和标准校验矩阵,完成对任意信息序列(23个许用码字)的编码。
当接收码字R 分别为(000000), (000001), (000010), (000100), (001000), (010000), (100000), (100100)时,写出其伴随式S ,以表格形式写出伴随式与错误图样E 的对应关系。
纠错并正确译码,当有两位错码时,假定c 5位和c 2位发生错误。
信息论基础线性分组码PPT
设码字x5 (x0 , x1, x2 , x3, x4 ), 可得 信息位 码字
00 00000 01 01101 10 10111 11 11010
x2
x3
x0 x0
x1
x4 x0 x1
20
线性分组码的基本概念
改写为
1 1
x0 x0
1 0
x1 x1
1 x2 0 0 x2 1
二战期间在路易斯维尔大学当教授,1945年参加曼哈顿计划, 负责编写电脑程式,计算物理学家所提供方程的解。该程式 是判断引爆核弹会否燃烧大气层,结果是不会,于是核弹便 开始试验。
1946至76年在贝尔实验室工作。他曾和约翰·怀尔德·杜奇、 克劳德·艾尔伍德·香农合作。1956年他参与了IBM 650的程 式语言发展工作。
码字无关!
记S= en·HT ,称之为接收序列rn的伴随式.
36
线性分组码的译码
(n,k)线性分组码的校验矩阵,用列向量
表出:
h1,1
h1,2
H
h2,1
h2,2
h1,n
h2,n
h1
h2
hn
hnk
,1
hnk ,2
hnk
,n
其中,hn-i为H矩阵的第i列.
37
线性分组码的译码
设en=(e1, e2,…,en)=(0,…,ei1,0,…,ei2,0,…, ei3,0,…,eit,0,…,0)
信息位 码字
00 00000
1(01) 1(10) 11
01 01101 10 10111
f (11) 11010
11 11010
1(01101) 1(10111) 11010
f (1(01) 1(10)) 1(01101) 1(10111)
信息论与编码期末考试题(全套)
(一)一、判断题共 10 小题,满分 20 分。
1。
当随机变量X 和Y 相互独立时,条件熵)|(Y X H 等于信源熵)(X H . ( )2。
由于构成同一空间的基底不是唯一的,所以不同的基底或生成矩阵有可能生成同一码集。
( )3。
一般情况下,用变长编码得到的平均码长比定长编码大得多. ( ) 4. 只要信息传输率大于信道容量,总存在一种信道编译码,可以以所要求的任意小的误差概率实现可靠的通信.( )5。
各码字的长度符合克拉夫特不等式,是唯一可译码存在的充分和必要条件。
()6. 连续信源和离散信源的熵都具有非负性. ( )7. 信源的消息通过信道传输后的误差或失真越大,信宿收到消息后对信源存在的不确定性就越小,获得的信息量就越小。
8。
汉明码是一种线性分组码。
( ) 9。
率失真函数的最小值是0。
( )10.必然事件和不可能事件的自信息量都是0。
( )二、填空题共 6 小题,满分 20 分.1、码的检、纠错能力取决于.2、信源编码的目的是;信道编码的目的是。
3、把信息组原封不动地搬到码字前k 位的),(k n 码就叫做 。
4、香农信息论中的三大极限定理是、、。
5、设信道的输入与输出随机序列分别为X 和Y ,则),(),(Y X NI Y X I N N =成立的条件 。
6、对于香农-费诺编码、原始香农—费诺编码和哈夫曼编码,编码方法惟一的是。
7、某二元信源01()1/21/2X P X ⎡⎤⎧⎫=⎨⎬⎢⎥⎣⎦⎩⎭,其失真矩阵00a D a ⎡⎤=⎢⎥⎣⎦,则该信源的max D = 。
三、本题共 4 小题,满分 50分.1、某信源发送端有2种符号i x )2,1(=i ,a x p =)(1;接收端有3种符号i y )3,2,1(=j ,转移概率矩阵为1/21/201/21/41/4P ⎡⎤=⎢⎥⎣⎦. (1) 计算接收端的平均不确定度()H Y ; (2) 计算由于噪声产生的不确定度(|)H Y X ; (3) 计算信道容量以及最佳入口分布。
第11章典型例题分析2号
典型例题分析例11-1已知三个码组为(001010), (101101), (010001). 若用于检错,能检出几位错码?若用于纠错,能纠正几位错码?若同时用于检错和纠错,各能纠、检几位错码?解:根据三个码组可知码的最小码距为04d =。
当用于检错和纠错时,由d 0≥t+e+1可得t=1, e=2, 即检测出3位错码,纠正1位错码,。
★例11-2 设线性码的生成矩阵为 001011100101010110G ⎡⎤⎢⎥=⎢⎥⎢⎥⎣⎦(1) 求监督矩阵H, 确定(n, k )码组中的n, k;(2) 写出监督码位的关系式及该(n, k)码的所有码字;(3) 确定最小码距d 0.解:(1)将生成矩阵G 变成典型形式的生成矩阵,即初等行变换将G 化为典型阵:001011100110010101010101100010G ⎡⎤⎡⎢⎥⎢=→⎢⎥⎢⎢⎥⎢⎣⎦⎣ 可得矩阵为101110011Q ⎡⎤⎢⎥=⎢⎥⎢⎥⎣⎦, 对应的P矩阵为 110011101T P Q ⎡⎤⎢⎥==⎢⎥⎢⎥⎣⎦可得监督矩阵H 为[]⎡⎤⎢⎥=⎢⎥⎢⎥⎣⎦r 110100H =PI 011010101001,由生成矩阵可得n=6, k=3(2)由于0T TH A ⋅= ,即 543210000a a a a a a ⎡⎤⎢⎥⎢⎥⎡⎤⎡⎤⎢⎥⎢⎥⎢⎥=⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦⎣⎦⎢⎥⎢⎥⎢⎥⎣⎦110100011010101001由此可得监督关系式为 23130000a a a a a a a a a ⊕⊕=⎧⎪⊕⊕=⎨⎪⊕⊕=⎩5445设A 为许用码组,则[][]543543100010001A a a a G a a a ⎡⎢=⋅=⎢⎢⎣可计算得该(n, k)码的所有码字如表11-3所示。
(3)由上得出的许用码组可知,该线性码的最小码重d 0=3 (全0码除外).例11-2已知(7, 3)码的生成矩阵G 如下,列出所有许用码组并求监督矩阵10011101001100111G ⎡⎢=⎢⎢⎣解:(1) ⋅A =M G ,用所有可能的M 计算后得到:系统码生成矩阵是100111001001110011100G ⎡⎤⎢⎥=⎢⎥⎢⎥⎣⎦由此得监督矩阵:1011000111010011000100110001H ⎡⎤⎢⎥⎢⎥=⎢⎥⎢⎥⎣⎦例11-4 已知某线性码监督矩阵如下,列出所有许用码组。
信息论与编码试题集与答案(新)
1. 在无失真的信源中,信源输出由 H (X ) 来度量;在有失真的信源中,信源输出由 R (D ) 来度量。
2. 要使通信系统做到传输信息有效、可靠和保密,必须首先 信源 编码, 然后_____加密____编码,再______信道_____编码,最后送入信道。
3. 带限AWGN 波形信道在平均功率受限条件下信道容量的基本公式,也就是有名的香农公式是log(1)C W SNR =+;当归一化信道容量C/W 趋近于零时,也即信道完全丧失了通信能力,此时E b /N 0为 -1.6 dB ,我们将它称作香农限,是一切编码方式所能达到的理论极限。
4. 保密系统的密钥量越小,密钥熵H (K )就越 小 ,其密文中含有的关于明文的信息量I (M ;C )就越 大 。
5. 已知n =7的循环码42()1g x x x x =+++,则信息位长度k 为 3 ,校验多项式 h(x)= 31x x ++ 。
6. 设输入符号表为X ={0,1},输出符号表为Y ={0,1}。
输入信号的概率分布为p =(1/2,1/2),失真函数为d (0,0) = d (1,1) = 0,d (0,1) =2,d (1,0) = 1,则D min = 0 ,R (D min )= 1bit/symbol ,相应的编码器转移概率矩阵[p(y/x )]=1001⎡⎤⎢⎥⎣⎦;D max = 0.5 ,R (D max )= 0 ,相应的编码器转移概率矩阵[p(y/x )]=1010⎡⎤⎢⎥⎣⎦。
7. 已知用户A 的RSA 公开密钥(e,n )=(3,55),5,11p q ==,则()φn = 40 ,他的秘密密钥(d,n )=(27,55) 。
若用户B 向用户A 发送m =2的加密消息,则该加密后的消息为 8 。
二、判断题1. 可以用克劳夫特不等式作为唯一可译码存在的判据。
(√ )2. 线性码一定包含全零码。
(√ )3. 算术编码是一种无失真的分组信源编码,其基本思想是将一定精度数值作为序列的 编码,是以另外一种形式实现的最佳统计匹配编码。
线性分组码
• 伴随式是校验矩阵列向量的线性表示。以 下列校验矩阵为例,考察不同错误模式下 的伴随式结构。
• 因此,列向量的线性无关性,与纠错能力 密切相关。:任意d-1个列向量线性无关。
1 0 1 1 0 0 0 H 1 1 1 0 1 0 0
1 1 0 0 0 1 0 0 1 1 0 0 0 1
n-k+1,即d<=n-k+1。
伴随式的计算电路
• 根据校验矩阵H,得到校正子S各元素的数学 表达式,进而给出对应的电路。
• 软件实现方式, sT=HRT为算法。
1 0 1 1 0 0 0 H 1 1 1 0 1 0 0
1 1 0 0 0 1 0 0 1 1 0 0 0 1
C3 =C6 C4 C2 =C6 C5 C4 C1=C6 C5 C0 =C5 C4
C6
1
1
1 0
0 1 1 1
1 1 0 1
1 0 0 0
0 1 0 0
0 0 1 0
0
0
0 1
C5 CC43 C2 C1
• 汉明码定义:最小码距d=3的(n=2m-1,k=2m-m-1)线性 分组码的统称。
两种特殊的H矩阵
• 系统的H矩阵:将重量为1的n-k个列向量排 列成单位阵形式,其他列向量任意放置。 构成系统汉明码的H矩阵。
• 按列向量的二进制数从小到大排列,得到 特殊的非系统汉明码。当发生单个错误的 时候,伴随式的二进制数的大小,就是接 收码字发生错误的位置。因此,译码非常 简单。这种汉明码是最常用的。
• (n,k)的线性分组码,H矩阵列向量中没有0向量,且任 意两列互不相等,即可构成最小码距为3的分组码。H矩阵 为n-k行n列的矩阵,列向量一共有2n-k-1个,即n= 2n-k-1, 满足这种关系,最小码距为3的(n,k)线性分组码称为汉 明码。
信息论与编码期末考试题1
(一)一、判断题.1. 当随机变量X 和Y 相互独立时,条件熵)|(Y X H 等于信源熵)(X H . ( )2. 由于构成同一空间的基底不是唯一的,所以不同的基底或生成矩阵有可能生成同一码集. ( )3.一般情况下,用变长编码得到的平均码长比定长编码大得多. ( )4. 只要信息传输率大于信道容量,总存在一种信道编译码,可以以所要求的任意小的误差概率实现可靠的通信. ( )5. 各码字的长度符合克拉夫特不等式,是唯一可译码存在的充分和必要条件. ( )6. 连续信源和离散信源的熵都具有非负性. ( )7. 信源的消息通过信道传输后的误差或失真越大,信宿收到消息后对信源存在的不确 定性就越小,获得的信息量就越小.8. 汉明码是一种线性分组码. ( ) 9. 率失真函数的最小值是0. ( ) 10.必然事件和不可能事件的自信息量都是0. ( ) 二、填空题1、码的检、纠错能力取决于 .2、信源编码的目的是 ;信道编码的目的是 .3、把信息组原封不动地搬到码字前k 位的),(k n 码就叫做 .4、香农信息论中的三大极限定理是 、 、 .5、设信道的输入与输出随机序列分别为X 和Y ,则),(),(Y X NI Y X I N N =成立的 条件 .6、对于香农-费诺编码、原始香农-费诺编码和哈夫曼编码,编码方法惟一的是 .7、某二元信源01()1/21/2X P X ⎡⎤⎧⎫=⎨⎬⎢⎥⎣⎦⎩⎭,其失真矩阵00a D a ⎡⎤=⎢⎥⎣⎦,则该信源的max D = .三、计算题.1、某信源发送端有2种符号i x )2,1(=i ,a x p =)(1;接收端有3种符号i y )3,2,1(=j ,转移概率矩阵为1/21/201/21/41/4P ⎡⎤=⎢⎥⎣⎦.(1)计算接收端的平均不确定度()H Y ;(2) 计算由于噪声产生的不确定度(|)H Y X ; (3) 计算信道容量以与最佳入口分布.(二)一、填空题1、信源编码的主要目的是 ,信道编码的主要目的是 。
信息论与编码试卷及答案
一、(11’)填空题(1)1948年,美国数学家香农发表了题为“通信的数学理论”的长篇论文,从而创立了信息论。
(2)必然事件的自信息是 0 。
(3)离散平稳无记忆信源X的N次扩展信源的熵等于离散信源X的熵的 N倍。
(4)对于离散无记忆信源,当信源熵有最大值时,满足条件为__信源符号等概分布_。
(5)若一离散无记忆信源的信源熵H(X)等于,对信源进行等长的无失真二进制编码,则编码长度至少为 3 。
(6)对于香农编码、费诺编码和霍夫曼编码,编码方法惟一的是香农编码。
(7)已知某线性分组码的最小汉明距离为3,那么这组码最多能检测出_2_______个码元错误,最多能纠正___1__个码元错误。
(8)设有一离散无记忆平稳信道,其信道容量为C,只要待传送的信息传输率R__小于___C(大于、小于或者等于),则存在一种编码,当输入序列长度n足够大,使译码错误概率任意小。
(9)平均错误概率不仅与信道本身的统计特性有关,还与___译码规则____________和___编码方法___有关三、(5)居住在某地区的女孩中有25%是大学生,在女大学生中有75%是身高米以上的,而女孩中身高米以上的占总数的一半。
假如我们得知“身高1.6米以上的某女孩是大学生”的消息,问获得多少信息量解:设A表示“大学生”这一事件,B表示“身高以上”这一事件,则P(A)= p(B)= p(B|A)= (2分)故 p(A|B)=p(AB)/p(B)=p(A)p(B|A)/p(B)=*= (2分)I(A|B)== (1分)四、(5)证明:平均互信息量同信息熵之间满足I(X;Y)=H(X)+H(Y)-H(XY)证明:()()()()()()()()()()Y X H X H y x p y x p x p y x p x p y x p y x p Y X I X X Y j i j i Y i j i XYi j i j i -=⎥⎦⎤⎢⎣⎡---==∑∑∑∑∑∑log log log; (2分)同理()()()X Y H Y H Y X I -=; (1分) 则()()()Y X I Y H X Y H ;-= 因为()()()X Y H X H XY H += (1分) 故()()()()Y X I Y H X H XY H ;-+=即()()()()XY H Y H X H Y X I -+=; (1分)五、(18’).黑白气象传真图的消息只有黑色和白色两种,求:1) 黑色出现的概率为,白色出现的概率为。
线性分组码实验报告
线性分组码实验报告1. 引言线性分组码是一种在通信系统中广泛应用的编码技术。
它通过对数据进行分组,并使用特定的编码方式,在数据传输过程中提高数据的可靠性和传输效率。
本实验旨在通过实际操作,探索线性分组码的原理和性能。
2. 实验目的本实验的主要目的如下:- 理解线性分组码的原理和编码过程;- 掌握线性分组码的解码过程;- 分析线性分组码对数据传输效果的影响。
3. 实验器材和材料本实验所需的器材和材料包括:- 一台个人计算机;- 编程语言:Python;- 相关编程库:NumPy。
4. 实验方法与步骤4.1 实验环境搭建在个人计算机上安装Python编程语言和NumPy库。
4.2 线性分组码编码过程4.2.1 确定生成矩阵G根据实验要求,确定线性分组码的生成矩阵G。
4.2.2 数据分组将待发送的数据按照固定长度进行分组,并对每个数据分组进行奇偶校验位的计算。
4.2.3 生成编码数据将分组数据与生成矩阵G相乘,得到编码数据。
4.3 线性分组码解码过程4.3.1 确定校验矩阵H根据实验要求,确定线性分组码的校验矩阵H。
4.3.2 接收编码数据接收经过信道传输的编码数据。
4.3.3 生成校验位将接收到的编码数据与校验矩阵H相乘,得到校验位。
4.3.4 检测错误位通过比较生成的校验位和接收到的校验位,确定是否存在错误位。
4.3.5 纠正错误位如果存在错误位,则根据错误位的位置进行纠正。
4.3.6 解码数据得到纠正后的编码数据,并进行解码。
4.4 实验数据记录和分析记录每次实验的编码数据、接收到的编码数据、生成的校验位、接收到的校验位,以及解码后得到的数据。
分析不同信道条件下数据传输的可靠性和效率。
5. 实验结果与讨论通过实验,我们得到了实验数据,并对数据进行了分析。
根据实验结果,我们发现线性分组码在一定程度上可以提高数据传输的可靠性,但受到信道条件的影响。
在良好的信道条件下,线性分组码可以有效地检测和纠正错误位,实现可靠的数据传输。
第十二章 差错控制编码 习题解答
方法2:信息与典型生成矩阵G计算得到系统码 (不建议考试时使用,但是在实际中被使用)
1 0 0 1 0 1 [110] 0 1 0 1 1 0 0 0 1 0 1 1
1 1 00 11
方法3:典型生成矩阵G的某些行进行模2加运算 (适合信息位中“1”的个数不多的场合) “110”
(3)写出信息码“110”所对应的系统码 方法1:由监督方程
a4 a3 a2 a0 0 a4 a3 a1 0 a5 a3 a0 0 可得 a0 a5 a3 =1 0=1 a1 a4 a3 =1 0=1 a2 a4 a3 a0 =1 0 1=0
由 g ( x) x x x 1 可以直接画出编码器
门2 D0
4
2
⊕
D1
⊕
D2
D3
⊕
输出
门1
⊕
码组
输入信息码元
将非典型监督矩阵转换为典型监督矩阵
非典型
H
0 0 1
1 1 0
1 1 1
1 0 0
0 1 0
1 0 1
① ② ③
利用线性代数的初等变换, ① ⊕ ③
典型
①
1 0 0
H
1 0 1
1 1 0
0 1 1
0 1 0
0 0 1
Prk I r
典型
H
1 0 1
1 1 0
0 1 1
1 0 0
1 0 0 1 0 1 ① ② 典型生成矩阵G 0 1 0 1 1 0 ③ 0 0 1 0 1 0
①
⊕
③
1 1 00 11
线性分组码
2011/10/31
26
2、某(n,k)系统线性分组码的全部码字如下: 、 )系统线性分组码的全部码字如下: 00000 01011 10110 11101 求: (1)n = ? , k = ? ) 和监督矩阵H。 (2)码的生成矩阵 和监督矩阵 。 )码的生成矩阵G和监督矩阵
2011/10/31
系数矩阵 H 的后四列组成一个 (4×4) 阶单位子阵,用 I4 表示,H 的其余部分用 P 表示
2011/10/31
8
6.3.2 线性分组码的监督方程和监督矩阵
推广到一般情况:对 (n,k) 线性分组码,每个码字中的 r(r=n-k) 个监督元与信息元之间的关系可由下面的线性 方程组确定
2011/10/31
010 011 100 101 110 111
6.3.2 线性分组码的监督方程和监督矩阵
(3) 监督矩阵
为了运算方便,将式 (5.1)监督方程写成 矩阵形式,得 式(5.2)可写成 H CT=0T或 C HT=0 CT、HT、0T分别表 示C、H、0的转置 矩阵。
2011/10/31
7
6.3.2 线性分组码的监督方程和监督矩阵
6. 3 一、名词解释
线性分组码
线性分组码:通过预定的线性运算将长为 k 位的信息码组变换 成 n 长的码字 ( n>k )。由 2k 个信息码组所编成的 2k个码字集 合,称为线性分组码。 码矢:一个 n 长的码字可以用矢量来表示 码矢
C = (Cn-1,Cn-2,…,C1,C0 ) 1 2
所以码字又称为码矢。 ( n, k ) 线性码 线性码:信息位长为 k,码长为 n 的线性码。 编码效率/编码速率/码率:R=k /n。它说明了信道的利用效率, 编码效率 R是衡量码性能的一个重要参数。 是衡量码性能的一个重要参数
信息论与编码复习题1(1)
一、填空题1.设信源X 包含4个不同离散消息,当且仅当X 中各个消息出现的概率为___Pi=1/4___时,信源熵达到最大值,为__2bit_,此时各个消息的自信息量为____2bit_______。
2.如某线性分组码的最小汉明距dmin=4,则该码最多能检测出___3_____个随机错,最多能 纠正___INT(1.5)__个随机错。
3.克劳夫特不等式是唯一可译码___存在___的充要条件。
4.平均互信息量I(X;Y)与信源熵和条件熵之间的关系是_I (X :Y )=H (X )-H (X/Y )5.__信源__编码的目的是提高通信的有效性,_信道_编码的目的是提高通信的可靠性,__加密__编码的目的是保证通信的安全性。
6.信源编码的目的是提高通信的 有效性 ,信道编码的目的是提高通信的 可靠性 ,加密编码的目的是保证通信的 安全性 。
7.设信源X 包含8个不同离散消息,当且仅当X 中各个消息出现的概率为__1/8_____时,信 源熵达到最大值,为___3bit/符号_________。
8.自信息量表征信源中各个符号的不确定度,信源符号的概率越大,其自信息量越__小____。
9.信源的冗余度来自两个方面,一是信源符号之间的_相关性__,二是信源符号分布的 __不均匀性___。
10.最大后验概率译码指的是 译码器要在已知r 的条件下找到可能性最大的发码Ci 作为移码估值 。
11.常用的检纠错方法有__前向纠错__、反馈重发和混合纠错三种。
二、单项选择题1.下面表达式中正确的是( A )。
A.∑=ji j x y p 1)/( B.∑=ii j x y p 1)/(C.∑=jj j i y y x p )(),(ω D.∑=ii j i x q y x p )(),(2.彩色电视显像管的屏幕上有5×105个像元,设每个像元有64种彩色度,每种彩度又有16种不同的亮度层次,如果所有的彩色品种和亮度层次的组合均以等概率出现,并且各个组合之间相互独立。
信息论习题
信息论部分:1. 已经两个离散信源X 和Y ,其联合概率P(X,Y)为:P(0,0)=1/8,P(0,1)=3/8,P(1,0)=3/8,P(1,1)=1/8,现定义另一个随机变量:Z=XY(一般乘积),试求H(X),H(Y),H(Z)及H(X,Y)。
2. 有一个一阶马尔柯夫信源X={A,B,C},已知:p(A)=1/2,p(B)=p(C)=1/4,信源状态之间的转移概率p(j/i)分别为:p(A/A)=1/2, p(B/A)=1/4, p(C/A)=1/4, p(A/B)=2/3, p(B/B)=0, p(C/B)=1/3, p(A/C)=2/3, p(B/C)=1/3, p(C/C)=0。
求:信源的熵和剩余度?3. 设一个连续随机变量X 的概率密度函数为p x bx x ()=≤⎧⎨⎪⎩⎪202 π其它 求信源X 的熵H(X)。
4. 设一个连续随机变量X 的概率密度函数为 p x e ()=-12λλX -∞<X <∞ 求信源X 的熵H(X)。
5.掷一枚均匀的硬币,直到出现“正面”为止。
令X 表示所需掷出的次数,求熵H(X)。
6.设有噪声二元对称信道(BSC)的信道误码率为p e =1/8,码速率为n=1000/s,(1)若p(0)=1/3, p(1)=2/3, 求信道熵速率, (2)求信道容量。
7.某无线电厂可生产A ,B ,C ,D 四种产品,其中,A 占10%,B 占20% ,C 占30% ,D 占40%。
有两种消息:“现完成一台B 种产品”,“现完成一台C 种产品”,试问哪一种消息提供的信息量大? 8.设每帧电视图象是由3×105个象素组成,所有象素是相互独立的,且每个象素可取128个不同的亮度电平,并假设各种亮度电平是等概出现的。
问每帧电视图象含有多少信息量?9.设电话信号的信息速率为5.6×104bit/s ,在一个噪声功率谱密度为N 0=5×10-6mW/Hz ,频带为F ,限输入功率为P 的高斯信道中传送,若F=4KHz ,问无差错传输所需的最小功率是多少?若F 趋于无穷,则P 是多少瓦。
信息论与编码理论-第7章线性分组码-习题解答-20071206
第7章 线性分组码习 题1. 已知一个(5, 3)线性码C 的生成矩阵为:11001G 011010111⎡⎤⎢⎥=⎢⎥⎢⎥⎣⎦(1)求系统生成矩阵;(2)列出C 的信息位与系统码字的映射关系;(3)求其最小Hamming 距离,并说明其检错、纠错能力; (4)求校验矩阵H ;(5)列出译码表,求收到r =11101时的译码步骤与译码结果。
2.设(7, 3)线性码的生成矩阵如下010101000101111001101G ⎡⎤⎢⎥=⎢⎥⎢⎥⎣⎦(1)求系统生成矩阵;(2)求校验矩阵; (3)求最小汉明距离; (4)列出伴随式表。
3.已知一个(6, 3)线性码C 的生成矩阵为:.0 1 1 1 0 01 1 0 0 1 01 0 10 0 1G ⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=(1) 写出它所对应的监督矩阵H ;(2) 求消息M =(101)的码字;(3) 若收到码字为101010,计算伴随式,并求最有可能的发送码字。
4.设(6, 3)线性码的信息元序列为x 1x 2x 3,它满足如下监督方程组⎪⎩⎪⎨⎧=++=++=++000631532421x x x x x x x x x (1)求校验矩阵,并校验10110是否为一个码字;(2)求生成矩阵,并由信息码元序列101生成一个码字。
习题答案1. 已知一个(5, 3)线性码C 的生成矩阵为:11001G 011010111⎡⎤⎢⎥=⎢⎥⎢⎥⎣⎦(1)求系统生成矩阵;(2)列出C 的信息位与系统码字的映射关系;(3)求其最小Hamming 距离,并说明其检错、纠错能力; (4)求校验矩阵H ;(5)列出译码表,求收到r =11101时的译码步骤与译码结果。
解:(1)线性码C 的生成矩阵经如下行变换:23132110011001101101011010011100111100111001101101010100011100111⎡⎤⎡⎤⎢⎥⎢⎥−−−−−−→⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦⎣⎦⎡⎤⎡⎤⎢⎥⎢⎥−−−−−−→⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦⎣⎦将第、加到第行将第加到第行得到线性码C 的系统生成矩阵为⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=111000*********S G (2)码字),,,(110-=n c c c c 的编码函数为[][][]111000*********)(210m m m m f c ++==生成了的8个码字如下(3) 最小汉明距离d =2,所以可检1个错,但不能纠错。
线性分组码编码分析与实现
线性分组码编码分析与实现第一章线性分组码的基本概念与特点1.1 线性分组码的定义:线性分组码是一种具有线性结构的编码方式,采用矩阵运算的方式实现数据的编码和解码。
1.2 线性分组码的特点:(1)码字长度相同(2)编码和解码具有线性性质(3)具有很强的纠错和检错能力(4)编码和解码过程中没有死区(5)对于大量数据的编码和解码工作具有很高的效率1.3 线性分组码的模型:线性分组码的模型由3部分组成:(1)信息部分(2)校验部分(3)生成矩阵第二章编码和解码的实现原理2.1 编码的实现原理:(1)将数据划分为信息部分和校验部分(2)利用生成矩阵将信息部分和校验部分按照一定的规则进行编码(3)产生码字2.2 解码的实现原理:(1)接收到码字,并划分为信息部分和校验部分(2)建立校验矩阵(3)根据校验矩阵的摆放方式进行解码(4)恢复原始数据第三章线性分组码的具体实现3.1 编码的具体实现步骤:(1)确定数据长度和校验长度(2)生成矩阵的构建(3)信息部分和校验部分按照一定的规则进行编码(4)产生码字3.2 解码的具体实现步骤:(1)接收到码字,并划分为信息部分和校验部分(2)建立校验矩阵(3)根据校验矩阵的摆放方式进行解码(4)恢复原始数据第四章线性分组码的应用4.1 线性分组码在通信领域的应用:(1)在通信过程中往往会出现误码和丢包现象,利用线性分组码可以增强数据传输的可靠性(2)线性分组码可以应用于数字语音、数字视频、加密通信等领域,提高通信的效率和安全性4.2 线性分组码在计算机网络领域的应用:(1)在计算机网络领域,线性分组码可以应用于数据校验和错误纠正,提高数据传输的可靠性和稳定性(2)线性分组码可以应用于TCP/IP协议中,提高数据传输的效率和安全性第五章线性分组码的发展趋势5.1 智能化:线性分组码的智能化发展趋势是将其与人工智能、大数据处理等技术相结合,实现自动化编码和自动化解码,提高编码和解码的效率。
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
吉林建筑大学电气与电子信息工程学院信息理论与编码课程设计报告设计题目:线性分组码编码的分析与实现专业班级:电子信息工程学生姓名:学号:指导教师:设计时间:2014.11.24-2014.12.5第1章 概述1.1 设计的作用、目的《信息论与编码》是一门理论与实践密切结合的课程,课程设计是其实践性教学环节之一,同时也是对课堂所学理论知识的巩固和补充。
其主要目的是加深对理论知识的理解,掌握查阅有关资料的技能,提高实践技能,培养独立分析问题、解决问题及实际应用的能力。
通过完成具体编码算法的程序设计和调试工作,提高编程能力,深刻理解信源编码、信道编译码的基本思想和目的,掌握编码的基本原理与编码过程,增强逻辑思维能力,培养和提高自学能力以及综合运用所学理论知识去分析解决实际问题的能力,逐步熟悉开展科学实践的程序和方法。
1.2 设计任务及要求设计一个(6, 3)线性分组码的编译码程序:完成对任意序列的编码,根据生成矩阵形成监督矩阵,得到伴随式,并根据其进行译码,同时验证工作的正确性。
1.理解信道编码的理论基础,掌握信道编码的基本方法;2.掌握生成矩阵和一致校验矩阵的作用和求解方法;3.针对线性分组码分析其纠错能力,并能够对线性分组码进行译码;4.能够使用MATLAB 或其他语言进行编程,实现编码及纠错,编写的函数要有通用性。
1.3设计内容已知一个(6,3)线性分组码的Q 矩阵:设码字为(c 5, c 4, c 3, c 2, c 1, c 0)011101110Q ⎡⎤⎢⎥=⎢⎥⎢⎥⎣⎦求出标准生成矩阵和标准校验矩阵,完成对任意信息序列(23个许用码字)的编码。
当接收码字R 分别为(000000), (000001), (000010), (000100), (001000), (010000), (100000), (100100)时,写出其伴随式S ,以表格形式写出伴随式与错误图样E 的对应关系。
纠错并正确译码,当有两位错码时,假定c 5位和c 2位发生错误。
第2章 写所设计题目2.1设计原理1. 线性分组码的标准生成矩阵和标准校验矩阵(1)(n ,k )线性分组码的性质1、封闭性。
任意两个码组的和还是许用的码组。
2、码的最小距离等于非零码的最小码重。
对于长度为n 的二进制线性分组码,它有种2n 可能的码组,从2n 种码组中,可以选择M=2k 个码组(k<n )组成一种码。
这样,一个k 比特信息的线性分组码可以映射到一个长度为n 码组上,该码组是从M=2k 个码组构成的码集中选出来的,这样剩下的码组就可以对这个分组码进行检错或纠错。
对于码组长度为n 、信息码元为k 位、监督码元为r =n -k 位的分组码,常记作(n ,k )码,如果满足2r -1≥n ,则有可能构造出纠正一位或一位以上错误的线性码。
(2)生成矩阵和校验矩阵线性分组码码空间C 是由k 个线性无关的基底1-k g ,…1g 0g ,张成的k 维n 重子空间,码空间的所有元素都可以写成k 个基底的线性组合,即=C 001111g m g m g m k k +++--Λ这种线性组合特性正是线性分组码。
为了深化对线性分组码的理论分析,可将其与线性空间联系起来。
由于每个码字都是一个二进制的n 重,及二进制n 维线性空间Vn 中的一个矢量,因此码字又称为码矢。
用i g 表示第i 个基底并写成n ⨯1矩阵形式[]01)2()1(,,,,i i n i n i i g g g g g Λ--=再将k 个基底排列成k 行n 列的G 矩阵,得:=G []T k g g g 011,,,⋯-=⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎣⎡------0001)1(01011)1(10)1(1)1()1)(1(g g g g g g g g g n n k k n k ΛΛM M O M Λ k 个基底即G 的k 个行矢量线性无关,矩阵G 的秩一定等于k ,当信息元确定后,码字仅由G 矩阵决定,因此称这n k ⨯矩阵G 为该()k n ⨯线性分组码的生成矩阵。
基底不是唯一的,生成矩阵也就不是唯一的。
事实上,将k 个基底线性组合后产生另一组k 个矢量,只要满足线性无关的条件,依然可以作为基底张成一个码空间。
不同的基地有可能生成同一个码集,但因编码涉及码集和映射两个因素,码集一样而映射方法不同也不能说是同样的码。
基底的线性组合等效于生成矩阵G 的行运算,可以产生一组新的基底。
利用这点可使生成矩阵具有如下的“系统形式”:[]⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡==---------0001)1(01011)1(10)1(1)1()1)(1(1000010001p p p p p p p p p P I G k n k n k k k n k k ΛM ΛM M O M M M M O M M ΛΛM ΛM 这里P 是()k n k ⨯-矩阵;k I 是k k ⨯单位矩阵,从而保证了矩阵的秩是K 。
与任何一个()k n ,分组线性码的码空间C 相对应,一定存在一个对偶空间D 。
事实上,码空间基底数k 只是n 维n 重空间全部n 个基底的一部分,若能找出另外k n -个基底,也就找到了对偶空间D 。
既然用k 个基底能产生一个()k n ,分组线性码,那么也就能用k n -个基底产生包含k n -2个码字的()k n n -,分组线性码,称()k n n -,码是()k n ,码的对偶码。
将D 空间的k n -个基底排列起来可构成一个()n k n ⨯-矩阵,将这个矩阵称为码空间C 的校验矩阵H ,而它正是()k n n -,对偶码的生成矩阵,它的每一行是对偶码的一个码字。
C 和D 的对偶是互相的,G 是C 的生成矩阵又是D 的校验矩阵,而H 是D 的生成矩阵,又是C 的校验矩阵。
由于C 的基底和D 的基底正交,空间C 和空间D 也正交,它们互为零空间。
因此,()k n ,线性码的任意码字c 一定正交于其对偶码的任意一个码字,也必定正交于校验矩阵H 的任意一个行矢量,即0=T cH 。
由于生成矩阵的每个行矢量都是一个码字,因此必有0=T GH 。
对于生成矩阵符合“系统形式”G 的系统码,其校验矩阵也是规则的,必为:[]k n T I P H --=M 上式中的负号在二进制码情况下可以省略,因为模2减法和模2加法是等同的。
(3)信息码元及对应码字的关系(n ,k )码字中的任一码字i c ,均可以由这组基底的线性组合生成,即[]12i i n n n k c m G m m m G ---=g Lg 式中[]12i n n n k m m m m ---=L 的是k 个信息元组的信息组,因此其信息码元及对应码字的关系如表一所示:表一 信息码元及对应码字关系 2. 线性分组码的伴随式与译码(2)码的距离及检错能力两个码字之间,对应位取之不同的个数,称为汉明距离,用d 表示。
一个码的最小距离min d 定义为{}),(,,,m in ),(min k n c c j j d d j i cj ci ∈≠=,两个码字之间的距离表示了它们之间差别的大小。
距离越大,两个码字的差别越大,则传送时从一个码字错成另一码字的可能性越小。
码的最小距离愈大,其抗干扰能力愈强。
任何最小距离min d 的线性分组码,其检错能力为()1min -d 纠错能力t 为⎥⎦⎤⎢⎣⎡-=21min d INT t 最小距离min d 表明码集中各码字差异的程度,差异越大越容易区分,抗干扰能力自然越强,因此成了衡量分组码性能最重要的指标之一。
估算最小距离是纠错码设计的必要步骤,最原始的方法是逐一计算两两码字间距离,找到其中最小者。
含k 2个码字的码集需计算()2122-k k 个距离后才能找出min d ,费时太多,实用中还有一些更好更快的方法。
线性分组码的最小距离等于码集中时非零码字的最小重量,即(){}i C w d min min = 0≠∈i i C C C 及这里利用了群的封闭性,由于分组码是群码,任意两码字之和仍是码字,即C C C C i k j ∈=⊕。
因此任意两码字间的汉明距离其实必是另一码字的重量,表示为()()()(){}(){}i k j i k j k i C w C C d C w C C w C C d m in ,m in ,,==⊕=。
于是可将最小距离问题转化为寻找最轻码字问题,含k 2个码字的码集仅需计算k 2次。
码的检错能力取决于码的最小距离,但还需说明的另一点是码的总体检错能力不仅仅与min d 有关。
检错能力t 只是说明距离t 的差错一定能纠,并非说距离大于t 的差错一定不能纠。
事实上,如果有2k 个码子,就存在()2212k k - 个距离,这并非相等的。
比如最小距离min 3d = ,检错力1t = ,是由码21C C 的距离决定, 只要2C 朝1C 方向偏差大于1就会出现译码差错;然而若2C 朝3C 方向偏差3,译码时仍可正确地判断为2C 而非3C 。
可见,总体的、平均的纠错能力不但与最小距离有关,而且与其余码距离或者说与码子的重量分布特性有关,把码距(码重)的分布特性称为距离(重量)谱,其中最小的重量就是min d 。
正如信息论各符号等概时熵最大一样,从概念上可以想象到:当所有码距相等时是(重量谱为线谱)码的性能应该最好;或者退一步说,当各码距相当不大时(重量谱为窄谱)性能应该叫好。
事实证明确实如此,在同样的min d 条件下,窄谱的码一般比宽谱的码更优。
纠错重量谱的研究具有理论与现实意义,不仅仅是计算各种译码差错概率的主要依据,也是研究码的结构、改善码集内部关系从而发现新的好码的重要工具。
但目前除了少数几类码如汉明码、极长码等的重量分布已知外,还有很多码的重量分布并不知道,距离分布与性能之间确切的定量关系对于大部分码而言尚在进一步研究当中,特别当n 和k 较大时,要得出码重分布是非常困难的。
重量谱可以如下多项式来表示,称为重量算子,即()234012341nnn n i i A x A A x A x A x A x A x A x ==+++++=∑L 式中的含义:在码长n 的码集里,包括重量为0的码子0A 个(线性码一定包含一个重量为0的全0码),码重为1的码字1A 个,L ,重量为n 的码字n A 个。
(2)伴随式与译码码字()1210,,,,n C c c c c -=L 在传输过程中受到各种干扰,接收端收码()1210,,,,n R r r r r -=L 已不一定等于发码C ,两者间的差异就是差错,差错是多样化的,我们定义差错的式样为差错图样E ,即()()110111100,,,,,,n n n E e e e R C r c r c r c ---==-=---L L对于二进制码,模2减等同模2加,因此有mod 2E R C R C E =+=+及利用码字与校验矩阵的正交性T CH ,可检验收码R 是否错误,即()000T T T T T T RH C E H CH EH EH EH =⎧=+=+=+=⎨≠⎩定义T RH 运算结果为伴随式S ,即()110,,,T T n k S s s s RH EH --===L可见,虽然R 本身与发码有关,但乘以T H 后的伴随式T T RH S EH == 仅与差错图E 有关,只反映信道对码字造成怎样的干扰而与发什么码C 无关了。