第5章_离散信道及其信道编码
信息论与编码理论习题答案
信息论与编码理论习题答案LG GROUP system office room 【LGA16H-LGYY-LGUA8Q8-LGA162】第二章 信息量和熵八元编码系统，码长为3，第一个符号用于同步，每秒1000个码字，求它的信息速率。
解：同步信息均相同，不含信息，因此 每个码字的信息量为 2⨯8log =2⨯3=6 bit因此，信息速率为 6⨯1000=6000 bit/s掷一对无偏骰子，告诉你得到的总的点数为：(a) 7; (b) 12。
问各得到多少信息量。
解：(1) 可能的组合为 {1，6},{2，5},{3，4},{4，3},{5，2},{6，1})(a p =366=61得到的信息量 =)(1loga p =6log = bit (2) 可能的唯一，为 {6，6})(b p =361得到的信息量=)(1logb p =36log = bit 经过充分洗牌后的一副扑克（52张），问：(a) 任何一种特定的排列所给出的信息量是多少？(b) 若从中抽取13张牌，所给出的点数都不相同时得到多少信息量？解：(a) )(a p =!521信息量=)(1loga p =!52log = bit (b) ⎩⎨⎧⋯⋯⋯⋯花色任选种点数任意排列13413!13)(b p =1352134!13A ⨯=1352134C 信息量=1313524log log -C = bit 随机掷3颗骰子，X 表示第一颗骰子的结果，Y 表示第一和第二颗骰子的点数之和，Z 表示3颗骰子的点数之和，试求)|(Y Z H 、)|(Y X H 、),|(Y X Z H 、)|,(Y Z X H 、)|(X Z H 。
解：令第一第二第三颗骰子的结果分别为321,,x x x ，1x ，2x ，3x 相互独立，则1x X =，21x x Y +=，321x x x Z ++=)|(Y Z H =)(3x H =log 6= bit )|(X Z H =)(32x x H +=)(Y H=2⨯(361log 36+362log 18+363log 12+364log 9+365log 536)+366log 6= bit )|(Y X H =)(X H -);(Y X I =)(X H -[)(Y H -)|(X Y H ]而)|(X Y H =)(X H ，所以)|(Y X H = 2)(X H -)(Y H = bit或)|(Y X H =)(XY H -)(Y H =)(X H +)|(X Y H -)(Y H 而)|(X Y H =)(X H ，所以)|(Y X H =2)(X H -)(Y H = bit),|(Y X Z H =)|(Y Z H =)(X H = bit )|,(Y Z X H =)|(Y X H +)|(XY Z H =+= bit设一个系统传送10个数字，0，1，…，9。
编码理论(第二版)(田丽华)-第5章
第5章 信道编码原理
(1)信道按其输入／输出信号在幅度和时间上的取值是离 散或连续来划分,可分成三类，分别是数字信道 (DigitalChannel)或离散信道(DiscreteChannel)、模拟信道 (AnalogChannel)或波形信道(WaveformChannel)和连续信道 (ContinuousChannel)。
b1
a1 p(b1 a1)
P a2 p(b1 a2 )
b2
p(b2 a1)
p(b2 2 )
bs p(bs a1) p(bs a2 )
（5－2）
ar p(b1 ar ) p(b2 ar ) p(bs ar )
第5章 信道编码原理
式中：0 p(bj ai ) 1,i 1,2,...,r; j 1,2,...,s; 且
第5章 信道编码原理
(3)信道按其输入/输出信号之间的关系是否是确定关系 来划分，可分为有噪声信道和无噪声信道。一般来讲，信道输 入与输出之间的关系是一种统计依存关系，而不是确定关系。 这是因为信道中总存在某种程度的噪声。在某些情况下，若信 道中的噪声与有用信号相比很小可以忽略不计，则这时的信道 可以理想化为具有确定关系的无噪声信道。
(2)信道按其输入/输出之间关系的记忆性来划分,可分为 无记忆信道和有记忆信道两类。如果信道的输出只与信道该时 刻的输入有关而与其他时刻的输入无关，则称此信道是无记忆 的；反之,如果信道的输出不但与信道现时刻的输入有关，而 且还与以前时刻的输入有关，则称此信道为有记忆的，实际信 道一般都是有记忆的。信道中的记忆现象来源于物理信道中的 惯性元件,如电缆信道中的电感电容、无线信道中电波传布的 衰落现象等。
第5章 信道编码原理
因信道的输入有r种不同的输入符号，输出有s种不同的输
信道编码的概念
10/30
二进制信道：当码字 C 和接收向量 R 均由二元序列表示 时，称编码信道为二进制信道。 C=(C0,C1,…,Cn-1), Ci∈{0,1} R=(R0,R1,…,Rn-1), Ci∈{0,1} 描述二进制信道输入输出关系或噪声干扰程度的是转移概 率p(R/C)。
无记忆二进制信道：对任意的n都有 则称为无记忆二进制信道。 无记忆二进制对称信道/BSC/硬判决信道：无记忆二进制 信道的转移概率又满足 p(0/1)=p(1/0)=pb，称为无记忆二 进制对称信道(见下页)。
编码信道：
无线通信中的发射机、天线、自由空间、接收机等的全体； 有线通信中的如调制解调器、电缆等的全体； Internet 网的多个路由器、节点、电缆、底层协议等的全体； 计算机的存储器（如磁盘等）的全体。
码字C 信道编码 编码信道 接收向量R 信道译码 消息m’
消息m
编码信道
2012/5/31
码序列中的信息序列码元与多余码元之间是相关的；
信道译码器利用这种预知的 编码规则译码。检验接收到 的数字序列 R 是否符合既定的 规则，从而发现 R 中是 否有错，或者纠正其中的差错； 根据相关性来检测和纠正传输过程中产生的差错就是信 道编码的基本思想。
13/30
2012/5/31
码元的组成及其它们之间的关系
混合纠错(HEC)：是FEC与ARQ方式的结合。发送端发送同时具有 自动纠错和检测能力的码组，接收端收到码组后，检查差错情况， 如果差错在码的纠错能力以内，则自动进行纠正。如果信道干扰很 严重，错误很多，超过了码的纠错能力，但能检测出来，则经反馈 信道请求发端重发这组数据。 信息反馈(IRQ)：接收端把收到的数据，原封不动地通过反馈信道 送回到发端，发送端比较发的数据与反馈来的数据，从而发现错误， 并且把错误的消息再次传送，直到发端没有发现错误为止。
《信息论与编码理论》(王育民李晖梁传甲)课后习题问题详解高等教育出版社
信息论与编码理论习题解第二章-信息量和熵2.1解: 平均每个符号长为:1544.0312.032=⨯+⨯秒 每个符号的熵为9183.03log 3123log 32=⨯+⨯比特/符号所以信息速率为444.34159183.0=⨯比特/秒2.2 解: 同步信号均相同不含信息,其余认为等概,每个码字的信息量为 3*2=6 比特； 所以信息速率为600010006=⨯比特/秒2.3 解:(a)一对骰子总点数为7的概率是366 所以得到的信息量为 585.2)366(log 2= 比特 (b) 一对骰子总点数为12的概率是361 所以得到的信息量为 17.5361log 2= 比特 2.4 解: (a)任一特定排列的概率为!521,所以给出的信息量为 58.225!521log 2=- 比特 (b) 从中任取13张牌,所给出的点数都不相同的概率为13521313521344!13C A =⨯所以得到的信息量为 21.134log 1313522=C 比特.2.5 解:易证每次出现i 点的概率为21i,所以比特比特比特比特比特比特比特398.221log 21)(807.1)6(070.2)5(392.2)4(807.2)3(392.3)2(392.4)1(6,5,4,3,2,1,21log )(2612=-==============-==∑=i i X H x I x I x I x I x I x I i ii x I i2.6 解: 可能有的排列总数为27720!5!4!3!12= 没有两棵梧桐树相邻的排列数可如下图求得， Y X Y X Y X Y X Y X Y X Y X Y图中X 表示白杨或白桦，它有⎪⎪⎭⎫⎝⎛37种排法，Y 表示梧桐树可以栽种的位置，它有⎪⎪⎭⎫⎝⎛58种排法，所以共有⎪⎪⎭⎫ ⎝⎛58*⎪⎪⎭⎫⎝⎛37=1960种排法保证没有两棵梧桐树相邻，因此若告诉你没有两棵梧桐树相邻时，得到关于树排列的信息为1960log 27720log 22-=3.822 比特 2.7 解: X=0表示未录取，X=1表示录取； Y=0表示本市，Y=1表示外地；Z=0表示学过英语，Z=1表示未学过英语，由此得比特比特比特)01(log )01()0()00(log )00()0()(8113.04log 4134log 43)()(02698.04110435log 104354310469log 10469)1()01(log )01()0()00(log )00()0;(104352513/41)522121()0(/)1())11()1,10()10()1,00(()01(104692513/43)104109101()0(/)0())01()0,10()00()0,00(()00()(4512.04185log 854383log 83)1()01(log )01()0()00(log )00()0;(8551/4121)0(/)1()10()01(8351/43101)0(/)0()00()00()(,251225131)1(,2513100405451)10()1()00()0()0(,54511)1(,51101432141)10()1()00()0()0(,41)1(,43)0(222222222222+=====+=======+==+======+========⨯⨯+========+=========⨯⨯+========+=========+======+========⨯=========⨯=========-===⨯+====+======-===⨯+⨯====+=========x y p x y p x p x y p x y p x p X Y H X H c x p z x p z x p x p z x p z x p z X I z p x p x y p x y z p x y p x y z p z x p z p x p x y p x y z p x y p x y z p z x p b x p y x p y x p x p y x p y x p y X I y p x p x y p y x p y p x p x y p y x p a z p y z p y p y z p y p z p y p x y p x p x y p x p y p x p x p2.8 解:令{}{}R F T Y B A X ,,,,==，则比特得令同理03645.0)()(5.0,02.03.0)2.05.0(log 2.0)()2.05.0(log )2.05.0()2.03.0(log )2.03.0(5.0log 5.03.0log 3.0)5log )1(2.02log )1(5.0log )1(3.05log 2.0log 3.02log 5.0(2.0log 2.0)2.05.0(log )2.05.0()2.03.0(log )2.03.0()()();()(2.0)(,2.05.0)(2.03.0)1(3.05.0)()()()()(5.0max 2'2222223102231022222==∴==+-=---++-+=-+-+-+++-----++-=-===-=+=-⨯+=+==p p I p I p pp p I p p p p p p p p p p p p p p X Y H Y H Y X I p I R P p F P pp p B P B T P A P A T P T P2.9 & 2.12解:令X=X 1,Y=X 1+X 2,Z=X 1+X 2+X 3, H(X 1)=H(X 2)=H(X 3)= 6log 2 比特 H(X)= H(X 1) = 6log 2 =2.585比特 H(Y)= H(X 2+X 3)=6log 61)536log 365436log 364336log 363236log 36236log 361(2222222+++++ = 3.2744比特 H(Z)= H(X 1+X 2+X 3)=)27216log 2162725216log 2162521216log 2162115216log 2161510216log 216106216log 21663216log 2163216log 2161(222222222++++++= 3.5993比特 所以H(Z/Y)= H(X 3)= 2.585 比特 H(Z/X) = H(X 2+X 3)= 3.2744比特 H(X/Y)=H(X)-H(Y)+H(Y/X) = 2.585-3.2744+2.585 =1.8955比特H(Z/XY)=H(Z/Y)= 2.585比特 H(XZ/Y)=H(X/Y)+H(Z/XY) =1.8955+2.585 =4.4805比特 I(Y;Z)=H(Z)-H(Z/Y) =H(Z)- H(X 3)= 3.5993-2.585 =1.0143比特 I(X;Z)=H(Z)-H(Z/X)=3.5993- 3.2744 =0.3249比特 I(XY ;Z)=H(Z)-H(Z/XY) =H(Z)-H(Z/Y)=1.0143比特 I(Y;Z/X)=H(Z/X)-H(Z/XY) = H(X 2+X 3)-H(X 3) =3.2744-2.585 =0.6894比特 I(X;Z/Y)=H(Z/Y)-H(Z/XY) =H(Z/Y)-H(Z/Y) =02.10 解:设系统输出10个数字X 等概,接收数字为Y,显然101)(101)()()(919===∑∑==i j p i j p i Q j w i iH(Y)=log10比特奇奇奇奇偶18log 81101452log 211015)(log)()()(log )()(0)(log ),()(log ),()(22,2222=⨯⨯⨯⨯+⨯⨯⨯=--=--=∑∑∑∑∑∑∑≠====x y p x y p x p x x p x x p x p x y p y x p x y p y x p X Y H x y x i y x y x所以I(X;Y)= 3219.2110log 2=-比特2.11 解:（a ）接收前一个数字为0的概率 2180)0()()0(==∑=i i i u p u q wbits p pw u p u I )1(log 11log )0()0(log )0;(2212121-+=-==（b ）同理 418)00()()00(==∑=ii iu p u q wbits p p w u p u I )1(log 22)1(log )00()00(log )00;(24122121-+=-== （c ）同理 818)000()()000(==∑=ii iu p u q wbits p p w u p u I )1(log 33)1(log )000()000(log )000;(28132121-+=-== （d ）同理 ))1(6)1(()0000()()0000(4226818p p p p u p u q w ii i+-+-==∑=bitsp p p p p p p p p p w u p u I 42264242268142121)1(6)1()1(8log ))1(6)1(()1(log )0000()0000(log )0000;(+-+--=+-+--==2.12 解:见2.9 2.13 解: (b))/()/()/(1log)()/(1log)()/()/(1log)()/(1log)()/(XY Z H X Y H xy z p xyz p x y p xyz p xy z p x y p xyz p x yz p xyz p X YZ H x y z xyzxyzxyz+=+===∑∑∑∑∑∑∑∑∑∑∑∑(c))/()/(1log)/()()/(1log)/()()/(X Z H x z p xy z p xy p xy z p xy z p xy p XY Z H xyzxyz=≤=∑∑∑∑∑∑（由第二基本不等式） 或)1)/()/((log )/()()/()/(log)/()()/(1log)/()()/(1log)/()()/()/(=-⨯≤=-=-∑∑∑∑∑∑∑∑∑∑∑∑xy z p x z p e xy z p xy p xy z p x z p xy z p xy p x z p xy z p xy p xy z p xy z p xy p X Z H XY Z H xyzxyzxyzxyz（由第一基本不等式）所以)/()/(X Z H XY Z H ≤(a))/()/()/()/()/(X YZ H XY Z H X Y H X Z H X Y H =+≥+等号成立的条件为)/()/(x z p xy z p =,对所有Z z Y y X x ∈∈∈,,,即在给定X 条件下Y 与Z 相互独立。
信息论-第五章
将输出值 y译为码字 u(0)。
2024/10/2
14
§5.1 离散信道编码问题
命题 最大似然概率准则等价于最小距离准则。 证明
pN(y|u)=P(Y1=y1|U1=u1)P(Y2=y2|U2=u2)…P(YN=yN|UN=uN) =(p/(D-1))d(1-p)N-d，
记w(y)=P((Y1Y2…YN)=y)。我们知道
w( y) q(u) pN ( y | u)； u跑遍所有的码字 （全概率公式）
b(u | y) q(u) pN ( y | u) w( y)
q(u) pN ( y | u) ；
q(c) pN ( y | c)
c跑遍所有的码字
（贝叶斯公式）
一些。发送哪个码字的条件下，最可能收到y，就认为发送 的是哪个码字。 最大似然概率准则（最小距离准则）的实现比最大后验概率 准则的实现更简单：前者只需要看哪个码字与y的Hamming 距离最小；后者需要知道各码字的概率分布，然后用贝叶 斯公式计算并比较后验概率。 两种准则都可以用在没有编码（直接发送）情况下的纠错译 码。
道响应特性，而且 pN(y|u)=P(Y1=y1|U1=u1)P(Y2=y2|U2=u2)…P(YN=yN|UN=uN) =(p/(D-1))d(1-p)N-d， 其中d是(y1y2…yN)与(u1u2…uN)对应位置值不相同的位数；
（以后将称d为Hamming距离）
2024/10/2
11
§5.1 离散信道编码问题
C40
p0 (1
p)4
C41
p1 (1
p)3
1 2
C42
p2 (1
信息论与编码理论习题答案全解
第二章 信息量和熵2.2 八元编码系统，码长为3，第一个符号用于同步，每秒1000个码字，求它的信息速率。
解：同步信息均相同，不含信息，因此 每个码字的信息量为 2⨯8log =2⨯3=6 bit因此，信息速率为 6⨯1000=6000 bit/s2.3 掷一对无偏骰子，告诉你得到的总的点数为：(a) 7; (b) 12。
问各得到多少信息量。
解：(1) 可能的组合为 {1，6},{2，5},{3，4},{4，3},{5，2},{6，1})(a p =366=61得到的信息量 =)(1loga p =6log =2.585 bit (2) 可能的唯一，为 {6，6})(b p =361得到的信息量=)(1logb p =36log =5.17 bit2.4 经过充分洗牌后的一副扑克（52张），问：(a) 任何一种特定的排列所给出的信息量是多少？(b) 若从中抽取13张牌，所给出的点数都不相同时得到多少信息量？解：(a) )(a p =!521信息量=)(1loga p =!52log =225.58 bit (b) ⎩⎨⎧⋯⋯⋯⋯花色任选种点数任意排列13413!13)(b p =1352134!13A ⨯=1352134C 信息量=1313524log log -C =13.208 bit2.9 随机掷3颗骰子，X 表示第一颗骰子的结果，Y 表示第一和第二颗骰子的点数之和，Z 表示3颗骰子的点数之和，试求)|(Y Z H 、)|(Y X H 、),|(Y X Z H 、)|,(Y Z X H 、)|(X Z H 。
解：令第一第二第三颗骰子的结果分别为321,,x x x ，1x ，2x ，3x 相互独立，则1x X =，21x x Y +=，321x x x Z ++=)|(Y Z H =)(3x H =log 6=2.585 bit )|(X Z H =)(32x x H +=)(Y H=2⨯(361log 36+362log 18+363log 12+364log 9+365log 536)+366log 6=3.2744 bit)|(Y X H =)(X H -);(Y X I =)(X H -[)(Y H -)|(X Y H ]而)|(X Y H =)(X H ，所以)|(Y X H = 2)(X H -)(Y H =1.8955 bit或)|(Y X H =)(XY H -)(Y H =)(X H +)|(X Y H -)(Y H而)|(X Y H =)(X H ，所以)|(Y X H =2)(X H -)(Y H =1.8955 bit),|(Y X Z H =)|(Y Z H =)(X H =2.585 bit)|,(Y Z X H =)|(Y X H +)|(XY Z H =1.8955+2.585=4.4805 bit2.10 设一个系统传送10个数字，0，1，…，9。
第五章 编码定理 PPT课件
S2 0.18
S3 0.1
S4 S5 0.1 0.07
S6 0.06
S7 0.05
S8 0.04
可以求得H(S)=2.5524比特/符号及方差
（2 S） 7.82
若 信 可要源见设求符，译编号差码码序错差效列率错率长与N为（ 为度编2：1必码9SH00）H须效%-(26NS2(（(，2S满率7)S.)1S)8H即足要0）2H-(26S2：求(0(S7)S.2.)0并N)88（.72292不.10S8H0）.2高21H0可-(268S20.(79(S2时7).S解8.6))821，可2得001必解.620088.须得792.18N0把021可.820118解H0600.H82-(得26个S28(1(S)0S符)8) 0号.02.8208.792.821可
当 N→∞时，由④式得： N 2
r M
→1ex0p( N2N(无S2绝))对大应部的分码在字，A译中码的一序定列出已错
在N→∞时，由①式得 P(A ) →1 P( Ac ) 0
全部序列几乎都落入 A 集，且无对应的码字，故译
码错误概率趋于1。完成逆定理的证明。
第五章 编码定理
第五章 编码定理
3、变换编码 特点：将原来的信号空间变换为另外一个空间。 如Fourier（傅里叶）变换、Haar（哈尔）变换、
Walsh-Hadamard（阿达玛）变换（简称DWHT）、 Slant变换、Cosine变换、Sine变换、 Hotelling 变换等 4、识别编码 特点：关联识别（与样本比较识别），逻辑识别 （利用逻辑表达式判断识别）。
aN A
aN A
M exp[(H (S) )N ]
P(A ) P(aN ) M min P(aN )
第五章信道编码
上海第二工业大学冯涛编写
17:18:27
3、单用户信道和多用户信道 单用户信道：信道只有一个输入端和一个输出端，且只能 进行单方向的通信。 多用户信道：又称多端信道，输入端或者输出端至少有一 端具有两个或者两个以上用户，并且可以实现双向通信，目 前大多数信道都是多端信道。 4、离散信道、连续信道、半离散半连续信道和波形信道 离散信道：又称数字信道，该类信道中输入空间、输出空 间均为离散时间集合，集合中事件的数量是有限的，或者无 限的，随机变量取值都是离散的。 波形信道：也称为时间连续信道，信道输入、输出都是时 间的函数，而且随机变量的取值都取自连续集合，且在时间 上的取值是连续的。
17:18:27
信道(information channels)
X={X0,X1,X2… Xn-1}含n 个元素的输入符号集
Y={y0,y1,y2…ym-1}含m个 元素的输出符号
n与m的值不同，信道模型不同
9
上海第二工业大学冯涛编写
17:18:27
信道的数学模型： {X P(Y/X) Y}
x
P(Y/X)
由于长途线路是无法传送近似于0的分量，即：在计算机 的远程通信中，是不能直接传输原始的电脉冲信号（基带信 号）。因此就需要利用频带传输，用基带脉冲对载波波形的 某些参量进行控制，使这些参量随基带脉冲变化，这就是调 制。经过调制的信号称为已调信号。已调信号通过线路传输 到接收端，然后经过解调恢复为原始基带脉冲。
Y
输入与输出之间一般不是确定的函数关系，而是统计 依赖的。
10
上海第二工业大学冯涛编写
17:18:27
5.1 信道分类 1、有线信道和无线信道 有线信道：明线、对称电缆、同轴电缆及光缆等。 无线信道：地波传播、短波电离层反射、超短波或微波视 距中继、人造卫星中继以及各种散射信道等。
信源及信道编码课件
BCH码与RS码
总结词
BCH码（Bose-ChaudhuriHocquenghem码）和RS码（ReedSolomon码）是两种常用的纠错码。
VS
详细描述
BCH码是一类具有循环结构的纠错码，能 够纠正多个随机错误。RS码是一种非二 进制的、具有强纠错能力的纠错码，广泛 应用于光盘、硬盘等数据存储设备。
成压缩码字。
LZ78算法则是在LZ77的基础上 进行改进，它使用字典的方式 进行压缩，能够处理更广泛的 数据类型和格式。
LZ系列算法在实际应用中具有 较高的压缩比和较快的压缩速 度，因此在许多领域都有广泛 的应用。
04
常见信道编码技术
线性分组码
总结词
线性分组码是一种纠错码，它将信息 比特分成若干组，每组包含k个比特， 然后添加r个校验比特，形成一个长度 为n的码字。
卷积码是一种将输入信 息序列分成若干个段， 并利用有限状态自动机 进行编码的方法，它能 够在纠错能力和编码效 率之间进行折衷选择。
03
常见信源编码技术
霍夫曼编码
01
霍夫曼编码是一种无损数据压缩 算法，它利用了数据的概率分布 特性进行编码。
02
在霍夫曼编码中，频繁出现的字 符使用较短的编码，而较少出现
奇偶校验是一种简单的 错误检测方法，通过在 信息码元中添加一个校 验位，使得整个码字的 二进制数中“1”的个数 为偶数（偶校验）或奇 数（奇校验）。
循环冗余校验（CRC） 是一种利用模运算和多 项式除法进行错误检测 的方法，通过生成一个 包含冗余信息的校验码 ，使得在传输过程中出 现错误时能够被检测。
信源及信道编码课件
目录 CONTENT
• 信源编码概述 • 信道编码概述 • 常见信源编码技术 • 常见信道编码技术 • 信源与信道编码的应用场景 • 信源与信道编码的未来发展
5信道编码原理精品文档
第5章 信道编码原理
3. 错误译码概率Pej
当信道的输入符号是ai，在信道输出端接收到某符号 bj(j=1,2,…,s)后，错误译码的概率pej为信道输出端出现 bj(j=1,2,…,s)的前提下，推测信道输入的符号是除了ai以外 的其他任何可能的输入符号的后验概率，即
第5章 信道编码原理
注： （2） 不同的译码规则会引起不同的可靠程度。
例：若已知二进制对称信道传递矩阵为
01 P0 1 3
44 131
44
其信源符号“0”和“1”的正确传递概率均为p=1/4； “0”和“1”的错误传递概率均为p＝3／4。
第5章 信道编码原理
如采取译码规则(2)，F(0)=0,F(1)=1，则信道输出端出 现“0”和“1”的正确译码概率分别是：
符号种数r和s可相等，也可不等。
第5章 信道编码原理
基本离散信道的信道矩阵
要完整描述信道的传递特性必须测定r×s个条件概率，并 将r×s个条件概率排列成一个r×s阶矩阵
a1 P a2
ar
b1 p(b1 a1) p(b1 a2)
p(b1 ar)
b2
bs
p(b2 a1) p(bs a1)
p ej P X eY b j
式中：e表示除了F(bj)=ai以外的所有可能的输入符号的集合。
注：
p e j1 p r j1 p F ( b j) a ib j
第5章 信道编码原理
4. 平均错误译码概率Pe
s
s
P ep (b j)p e j p (b j)1 p F (b j) a ib j
第5章_离散信道及其信道编码
t为1码元（或符号、符号序列等）所占用的时间，主 单位为s。
8
东南大学移动通信国家重点实验室
“信息论与编码”课件
5.2 无扰离散信道的传输特性
5.2.1 基本概念
信道容量概念
消息在不失真传输的条件下，信道所允许的最 大信息传输速率称为信道容量，即 C = Rmax。 当单位为b/s（bps）时，C变换为Ct ，有 Ct = Rt max (5.3)
“信息论与编码”课件
5.2 无扰离散信道的传输特性
5.2.2 典型无扰离散信道的信道容量
解 通过点、划可构成无穷多种组合，形成明码或密码。 设四种基本符号分别为a1, a2, a3, a4，点、划为状态1，字 母及单词间隔作为状态2，t >6的间隔均看作单词间隔。 由于发报期间，不允许出现2个及2个以上的字母间隔或 单词间隔，即“间隔”不能连用，因此Morse信道存在有 固定约束，其状态转移图为图5.2。
ห้องสมุดไป่ตู้
5.2 无扰离散信道的传输特性
5.2.2 典型无扰离散信道的信道容量
例5.2 求传输脉冲时间调制信号的信道容量。
解 求信道容量，主要是求在T 时间内能构成的不同消息总
数N(T)。 若以最窄的脉冲作为单位码元而其他脉冲的宽度都是它的 倍数，则PTM脉冲宽度量化为有限种信道基本符号。 设有D种信道基本符号，分别为：a1, a2, …, aD ；对应的占 用时间分别为：t1, t2, …, tD ；选取时间T 能够遍历D种信道 基本符号，则在T 内可能构成的符号总数N (T)是D种信道 基本符号的全排列，有如下表达式：
东南大学移动通信国家重点实验室
14
“信息论与编码”课件
5.2 无扰离散信道的传输特性
第五章 离散信道及其编码定理
什么是信道？
信道——信号所通过的通道。信息
是抽象的，信道则是具体的。比如：二 人对话，二人间的空气就是信道；打电 话，电话线就是信道；看电视，听收音 机，收、发间的空间就是信道。
4
信道的作用
在通信系统中信道主要用于传输。
研究信道的目的
在通信系统中研究信道，主要是为
了描述、度量、分析不同类型信道，计 算其容量，即极限传输能力，并分析其 特性。
5
信道概述
发 送 波 形 集 合 A
PA3 PA5 PA4 PA1 PA2
1 3 4 2 5
B C
接 收 波 形 集 合
转移概率P(y|x)描述发送变量和接 收变量之间的关系。
6
5.1 信道分类
离散信道：输入输出均为离散事件集 连续信道：输入输出空间均为连续事件集 半连续信道：输入和输出一个是离散的， 一个是连续的 时间离散的连续信道：信道输入和输出是 连续的时间序列 波形信道：输入和输出都是时间的实函数 x(t), y(t)
18
有关DMC的容量定理
一、有关DMC的容量定理 （所说的DMC都是离散无记忆平稳信道） 设DMC在某个时刻输入随机变量为X，输出随 机变量为Y。信道响应特性为转移概率矩阵 [p(y|x)，x∈{0, 1, …, K-1}，y∈{0, 1, …, J-1}]， 它 是 一 个 K×J 阶 矩 阵 （ 其 中 p(y|x)=P(Y=y|X=x)）。 X 的概率分布为{x, q(x), x∈{0, 1, …, K-1}}。 Y 的概率分布为{y, w(y), y∈{0, 1, …, J-1}}。 我们有以下的结论：
37
对于无噪信道，其信道容量为
式中假设输出信源Y的符号共有m个，等概率分布 时H(Y)最大,而且一定能找到一种输入分布使得输出 符号Y达到等概率分布。 可见这些信道的信道容量C只决定于信道的输入符号 数n，或输出符号数m，与信源无关。
信道编码定理
Fano不等式
pb log(M 1) H ( pb ) H (U | V ) 1 L L pb log(M 1) H ( pb ) H (U | V ) L 1 [ H (U L ) I (U L ;V L )] L 1 H L (U ) I ( X N ; Y N ) L N H L (U ) C L
信息数字：k0位，每位持续时间，ts=1/Rs 码字输出序列：n0位，每位持续时间，tc n0tc=k0ts
纠错编码器
送给纠错编码器的消息是经过最佳信源编码后，信息 速率为比特/秒的离散二元或q元数字序列。 分组码 每K个信息数字为一组，计算出N个编码数字，称这些 数字为一个码字。通常N为整数。 卷积码 输出的n0长码段不仅依赖于当前的k0位信息数字，还 依赖于前m个信息段的信息数字，即总共与（m＋1） k0个信息数字有关。
思路：编码规则采用随机编码；译码规则 是联合典型序列译码
错误概率上限
并集限
C Pem Pr (y Ym | x m ) Pr ( y
Ymm ' | x m )
m ', m ' m
m ', m ' m
Pr (ln
P(y | x m ' ) 0 | x m ) Pe ( m m ') P(y | x m ) m ', m ' m
几个概念
码率 误组率
R＝K/N
p ( xm ' xm ) 1 pb pel L l 1
L
误比特率
2.信道译码问题
译码错误概率
pe ( y) PN (m' m | y) 1 pN (m' m | y)
5信道编码
信道容量/DMC信道/对称DMC
●对称DMC信道的容量 ■性质1：对称DMC信道的条件熵 H(Y|X) 与输入符 号概率分布 p( xi ) 无关，且有H(Y/X)=H(Y/xi)， i=0,1,…,q-1。 ■性质2：输入符号等概率分布时 ,输出符号等概率 分布；反之亦然。 ■性质3：当输入符号等概率分布时, 对称DMC信道 的I(X;Y)达到其信道容量。为
C / w E 2 1 C / W b lim lim 2 ln 2 ln 2 1 . 6 dB C / W 0C C / W 0 N / W 0
信道容量
●DMC信道的容量 ■输入符号集 X ={ x1 , x2 , … , xq } ■输出符号集 Y ={ y1 , y2 , … , yQ } ■如已知信道的转移概率 p( yj | xi ) , 则对应输入符 号的概率分布p(xi)可以求出信道的传输信息 qQ I(X;Y) p ( y x ) j| i
信道容量/DMC信道
●若信道平均传输一个符号需要t秒种 , 则单位时间的 信道容量记为Ct。 Ct = C / t 单位: bit/s ●这里存在两个问题： ■一是I(X;Y)的最大值是否存在？ ■二是如果最大值存在，怎样才能找到它？ 定理：给定转移概率矩阵P后，平均互信息I(X;Y)是 概率矢量Px的上信道编码的目的是提高信息传输或通信的可靠 性。 ■信道编码的任务是降低误码率，使系统具有一定 的纠错能力和抗干扰能力，提高数据传输效率。 ■信道编码的过程是在源数据码流中加插一些码 元，达到在接收端进行检错和纠错的目的。 ■在带宽固定的信道中，总的传送码率是固定的， 由于信道编码增加了数据量，其结果只能是以降 低传送有用信息码率为代价了。
加性高斯白噪声
信息论与编码-IDT第五章信道编码2
• (4) 转换计算式 若将P 若将 x=[p（x0）,p（x1）， ，p（xq-1）]定 （ （ ），….， （ 定 义为输入符号的概率矢量Px， 义为输入符号的概率矢量 ，关系式 I(X;Y)＝H(X)- H(X/Y)＝H(Y)- H(Y/X) ＝ ＝ 可得: 可得
C = max I ( X ; Y )
Px Px
= max[ H (Y )] − H (Y / xi )
2011-8-19
Px
11
于是问题就简化为求
max H（Y）］。 ）］。 ［ （ ）］
Px
由信息论原理， 由信息论原理 ， 当输出符号集的各符号 等概出现时可得最大信源熵， 等概出现时可得最大信源熵，即 H（Y）≤logQ 或者 （ ） max［H（Y）］ ）］=logQ ■ ［ （ ）］
i j
= −∑ p( y j / xi ) log p( y j / xi )
j
= H (Y / xi )
2011-8-19 9
当信道输入符号等概分布时， ② 当信道输入符号等概分布时，信道输出 符号也等概分布； 符号也等概分布； 反之，若信道输出符号等概分布， 反之，若信道输出符号等概分布，信道 输入符号必定也是等概分布。 输入符号必定也是等概分布。
第十三讲
2003年6月 年 月
2011-8-19
1
5.1.2 信道容量
• 1．如何刻画DMC信道的容量 ．如何刻画 信道的容量? 信道的容量 考虑一个DMC信道，其输入字符集是 信道， 考虑一个 信道 其输入字符集是X={x0， x1，…，xq-1}，输出字符集是 ， ，输出字符集是Y={y0,y1，…， ， yQ-1}，转移概率 （yj／xi）. 若给定信道的转 ，转移概率P（ 移概率和对应于输入符号的概率分布p（ 移概率和对应于输入符号的概率分布 （xi）, 信道容量C为 则 DMC信道容量 为 信道容量 q−1 Q−1 p( y j / xi ) C = max I ( X ; Y ) = max∑∑ p(xi ) p( y j / xi ) log p( xi ) p ( xi ) p( y j ) i =0 j =0
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
5
“信息论与编码”课件
5.1 信道的分类及其描述
（5）信道按其统计特性来划分， 恒参信道：信道的统计特性不随时间变化，又称为平 稳信道。 变参信道：信道的统计特性随时间变化。
本章只讨论平稳的单向单路的无扰和有扰离散 信道，对于有扰离散信道将分别讨论无记忆和 有记忆两种情况。
log 2568000 8000 × log 256 = 64 kbps Ct = = T
这就是传送PCM信号需要的信道容量。
东南大学移动通信国家重点实验室
13
“信息论与编码”课件
5.2 无扰离散信道的传输特性
5.2.2 典型无扰离散信道的信道容量 一般地，若每个信道基本符号的长度为b秒，每 秒钟内信道上可传送的信道基本符号数为n，则 n =1/b；T秒钟内信道上可构成的不同消息数为 N(T)=D nT，其中nT为T 秒钟内信道上可传送的 信道基本符号数。于是 Ct = nlb D bps (5.6) 如果不以秒而是以一个码元的时间作为标准， 则 C = Ct / n = lb D bit/码元时间 (5.7)
(5.8)
式中第1行的××⋅⋅⋅××表示除a1外的D – 1个信道基本符号的 全排列，其余类推。利用递推的方法或其他方法可得 C = lb rmax bit /单位码元时间 其中rmax是N (T)的特征方程 (5.9)
(5.10) 的最大正实根。 从物理概念考虑（脉冲间隔T）lbD/T
东南大学移动通信国家重点实验室
(a )
东南大学移动通信国家重点实验室
21
“信息论与编码”课件
5.2 无扰离散信道的传输特性
5.2.2 典型无扰离散信道的信道容量 推广之，设从状态 i 到状态 j 发的符号为 a ，所 k ak b 用的时间为 ij ，则 (a ) (a ) ，b11 b11 —从状态1到状态1，有两种可能：b11 (a ) (a ) b21 —从状态2到状态1，有两种可能： b21 ，b21 (a ) (a ) b12 ，b12 b12 —从状态1到状态2，有两种可能： b22 —从状态2到状态2，无此可能。 根据表5.1，有
lbN (T ) C t = lim T →∞ T
东南大学移动通信国家重点实验室
(5.5)
10
“信息论与编码”课件
5.2 无扰离散信道的传输特性
5.2.1 基本概念
定义5.2 信道基本符号是指信道上允许 传送的符号，是信源编码器的输出。
例如：二进制信道只有1、0两个基本符号； 多进制信道有多个基本符号，如16进制信道 包括0~ F 这16种基本符号。
东南大学移动通信国家重点实验室
7
“信息论与编码”课件
5.2 无扰离散信道的传输特性
5.2.1 基本概念 消息在无扰离散信道上传输不会损失信息量， 所以在这种信道上的信息传输速率就等于信源 的时间熵，即 Rt = Ht bit/s (5.1) 平均互信息量实质上就是量纲为比特/码元（或 比特/符号、比特/符号序列等）的信息传输速 率。如果改变其时间单位，则有 1 (5.2) Rt = I ( X; Y) t
东南大学移动通信国家重点实验室
14
“信息论与编码”课件
5.2 无扰离散信道的传输特性
5.2.2 典型无扰离散信道的信道容量 2. 无固定约束的不均匀编码信道的信道容量 无固定约束的不均匀编码信道的基本符号 是等幅的不等长脉冲，用脉冲占有时间的不同 来携带信息。
东南大学移动通信国家重点实验室
15
“信息论与编码”课件
t为1码元（或符号、符号序列等）所占用的时间，主 单位为s。
8
东南大学移动通信国家重点实验室
“信息论与编码”课件
5.2 无扰离散信道的传输特性
5.2.1 基本概念
信道容量概念
消息在不失真传输的条件下，信道所允许的最 大信息传输速率称为信道容量，即 C = Rmax。 当单位为b/s（bps）时，C变换为Ct ，有 Ct = Rt max (5.3)
东南大学移动通信国家重点实验室
9
“信息论与编码”课件
5.2 无扰离散信道的传输特性
5.2.1 基本概念
信道容量和信道中传输的消息数目之间的 关系
对无扰情况，信道传输的信息量就是信源发出 的信息量，若在T时间内信源发出的符号总数为 N(T)，则
lbN (T ) Ct ≈ T
(5.4)
若消息之间是统计独立的，则对于平稳来自源，有( a1 ) ( a2 ) ( a1 ) ( a2 ) N 2 (T ) = N1 (T − b11 ) + N1 (T − b11 ) + N 2 (T − b21 ) + N 2 (T − b21 )
(5.12) 式中 N 1 (T − b12 3 ) 表示在T时间内发的最后一个符号 是a3并使状态从状态1改变到状态2的各种可能消息的总 数，而a3用的时间为b12；其余类推。
17
r
− t1
+r
−t2
++ r
−tD
−1 = 0
“信息论与编码”课件
5.2 无扰离散信道的传输特性
5.2.2 典型无扰离散信道的信道容量 3. 有固定约束的不均匀编码信道的信道容量
假如编码不满足遍历性，即由转移不受限制变为转移 受限制，传输它的信道就成为有固定约束的不均匀编 码信道。 传输莫尔斯（Morse）电码的信道是一种典型的有固 定约束的不均匀编码信道，下面通过对它的分析来看 这种信道的信道容量。
东南大学移动通信国家重点实验室
18
“信息论与编码”课件
5.2 无扰离散信道的传输特性
5.2.2 典型无扰离散信道的信道容量
例5.3 电报员发报用Morse电码；Morse电码由点、划、字 母间隔和单词间隔四种基本符号构成，见表5.1，表中的 “＋”表示按键合上，“－”表示按键断开，分别相应于 发声与不发声状态；试求Morse信道的信道容量。
5.2 无扰离散信道的传输特性
5.2.2 典型无扰离散信道的信道容量
例5.2 求传输脉冲时间调制信号的信道容量。
解 求信道容量，主要是求在T 时间内能构成的不同消息总
数N(T)。 若以最窄的脉冲作为单位码元而其他脉冲的宽度都是它的 倍数，则PTM脉冲宽度量化为有限种信道基本符号。 设有D种信道基本符号，分别为：a1, a2, …, aD ；对应的占 用时间分别为：t1, t2, …, tD ；选取时间T 能够遍历D种信道 基本符号，则在T 内可能构成的符号总数N (T)是D种信道 基本符号的全排列，有如下表达式：
“信息论与编码”课件
第五章 离散信道及其信道编码
东南大学移动通信国家重点实验室
1
“信息论与编码”课件
本章内容提要
信道的分类及其描述 无扰离散信道的传输特性 有扰离散信道的传输特性 译码准则 有扰离散信道的信道编码定理 信道编码定理的应用 Fano不等式的证明
东南大学移动通信国家重点实验室
东南大学移动通信国家重点实验室
16
“信息论与编码”课件
5.2 无扰离散信道的传输特性
5.2.2 典型无扰离散信道的信道容量
(续)
N (T ) = a1 × × × × + a 2 × × × × + + a D × × × × = × × × × × a1 + × × × × × a 2 = N (T − t1 ) + N (T − t 2 ) + + N (T − t D ) + + × × × × × aD
基本符号 构成 点 划 ＋－ ＋＋ ＋－ 持续时间 具体实现 t1 =2 t2 =4 t3 =3 t4 = 6 清脆响一短声 响一长声，声长三倍点 3个单位码元时间不发声 6个单位码元时间不发声
字母间隔 ――― 单词间隔 ――――――
表5.1 Morse电码的构成表
东南大学移动通信国家重点实验室
19
2
“信息论与编码”课件
5.1 信道的分类及其描述
信道模型
X
信道{P(y/x)}
Y
图5.1 信道模型 图中X为信道的输入消息集合，也称为信道的输入 空间，Y为信道的输出消息集合，也称为信道的输出 空间。集合{P(y|x)}是描述信道特征的传输概率集合。
东南大学移动通信国家重点实验室
3
“信息论与编码”课件
东南大学移动通信国家重点实验室
4
“信息论与编码”课件
5.1 信道的分类及其描述
（3） 信道按输入/输出信号间的关系是否确定来划分， 无扰信道：信道输入/输出之间的关系是一种确定的关系，这 是一种理想化的信道，信道上不存在噪声及干扰。无扰信道 是一种理想信道，可以作为衡量其他信道特性的参考。 有扰信道：信道输入/输出之间的关系是一种统计依存的关系， 信道上存在干扰或噪声，或两者都有。实际的通信信道几乎 都是有扰信道。 （4） 信道按其输入/输出之间关系的记忆性来划分， 无记忆信道：在某一时刻信道的输出消息仅与当时的信道输 入消息有关，而与前面时刻的信道输入或输出消息无关。信 道的统计特性可以用信道传输概率的集合{P(y|x)}来描述。 有记忆信道：在任意时刻信道的输出消息不仅与当时的信道 输入消息有关，还与以前时刻的信道输入消息和（或）输出 消息有关。实际信道一般都是有记忆的。
a1
状态1
a2
a3 a4 a1 a2
状态2
图5.2 例5.3的状态转移图
20
东南大学移动通信国家重点实验室
“信息论与编码”课件
5.2 无扰离散信道的传输特性
5.2.2 典型无扰离散信道的信道容量
先求在时间T内从状态1转移到状态2或从状态1、2转移 到状态1的各种可能消息的总数目，分别用N1(T)和N2(T) ( a3 ) ( a4 ) 表示。则 N1 (T ) = N1 (T − b12 (5.11) ) + N1 (T − b12 )