信息论北理工第9章
北理研究生数值分析---第九章课件
§1 Euler方法
1.Euler方法 以差分方程初值问题
y n 1 y n hf ( x n , y n ) y 0 y (a ) n 0 ,1, , N 1
的解作为微分方程初值问题的数值解，即
y(xn ) yn
称为Euler方法。
1.用Euler方法求初值问题
( k 0 ,1, 2 , )
y n 1 y n 1
(k )
( k 1)
h 2
f ( x n 1 , y n 1 ) f ( x n 1 , y n 1 )
(k )
( k 1 )
hL 2 hL 2
y n 1 )
k
( k 1)
y n 1
(k ) (0)
k
hL 2
( )
k p 1
hL 2
)
k
] y n 1 y n 1
(1 ) (0)
1
hL 2
y n 1 y n 1 0
(1 ) (0)
2.2 改进Euler法
y n 1 y n hf ( x n , y n ) h y n 1 y n f ( x n , y n ) f ( x n 1 , y n 1 ) 2 预测 校正
约定：不加特别说明，必有 （1） f ( x , y ) 连续，且关于 y 满足 Lipschitz 条件，由此保证初始问题的解存在唯一。 （2）步长 h n x n 1 x n ( n 0 ,1, , N 1 ) 为常量 h 。
微分方程离散化的方法
(1) 用差商近似导数
y ( x n ) y ( x n 1 ) y ( x n ) h
信息论基础 ppt课件
ppt课件
(2)信息与消息和信号的区别
在通信中对信息的表达分为三个层次：信号、消息、信 息。
信号：是信息的物理表达层，是三个层次中最具体的层 次。它是一个物理量，是一个载荷信息的实体，可测量、
可描述、可显示。如电信号、光信号等。
消息：(或称为符号)是信息的数学表达层，它虽不是一 个物理量，但是可以定量地加以描述，它是具体物理信 号的进一步数学抽象，可将具体物理信号抽象为两大类 型： 1) 离散(数字)消息，是一组未知量，可用随机序列来 描述：U=(U1…Ui…UL) 2) 连续(模拟)消息，也是未知量，它可用随机过程来 描述：U(t,ω)
ppt课件
学习方法
本课程以概率论为基础，数学推导较多，学 习时主要把注意力集中到概念的理解上，不要 过分追求数学细节的推导。学习时一定要从始 至终注意基本概念的理解，不断加深概念的把 握。学习时注意理解各个概念的“用处”，结 合其他课程理解它的意义，而不要把它当作数 学课来学习，提倡独立思考，注重思考在学习 中的重要性。
信息论--基础理论与应用
北京理工大学 信息与电子学院 2014年3月
ppt课件
课程类型：专业选修课 学 时：32学时 授课时间：第一周----第八周 考试时间：第九周 教 材：《信息论—基础理论与应用》,傅祖芸,电子工业出版社 参考教材：
①《信息论与编码》,陈运,电子工业出版社 ②《应用信息论基础》,朱雪龙，清华大学出版社 ③《信息论与编码学习辅导及习题详解》傅祖芸,电子工业出版社
ppt课件
信息论
信息论已经成为现代信息科学的一个重要组成部分，它 是现代通信和信息技术的理论基础。现代信息论又是数 学概率论下的一个分支，与遍历性理论、大偏差理论以 及统计力学等都有密切关系，因此信息论已成为大学诸 多专业的必修课和选修课，并不再局限于已有的通信工 程、电子工程、信息工程等专业。
北理工计算机体系结构习题解答
*1
32000 *
2
15000
*
2
8000
*
2)
*
(
40
1 *106
)
3.875*103秒
21
1-11 假设在一台40MHz处理机上运营200,000条指令旳目旳代码，程序主要
由四种指令构成。根据程序跟踪试验成果，已知指令混合比和每种指令所 需旳指令数如下：
指令类型
CPI
指令混合比
算术和逻辑
1
6
第1章 基础知识
仿真
用一种机器(A)旳微程序直接解 释 实 现 另 一 种 机 器 ( B) 旳 指 令 系 统，从而实现软件移植旳措施
被仿真旳机器称为目旳机，进行 仿真旳机器称为宿主机，解释微 程序机器称为仿真微程序
7
第1章 基础知识
并行性
指能够同步进行运算或操作旳特 征，它有两重含义：
40
第2章
（1）最优Huffman H=- ∑Pi×log2Pi
=0.25×2+0.20×2.322+0.15×2.737+ ……
=2.96
41
I10
I9
I8
I7
I6
I5
I4
I3
I2
0.02
0.03
0.04
0.05
0.08
0.08
0.10
0.15
0.20
1
1 0
0
0.05
0.09
1
0
1
0
0.17
原来存在旳事物或属性，从某个角 度看却好象不存在
软件兼容
程序能够不加修改地运营在各档机 器上，区别仅在于运营时间不同
信息论课后习题答案
第六章 有噪信道编码6.1 R 为信息传输率，根据香农第二定理，当码长n->无穷大时，满足什么关系式，可使错误概率Pe->0。
答：Pe<exp{-nE(R)}->0，其中E(R)为可靠性函数，且在9<R<C 的范围为正。
信道容量C 是保证无差错传输时，信息传输率R 的权限值。
6.2 写出费诺不等式，其中哪一项表示是否判对的疑义度，log(k-1)又表示什么？答：H(X|Y)<=H2(Pe)+Pelog(k-1) ，H2(pe)是否判对的疑义度。
表示如果判决出错，错在k-1个符号中的一个，疑义度不会超过log(k-1)。
6.3 根据香农定理说明，（信息容量）是保证无差错传输时信息传输率R 的上限值，（平均错误概率）是信源可压缩信息的最低极限。
6.4 最大后验概率译码准则就是最小错误译码准则，对吗？错误。
()∑≠-==≠=k i k i k k e y x y xy x x y p )|(1)|()|(φφφ 这个公式可知最大后验概率与最小错误译码准则所得的最终结果是相等的。
但并非概念定义一致。
6.5 在信源等该分布时，则极大似然函数译码准则就是最小错误译码准则，对吗？ Proof: if ())|(|k k x y p x y p > m=1,2,……,MThen 信道等概率输入时，有),()(m k x q x q = 代入上式得)()|()()|(m m k k x q x y p x q x y p >So,it comes to )()(y x p y x p m k >所以说明全概率最大，对应最大联合概率译码准则。
1/2 1/6 1/36.6 离散无记忆信道DMC ，转移概率矩阵为 P= 1/3 1/2 1/61/6 1/3 1/2(1 )q(x1)=1/2 q(x2)=1/4 q(x3)=1/4. 求最佳判决译码及错误概率。
（2）若信源等概分布，求最佳判决译码及错误概率。
信息论北理工复习2013
信息论复习1．消息、信号、信息的含义、定义及区别。
信息是指各个事物运动的状态及状态变化的方式。
消息是指包含信息的语言，文字和图像等。
信号是消息的物理体现。
消息是信息的数学载体、信号是信息的物理载体信号：具体的、物理的消息：具体的、非物理的信息：非具体的、非物理的同一信息，可以采用不同形式的物理量来载荷，也可以采用不同的数学描述方式。
同样，同一类型信号或消息也可以代表不同内容的信息信息是可以量度的，信息量有多少的差别。
4．信息论的起源、历史与发展。
1948年，Shannon提出信息论，“通信中的数学理论”—现代信息论的开创性的权威论文，为信息论的创立作出了独特的贡献。
6．通信的目的？要解决的最基本问题？通信有效性的概念。
提高通信有效性的最根本途径？通信可靠性的概念。
提高通信可靠性的最根本途径？通信安全性的概念，提高通信安全性的最根本途径？通信系统的性能指标主要是有效性，可靠性，安全性和经济性。
通信系统优化就是使这些指标达到最佳。
从提高通信系统的有效性意义上说，信源编码器的主要指标是它的编码效率，即理论上所需的码率与实际达到的码率之比。
提高通信有效性的最根本途径是信源编码。
减少冗余。
提高可靠性：信道编码。
增加冗余。
7．随机事件的不确定度和它的自信息量之间的关系及区别？单符号离散信源的数学模型，自信息量、条件自信息量、联合自信息量的含义？信源符号不确定度：具有某种概率的信源符号在发出之前，存在不确定度，不确定度表征该符号的特性。
符号的不确定度在数量上等于它的自信息量，两者的单位相同，但含义不同：•不确定度是信源符号固有的，不管符号是否发出；•自信息量是信源符号发出后给予收信者的；•为了消除该符号的不确定度，接受者需要获得信息量。
自信息量条件自信息量：联合自信息量：8．信息量的性质？含义？分别从输入端、输出端和系统总体来理解互信息量的含义。
自信息量指的是该符号出现后，提供给收信者的信息量。
9. 各种熵（信源熵，条件熵，联合熵（共熵），等）的含义及其关系。
北京理工大学信息与通信工程考研参考书、重点有哪些.
北京理工大学信息与通信工程考研参考书、重点有哪些826信号处理导论一、考试内容1、信号与系统部分信号与系统以确定性信号经过线性时不变(LTI系统的传输与处理为主线,构建起一套基本概念和基本分析与处理方法,从时域到变换域,从连续到离散,从输入输出描述到状态空间描述。
考生应掌握如下基本概念、理论和方法:(1信号、系统的基本概念:信号描述及波形运算,基本典型信号。
系统模型、互联及主要特性;(2LTI系统的时域分析:卷积积分、卷积和、卷积性质与计算。
用微分/差分方程描述的因果系统的经典解法。
零输入/零状态响应;(3确定信号的频谱分析:周期信号的傅立叶级数及傅立叶变换。
非周期信号的傅立叶变换及其性质,典型信号的傅立叶变换及其频谱表示。
抽样定理; (4LTI 系统的频域分析:系统频率响应,系统的傅立叶分析法。
系统模与相位表示、波特图。
无失真传输条件,理想滤波器;(5LTI系统的复频域分析:拉氏变换,Z变换。
典型信号的变换对。
用单边拉氏变换和Z变换求解微分/差分方程。
系统函数。
系统方框图;(6系统状态空间分析:状态方程与输出方程的建立。
掌握状态方程的一种解法。
多输入-多输出系统稳定性判别。
2、数字信号处理部分数字信号处理在全面掌握信号与系统知识的基础上,针对确定性离散信号构建起一套从连续到离散,从时域到变换域的基本概念和基本分析与处理方法。
考生应掌握如下基本概念、理论和方法:(1全面掌握信号与系统的基础知识;(2离散傅立叶变换(DFT:DFT定义、性质;频率取样;用DFT对连续时间信号逼近;加权技术与窗函数;(3快速傅立叶变换(FFT:基-2按时间/按频率抽取的FFT算法;N为复合数的FFT算法;分裂基FFT算法;实序列的FFT算法;快速FFT的应用;(4数字滤波器(DF:IIR/FIR DF的基本结构;IIR DF的设计(原理、常用模拟低通滤波器的特性、从模拟滤波器设计数字滤波器的方法;FIR DF的设计(原理、线性相位FIR DF的特点、窗函数设计法和频率取样设计法;IIR 和FIR DF的比较。
信息论与编码习题参考答案(全)
111
(1)在W4＝011中，接到第一个码字“0”后获得关于a4的信息量I(a4;0)；
(2)在收到“0”的前提下，从第二个码字符号“1”中获取关于a4的信息量I(a4;1/0)；
(3)在收到“01”的前提下，从第三个码字符号“1”中获取关于a4的信息量I(a4;1/01)；
(4)从码字W4＝011中获取关于a4的信息量I(a4;011)。
其中N=2FT,б2X是信号的方差(均值为零),б2N是噪声的方差(均值为零).
再证:单位时间的最大信息传输速率
信息单位/秒
(证明详见p293-p297)
5.12设加性高斯白噪声信道中,信道带宽3kHz,又设{(信号功率+噪声功率)/噪声功率}=10dB.试计算改信道的最大信息传输速率Ct.
解:
5.13在图片传输中,每帧约有2.25×106个像素,为了能很好的重现图像,需分16个量度电平,并假设量度电平等概率分布,试计算每分钟传输一帧图片所需信道的带宽(信噪功率比为30dB).
(2)求信源的极限熵H∞；
(3)求当p=0,p=1时的信息熵，并作出解释。
解:
3.10设某马尔柯夫信源的状态集合S：{S1S2S3}，符号集X：{α1α2α3}。在某状态Si(i=1,2,3)下发发符号αk(k=1,2,3)的概率p(αk/Si) (i=1,2,3; k=1,2,3)标在相应的线段旁,如下图所示.
证明:
3.5试证明：对于有限齐次马氏链，如果存在一个正整数n0≥1，对于一切i，j＝1，2，…，r，都有pij(n0)>0，则对每个j＝1，2，…，r都存在状态极限概率：
(证明详见:p171~175)
3.6设某齐次马氏链的第一步转移概率矩阵为：
北京理工大学826信号处理导论09--14真题
（4）若输入为 x n
2sin (0.5t )4,n0
0,n0
，求系统稳态输出的最大幅值。
（5）当输入 x（n）的 Z 变换为 X（Z）=Z2+3Z-1 时，求输出 y（n）
六、一因果线性时不变系统如图 3 所示，其中包含两个子系统 h1(t)和 h2（t）。当子系统 h1 （t）的输入为单位阶跃信号 u（t）时，子系统 h（t）输出为 e-2tu(t)。子系统 h2（t）的输入 x2（t）和输出 y2（t）的关系满足如下微分方程：
6、（1）利用 DFT 对一对模拟信号进行频谱分析，当抽样点数为 N 时，频率分辨率为 f ，
若抽样间隔不变，怎样才能将频率分辨率提高一倍？ （2）对某一连续时间信号 x（t）进行抽样得到 x(nT)，抽样时满足抽样定理，问如何用抽 样信号 x(nT)恢复出原连续时间信号 x（t），请写出表达式。 二、（20 分） （1）画出 N=4 点 d 按时间抽取法 FFT 运算流图； （2）已知两个离散序列 x1（n）={1，1，0，1}，x2（n）={1，2，-4，2}，根据 FFT 运算流 图求出 x1（k）=DFT[x1(n)]，x2（k）=DFT[x2(n)] （3）给出用一个 N 点 FFT 同时运算两个 N 点实序列的快速算法步骤 （4）利用（3）中一个快速算法，验证 x1（k）和 x2（k）的正确性
信息论答案完整版
2.7 为了传输一个由字母 A、B、C、D 组成的符号集，把每个字母编码成两个二元码脉冲序列，以“00” 代表 A，“01”代表 B，“10”代表 C，“11”代表 D。每个二元码脉冲宽度为 5ms。
(1) 不同字母等概率出现时，计算传输的平均信息速率? (2) 若每个字母出现的概率分别为{1/5，1/4，1/4，3/10}，试计算传输的平均信息速率? 解：（1）不同字母等概率出现时，符号集的概率空间为：
I (a4
=
3)
=
− log
P(a4 )
=
− log
1 8
=
log2
8=3(比特)
此消息中共有 14 个符号“0”，13 个符号“1”，12 个符号“2”和 6 个符号“3”，则此消息的自
信息是
I = 14I (a1 = 0) +13I (a2 = 1) +12I (a3 = 2) + 6I (a4 = 3) ≈ 14×1.415 +13× 2 +12× 2 + 6× 3 ≈ 87.71(比特)
解：同时掷两个均匀的骰子，也就是各面呈现的概率都是 1/6，总共有 36 种可能的状态，每 种状态出现的概率都是 1/36。 （1）设“3 和 5 同时出现”为事件 A。则在 36 种状态中，有两种可能的情况，即 5+3 和 3+5。则
P( A) = 2 / 36 I ( A) = − log P( A) = log2 18 ≈ 4.17(比特)
（2）此消息中共有 45 个信源符号，携带了 87.81 比特信息量，因此，此消息中平均每个符号携带的信 息量为
I2 = 87.81/ 45 ≈ 1.95(比特)
2.4
《信息论与编码技术》复习提纲复习题
《信息论与编码技术》复习提纲复习题《信息论与编码技术》复习提纲复习题纲第0章绪论题纲：I.什么是信息？II.什么是信息论？III.什么是信息的通信模型？IV.什么是信息的测度？V.自信息量的定义、含义、性质需掌握的问题：1.信息的定义是什么？（广义信息、狭义信息——Shannon信息、概率信息）2.Shannon信息论中信息的三要素是什么？3.通信系统模型图是什么？每一部分的作用的是什么？4.什么是信息测度？5.什么是样本空间、概率空间、先验概率、自信息、后验概率、互信息？6.自信息的大小如何计算？单位是什么？含义是什么（是对什么量的度量）？第1章信息论基础㈠《离散信源》题纲：I.信源的定义、分类II.离散信源的数学模型III.熵的定义、含义、性质，联合熵、条件熵IV.离散无记忆信源的特性、熵V.离散有记忆信源的熵、平均符号熵、极限熵VI.马尔科夫信源的定义、状态转移图VII.信源的相对信息率和冗余度需掌握的问题：1.信源的定义、分类是什么？2.离散信源的数学模型是什么？3.信息熵的表达式是什么？信息熵的单位是什么？信息熵的含义是什么？信息熵的性质是什么？4.单符号离散信源最大熵是多少？信源概率如何分布时能达到？5.信源的码率和信息率是什么，如何计算？6.什么是离散无记忆信源？什么是离散有记忆信源？7.离散无记忆信源的数学模型如何描述？信息熵、平均符号熵如何计算？8.离散有记忆多符号离散平稳信源的平均符号熵、极限熵、条件熵（N阶熵）的计算、关系和性质是什么？9.什么是马尔科夫信源？马尔科夫信源的数学模型是什么？马尔科夫信源满足的2个条件是什么？10.马尔科夫信源的状态、状态转移是什么？如何绘制马尔科夫信源状态转移图？11.马尔科夫信源的稳态概率、稳态符号概率、稳态信息熵如何计算？12.信源的相对信息率和冗余度是什么？如何计算？㈡《离散信道》题纲：I.信道的数学模型及分类II.典型离散信道的数学模型III.先验熵和后验熵IV.互信息的定义、性质V.平均互信息的定义、含义、性质、维拉图VI.信道容量的定义VII.特殊离散信道的信道容量需掌握的问题：1.信道的定义是什么？信道如何分类？信道的数学模型是2.二元对称信道和二元删除信道的信道传输概率矩阵是什么？3.对称信道的信道传输概率矩阵有什么特点？4.根据信道的转移特性图，写出信道传输概率矩阵。
信息论基础教程(书配套)
BUPT Press
2. 确定性： . 确定性： 在概率矢量中，只要有一个分量为1，其它分量必为0，它们对熵 的贡献均为0，因此熵等于0。也就是说确定信源的不确定度为0。 3. 非负性：H (p) = H ( p1 , p2 ,L , pq ) ≥ 0 . 非负性： 对确定信源，等号成立。信源熵是自信息的数学期望，自信息是 非负值，所以信源熵必定是非负的。 4. 扩展性： lim H q +1 ( p1 , p2 ,L , pq − ε，ε ) = H q ( p1 , p2 ,L , pq ) . 扩展性： ε →0 这个性质的含义是增加一个基本不会出现的小概率事件，信源的 熵保持不变。 5. 连续性： lim H ( p1 , p2 ,L , pq −1 − ε， pq + ε ) = H ( p1 , p2 ,L , pq ) 连续性： ε →0 即信源概率空间中概率分量的微小波动，不会引起熵的变化。
BUPT Press
信源所含有的信息量 信息量定义为信源发出的所有可能消息的平均不确 信息量 定性，香农把信源所含有的信息量称为信息熵 信息熵。自信息的统计平 信息熵 均定义为信源熵 信源熵，即 信源熵
H ( X ) = −∑ p( xi ) log p( xi )
i =1 q
这里的q表示信源消息的个数。信息熵表示信源的平均不确定性 的大小，同时表示信源输出的消息所含的平均信息量。因此，虽 然信源产生的消息可能会含有不同的信息量。 在收信端，信源的不确定性得到了部分或全部的消除，收信者就 得到了信息。信息在数量上等于通信前后“不确定性”的消除量 （减少量）。
互信息 I ( xi ; y j )是已知事件 y j后所消除的关于事件 xi 的不确定性， xi I ( xi ) 它等于事件 本身的不确定性 减去已知事件 后对y j 仍然 xi 存在的不确定性 I ( xi | 。j ) y 互信息的引出，使信息得到了定量的表示，是信息论发展的一个 重要的里程碑。
北理工 教材
数字媒体技术北理工
本书介绍了数字媒体系统的软硬件组成，数字音频的相关概念和编辑技术，数字图形图像的相关概念，数字视频获取、编辑和后期特效处理等技术，计算机动画基本概念和二维、三维动画技术，游戏设计的基本原理、相关技术等。
本书为从事相关方面研究的人员提供了很好的参考，实用性和指导性强。
数字媒体基础
数字媒体概念
相关名词界定
1.1.2 数字媒体的分类
1.2 数字媒体的特点与应用
1.2.1 数字媒体的特点
1.2.2 数字媒体的应用
1.3 数字媒体技术的发展趋势
1.3.1 数字媒体内容处理技术
1.3.2 数字媒体检索技术
1.3.3 数字媒体传输技术
习题
第2章数字媒体系统组成
2.1 数字媒体硬件环境
2.1.1 计算机核心系统
2.1.2 基本外设
2.1.3 扩展的输入／输出设备
2.1.4 手机和平板电脑
2.2 数字媒体软件基础
2.2.1 数字媒体软件的类别
2.2.2 数字媒体素材制作软件
第3章音频技术基础
第4章图形与图像基础
第5章数字视频技术基础
第6章计算机动画技术及应用第7章游戏设计技术
第8章虚拟现实技术及应用参考文献。
北京理工大学博士学位研究生入学考试业务课参考书目考试
3003
高等波动光学
《物理光学教程》北京理工大学出版社谢敬辉，赵达尊，闫吉祥
2005
3005
导航系统
《导航系统》航空工业出版社袁信、俞济祥、陈哲
1993
3005
导航系统
《捷联惯导系统原理》宇航出版社陈哲
1986
3006
光电子学
《激光原理》国防工业出版社周炳琨等
2009
3006
光电子学
《光纤技术—理论基础及应用》北京理工大学出版社孙雨南等
电磁理论电子科技大学出版社楼仁海等
2023
电子学基础
半导体器件物理电子工业出版社施敏
2023
电子学基础
现代电路理论高等教育出版社邱关源
2023
电子学基础
数字信号处理北京理工大学出版社王世一
2024
材料科学与工程
《材料科学基础教程》哈尔滨工业大学出版社赵品、谢辅洲、孙振国
2002
2025
配位化学
《配位化学》（双语版）化学工业出版社李晖
1992
3015
微波技术
本学科硕士用参考书均可，内容包括微波技术、微波网络、微波天线、微波测量
3016
微光与红外成像技术
《光电成像原理与技术》北京理工大学出版社白廷柱，金伟其
2006
3016
微光与红外成像技术
《微光与红外成像技术》北京理工大学出版社张敬贤、李玉丹等
1995
3017
系统辨识
《过程辨识》清华大学出版社方崇智、萧德云
3001
有机化学Ⅰ
《基础有机化学》第二版（上、下册）高等教育出版社邢其毅等
2003
3002
半导体集成电路原理与设计
信息论与编码理论-习题答案-姜楠-王健-编著-清华大学
第1章 绪论1.1 信源、编码器、信道、干扰、译码器、信宿 1.2 香农1.3 通信系统模型1.4信号是消息的表现形式，是物理的，比如电信号、光信号等。
消息是信息的载荷者，是信号的具体容，不是物理的，但是又比较具体，例如语言、文字、符号、图片等。
信息包含在消息中，是通信系统中被传送的对象，消息被人的大脑所理解就形成了信息。
1.5 略第2章 信息的统计度量2.1 少2.2 y 的出现有助于肯定x 的出现、y 的出现有助于否定x 的出现、x 和y 相互独立 2.3 FTTTF 2.4 2.12比特2.5依题意，题中的过程可分为两步，一是取出一枚硬币恰好是重量不同的那一枚，设其发生的概率为1p ，由于每枚硬币被取出的概率是相同的，所以1181p =所需要的信息量()()1log 6.34I A p bit =-=二是确定它比其他硬币是重还是轻，设其发生的概率为2p ，则212p =总的概率12111812162p p p ==⨯=所需要的信息量()log log1627.34I p bit =-==2.6 设A 表示“大学生”这一事件，B 表示“身高1.60m 以上”这一事件，则()()()0.250.5|0.75p A p B p B A ===故()()()()()()|0.750.25|0.3750.5p AB p A p B A p A B p B p B ⨯====()()()11|loglog 1.42|0.375I A B bit p A B ===2.7 四进制波形所含的信息量为()log 42bit =，八进制波形所含信息量为()log 83bit =，故四进制波形所含信息量为二进制的2倍，八进制波形所含信息量为二进制的3倍。
2.8()()()()()()2322log 3log 32log 3 1.585I p bit I p bit I I =-=-==故以3为底的信息单位是比特的1.585倍。
北理计算机考研科目
北理计算机考研科目北理工计算机考研科目主要包括两个部分：公共基础课和专业课。
下面将逐一介绍这些科目。
一、公共基础课：1.高等数学：考察学生在微积分、极限与连续、一元与多元函数等方面的数学基础。
2.线性代数：涉及向量空间、线性方程组、矩阵理论等知识。
3.概率与数理统计：主要考察概率论和数理统计的基本概念、定理及应用。
4.程序设计语言：主要考察学生对常用程序设计语言（如C/C++、Java）的掌握程度及编程能力。
二、专业课：1.数据结构与算法：主要考察学生对数据结构和常用算法的理解和应用能力。
2.操作系统：包括进程管理、内存管理、文件系统等内容，考察学生对操作系统原理的理解和应用能力。
3.计算机网络：涉及网络协议、网络编程、网络安全等方面的知识，考察学生对计算机网络的理解和应用能力。
4.数据库系统：包括关系模型、数据库设计、SQL语言等内容，考察学生对数据库系统的理解和应用能力。
5.编译原理：涉及词法分析、语法分析、语义分析等内容，考察学生对编译原理的理解和应用能力。
6.软件工程：主要考察学生对软件开发过程中各个阶段的理解和应用能力。
7.计算机组成原理：包括数字电路、存储器层次结构、指令系统等内容，考察学生对计算机硬件结构的理解和应用能力。
除了以上课程，北理工计算机考研还可能会考察学生的数学建模能力、离散数学、信息论与编码等相关知识。
此外，考生还需要了解并掌握一些计算机科学与技术的最新研究方向和前沿知识。
在备考过程中，考生需要对各个科目的知识点进行系统学习和复习，掌握基本概念和原理，并进行大量的习题练习和考前模拟测试，提高解题能力和应试能力。
同时，应注重培养编程实践能力，通过实际项目的开发实践来提升自己的计算机技术水平。
总之，北理工计算机考研科目涵盖了计算机科学与技术的各个领域，考生需要系统学习和巩固相关知识，并进行有效的复习和练习，以应对考试的挑战。
信息论第8章北理工.
[例] 有一单符号离散无记忆信源
x2 , x3 , x4 , x5 , x6 x7 x8 X x1 , P( X ) 1 / 4 1 / 4 1 / 8 1 / 8 1 / 16 1 / 16 1 / 16 1 / 16
对该信源编二进制费诺码，编码过程如表。
编码效率为
(X ) H (RX ) H K 2.55 2.61 97.7%
若采用定长编码，码长L=3，则编码效率
2.55 3 85%
可见哈夫曼的编码效率提高了12.7%。
22
注意：哈夫曼的编法并不惟一。
每次对缩减信源两个概率最小的符号分配“0”和 “1”码元是任意的，所以可得到不同的码字。只 要在各次缩减信源中保持码元分配的一致性，即 能得到可分离码字。
0011
1 2 3 4
4
00 10 11 010
011
2 2 2 3
3
27
L1 P(si )li 0.4 1 0.2 2 0.2 3 0.1 4 0.1 4 2.2
i 1 5
5
L2 P(si )li 0.4 2 0.2 2 0.2 2 0.1 3 0.1 3 2.2
i 1
两种编码的平均码长是一样的，都是2.2，那一种更好 呢，我们可以计算一下平均码长的方差。 定义码字长度的方差σ2：
5 i 1 5
E[(li L ) ] P( si )(li L ) 2
2 2 i 1
q
12 P(si )(li L1 )2 1.36
H ( X ) 2.42 89.63% R 2.7
可以看出，编码效率并不是很高。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
8
(2) 通信系统的主要技术指标
传输速率 码元：携带数据信息的信号单元。 码元传输速率/波特率/调制速率：每秒钟通过信道传输 的码元数。单位是波特(Bd)。 比特率/比特传输速率：每秒钟通过信道传输的信息量。 单位是比特/秒(bit/s)。 这两种传输速率的定义不同，它们都是衡量系统传输能 力的主要指标。 二进制：每个码元的信息含量为1比特，二进制的波特 率与比特率在数值上是相等的。 M进制：每一个码元的信息含量为 log2M。如果码元传 输速率为 rs 波特，相应的比特率 rb 为 rb = rs log2M (bit/s)
7
传输信道/存储媒介
有线：实际的传输信道可能是光缆、电缆等有线信道；
无线：高频无线线路、卫星中继等无线信道； 存储媒介：媒介可以是磁带、磁盘、光盘等；
无论何种传输媒介，都受到不同性质的干扰：
有线信道中的的脉冲干扰； 无线信道中的噪声和衰落；
存储媒介的缺损也被看做是脉冲干扰。
3
9.2 纠错编码的分类及基本概念
按纠正差错的类型可分为纠正随机错误的码和纠正突发 错误的码； 按码的数学结构中校验元和信息元的关系
线性码：编码规则可以用线性方程表示；
非线性码：编码规则不能用线性方程表示； 按码字的结构分 系统码：前 k 个码元与信息码组一致； 非系统码：没有系统码的特性。 按码字中每个码元的取值可分为二进制码和多进制码。 按码是否具有循环性分类,纠错码可分为循环码和非循环 码；
4
按码的结构中对信息序列的处理方式分为分组码和卷积 码 分组码：编码的规则仅局限于本码组之内，本 码组的校验元仅和本码组的信息元相关。 信息码组由 k 个二进制码元组成，共有 2k 个不同的信息码 组； 附加n－k个码元，每个校验元取值与该信息码组的k个码元 有关； 编码器输出长度 n； 码字的数目共有 2k ； 这2k 个码字的集合称为 (n,k) 分组码； 分组码的每个码字只取决于相应的信息码组，编码器是无 记忆的，可用组合逻辑实现。 卷积码：本码组的校验元不仅和本码组的信息元相关， 而且还与本码组相邻的前 n－1 个码组的信息元相关。 5
9
差错率：差错率是衡量传输质量的重要指标之一， 它有以下几种不同的定义。 码元差错率：指在传输的码元总数中发生差错的码元数 所占的比例（平均值），简称误码率。 比特差错率 /比特误码率：指在传输的比特总数中发生 差错的比特数所占的比例（平均值）。在二进制传输系 统中，码元差错率就是比特差错率。 码组差错率：指在传输的码组总数中发生差错的码组数 所占的比例（平均值）。
6
ห้องสมุดไป่ตู้.2.2 纠错码的基本概念及其纠错能力
(1) 数字通信系统工作原理
数字通信系统模型
信 源
信 源 编 码
调 制 器
传 输 媒 介
解 调 器
信 源 译 码
信 宿
图6.1.1 数字通信系统框图
信源：可以是人或机器（例如计算机、传感器）； 信源编码器：将信源输出变换成信息序列； 调制器：把输入的消息序列变换为适合于在实际信道中传输/存储 的信号波形；
第九章 信道的纠错编码
信道编码定理指出：在信息传输率小于信道容量 的条件下，通过编码可以使译码错误概率任意小， 从而达到可靠通信。给出的结果只说明存在一种编 码方式。其误码率随着码长n的增长趋于任意小。 证明是非构造性的，它没有告诉我们如何构造实际 上可实现的、具有上述性能的这类码的方法。 信道编码/纠错编码/差错控制：就是为解决这一 问题而产生的学科，它的目的是寻找在实际上易于 实现且能达到有效而可靠通信的编译码方法。
11
(3) 采用信道编码的数字通信系统
在某些情况下，信道的改善可能较困难或者不 经济，这就要求采用信道编码，以便满足系统 差错率的技术指标要求。 信道编码为系统设计者提供了一个降低系统差 错率的措施。采用信道编码后的数字通信系统 可用下图所示。
信 源
信 源 编 码
m
信 道 编 码
C
调 制 器
10
降低信道引起误码率的主要方法
选择合适的传输线路：如有线线路中，
电缆线路优于明线线路，光缆优于电缆； 改进传输线路的传输特性或增加发送信号功率： 如进行相位均衡和幅度均衡以改进线路的群延 时特性和幅频特性，增加中继放大器。在无线 信道中，可以增加发射机功率、利用高增益天 线、低噪声放大器等方法改善信道； 选用潜在抗干扰性较强的调制解调方案。
传 输 媒 介
解 调 器
R
信 道 译 码
m'
信 源 译 码
信 宿
图6.1.2 有信道编码的数字通信系统框图
1
9.1 差错控制的基本方式
前向纠错(FEC)：发送端的信道编码器将信息码组编成具 有一定纠错能力的码。接收端信道译码器对接收码字进行 译码，若传输中产生的差错数目在码的纠错能力之内时， 译码器对差错进行定位并加以纠正。 反馈重发(ARQ)：用于检测的纠错码在译码器输出端只给 出当前码字传输是否可能出错的指示，当有错时按某种协 议通过一个反向信道请求发送端重传已发送的码字全部或 部分。
消息m
纠错编码
码字C
信道
接收向量R
纠错译码
消息m’
FEC
消息m
检错编码
码字C
信道
接收向量R
检错译码
消息m’
ARQ
2
混合纠错(HEC)：是FEC与ARQ方式的结合。发端发送 同时具有自动纠错和检测能力的码组，收端收到码组后， 检查差错情况，如果差错在码的纠错能力以内，则自动 进行纠正。如果信道干扰很严重，错误很多，超过了码 的纠错能力，但能检测出来，则经反馈信道请求发端重 发这组数据。 信息反馈(IRQ)：也称回程校验方式。收端把收到 的数据，原封不动地通过反馈信道送回到发端，发端比 较发的数据与反馈来的数据，从而发现错误，并且把错 误的消息再次传送，直到发端没有发现错误为止。