北工大信息论第一章绪论资料
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
备来传送一定数量的信息
2.可靠性---如何使信源发出的消息经信道传输后，
尽可能准确不失真地在接收端复现
3.安全性---如何使信源发出的消息经信道传输过程
中不被第三方知晓
三.信息论 解决的基本问题
1、什么是信息？如何度量信息？ 2、对于给定的信道，信息传输有无极限？ 3、信息能否被压缩和恢复？极限条件是什么？ 4、从实际环境中抽取信息，极限条件是什么？
5、在允许有一定失真的条件下，信息能否被更大程度地压缩？ 极限条件是什么？ 6、设计什么样的系统才能达到上述极限？
7、现实中，接近极限的设备是否存在？
信息论的奠基人是美国数学家香农
---A mathematical theory of communication ---Communication in the presence of noise
1.消息的统计特性 2.信源产生信息的速率 3.如何度量信息量 4. 如何确定信源的输出含有的信息量
2.编码器——将信源发出的消息变换成适于信道传
送的信号的设备
消息
信源
信源编 码器
消息
信宿
信源译 码器
纠错编 码器
调制器 信号
信道编码器 信道译码器
干扰
信道
噪声源
信号+干扰
纠错译 码器
解调器
•信源编码器—— 在一定准则下，它对信源输出的消息
《信息理论基础》
主讲教师： 办公室：
李如玮 综合楼817
参考书：
1.《信息理论基础》北航大学出版社 周荫清主编
2.《信息论与编码基础》机械工业出版社 戴善荣 编著 3.《信息论与编码》科学出版社 沈连丰 叶芝慧 编著 4.《信息论与编码》 中国科技大学出版社 姜丹编著
课程评价方式
课程总成绩100分，由四部分组成：单元测试20分、课堂说与思5 分、平时作业和到课率5分、理论考试70分
进行适当的变换和处理
目的：压缩信ห้องสมุดไป่ตู้冗余度，提高信息传输的效率
信源编码器分为无失真信源编码和限失真信源编码
无失真信源编码 —保证信源发出的信息全部无误到达信宿 解决的问题：在不允许有失真的情况下怎样通过压缩
信源的冗余度来提高信息传输率
限失真信源编码 —信源发出的信息允许有一定失真，不要求
全部到达信宿
解决的问题：在允许有失真的情况下怎样用尽可能少
美国科学家维纳
---Control theory ---Extrapolation, interpolation and smoothing of
stationary time series
一.语音信号压缩 二.图像信号压缩 三.计算机文件的压缩 四.计算机网中数据传输可靠性的保证 五.其他方面的应用成果
信息是对物质存在和运动形式的一般描述
3.概率信息
香农：信息是事物运动状态或存在方式的不确
定性的描述，是用来消除不确定性的东西。
二.信息的特征
信息可交换，交换后可增加信息。 信息是无形的，反映事物的特征、属性、变化，
但与事物是分离的，可传输、保存 。
信息具有普遍性。 信息需要载体。 信息是可度量的。√
①单元测试共3次：信息的度量10分、信源与信道5分、编码5分
②课堂说与思：学生提出问题、回答问题或参与讨论问题的情况5分，
每参与一次给1分，课后提出的、课后与同学或老师讨论的都算在内
③平时作业和到课率：平时作业3分，到课率2分，主要考察态度问
题，确保学生学习的积极性
④理论考试：由于该门课的理论性很强，必须进行理论考试70分。
是多少？
4.干扰——在信道中引入的噪声和干扰等效的表示方法
加性干扰： Y=X+S 乘性干扰： Y=X*S X信号 S噪声
5、译码器——编码的逆变换
目的：最大限度从受干扰的信号中提取有关信源输出消息
的信息，并尽可能复现信源的输出。输出送给信宿
6、信宿——信息传输过程中的接收者
二.信息论研究的目的
1.有效性---如何用尽可能短的时间和尽可能少的设
的码符号来表示信源的信息
•纠错编码器——有目的地对信源编码器的输出添加一些特
殊的码元，使之更具有规律性
目的：提高对干扰的抗击能力，即提高信息传输的可靠性
•调制器——将纠错编码器的输出变成适合信道传输要求的信
号形式
纠错编码器和调制器的组合称为信道编码器
信道编码主要解决：在有噪信道中是否可能以接近信道
容量的信息传输率传输信息而错误概率几乎为零的问题
3.信道——把载荷信息的信号从发射端传送到接收
端的媒体或通道，包括收发设备在内的 物理设备 信道即能传播信号，还能存储信号
通信系统中实际信道有：架空明线、电缆、波导、光纤等
请问：磁盘、光盘是否是信道呢？
信道研究的主要内容：
1. 信道的统计特性 2. 对于一个信道，最大能传输的信息量（信道容量）
三.信息、消息和信号
信息是抽象的，包含在消息之中，是通信系统中
传送的对象。
消息是比较具体的，消息中包含信息，是信息的
载荷者，消息有不同的形式
信号是消息的表现形式，消息则是信号的具体
内容，信号是消息的载体
一.通信系统模型
消息
信号 含噪信号
消息
信源
编码器
信道
译码器
信宿
干扰 噪声源
1.信源:产生消息和消息序列的源 消息可用随机变量或随机过程描述。 为什么? 信源研究的主要内容：
信息论是20世纪中叶从通信中发展起来的理论，是
数学中的概率论与通信技术相结合的边缘学科。
信息论是通信的数学理论，是应用近代数理统计方
法研究信息的传输、存储与处理的科学。
关键概念：信息
请问:什么是信息?
信息是信息论中最基本且最重要的概念，它即抽
象又复杂。
一.信息的概念
1.通俗的信息
信息是一种消息
2.广义的信息
2.可靠性---如何使信源发出的消息经信道传输后，
尽可能准确不失真地在接收端复现
3.安全性---如何使信源发出的消息经信道传输过程
中不被第三方知晓
三.信息论 解决的基本问题
1、什么是信息？如何度量信息？ 2、对于给定的信道，信息传输有无极限？ 3、信息能否被压缩和恢复？极限条件是什么？ 4、从实际环境中抽取信息，极限条件是什么？
5、在允许有一定失真的条件下，信息能否被更大程度地压缩？ 极限条件是什么？ 6、设计什么样的系统才能达到上述极限？
7、现实中，接近极限的设备是否存在？
信息论的奠基人是美国数学家香农
---A mathematical theory of communication ---Communication in the presence of noise
1.消息的统计特性 2.信源产生信息的速率 3.如何度量信息量 4. 如何确定信源的输出含有的信息量
2.编码器——将信源发出的消息变换成适于信道传
送的信号的设备
消息
信源
信源编 码器
消息
信宿
信源译 码器
纠错编 码器
调制器 信号
信道编码器 信道译码器
干扰
信道
噪声源
信号+干扰
纠错译 码器
解调器
•信源编码器—— 在一定准则下，它对信源输出的消息
《信息理论基础》
主讲教师： 办公室：
李如玮 综合楼817
参考书：
1.《信息理论基础》北航大学出版社 周荫清主编
2.《信息论与编码基础》机械工业出版社 戴善荣 编著 3.《信息论与编码》科学出版社 沈连丰 叶芝慧 编著 4.《信息论与编码》 中国科技大学出版社 姜丹编著
课程评价方式
课程总成绩100分，由四部分组成：单元测试20分、课堂说与思5 分、平时作业和到课率5分、理论考试70分
进行适当的变换和处理
目的：压缩信ห้องสมุดไป่ตู้冗余度，提高信息传输的效率
信源编码器分为无失真信源编码和限失真信源编码
无失真信源编码 —保证信源发出的信息全部无误到达信宿 解决的问题：在不允许有失真的情况下怎样通过压缩
信源的冗余度来提高信息传输率
限失真信源编码 —信源发出的信息允许有一定失真，不要求
全部到达信宿
解决的问题：在允许有失真的情况下怎样用尽可能少
美国科学家维纳
---Control theory ---Extrapolation, interpolation and smoothing of
stationary time series
一.语音信号压缩 二.图像信号压缩 三.计算机文件的压缩 四.计算机网中数据传输可靠性的保证 五.其他方面的应用成果
信息是对物质存在和运动形式的一般描述
3.概率信息
香农：信息是事物运动状态或存在方式的不确
定性的描述，是用来消除不确定性的东西。
二.信息的特征
信息可交换，交换后可增加信息。 信息是无形的，反映事物的特征、属性、变化，
但与事物是分离的，可传输、保存 。
信息具有普遍性。 信息需要载体。 信息是可度量的。√
①单元测试共3次：信息的度量10分、信源与信道5分、编码5分
②课堂说与思：学生提出问题、回答问题或参与讨论问题的情况5分，
每参与一次给1分，课后提出的、课后与同学或老师讨论的都算在内
③平时作业和到课率：平时作业3分，到课率2分，主要考察态度问
题，确保学生学习的积极性
④理论考试：由于该门课的理论性很强，必须进行理论考试70分。
是多少？
4.干扰——在信道中引入的噪声和干扰等效的表示方法
加性干扰： Y=X+S 乘性干扰： Y=X*S X信号 S噪声
5、译码器——编码的逆变换
目的：最大限度从受干扰的信号中提取有关信源输出消息
的信息，并尽可能复现信源的输出。输出送给信宿
6、信宿——信息传输过程中的接收者
二.信息论研究的目的
1.有效性---如何用尽可能短的时间和尽可能少的设
的码符号来表示信源的信息
•纠错编码器——有目的地对信源编码器的输出添加一些特
殊的码元，使之更具有规律性
目的：提高对干扰的抗击能力，即提高信息传输的可靠性
•调制器——将纠错编码器的输出变成适合信道传输要求的信
号形式
纠错编码器和调制器的组合称为信道编码器
信道编码主要解决：在有噪信道中是否可能以接近信道
容量的信息传输率传输信息而错误概率几乎为零的问题
3.信道——把载荷信息的信号从发射端传送到接收
端的媒体或通道，包括收发设备在内的 物理设备 信道即能传播信号，还能存储信号
通信系统中实际信道有：架空明线、电缆、波导、光纤等
请问：磁盘、光盘是否是信道呢？
信道研究的主要内容：
1. 信道的统计特性 2. 对于一个信道，最大能传输的信息量（信道容量）
三.信息、消息和信号
信息是抽象的，包含在消息之中，是通信系统中
传送的对象。
消息是比较具体的，消息中包含信息，是信息的
载荷者，消息有不同的形式
信号是消息的表现形式，消息则是信号的具体
内容，信号是消息的载体
一.通信系统模型
消息
信号 含噪信号
消息
信源
编码器
信道
译码器
信宿
干扰 噪声源
1.信源:产生消息和消息序列的源 消息可用随机变量或随机过程描述。 为什么? 信源研究的主要内容：
信息论是20世纪中叶从通信中发展起来的理论，是
数学中的概率论与通信技术相结合的边缘学科。
信息论是通信的数学理论，是应用近代数理统计方
法研究信息的传输、存储与处理的科学。
关键概念：信息
请问:什么是信息?
信息是信息论中最基本且最重要的概念，它即抽
象又复杂。
一.信息的概念
1.通俗的信息
信息是一种消息
2.广义的信息