北邮刘刚教授-信息工程导论课件——多媒体信息处理-2015分析

• 多媒体信息处理，实际上就是信息处理。
– 信息及其处理是当前时代的标志 – 信息处理是信息工程专业的使命
• 多媒体信息处理又有自身的特点
2020年10月22日
信息与通信工程学院
6
liugang@bupt.edu.cn
信息及其处理是当前时代的标志
社会发展史: 农业社会(物质资源)
扩展人的体质能力
信息工程导论
多媒体信息处理
刘刚 网络搜索教研中心 模式识别与智能系统实验室 liugang@bupt.edu.cn 2020年10月22日星期四
目录
• 概述 • 多媒体信息采集 • 多媒体通信/存储 • 多媒体信息识别 • 多媒体信息检索 • 多媒体信息生成 • 总结
2020年10月22日
信息与通信工程学院
2
liugang@bupt.edu.cn
1.概述
• 什么是多媒体 • 为什么要研究多媒体信息 • 信息处理流程 • 多媒体信息处理研究内容
2020年10月22日
信息与通信工程学院
3
liugang@bupt.edu.cn
1.1 什么是多媒体
• 媒体（Media）就是人与人之间实现信息交 流的中介，简单地说，就是信息的载体， 也称为媒介。
信息与通信工程学院
18
liugang@bupt.edu.cn
2.2 传感器
可
• 传感器是人类五官的延长，又称之为电五穿戴
官
柔 性
– 光敏传感器——视觉 – 声敏传感器——听觉
触
可燃气体感器
觉
– 气敏/化学传感器——嗅觉
红
外
– 化学传感器——味觉
– 压敏、温敏、流体
传感器——触觉
盐度传感器 压 力
2020年10月22日
• 概述 • 传感器 • 模数转换/数模转换 • 噪声处理等预处理
2020年10月22日
信息与通信工程学院
16
liugang@bupt.edu.cn
2.1多媒体信息采集-概述
• 采集原则
– 不失真
• 有用信号不失真 • 噪声干扰小
• 处理过程
– 传感器采集 – 模数转换/数模转换 – 噪声处理等预处理
9
liugang@bupt.edu.cn
1.3 信息处理的流程
2020年10月22日
信息与通信工程学院
10
liugang@bupt.edu.cn
信息处理的流程
• 信息科学基本原理
通信
2020年10月22日
信息与通信工程学院 liugang@bupt.edu.cn
11
1.3 信息处理的流程
信息 决策
• 主要的三个媒体
– 声音: 语音(语言的表达形式之一)，音乐，音效(一般音频)
– 图像: 图形，图像，动画，视频 – 文本(抽象): 文本(语言的表达形式之一)，数据等
2020年10月22日
信息与通信工程学院
5
liugang@bupt.edu.cn
1.2 为什么要研究多媒体信息
• 多媒体是信息载体的总称，是信息的承载 形式或表现形式。
信息与通信工程学院 liugang@bupt.edu.cn
二氧化氮传感器19
2.2 传感器---Mic阵列
2020年10月22日
信息与通信工程学院
20
liugang@bupt.edu.cn
2.2 传感器---Mic阵列
2020年10月22日
信息与通信工程学院
• 多媒体就是多重媒体的意思
– 可以理解为直接作用于人感官的文字、图形、 图像、动画、声音和视频等各种媒体的统称， 即多种信息载体的表现形式和传递方式。
2020年10月22日
信息与通信工程学院
4
liugang@bupt.edu.cn
• 信息来源统计
– 根据美国哈佛商学院有关研究人员的分析资料 表明，人的大脑每天通过五种感官接受外部信 息的比例分别为：味觉1%，触觉1.5%，嗅觉 3.5%，听觉11%，以及视觉83%。
2020年10月22日
信息与通信工程学院
17
liugang@bupt.edu.cn
2.2 传感器
• 传感器
– transducer/sensor – 一种检测装置，能感受到被测量的信息，并能
将感受到的信息，按一定规律变换成为电信号 或其他所需形式的信息输出
• 两个功能
– 信号敏感 – 换能
2020年10月22日
2020年10月22日
信息与通信工程学院
8
liugang@bupt.edu.cn
多媒体信息处理又有自身的特点
• 音频---随机 • 视频---随机 • 文本/数据---确定 • 多媒体融合
1. 如何结合不同媒体的特点进行 更好的信息处理
2. 如何进行多个媒体的信息融合 处理
2020年10月22日
信息与通信工程学院
2020年10月22日
信息与通信工程学院
14
liugang@bupt.edu.cn
目录
• 概述 • 多媒体信息采集 • 多媒体通信/存储 • 多媒体信息识别 • 多媒体信息检索 • 多媒体信息生成 • 总结
2020年10月22日
信息与通信工程学院
15
liugang@bupt.edu.cn
2.多媒体信息采集
2020年10月22日
信息与通信工程学院
13
liugang@bupt.edu.cn
1.4 多媒体信息处理研究内容
• 研究如何更有效地产生、传输、存储、获 取和应用多媒体信息
– 多媒体信息采集 – 多媒体通信/存储
• 多媒体编码/译码----信源编码
– 多媒体内容处理---智能信息处理
• 多媒体信息识别 • 多媒体信息检索 • 多媒体信息生成
工业社会(能量资源)
扩展人的体力能力
信息社会(信息资源)
扩展人的智力能力
没有物质什麽都不存在，没有能量什麽都 不发生，没有信息什麽都没意义
2020年10月22日
信息与通信工程学院 liugang@bupt.edu.cn
7
信息处理是信息工程专业的使命
• 信息工程的使命
– 信息工程是面向信息通信行业，口径宽、适应 面广的专业。该专业培养系统掌握信息传输和 处理的基本理论和基本知识，掌握信息获取和 应用的核心技术，能从事现代信息网络和智能 信息系统的设计、开发、研究及运营等方面工 作的高素质专门人才。
通信
多媒体信息处理
通信
主要研究与媒体相
关的部分
信息 获取
信息 施效
2020年1ห้องสมุดไป่ตู้月22日
信息与通信工程学院 liugang@bupt.edu.cn
12
1.4 多媒体信息处理研究内容
信号层次
内容层次
数字信号处理 数据采集技术
通信原理 信息处理与编码
模式识别 Web搜索
语音信号数字处理 ， 数字图像处理