01-绪论
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
智能网络与网络安全教育部重点实验室 办公室：科学馆251
Tel
：82663467(O)
E-maБайду номын сангаасl ：duyt@mail.xjtu.edu.cn
10
第一章 绪
论
第一章 绪论
1.1 机器学习的发展与应用
1.1 机器学习的 发展与应用 1.2 机器学习问 题的统一表达 1.3 几种学习问 题 1.4 学习算法的 评价
监督学习、半监督学习、非监督学习等多类 学习范式 贝叶斯学习、流形学习、核学习、人工神经网络等学习方 统计学习理论的基本概念
法
5
机器学习与人工神经网络课程简介
【学习要求】
① 理解统计学习理论的基本思想、概念和公式
② 掌握监督学习、半监督学习、非监督学习三种学习 范式基本概念、典型方法 ③ 掌握贝叶斯学习、流形学习、核学习、人工神经网 络等经典学习方法 ④ 能根据具体的应用选择合适的方法来解决问题
22
第一章 绪
论
1.2 机器学习问题的统一表达
相关概念
损失函数 loss function (L, Q)：the error of a given function on a given example
1.1 机器学习的 发展与应用 1.2 机器学习问 题的统一表达 1.3 几种学习问 题 1.4 学习算法的 评价
1.1 机器学习的 发展与应用 1.2 机器学习问 题的统一表达 1.3 几种学习问 题 1.4 学习算法的 评价
Nilsson(1996):”A machine learns whenever it changes its structure, program, or data in such a manner that its expected future performance improves”
第一章 绪
论
1.1 机器学习的发展与应用
返回
1.1 机器学习的 发展与应用 1.2 机器学习问 题的统一表达 1.3 几种学习问 题 1.4 学习算法的 评价
James(1890)-神经元相互连接： 人脑中当两个基本处理单元同时活动，或两 个单元靠得比较近时，一个单元的兴奋会传到另 一个单元。而且一个单元的活动程度与他周围的 活动数目与活动密度成正比。 McCulloch, Pitts(1943)： 描述了一个简单的人工神经元模型的活动 是服从二值（兴奋和抑制）变化的。 1 xi y 0 xi Hebb学习律： 认为学习的过程最终发生在神经元之间的突触部位，突触的联系 强度随着突触前后神经元的活动而变化。若两个神经元输出兴奋，则 之间的连接权加强，反之减少。 感知机： 1957年定义了一个神经网络结构，称为感 知器(perceptron)。
y j f ( wij xi j )
i 1 n
f (u)
1 1 e u
PAC-Probably Approximately Correct 概率近似正确 给定实数 , 满足 0 , 1 ，如果对任意的目标概念 c H 和样 本分布D，若只需多项式 p1( , ) 个样本且在多项式 p2 ( , ) 时间内 ， 学习算法 L 将至少以 1 的概率输出一个假设 h H ，使 得 errorD (h) ,则称L是PAC学习的。 Schapire -弱学习定理： 如果一个概念是弱可学习的，充要条件是它可以强可学习的。
8
机器学习与人工神经网络课程简介
【教学方式】 课堂讲授（28 学时） 课内讨论（ 4 学时）
【考核方式】
考勤： 10分 报告： 30分 大胆提问，积极沟通 认真完成作业和实验
考试： 60分
涉猎相关的论文书籍
9
机器学习与人工神经网络课程简介
【联系方式】
杜友田，电信学院 自动化系 系统工程研究所
1.1 机器学习的 发展与应用 1.2 机器学习问 题的统一表达 1.3 几种学习问 题 1.4 学习算法的 评价
划分：将样本集放到n维空间，寻找一个定义在该空间上的决策
面，使对象分在不同的区域。 泛化：泛化能力是对这个模型为真程度的指标。从有限样本集
合，计算一个模型，使得该指标最大（小）。
20
第一章 绪
机器学习与人工神经网络
Machine Learning and Artificial Neural Networks
西安交通大学 电信学院 自动化系 杜友田
1
几个例子
电子医疗 病例
2
几个例子
3
几个例子
4
机器学习与人工神经网络课程简介
【课程内容】
本课程主要讲授机器学习的基本思想、理论、方法及进展， 其中包括：
1.1 机器学习的 发展与应用 1.2 机器学习问 题的统一表达 1.3 几种学习问 题 1.4 学习算法的 评价
G
学习模型
x
S LM
N
y
ˆ y
产生器 G, 产生随机向量 x R 布函数 F (x) 中独立抽取的；
,它们是从固定但未知的概率分
系统S, 对每个 x 返回一个输出值 y ，产生输出的根据是同样固 定但未知的条件分布函数 F ( y | x) 。 学习器LM, 它能够实现一定的函数集 f ( x, ), ，其中 是 参数集合。
【学习目的】
掌握机器学习的基本理论和方法，为机器学习本身或其它涉
及与机器学习有关的研究打下坚实基础。
6
机器学习与人工神经网络课程简介
【课程关系】 模式分类/模式识别 机器学习
模式识别重在认识事物， 数据挖掘重在发现知识。
利用数据来改善系统自身的性能
数据挖掘
人工智能
数据库提供数据管理技术，机器学习和统计学 提供数据分析技术。识别出巨量数据中有效的、 新颖的、潜在有用的模式的非平凡过程 研究、开发用于模拟、延伸和扩展人的智能的 理论、方法、技术及应用系统的一门新的技术 科学
Simon(1983)认为：“如果一个系统能够通过执行某个过 程改进它的性能，这就是学习。” 这个概念相当广泛，涵 盖了计算系统、控制系统及人系统等。 Learning denotes changes in the system that are adaptive in the sense that they enable the system to do the same task (or tasks drawn from a population or similar tasks) more efficiently and more effectively the next time. Minsky (1985)认为：“学习是在我们头脑中（心里内部） 进行有用的变化。”
3. C. M. Bishop. Pattern Recognition and Machine Learning. http://research.microsoft.com/~cmbishop
4. 韩立群. 人工神经网络理论、设计及应用. 北京：化学工业出
版社, 2007. ISBN : 9787502595234.
论
1.2 机器学习问题的统一表达
系统的一般模型
1.1 机器学习的 发展与应用 1.2 机器学习问 题的统一表达 1.3 几种学习问 题 1.4 学习算法的 评价
x1 x2
System
xN
h1 , h2 ,..., hK
y1 y2
…
Input Variables:
Hidden Variables:
论
1.1 机器学习的发展与应用 例子—生物信息学
常用技术：
神经网络 支持向量机 隐马尔可夫模型
1.1 机器学习的 发展与应用 1.2 机器学习问 题的统一表达 1.3 几种学习问 题 1.4 学习算法的 评价
k近邻
决策树
序列分析 聚类
…… ……
18
第一章 绪
论
1.2 机器学习问题的统一表达
机器学习定义
Q : z,
Output Variables:
…
yM
x x1, x2 ,..., xN
h h1, h2 ,..., hK
y y1, y2 ,..., yM
21
第一章 绪
论
1.2 机器学习问题的统一表达
机器学习
根据给定的训练样本求对某系统输入输出之间依赖关系的 估计，使它能够对未知输出作出尽可能准确的预测。
y j f ( wij xi j )
i 1 n
1 u 0 f (u ) 0 u 0
13
第一章 绪
论
1.1 机器学习的发展与应用
返回
1.1 机器学习的 发展与应用 1.2 机器学习问 题的统一表达 1.3 几种学习问 题 1.4 学习算法的 评价
Widrow-Madaline模型： 对线性不可分问题，放弃划分样本集的决策分类面是光滑且连续的 条件，代之以分段的平面。 BP (back propagation)算法： 1986年，神经网络的反向传播学习算法。
线性不可分 问题 （Minsky 1969）
1.1 机器学习的 发展与应用 1.2 机器学习问 题的统一表达 1.3 几种学习问 题 1.4 学习算法的 评价
James(19世纪末)：
Widrow：Madline（1960）
PAC 平凡解问题 (Valiant 1984)
神经元相互连接 Hebb ：神经集合体假设 McCulloch, Pitts(20世纪中期): “兴奋”和“抑制” Hebb(20世纪中期): 学习律
这是一个典型的机器 学习预测问题
常用技术：
1.1 机器学习的 发展与应用 1.2 机器学习问 题的统一表达 1.3 几种学习问 题 1.4 学习算法的 评价
入侵检测：
访问模式及其表现、以往 是否是入侵？是何种入侵？ 的入侵模式及其表现……
神经网络
支持向量机 序列分析
决策树
k近邻 聚类
17
…… ……
第一章 绪
1.2 机器学习问题的统一表达
1.3 几种学习问题
1.3.1 分类问题 1.3.2 回归问题 1.3.3 概率密度估计问题
1.4 学习算法的评价
1.4.1 最短描述长度 1.4.2 预测精度分析 1.4.3 交叉验证法
11
第一章 绪
论
1.1 机器学习的发展与应用
神经科学
Barlow：功能单细胞假设 Rosenblatt：感知机（1956）
7
机器学习与人工神经网络课程简介
【参考书目】
1. E. Alpaydin著, 范明 等译. 机器学习导论. 北京：机械工业出
版社, 2009. ISBN：9787111265245 2. V. N. Vapnik著, 张学工译. 统计学习理论的本质. 北京：清华
大学出版社，2008. ISBN: 978-7-302-03964-8.
Samuel ：符号 30年
机器学习
Rumelhart：BP（1986）
Schapire：弱学习定理（1990）
Vapnik：SVM（1991）
？
有限样本 统计理论 Freund：AdaBoost（1996） 线性空间表示
泛化理论
i.i.d问题
？
next
一致性假设
王珏,机器学习研究 12 回顾与趋势 2004.9
14
1.1 机器学习的发展与应用
返回
树突
终纽
胞体
细胞核
轴突 髓鞘
15
第一章 绪
论
1.1 机器学习的发展与应用
1.1 机器学习的 发展与应用 1.2 机器学习问 题的统一表达 1.3 几种学习问 题 1.4 学习算法的 评价
工业过 程控制 生物 信息学 计算 金融学
信息 安全
……
机器人 行星 地质学
19
第一章 绪
论
1.2 机器学习问题的统一表达
令 W 是给定世界的有限或无限的所有观测对象的集合，由于 我们观察能力的限制，我们只能获得这个世界的一个有限的子 集 Q W ，称为样本集。机器学习就是根据这个样本集，推 算这个世界的模型，使它对于这个世界(尽可能地)为真。 ——王珏等. 机器学习及其应用 一致：假设世界W与样本集Q具有相同的性质。譬如，如果学习 过程基于统计原理，独立同分布(i.i.d)就是一类一致条件。
遥感信 息处理
……
机器学习
美国航空航天局JPL实验室的科学家在《Science》 （2001年9月）上撰文指出：机器学习对科学研究的整 个过程正起到越来越大的支持作用，……，该领域在今 后的若干年内将取得稳定而快速的发展
16
第一章 绪
论
1.1 机器学习的发展与应用 例子—网络安全 如何检测？ •历史数据：以往的正常 •对当前访问模式分类
Tel
：82663467(O)
E-maБайду номын сангаасl ：duyt@mail.xjtu.edu.cn
10
第一章 绪
论
第一章 绪论
1.1 机器学习的发展与应用
1.1 机器学习的 发展与应用 1.2 机器学习问 题的统一表达 1.3 几种学习问 题 1.4 学习算法的 评价
监督学习、半监督学习、非监督学习等多类 学习范式 贝叶斯学习、流形学习、核学习、人工神经网络等学习方 统计学习理论的基本概念
法
5
机器学习与人工神经网络课程简介
【学习要求】
① 理解统计学习理论的基本思想、概念和公式
② 掌握监督学习、半监督学习、非监督学习三种学习 范式基本概念、典型方法 ③ 掌握贝叶斯学习、流形学习、核学习、人工神经网 络等经典学习方法 ④ 能根据具体的应用选择合适的方法来解决问题
22
第一章 绪
论
1.2 机器学习问题的统一表达
相关概念
损失函数 loss function (L, Q)：the error of a given function on a given example
1.1 机器学习的 发展与应用 1.2 机器学习问 题的统一表达 1.3 几种学习问 题 1.4 学习算法的 评价
1.1 机器学习的 发展与应用 1.2 机器学习问 题的统一表达 1.3 几种学习问 题 1.4 学习算法的 评价
Nilsson(1996):”A machine learns whenever it changes its structure, program, or data in such a manner that its expected future performance improves”
第一章 绪
论
1.1 机器学习的发展与应用
返回
1.1 机器学习的 发展与应用 1.2 机器学习问 题的统一表达 1.3 几种学习问 题 1.4 学习算法的 评价
James(1890)-神经元相互连接： 人脑中当两个基本处理单元同时活动，或两 个单元靠得比较近时，一个单元的兴奋会传到另 一个单元。而且一个单元的活动程度与他周围的 活动数目与活动密度成正比。 McCulloch, Pitts(1943)： 描述了一个简单的人工神经元模型的活动 是服从二值（兴奋和抑制）变化的。 1 xi y 0 xi Hebb学习律： 认为学习的过程最终发生在神经元之间的突触部位，突触的联系 强度随着突触前后神经元的活动而变化。若两个神经元输出兴奋，则 之间的连接权加强，反之减少。 感知机： 1957年定义了一个神经网络结构，称为感 知器(perceptron)。
y j f ( wij xi j )
i 1 n
f (u)
1 1 e u
PAC-Probably Approximately Correct 概率近似正确 给定实数 , 满足 0 , 1 ，如果对任意的目标概念 c H 和样 本分布D，若只需多项式 p1( , ) 个样本且在多项式 p2 ( , ) 时间内 ， 学习算法 L 将至少以 1 的概率输出一个假设 h H ，使 得 errorD (h) ,则称L是PAC学习的。 Schapire -弱学习定理： 如果一个概念是弱可学习的，充要条件是它可以强可学习的。
8
机器学习与人工神经网络课程简介
【教学方式】 课堂讲授（28 学时） 课内讨论（ 4 学时）
【考核方式】
考勤： 10分 报告： 30分 大胆提问，积极沟通 认真完成作业和实验
考试： 60分
涉猎相关的论文书籍
9
机器学习与人工神经网络课程简介
【联系方式】
杜友田，电信学院 自动化系 系统工程研究所
1.1 机器学习的 发展与应用 1.2 机器学习问 题的统一表达 1.3 几种学习问 题 1.4 学习算法的 评价
划分：将样本集放到n维空间，寻找一个定义在该空间上的决策
面，使对象分在不同的区域。 泛化：泛化能力是对这个模型为真程度的指标。从有限样本集
合，计算一个模型，使得该指标最大（小）。
20
第一章 绪
机器学习与人工神经网络
Machine Learning and Artificial Neural Networks
西安交通大学 电信学院 自动化系 杜友田
1
几个例子
电子医疗 病例
2
几个例子
3
几个例子
4
机器学习与人工神经网络课程简介
【课程内容】
本课程主要讲授机器学习的基本思想、理论、方法及进展， 其中包括：
1.1 机器学习的 发展与应用 1.2 机器学习问 题的统一表达 1.3 几种学习问 题 1.4 学习算法的 评价
G
学习模型
x
S LM
N
y
ˆ y
产生器 G, 产生随机向量 x R 布函数 F (x) 中独立抽取的；
,它们是从固定但未知的概率分
系统S, 对每个 x 返回一个输出值 y ，产生输出的根据是同样固 定但未知的条件分布函数 F ( y | x) 。 学习器LM, 它能够实现一定的函数集 f ( x, ), ，其中 是 参数集合。
【学习目的】
掌握机器学习的基本理论和方法，为机器学习本身或其它涉
及与机器学习有关的研究打下坚实基础。
6
机器学习与人工神经网络课程简介
【课程关系】 模式分类/模式识别 机器学习
模式识别重在认识事物， 数据挖掘重在发现知识。
利用数据来改善系统自身的性能
数据挖掘
人工智能
数据库提供数据管理技术，机器学习和统计学 提供数据分析技术。识别出巨量数据中有效的、 新颖的、潜在有用的模式的非平凡过程 研究、开发用于模拟、延伸和扩展人的智能的 理论、方法、技术及应用系统的一门新的技术 科学
Simon(1983)认为：“如果一个系统能够通过执行某个过 程改进它的性能，这就是学习。” 这个概念相当广泛，涵 盖了计算系统、控制系统及人系统等。 Learning denotes changes in the system that are adaptive in the sense that they enable the system to do the same task (or tasks drawn from a population or similar tasks) more efficiently and more effectively the next time. Minsky (1985)认为：“学习是在我们头脑中（心里内部） 进行有用的变化。”
3. C. M. Bishop. Pattern Recognition and Machine Learning. http://research.microsoft.com/~cmbishop
4. 韩立群. 人工神经网络理论、设计及应用. 北京：化学工业出
版社, 2007. ISBN : 9787502595234.
论
1.2 机器学习问题的统一表达
系统的一般模型
1.1 机器学习的 发展与应用 1.2 机器学习问 题的统一表达 1.3 几种学习问 题 1.4 学习算法的 评价
x1 x2
System
xN
h1 , h2 ,..., hK
y1 y2
…
Input Variables:
Hidden Variables:
论
1.1 机器学习的发展与应用 例子—生物信息学
常用技术：
神经网络 支持向量机 隐马尔可夫模型
1.1 机器学习的 发展与应用 1.2 机器学习问 题的统一表达 1.3 几种学习问 题 1.4 学习算法的 评价
k近邻
决策树
序列分析 聚类
…… ……
18
第一章 绪
论
1.2 机器学习问题的统一表达
机器学习定义
Q : z,
Output Variables:
…
yM
x x1, x2 ,..., xN
h h1, h2 ,..., hK
y y1, y2 ,..., yM
21
第一章 绪
论
1.2 机器学习问题的统一表达
机器学习
根据给定的训练样本求对某系统输入输出之间依赖关系的 估计，使它能够对未知输出作出尽可能准确的预测。
y j f ( wij xi j )
i 1 n
1 u 0 f (u ) 0 u 0
13
第一章 绪
论
1.1 机器学习的发展与应用
返回
1.1 机器学习的 发展与应用 1.2 机器学习问 题的统一表达 1.3 几种学习问 题 1.4 学习算法的 评价
Widrow-Madaline模型： 对线性不可分问题，放弃划分样本集的决策分类面是光滑且连续的 条件，代之以分段的平面。 BP (back propagation)算法： 1986年，神经网络的反向传播学习算法。
线性不可分 问题 （Minsky 1969）
1.1 机器学习的 发展与应用 1.2 机器学习问 题的统一表达 1.3 几种学习问 题 1.4 学习算法的 评价
James(19世纪末)：
Widrow：Madline（1960）
PAC 平凡解问题 (Valiant 1984)
神经元相互连接 Hebb ：神经集合体假设 McCulloch, Pitts(20世纪中期): “兴奋”和“抑制” Hebb(20世纪中期): 学习律
这是一个典型的机器 学习预测问题
常用技术：
1.1 机器学习的 发展与应用 1.2 机器学习问 题的统一表达 1.3 几种学习问 题 1.4 学习算法的 评价
入侵检测：
访问模式及其表现、以往 是否是入侵？是何种入侵？ 的入侵模式及其表现……
神经网络
支持向量机 序列分析
决策树
k近邻 聚类
17
…… ……
第一章 绪
1.2 机器学习问题的统一表达
1.3 几种学习问题
1.3.1 分类问题 1.3.2 回归问题 1.3.3 概率密度估计问题
1.4 学习算法的评价
1.4.1 最短描述长度 1.4.2 预测精度分析 1.4.3 交叉验证法
11
第一章 绪
论
1.1 机器学习的发展与应用
神经科学
Barlow：功能单细胞假设 Rosenblatt：感知机（1956）
7
机器学习与人工神经网络课程简介
【参考书目】
1. E. Alpaydin著, 范明 等译. 机器学习导论. 北京：机械工业出
版社, 2009. ISBN：9787111265245 2. V. N. Vapnik著, 张学工译. 统计学习理论的本质. 北京：清华
大学出版社，2008. ISBN: 978-7-302-03964-8.
Samuel ：符号 30年
机器学习
Rumelhart：BP（1986）
Schapire：弱学习定理（1990）
Vapnik：SVM（1991）
？
有限样本 统计理论 Freund：AdaBoost（1996） 线性空间表示
泛化理论
i.i.d问题
？
next
一致性假设
王珏,机器学习研究 12 回顾与趋势 2004.9
14
1.1 机器学习的发展与应用
返回
树突
终纽
胞体
细胞核
轴突 髓鞘
15
第一章 绪
论
1.1 机器学习的发展与应用
1.1 机器学习的 发展与应用 1.2 机器学习问 题的统一表达 1.3 几种学习问 题 1.4 学习算法的 评价
工业过 程控制 生物 信息学 计算 金融学
信息 安全
……
机器人 行星 地质学
19
第一章 绪
论
1.2 机器学习问题的统一表达
令 W 是给定世界的有限或无限的所有观测对象的集合，由于 我们观察能力的限制，我们只能获得这个世界的一个有限的子 集 Q W ，称为样本集。机器学习就是根据这个样本集，推 算这个世界的模型，使它对于这个世界(尽可能地)为真。 ——王珏等. 机器学习及其应用 一致：假设世界W与样本集Q具有相同的性质。譬如，如果学习 过程基于统计原理，独立同分布(i.i.d)就是一类一致条件。
遥感信 息处理
……
机器学习
美国航空航天局JPL实验室的科学家在《Science》 （2001年9月）上撰文指出：机器学习对科学研究的整 个过程正起到越来越大的支持作用，……，该领域在今 后的若干年内将取得稳定而快速的发展
16
第一章 绪
论
1.1 机器学习的发展与应用 例子—网络安全 如何检测？ •历史数据：以往的正常 •对当前访问模式分类