机器学习权威教材

什么是机器学习
中科院王珏研究员给出的定义：
令W是给定世界的有限或无限所有观测对象的集
合，由于我们的观测能力有限，我们只能获得这 个世界的一个子集 Q W ，称为样本集。机器学 习就是根据这个样本集，推算这个世界W的模型 ，使它对这个世界（尽可能地）为真。
三个重要的理论问题：
一致：W与Q有相同的性质。eg.
机器学习与人工智能
自然智慧的伟大与奥妙
举例：婴儿的认知能力（声音、人脸、汽车…）
重要的二个特点：
容错性，推广能力（举一反三）
机器智能：希望用机器实现部分智能 基于数据的机器学习问题（引自清华张学工教
授）
根据已知样本估计数据之间的依赖关系，从而对未
知或无法测量的数据进行预测和判断 关键：推广能力
其它参考书
《机器学习及其应用》，周志华，王钰主编，清
华大学出版社，2009。 《神经网络与机器学习》，Simon Haykin著， 机械工业出版社，2010。 《机器学习导论》，Ethem Alpaydin著，机械 工业出版社，2009。 《Machine Learning—— A Probabilistic Perspective》 Kevin P. Murphy, 2012
“The Manifold Way of Perceptron”, “A global geometric
受到令人惊讶 framework for nonlinear dimensionality reduction”,”Nonlinear dimensionality reduction by locally…” 的重视！
遥感信 息处理
生物 信息学
计算 金融学
……
机器学习
摘自南京大学周志华教授
多学科交叉
机器学习也是一个多学科交叉的产物，它吸取了
人工智能、概率统计、神经生物学、认知科学、 信息论、控制论、计算复杂性理论、哲学等学科 的成果。
实践证明，机器学习在很多应用领域发挥了重要
的实用价值，特别是在数据挖掘、语音识别、图 像处理、机器人、车辆自动驾驶、生物信息学、 信息安全、遥感信息处理、计算金融学、工业过 程控制。
Mjolsness, D DeCoste, Machine Learning for Science: State of the Art and Future Prospects Science, 2001 : 2051-2055.
机器学习的重要性
工业过 程控制 信息 安全
……
分子 生物学
机器人 行星 地质学
Pedro对学习理解
Machine Learning
引用自CMU Dr. Eric Xing的Lecture Notes
机器学习的研究意义
机器学习的重要性！
《Science》2001年论文：
…每个科学领域的科学过程都有它自己的特点，但是，观
察、创立假设、根据决定性实验或观察的检验、可理解检 验的模型或理论，是各个学科所共有的。对这个抽象的科 学过程的每一个环节，机器学习都有相应的发展，我们相 信它将导致科学方法中从假设生成、模型构造到决定性实 验这些所有环节的合适的、部分的自动化。当前机器学习 研究在一些基本论题上取得令人印象深刻的进展，我们预 期机器学习研究在今后若干年中将有稳定的进展！” 在稍早前，2000年《Science》还发表了另外3篇ML方面 的论文
i.i.d 划分：设样本定义于d维空间，要寻找在这个空 间上的决策分界面 泛化（推广能力）：对未知样本的判断能力
What’s is the Learning Problem?
Learning
= Improving with experience at some task
Improve
over task T With respect to performance measurement P Based on experience E
Example:
中国象棋
任务T：下中国象棋 性能目标P：比赛中击败对手（的百分比） 训练经验E：和自己进行对弈，或者看棋谱
Ref：《机器学习》（曾华军等译）
第 1章 引 言
什么是机器学习
【经典定义】：计算机程序如何随着经验积 累自动提高性能，系统自我改进的过程。 或：计算机利用经验改善系统自身性能的 行为。——米切尔 随着该领域的发展，主要做智能数据分析。
学习与智能
学习现象
语言、文字的认知识别 图像、场景、自然物体的认知识别 规则
பைடு நூலகம்
重要性：例子—网络安全
入侵检测：
是否是入侵？是何种入侵？
如何检测？
•历史数据：以往的正常
访问模式及其表现、以往 的入侵模式及其表现……
•对当前访问模式分类
这是一个典型的预测 型机器学习问题
常用技术： 神经网络 支持向量机 序列分析 决策树 k近邻 聚类
…… ……
搜索引擎
摘自南京大学周志华教授
重要性：例子—生物信息学
常用技术：
神经网络 支持向量机 隐马尔可夫模型
k近邻
决策树
序列分析 聚类
…… ……
重要性：例子—数据驱动控制
相关学科对ML的影响
人工智能：
学习的概念符号表示
方法 统计学：
Bayes
统计学习理论 (SLT)
计算复杂性理论 控制论 信息论：最小描述长度 哲学：
“Occam’s Razor原则”，“没有免费午餐”
（eg 下雨天要带雨伞）
复杂的推理、判断能力（智能）
好人与坏人？ 好猫与坏猫？
•认知
学习
数据
•推理
知识
•决策
•识别
什么是机器学习？
使得计算机具备和人类一样的学习能力
决策
推理 认知 识别 ……
等智能
给定数据（样本、实例）和一定的学习规则， 从数据中获取知识的能力
机器学习权威教材
(Machine Learning)
报告建议内容
基本概念以及数学定义 基本性质及其物理意义 具体算法应用（详细举例讲解） 该算法与其他类似算法的分析比较
可能的发展方向
附参考文献
2
参考书
《机器学习》，TomM.Mitchell（汤姆· 米 切尔）著，曾华军，张银华等译，机械工 业出版社，2003年 。