机器学习导论 第1章 机器学习概述

第1章 机器学习概述
1.1 机器学习的概念与基本术语 1.2 人工智能、机器学习、深度学习三者之间的关系 1.3 机器学习的三个基本要素 1.4 机器学习模型的分类 1.5 数据预处理 1.6 模型选择与评估
1.5 数据预处理
数据清洗（Data Cleaning）
缺失数据的处理 离群点数据的处理 冗余、重复数据的处理
1.6 模型选择与评估
数据清洗（Data Cleaning）
缺失数据的处理 离群点数据的处理 冗余、重复数据的处理
数据类型转换 构建新的变量——哑变量（Dummy Variable） 特征数据的归一化
线性归一化或最小－最大归一化（Min-Max Normalization ） 零均值归一化（Z-score Normalization）
1.6 模型选择与评估
1.6.1 数据集的划分
训练集（Training Set) 测试集（Test Set） 验证集（Validation Set）
1.6 模型选择与评估
1.6.2 模型选择与交叉验证法
简单交叉验证 K-折交叉验证 留一交叉验证 留K交叉验证
1.6 模型选择与评估
1.6.2 模型选择与交叉验证法
图1-6 10-折交叉验证示意图
1.6 模型选择与评估
1.6.3 模型的性能度量
分类模型的评价指标
混淆矩阵（Confusion Matrix） 分类准确率（Accuracy） 错误率（Error Rate） 查准率（Precision） 查全率（Recall） P-R曲线 F1－值（F1-Score） 受试者工作特征（Receiver Operating Characteristic，ROC）曲线 ROC 曲线下面积（Area Under the ROC Curve，AUC）
1.3 机器学习的三个基本要素 1.3.1 模型
概率模型（条件概率分布）
模
型
线性模型
非概率模型（决策函数）
非线性模型
1.3 机器学习的三个基本要素
1.3.2 学习准则（策略）
损失函数（Loss Function）：度量单样本预测的错误程 度，损失函数值越小，模型就越好。
代价函数（Cost Function）：度量全部样本集的平均误 差。常用的代价函数包括均方误差、均方根误差、平均 绝对误差等。
1.1.2 基本术语
特征（Feature） 属性（Attribute） 特征向量（Feature Vector） 监督式学习（Supervised Learning） 标签（Label） 样本（Example） 实例（Instance） 回归（Regression） 分类（Classification） 标注（Tagging）
强化学习（Reinforcement Learning）
根据反馈信息来调整机器行为以实现自动决策的一种机器学习方 式。
1.4 机器学习模型的分类 1.4.1 按学习方式分类
1.4 机器学习模型的分类 1.4.1 按学习方式分类
1.4 机器学习模型的分类 1.4.1 按学习方式分类
监督式学习（Supervised Learning ）
第1章 机器学习概述
1.1 机器学习的概念与基本术语 1.2 人工智能、机器学习、深度学习三者之间的关系 1.3 机器学习的三个基本要素 1.4 机器学习模型的分类 1.5 数据预处理 1.6 模型选择与评估
1.1 机器学习的概念与基本术语
1.1.1 机器学习的概念 机器学习是一门人工智能的科学，该领域的主要研究对
1997年，IBM深蓝击败卡斯帕罗夫
1.1 机器学习的概念与基本术语 Text to speech and speech recognition
1.1 机器学习的概念与基本术语
语音识别
1.1 机器学习的概念与基本术语
自动驾驶
1.1 机器学习的概念与基本术语
图像生成
1.1 机器学习的概念与基本术语
1.6 模型选择与评估
混淆矩阵（Confusion Matrix）
分类准确率（Accuracy） 错误率（Error Rate）
1.6 模型选择与评估
查全率（Recall） 查准率（Precision）
P-R曲线
1.6 模型选择与评估
F1－值（F1-Score）
受试者工作特征（Receiver Operating Characteristic，ROC）曲线 ROC 曲线下面积（Area Under the ROC Curve，AUC）
1.4 机器学习模型的分类
1.4.1 按学习方式分类
强化学习（Reinforcement Learning）
强化学习主要由智能体和环境 两个部分组成。智能体是行为 的实施者，由基于环境信息的 评价函数对智能体的行为做出 评价，若智能体的行为正确， 则由相应的回报函数给予智能 体正向反馈信息以示奖励，反 之则给予智能体负向反馈信息 以示惩罚。
语
推荐系统
第1章 机器学习概述
1.1 机器学习的概念与基本术语 1.2 人工智能、机器学习、深度学习三者之间的关系 1.3 机器学习的三个基本要素 1.4 机器学习模型的分类 1.5 数据预处理 1.6 模型选择与评估
1.2人工智能、机器学习、深度学习三者之间的关系
第1章 机器学习概述
1.1 机器学习的概念与基本术语 1.2 人工智能、机器学习、深度学习三者之间的关系 1.3 机器学习的三个基本要素 1.4 机器学习模型的分类 1.5 数据预处理 1.6 模型选择与评估
1.4 机器学习模型的分类
1.4.1 按任务类型分类
回归（Regression ） 分类（Classification） 聚类（Clustering） 维数约简（Dimensionality Reduction）
数据类型转换 构建新的变量——哑变量（Dummy Variable） 特征数据的归一化
线性归一化或最小－最大归一化（Min-Max Normalization ） 零均值归一化（Z-score Normalization）
第1章 机器学习概述
1.1 机器学习的概念与基本术语 1.2 人工智能、机器学习、深度学习三者之间的关系 1.3 机器学习的三个基本要素 1.4 机器学习模型的分类 1.5 数据预处理 1.6 模型选择与评估
1.6 模型选择与评估
1.6.4 欠拟合与过拟合
1.6 模型选择与评估
1.6.5 偏差与方差
1.6 模型选择与评估
1.6.6 模型的正则化
Question?
1.1 机器学习的概念与基本术语
深蓝是并行计算的电脑系统，建 基于RS/6000 SP，另加上480颗特 别制造的VLSI象棋芯片。下棋程 式以C语言写成，运行AIX 操作 系统。1997年版本的深蓝运算速 度为每秒2亿步棋，是其1996年版 本的2倍。1997年 6月，深蓝在世 界超级电脑中排名第259位，计算 能力为11.38 gigaflops。
1.1 机器学习的概念与基本术语
1.1.2 基本术语
数据集（Data Set) 训练集（Training Set) 测试集（Test Set） 独立同分布（Independently and Identically Distributed，i.i.d） 模型（Model） 训练（Training） 假设（Hypothesis） 学习器（Learner） 输入空间（Input Space） 输出空间（Output Space） 假设空间（Hypothesis Space）
人工智能：为机器赋予人类的智能 机器学习：人工智能的核心 深度学习：机器学习的一个分支
第1章 机器学习概述
1.1 机器学习的概念与基本术语 1.2 人工智能、机器学习、深度学习三者之间的关系 1.3 机器学习的三个基本要素 1.4 机器学习模型的分类 1.5 数据预处理 1.6 模型选择与评估
第1章 机器学习概述
本章学习目标
熟悉机器学习的概念。 理解人工智能、机器学习、深度学习三者之间的关系。 掌握机器学习的三个基本要素，了解损失函数、代价函数和目
标函数之间的区别和联系。 了解数据清洗、归一化（标准化）等处理方法。 掌握模型交叉验证法的步骤，熟悉混淆矩阵、分类准确率、错
误率、查准率、查全率、F1-score、ROC曲线及ROC 曲线下 面积（AUC）等常用的分类模型评估指标及应用场合。 理解模型欠拟合与过拟合的概念，掌握L1范数和L2范数正则化 的方法
目标函数（Objective Function）：最终要优化的函数， 包括代价函数和正则化函数。
1.3 机器学习的三个基本要素
损失函数（Loss Function）
0-1损失函数
平方损失函数 绝对损失函数
1.3 机器学习的三个基本要素
损失函数（Loss Function）
对数损失函数
1.4 机器学习模型的分类
1.4.1 按学习方式分类
监督式学习、监督学习（Supervised Learning ）
利用一组带标签样本调整模型参数，提升模型性能的学习方式。
非监督式学习、无监督学习（Unsupervised Learning ）
通过比较样本之间的某种联系实现对样本的数据分析。 无监督学习最大特点是学习算法的输入是无标签样本。
象是人工智能，特别是如何在经验学习中改善具体算法 的性能。（Langley，1996年） 机器学习是对能通过经验自动改进的计算机算法的研究。 （Tom Mitchell，1997年） 机器学习是用样本数据或以往的经验对计算机编程以优 化性能指标。 （Alpaydin，2004年）
1.1 机器学习的概念与基本术语
1.1 机器学习的概念与基本术语
1.1.3 机器学习与人类学习的类比
1.1 机器学习的概念与基本术语
1.1.3 机器学习与人类学习的类比
婴儿通过识图卡或者实物学会了认识物体
1.1 机器学习的概念与基本术语
机器学习的一个形象描述
1.1 机器学习的概念与基本术语
机器学习的主要应用领域
数据挖掘 计算机视觉 自然语言处理 生物特征识别 搜索引擎 医学诊断 信用卡欺诈检测 证券市场分析 DNA序列测序 语音和手写识别 机器人
交叉熵损失函数
合页损失函数
1.3 机器学习的三个基本要素
1.3.3 优化算法
梯度下降法（Gradient Descent，GD） 随机梯度下降（Stochastic Gradient Descent，SGD） 小批量梯度下降 （Mini-Batch Gradient Descent，MBGD） 牛顿法 拟牛顿法 坐标下降法