数据挖掘——机器学习

➢ LDA是有监督的机器学习算法，在计算过程中利 用了样本标签值。这是一种判别模型，也是线性 模型。LDA也不能直接用于分类和回归问题，要 对降维后的向量进行分类还需要借助其他算法
kNN算法
➢ 核心：模板匹配，将样本分到离它最相似 的样本所属的类
➢ kNN算法本质上使用了模板匹配的思想。要 确定一个样本的类别，可以计算它与所有 训练样本的距离，然后找出和该样本最接 近的k个样本，统计这些样本的类别进行投 票，票数最多的那个类就是分类结果。
有监督学习
➢通过训练样本学习得到一个模型，然后用这个模型进行推理。
➢例如，我们如果要识别各种水果的图像，则需要用人工标注（即标 好了每张图像所属的类别，如苹果，梨，香蕉）的样本进行训练， 得到一个模型，接下来，就可以用这个模型对未知类型的水果进行 判断，这称为预测。
➢如果只是预测一个类别值，则称为分类问题；如果要预测出一个实 数，则称为回归问题，如根据一个人的学历、工作年限、所在城市、 行业等特征来预测这个人的收入。
➢谱聚类算法[33]是聚类算法家族中年轻的小伙伴，诞生于2000年左右，它将聚类问题转化 为图切割问题，这一思想提出之后，出现了大量的改进算法。
数据降维
数据降维
➢经典的PCA算法[14]诞生于1901年，这比第一台真正的计算机的诞生早了40多年。LDA在 有监督学习中已经介绍，在这里不再重复。
➢此后的近100年里，数据降维在机器学习领域没有出现太多重量级的成果。直到1998年，核 PCA作为非线性降维算法的出现。这是核技术的又一次登台，与PCA的结合将PCA改造成 了非线性的降维算法。
➢从2000年开始，机器学习领域刮起了一阵流形学习的旋风，这种非线性方法是当时机器学 习中炙手可热的方向，这股浪潮起始于局部线性嵌入LLE。此后，拉普拉斯特征映射，局 部保持投影，等距映射等算法相继提出[17-19]。流形学习在数学上非常优美，但遗憾的是 没有多少公开报道的成功的应用。
➢t-SNE是降维算法中年轻的成员，诞生于2008年，虽然想法很简单，效果却非常好。
概率图模型
• 赫赫有名的隐马尔可夫模型[21]诞生于1960年，在1980年代，它在语音识别中取得了成功， 一时名声大噪，后来被广泛用于各种序列数据分析问题，在循环神经网络大规模应用之前， 处于主导地位。
➢ 贝叶斯分分类器是一种生成模型，可以处理多分类问题， 是一种非线性模型。
决策树
➢ 核心：一组嵌套的判定规则 ➢ 决策树在本质上是一组嵌套的if-else判定
规则，从数学上看是分段常数函数，对应 于用平行于坐标轴的平面对空间的划分。 判定规则是人类处理很多问题时的常用方 法，这些规则是我们通过经验总结出来的， 而决策树的这些规则是通过训练样本自动 学习得到的。训练时，通过最大化Gini或 者其他指标来寻找最佳分裂。 ➢ 决策树是一种判别模型，既支持分类问题， 也支持回归问题，是一种非线性模型（分 段线性函数不是线性的）。它天然的支持 多分类问题。
➢ 随机森林[10]出现于2001年，与AdaBoost算法同属集成学习，虽然简单，但在很多问题上效果却出奇的好， 因此现在还在被大规模使用。
➢ 2009年距离度量学习的一篇经典之作[8]算是经典机器学习算法中年轻的小兄弟，在后来，这种通过机器学 习得到距离函数的想法被广泛的研究，出现了不少的论文。
➢LLE是一种无监督的机器学习算法，它 是一种非线性降维算法，不能直接用于 分类或者回归问题。
概率图模型
➢概率图模型是机器学习算法中独特的一个分支，它是图与概率论的 完美结合。在这种模型中，每个节点表示随机变量，边则表示概率。 因为晦涩难以理解，让很多同学谈虎色变，但如果你悟透了这类方 法的本质，其实并不难。
学习机器(LM)，它能够实现一定的函数集f(x，a)，a属于A，其中A是 参数集合。
机器学习的基本问题
➢机器学习就是从给定的函数集f(x,) (是参数),选择出能够最好 地逼近训练器响应的函数.
➢机器学习的目的可以形式化的表示为:根据n个独立同分布的观测
样本,
(x1, y1), ( x2 , y2 ),L , ( xn , yn )
➢无监督学习的另外一类典型算法是数据降维，它将一个高维向量变换 到低维空间中，并且要保持数据的一些内在信息和结构。
强化学习
➢是一类特殊的机器学习算法，算法要根据当前的环境状态确定一个 动作来执行，然后进入下一个状态，如此反复，目标是让得到的收 益最大化。
➢如围棋游戏就是典型的强化学习问题，在每个时刻，要根据当前的 棋局决定在什么地方落棋，然后进行下一个状态，反复的放置棋子， 直到赢得或者输掉比赛。这里的目标是尽可能的赢得比赛，以获得 最大化的奖励。
无监督学习
➢没有训练过程，给定一些样本数据，让机器学习算法直接对这些数据 进行分析，得到数据的某些知识。
➢其典型代表是聚类，例如，我们抓取了1万个网页，要完成对这些网 页的归类，在这里，我们并没有事先定义好的类别，也没有已经训练 好的分类模型。聚类算法要自己完成对这1万个网页的归类，保证同 一类网页是同一个主题的，不同类型的网页是不一样的。
LDA
➢ 核心：向最大化类间差异、最小化类内差异的方 向线性投影
➢ 通过线性投影来最小化同类样本间的差异，最大 化不同类样本间的差异。具体做法是寻找一个向 低维空间的投影，就是经过这个投影之后同一类 的样本进来聚集在一起，不同类的样本尽可能离 得远。
➢ 训练时的优化目标是类间差异与类内差异的比值 最后归结于求解矩阵的特征值与特征向量
PCA
➢核心：向重构误差最小（方差最大） 的方向做线性投影
➢PCA是一种数据降维和去除相关性 的方法，它通过线性变换将向量投 影到低维空间
➢降维要确保的是在低维空间中的投 影能很好的近似表达原始向量，即 重构误差最小化。最后归结为求协 方差矩阵的特征值和特征向量
➢PCA是一种无监督的学习算法，它 是线性模型，不能直接用于分类和 回归问题。
类别标签为y，根据贝叶斯公式，样本属于每个类的条 件概率（后验概率）
➢ 分母p(x)对所有类都是相同的，分类的规则是将样本归 到后验概率最大的那个类，不需要计算准确的概率值， 只需要知道属于哪个类的概率最大即可，这样可以忽略 掉分母。
➢ 在实现贝叶斯分类器时，需要知道每个类的条件概率分 布p(x|y)即先验概率。一般假设样本服从正态分布。训 练时确定先验概率分布的参数，一般用最大似然估计， 即最大化对数似然函数。
在一组函数 { f (x,中)} 求出一个最优函数 行估计,使期望风险最小.
{ f (x,对0)} 训练器的响应进
R() L( y, f (x,))dP(x, y)
其中 P(x, y)是未知的,对于不同类型的机器学习问题有不同形式 的损失函数.
机器学习算法
➢有监督学习 ➢无监督学习 ➢强化学习
➢ 从1980年开始到2012年深度学习兴起之前，有监督学习得到了快速的发展，这有些类似于春秋战国时代，各 种思想和方法层出不穷，相继登场。
➢ 没有一种机器学习算法在大量的问题上取得压倒性的优势，这和现在的深度学习时代很不一样。
贝叶斯分类器
➢ 核心：将样本判定为后验概率最大的类 ➢ 用贝叶斯公式解决分类问题。假设样本的特征向量为x，
• SVM代表了核技术的胜利，这是一种思想，通过隐式的将输入向量映射到高维空间中，使得原本非线性的问题能得 到很好的处理。
• 而AdaBoost则代表了集成学习算法的胜利，通过将一些简单的弱分类器集成起来使用，居然能够达到惊人的精度
有监督学习
➢ 现在大红大紫的LSTM[51]在2000年就出现了。在很长一段时间内一直默默无闻，直到2013年后与深度循环 神经网络整合，在语音识别上取得成功。
➢贝叶斯分类器起步于1950年代，基于贝叶斯决策理论，它把样本分到后验概率最大的 那个类。
➢logistic回归[2]的历史同样悠久，可以追溯到1958年。它直接预测出一个样本属于正样 本的概率，在广告点击率预估、疾病诊断等问题上得到了应用。
➢感知器模型[3]是一种线性分类器，可看作是人工神经网络的前身，诞生于1958年，但 它过于简单，甚至不能解决异或问题，因此不具有实用价值，更多的起到了思想启蒙 的作用，为后面的算法奠定了思想上的基础。
机器学习算法
• 分类算法-是什么？即根据一个样本预测出它所属的类别 • 回归算法-是多少？即根据一个样本预测出一个数量值 • 聚类算法-怎么分？保证同一个类的样本相似，不同类的样本之间尽量不同 • 强化学习-怎么做？即根据当前的状态决定执行什么动作，最后得到最大的回报
有监督学习
有监督学习
➢线性判别分析（LDA）[1]是Fisher发明的，其历史可以追溯到1936年，那时候还没有 机器学习的概念。这是一种有监督的数据降维算法，它通过线性变换将向量投影到低 维空间中，保证投影后同一种类型的样本差异很小，不同类的样本尽量不同。
有监督学习
➢kNN算法[7]诞生于1967年，这是一种基于模板匹配思想的算法，虽然 简单，但很有效，至今仍在被使用。
➢在1980年之前，这些机器学习算法都是零碎化的，不成体系。但它们对 整个机器学习的发展所起的作用不能被忽略。从1980年开始，机器学习 才真正成为一个独立的方向。在这之后，各种机器学习算法被大量的提 出，得到了快速发展。
➢ kNN算法是一种判别模型，即支持分类问题， 也支持回归问题，是一种非线性模型。它 天然的支持多分类问题。
➢ kNN算法没有训练过程，是一种基于实例的 算法。
无监督学习
➢聚类
➢数据降维
聚类
• 聚类算法的历史与有监督学习一样悠久。层次聚类算法出现于 1963年[26]，这是非常符合人的直观思维的算法，现在还在使用。 它的一些实现方式，包括SLINK[27]，CLINK[28]则诞生于1970 年代
聚类
➢k均值算法[25]可谓所有聚类算法中知名度最高的，其历史可以追溯到1967年，此后出现了 大量的改进算法，也有大量成功的应用，是所有聚类算法中变种和改进型最多的。
➢大名鼎鼎的EM算法[29]诞生于1977年，它不光被用于聚类问题，还被用于求Байду номын сангаас机器学习中 带有缺数数据的各种极大似然估计问题。
➢Mean Shift算法[32]早在1995年就被用于聚类问题，和DBSCAN算法[30]，OPTICS算法[31] 一样，同属于基于密度的聚类算法。
➢ 1989年，LeCun设计出了第一个真正意义上的卷积神经网络[13]，用于手写数字的识别，这是现 在被广泛使用的深度卷积神经网络的鼻祖。在1986到1993年之间，神经网络的理论得到了极大的 丰富和完善，但当时的很多因素限制了它的大规模使用。
➢ 1990年代是机器学习百花齐放的年代。在1995年诞生了两种经典的算法-SVM[9]和AdaBoost[12]， 此后它们纵横江湖数十载，神经网络则黯然失色。
LLE（流形学习）
➢核心：用一个样本点的邻居的线性组合 近似重构这个样本，将样本投影到低维 空间中后依然保持这种线性组合关系
➢局部线性嵌入（简称LLE）将高维数据 投影到低维空间中，并保持数据点之间 的局部线性关系。其核心思想是每个点 都可以由与它相近的多个点的线性组合 来近似，投影到低维空间之后要保持这 种线性重构关系，并且有相同的重构系 数。
数据挖掘——机器学习
机器学习
统计学方法： 渐进理论，样本趋于无穷多时的统计性质 统计学习理论： 研究小样本统计估计和预测的过程中发展起来的一种理论. 学习问题的表示:
G
X
S
LM
y y
学习问题的表示
产生器(G),产生随机向量x属于Rn ,它们是从固定但未知的概率分布函 数F(x)中独立抽取的.
训练器(S)，对每个输入向量x返回一个输出值y，产生输出的根据是 同样固定但未知的条件分布函数 F(y|x)。
➢决策树的3种典型实现：ID3[4]，CART[5]，C4.5[6]是1980年代到1990 年代初期的重要成果，虽然简单，但可解释性强，这使得决策树至今在 一些问题上仍被使用。
有监督学习
➢ 1986年诞生了用于训练多层神经网络的真正意义上的反向传播算法[11]，这是现在的深度学习中 仍然被使用的训练算法，奠定了神经网络走向完善和应用的基础。