基于Spark的机器学习资料43、其它SparkML算法简单介绍
《Spark大数据编程基础(Scala版)》第九章 Spark机器学习原理
9.2.1 Pipeline概念
3.Estimator Estimator直译为评估器。其包括拟合和训练数据的所有
算法。通过执行以DataFrame为输入的fit()操作，生成一个模 型，该模型就是Transformer。例如：LogisticRegression是评 估器，通过执行fit()操作，训练产生LogisticRegressionModel， 即转换器。
9.1 Spark机器学习简介
spark.ml和spark.mllib都属于Spark的机器学习库，它们之 间的主要区别如下：
(1) spark.ml是升级版的spark.mllib，最新的Spark版本优 先支持spark.ml，2.0版本后，spark.mllib进入维护阶段，只进 行bug修复。
spark.ml.linalg 线性代数
spark.ml.recommendation 推荐
FPGrowth
Matrix Vector
ALS
spark.ml.regression 回归
AFTSurvivalRegression DecisionTreeRegressor RandomForestRegressor
9.1 Spark机器学习简介
目前(Spark2.3.0) spark.ml提供图9-1所示的API，在Spark 后续版本中，新的机器学习算法将加入spark.ml。
9.1 Spark机器学习简介
图 9-1 spark.ml库（Spark2.3.0）
9.1 Spark机器学习简介
spark.ml.fpm 关联规则
9.1 Spark机器学习简介 9.2 ML Pipeline 9.3 Spark机器学习数据准备 9.4 算法调优 9.5 本章小结
基于Spark的机器学习资料38、Spark ML(机器学习)介绍(监督学习、半监督学习、无监督学习)
Spark ML（机器学习）介绍（监督学习、半监督学习、无监督学习）一、机器学习定义机器学习(Machine Learning, ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。
专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。
机器学习还有模式识别、计算机视觉、语音识别、统计学习以及自然语言处理等，而在目前机器学习中，深度学习是机器学习研究中的一个新的领域，其动机在于建立、模拟人脑进行分析学习的神经网络，它模仿人脑的机制来解释数据，例如图像，声音和文本。
机器学习代表人物：1、Andrew Ng （吴恩达）不久前刚从百度的首席数字科学家的职位离开，他还是斯坦福大学计算机科学系副教授，在线教育平台Coursera 的联合创始人之一。
2、Yoshua Bengio 是蒙特利尔大学计算机科学教授，他因在人工神经网络和深度学习方面的研究而著名。
Bengio 曾说，他的研究背后最大的野心是理解“获取智慧的学习的原则”。
除了AI 和ML 的其他原则之外，他发表的大部分工作设计用于编码或格式化非结构化数据的自动编码器，通过无监督机器学习令计算机可以理解。
3、Yann LeCun作为自2013年以来Facebook 的AI 研究主管，LeCun 在计算机视觉领域的开创性工作获得广泛认可，计算机视觉是教机器以与人类识别物体相同的方式去“看见”物体，并通过对它们进行分类的方式学习它们。
LeCun 也被认为是卷积神经网络的发明人之一，这类模型的目标是创建与生物有机体（例如眼睛或大脑）相同的方式去获取及解释信息的算法。
LeCun 是纽约大学数据科学中心的创始人。
4、Demis Hassabis 是DeepMind 联合创始人，DeepMind 是谷歌在2014年收购的一家英国AI 创业公司。
Hassabis 的工作重点是结合机器学习和神经科学方法促进人工神经网络的发展。
利用SparkML实现大数据分析与机器学习
利用SparkML实现大数据分析与机器学习在当今信息时代，数据已经成为了不可或缺的资源。
特别是在企业建设和发展中，大数据已经成为了一个重要的资产。
然而，对于企业来说，如何处理这样大量的数据，以及如何从中获取更多的价值，却成为了一个难题。
这时，机器学习就出现了，它可以帮助企业快速发现有价值的信息。
而SparkML就是大数据分析与机器学习的一个非常有前途的工具。
一、Spark与SparkMLSpark是一种快速的分析大数据的工具。
它的核心特点是分布式数据处理，并且其基于内存而不是基于硬盘的运算方式，可以大幅度提高数据处理的速度。
同时，Spark还支持数据的流计算和批处理，并且可以对数据进行高斯模糊和机器学习。
Spark已经成为大数据领域中非常重要的一项技术。
SparkML是一种利用Spark进行大数据分析与机器学习的工具，是Spark生态系统中的一个子项目。
SparkML的特点是可以在分布式环境下同时处理多个大数据集，而且这些数据集可以运用不同的机器学习算法。
除此之外，SparkML还提供了数据转换、数据分析、数据挖掘和数据可视化等相关工具。
二、SparkML的机器学习工具SparkML提供了很多机器学习工具，主要包括以下几种：1.分类器：SparkML的分类器是基于Naive Bayes、支持向量机和决策树等算法的。
通过分析现有的数据集，分类器可以判断新的数据属于哪个类别，并给出相应的预测结果。
2.聚类器：SparkML的聚类器是基于K-means和Bisecting K-means等算法的。
聚类器可以将数据集中的数据分成不同的群组，每一组数据都有自己的一些共同特征。
3.回归器：SparkML的回归器是基于线性回归和逻辑回归等算法的。
回归器可以从已知的数据中预测新的未知数据的数值或者群组信息。
4.协同过滤器：SparkML的协同过滤器是基于推荐算法的。
它可以对大量的数据进行分析和处理，并且根据用户的偏好和历史行为，给出相应的推荐结果。
基于Spark的机器学习应用与算法实现探究
基于Spark的机器学习应用与算法实现探究在当前大数据时代，机器学习已经广泛应用于各个领域。
Spark作为一种快速、通用的大数据处理引擎，具有高效、灵活且易于使用的特点，成为了许多机器学习应用的首选平台。
本文将探究基于Spark的机器学习应用与算法实现的相关内容。
首先，我们来了解一下什么是Spark。
Spark是一种基于内存的分布式计算框架，提供了高效的数据处理能力，可以处理大规模数据，并且可以在多个节点上进行并行计算。
与其他分布式框架相比，Spark具有更好的容错性和性能优势，因此成为了大数据处理的热门选择。
在Spark中，机器学习库MLlib提供了丰富的机器学习算法和工具，方便用户进行各种机器学习任务的实现。
MLlib支持常见的机器学习任务，例如分类、回归、聚类和推荐等。
用户可以利用MLlib提供的算法和工具，快速构建并训练自己的模型。
在机器学习应用中，数据预处理是一个必不可少的步骤。
Spark提供了丰富的数据处理函数和工具，可以帮助用户对数据进行清洗、转换和特征提取等操作。
例如，用户可以使用Spark的数据清洗函数对数据中的缺失值进行处理，使用特征提取算法将原始数据转换为可用于训练的特征向量。
除了数据预处理，特征工程也是机器学习应用中非常重要的一步。
在特征工程中，用户可以利用Spark强大的数据处理能力，进行特征选择、特征降维和特征构造等操作。
Spark提供了多种特征选择算法，例如互信息、卡方检验和递归特征消除等，帮助用户选择最具有代表性和区分度的特征。
此外，Spark还提供了主成分分析（PCA）和线性判别分析（LDA）等降维算法，方便用户将高维数据转换为低维空间。
同时，用户还可以根据自己的业务需求，利用Spark的工具进行特征构造，例如利用文本数据进行词袋模型的构建，或者利用时间序列数据进行滑动窗口的构建。
在模型训练阶段，Spark提供了丰富的机器学习算法，方便用户选择适合自己问题的算法。
基于Spark的MLlib-v2
基于Spark的MLlibExample 1: K-means（一）算法简介K-means算法是典型的基于距离的聚类算法，采用距离作为相似性的评价指标，即认为两个对象的距离越近，其相似度就越大。
该算法认为簇是由距离靠近的对象组成的，因此把得到紧凑且独立的簇作为最终目标。
k个初始类聚类中心点的选取对聚类结果具有较大的影响，因为在该算法第一步中是随机的选取任意k个对象作为初始聚类的中心，初始地代表一个簇。
该算法在每次迭代中对数据集中剩余的每个对象，根据其与各个簇中心的距离将每个对象重新赋给最近的簇。
当考察完所有数据对象后，一次迭代运算完成，新的聚类中心被计算出来。
如果在一次迭代前后，评价指标的值没有发生变化，说明算法已经收敛。
（二）算法步骤算法过程如下：Step 1: 从数据集的N个元素中随机选取K个元素作为质心；Step 2: 对剩余的每个元素测量其到每个质心的距离，并把它归到最近的质心的类；Step 3: 重新计算已经得到的各个类的质心；Step 4: 迭代2～3步直至新的质心与原质心相等或小于指定阈值，算法结束。
（三）算法举例举个简单的例子，假如现在有n个数据形成的数据集data[n]，要对这n个元素进行k-means聚类，那么可按以下流程去做：输入：k,data[n];Step 1: 选择k个初始中心点，例如c[0]=data[0],…c[k−1]=data[k−1]；Step 2: 对于data[0]….data[n]，分别与c[0]…c[k−1]进行比较，假定与c[i]差值最少，就标记为i；Step 3: 对于所有标记为i的点，重新计算它们的中心c[i]= {所有标记为i的data[j]之和}/标记为i的个数；Step 4: 重复step 2 和step 3，直到所有c[i]值的变化小于给定阈值。
（四）基于Spark的算法实现并行化说明：可以找到以上代码中标记为Trains the k-means model的那行代码，可以看到这里调用了一个命名为KMeans的包，我们去找到这个包，里面做的就是数据的切割和分发处理，第二个标黄的reduceByKey要做的事情就是把每一块处理完的结果进行合并汇总。
SparkMLib完整基础入门教程
SparkMLib完整基础⼊门教程Spark MLib在Spark下进⾏机器学习，必然⽆法离开其提供的MLlib框架，所以接下来我们将以本框架为基础进⾏实际的讲解。
⾸先我们需要了解其中最基本的结构类型，即转换器、估计器、评估器和流⽔线。
graph LR A[转换器] --> B(估计器) B --> C(评估器) C --> D[模型]⾸先欢迎⼤家Start本⼈关于机器学习的，不仅仅包含了Spark ML还包括python下的sklearn等主流库。
⼀、基础使⽤接下来我们将以⼀个简单的例⼦为基础整体介绍在Spark下进⾏机器学习的使⽤⽅式，便于读者⼤体熟悉完整的流程节点。
当然在这其中对于部分不了解的情况下可以等在后续详细学习的过程中进⾏补充即可。
1. 特征⼯程这部分相关知识可以参考本⼈编写的的开源教程，其中对该部分进⾏详细的说明，下⾯我们将就框架提供的RFormula进⾏具体的实战操作（这⾥熟悉R语⾔的可能对此⽐较熟悉，本⾝就是借鉴了R语⾔，但是仅实现了其中的⼀个⼦集），对于我们需要进⾏特征化的数据⾸先我们需要定义对应的线性模型公式，具体如下。
Dataset<Row> df = session.read().json("sparkdemo/data/simple-ml");RFormula supervised = new RFormula().setFormula("lab ~ . + color: value1 + color: value2");当然仅仅通过上述的⽅式还不能实现对数据的特征化，我们还需要通过数据对其进⾏训练，从⽽得到我们所需的转换器，为此我们需要使⽤其中的fit⽅法进⾏转换。
RFormulaModel model = supervised.fit(df);完成转换器的训练后我们就可以利⽤其进⾏实际的转换操作，从⽽⽣成特征features与标签label列，当然读者也可以通过supervised.setLabelCol设置标签列名，supervised.setFeaturesCol设置特征列名。
Spark基本概念及入门
Spark基本概念及⼊门sparkspark背景什么是sparkSpark是⼀种快速、通⽤、可扩展的⼤数据分析引擎，2009年诞⽣于加州⼤学伯克利分校AMPLab，2010年开源，2013年6⽉成为Apache孵化项⽬，2014年2⽉成为Apache顶级项⽬。
⽬前，Spark⽣态系统已经发展成为⼀个包含多个⼦项⽬的集合，其中包含SparkSQL、Spark Streaming、GraphX、MLlib等⼦项⽬，Spark是基于内存计算的⼤数据并⾏计算框架。
Spark基于内存计算，提⾼了在⼤数据环境下数据处理的实时性，同时保证了⾼容错性和⾼可伸缩性，允许⽤户将Spark部署在⼤量廉价硬件之上，形成集群。
Spark与HadoopSpark是⼀个计算框架,⽽Hadoop中包含计算框架MapReduce和分布式⽂件系统HDFS,Hadoop更⼴泛地说还包括在其⽣态系统上的其他系统.为什么使⽤Spark?Hadoop的MapReduce计算模型存在问题:Hadoop的MapReduce的核⼼是Shuffle(洗牌).在整个Shuffle的过程中,⾄少产⽣6次I/O流.基于MapReduce计算引擎通常会将结果输出到次盘上,进⾏存储和容错.另外,当⼀些查询(如:hive)翻译到MapReduce任务是,往往会产⽣多个Stage,⽽这些Stage有依赖底层⽂件系统来存储每⼀个Stage的输出结果,⽽I/O的效率往往较低,从⽽影响MapReduce的运⾏速度.Spark的特点: 快, 易⽤, 通⽤,兼容性快：与Hadoop的MapReduce相⽐，Spark基于内存的运算要快100倍以上，基于硬盘的运算也要快10倍以上。
Spark实现了⾼效的DAG执⾏引擎，可以通过基于内存来⾼效处理数据流。
易⽤：Spark⽀持Java、Python和Scala的API，还⽀持超过80种⾼级算法，使⽤户可以快速构建不同的应⽤。
⽽且Spark⽀持交互式的Python和Scala的shell，可以⾮常⽅便地在这些shell中使⽤Spark集群来验证解决问题的⽅法。
Spark基础知识详解
Spark基础知识详解Apache Spark是⼀种快速通⽤的集群计算系统。
它提供Java，Scala，和R中的⾼级API，以及⽀持通⽤执⾏图的优化引擎。
它还⽀持⼀组丰富的⾼级⼯具，包括⽤于SQL和结构化数据处理的Spark SQL，⽤于机器学习的MLlib，⽤于图形处理的GraphX和Spark Streaming。
Spark优点：减少磁盘I/O：随着实时⼤数据应⽤越来越多，Hadoop作为离线的⾼吞吐、低响应框架已不能满⾜这类需求。
HadoopMapReduce的map端将中间输出和结果存储在磁盘中，reduce端⼜需要从磁盘读写中间结果，势必造成磁盘IO成为瓶颈。
Spark允许将map端的中间输出和结果存储在内存中，reduce端在拉取中间结果时避免了⼤量的磁盘I/O。
Hadoop Yarn中的ApplicationMaster申请到Container后，具体的任务需要利⽤NodeManager从HDFS的不同节点下载任务所需的资源（如Jar包），这也增加了磁盘I/O。
Spark将应⽤程序上传的资源⽂件缓冲到Driver本地⽂件服务的内存中，当Executor执⾏任务时直接从Driver的内存中读取，也节省了⼤量的磁盘I/O。
增加并⾏度：由于将中间结果写到磁盘与从磁盘读取中间结果属于不同的环节，Hadoop将它们简单的通过串⾏执⾏衔接起来。
Spark把不同的环节抽象为Stage，允许多个Stage 既可以串⾏执⾏，⼜可以并⾏执⾏。
避免重新计算：当Stage中某个分区的Task执⾏失败后，会重新对此Stage调度，但在重新调度的时候会过滤已经执⾏成功的分区任务，所以不会造成重复计算和资源浪费。
可选的Shuffle排序：HadoopMapReduce在Shuffle之前有着固定的排序操作，⽽Spark则可以根据不同场景选择在map端排序或者reduce端排序。
灵活的内存管理策略：Spark将内存分为堆上的存储内存、堆外的存储内存、堆上的执⾏内存、堆外的执⾏内存4个部分。
机器学习MLib+Spark
1、机器学习概念1.1机器学习的定义在维基百科上对机器学习提出以下几种定义：●“机器学习是一门人工智能的科学，该领域的主要研究对象是人工智能，特别是如何在经验学习中改善具体算法的性能”。
●“机器学习是对能通过经验自动改进的计算机算法的研究”。
●“机器学习是用数据或以往的经验，以此优化计算机程序的性能标准。
”一种经常引用的英文定义是：A computer program is said to learn fromexperience E with respect to some class of tasks T and performance measure P, if its performance at tasks in T, as measured by P,improves with experience E。
可以看出机器学习强调三个关键词：算法、经验、性能，其处理过程如下图所示。
上图表明机器学习是数据通过算法构建出模型并对模型进行评估，评估的性能如果达到要求就拿这个模型来测试其他的数据，如果达不到要求就要调整算法来重新建立模型，再次进行评估，如此循环往复，最终获得满意的经验来处理其他的数据。
1.2机器学习的分类1.2.1 监督学习监督是从给定的训练数据集中学习一个函数（模型），当新的数据到来时，可以根据这个函数（模型）预测结果。
监督学习的训练集要求包括输入和输出，也可以说是特征和目标。
训练集中的目标是由人标注（标量）的。
在监督式学习下，输入数据被称为“训练数据”，每组训练数据有一个明确的标识或结果，如对防垃圾邮件系统中“垃圾邮件”、“非垃圾邮件”，对手写数字识别中的“1”、“2”、“3”等。
在建立预测模型时，监督式学习建立一个学习过程，将预测结果与“训练数据”的实际结果进行比较，不断调整预测模型，直到模型的预测结果达到一个预期的准确率。
常见的监督学习算法包括回归分析和统计分类：●二元分类是机器学习要解决的基本问题，将测试数据分成两个类，如垃圾邮件的判别、房贷是否允许等问题的判断。
Sparkmllib随机森林算法的简单应用（附代码）
Sparkmllib随机森林算法的简单应⽤（附代码）此前⽤⾃⼰实现的随机森林算法，应⽤在titanic⽣还者预测的数据集上。
事实上，有很多开源的算法包供我们使⽤。
⽆论是本地的机器学习算法包sklearn 还是分布式的spark mllib，都是⾮常不错的选择。
Spark是⽬前⽐较流⾏的分布式计算解决⽅案，同时⽀持集群模式和本地单机模式。
由于其通过scala语⾔开发，原⽣⽀持scala，同时由于python在科学计算等领域的⼴泛应⽤，Spark也提供了python的接⼝。
Spark的常⽤操作详见官⽅⽂档：/docs/latest/programming-guide.html在终端下⾯键⼊如下命令，切换到spark的⽬录，进⼊相应的环境：cd $SPARK_HOMEcd ./bin./pyspark可以看到，出现了python 的版本号以及spark的logo此时，仍然是输⼊⼀句，运⾏⼀句并输出。
可以事先编辑好脚本保存为filename然后：./spark-submit filename下⾯给出详细的代码：[python]1. import pandas as pd2. import numpy as np3. from pyspark.mllib.regression import LabeledPoint4. from pyspark.mllib.tree import RandomForest5.6.7. #将类别数量⼤于2的类别型变量进⾏重新编码，并把数据集变成labeledPoint格式8. #df=pd.read_csv('/home/kim/t.txt',index_col=0)9. #for col in ['Pclass','embrk']:10. # values=df[col].drop_duplicates()11. # for v in values:12. # col_name=col+str(v)13. # df[col_name]=(df[col]==v)14. # df[col_name]=df[col_name].apply(lambda x:int(x))15. #df=df.drop(['Pclass','embrk'],axis=1)16. #df.to_csv('train_data')17.18. #读⼊数据集变成弹性分布式数据集RDD ，由于是有监督学习，需要转换为模型输⼊的格式LabeledPoint19. rdd=pyspark.SparkContext.textFile('/home/kim/train')20. train=rdd.map(lambda x:x.split(',')[1])21. train=train.map(lambda line:LabeledPoint(line[1],line[2:]))22.23. #模型训练24. model=RandomForest.trainClassifier\25. (train, numClasses=2, categoricalFeaturesInfo={},numTrees=1000,\26. featureSubsetStrategy="auto",impurity='gini', maxDepth=4, maxBins=32)27.28. #包含LabeledPoint对象的RDD，应⽤features⽅法返回其输⼊变量的值,label⽅法返回其真实类别29. data_p=train.map(lambda lp:lp.features)30. v=train.map(lambda lp:bel)31. prediction=model.predict(data_p)32. vp=v.zip(prediction)33.34. #最后输出模型在训练集上的正确率35. MSE=vp.map(lambda x:abs(x[0]-x[1]).sum())/vp.count()36. print("MEAN SQURE ERROR: "+str(MSE))import pandas as pdimport numpy as npfrom pyspark.mllib.regression import LabeledPointfrom pyspark.mllib.tree import RandomForest#将类别数量⼤于2的类别型变量进⾏重新编码，并把数据集变成labeledPoint格式#df=pd.read_csv('/home/kim/t.txt',index_col=0)#for col in ['Pclass','embrk']:# values=df[col].drop_duplicates()# for v in values:# col_name=col+str(v)# df[col_name]=(df[col]==v)# df[col_name]=df[col_name].apply(lambda x:int(x))#df=df.drop(['Pclass','embrk'],axis=1)#df.to_csv('train_data')#读⼊数据集变成弹性分布式数据集RDD ，由于是有监督学习，需要转换为模型输⼊的格式LabeledPoint rdd=pyspark.SparkContext.textFile('/home/kim/train')train=rdd.map(lambda x:x.split(',')[1])train=train.map(lambda line:LabeledPoint(line[1],line[2:]))#模型训练model=RandomForest.trainClassifier\(train, numClasses=2, categoricalFeaturesInfo={},numTrees=1000,\featureSubsetStrategy="auto",impurity='gini', maxDepth=4, maxBins=32)#包含LabeledPoint对象的RDD，应⽤features⽅法返回其输⼊变量的值,label⽅法返回其真实类别data_p=train.map(lambda lp:lp.features)v=train.map(lambda lp:bel)prediction=model.predict(data_p)vp=v.zip(prediction)#最后输出模型在训练集上的正确率MSE=vp.map(lambda x:abs(x[0]-x[1]).sum())/vp.count()print("MEAN SQURE ERROR: "+str(MSE))后⾯可以多加测试，例如：使⽤更⼤规模的数据集；将数据集划分为训练集测试集，在训练集上建模在测试集上评估模型性能；使⽤mllib⾥⾯的其他算法并⽐较效果，等等欢迎⼤家与我交流！。
spark知识点总结
spark知识点总结Spark是一种分布式计算引擎，可以在大规模数据上进行高效的数据处理。
它提供了丰富的API，可以支持各种类型的应用程序，包括批处理、交互式查询、流处理和机器学习。
Spark还提供了很多工具和库，可以简化大规模数据处理的工作，同时也提供了很多优化特性，可以确保性能和可靠性。
Spark的核心概念Spark的核心概念包括Resilient Distributed Datasets (RDD)、作业和任务、分区、转换和行动。
这些概念是理解Spark编程模型的关键。
1. Resilient Distributed Datasets (RDD)RDD是Spark的核心数据结构，它代表一个可以在集群上并行操作的数据集合。
RDD可以从外部数据源创建，也可以通过其他RDD进行转换得到。
RDD具有容错性，并且可以在节点之间进行数据分区和并行处理。
2. 作业和任务在Spark中，作业是指由一系列的任务组成的计算单元。
每个任务都是在一个数据分区上并行执行的。
Spark会根据数据依赖关系和调度策略来合并任务，并在集群上执行。
这样可以确保作业能够高效地执行，并且可以减少数据传输和计算开销。
3. 分区分区是指将数据集合分割成多个独立的部分，这样可以在集群上进行并行处理。
Spark提供了很多内置的分区方法，同时也支持自定义分区策略。
正确的分区策略可以提高计算效率，减少数据传输和数据倾斜。
4. 转换和行动在Spark中，转换是指对RDD进行操作来生成新的RDD，例如map、filter、flatMap等。
行动是指对RDD执行计算来获取结果，例如reduce、collect、count等。
转换和行动是Spark编程的核心操作，它们可以用来构建复杂的数据处理流程。
Spark的核心特性除了上述核心概念外，Spark还具有以下几个核心特性：1. 内存计算Spark将数据存储在内存中，可以在多次计算之间重用数据，从而避免了传统的磁盘读写开销。
Spark学习之基于MLlib的机器学习
Spark学习之基于MLlib的机器学习Spark学习之基于MLlib的机器学习1. 机器学习算法尝试根据训练数据（training data）使得表⽰算法⾏为的数学⽬标最⼤化，并以此来进⾏预测或作出决定。
2. MLlib完成⽂本分类任务步骤：(1)⾸先⽤字符串RDD来表⽰你的消息(2)运⾏MLlib中的⼀个特征提取（feature extraction）算法来把⽂本数据转换为数值特征（适合机器学习算法处理）；该操作会返回⼀个向量RDD。
(3)对向量RDD调⽤分类算法(⽐如逻辑回归)；这步会返回⼀个模型对象，可以使⽤该对象对新的数据点进⾏分类。
(4)使⽤MLlib的评估函数在测试数据集上评估模型。
3. MLlib包含的主要数据类型：VectorLabeledPointRating各种Model类4. 操作向量向量有两种：稠密向量和稀疏向量稠密向量：把所有维度的值存放在⼀个浮点数数组中稀疏向量：只把各维度的⾮零值存储下来优先考虑稀疏向量，也是关键的优化⼿段创建向量的⽅式在各语⾔上有⼀些细微差别5. 算法特征提取TF-IDF(词频——逆⽂档频率)使⽤⽤来从⽂本⽂档（例如⽹页）中⽣成特向量的简单⽅法。
MLlib⽤两个算法来计算TF-IDF:Hashing和IDF，都在mllib.feature包内。
缩放，⼤多数要考虑特征向量中各元素的幅值，并且在特征缩放调整为平等对待时表现最好。
正规化，在准备输⼊数据时，把向量正规化为长度1。
使⽤Normalizer类可以实现。
Word2Vec是⼀个基于神经⽹络的⽂本特征算法，可以⽤来将数据传给许多下游算法。
统计分类和归类分类与回归是监督学习的两种形式。
监督学习是指算法尝试使⽤有标签的训练数据根据对象的特征预测结果。
在分类中，预测出的变量是离散的。
在回归中，预测出的变量是连续的。
MLlib中包含许多分类与回归算法：如简单的线性算法以及决策树和森林算法。
聚类聚类算法是⼀种⽆监督学习任务，⽤于将对象分到具有⾼度相似性的聚类中。
SparkML协同过滤推荐算法
SparkML协同过滤推荐算法⼀.简介 协同过滤算法【Collaborative Filtering Recommendation】算法是最经典、最常⽤的推荐算法。
该算法通过分析⽤户兴趣，在⽤户群中找到指定⽤户的相似⽤户，综合这些相似⽤户对某⼀信息的评价，形成系统关于该指定⽤户对此信息的喜好程度预测。
⼆.步骤 1.收集⽤户偏好。
2.找到相似的⽤户或物品。
3.计算推荐。
三.⽤户评分 从⽤户的⾏为和偏好中发现规律，并基于此进⾏推荐，所以收集⽤户的偏好信息成为系统推荐效果最基础的决定因素。
数据预处理： 1.减噪 因为⽤户数据在使⽤过程中可能存在⼤量噪声和误操作，所以需要过滤掉这些噪声。
2.归⼀化 不同⾏为数据的差别⽐较⼤，通过归⼀化，数据归于⼤致均衡，计算时才能减少异常数据产⽣的影响。
组合不同⽤户⾏为⽅式： 1.将不同的⾏为分组 2.对不同⾏为进⾏加权四.相似度计算 对⽤户的⾏为分析得到⽤户的偏好后，可以根据⽤户的偏好计算相似⽤户和物品，然后可以基于相似⽤户或相似物品进⾏推荐。
我们可以将⽤户对所有物品的偏好作为⼀个矩阵来计算⽤户之间的相似度，或者将所有⽤户对物品的偏好作为⼀个矩阵来计算物品之间的相似度。
1.同现相似度 指在喜爱物品A的前提下，喜爱物品B的概率。
当物品B喜爱率较⾼时可以使⽤(A交B)/sqrt(A或B)。
2.欧式距离 1/(1+d(x,y)) 备注：d(x,y) 欧式距离 3.⽪尔逊相关系数 ⽪尔逊相关系数⼀般⽤于计算两个定距变量间联系的紧密程度，它的取值为【-1~1】之间。
4.Cosine相似度【余弦相似度】 Cosine相似度⼴泛应⽤于计算⽂档数据的相似度。
5.Tanimoto系数 Tanimoto系数也被称为Jaccard系数，是Cosine相似度的扩展，也多⽤于计算⽂档数据的相似度。
五.代码实现1package big.data.analyse.ml23import _root_.breeze.numerics.sqrt4import org.apache.log4j.{Level, Logger}5import org.apache.spark.{SparkContext, SparkConf}6import org.apache.spark.rdd.RDD78/**9 * ⽤户评分10 * @param userid ⽤户11 * @param itemid 物品12 * @param pref 评分13*/14case class ItemPref(val userid : String,val itemid : String, val pref : Double) extends Serializable1516/**17 * 相似度18 * @param itemid_1 物品19 * @param itemid_2 物品20 * @param similar 相似度21*/22case class ItemSimilar(val itemid_1 : String, val itemid_2 : String, val similar : Double) extends Serializable 2324/**25 * 给⽤户推荐物品26 * @param userid ⽤户27 * @param itemid 物品28 * @param pref 推荐系数29*/30case class UserRecommend(val userid : String, val itemid : String, val pref : Double) extends Serializable3132/**33 * 相似度计算34*/35class ItemSimilarity extends Serializable{36 def Similarity(user : RDD[ItemPref], stype : String) : RDD[ItemSimilar] = {37 val similar = stype match{38case "cooccurrence" => ItemSimilarity.CooccurenceSimilarity(user) // 同现相似度39//case "cosine" => // 余弦相似度40//case "euclidean" => // 欧式距离相似度41case _ => ItemSimilarity.CooccurenceSimilarity(user)42 }43 similar44 }45 }4647 object ItemSimilarity{48 def CooccurenceSimilarity(user : RDD[ItemPref]) : (RDD[ItemSimilar]) = {49 val user_1 = user.map(r => (erid, r.itemid, r.pref)).map(r => (r._1, r._2))50/**51 * 内连接，默认根据第⼀个相同字段为连接条件，物品与物品的组合52*/53 val user_2 = user_1.join(user_1)5455/**56 * 统计57*/58 val user_3 = user_2.map(r => (r._2, 1)).reduceByKey(_+_)5960/**61 * 对⾓矩阵62*/63 val user_4 = user_3.filter(r => r._1._1 == r._1._2)6465/**66 * ⾮对⾓矩阵67*/68 val user_5 = user_3.filter(r => r._1._1 != r._1._2)6970/**71 * 计算相似度72*/73 val user_6 = user_5.map(r => (r._1._1, (r._1._1,r._1._2,r._2)))74 .join(user_4.map(r => (r._1._1, r._2)))7576 val user_7 = user_6.map(r => (r._2._1._2, (r._2._1._1, r._2._1._2, r._2._1._3, r._2._2)))77 .join(user_4.map(r => (r._1._1, r._2)))7879 val user_8 = user_7.map(r => (r._2._1._1, r._2._1._2, r._2._1._3, r._2._1._4, r._2._2))80 .map(r => (r._1, r._2, (r._3 / sqrt(r._4 * r._5))))8182 user_8.map(r => ItemSimilar(r._1, r._2, r._3))83 }84 }8586class RecommendItem{87 def Recommend(items : RDD[ItemSimilar], users : RDD[ItemPref], number : Int) : RDD[UserRecommend] = {88 val items_1 = items.map(r => (r.itemid_1, r.itemid_2, r.similar))89 val users_1 = users.map(r => (erid, r.itemid, r.pref))9091/**92 * i⾏与j列join93*/94 val items_2 = items_1.map(r => (r._1, (r._2, r._3))).join(users_1.map(r => (r._2, (r._1, r._3))))9596/**97 * i⾏与j列相乘98*/99 val items_3 = items_2.map(r => ((r._2._2._1, r._2._1._1), r._2._2._2 * r._2._1._2))100101/**102 * 累加求和103*/104 val items_4 = items_3.reduceByKey(_+_)105106/**107 * 过滤已存在的物品108*/109 val items_5 = items_4.leftOuterJoin(users_1.map(r => ((r._1, r._2), 1))).filter(r => r._2._2.isEmpty) 110 .map(r => (r._1._1, (r._1._2, r._2._1)))111112/**113 * 分组114*/115 val items_6 = items_5.groupByKey()116117 val items_7 = items_6.map(r => {118 val i_2 = r._2.toBuffer119 val i_2_2 = i_2.sortBy(_._2)120if(i_2_2.length > number){121 i_2_2.remove(0, (i_2_2.length - number))122 }123 (r._1, i_2_2.toIterable)124 })125126 val items_8 = items_7.flatMap(r => {127 val i_2 = r._2128for(v <- i_2) yield (r._1, v._1, v._2)129 })130131 items_8.map(r => UserRecommend(r._1, r._2, r._3))132 }133 }134135/**136 * Created by zhen on 2019/8/9.137*/138 object ItemCF {139 def main(args: Array[String]) {140 val conf = new SparkConf()141 conf.setAppName("ItemCF")142 conf.setMaster("local[2]")143144 val sc = new SparkContext(conf)145146/**147 * 设置⽇志级别148*/149 Logger.getRootLogger.setLevel(Level.WARN)150151 val array = Array("1,1,0", "1,2,1", "1,4,1", "2,1,0", "2,3,1", "2,4,0", "3,1,0", "3,2,1", "4,1,0", "4,3,1") 152 val cf = sc.parallelize(array)153154 val user_data = cf.map(_.split(",")).map(r => (ItemPref(r(0), r(1), r(2).toDouble)))155156/**157 * 建⽴模型158*/159 val mySimilarity = new ItemSimilarity()160 val similarity = mySimilarity.Similarity(user_data, "cooccurrence")161162 val recommend = new RecommendItem()163 val recommend_rdd = recommend.Recommend(similarity, user_data, 30)164165/**166 * 打印结果167*/168 println("物品相似度矩阵:" + similarity.count())169 similarity.collect().foreach(record => {170 println(record.itemid_1 +","+ record.itemid_2 +","+ record.similar)171 })172173 println("⽤户推荐列表:" + recommend_rdd.count())174 recommend_rdd.collect().foreach(record => {175 println(erid +","+ record.itemid +","+ record.pref)176 })177 }178 }六.结果。
基于Spark的机器学习算法研究与应用
基于Spark的机器学习算法研究与应用随着互联网的飞速发展，大数据时代的到来，人们对机器学习的需求越来越高，而Spark作为一个分布式计算框架，已经成为了最受欢迎的大数据处理框架之一。
利用Spark，我们可以快速地处理海量数据，并通过机器学习算法来挖掘出其中隐藏的规律和信息。
本文将探讨基于Spark的机器学习算法研究与应用。
一、Spark简介Spark是一种快速、通用、可扩展的大数据处理引擎，旨在帮助研究人员和开发人员通过在集群上分析大型数据集来优化人工智能和决策支持系统。
Spark为各种应用程序提供了通用API，包括SQL查询、流处理、机器学习和图形处理等。
从内部结构上来说，Spark由以下几个主要组成部分组成：Spark Core、Spark SQL、Spark Streaming、MLlib和GraphX。
其中，Spark Core是Spark的核心组件，提供了Spark的基本功能，包括任务调度、内存管理、错误恢复、与存储系统的交互等。
二、机器学习算法概述机器学习是一种通过学习算法从数据中提取知识和规律的方法。
它是人工智能的一个子领域，与统计学和数据挖掘密切相关。
机器学习算法分为监督学习、无监督学习和半监督学习三种类型。
监督学习是指在训练阶段，模型需要使用带标签的数据来训练，以便能够预测新的标签数据。
最常见的监督学习算法包括回归、分类和神经网络等。
无监督学习是指在训练阶段，模型不需要使用标签数据，而是需要发现数据的内在结构。
最常见的无监督学习算法包括聚类、关联规则和主成分分析等。
半监督学习则将监督学习和无监督学习结合起来，通常用于标签数据很少的情况。
常见的半监督学习算法包括生成式模型和协同过滤等。
三、基于Spark的机器学习算法应用Spark提供了许多用于机器学习的库，MLlib是其中最为重要的一部分。
MLlib 是一个分布式机器学习库，它被集成在Spark Core中，并提供了许多常用的机器学习算法和工具。
Spark大数据技术与应用 第8章 Spark MLlib：功能强大的算法库
6
了解MLlib算法库
4. MLlib发展
➢ Spark MLlib历史比较长，在1.0以前的版本即已经包含了，提供的算法实现都是基于原始的RDD。主要 有以下几个发展过程。 0.8版本时，MLlib算法包被加入Spark，但是只支持Java和Scala两种语言。 1.0版本时，Spark MLlib才可以支持Python语言。 1.2版本开始Spark机器学习库被分为两个包 1.2以后的版本，对MLlib中的算法不断的增加和改进 从Spark2.0开始，基于RDD的API进入维护模式（即不增加任何新的特性），并预期于3.0版本的时候 被移除出MLlib。
大数据，成就未来
第8章 Spark MLlib：功能强大的 算法库
2022/10/18
目录
1
了解Mllib算法库
2
以Logistic实现用户分类
2
了解MLlib算法库
1. 机器学习概念
机器学习就是让机器能像人一样有学习、理解、认识的能力。试想，如果 计算机能够对大量的癌症治疗 记录进行归纳和总结，并能够给医生提出适当的建议，对于 病人的康复将有重大意义。 机器学习是一门人工 智能的科学，该领域的主要研究对象是人工智能，特别是如何在 经验学习中改善具体算法的性能。机器学习 的过程就是通过计算机使算法模型利用输入数 据的规律或以往经验进行学习，并对模型进行评估，评估的性 能如果达到要求就拿这个模 型来测试其他的数据，如果达不到要求就要调整算法来重新建立模型，再次进行 评估，如 此循环往复，最终获得满意的经验来处理其他的数据。 机器学习可以分为监督学习、非监督学习、 半监督学习 3 种。监督学习就是给出的训 练数据集是有标签的，已经能够确定所给数据集的类别。半监督学 习针对的问题是数据量 超级大但是标签数据很少或者标签数据不易获取的情况。无监督学习与监督学习相反 ，训 练数据完全没有标签，只能依靠数据间的相似性分类，例如广泛使用的 KMeans 算法
SparkMLlib介绍
SparkMLlib介绍Spark MLlib介绍Spark之所以在机器学习⽅⾯具有得天独厚的优势，有以下⼏点原因：（1）机器学习算法⼀般都有很多个步骤迭代计算的过程，机器学习的计算需要在多次迭代后获得⾜够⼩的误差或者⾜够收敛才会停⽌，迭代时如果使⽤Hadoop的MapReduce计算框架，每次计算都要读/写磁盘以及任务的启动等⼯作，这回导致⾮常⼤的I/O和CPU消耗。
⽽Spark基于内存的计算模型天⽣就擅长迭代计算，多个步骤计算直接在内存中完成，只有在必要时才会操作磁盘和⽹络，所以说Spark正是机器学习的理想的平台。
（2）从通信的⾓度讲，如果使⽤Hadoop的MapReduce计算框架，JobTracker和TaskTracker之间由于是通过heartbeat的⽅式来进⾏的通信和传递数据，会导致⾮常慢的执⾏速度，⽽Spark具有出⾊⽽⾼效的Akka和Netty通信系统，通信效率极⾼。
MLlib(Machine Learnig lib) 是Spark对常⽤的机器学习算法的实现库，同时包括相关的测试和数据⽣成器。
Spark的设计初衷就是为了⽀持⼀些迭代的Job, 这正好符合很多机器学习算法的特点。
在Spark官⽅⾸页中展⽰了Logistic Regression算法在Spark和Hadoop中运⾏的性能⽐较，如图下图所⽰。
可以看出在Logistic Regression的运算场景下，Spark⽐Hadoop快了100倍以上！MLlib⽬前⽀持4种常见的机器学习问题: 分类、回归、聚类和协同过滤，MLlib在Spark整个⽣态系统中的位置如图下图所⽰。
MLlib基于RDD，天⽣就可以与Spark SQL、GraphX、Spark Streaming⽆缝集成，以RDD为基⽯，4个⼦框架可联⼿构建⼤数据计算中⼼！MLlib是MLBase⼀部分，其中MLBase分为四部分：MLlib、MLI、ML Optimizer和MLRuntime。
SparkMLlib分类算法之逻辑回归算法
SparkMLlib分类算法之逻辑回归算法SparkMLlib分类算法之逻辑回归算法（⼀），逻辑回归算法的概念（） 逻辑回归与线性回归类似，但它不属于回归分析家族（主要为⼆分类），⽽属于分类家族，差异主要在于变量不同，因此其解法与⽣成曲线也不尽相同。
逻辑回归是⽆监督学习的⼀个重要算法，对某些数据与事物的归属（分到哪个类别）及可能性（分到某⼀类别的概率）进⾏评估。
（⼆），SparkMLlib逻辑回归应⽤1，数据集的选择：2，数据集描述：关于涉及⽹页中推荐的页⾯是短暂（短暂存在，很快就不流⾏了）还是长久（长时间流⾏）的分类3，数据预处理及获取训练集和测试集val orig_file=sc.textFile("train_nohead.tsv")//println(orig_file.first())val data_file=orig_file.map(_.split("\t")).map{r =>val trimmed =r.map(_.replace("\"",""))val lable=trimmed(r.length-1).toDoubleval feature=trimmed.slice(4,r.length-1).map(d => if(d=="?")0.0else d.toDouble)LabeledPoint(lable,Vectors.dense(feature))}.randomSplit(Array(0.7,0.3),11L)val data_train=data_file(0)//训练集val data_test=data_file(1)//测试集4，逻辑回归模型训练及模型评价val model_log=new LogisticRegressionWithLBFGS().setNumClasses(2).run(data_train)/*有两种最优化算法可以求解逻辑回归问题并求出最优参数：mini-batch gradient descent(梯度下降法），L-BFGS法。
基于Spark的机器学习资料43、其它SparkML算法简单介绍
Spark ML算法简单介绍一、线性回归算法线性回归（Linear Regression），数理统计中回归分析，用来确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法，其表达形式为y = w'x+e，e为误差服从均值为0的正态分布，其中只有一个自变量的情况称为简单回归，多个自变量的情况叫多元回归。
这个例子中近简化使用房屋面积一个因子作为自变量，y轴对应其因变量房屋价格。
所以我们机器学习的线性回归就变为对于给定有限的数据集，进行一元线性回归，即找到一个一次函数y=y(x) + e，使得y满足当x={2104, 1600, 2400, 1416, 3000, ... }, y={400, 330, 369, 232, 540, ... } 如下图所示：至于公式的求解，大家可以自己去看一下源码或者方程求解，这里就不讲解了。
二、逻辑回归算法logistic回归本质上是线性回归，只是在特征到结果的映射中加入了一层函数映射，即先把特征线性求和，然后使用函数g(z)将最为假设函数来预测。
g(z)可以将连续值映射到0和1上。
它与线性回归的不同点在于：为了将线性回归输出的很大范围的数，例如从负无穷到正无穷，压缩到0和1之间，这样的输出值表达为“可能性”才能说服广大民众。
当然了，把大值压缩到这个范围还有个很好的好处，就是可以消除特别冒尖的变量的影响。
三、贝叶斯分类算法贝叶斯定理贝叶斯定理解决的是这样一个问题：已知在事件B发生的条件下，事件A的发生概率P(A|B)，怎样得到事件A发生的条件下，事件B的发生概率P(B|A)？贝叶斯定理为我们打通了从P(A|B) 到P(B|A) 的道路。
P(B|A) = P(A|B) ×P(B) / P(A)举例说明，假设已经有了100个email，其中：垃圾邮件占比60%，即P(Spam) = 0.680%的垃圾邮件包含关键字“buy”，即P(Buy|Spam) = 0.820%的垃圾邮件不包含关键字“buy”正常邮件占比40%，即P(NotSpam) = 0.410%的正常邮件包含关键字“buy”，即P(Buy|NotSpam) = 0.190%的正常邮件不包含关键字“buy”现在，第101个email 进来了，它包含关键字“buy”，那么它是垃圾邮件的概率P(Spam|Buy) 是多少？P(Spam|Buy) = P(Buy|Spam) ×P(Spam) / P(Buy)P(Buy) = P(Buy|Spam) ×P(Spam) + P(Buy|NotSpam) ×P(NotSpam)P(Spam|Buy) = (0.8 ×0.6) / (0.8 ×0.6 + 0.1 ×0.4) = 0.48 / 0.52 = 0.923由此得出，这个email 有92.3%的可能是一个垃圾邮件。
Apache Spark系列技术直播# 第四讲 【 机器学习介绍与Spark MLlib实践 】
机器器学习介绍与Spark MLlib实践内容机器器学习介绍Spark MLlib 介绍Spark MLlib 实践123机器器学习介绍Part IMachine learning (ML)is the study of algorithms and mathematical models that computer systems use to progressively improve their performance on a specifictask.ModelData TrainingNewInputInputPredictResult机器器学习概念机器器学习举例例机器器学习流程Data IngestionDatapreparationModeltrainingModelevaluationModeltuningModeldeploymentMakingpredicationAnalysis Feedback机器器学习监督学习强化学习⾮非监督学习机器器学习分类监督学习•label training•找到function 能够将input 映射到 output苹果label已知数据Model 新数据苹果预测监督学习基本概念•Input features:•Output:•Model Parameters:•Hypothesis function:监督学习基本概念Loss functions 代价函数如何衡量量假设函数(hypothesis function)的准确性？假设函数越“接近”实际值越好，代价函数“越⼩小”假设函数越“远离”实际值越差，代价函数“越⼤大”平⽅方误差代价函数监督学习求解流程1.确定假设函数(hypothesis function)2.确定损失函数(loss function)3.确定优化算法(不不断调整参数)1.回归问题2.分类问题监督学习—回归问题Data URL : /bdeppa/Stat%20425/Datasets.html House Size(sq ft)Price ($)21001,620,00023001,690,00020461,400,00043142,000,00012441,060,00046083,830,0001.线性假设函数2.平⽅方损失函数3.优化⽅方法 梯度下降法监督学习—回归问题相应课程： https:///learn/machine-learning监督学习—回归问题House Size (sq ft)Price($)21001,620,00023001,690,00020461,400,00043142,000,00012441,060,00046083,830,000监督学习—分类问题SpamNot Spam监督学习—分类问题Sigmoid function 对于⼆二分类问题，将input 映射到0-1之间确定假设函数(hypothesis function)0 negative1 positive监督学习—分类问题确定损失函数(cost function)平⽅方损失函数 ?Cross-Entropy损失函数https://ml-cheatsheet.readthedocs.io/en/latest/logistic_regression.html#id11监督学习—分类问题确定优化⽅方法梯度下降法相应课程： https:///learn/machine-learning⾮非监督学习Model Pattern found •no label•algorithms discover internal structures in data1.聚类问题2.异常检测3.LDA 主题模型⾮非监督学习—LDA简单介绍强化学习强化学习就是通过不不断与环境交互，利利⽤用环境给出的奖惩来不不断的改进策略略（即在什什么状态下采取什什么动作），以求获得最⼤大的累积奖惩。
机器学习(一) Spark MLlib介绍
一、什么是机器学习机器学习是一门多学科交叉专业，涵盖概率论知识，统计学知识，近似理论知识和复杂算法知识，使用计算机作为工具并致力于真实实时的模拟人类学习方式，并将现有内容进行知识结构划分来有效提高学习效率。
机器学习有下面几种定义：∙机器学习是一门人工智能的科学该领域的主要研究对象是人工智能，特别是如何在经验学习中改善具体算法的性能。
∙机器学习是对能通过经验自动改进的计算机算法的研究。
∙机器学习是用数据或以往的经验以此优化计算机程序的性能标准。
机器学习是在数据的基础上，通过算法构建出模型并对模型进行评估。
评估的性能如果达到要求，就用该模型来测试其他的数据；如果达不到要求，就要调整算法来重新建立模型，再次进行评估。
如此循环往复，最终获得满意的经验来处理其他的数据。
机器学习技术和方法已经被成功应用到多个领域，比如个性推荐系统，金融反欺诈，语音识别，自然语言处理和机器翻译，模式识别，智能控制等。
二、机器学习的发展历程机器学习实际上已经存在了几十年或者也可以认为存在了几个世纪。
追溯到17世纪，贝叶斯、拉普拉斯关于最小二乘法的推导和马尔可夫链，这些构成了机器学习广泛使用的工具和基础。
1950年(艾伦.图灵提议建立一个学习机器)到2000年初 (有深度学习的实际应用以及最近的进展，比如2012年的AlexNet)，机器学习有了很大的进展。
随着 HDFS(Hadoop Distributed File System) 等分布式文件系统出现，存储海量数据已经成为可能。
在全量数据上进行机器学习也成为了可能，这顺便也解决了统计随机性的问题。
然而，由于 MapReduce 自身的限制，使得使用 MapReduce 来实现分布式机器学习算法非常耗时和消耗磁盘IO。
因为通常情况下机器学习算法参数学习的过程都是迭代计算的，即本次计算的结果要作为下一次迭代的输入，这个过程中，如果使用 MapReduce，我们只能把中间结果存储磁盘，然后在下一次计算的时候从新读取，这对于迭代频发的算法显然是致命的性能瓶颈。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
Spark ML算法简单介绍
一、线性回归算法
线性回归（Linear Regression），数理统计中回归分析，用来确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法，其表达形式为y = w'x+e，e为误差服从均值为0的正态分布，其中只有一个自变量的情况称为简单回归，多个自变量的情况叫多元回归。
这个例子中近简化使用房屋面积一个因子作为自变量，y轴对应其因变量房屋价格。
所以我们机器学习的线性回归就变为对于给定有限的数据集，进行一元线性回归，即找到一个一次函数y=y(x) + e，使得y满足当x={2104, 1600, 2400, 1416, 3000, ... }, y={400, 330, 369, 232, 540, ... } 如下图所示：
至于公式的求解，大家可以自己去看一下源码或者方程求解，这里就不讲解了。
二、逻辑回归算法
logistic回归本质上是线性回归，只是在特征到结果的映射中加入了一层函数映射，即先把特征线性求和，然后使用函数g(z)将最为假设函数来预测。
g(z)可以将连续值映射到0和1上。
它与线性回归的不同点在于：为了将线性回归输出的很大范围的数，例如从负无穷到正无穷，压缩到0和1之间，这样的输出值表达为“可能性”才能说服广大民众。
当然了，把大值压缩到这个范围还有个很好的好处，就是可以消除特别冒尖的变量的影响。
三、贝叶斯分类算法
贝叶斯定理
贝叶斯定理解决的是这样一个问题：已知在事件B发生的条件下，事件A的发生概率P(A|B)，怎样得到事件A发生的条件下，事件B的发生概率P(B|A)？贝叶斯定理为我们打通了从P(A|B) 到P(B|A) 的道路。
P(B|A) = P(A|B) ×P(B) / P(A)
举例说明，假设已经有了100个email，其中：
垃圾邮件占比60%，即P(Spam) = 0.6
80%的垃圾邮件包含关键字“buy”，即P(Buy|Spam) = 0.8
20%的垃圾邮件不包含关键字“buy”
正常邮件占比40%，即P(NotSpam) = 0.4
10%的正常邮件包含关键字“buy”，即P(Buy|NotSpam) = 0.1
90%的正常邮件不包含关键字“buy”
现在，第101个email 进来了，它包含关键字“buy”，那么它是垃圾邮件的概率P(Spam|Buy) 是多少？
P(Spam|Buy) = P(Buy|Spam) ×P(Spam) / P(Buy)
P(Buy) = P(Buy|Spam) ×P(Spam) + P(Buy|NotSpam) ×P(NotSpam)
P(Spam|Buy) = (0.8 ×0.6) / (0.8 ×0.6 + 0.1 ×0.4) = 0.48 / 0.52 = 0.923
由此得出，这个email 有92.3%的可能是一个垃圾邮件。
四、SVM支持向量机算法
支持向量机是一个类分类器，它能够将不同类的样本在样本空间中践行分割，其中生成的分隔面叫作分隔超平面。
给定一些标记好的训练样本，SVM算法输出一个最优化的分隔超平面。
五、决策树算法
决策树就是通过一系列规则对数据进行分类的一种算法，可以分为分类树和回归树两类，分类树处理离散变量的，回归树是处理连续变量。
样本一般都有很多个特征，有的特征对分类起很大的作用，有的特征对分类作用很小，甚至没有作用。
如决定是否对一个人贷款是，这个人的信用记录、收入等就是主要的判断依据，而性别、婚姻状况等等就是次要的判断依据。
决策树构建的过程，就是根据特征的决定性程度，先使用决定性程度高的特征分类，再使用决定性程度低的特征分类，这样构建出一棵倒立的树，就是我们需要的决策树模型，可以用来对数据进行分类。
决策树学习的过程可以分为三个步骤：1）特征选择，即从众多特征中选择出一个作为当前节点的分类标准；
2）决策树生成，从上到下构建节点；3）剪枝，为了预防和消除过拟合，需要对决策树剪枝。
六、Kmeans聚类算法
聚类（clustering）与分类（classification）的不同之处在于：分类是一种示例式的有监督学习算法，它要求必须事先明确知道各个类别的信息，并且断言所有待分类项都有一个类别与之对应，很多时候这个条件是不成立的，尤其是面对海量数据的时候；而聚类是一种观察式的无监督学习算法，在聚类之前可以不知道类别甚至不给定类别数量，由算法通过对样本数据的特征进行观察，然后进行相似度或相异度的分析，从而达到“物以类聚”的目的。
七、LDA主题模型算法
隐含狄利克雷分配（LDA，Latent Dirichlet Allocation）是一种主题模型(Topic Model，即从所收集的文档中推测主题)。
甚至可以说LDA模型现在已经成为了主题建模中的一个标准，是实践中最成功的主题模型之一。
那么何谓“主题”呢？，就是诸如一篇文章、一段话、一个句子所表达的中心思想。
不过从统计模型的角度来说，我们是用一个特定的词频分布来刻画主题的，并认为一篇文章、一段话、一个句子是从一个概率模型中生成的。
也就是说在主题模型中，主题表现为一系列相关的单词，是这些单词的条件概率。
形象来说，主题就是一个桶，里面装了出现概率较高的单词，这些单词与这个主题有很强的相关性。
LDA可以用来识别大规模文档集（document collection）或语料库（corpus）中潜藏的主题信息。
它采用了词
袋（bag of words）的方法，这种方法将每一篇文档视为一个词频向量，从而将文本信息转化为了易于建模的数字信息。
但是词袋方法没有考虑词与词之间的顺序，这简化了问题的复杂性，同时也为模型的改进提供了契机。
每一篇文档代表了一些主题所构成的一个概率分布，而每一个主题又代表了很多单词所构成的一个概率分布。
LDA可以被认为是如下的一个聚类过程：
（1）各个主题（Topics）对应于各类的“质心”，每一篇文档被视为数据集中的一个样本。
（2）主题和文档都被认为存在一个向量空间中，这个向量空间中的每个特征向量都是词频（词袋模型）
（3）与采用传统聚类方法中采用距离公式来衡量不同的是，LDA使用一个基于统计模型的方程
八、FPGrowth关联规则算法
关联规则挖掘的一个典型例子是购物篮分析。
关联规则研究有助于发现交易数据库中不同商品（项）之间的联系，找出顾客购买行为模式，如购买了某一商品对购买其他商品的影响，分析结果可以应用于商品货架布局、货存安排以及根据购买模式对用户进行分类。
九、ALS交替最小二乘算法
ALS(Alternating Least Square)，交替最小二乘法。
在机器学习中，特指使用最小二乘法的一种协同推荐算法。
如下图所示，u表示用户，v表示商品，用户给商品打分，但是并不是每一个用户都会给每一种商品打分。
比如用户u6就没有给商品v3打分，需要我们推断出来，这就是机器学习的任务。
由于并不是每个用户给每种商品都打了分，可以假设ALS矩阵是低秩的，即一个m*n的矩阵，是由m*k和k*n两个矩阵相乘得到的，其中k<<m,n。
Am×n=Um×k×Vk×n
这种假设是合理的，因为用户和商品都包含了一些低维度的隐藏特征，比如我们只要知道某个人喜欢碳酸饮料，就可以推断出他喜欢百世可乐、可口可乐、芬达，而不需要明确指出他喜欢这三种饮料。
这里的碳酸饮料就相当于一个隐藏特征。
上面的公式中，Um×k表示用户对隐藏特征的偏好，Vk×n表示产品包含隐藏特征的程度。
机器学习的任务就是求出Um×k和Vk×n。
可知uiTvj是用户i对商品j的偏好，使用Frobenius 范数来量化重构U和V产生的误差。
由于矩阵中很多地方都是空白的，即用户没有对商品打分，对于这种情况我们就不用计算未知元了，只计算观察到的(用户,商品)集合R。
这样就将协同推荐问题转换成了一个优化问题。
目标函数中U和V相互耦合，这就需要使用交替二乘算法。
即先假设U的初始值U(0)，这样就将问题转化成了一个最小二乘问题，可以根据U(0)可以计算出V(0)，再根据V(0)计算出U(1)，这样迭代下去，直到迭代了一定的次数，或者收敛为止。
虽然不能保证收敛的全局最优解，但是影响不大。
十、协同过滤推荐算法
基于协同过滤的推荐，可以理解为基于用户行为的推荐。
依赖于用户过去的行为的协同过滤，行为可以是过往的交易行为和商品评分，这种方式不需要显性的属性信息。
协同过滤通过分析用户和商品的内在关系来识别新的user-item 关系。
协同过滤领域主要的两种方式是最近邻（neighborhood）方法和潜在因子（latent factor）模型。
最近邻方法主要集中在item 的关系或者是user 的关系，是比较基础的过滤引擎。
而潜在因子模型并不是选取所有的关
系，而是通过矩阵分解的技术将共现矩阵的分解，比如提取20-100个因子，来表示原始矩阵信息（可以对比上面提到的音乐基因，只不过潜在因子模型是通过计算机化的实现）。