10第八章-02-GraphFrames简介
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
Spark大数据技术与应用 第八章
GraphFrames图计算
课前回顾
图的重要概念
• （1）图的定义 • （2）度、路径 • （3）图的分类
图的重要概念 01
02
GraphFrames简介
CONTENT
03 GraphFrame编程模型
04
GraphFrames实现的算法
02
GraphFrames简介
保存和载入图模型
02
OPTION
03
OPTION
强大的查询功能
01
OPTION
多语言支持
使用GraphFrames库
目前GraphFrames库还没有并入Spark项目中，使用该库时，要安装GraphFrames包：
$pyspark --packages graphframes:graphframes:0.5.0-spark2.1-s_2.11
GraphFrames库
基于Spark平台的并行图计算库
将Spark中的Graph算法统一到 DataFrame接口的Graph操作接口
项目托管在Github上，它基于DataFrame构建
GraphFram es
受益于DataFrame的高性能和可拓展性， 具有很大优势！
GraphFrames库
使用GraphFrames库
或者在SparkSession中配置：（Spark2.x版本）
from pyspark.sql import SparkSession
spark = SparkSession.builder.config('spark.jars.packages' ,'graphframes:graphframes:0.5.0-spark2.1-s_2.11') .getOrCreate()
——基于DataFrame的GraphFrames
图计算框架
Pregel
Google内部的分布
01
式图计算框架
Giraph
02
运行在Hadoop之上的类
PowerGraph
一个支持异步执行方式、利用
Prewenku.baidu.comel图计算框架
03
共享内存的并行图计算框架
Graphx
04
Spark平台下，面向大规
模图计算的组件
小结：图的重要概念机器学习的一般流程机器学习的 一般流程：
01 GraphFrames简介
DATA
02 GraphFrames库的优点
DATA
03 使用GraphFrames库
DATA
谢谢观看
使用GraphFrames库
或者使用SparkConf的spark.jars.packages属性指定依赖包：
from pyspark import SparkConf conf = SparkConf().set('spark.jars.packages' ,'graphframes:graphframes:0.5.0-spark2.1-s_2.11')
GraphFrames图计算
课前回顾
图的重要概念
• （1）图的定义 • （2）度、路径 • （3）图的分类
图的重要概念 01
02
GraphFrames简介
CONTENT
03 GraphFrame编程模型
04
GraphFrames实现的算法
02
GraphFrames简介
保存和载入图模型
02
OPTION
03
OPTION
强大的查询功能
01
OPTION
多语言支持
使用GraphFrames库
目前GraphFrames库还没有并入Spark项目中，使用该库时，要安装GraphFrames包：
$pyspark --packages graphframes:graphframes:0.5.0-spark2.1-s_2.11
GraphFrames库
基于Spark平台的并行图计算库
将Spark中的Graph算法统一到 DataFrame接口的Graph操作接口
项目托管在Github上，它基于DataFrame构建
GraphFram es
受益于DataFrame的高性能和可拓展性， 具有很大优势！
GraphFrames库
使用GraphFrames库
或者在SparkSession中配置：（Spark2.x版本）
from pyspark.sql import SparkSession
spark = SparkSession.builder.config('spark.jars.packages' ,'graphframes:graphframes:0.5.0-spark2.1-s_2.11') .getOrCreate()
——基于DataFrame的GraphFrames
图计算框架
Pregel
Google内部的分布
01
式图计算框架
Giraph
02
运行在Hadoop之上的类
PowerGraph
一个支持异步执行方式、利用
Prewenku.baidu.comel图计算框架
03
共享内存的并行图计算框架
Graphx
04
Spark平台下，面向大规
模图计算的组件
小结：图的重要概念机器学习的一般流程机器学习的 一般流程：
01 GraphFrames简介
DATA
02 GraphFrames库的优点
DATA
03 使用GraphFrames库
DATA
谢谢观看
使用GraphFrames库
或者使用SparkConf的spark.jars.packages属性指定依赖包：
from pyspark import SparkConf conf = SparkConf().set('spark.jars.packages' ,'graphframes:graphframes:0.5.0-spark2.1-s_2.11')