基于大数据的用户行为分析
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
#1: TPC-H 3000GB Non Clustered 11/2009 #1: TPC-H 100GB Non Clustered 11/2009 #1: TPC-H 1000GB Non Clustered (Linux) 02/2010 #1: TPC-H 1000GB Non Clustered 12/2010
Revolution R BPO SPSS, AMPL 网络分析 ETL, Netezza SAS 图形化 Teradata 场景模拟
8 – Sybase Confidential – April 23, 2012
数据库市场不再一统天下
快速交易型 数据库
开放的分析型 列式数据库
数据流分析
新一代实时业 务平台
移动及嵌入式 数据库
9 – Sybase Confidential – April 23, 2012
列式数据库
更少资源更高性能
Sybase IQ 基于列的 RDBMS
数据按需获取
VS.
传统 基于行的RDBMS
需求变化对应索引变化
EDW
汇总数据
1 TB 基表数据= > 2.4-6 TB 存储数据
1TB 基表数据= < TB 存储数据
Sybase
索引
基表
IQ
• 选择性获取数据… 快速 • • 高级数据压缩…更少投入 • • 数据就是索引 •
10 – Sybase Confidential – April 23, 2012
必须全量读取数据… 慢 汇总，索引，立方体数据膨胀… 增加投入 索引与数据分离
列式数据库SYBASE IQ
业界认可的领导者
June, 2011
Q4, 2011
13 – Sybase Confidential – April 23, 2012
SAP + Sybase Data Management Portfolio
Each solution optimized for its specific usage to deliver best market value
控制大数据增长
现有的技术
压缩，过滤，文件系统
管理非结构化数据
多数据源，数据模型，数据管理技术
复杂分析场景
硬件的大规模并发
决策速度
快速数据采纳，分析，分配
并发用户扩展
分区用户混合负载
7 – Sybase Confidential – April 23, 2012
大数据需要什么技术
Fast Data Hadoop Sybase IQ, Vertica MapReduce Esper Kdb+ Greenplum Big Analytics Hive SciPy Mahout Matlab Deep Insight 自学习 社交媒体 分析 情绪分析 预测模型 业务场景 服务个性化 对市场趋势的快 速反应 实时价格优化 更加快速、准确 的决策 更好的研发 自动供应链管理 ……
5 – Sybase Confidential – April 23, 2012
5
基于用户行为的个性化推荐
3,希望购买列表
6,ห้องสมุดไป่ตู้已购买产 品作评价
4, 购买单
5,其他类似购物者还买了什么
6 – Sybase Confidential – April 23, 2012
6
大数据分析
主要的挑战及解决办法 挑战
Embedded
Transactions
Open EDW
Continuous Intelligence
Real-time Business
Mobile and Embedded Database
Extreme Transactional Database with Best TCO
Open Analytical Database with Best TCO
As of February, 2011
Gartner 数据仓库魔术象限
11 – Sybase Confidential – April 23, 2012
Forrester Wave 企业级数据仓库
SYBASE IQ 15
业界最好的BI数据库平台
TOP TPC-H PERFORMANCE RESULTS
12 – Sybase Confidential – April 23, 2012
SYBASE IQ 15.X的发展路线
v15.4
v15.3
v15.2
v15.1
v15.0
PlexQ® Technology
Big Data Analytics
March, 2009
July, 2009
June, 2010
1 – Sybase Confidential – April 23, 2012
基于大数据的用户行为分析
卢东明 SAP软件(中国)有限公司技术总监
新浪微博：SAP卢东明
• 1992年加入Sybase China • 1994-2006年在硅谷13年，效 力Sybase公司，巴克莱资产管 理公司(BGI) • 2006年回到Sybase China任 技术总监 • 新浪微博：SAP卢东明 • 微群版主：“列式数据库”， “CEP”
Insight into Streaming Data
Next-Gen Platform for Real-time Business
SQL Anywhere
Sybase ASE
Sybase IQ
Sybase ESP
SAP HANA
14 – Sybase Confidential – April 23, 2012
列式数据库 揭开云计算时代
15 – Sybase Confidential – April 23, 2012
3 – Sybase Confidential – April 23, 2012
用户行为分析
浏览 点击 菜单 搜索 加入购物车 结账 提问 咨询 分享 退货 …………
4 – Sybase Confidential – April 23, 2012
基于用户行为的个性化推荐
1,当日推荐
2,其他搜索人后来买了那些东西
Revolution R BPO SPSS, AMPL 网络分析 ETL, Netezza SAS 图形化 Teradata 场景模拟
8 – Sybase Confidential – April 23, 2012
数据库市场不再一统天下
快速交易型 数据库
开放的分析型 列式数据库
数据流分析
新一代实时业 务平台
移动及嵌入式 数据库
9 – Sybase Confidential – April 23, 2012
列式数据库
更少资源更高性能
Sybase IQ 基于列的 RDBMS
数据按需获取
VS.
传统 基于行的RDBMS
需求变化对应索引变化
EDW
汇总数据
1 TB 基表数据= > 2.4-6 TB 存储数据
1TB 基表数据= < TB 存储数据
Sybase
索引
基表
IQ
• 选择性获取数据… 快速 • • 高级数据压缩…更少投入 • • 数据就是索引 •
10 – Sybase Confidential – April 23, 2012
必须全量读取数据… 慢 汇总，索引，立方体数据膨胀… 增加投入 索引与数据分离
列式数据库SYBASE IQ
业界认可的领导者
June, 2011
Q4, 2011
13 – Sybase Confidential – April 23, 2012
SAP + Sybase Data Management Portfolio
Each solution optimized for its specific usage to deliver best market value
控制大数据增长
现有的技术
压缩，过滤，文件系统
管理非结构化数据
多数据源，数据模型，数据管理技术
复杂分析场景
硬件的大规模并发
决策速度
快速数据采纳，分析，分配
并发用户扩展
分区用户混合负载
7 – Sybase Confidential – April 23, 2012
大数据需要什么技术
Fast Data Hadoop Sybase IQ, Vertica MapReduce Esper Kdb+ Greenplum Big Analytics Hive SciPy Mahout Matlab Deep Insight 自学习 社交媒体 分析 情绪分析 预测模型 业务场景 服务个性化 对市场趋势的快 速反应 实时价格优化 更加快速、准确 的决策 更好的研发 自动供应链管理 ……
5 – Sybase Confidential – April 23, 2012
5
基于用户行为的个性化推荐
3,希望购买列表
6,ห้องสมุดไป่ตู้已购买产 品作评价
4, 购买单
5,其他类似购物者还买了什么
6 – Sybase Confidential – April 23, 2012
6
大数据分析
主要的挑战及解决办法 挑战
Embedded
Transactions
Open EDW
Continuous Intelligence
Real-time Business
Mobile and Embedded Database
Extreme Transactional Database with Best TCO
Open Analytical Database with Best TCO
As of February, 2011
Gartner 数据仓库魔术象限
11 – Sybase Confidential – April 23, 2012
Forrester Wave 企业级数据仓库
SYBASE IQ 15
业界最好的BI数据库平台
TOP TPC-H PERFORMANCE RESULTS
12 – Sybase Confidential – April 23, 2012
SYBASE IQ 15.X的发展路线
v15.4
v15.3
v15.2
v15.1
v15.0
PlexQ® Technology
Big Data Analytics
March, 2009
July, 2009
June, 2010
1 – Sybase Confidential – April 23, 2012
基于大数据的用户行为分析
卢东明 SAP软件(中国)有限公司技术总监
新浪微博：SAP卢东明
• 1992年加入Sybase China • 1994-2006年在硅谷13年，效 力Sybase公司，巴克莱资产管 理公司(BGI) • 2006年回到Sybase China任 技术总监 • 新浪微博：SAP卢东明 • 微群版主：“列式数据库”， “CEP”
Insight into Streaming Data
Next-Gen Platform for Real-time Business
SQL Anywhere
Sybase ASE
Sybase IQ
Sybase ESP
SAP HANA
14 – Sybase Confidential – April 23, 2012
列式数据库 揭开云计算时代
15 – Sybase Confidential – April 23, 2012
3 – Sybase Confidential – April 23, 2012
用户行为分析
浏览 点击 菜单 搜索 加入购物车 结账 提问 咨询 分享 退货 …………
4 – Sybase Confidential – April 23, 2012
基于用户行为的个性化推荐
1,当日推荐
2,其他搜索人后来买了那些东西