互联网电商实时大数据分析最佳实践
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
互联网电商实时大数据分析最佳实践
技பைடு நூலகம்创新，变革未来
场景描述
电商网站购物数据通过实时大数据分析后在大屏幕上展示，如购买人群热销商品排名、购买人群区域分布、购买 人群年龄分布等。大屏上全国上亿买家的订单数据可视化动态展示，效果震撼；触控大屏支持用户自助查询数 据，极大增强数据的可读性。
适用场景
电商大屏、营销大屏 内容大屏、直播大屏 教育大屏、金融大屏
2018年度报告
产品对比
Spark Kafka Stream
Storm Blink/Flink
低延迟 NO
exactly-once
No
大规模 No
复杂计算
批流统一
No
No
No
数据源
无缝对接云上10+种数据存储
DataHub SLS MQ Kafka ADB RDS TableStore HBase HybridDB HiTSDB ElasticSearch
行业标签 ：互联网、新零售、金融、通用 产品标签：实时计算、RDS、ECS、DataHub、DTS、DataV、VPC、EIP等
实现架构
架构说明： 用户订单数据实时同步到Datahub。 通过实时计算实时处理来自Datahub
的数据，对数据进行实时ETL处理。 处理完结果数据写入RDS。 需要展示的结果数据通过DataV在大
最新一代实时大数据引擎
第一代
Streaming
第二代
Mini Batch
Blink引擎 Flink的企业版
• 开源Flink内核技术，完美兼容社区API • Autoconfig/Autoscale，更加高效利用资源
关键部分性能提高10倍
第三代
Stateful Streaming
Top 5 用户邮件列表： 1.Flink (用户最活跃项用) 2.Lucene 3.Ignite 4.C a s s andra 5.Kafka
关联方案
电商网站智能推荐解决方案 电商网站数据埋点及分析最佳实践 互联网、电商行业离线数据大数据分析及大屏展示最佳实践 互联网、电商行业搜索最佳实践
谢谢聆听！
20
屏上实时展示。
实时计算产品介绍
实时计算（Alibaba Cloud Realtime Compute，Powered by Ververica）是阿里云提供的基于 Apache Flink 构建的企业级大数据计算平台。在 PB 级别的数据集上可以支持亚秒级别的处理延时，赋能用户标准实时数据处 理流程和行业解决方案；支持 Datastream API 作业开发，提供了批流统一的 Flink SQL，简化 BI 场景下的开 发；可与用户已使用的大数据组件无缝对接，更多增值特性助力企业实时化转型。
技பைடு நூலகம்创新，变革未来
场景描述
电商网站购物数据通过实时大数据分析后在大屏幕上展示，如购买人群热销商品排名、购买人群区域分布、购买 人群年龄分布等。大屏上全国上亿买家的订单数据可视化动态展示，效果震撼；触控大屏支持用户自助查询数 据，极大增强数据的可读性。
适用场景
电商大屏、营销大屏 内容大屏、直播大屏 教育大屏、金融大屏
2018年度报告
产品对比
Spark Kafka Stream
Storm Blink/Flink
低延迟 NO
exactly-once
No
大规模 No
复杂计算
批流统一
No
No
No
数据源
无缝对接云上10+种数据存储
DataHub SLS MQ Kafka ADB RDS TableStore HBase HybridDB HiTSDB ElasticSearch
行业标签 ：互联网、新零售、金融、通用 产品标签：实时计算、RDS、ECS、DataHub、DTS、DataV、VPC、EIP等
实现架构
架构说明： 用户订单数据实时同步到Datahub。 通过实时计算实时处理来自Datahub
的数据，对数据进行实时ETL处理。 处理完结果数据写入RDS。 需要展示的结果数据通过DataV在大
最新一代实时大数据引擎
第一代
Streaming
第二代
Mini Batch
Blink引擎 Flink的企业版
• 开源Flink内核技术，完美兼容社区API • Autoconfig/Autoscale，更加高效利用资源
关键部分性能提高10倍
第三代
Stateful Streaming
Top 5 用户邮件列表： 1.Flink (用户最活跃项用) 2.Lucene 3.Ignite 4.C a s s andra 5.Kafka
关联方案
电商网站智能推荐解决方案 电商网站数据埋点及分析最佳实践 互联网、电商行业离线数据大数据分析及大屏展示最佳实践 互联网、电商行业搜索最佳实践
谢谢聆听！
20
屏上实时展示。
实时计算产品介绍
实时计算（Alibaba Cloud Realtime Compute，Powered by Ververica）是阿里云提供的基于 Apache Flink 构建的企业级大数据计算平台。在 PB 级别的数据集上可以支持亚秒级别的处理延时，赋能用户标准实时数据处 理流程和行业解决方案；支持 Datastream API 作业开发，提供了批流统一的 Flink SQL，简化 BI 场景下的开 发；可与用户已使用的大数据组件无缝对接，更多增值特性助力企业实时化转型。