阿里云大数据技术开发
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
阿里云大数据技术开发
DT时代的技术进化
Data 1.0
Data 2.0
Data 3.0
看数据
用数据
运营 数据
用
存通用
数据的作用 技术的作用 职能的设置
成本 辅助
CIO主导
利润 指挥
CTO主导
数据即业务 赋能
CDO主导
Data 1.0
Data 2.0
Data 3.0
看数据
用数据
运营 数据
用
存通用
信息化的 公司
计算平台 | 离线计算，流计算，实时分析，… IaaS服务 | 机房，网络，…
• 大数据基础技术设施，提供大规模计算能 力，解决可扩展性、稳定性、性能、成本 等通用技术问题；
• 非常厚，技术难度大，建设周期长；
示例（2）：AI中台
电商 算法应用
导购
客服 信用
营销
搜索
安全 风控
物流
…
电商 业务中台
电商业务算法库
搜索算法库，个性化推荐算法，虚假交易模型，…
• 利用中台提供的电商算法组件，可快速搭 建算法应用；
• 对于中台尚未涵盖的部分，也可以直接基 于底层平台来自主实现算法（定制）；
• 面向电商的算法中台； • 结合电商业务场景，抽象出可复用的算法
模型，例如虚假交易识别模型； • 结合电商业务场景，对算法进行优化，让
它在电商场景下的精准度和效果更佳；
基础 技术平台
算法平台，人工智能基础服务
分布式机器学习平台，通用算法，语音识别，语音 合成，自然语言理解，图像和视频分析，…
IaaS服务 | 机房，网络，…
• 机器学习平台、智能语音、图像视频分析、 自然语音理解等人工智能基础服务，具有 通用性，不必要重复投资；
• 要求有深厚的技术沉淀，投资大，变现周 期长
两层平台
电商 业务系统
导购
客服 信用
营销
搜索
安全 风控
物流
…
电商 业务中台
电商数据 中间层
电商 算法库
电商业务组件|中间件
基础 技术平台
计算平台
算法平台
主机，存储，数据库， 通用中间件
IaaS服务 | 机房，网络，…
您的技术部门 阿里云
谢谢！
18
1
音乐家需要自己造乐器吗？
企业技术部门的定位：基础技术设施 V.S 业务中台
电商 行业
淘系 业务
电商 业务 中台
金融 行业
蚂蚁 业务
金融 业务 中台
物流 行业
…
菜鸟 业务
…
物流 业务 … 中台
基础技术平台
技术平台分两层
第二层：业务中台 • 背靠基础平台，面向特定业务，衔接技术与业务 • 针对业务场景抽象和优化的技术组件（积木） • 可从支撑一家公司扩大到支撑一个行业
安全 风控
Baidu Nhomakorabea
营销
搜索
物流
…
一切业务数据化，一切数据业务化
云计算
大数据
8
数加如何赋能合作伙伴？
大 数
图像视频API
据
语音识别API
中
文本分析API
间
通用算法库
件
关系网络 分析引擎 规则引擎 推荐引擎
您可以省力：
10000行的代码，可能只需写 100行
Focus 在核心业务逻辑实现 搭积木式快速拼装应用
• 对于中台尚未涵盖的部分，也可以直接基 于底层平台来构建数据应用（竖烟囱）；
• 非常薄，快速搭建、灵活改变；
• 面向电商的数据中台；
• 基于计算平台提供电商数据服务，对业务 场景进行抽象、封装可复用的业务组件 （例如生意参谋），降低数据使用门槛；
• 相同的方法论和业务组件可被复制到电商 行业的其他企业，可复用，且有一定的灵 活度；
阿里巴巴面临的挑战： EB级的数据算不算得动？ 百万张表如何管理？ 数据质量：一分钱一百万 大集中的数据如何确保安全？ ……
Data 3.0
运营数据
技术架构：基础设施+业务中台
前台 业务
金融
客服
信用
安全 风控
营销
搜索
物流
…
中台
公共数据服务
One Data DW
公共数据产品和数据服务 统一的数据仓库
第一层：基础技术平台 • 通用的技术平台，提供基础性服务 • 业务无关性，适用于所有行业
电商 数据应用
电商 业务中台
基础 技术平台
示例（1）：数据中台
导购
客服 信用
营销
搜索
安全 风控
物流
…
电商数据中间层和公共数据服务
OneData，OneService，标签体系，生意参谋，…
• 利用中台提供的业务组件，可快速搭建数 据应用；
大 数
开发工具GUI
您可以省心：
再多的数据，也存得下、算得动
据
操 作
计算引 擎
Core
系
可租用的存储和计算资源 图形化的编程和分析界面 程序运行托管、运维监控
统 9
开发一个个性化推荐需要多长时间？
900人天？
30人天！
开发一个活动直播大屏需要多长时间？
一个月？
3天/1小时
10
数据市场
1
天池大赛
MaxCompute
数据开发套件
机器学习（PAI）
推荐引擎 规则引擎 关系网络 智能服务（行业/语音/图像/视频）
Data 3.0
运营数据
业务痛点：让数据价值浮出水面
✓ 如何让数据资产持续增值、持续变现？ ✓ 如何将业务创新的门槛和代价降到最低？ ✓ 如何让数据赋能每一位员工、渗入每一个业务环节？ ✓ 如何获得更多数据（新能源）？
后台
公共技术平台 One Platform
统一的大数据技术平台 PowereOdDPbSy，阿AD里S 云数加
数据共享 算法共享 知识共享
生态 运营 建设 管理
数据安全 数据质量 数据标准 成本管理
计算平台 数据市场
机器学习平台
DTBoost应用加速器
数据交换机制
行业子云（虚拟运营商）
金融
客服
信用
数据化的 公司
数据公司
Data 1.0
看数据
业务痛点：观察业务运行情况
✓ 老板：不能及时看到公司的业务运营情况； ✓ 业务专家：做不到“用数字说话”，被老板挑战；
技术架构：数据集市+分析展现
✓ 基于数据集市，快速产生业务报表； ✓ 直观有效地展示数据，还原业务真实状态； ✓ 下一步：实时化；
MaxCompute DataV AnalyticDB
数据开发套件 StreamCompute
QuickBI 日志分析
Data 2.0
用数据
业务痛点：让业务持续良好运转
✓ 高要求：数据丰富度、算法精准度满足不了业务需求； ✓ 高风险：系统挂掉或数据出错 = 业务挂掉；
技术架构：数据仓库+算法挖掘
✓ 底层是数据仓库，整合数据，保障质量和稳定性； ✓ 上层有数据应用引擎； ✓ 具备大规模数据处理、数据挖掘和算法建模的能力；
DT时代的技术进化
Data 1.0
Data 2.0
Data 3.0
看数据
用数据
运营 数据
用
存通用
数据的作用 技术的作用 职能的设置
成本 辅助
CIO主导
利润 指挥
CTO主导
数据即业务 赋能
CDO主导
Data 1.0
Data 2.0
Data 3.0
看数据
用数据
运营 数据
用
存通用
信息化的 公司
计算平台 | 离线计算，流计算，实时分析，… IaaS服务 | 机房，网络，…
• 大数据基础技术设施，提供大规模计算能 力，解决可扩展性、稳定性、性能、成本 等通用技术问题；
• 非常厚，技术难度大，建设周期长；
示例（2）：AI中台
电商 算法应用
导购
客服 信用
营销
搜索
安全 风控
物流
…
电商 业务中台
电商业务算法库
搜索算法库，个性化推荐算法，虚假交易模型，…
• 利用中台提供的电商算法组件，可快速搭 建算法应用；
• 对于中台尚未涵盖的部分，也可以直接基 于底层平台来自主实现算法（定制）；
• 面向电商的算法中台； • 结合电商业务场景，抽象出可复用的算法
模型，例如虚假交易识别模型； • 结合电商业务场景，对算法进行优化，让
它在电商场景下的精准度和效果更佳；
基础 技术平台
算法平台，人工智能基础服务
分布式机器学习平台，通用算法，语音识别，语音 合成，自然语言理解，图像和视频分析，…
IaaS服务 | 机房，网络，…
• 机器学习平台、智能语音、图像视频分析、 自然语音理解等人工智能基础服务，具有 通用性，不必要重复投资；
• 要求有深厚的技术沉淀，投资大，变现周 期长
两层平台
电商 业务系统
导购
客服 信用
营销
搜索
安全 风控
物流
…
电商 业务中台
电商数据 中间层
电商 算法库
电商业务组件|中间件
基础 技术平台
计算平台
算法平台
主机，存储，数据库， 通用中间件
IaaS服务 | 机房，网络，…
您的技术部门 阿里云
谢谢！
18
1
音乐家需要自己造乐器吗？
企业技术部门的定位：基础技术设施 V.S 业务中台
电商 行业
淘系 业务
电商 业务 中台
金融 行业
蚂蚁 业务
金融 业务 中台
物流 行业
…
菜鸟 业务
…
物流 业务 … 中台
基础技术平台
技术平台分两层
第二层：业务中台 • 背靠基础平台，面向特定业务，衔接技术与业务 • 针对业务场景抽象和优化的技术组件（积木） • 可从支撑一家公司扩大到支撑一个行业
安全 风控
Baidu Nhomakorabea
营销
搜索
物流
…
一切业务数据化，一切数据业务化
云计算
大数据
8
数加如何赋能合作伙伴？
大 数
图像视频API
据
语音识别API
中
文本分析API
间
通用算法库
件
关系网络 分析引擎 规则引擎 推荐引擎
您可以省力：
10000行的代码，可能只需写 100行
Focus 在核心业务逻辑实现 搭积木式快速拼装应用
• 对于中台尚未涵盖的部分，也可以直接基 于底层平台来构建数据应用（竖烟囱）；
• 非常薄，快速搭建、灵活改变；
• 面向电商的数据中台；
• 基于计算平台提供电商数据服务，对业务 场景进行抽象、封装可复用的业务组件 （例如生意参谋），降低数据使用门槛；
• 相同的方法论和业务组件可被复制到电商 行业的其他企业，可复用，且有一定的灵 活度；
阿里巴巴面临的挑战： EB级的数据算不算得动？ 百万张表如何管理？ 数据质量：一分钱一百万 大集中的数据如何确保安全？ ……
Data 3.0
运营数据
技术架构：基础设施+业务中台
前台 业务
金融
客服
信用
安全 风控
营销
搜索
物流
…
中台
公共数据服务
One Data DW
公共数据产品和数据服务 统一的数据仓库
第一层：基础技术平台 • 通用的技术平台，提供基础性服务 • 业务无关性，适用于所有行业
电商 数据应用
电商 业务中台
基础 技术平台
示例（1）：数据中台
导购
客服 信用
营销
搜索
安全 风控
物流
…
电商数据中间层和公共数据服务
OneData，OneService，标签体系，生意参谋，…
• 利用中台提供的业务组件，可快速搭建数 据应用；
大 数
开发工具GUI
您可以省心：
再多的数据，也存得下、算得动
据
操 作
计算引 擎
Core
系
可租用的存储和计算资源 图形化的编程和分析界面 程序运行托管、运维监控
统 9
开发一个个性化推荐需要多长时间？
900人天？
30人天！
开发一个活动直播大屏需要多长时间？
一个月？
3天/1小时
10
数据市场
1
天池大赛
MaxCompute
数据开发套件
机器学习（PAI）
推荐引擎 规则引擎 关系网络 智能服务（行业/语音/图像/视频）
Data 3.0
运营数据
业务痛点：让数据价值浮出水面
✓ 如何让数据资产持续增值、持续变现？ ✓ 如何将业务创新的门槛和代价降到最低？ ✓ 如何让数据赋能每一位员工、渗入每一个业务环节？ ✓ 如何获得更多数据（新能源）？
后台
公共技术平台 One Platform
统一的大数据技术平台 PowereOdDPbSy，阿AD里S 云数加
数据共享 算法共享 知识共享
生态 运营 建设 管理
数据安全 数据质量 数据标准 成本管理
计算平台 数据市场
机器学习平台
DTBoost应用加速器
数据交换机制
行业子云（虚拟运营商）
金融
客服
信用
数据化的 公司
数据公司
Data 1.0
看数据
业务痛点：观察业务运行情况
✓ 老板：不能及时看到公司的业务运营情况； ✓ 业务专家：做不到“用数字说话”，被老板挑战；
技术架构：数据集市+分析展现
✓ 基于数据集市，快速产生业务报表； ✓ 直观有效地展示数据，还原业务真实状态； ✓ 下一步：实时化；
MaxCompute DataV AnalyticDB
数据开发套件 StreamCompute
QuickBI 日志分析
Data 2.0
用数据
业务痛点：让业务持续良好运转
✓ 高要求：数据丰富度、算法精准度满足不了业务需求； ✓ 高风险：系统挂掉或数据出错 = 业务挂掉；
技术架构：数据仓库+算法挖掘
✓ 底层是数据仓库，整合数据，保障质量和稳定性； ✓ 上层有数据应用引擎； ✓ 具备大规模数据处理、数据挖掘和算法建模的能力；