阿里云Serverless工作流解决方案

谢谢聆听！
20
• 具体案例：
o 电商，出游行程等订单 o 自动，人工审批
• 场景需求和 Serverless 工作流解决方案：
o 数据一致性要求高：状态和消息的持久化使流水线保证数 据最终同步。try/catch 可靠支持回滚和补偿逻辑（SAGA 模式）
o 多网络环境自动化：消息队列通知 + 回调 o 需要人工介入：通知处理人员，审批后回调服务 o 多步骤，分布式：支持函数计算，MSN 队列，主题，自定
义任务节点
o 执行时间长：最长支持 1 年
场景4：自动化运维
• 具体案例：
o ECS 镜像，云盘快照构建 o 云盘跨 region 备份容灾 o 定制化运维需求，上下线 ECS 实例等
• 场景需求和 Serverless 工作流解决方案：
o 定时运维任务：FC 定时触发 Serverless 工作流 o 执行时间长：最长支持 1 年 o 需求运维逻辑灵活：FDL 相比于指定依赖的 DAG 更加灵活，
• 具体案例：
o 长视频分片，并发转码 o 多种格式并发转码 o 视频 AI 识别、审核、分发刷新 CDN 缓存 o 海量视频在规定时间内完成处理
• 场景需求和 Serverless 工作流解决方案：
o 波峰波谷，快速伸缩速：Serverless 百毫秒级弹性自动伸缩 o 并发要求高：动态并行步骤协调十万级别并发函数实例 o 事件触发：FC 响应 OSS 上传事件调用工作流处理视频 o 灵活的任务节点：通过 FC 调用阿里云媒体处理，点播，视觉智能
水线回滚，实现补偿逻辑
客户案例分享：
图森未来自动化数据处理流水线
图森未来是一家专注于 L4 级别无人驾驶卡车技术研发与应用的人工智能企业，面向全球提 供可大规模商业化运营的无人驾驶卡车技术，为全球物流运输行业赋能。目前已完成 D 轮 融资，估值超过10亿美元。无人驾驶技术研发依赖大量的路测试验数据积累，而高效进行路 测、快速对路测数据进行处理来指导模型的更新迭代是这类场景的核心诉求。
阿里云Serverless 工作流解决方案
技术创新，变革未来
Agenda
CONTENT
ADD YOUR TEXT ADD YOUR TEXT 常见工作流场景和用户案例分享 ADD YOUR TEXT
常见工作流场景
音视频处理工作流
订单审批流程
数据处理流水线
自动化运维
机器学习流水线
场景1：音视频处理
• 场景需求和 Serverless 工作流解决方案：
o 执行时间长：最长支持 1 年 o 弹性，成本要求高：Serverless 弹性伸缩，不为闲置付费 o 要求最终一致：retry, try/catch，状态和消息的持久化使
流水线保证数据最终同步
o 定时触发：FC 定时触发器
场景3：订单、审批流程
客户痛点
运维系统复杂度高
• 抢占式实例运维 • 运维角色臃肿 • 响应速度要求高 • 函数计算并发控制
解决方案
Serverless 运维角色
• 工作流调度函数计算 • FDL 状态机 • 并行调用 FC 管理多台实例
使用效果
简单，灵活，可靠
• 分钟级别实例添加 • 对抢占实例回收无感知 • 万级别 QPS 平滑自动化运维 • 逐步抛弃常驻实例运维角色
客户痛点
复杂的数据处理流程
• 跨团队数据处理协作 • 任务依赖复杂 • 处理时长不确定 • 机器资源利用率低 • 自建机房网络隔离
解决方案
云上工作流协调云下任务
• MNS 队列 + 回调支持自定义任务 • FDL 编排任务 • 集成工作流，提供内部服务
使用效果
高效，可靠，可观测
• 云下任务被可靠编排 • 流程逻辑易理解，执行状态可追踪 • 提高资源利用率，消除资源闲置 • 提升工程效率，专注业务
瑞小博科技 Serverless 自动化运维平台
成都瑞小博科技有限公司（瑞小博科技）是国内领先的基于移动互联网的大数据方案提供商，获 得了美团点评的战略投资，公司自主研发了成都购房通系统，小博无线运营平台、大数据影响推 广平台等围绕移动大数据领域的产品，并提供相关的信息技术服务。公司自成立以来，一直致力 于移动互联网大数据应用与运营模式创新，为全国商业大数据运营团队提供全面的运营支持与技 术服务。公司凭借优异的科技创新能力，通过了“国家高新技术企业”的认定，荣获“2019年 成 都高新区瞪羚企业”、"2018德勤- 中国高科技高成长50强”、“2018德勤- 成都高科技高成长20 强”、“2017德勤- 成都创新创业明日之星”等奖项。
等云服务完成复杂多媒体处理 o 长时间执行，容错要求高：retry, try/catch，状态和消息的持久
化帮助长视频可靠处理
场景2：数据处理流水线
• 具体案例：
o OSS 数据批量处理，跨区域，跨 bucket 备份容灾 o Mysql/MongoDB/TableStore 数据同步 o 离线大数据 ETL 流水线 o 流式解压 OSS 大压缩包
支持深度自定义运维
o 低成本，高资源利用率：Serverless 计费模型，按使用量 （步骤转换数）收费，不为闲置资源付费
Baidu Nhomakorabea
场景5：机器学习流水线
• 具体案例：
o 训练数据 ETL 流水线 o 构建，模型训练，部署形成 ML 反馈回路
• 场景需求和 Serverless 工作流解决方案：
o 执行时间长：最长支持 1 年 o 需要人工介入：通知 + 回调 o 可靠性要求高：try/catch, retry 等功能支持流