爱奇艺推荐中台技术架构实践
技术中台解决方案
06
技术中台解决方案的未来展望与挑战
技术发展趋势
云计算和大数据
01
云计算和大数据技术将继续是技术中台的重要支撑，为各类应
用提供更高效、更灵活、更低成本的服务。
人工智能和机器学习
02
人工智能和机器学习技术将进一步推动技术中台的智能化发展
，提高自动化水平和创新能力。
区块链技术
03
区块链技术有望解决数据安全和隐私保护等难题，为技术中台
技术发展趋势
云计算、大数据、人工智能等技术的快速发展 ，使技术中台建设成为企业技术创新的必然选 择。
业务需求驱动
业务需求的变化和不断升级，要求企业建设一 个可扩展、可复用的技术体系，以满足业务发 展需求。
技术中台的概念
定义与定位
技术中台是将云计算、大数据、人工智能等前沿技术能力， 通过共享、复用、服务化的方式，为企业提供可扩展、可复 用的技术支持，实现技术资源的高效利用和业务价值最大化 的目标。
医疗行业案例
总结词
在医疗行业，技术中台解决方案成功地帮助医院和医疗企业提高了信息化水平，优化了患者就医体验和管理效 率。
详细描述
某大型三甲医院采用基于大数据和人工智能的技术中台解决方案，实现了医疗数据的集中管理和分析，提高了 医疗服务的精细化管理水平。该方案通过智能化排班、智能诊疗建议等方式，优化了医疗资源的分配和管理， 提高了医疗效率和诊断准确率。
根据业务需求选择合适的架构和工具，例如微 服务架构、云计算平台等。
实施流程
需求分析
设计
通过对现有业务需求进行分析，确定技术中 台需要满足的功能和性能要求。
根据需求分析结果，设计技术中台的架构、 接口、数据模型等，确保满足业务需求。
AI中台敏捷智能业务支持方案V2.0
中间件等软件资源，并进行投资估算。
人力资源
03
根据实施方案，确定所需的人员数量、技能要求
等，并进行投资估算。
识别潜在风险
通过数据分析和历史经验，识别出可能影 响项目进展和业务运营的潜在风险。
分析风险概率和影响
对识别出的风险进行概率和影响分析，确 定风险的优先级和应对策略。
风险评估 01
对AI中台敏捷智能业务支持方案中可能出 现的风险进行评估，包括技术风险、数据 风险、安全风险等。
AI中台应用场景
AI中台在智能客服、智能推荐、智能风控等领 域的应用，提升业务效率和用户体验。
AI中台案例
AI中台在某电商平台的智能推荐系统中的应用， 提升了转化率和用户满意度。
提高业务效 率
AI中台的应用能够 显著提高业务流程 的效率和准确性， 减少人力成本和错 误率。
创新业务模 式
AI中台能够支持企 业快速尝试新的业 务模式和产品，加 速企业的创新和迭 代速度。
实施应对措施
将应对策略落实到具体的操作中，包括技 术升级、安全加固、数据备份等，确保方 案的安全稳定运行。
方案价值
AI中台敏捷智能业务支持方案能够提高业务响应 速度和创新能力，为企业的数字化转型提供有力 支持。
实施建议
建议企业在实施AI中台敏捷智能业务支持方案时， 注重与业务需求的结合，加强人员培训和团队建 设，以确保方案的有效落地。
01 方案目标
提供一种AI中台敏捷智能业务支持方案，旨在提高企业 业务效率和智能化水平。
02 方案特点
该方案具有灵活性、可扩展性和高效性等特点，能够快 速响应业务需求，降低成本和风险。
03 方案实施
该方案实施包括需求调研、方案设计、开发测试、上线 部署等阶段，需要跨部门协作和持续优化。
爱奇艺广告平台的架构设计分析
爱奇艺广告平台的架构设计分析近年来爱奇艺快速发展，优质内容层出不穷，爱奇艺广告也随之发展和壮大，广告在线服务同时服务于品牌、中小、DSP 等不同客户，形成了可以满足不同需求类型的较为完善的商业广告变现布局，广告库存涵盖视频、信息流、泡泡社交（爱奇艺的社交平台）和开机屏等多种场景。
爱奇艺效果广告是2015 年开始全新搭建的一个广告投放平台，随着信息流业务的增长，整个投放平台也经历了一次大的架构调整和多次重要的升级优化。
爱奇艺广告投放平台的概要架构如下图所示。
本文主要介绍在线服务相关的内容，在线投放服务即图中虚线所框出的部分，主要包括在线的投放和计费服务。
架构背后的业务需求架构肯定是为业务需求而生的，先来看看我们面对的业务需求及其特点。
爱奇艺效果广告投放平台目前采用代理商模式，平台主要满足两大类业务需求：面向代理商（广告主）的和面向产品及运营团队的需求。
具体来看看。
1、面向代理商的需求：本质上是要帮助代理商降低转化成本∙支持多种广告位：贴片、暂停、浮层、信息流、视频关联位和推荐位等∙支持多种结算类型：支持CPC、CPM 和CPV 等广告结算类型，oCPC 结算方式在规划中∙丰富的定向功能：常用定向维度（平台、地域等）及人群精准定向（地域定向- 支持区县级别、人群属性定向和DMP 人群定向），关键词定向∙灵活的排期及预算设置：支持分钟粒度的排期设置，支持日预算的任意增减∙特殊的业务功能：广告去重功能、动态创意、创意优选和平滑消耗等，都是为了提升广告的转化效果∙频次控制：避免对相同用户短时间的大量曝光2、面向产品及运营团队：主要是提升产品控制能力，促进整体系统的良好运转∙流量控制：通过黑白名单控制某些流量上不可以/ 可以投放哪些广告∙AB 测试功能：影响较大的功能全量发布之前需要进行AB 测试以确认效果符合预期∙计费相关：延迟曝光不计费，曝光、点击异常检测及过滤∙负反馈：根据用户反馈自动调整广告投放策略优化用户体验，同时也是对广告主的一种制约从上面描述的业务需求可以看出，业务的特点有：1.业务逻辑复杂：流程包括很多环节（场景信息获取，广告召回，预算控制，频次控制，点击率预估，创意优选，平滑消耗，广告去重，结果排序，结果筛选，概率投放，AB 测试）；下图中绿框的部分仅展示投放服务的主要流程：2.业务变更非常快：平均每周5 次的系统功能变更；3.广告主数量多，订单量大，订单平均预算较小，并且订单设置会频繁变化。
媒体行业内容推荐与分发平台搭建方案
媒体行业内容推荐与分发平台搭建方案第一章：项目概述 (2)1.1 项目背景 (2)1.2 项目目标 (3)1.3 项目范围 (3)第二章：市场分析 (4)2.1 行业现状 (4)2.2 用户需求分析 (4)2.3 竞争对手分析 (4)第三章：内容推荐算法设计 (5)3.1 推荐算法选型 (5)3.2 用户画像构建 (5)3.3 物品内容分析 (5)3.4 推荐算法优化 (6)第四章：内容分发策略 (6)4.1 分发渠道分析 (6)4.2 内容推送策略 (7)4.3 用户行为跟踪与反馈 (7)第五章：平台架构设计 (7)5.1 技术选型 (8)5.2 系统架构设计 (8)5.3 数据存储与处理 (8)5.3.1 数据存储 (8)5.3.2 数据处理 (9)第六章：平台功能模块设计 (9)6.1 内容管理模块 (9)6.1.1 内容与审核 (9)6.1.2 内容分类与标签 (9)6.1.3 内容编辑与删除 (9)6.1.4 内容统计与分析 (9)6.2 推荐模块 (9)6.2.1 用户画像构建 (10)6.2.2 内容推荐算法 (10)6.2.3 推荐结果展示 (10)6.2.4 推荐效果评估 (10)6.3 分发模块 (10)6.3.1 用户分群 (10)6.3.2 内容分发策略 (10)6.3.3 分发效果监测 (10)6.4 用户管理模块 (10)6.4.1 用户注册与认证 (10)6.4.2 用户权限设置 (11)6.4.3 用户行为分析 (11)6.4.4 用户互动管理 (11)第七章：平台安全与稳定性保障 (11)7.1 数据安全 (11)7.1.1 数据加密存储 (11)7.1.2 数据备份与恢复 (11)7.1.3 数据访问控制 (11)7.2 系统安全 (11)7.2.1 防火墙与入侵检测 (11)7.2.2 安全漏洞管理 (12)7.2.3 安全审计与监控 (12)7.3 稳定性保障 (12)7.3.1 硬件设备冗余 (12)7.3.2 网络负载均衡 (12)7.3.3 系统功能优化 (12)7.3.4 应急预案与演练 (12)第八章：运营与推广 (12)8.1 运营策略 (12)8.1.1 内容运营 (12)8.1.2 用户运营 (13)8.1.3 活动运营 (13)8.2 推广渠道 (13)8.2.1 线上渠道 (13)8.2.2 线下渠道 (13)8.3 用户增长策略 (13)8.3.1 拉新策略 (13)8.3.2 留存策略 (14)8.3.3 转化策略 (14)第九章：项目实施与进度安排 (14)9.1 项目实施计划 (14)9.2 项目进度安排 (15)9.3 风险评估与应对措施 (15)第十章：总结与展望 (15)10.1 项目总结 (15)10.2 未来发展趋势 (16)10.3 项目后续优化方向 (16)第一章：项目概述1.1 项目背景互联网技术的飞速发展，媒体行业正面临着前所未有的变革。
爱奇艺大数据分析平台架构演进
2020
用户分析平台-产品架构
上游业务&平台
爱奇艺 奇巴布 爱奇艺阅读
……
业务数据
AB平台 Push平台
……
平台数据
北斗
下游业务应用
即时分析 画像分析 路径分析 分布分析
用户细查 漏斗分析 留存分析
……
多角度行为分析
人 群 分 析
生 成 人 行为/属性圈定细分人群 群
设备粒度/账号粒度
单App/跨App
用户属性/核心行为/新增/AB实验/活动行为……
分析输出/决策支持
人群输出
人群 分发 枢纽
用户细查
报表平台
飞鸽 广告 。。。
全链路平台 用户反馈平台
产品迭代 / 业务运营
2020
用户分析平台-技术架构
数据层：
将数据通过统一的Hash算法切片为100 份存储，基于用户行为库定制的用户事件， 属性模型。
系统，去除单点入口机依赖
New 表注册
数据管理 字典管理
数据依赖
日志表管理
New Gear
计算配置
Hive
SQL生成
任务执行 定时任务
服务层
效果 • 任务失败率从5%降低至2%（非语法类）
调度/引擎
2020
自助查询平台2.0-表一键替换
问题
• 数据开发提供了注册的数仓表，但是由于用户的习惯，不愿意进行计算的切换， 导致高效的表难以推广
用户分析平台-诞生背景
• 人群圈选→行为分析→定向运营 • 数据可快速 可分析→可决策→可行动 • 不但提供表的服务，进一步提供解决方案 服务
看过隐没的角落的人群数据分析、提取 2周
冷静下来,细数中台有哪些坑
冷静下来，细数中台有哪些坑1、中台源2009 年阿里共享业务事业部诞生，它在多年后承接了阿里的中台的重任2010 年 6 名资深游戏开发者创立了 Supercell 公司，旗下拥有《部落冲突》，《皇室战争》，《海岛奇兵》，《卡通农场》这四款超现象级产品。
2015 年中，据说马云带领高管拜访了芬兰赫尔辛基的Supercell。
Supercell 公司员工不多，Supercell 每个团队员工不超 7 人，团队自己决定做什么产品，实现产品快速开发。
这次访问据说给阿里高管带来了极大的震撼，于是大家开始思考快速发展的信息时代中公司的架构到底应该是怎么样的。
2015/12 阿里 CEO 逍遥子的一封内部邮件打响了阿里内部进行“大中台，小前台”组织架构升级的指示2015 年末，滴滴启动中台战略，构建业务中台主要出于四方面：专业深度，人力资源，用户体验，全局打通2017/12 滴滴分享了如何构建自己的中台2018/1 京东进行组织架构调整2018 下半年，爱奇艺开始规划做中台2018/7 百度总裁陆奇离职2018/12 京东宣布采用前台，中台，后台的组织架构2018/12 百度内部宣布进行架构调整2019/3 字节跳动对外透露正在搭建“直播大中台”2019/5/6 上半年，知乎创始人于第二届数字中国建设峰会接受专访时提到知乎的中台2019/5/21 腾讯召开了全球数字生态大会，会上腾讯高级副总裁提出了“开放中台能力，助力产业升级”和“开源协同”和“自研上云”，然后“中台”立马就被带火了。
从百度搜索指数可以明显发现，从 5/21 起中台搜索量指数往上涨2019/8/9 小米在 ITex 供需博览会上提出小米中台进行业务 + 数据 + 技术建设2019/10 爱奇艺在 QCon 全球软件开发大会上对爱奇艺中台进行介绍一、大厂的中台1、腾讯All in产业互联网。
腾讯的技术委员会，对标的是阿里巴巴的中台事业部，而不是外界所解读的对标阿里“达摩院”。
爱奇艺移动业务后台系统架构设计
业务需求大量涌入，研发疲于 应付，没有精力进行架构设计 与代码重构，质量急剧下降
客户端APP版本占比
2014 - 化整为零
两个原则：
• 按照业务模块自上而下垂直拆分 • 引入接口版本概念进行持续迭代
改造成果：
客户端APP
• 系统从1个拆分成了首页、播放、频道页、会 员、搜索等6个功能独立的子模块 • 代码工程从1个拆分为6个 • 接口个数从3个拆分为30+个 • 代码中“超级类”消失不见 • Redis缓存从1个大集群拆分为5个小集群
爱奇艺移动业务后台系统架构设计
• • •
后台架构演进的必经之路
应对流量洪峰的三板斧 后台架构设计的发展思考
PART ONE
后台架构演进的必经之路
一个互联网产品的生命周期
孵化期 成长期 成熟期 衰退期
奇点 技术成熟度
业务成熟度
快速试错，基础产品功 能完善；系统架构尽可 能简单，功能快速上线
Gap
2016 - “微”服务化
微服务 ！= RPC ！= Spring boot ！= 容器 && 有成本
采取的策略：
• 有节制的进行基础服务的抽取 • 有节制的引入新的技术与框架
成本
收益
微服务
2017+ - 平台之路
APP配 置中心
代码抽取成通用的SDK，提 高复用度，如：缓存组件、 熔断组件、HTTP组件等 移动APP的通用管理能力，包括：灰度、 升级、热修复、开关控制、版本管理等
案例数据：
业务模块A 接口V1.0 业务模块B 接口V1.0 业务模块A 接口V2.0 业务模块B 接口V2.0
• 首页接口2.0升级改造后，接口参数从60多 个精简到20+个，返回数据包大小较少了 50%，接口响应时间缩短了一半
监控全覆盖，接入只需5分钟：爱奇艺内容中台基于CAT的服务监控实践原创内容生产中台爱奇艺技。。。
监控全覆盖，接⼊只需5分钟：爱奇艺内容中台基于CAT的服务监控实践原创内容⽣产中台爱奇艺技。
系统监控⼀直是项⽬完整性的⼀个要素，“不让没有监控的系统上线”，这条准则也逐渐得到越来越多的⼈的认可。
如果⼀个系统监控缺失，我们就⽆法知道系统的运⾏状态，以及业务的各个⽅⾯的情况，甚⾄系统出现宕机或者重⼤故障也不得⽽知，以⾄于造成重⼤损失。
爱奇艺乐道中台是由爱奇艺内容中台团队建设的集视频、⾳频、字幕、图⽚等内容的全流程⽣产、发布及运营的中台服务。
随着业务发展及微服务化的逐渐深⼊，系统项⽬越来越多，⽬前已有微服务100+，需要维护内容也越来越多，链路越来越长，现有的监控⼿段已不能满⾜业务发展的需要，涌现出更多更迫切的监控需求，如：1、⾼效及时的发现、定位系统异常问题系统出现异常时需要⽴刻感知，在业务反馈之前发现问题，定位问题需要更加⾼效，可视化，不能仅去服务器查⽇志定位问题，这样通常需要花费很长时间才能定位原因，甚⾄如果⽇志过多还不能准确定位。
2、上线过程可监测，出现问题第⼀时间回滚每次系统发布上线都是⼀次bug降⽣的窗⼝期，相当⽐例线上问题都是上线导致或者引⼊的，因为⼀个稳定的服务，你不去更新系统代码，正常情况下不会⾃发的产⽣问题。
我们需要可监测的上线过程，及时修复问题。
3、全⾯准确的度量系统服务、接⼝、数据库等性能我们需要更加全⾯和⽅便的监测整个系统对外提供的服务接⼝和系统依赖的外部服务接⼝性能，QPS、慢查询等其他性能指标，性能如果有潜在问题可能在关键时候，如流量突增，导致数据库连接池打满、长事务、拖垮整个⽹关等重⼤故障。
4、更加及时和稳定的监测服务健康情况虽然⽬前部署的服务都是双份或者多备份部署，可⽤性有保证，但是还是往往会出现其中部分服务出现宕机等情况，我们需要第⼀时间感知到这种问题，并具有持续的稳定监测。
5、及时监测机器（容器）性能变化当系统遇到突发流量或者攻击等原因时很可能导致连接池打满、OOM，数据库打满，CPU、内存、磁盘打满等基础问题，这些都会导致重⼤事故，⽆法及时的监控到，就⽆法及时的处理，导致重⼤线上故障。
视频中台方案建议书
视频中台方案建议书一、背景分析随着互联网的快速发展，视频内容已经成为人们获取信息、娱乐消遣的重要方式。
而随着移动互联网的普及，视频内容的传播和观看方式也发生了巨大的变化。
传统的视频平台已经不能满足用户对于视频内容的多样化需求，因此，建立一个视频中台平台已经成为当前行业的发展趋势。
二、视频中台的定义视频中台是指在视频行业中，连接内容生产方和内容消费方，提供内容生产、存储、管理、分发、推荐等一系列服务的平台。
视频中台通过技术手段，实现内容的多渠道分发和个性化推荐，让用户可以更便捷地获取到自己感兴趣的视频内容。
三、视频中台的优势1. 丰富的内容资源：视频中台整合了各种类型的视频内容，包括电影、电视剧、综艺节目、纪录片等，满足用户对于不同类型视频的需求。
2. 智能推荐算法：视频中台通过用户行为分析和大数据挖掘，可以为用户推荐他们感兴趣的视频内容，提高用户体验。
3. 多端覆盖：视频中台可以在PC端、移动端、智能电视等多个终端上提供服务，让用户可以随时随地观看视频内容。
4. 个性化定制：视频中台可以根据用户的偏好和习惯，为其定制专属的视频推荐和内容推送。
5. 优质的服务体验：视频中台可以提供高清流畅的视频播放体验，保障用户的观看效果。
四、视频中台的建设方案1. 技术架构设计：视频中台的建设需要考虑到内容存储、内容管理、推荐算法、用户画像等方面的技术支持，需要建立稳定、高效的技术架构。
2. 内容整合与采购：视频中台需要整合各种类型的视频内容资源，可以通过自制、采购、合作等方式获取优质的视频内容。
3. 用户体验设计：视频中台需要设计用户友好的界面，提供便捷的搜索、播放、订阅等功能，提高用户的使用体验。
4. 数据分析与运营策略：视频中台需要建立完善的数据分析体系，通过用户行为数据和视频内容数据，制定精准的运营策略，提高用户粘性和活跃度。
5. 安全与版权保护：视频中台需要加强内容的安全保护和版权管理，保障内容生产方的权益，同时保障用户的合法权益。
云架构实现和优化
爱奇艺刘文峰爱奇艺是一家具有媒体属性的科技公司•技术创新•云计算平台、HCDN技术、大数据智能分析平台、视频综合服务平台以及视频搜索引擎技术•构建了全球规模最大的混合视频网络HCDN，CDN网络节点总数逾500个，总服务带宽30Tbps •内容创新•爱奇艺具有中国最大的长视频版权内容库，总存量超过20P•据艾瑞数据统计，爱奇艺PC端、移动端的市场份额、用户量、活跃度均持续位居行业第一月度覆盖用户：3.3亿月度使用时长：35亿小时日均覆盖用户：1.4亿月度覆盖用户：3.64亿月度使用时长：22亿小时日均覆盖用户：6960万架构变迁自由市场基础设施平台化基础架构标准化•云•私有云为主，公有云帮忙•以开源软件为布，裁自研软件之衣•公有云提供弹性资源•端•组件标准化•云和端通讯协议化•语言•全公司编程语言统一化云技术的应用视频云收录、生产、发布、运营播放体验技术4K、HDR、杜比、VR 私有云IaaS、PaaS、中间件HCDN网络传输、分发、调度DC无感知的弹性计算平台调度引擎Marathon 容器管理负载均衡DNSContainer 配置更新scale 指令弹性计算资源池服务请求数据分析日志采集资源监控日志采集日志分析系统Container 日志采集Container 日志采集Container日志采集资源反馈新建节点流量导入流量导入晚十点更新剧集的瞬间涌入了超过100万并发视频播放会员弹性生命周期•基于Docker实现离线和在线资源灵活转换，最大化资源利用便利性自助式申请虚拟机创建Image，自动部署通过CI，自动发布Java或者Go应用推动业务向私有云迁移新业务存量业务基础架构应用层解耦•云架构的核心就是解耦•业务和运维的解耦•系统和软件的解耦•服务和服务之间的解耦解耦性能、可用性…解耦公共组件IaaS &中间件PaaS &公共服务编程语言代码Review 一致集成单元测试灰度上线拨测服务指标监测开发流程•规范开发流程•内部开源•工具云服务•全链路监控云和架构师•复杂性决定了架构师的重要性•云架构需要全面业务支商业模式技术持•云服务需要架构师的眼光，架构师需要云计算云架构师的思维运行效率产品逻辑IOCP -爱奇艺开放缓存计划（iQIYI O pen C ache P rogram）•节省了上网带宽，降低了网络拥塞•提高用户视频的播放流畅性，提高播放码率•提高PGC上传效率，加快从生产的视频的传播速度和生产能力request.iocp@ 申请IOCP接入。
51CTO学院-爱奇艺推荐系统的整体技术架构视频课程
QQ/电话：400-851-9651 网址：
爱奇艺推荐系统的整体技术架构视频课程
课程目标
2015中国hadoop技术峰会大会数十位演讲嘉宾及专家案例都已上传，供学员学习。
适用人群
大数据Hadoop 学员讲师技术峰会数据库服务器存储
课程简介
爱奇艺大数据推荐算法技术主管方非在2015中国hadoop技术峰会上演讲及案例分析
大会数十位演讲嘉宾及专家案例都已上传，供学员学习。
课程
第一章爱奇艺推荐系统的整体技术架构（上）
1课时15分钟
1
爱奇艺推荐系统的整体技术架构
[免费观看]
15分钟
第二章爱奇艺推荐系统的整体技术架构（下）
1课时19分钟
2
爱奇艺推荐系统的整体技术架构
19分钟
爱奇艺大数据推荐算法技术主管方非在2015中国hadoop技术峰会上演讲及案例分析大会数十位演讲嘉宾及专家案例都已上传，供学员学习。
ai数字化中台技术架构方案
业务流程管理与优化措施
采用业务流程管理工具，实现业 务流程的可视化和可配置化。
对业务流程进行持续优化，提高 业务处理效率。
通过数据分析和挖掘，发现业务 流程中的瓶颈和问题，为优化提
供数据支持。
05
技术中台建设方案
技术选型及原因阐述
选用先进的大数据技术
01
如Hadoop、Spark等，处理海量数据，满足实时性和扩展性需
对系统的响应时间、吞吐量、并发用户数等关键性能指标 进行测试，确保系统能够满足业务需求。
安全测试
对系统的安全性进行全面测试，包括身份认证、访问控制 、数据加密等方面，确保系统的安全性和稳定性。
验收标准
制定明确的验收标准和流程，包括功能验收、性能验收、 安全验收等方面，确保系统能够满足业务需求并顺利上线 。
数据治理与安全保障措施
数据治理策略制定
制定完善的数据治理策略，包括 数据标准制定、数据质量监控、 数据安全管理等，确保数据的规
范性、准确性和安全性。
数据安全保障措施
采用多种数据安全保障措施，如数 据加密、访问控制、安全审计等， 确保数据不被泄露、篡改或损坏。
数据合规性审查
定期进行数据合规性审查，确保企 业数据处理活动符合法律法规和监 管要求。
通过引入AI技术，构建智能化中台，实 现业务、数据和技术的全面融合。
提升运营效率
借助中台的共享服务和标准化流程，降 低企业运营成本，提高运营效率。
加速创新迭代
通过中台提供的灵活可扩展的技术架构 ，支持企业快速响应市场变化，加速产 品和服务创新迭代。
增强企业竞争力
通过数字化转型和中台战略实施，提升 企业整体竞争力，实现可持续发展。
07
系统集成与测试方案
爱奇艺风险中台的演进和实践
数据平台
更丰富的 数据
优质生态 用户安全感
生态治理
智能化
中台化
风控价值体系
平台
业务
有形
• 止损 • 解决方案 • 调用量级
两者之间
• 接入成本 • 人力成本
无形
• 潜在风险 • 商誉、舆情、监管风险 • 商业决策
谢谢
降本增效核心能力沉淀精细化运营指标大盘定制报表客诉闭环评价体系统一数据平台统一管理数据血缘场景化解决方案全面省心一站式接入统一标准自助运营中台互通智能决策体系新一代决策引擎分层决策场景vs定制风险自动驾驶小时级感知认知处置中台体系概览风险中台金融科技app矩阵各类中台账号会员用户增长内容生态账户保护会员权益保护营销反作弊拉新裂变保护渠道反作弊投票反作弊内容保护数据平台对外支撑运营平台对内支撑智能验证设备指纹深度定制信誉产品模型平台能力建设六大引擎产品赋能解决方案业务线金融反欺诈风险雷达决策api爱奇艺风险中台核心构建思路场景化解决方案一站式接入运营场景化解决方案覆盖11个风险场景累计对接500业务风险点会员拉新促活互动投票账号内容生态金融支付电商激活码基础安全反爬虫以业务为核心的全生命周期解决方案业务风险场景玩法风险程度安全渗透prgr风险评估风控调用处置手段业务限制应急预案接口加固风控建议易错项checklist联调预演压测跟进联调测试事前梳理恶意攻击事件量化资损止损情况评估整体防御效果风险复盘面向业务定制分析业务分析风控体系迭代业务玩法建议协作流程优化持续优化事后可定制实时离线策略云管端风险体系分层架构联防联控防控体系申请黑白测试名单查询日志定制报表客诉处理闭环自助运营攻击预警处置舆情情报预警应急预案值班模式监控报警事中业务方客诉处理闭环日志中心业务处理风控团队策略规则画像标签风险场景分组监控话术回复临时加白人工客诉加白t1监控置信风险原因的恶意投诉一线客服风控日志风控服务业务方业务请求用户投诉工单审批7天免审批风控相关的投诉风控置信原因业务临时加白转交风控的客诉误杀?时效性?量级?误伤率运营效率提升95以上业务复用解决方案规范化接入中台打通无感接入接入成本下降90耗时下降至小时级无故障客诉闭环降低客诉量级打扰95客诉当天解决率100中台互通业务方无感接入风控解决方案已支持数百个活动爱奇艺风险中台核心构建思路智能风控体系策略运营核心思路运营中心模型融合联防联控风险点分层设计全链路智能组合策略体系策略中心灰度配置策略配置场景配置评价体系灰度评价线上评价离线评价预上线评价深度分析报告输出关联分析团伙分析案件库案件复盘案件管理案件跟进数据客诉数据设备数据外部情报业务数据行为数据风险雷达根因分析异常检测事实呈现风险数据模型配置业务中心能力支撑关键能力风险决策客诉分析智能决策引擎查询引擎决策引擎模型引擎规则引擎场景引擎
中台体系架构设计方案
中台体系架构设计方案一、概述中台体系架构设计方案是指在企业中建立中台体系的整体框架和设计原则，以满足不同业务系统的共性需求，提高业务系统的稳定性、可扩展性和可维护性。
本文将从中台体系的架构设计原则、技术选型和实施方案等方面进行阐述。
二、架构设计原则2.1模块化设计原则中台体系的架构设计应采用模块化的设计原则，将业务系统拆分成独立的模块，每个模块承担特定的业务功能，实现高内聚和低耦合。
2.2可扩展性原则中台体系的架构设计应具备良好的可扩展性，可以方便地增加新的业务模块或功能模块，并能够快速响应业务变化。
2.3可维护性原则中台体系的架构设计应具备良好的可维护性，可方便地对模块进行更新、升级和修复，以保证系统的稳定性和可靠性。
2.4高可用性原则中台体系的架构设计应具备高可用性，通过冗余、负载均衡和故障恢复等技术手段，实现系统的高可用性和容错性。
2.5安全性原则中台体系的架构设计应具备良好的安全性，采用合适的安全机制和技术手段，确保系统的数据安全和用户信息的保密性。
三、技术选型3.1微服务架构中台体系的架构设计应采用微服务架构，将业务系统拆分成独立的微服务，每个微服务具备独立的部署、运维和扩展能力，以实现高内聚和低耦合。
3.2分布式存储中台体系的架构设计应采用分布式存储技术，将数据分布在多个节点上，以提高系统的可扩展性和容错性，并实现数据的高可用性和灵活性。
3.3数据中台中台体系的架构设计应包括数据中台，将企业的核心业务数据进行统一管理和处理，提供数据共享、数据集成和数据分析等功能，以支撑企业的数据驱动决策和业务创新。
3.4开放API中台体系的架构设计应提供开放的API接口，以支持不同业务系统之间的数据交互和功能调用，并允许第三方开发者接入系统，实现企业的生态扩展和创新。
四、实施方案4.1需求分析首先，进行需求分析，明确企业的中台体系需求，包括支持的业务功能、数据共享和数据分析需求等。
4.2架构设计根据需求分析的结果，进行架构设计，包括中台体系的模块划分、微服务的设计和数据中台的设计等。
DTCC2014：爱奇艺在Hadoop生态中大数据平台架构与实践-孙琦_IT168文库
Serve Server r
Storage Service
Add/Delete Add/Delete
案例 – 基于虚拟化Storm应用
• Storm – 实时广告故障分析
Redis Bolt A Kafka 集群 KafkaSpout Bolt B Openstack Bolt Output Dashboard
爱奇艺
• 成绩：2014年1月以来，爱奇艺PPS，已经 连续2月日均覆盖、月度覆盖、月度时长和 人均月度时长均排名第1。
爱奇艺
Agenda
• • • • • • 爱奇艺 Hadoop生态@爱奇艺 部署架构 运营 问题 相关开发
Hadoop生态@爱奇艺
• • • • • • 与2010年8月开始搭建，最初只有50台机器 目前已经具有一定规模，且在迅速扩容 多机房部署，专线互联 涵盖Apache Hadoop生态的所有主要组件 物理机集群与虚机集群共存的部署模式 公共集群和专属集群共存的运营模式
Hadoop生态@爱奇艺
• 处理数据量：~20PB • 日处理Job数：100000+ • 服务项目组：搜索、广告、推荐、日志分 析、BI等。 • 版本：CDH4.X 还没完全进入Hadoop2.0时代
Agenda
• • • • • • 爱奇艺 Hadoop生态@爱奇艺 部署架构 运营 问题 相关开发
– 定制监控系统
运营
• 审计
– 对项目组的资源使用进行货币化审计
运营
• 云路 – 统一运营入口
– 资产管理 – 服务自动化部署 – 服务监控 – 审计 – 报表
Agenda
• • • • • • 爱奇艺 Hadoop生态@爱奇艺 部署架构 运营 问题 相关开发
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
标签
业务画像
标准化标签
静态兴趣
计算
数据抽取 数据清洗 兴趣计算 兴趣衰减 兴趣合并
基础画像
全站基础 画像
短期兴趣 中期兴趣 长期兴趣 标签扩展
数据监控
超时监控 覆盖监控
召回
厌倦惩罚
策略
召回配比
质量控制
多模型融合
冷启试探
• 新用户模版召回 • 兴趣不足时的召回拓展
相关召回
• 实体词&主题词召回 • 分类召回 • 语义Embedding模型
用户行为数据
非视频数据
自定义数据源
推荐中台内部架构：内容理解
内容理解 服务
业务定制 化组件
通用内容 理解组件
内容理解 基础技术
在线服务
消息推送
智能特征库
产品标签体 系定制
分类体系
内容标签
产品用户群行 为适配
内容深度表示
业务线标准适配
质量评估
内容风险评估
文本理解
多模态特征融合
图像理解
视频理解
音频理解
爱奇艺APP
PPS
泡泡
好多 纳豆
姜饼 无际
…
APP PC VR
TV
…
多端适配（APP/PC/H5/PAD/VR/TV…）
多路召回
爱奇艺推荐中台
特殊策略干预
融合控制
排序 （粗排，精排、Rerank）
用户兴趣试探
新内容试探
通用推荐池平台
通用特征服务
基础内容理解组件
保量系统 基础用户画像
审核平台
标注平台
爱奇艺号
• 业务对接效果
问题二：推荐实体不同
横屏视频
漫画
竖屏小视频
图文
直播
解决方案二：统一实体字段
通用字段定义 业务独有字段定义
原始字段名
映射字段名
id
Id
name/title
name
picture_url/cover_url
附加服务
多语言 实时监控 智能降级
HA 回滚机制 服务发现 调用链
目录
• 推荐中台背景 • 推荐中台架构 • 推荐中台实践
问题一：推荐形式不同 问题二：推荐实体不同
问题三：推荐需求不同
• 业务对接效果
问题一：推荐形式不同
个性化推荐
信息流推荐
相关推荐
主题推荐
解决方案一：统一接口
参数 area passport_id device_id context_id session_id theme_id
用户行为实时ETL
实时/离线规 范统一
流式ETL 处理框架
细粒度延迟 监控告警
多机房互备 （HA）
业务隔离
特征数据源接入平台
数据规范
解析配置
实时特征计算平台
实时meta 特征框架
实时统计 特征框架
实时特征归 session特征
一化
框架
推荐中台内部架构：算法
数据格式规约
数据接入
数据同步流程
配置文件
画像
多样性控制
排序模型 LR FM
GBDT DNN
内容 理解
分类体系
内容标签
推荐池 视频
图文
直播
深度特征
质量评估
漫画
轻小说
…
Workflow 配置平台 基本配置
模块配置
报表 效果总表
AB实验 报表
推荐中台内部架构：推荐池
近实时Hbase表
推荐池数据服务
snapshot文件
实时更新消息
去重mapping
定向运营
AB分流
保量系统
用户兴趣服务
兴趣获取 兴趣衰减 兴趣试探 负反馈过滤 兴趣冷冻
召回服务平台 向量召回服务
向量召回
倒排召回服务
标签召回
协同召回
粗排服务
单路粗排
精排服务
多目标精排
多路粗排
多样性控制
多样性控制
模型Rerank
模型服务
LR
GBDT
FM
DNN
离线特征
实时特征
特征服务
特征填充
特征转换
引擎现场
推荐中台内部架构：特征工程
特征文件 meta特征
特征仓库
实时特征 消息
特征查询
特征数据
统计特征
深度特征
特征运维
一站式workflow配置平台
特征运维部署平台
附加服务
任务监控 特征校验
服务降级
HA
离线特征计算平台
数据源解析
数据转化
特征归一化
meta特征 计算框架
统计特征 计算框架
外部特征 接入框架
正排服务化 特征ID服务化
爱奇艺推荐中台技术架构实践
目录
• 推荐中台背景 • 推荐中台架构 • 推荐中台实践
问题一：推荐形式不同 问题二：推荐实体不同
问题三：推荐需求不同
• 业务对接效果
推荐中台背景
需求排期，堆积如山
业务方重复造轮子
推荐业务
小视频
热点
动漫
看点
推荐实体
横屏视频
漫画
竖屏小视频
图文
直播
推荐形式
个性化推荐
信息流推荐
推荐池运维服务
一站式workflow 配置平台
自动化部署toolkit
推荐池通用逻辑层
业务推荐池孵化器
辅助功能
实体关联 通用缓存 通用去重
规则引擎
准入/过滤/ 退场
业务去重
数据校验
漏斗分析
HA
统一数据拓 通用元数据 数据补偿/
扑/字典
转换
纠错
干预后台
实时监控
长，短，小视频
爱奇艺号数据
适配数据生产源
智能特征库
含义 推荐区域，绑定策略配置
登录ID 设备ID 上下文ID，相关推荐 会话ID，翻页去重 主题ID，主题推荐
解决方案一：统一流程
Y 是否个性化
用户画像
N
请 求
Y 是否信息流
推荐历史
N
一级召回
一级排序
N 是否主题模式
Y
Rerank
二级召回
二级排序
响应
解决方案一：召回仓库
热门召回 标签召回 协同召回 主题召回 地域召回 向量召回
基础服务平台
用户数据
通用AB TEST
分析平台
平台
内容生产系统
PGC优质内容
分布式在线机器 学习平台
大数据存储 荐中台内部架构
线上 引擎
用户兴趣
召回
过滤
用户画像 静态画像
特征工程 Meta特征
短期画像
统计特征
中期画像
向量特征
长期画像
环境特征
粗排
精排
召回模型 热门召回 相关召回 协同召回 向量召回
Word2Vec
协同过滤
DSSM
解决方案一：模型仓库
Logistic Regression Factorization Machines
GBDT
Wide & Deep DeepFM
目录
• 推荐中台背景 • 推荐中台架构 • 推荐中台实践
问题一：推荐形式不同 问题二：推荐实体不同
问题三：推荐需求不同
相关推荐
主题推荐
推荐需求
入场规则
时效性
多样性
AB实验
目录
• 推荐中台背景 • 推荐中台架构 • 推荐中台实践
问题一：推荐形式不同 问题二：推荐实体不同
问题三：推荐需求不同
• 业务对接效果
推荐闭环
用户 行为数据 实体数仓
算法 推荐池
引擎
推荐中台整体架构
爱奇艺 TO C 个性化用户触达系统
爱奇艺 TO C 短视频推荐触达系统
协同召回
• Item协同过滤 • 行为Embedding模型
热门召回
• 全局热门 • 区分用户群的热门
样本处理流程
排序
模型
监控
线性模型
离线评估
树模型
深度学习 模型
多目标模型 融合
产出校验
推荐中台内部架构：引擎
UI
一站式workflow配置平台
上线部署配置平台
AB实验配置平台
人工干预
融合控制
Root服务