爱奇艺分布式服务框架-Solar

合集下载

爱奇艺Key-Value数据库HiKV应用实践

爱奇艺Key-Value数据库HiKV应用实践
HiKV 是什么？
• 爱奇艺基于Scylla开发的Key-Value数据库
• Scylla : C++重写的Cassandra，高吞吐，低延时 • HiKV : High Performance Key-Value Database
• 特点
• 大容量：单集群百TB数据量 • 高负载：单节点10w+ QPS • 低延时：读写延迟 P99<10ms • 部署：多数据中心、在线扩容 • 最终一致性 • 查询缓存、物理备份、认证和授权
•PSYNC代替SYNC
2015年
3.0.5
•可以在从库读到过期 key的问题 •Sentinel+DNS 高可用
2016~2019年
3.2.7/9
2020年
5.0
•解决从库读到过期key的问题 •客户端分片SmartJedis •上线服务端Cluster集群 •Redis Cluster Proxy
CB5.1.1
•XDCR增加细粒度延迟监控，提前预知
XDCR同步异常
•上线JAVA动态客户端，实现集群级别故
障透明切换
•研发CB->HiKV同步
工具，实现快速数据同步迁移 •100%运维自动化，监控全覆盖（延迟监控，拨测监控）， 50%告警实现自愈
2020
CB6.0
•调研阶段 •Ephemeral buckets •多数据结构 •权限管理 •二级索引
•PSYNC2 部分同步 •异步删除 •Modules扩展 •主动碎片整理
适用场景： • 各个集群之间处理的数
据没有重叠 • 同一集群上不对同一个
key做并发修改

perfect 分布式 -回复

perfect 分布式-回复什么是分布式系统？分布式系统是由多个独立的计算机节点通过网络进行通信和协作的系统。

每个节点在分布式系统中扮演着特定的角色，可以共享资源和处理任务。

分布式系统的设计旨在提高系统的可靠性、可扩展性和性能。

为什么需要分布式系统？传统的单机系统在处理大规模数据和高并发情况下往往会遇到性能瓶颈和可靠性问题。

分布式系统通过将任务分割成多个子任务并在不同的计算机节点上进行处理，可以显著提高系统的处理能力和可靠性。

此外，分布式系统还能够更好地适应不断变化的业务需求和用户规模。

分布式系统的核心概念和技术是什么？1. 基础设施：分布式系统的基础设施包括计算机节点和网络。

计算机节点可以是物理机或虚拟机，通过网络进行通信和数据交换。

2. 数据一致性：在分布式系统中，多个节点可能对同一份数据进行处理。

为了确保数据的一致性，需要采用数据复制、锁机制、分布式事务等技术手段来保证数据一致性和可靠性。

3. 通信和消息传递：由于节点分布在不同的物理位置，节点之间需要通过网络进行通信和消息传递。

常用的通信模型有同步通信和异步消息传递。

4. 负载均衡：为了提高系统的性能和稳定性，分布式系统通常会采用负载均衡策略，将任务和请求分配给不同的节点，以充分利用系统资源并避免资源瓶颈。

5. 容错和容灾：分布式系统需要具备容错和容灾能力，以应对节点故障、网络故障等意外情况。

常见的容错技术包括冗余备份、备份恢复和故障检测。

6. 分布式存储：分布式系统需要能够支持大规模数据的存储和访问。

常见的分布式存储技术包括分布式文件系统、分布式数据库和分布式缓存。

7. 分布式计算：分布式计算是分布式系统的核心功能之一，它将任务划分成多个子任务并在不同的节点上并行处理。

常见的分布式计算框架有Hadoop和Spark。

分布式系统的优势和挑战是什么？1. 优势：- 提高系统的可靠性和性能：通过将任务分布到多个节点上，分布式系统可以达到更高的性能和可用性。

爱奇艺与PPS进入整合第二阶段

爱奇艺与PPS进入整合第二阶段作者：来源：《综艺报》2013年第20期10月16日，爱奇艺公司在北京召开“开启全新视界“品牌升级战略发布会，愛奇艺、PPS 全体高管悉数亮相，共同宣布旗下两大视频品牌、全面升级，并现场发布升级后的新品牌LOGO。

爱奇艺创始人兼CEO龚宇表示，目前公司整合已经进入第二阶段，即享受协同效应带来的回报。

品牌升级后，爱奇艺与PPS在整合资源提升效率的基础上，将更加注重双方各自的独立性与品牌差异化。

爱奇艺从主要定位于影视内容为主的长视频播放平台重新定位于综合性的新主流视频媒体，继续高品质综合视频服务；PPS则从定位于长视频的播放工具重新定位于提供丰富内容的视频娱乐平台，打造专业、丰富、友好的全视频娱乐平台和游戏娱乐平台。

据悉，目前两个子品牌正在根据各自优势整合打通C D N和P2P技术，云平台、大数据技术也在不断成熟。

（刘爽）腾讯视频接入微信支付扩盈利通道近日，腾讯视频宣布开通微信支付功能，并推出1元开通会员让利活动，试图借助新兴模式加速视频付费业务发展。

在腾讯视频接入微信支付后，用户可在腾讯视频好莱坞影院播放页通过扫一扫功能直接使用微信支付购买服务。

为培养用户付费习惯，10月12日至11月3日之间腾讯视频好莱坞影院将推出多项让利活动。

此次让利活动除了包括用户用微信支付1分钱看一部好莱坞大片，还有通过微信支付1元开通会员服务的优惠。

同时，在上述时间内的每周六、周日，腾讯视频将在广州的正佳、中华广场、天河城、百脑汇等四大Shopping Mall举办“金秋十月三重礼微信支付看大片”线下路演活动。

目前好莱坞影院拥有1400余部大片，近日，腾讯视频再次接入迪斯尼影视资源，包括迪斯尼旗下曾推出《复仇者联盟》的漫威电影工作室、打造《玩具总动员3》等多部奥斯卡金像奖热门影片的皮克斯工作室，以及出品《加勒比海盗》电影系列的华特迪斯尼电影工作室等王牌制作团队的作品都已经陆续登陆腾讯视频好莱坞影院。

叶炜晨：爱奇艺实时数据采集计算平台--Venus

爱奇艺实时采集计算平台—Venus4月22日视频网站“奇艺”正式上线6月23日推出“奇艺出品”战略11月26日品牌战略升级为“爱奇艺”11月2日爱奇艺成为百度的全资子公司5月7日爱奇艺与PPS合并提供更优质服务9月2日爱奇艺移动端流量首次超过PC端成为中国视频发展的标志性事件4月18日爱奇艺工作室战略启动7月17日爱奇艺宣布成立影业公司提出“爱7.1电影大计划”2月18日羊年春晚独家在线直播7月6日《盗墓笔记》全集上线60小时总播放量破10亿10月14日爱奇艺VIP会员品牌全面升级12月1日爱奇艺VIP会员突破1000万1月21日爱奇艺成为2015年中国市场热门非游戏类应用中收入最高的应用（App A nnie：《全球移动应用市场2015年回顾报告》）2月7日直播2016猴年春晚独家，除夕当晚总播放量突破4500万。

爱奇艺大事记2010201120122013201420152016月度覆盖人数NO.1月度浏览时间NO.1日均覆盖人数NO.1爱奇艺APP 核心指标行业领先l●爱奇艺移动端以2.69亿人的月度覆盖位列行业第一，总体占比高达56.7%，行业领先优势持续加大l●爱奇艺移动端凭借人均单日使用次数5.03次，成为视频用户首选之一(数据来源：艾瑞MUT，2016年1月)数据来源：艾瑞MUT，2016年1月数据来源：艾瑞MUT，2016年1月数据来源：艾瑞MUT，2016年1月移动端数据爱奇艺腾讯视频优酷乐视视频搜狐视频PPTV网络电视土豆网风行视频芒果TV凤凰视频日均覆盖人数（万人）9,798.87,699.74,336.12,684.41,245.0856.4749.4236.2192.2108.6爱奇艺腾讯视频优酷乐视视频搜狐视频PPTV网络电视土豆网芒果TV风行视频响巢看看月度覆盖人数（万人）26,929.819,708.614,322.47,925.15,359.03,211.32,657.61,428.41,205.8610.6爱奇艺腾讯视频优酷乐视视频搜狐视频土豆网PPTV网络电视风行视频响巢看看芒果TV月度浏览时间（万分钟）15,900,799.29,766,737.79,543,680.93,654,261.02,755,628.31,712,527.51,201,895.0450,522.9135,986.1101,118.8目录•爱奇艺大数据平台发展和背景简介•实时采集计算平台解决的问题•实时采集计算平台的功能架构•技术细节解析•总结和体会自我介绍•上海交通大学计算机系硕士•2013年加入爱奇艺云平台•2014年负责爱奇艺HBase业务•2015年起负责爱奇艺实时计算相关业务一，爱奇艺大数据发展和背景简介爱奇艺大数据平台发展历程2013Hadoop/MapReduce 上线HBase/Hive 上线2014Spark 上线Kerberos o n H adoop 上线2015Spark/MapReduce o n Y ARN 上线2015Spark S treaming 上线2016Workflow SQL …爱奇艺实时计算发展历程2013Storm S tandalone 上线2014Spark S tandalone 上线2015Storm o n M esos 上线Spark o n Y ARN 上线2015Spark S treaming o n Y ARN 上线2016Spark S treaming S QL 上线爱奇艺大数据系统框架Kafka Spark StreamingSpark MapReduce Flume Storm HDFSHBase Hive Batch 计算数据源流计算数据源YARNMesos 大数据业务需求Elasticsearch资源调度计算框架数据爱奇艺实时采集计算平台VenusKafkaSpark Streaming Flume流式数据源实时大数据分析解决方案ElasticsearchKibanaStreaming S QL 源码改造泛化整合iQIYI Venus实时采集计算平台Venus 解决的主要问题是-‐-‐分布式日志数据的实时分析二，实时采集计算解决的问题实时采集计算要解决的问题单机程序在集群的场景下，对日志的收集处理变成了一个绕不过的难题一台机器双机互备两台机器负载均衡三台机器集群支持横向扩容互联网时代的服务架构变迁集群中日志的处理分析•传统日志处理手段cat xxxxx.log | g rep XXXX | grep XXXX | sort xxxx……. ??机器数量多每天日志总量大近实时的查询日志需求然而，旧时代处理单机日志的方式已经不能处理集群上的日志互联网公司的日志处理需求1实时统计分析23快速故障定位实时日志报警实时统计指标，绘制实时报表传统方案的grep xxx | w c-‐l , z abbix 定制脚本等快速查询检索，定位指定日志产生的位置相当于传统方案的grep/find根据实时日志统计和检索的结果报警传统方案zabbix 定制化脚本Venus在爱奇艺在爱奇艺，Venus平台接入的数据范围涵盖播放生产存储会员支付用户账户播放记录安全风控峰值支撑日志流量：超过百万条每秒三，实时采集计算平台的功能架构爱奇艺实时采集计算平台Spark S treamingStreaming S QL机器1agent机器2机器3机器4机器5agentagentagentagentKafkaFlume中间层ElasticsearchWebUIHDFS/HBase实时统计报表实时报警实时查询定期任务冷备数据地图其他业务复用客户端Agent选型机器1agent 机器2机器3机器4机器5agent agent agentagent•Agent：基于Apache F lume 1.6.0 改造开发的客户端•选型理由：1，Java源码更灵活，易于二次改造，2，和Kafka，Spark等集成良好Source channelSink缓冲池选型•Apache K afka: 大吞吐，高容错，高稳定性的开源分布式消息系统•选型理由：Kafka 1，吞吐量大，单机QPS高2，和Flume，Storm，Spark等集成稳定。

爱奇艺pcdn协议原文

爱奇艺pcdn协议原文（实用版）目录1.爱奇艺 pcdn 协议简介2.爱奇艺 pcdn 协议的工作原理3.爱奇艺 pcdn 协议的优势4.爱奇艺 pcdn 协议的应用场景5.爱奇艺 pcdn 协议的未来发展正文1.爱奇艺 pcdn 协议简介爱奇艺 pcdn 协议，全称爱奇艺点播内容分发网络协议，是爱奇艺公司自主研发的一种点播内容分发网络协议。

该协议主要应用于爱奇艺视频平台的内容分发和服务，能够有效提高用户观看视频的体验，提升视频加载速度，降低视频播放过程中的卡顿和缓冲次数。

2.爱奇艺 pcdn 协议的工作原理爱奇艺 pcdn 协议的工作原理主要基于分布式缓存和负载均衡技术。

具体来说，当用户请求观看某个视频时，爱奇艺 pcdn 协议会在全球范围内的节点服务器上查找该视频的缓存副本，并根据节点服务器的负载情况、用户地理位置等因素选择一个最佳的服务节点，将视频内容分发给用户。

3.爱奇艺 pcdn 协议的优势爱奇艺 pcdn 协议具有以下几个优势：（1）提高视频加载速度：通过在全球范围内的节点服务器上缓存视频内容，用户可以就近获取视频数据，有效缩短视频加载时间。

（2）降低视频播放过程中的卡顿和缓冲次数：爱奇艺 pcdn 协议能够根据用户的网络状况和节点服务器的负载情况，实时调整视频码率和分发策略，保证用户观看视频的流畅性。

（3）提高内容安全性：爱奇艺 pcdn 协议可以对视频内容进行加密传输，防止非法盗链和盗播，有效保护爱奇艺视频平台的内容安全。

（4）灵活扩展性：爱奇艺 pcdn 协议支持多种网络协议和传输方式，可以根据业务需求进行灵活扩展和调整。

4.爱奇艺 pcdn 协议的应用场景爱奇艺 pcdn 协议主要应用于以下场景：（1）在线视频平台：爱奇艺 pcdn 协议可以为在线视频平台提供高质量的视频分发服务，提升用户体验。

（2）直播业务：爱奇艺 pcdn 协议可以应用于直播业务的内容分发，实现直播内容的低延迟、高流畅度传输。

2023年爱奇艺主要剧集、综艺工作室及代表作报告模板

4.《偶像练习生》、《创造营》等节目挖掘和培养娱乐人才除此之外，综艺工作室还制作了许多其他类型的综艺节目，如《偶像练习生》、《创造营》等。这些节目通过不同形式，挖掘和培养新一代的娱乐人才，满足了观众对于娱乐资讯和新鲜事物的需求。
综艺工作室的快乐无边如何体验
综艺工作室创意无限，快乐无边综艺工作室的创意无限,快乐无边
综艺工作室的快乐无边
02
The endless joy of a variety studio
综艺工作室及代表作
1.综艺工作室：创意娱乐的引领者综艺工作室是一个在娱乐产业中具有重要影响力的制作公司，其作品在国内外广受欢迎。其核心团队由一群充满创意和热情的媒体人组成，他们致力于打造独特的节目，让观众在娱乐中获得快乐。
综艺工作室：《快乐大本营》、《奔跑吧兄弟》等综艺工作室是一个充满创意和活力的团队，致力于创作出令人欢笑、感动和思考的综艺节目。他们的代表作品包括《快乐大本营》、《奔跑吧兄弟》和《极限挑战》等。
综艺无限创意，明星与大众共绽放首先，综艺工作室的创意无限体现在他们的作品中。他们不仅善于挖掘明星嘉宾的潜力，也善于发现普通人的闪光点。他们以独特的视角和创新的思维，将各种元素融合在一起，创造出令人耳目一新的综艺节目。
3.《奔跑吧兄弟》：国内真人秀代表作，推广综艺制作方法另一部代表作是《奔跑吧兄弟》。作为国内最受欢迎真人秀节目之一，《奔跑吧兄弟》不仅展示了明星们的实力和个性，同时也传达了团队精神和健康生活方式的重要性。这部节目为综艺工作室带来了广泛的声誉，也使得节目制作和拍摄方法在业界得到推广和应用。
4.综艺工作室推热门节目，如《向往的生活》、《极限挑战》等，创意无限，欢乐无穷除此之外，综艺工作室还推出了众多其他备受关注的节目，如《向往的生活》、《极限挑战》、《我们的师父》等。这些节目以各自独特的方式展现了综艺工作室的创意和才华，为观众带来了无尽的欢乐。

sdvoe 分布式 -回复

sdvoe 分布式-回复什么是sdvoe 分布式?SDVoE是指软件定义视频传输以太网，这是一种新兴的技术和标准，旨在通过基于以太网的体系结构实现高质量、无延迟、零损失的视频传输。

SDVoE旨在通过将视频信号分割为流和数据包，然后通过网络将其传输到目标设备，实现高清视频和音频的分发和显示。

分布式是指系统中的每个组件都运行在不同的物理设备上，这些设备可以是计算节点、存储节点或其他资源节点。

分布式系统通过网络进行通信和协作，以实现整体系统的目标和功能。

在SDVoE中，分布式体现在视频和音频信号被分割为流和数据包，然后通过网络进行传输和处理的过程中。

那么，SDVoE分布式是如何工作的呢？首先，SDVoE系统将视频信号转换为视频流和音频流。

视频流格式可以是HDMI、DisplayPort等常见的视频信号格式，而音频流可以是PCM、Dolby Digital等音频格式。

然后，这些信号流通过网络传输到目标设备，传输过程中可以进行压缩和编码以减少数据传输量。

在目标设备上，SDVoE系统接收到流并进行解码和分发。

解码将视频和音频信号还原为原始格式，然后分发到显示器、音响系统或其他音视频设备上进行播放。

在这个过程中，系统可以根据需要进行画面处理、音频处理和延迟控制，以保证最佳的观看和听觉体验。

整个传输和处理过程中，SDVoE系统需要具备高质量的网络连接和带宽支持。

这意味着要使用高性能的以太网交换机和网线，以确保信号传输的稳定性和可靠性。

此外，由于SDVoE系统具有分布式的特性，它可以根据需要进行灵活扩展和配置，以适应不同规模和需求的故障。

在SDVoE分布式系统中，还有一些关键的组件和技术。

其中，视频矩阵和音频矩阵是用于分发和路由信号的关键部分。

它们可以将输入信号分发到多个输出设备，也可以将多个输入信号合并到一个输出设备上。

此外，用于编码和解码的硬件和软件也是至关重要的。

它们能够将原始信号转换为流，并在目标设备上还原为原始格式。

爱奇艺SWOT分析

爱奇艺SWOT分析
4 In Dream
目
录
爱奇艺简介
爱奇艺SWOT分析
爱奇艺-简介
爱奇艺SWOT分析——S
爱奇艺内容优势（重合度）
从此数据可看出，若客户采用“优酷+其他网站“的投放方式时，爱奇艺与优酷的重合比例最低优酷Biblioteka 18.63%爱奇艺
优酷
32.63%
土豆
优酷
24.61%
搜狐
普维投资(普罗维登斯)
网站定位明确
爱奇艺SWOT分析——W
爱奇艺起步时间晚
视频网站成立时间
乐视网
56网土豆网酷6 优酷网搜狐视频爱奇艺
2004年
2005年 2005年 2006年 2006年 2006年 2010年
腾讯视频
迅雷看看
2011年
2012年
数据来源：中国互联网络信息中心（CNNIC）2015.4.1-2015.6.30
爱奇艺SWOT分析——O
市场前景广阔
爱奇艺SWOT分析——T
您是否付费购买过视频网站的VIP会员？
数据来源：调查星《视频网站付费会员制调查》 /report/4545102.aspx
您不购买会员的原因是？
数据来源：调查星《视频网站付费会员制调查》 /rep现金流，其中中国七成以上的用户使用过综合搜索引擎获取视频信息综合搜索引擎是用明确
坚持“悦享品质（Always Fun, Always Fine）”
“悦享品质”四个字准确表达了爱奇艺高度追求品质的经营理念。作为国内首家倾公司之全力来做正版高清视频播放平台的爱奇艺，将从流畅的观映体验、高清的视觉效果、贴心的分享感受等多个方面将“品质”做到极致，满足用户 “悦享品质”的生活追求。

爱奇艺-CDN数据运维平台介绍

内容
• 整体架构 • 资源管理 • 数据平台 • 配置管理 • 智能调度
天工整体架构
智能调度配置管理
基础模块 CDN
监控管理
数据平台资产流程
CDN资源管理
资源池管理
服务器
• 上架部署 • 下架回库 • 服务状态
智能IDC
• 分布拓扑 • 服务属性 • 实时汇报
区域管理
• 运营商管理 • 大区管理
• 状态收集
• 服务所属App版本状态 • 服务器基础信息(硬件、OS等)
自动化部署
• 操作系统装机、系统初始化 • Puppet Agent
OS初始化 • 服务key 安装
• 视频、静态、调度等业务
服务部署 • 服务重启、回滚
• 配置同步
配置变更 • 配置回滚
CNC repo CT repo CM repo
...
天工Web (CMDB)
CDN 服务节点
配置任务管理
• 任务模块
• 任务拆分、状态查询 • 任务管理: 重试
• 核心任务
• 文件分发
• 分发特定文件到目标主机 • 流程可定义
• 服务、App部署
• Initialize：装机始化、硬盘初始化、bond等 • Deploy: 服务部署
IP库管理
• 服务化
应用拓扑
服务树管理
流程工单系统
流程工单系统
• 目标
• 承接所有运维操作 • 流程可灵活配置
• 设计: 基于角色的流程系统
• 元素: 状态、动作、角色 • 关联: 状态关联角色，角色关联动作，人员划分入角色 • 变迁: 动作触发不同状态的变迁 • 管理: 角色跟部门关联，由部门leader管理

爱奇艺的Java缓存之路,你应该知道的缓存进化史!

爱奇艺的Java缓存之路，你应该知道的缓存进化史！本文是上周去技术沙龙听了一下爱奇艺的Java缓存之路有感写出来的。

先简单介绍一下爱奇艺的java缓存道路的发展吧。

可以看见图中分为几个阶段:第一阶段:数据同步加redis通过消息队列进行数据同步至redis，然后Java应用直接去取缓存这个阶段优点是:由于是使用的分布式缓存，所以数据更新快。

缺点也比较明显:依赖Redis的稳定性，一旦redis 挂了，整个缓存系统不可用，造成缓存雪崩，所有请求打到DB。

第二、三阶段:JavaMap到Guava cache这个阶段使用进程内缓存作为一级缓存，redis作为二级。

优点:不受外部系统影响，其他系统挂了，依然能使用。

缺点:进程内缓存无法像分布式缓存那样做到实时更新。

由于java内存有限，必定缓存得设置大小，然后有些缓存会被淘汰，就会有命中率的问题。

第四阶段: Guava Cache刷新为了解决上面的问题，利用Guava Cache可以设置写后刷新时间，进行刷新。

解决了一直不更新的问题，但是依然没有解决实时刷新。

第五阶段: 外部缓存异步刷新这个阶段扩展了Guava Cache,利用redis作为消息队列通知机制，通知其他java应用程序进行刷新。

这里简单介绍一下爱奇艺缓存发展的五个阶段，当然还有一些其他的优化，比如GC调优，缓存穿透，缓存覆盖的一些优化等等。

有兴趣的同学可以关注公众号，联系我进行交流。

上面说的是爱奇艺的一个进化线路，但是在大家的一般开发过程中，第一步一般都没有redis，而是直接查库。

在流量不大的时候，查数据库或者读取文件是最为方便，也能完全满足我们的业务要求。

当我们应用有一定流量之后或者查询数据库特别频繁，这个时候就可以祭出我们的java中自带的HashMap或者ConcurrentHashMap。

我们可以在代码中这么写:但是这样做就有个问题HashMap无法进行数据淘汰，内存会无限制的增长，所以hashMap 很快也被淘汰了。

爱奇艺CDN运维平台实践

服务指标
单季度总任务数1.5W，操作设备次数2500W 次, 平均耗时41分钟, 首次任务成功率99%
效率提升
全网变更在1小时左右，基于通用代理服务解决连通性问题，效率提升近百倍
平台应用 – 设备管理
➢ 对接安全云堡垒机
l Step 1: 登录安全云堡垒机 l Step 2: 根据设备ID登录
Ø 对接Fast-Web、资产等平台实现WebConsole管理 Fast Web 资产平台调度平台
外部系统外部联动可视化、资产、调度、监控等多个系统
通用代理服务(Promise)设计
Ø 目标:
l 集群化: 自动探测发现集群所有的服务实例 l 高可用: 保证每个节点有3+可用代理 l 可扩展: 可以任意上线下线代理设备，自动摘除 l 智能路由: 自动探测最佳代理节点 l 接口简单: 支持HTTP、SDK方式使用 l 多协议: 支持控制流、数据流等场景的实时性和可靠性 l 模型:
技术创新，变革未来
爱奇艺CDN运维平台实践
目录
01 爱奇艺CDN概况 02 运维痛点分析 03 运维平台架构设计 04 平台应用&实践 05 总结&展望
01 爱奇艺CDN概况
数据增长趋势节点分层策略 CDN 节点特点
爱奇艺CDN数据增长趋势
CDN设备量增长8倍分布区域增长10倍带宽增长20倍
运维任务模型化、易上手、可交付、加快整体运
营迭代效率
谢谢聆听！
➢ 软件配置
l 配置任务状态不可控 l 连通性不可靠 l 日常软件、配置升级不可控 l 一些案例:
➢ 数据统计
l 实时性差 l 迭代效率低 l 开发繁琐
➢ 设备管理
03 运维平台设计

云架构实现和优化

爱奇艺刘文峰爱奇艺是一家具有媒体属性的科技公司•技术创新•云计算平台、HCDN技术、大数据智能分析平台、视频综合服务平台以及视频搜索引擎技术•构建了全球规模最大的混合视频网络HCDN，CDN网络节点总数逾500个，总服务带宽30Tbps •内容创新•爱奇艺具有中国最大的长视频版权内容库，总存量超过20P•据艾瑞数据统计，爱奇艺PC端、移动端的市场份额、用户量、活跃度均持续位居行业第一月度覆盖用户：3.3亿月度使用时长：35亿小时日均覆盖用户：1.4亿月度覆盖用户：3.64亿月度使用时长：22亿小时日均覆盖用户：6960万架构变迁自由市场基础设施平台化基础架构标准化•云•私有云为主，公有云帮忙•以开源软件为布，裁自研软件之衣•公有云提供弹性资源•端•组件标准化•云和端通讯协议化•语言•全公司编程语言统一化云技术的应用视频云收录、生产、发布、运营播放体验技术4K、HDR、杜比、VR 私有云IaaS、PaaS、中间件HCDN网络传输、分发、调度DC无感知的弹性计算平台调度引擎Marathon 容器管理负载均衡DNSContainer 配置更新scale 指令弹性计算资源池服务请求数据分析日志采集资源监控日志采集日志分析系统Container 日志采集Container 日志采集Container日志采集资源反馈新建节点流量导入流量导入晚十点更新剧集的瞬间涌入了超过100万并发视频播放会员弹性生命周期•基于Docker实现离线和在线资源灵活转换，最大化资源利用便利性自助式申请虚拟机创建Image，自动部署通过CI，自动发布Java或者Go应用推动业务向私有云迁移新业务存量业务基础架构应用层解耦•云架构的核心就是解耦•业务和运维的解耦•系统和软件的解耦•服务和服务之间的解耦解耦性能、可用性…解耦公共组件IaaS &中间件PaaS &公共服务编程语言代码Review 一致集成单元测试灰度上线拨测服务指标监测开发流程•规范开发流程•内部开源•工具云服务•全链路监控云和架构师•复杂性决定了架构师的重要性•云架构需要全面业务支商业模式技术持•云服务需要架构师的眼光，架构师需要云计算云架构师的思维运行效率产品逻辑IOCP -爱奇艺开放缓存计划（iQIYI O pen C ache P rogram）•节省了上网带宽，降低了网络拥塞•提高用户视频的播放流畅性，提高播放码率•提高PGC上传效率，加快从生产的视频的传播速度和生产能力request.iocp@ 申请IOCP接入。

爱奇艺风险中台的演进和实践

数据平台
更丰富的数据
优质生态用户安全感
生态治理
智能化
中台化
风控价值体系
平台
业务
有形
• 止损 • 解决方案 • 调用量级
两者之间
• 接入成本 • 人力成本
无形
• 潜在风险 • 商誉、舆情、监管风险 • 商业决策
谢谢
降本增效核心能力沉淀精细化运营指标大盘定制报表客诉闭环评价体系统一数据平台统一管理数据血缘场景化解决方案全面省心一站式接入统一标准自助运营中台互通智能决策体系新一代决策引擎分层决策场景vs定制风险自动驾驶小时级感知认知处置中台体系概览风险中台金融科技app矩阵各类中台账号会员用户增长内容生态账户保护会员权益保护营销反作弊拉新裂变保护渠道反作弊投票反作弊内容保护数据平台对外支撑运营平台对内支撑智能验证设备指纹深度定制信誉产品模型平台能力建设六大引擎产品赋能解决方案业务线金融反欺诈风险雷达决策api爱奇艺风险中台核心构建思路场景化解决方案一站式接入运营场景化解决方案覆盖11个风险场景累计对接500业务风险点会员拉新促活互动投票账号内容生态金融支付电商激活码基础安全反爬虫以业务为核心的全生命周期解决方案业务风险场景玩法风险程度安全渗透prgr风险评估风控调用处置手段业务限制应急预案接口加固风控建议易错项checklist联调预演压测跟进联调测试事前梳理恶意攻击事件量化资损止损情况评估整体防御效果风险复盘面向业务定制分析业务分析风控体系迭代业务玩法建议协作流程优化持续优化事后可定制实时离线策略云管端风险体系分层架构联防联控防控体系申请黑白测试名单查询日志定制报表客诉处理闭环自助运营攻击预警处置舆情情报预警应急预案值班模式监控报警事中业务方客诉处理闭环日志中心业务处理风控团队策略规则画像标签风险场景分组监控话术回复临时加白人工客诉加白t1监控置信风险原因的恶意投诉一线客服风控日志风控服务业务方业务请求用户投诉工单审批7天免审批风控相关的投诉风控置信原因业务临时加白转交风控的客诉误杀?时效性?量级?误伤率运营效率提升95以上业务复用解决方案规范化接入中台打通无感接入接入成本下降90耗时下降至小时级无故障客诉闭环降低客诉量级打扰95客诉当天解决率100中台互通业务方无感接入风控解决方案已支持数百个活动爱奇艺风险中台核心构建思路智能风控体系策略运营核心思路运营中心模型融合联防联控风险点分层设计全链路智能组合策略体系策略中心灰度配置策略配置场景配置评价体系灰度评价线上评价离线评价预上线评价深度分析报告输出关联分析团伙分析案件库案件复盘案件管理案件跟进数据客诉数据设备数据外部情报业务数据行为数据风险雷达根因分析异常检测事实呈现风险数据模型配置业务中心能力支撑关键能力风险决策客诉分析智能决策引擎查询引擎决策引擎模型引擎规则引擎场景引擎

DTCC2014：爱奇艺在Hadoop生态中大数据平台架构与实践-孙琦_IT168文库

Serve Server r
Storage Service
Add/Delete Add/Delete
案例 – 基于虚拟化Storm应用
• Storm – 实时广告故障分析
Redis Bolt A Kafka 集群 KafkaSpout Bolt B Openstack Bolt Output Dashboard
爱奇艺
• 成绩：2014年1月以来，爱奇艺PPS，已经连续2月日均覆盖、月度覆盖、月度时长和人均月度时长均排名第1。
爱奇艺
Agenda
• • • • • • 爱奇艺 Hadoop生态@爱奇艺部署架构运营问题相关开发
Hadoop生态@爱奇艺
• • • • • • 与2010年8月开始搭建，最初只有50台机器目前已经具有一定规模，且在迅速扩容多机房部署，专线互联涵盖Apache Hadoop生态的所有主要组件物理机集群与虚机集群共存的部署模式公共集群和专属集群共存的运营模式
Hadoop生态@爱奇艺
• 处理数据量：~20PB • 日处理Job数：100000+ • 服务项目组：搜索、广告、推荐、日志分析、BI等。 • 版本：CDH4.X 还没完全进入Hadoop2.0时代
Agenda
• • • • • • 爱奇艺 Hadoop生态@爱奇艺部署架构运营问题相关开发
– 定制监控系统
运营
• 审计
– 对项目组的资源使用进行货币化审计
运营
• 云路 – 统一运营入口
– 资产管理 – 服务自动化部署 – 服务监控 – 审计 – 报表
Agenda
• • • • • • 爱奇艺 Hadoop生态@爱奇艺部署架构运营问题相关开发

爱奇艺的营销模式分析之欧阳与创编

度第2学期《网络营销》课程作业爱奇艺商业模式分析1.爱奇艺企业介绍爱奇艺，中国视频行业领先者。

于4月22日正式上线，为百度旗下控股公司，秉承“悦享品质”的品牌理念，是国内首家倾力打造正版高清视频播放平台。

据调查分析，爱奇艺视频拥有中国最广大的青年用户群体，截止至今，已成功构建了包含电商、游戏、电影票等业务在内、连接人与服务的视频商业生态，引领视频网站商业模式的多元化发展。

2.爱奇艺的功能架构3.爱奇艺的商业模式3.1顾客细分(Customer Segmentation)客户细分是指根据客户属性划分的客户集合。

它既是客户关系管理（Customer Relationship Management，CRM）的重要理论组成部分，又是其重要管理工具。

它是分门别类研究客户、进行有效客户评估、合理分配服务资源、成功实施客户策略的基本原则之一，为企业充分获取客户价值提供理论和方法指导。

爱奇艺深知顾客细分的必要性，不是一味的在网上对已有顾客进行强力网络营销，而是将顾客细分为以下几种，具体为：a)爱奇艺的浏览者顾名思义，这个顾客群体，仅仅是利用爱奇艺这个平台观看某个他所需要的相关视频，并不是经常使用爱奇艺的用户，这一部分用户可以划分为潜在客户，通过对这一部分人的浏览记录，他们浏览过的视频分类，了解他们的偏好，便可以逐渐将潜在客户发展成为客户。

b)爱奇艺注册成员这一类顾客，相比浏览者，他们使用爱奇艺的频率更高，由此便知，爱奇艺一定是在某一方面吸引了他们，同样通过大数据分析，针对性的为他们推送相关视频，在广告时也可投其所好，这一部分客户有望发展成为会员。

c)爱奇艺注册会员这是三个顾客细分里等级最高的，也是爱奇艺要特别关注的，因为是会员，要提供会员服务，有一点我觉得爱奇艺做的还蛮不错的就是它的会员广告，仅针对会员提供的广告，有时也蛮符合一部分消费者兴趣爱好的，默默说一句，我也是爱奇艺的一枚会员成员。

d)PGC视频内容生产者制作专业视频上传到平台，平台会对其上传的视频内容进行严格的审核，然后靠专业的视频内容吸引用户，提升平台流量或用户粘性，进而拿到平台的分成。