一种视频分发调度方法和系统技术交底书

一种视频CDN上可持续优化的内容调度方法和系统作者：郑叔亮版本：v1.0文档创建日期：2013年6月21日最后修改日期：2013年6月25日1．本发明要解决的技术问题是什么？视频内容分发网络（简称VCDN）是视频服务提供商交付大规模内容的核心基础设施。

通过建立强大的源服务中心和分布于各地的边缘服务节点，以及中间的多级协调节点，大型的VCDN系统已经可以覆盖上亿规模的用户并能够提供上千万的并发服务能力。

可服务的终端覆盖机顶盒、PC、手机、平板电脑等。

交付的内容也包括各种码率的视频，并支持直播、点播、时移、回看、nPVR等业务。

具有一定规模的VCDN系统所面临的一个重要且复杂的问题就是内容分发的调度问题。

这一问题之所以重要是基于如下原因：1.随着系统规模的扩大，成本控制越来越困难。

运营商不能一味地依靠增加节点和服务器来保障服务质量，否则系统采购和运维成本将增长得很快，这对于视频交付系统尤其明显，进而运营商就会面临亏损的风险。

因此需要通过合理的内容调度来避免不必要的硬件投资。

2.虽然CDN系统都带有比较强大的负载均衡能力，但均是一些被动的负载均衡方式，比如DNS、LVS等。

内容本身在CDN系统上的分布会在很大程度上决定负载的分布。

因此，主动地调度内容可以很好地增强系统资源利用的效果，从而进一步保障服务质量。

3.运营商会依据其市场营销策略，适时地推广一些内容吸引用户收看，以尽快将广告投入和版权投入变现。

因此，为了能够支持这些灵活的运营策略，就要求VCDN系统具备高效的内容分发调度的能力，把最合适的内容推送给距离目标用户最近的边缘节点，以便他们能够流畅地观看这些最热门的视频。

而分发调度问题的复杂性也恰好体现在以上三个方面（成本、服务质量、营销策略）之间天然的矛盾关系：首先，以控制成本为核心的运营方式必然会面临服务质量下降的挑战。

在投入受限的情况下还要尽量保障服务质量是一个重大的挑战。

其次，如果以保障服务质量为第一要务，那么如何规划增加节点或服务器，增加多少，在哪里部署，又或者是否租用第三方的服务等问题都直接关系到运营成本。

第三，这种对热门内容的推广实质上是一种人工的内容调度方式。

人工的方案很可能会对自动化的策略产生干扰和负影响。

总之，视频内容调度的难点并不在于数据传输技术（或者说可以由网络协议的研究者来改进），而是在于能够很好地调和上述三方面矛盾的调度系统和策略。

从目前商业和技术发展的状况来看，VCDN系统本身的架构在一段时间之内不会发生重大的变革。

因此，如何基于这一类模式的系统结构，给出一套能够持续优化的调度系统的架构模式和策略设计方法，并且能够很自然地融合自动化和人工策略，是本方案要解决的核心问题。

2．详细介绍技术背景，并描述已有的与本发明最相近似的技术方案视频内容分发调度是指按照既定的策略，将内容从一个节点分发到另一个或几个节点。

分发的方式主要有用户侧主动拉取和服务侧主动推送。

不论哪种方式都是将内容分发到离用户更近的地方，以提升用户服务质量。

目前已经有诸多内容分发调度相关的技术方案，主要分为如下几类：1.以单纯的用户侧内容拉取方式为主的调度方法，即边缘节点按需缓存。

这样的系统架构相对简单，系统整体运行效率易于保障。

2.在第一类方案的基础上结合人工主动分发的调度方法。

系统架构相对第一类方案稍显复杂，但基本还是比较简单和高效。

3.以保障用户服务质量为主要目标，设计服务质量数据采集和分析系统，指导内容分发策略的制定。

4.在以租用公共CDN服务为主的运营模式下（主要是一些自己不自建CDN的增值服务提供商），分析不同CDN服务的计费方式和服务质量保障能力，构建计费分析模型，可给出总成本最低的内容分布策略。

5.以P2P技术以依托的边缘节点之间、终端之间和边缘节点和终端之间的自动分发。

这样的方案能够有效节约带宽成本，并且在某些场景下提升服务质量（比如对热门内容的集中观看）。

3．以因果关系推理的方式推导出现有技术的缺点是什么？下面分别对上面提到的五类方案分析各自的不足：1.虽然架构简单且系统性能易于保障，但最大的问题就是服务质量难以管理和有效保障，尤其是在针对特定用户或特定内容进行服务质量保障的时候。

这种方案在保障服务质量方面的唯一措施就是增加服务节点或服务器，属于粗狂的运营方式，因此运营成本难以控制。

2.本质上和第一类方案相同，只不过可以在一定程度上人工干预内容的分布。

这对于视频内容消费行为比较稳定的用户群来说比较适用，但依然没有从根本上解决第一类方案在成本可控的情况下保障服务质量的问题。

3.第三类方案已经将重点转到了服务质量，但更多地强调是把各种技术融合到VCDN系统中，所导致的结果就是忽略对成本的控制。

做出的系统在技术上虽然先进，但成本高昂。

4.这一类方案是限定在一种特定的运营模式下而产生的。

这些服务提供商基本都是以OTT的方式运营视频服务。

他们更加关注的是成本，因此才会有这样的方案。

这种情况下，服务质量难以保障，或者要想保障高质量的服务，就不得不投入大成本。

虽然他们能在一定范围内优化成本，但不可能从根本上控制成本，因为他们都是租用第三方的CDN服务。

5.P2P虽然能够帮助节省带宽，但服务质量不可控。

理想条件下（即80%的用户收看的是20%的内容）P2P技术能够达到较好的效果，但由于市场环境和用户行为的不断变化（比如用户对于长尾内容的需求量增大），这种方案的灵活性不够，难以适应其它大多数条件，反而会造成资源的浪费。

4．本发明技术方案的详细阐述，应该结合流程图、原理图、电路图、时序图进行说明4.1 VCDN系统的架构CDN系统经过多年的发展，其架构已经趋于稳定。

VCDN系统同样如此。

图4.1所示是VCDN系统的典型架构，记为架构1。

图中实线表示数据流，虚线表示请求调用。

图4.1 架构1：VCDN系统的典型架构架构1包含3类模块：●M1. 源服务器：存储从内容源（一般是视频编码打包服务器）获取的视频内容，并通过主动（即M1向M2推送）或被动（即M2从M1拉取）的方式分发内容到M2。

在具体部署的时候，M1一般是许多服务器组成的集群节点，可存储全部的视频内容，作为视频运营的中心。

●M2. 边缘服务器：一般包括缓存服务器和推流服务器。

缓存服务器缓存M1分发的请求，以便推流服务器在接到用户请求的时候从缓存服务器直接获取内容来播出。

在具体部署的时候，M2一般是分散在各地的服务节点，每个节点包含少量的服务器，以响应一定区域内的请求。

●M3. 路由服务器：将用户请求路由到具有最佳服务质量的M2，以便合理地利用全网资源。

在运营VCDN系统的时候，主要有两大类过程。

一类是运营准备或内容准备过程，即图4.1中标注的P1到P4的过程。

另一类是运营过程，即图中R1到R3的过程。

在运营准备过程中，视频内容首先被注入到M1（P1），然后分发到需要内容的各个M2（P2）。

M3需要全面了解内容分布的请求，以及各个M2的负载情况（系统负载、缓存容量等），因此会从M1获取内容分布的数据（P3），从M2获取边缘节点状态的数据（P4）。

当然，在运营过程中，P4也会定期地执行，以便能够及时更新M2的情况。

终端设备首先会向M3请求视频（R1），M3给终端返回最佳的M2。

终端设备再向M2请求视频（M2），这样M2就可以为终端设备推送视频流了（R3）。

4.2 视频内容分发调度方法为了能够从根本上调和成本、服务质量和市场营销策略三方面的矛盾，本方案提出一种可持续优化的视频内容分发调度方法。

该方法充分评估成本、服务质量和市场营销策略对VCDN系统的意义和作用，抽象出一套解决方案模型，可根据技术和商业环境的变化灵活得出优化视频内容调度的解决方案，并且可以根据调度效果自动调整模型参数，从而实现持续优化。

在该方法的指导下，可以在架构1的基础上增加相应模块，实现具有可持续优化的视频内容分发调度功能的VCDN系统。

该方法可通过如下步骤来描述：1.依据服务质量模型，建立服务质量监测和度量的体系（参照4.3节）；2.依据成本模型，建立服务质量到系统成本的映射体系（参照4.4节）；3.依据内容分发模型，建立内容的服务质量和成本评估体系（参照4.5节）；4.依据3给出的结果以及既定的运营策略，生成可自动化执行的内容分发调度方案，即将哪些内容分发到哪些节点，并替换哪些内容（参照4.5节）。

5.执行方案之后重复步骤1。

以上步骤可以形成一个良性循环。

每隔一段时间（少则一个小时，多则一天）调整一次内容分发方案，可以动态地保持系统的服务质量，并且可以充分利用系统资源，以节约成本。

4.3 服务质量模型服务质量由四个方面组成：●内容的可用性：即凡是用户可以浏览到的，且在用户权限范围内的内容都应该可以被该用户消费。

如果用户不能正常地访问合法且已授权的内容，那么服务的可用性就出现了问题。

对用户内容的授权一般不是在CDN系统中执行的，因此通过路由之后的用户访问请求都是合法的。

这样，在VCDN系统上，对可用性的度量就可以聚焦到M2模块是否能够完全服务所有的用户请求，从而可以用一段时间内完成服务的次数与请求服务的次数的比例来度量，记为QoS_A。

●响应性：即服务响应用户请求的时间。

这段时间的组成可能会比较复杂，既包括鉴权的时间，也包括请求路由和推流的时间，甚至还可能有获取密钥解扰视频流的时间。

其中，请求路由和推流的处理时间才是VCDN系统范围内的。

因此，可以在M3接收到用户请求的时候为其打上起始时间戳，在M2响应用户请求之后再打上截止时间戳。

我们可以用一段时间内所有请求响应的时间段的平均值作为VCDN系统的响应性度量，记为QoS_R。

●连续性：即用户在收视过程中是否存在播放中断的情况。

度量连续性最直接的方式是在客户端统计单位时间内因接收数据不够而导致暂停或缓冲的次数。

但这样就会对客户端有强制的要求。

也会增大收集统计数据的困难。

因此，本方案采用监控M2推流的吞吐量和相应内容的码率来间接地实现。

即如果发生单位时间内（比如1秒或10秒）的吞吐量小于码率的情况，那么就认定是发生了中断。

可以用一段时间内所有请求的中断次数的平均值来度量服务的连续性，记为QoS_C。

●视频质量：可以用交付视频的码率来评估。

通常情况下高码率的内容视频质量就高。

但对于不同终端设备来说，视频质量的意义是不同的。

比如对于小屏幕的移动终端，1Mbps左右的码率就可以达到非常不错的视频质量，而对于大屏幕的电视来说，6Mbps以上的码率才可能达到很好的视频质量。

所以，为了便于评估，有必要采用统一的度量方案，可以将视频质量划分等级，比如超清、高清、标清、流畅，而同一种等级对于不同的终端标准不同。

这里将一段时间内各个等级的百分比作为视频质量度量的方法，记为QoS_Q。

全面掌握了服务质量之后，就需要将服务质量和系统资源的消耗关联起来。