MASS4.0系统产品介绍

2、媒体访问节点MAN主要职责功能
负责磁盘管理，包括磁盘故障监控，新增磁盘自动识别。 负责磁盘格式化处理。 负责磁盘恢复。 提供TCP文件访问接口，主要与LIBMAN和LIBMUN进行交互，完成文件内容的访问与 注入。 提供与其他MAN内容共享接口，可相互进行内容调度。 负责本地文件块管理，包括文件块添加、更新、删除等。
使用其它文件系统存储所有数据(如可以使用安全性很高的Raid5)。 接受各个媒体访问节点MAN的访问请求。
7、LIBMAN主要职责功能
为其它应用程序提供的访问组件。
第四部分 东方广视MASS4.0系统产品特点
MASS4.0系统产品特点-高性能
硬件环境配臵为24块(硬盘数量)*1T(单硬盘容量)的双Raid卡连 接的盘阵、8核INTEL XEON 55XX系列的CPU处理器、DDR3 1066MHZ的 32G内存组建的单机版媒体区域存储系统，且顺序写入磁盘数据约 50MB/s的情况下(满足40路时移电视注入需求)，即可实现随机并发读 、写的高性能特点。
第三部分 东方广视MASS4.0系统产品简介
MASS4.0系统产品简介
高性能高可靠性媒体区域存储系统4.0(简称为MASS4.0系统)是在 现有Fan3架构基础上进行机制上的修改使网络文件系统更具有高效性 和高可靠性，主要变动为文件存储在各个存储磁盘上，保证文件系统 信息更加安全可靠；另外通过读写分离机制将故障影响系数降到最低 ，一旦写故障，视频服务器读取操作不会受到任何的影响；将所有 MAN（MediaAccessNode）构建一个高速内容交换网络，当任何一个 MAN上磁盘故障或内容丢失，均可通过这个网络进行内容调度，提高 了故障的平滑处理。
3、媒体更新节点MUN主要职责功能
负责接收来自各种应用(如CDN、TRS、PVR等)通过LIBMAN接口集对媒体区域存储系 统的媒体访问，包括打开文件、更新指定文件块内容、获取文件信息等。 负责通过对媒体访问节点MAN的访问完成各种应用对媒体区域存储系统的访问。
MASS4.0系统产品简介
4、媒体恢复节点MRN主要职责功能
MASS4.0系统发展历程
3. FAN3版本特点介绍：
提出FAN3的主要目的是为了解决FAN2文件系统由于块的大小为512K，导 致读取磁盘性能的时间大多浪费在寻址上。基于此原因为了进一步优化 文件系统的性能而提出了FAN3的设计。 后期项目中准备试运营的产品。 在linux系统环境下设计适合自己产品的文件系统。 读取性能特点：硬件配臵24块(硬盘数量)*1T(单硬盘容量)的盘阵组建的 媒体区域存储系统的读取性能期望达到1000MB/s左右。 最大支持并发量性能特点：硬件配臵为8核CPU、32G内存的前期下，能够 稳定支持1000路并发用户同时点播，预计最大支持并发量为1000MB/s(文 件系统读取性能)*0.80(20%的富余带宽)*8(转换单位为位)/3.75Mb/s(片 源码率)=1700。 优缺点：优点是FAN3文件系统设计不再以条带512K做Raid0，而是一个4M 大小的块做 Raid0。这样就大大减少了磁盘性能浪费在寻址上的情况。 缺点是由于缓存的增大，提高了内存的压力。尽管FAN3文件系统进一步 提升了文件系统的性能，但是在设计的过程中没有充分考虑系统的安全 性、可靠性，忽略了系统中可能出现的灾难恢复、异常恢复、单点故障 等安全可靠性问题，需要在后期的版本中考虑并解决。
第二部分 东方广视MASS4.0系统发展历程
MASS4.0系统发展历程
东方广视研发的本产品已经3代，各版本特点如下 ： 1. FAN1版本特点介绍：
提出FAN1的主要目的是为了解决IO访问的优先级管理，因为系统本身对 服务读写的优先级没有考虑，在并发高峰期，会出现trs录制丢包以及 dbs读取超时的情况，基于此原因设计了FAN1网络文件系统。 目前项目中应用主要是本版本。 主要采用linux系统自己提供的文件系统。 读取性能特点：硬件配臵15块(硬盘数量)*750G(单硬盘容量)的盘阵组建 的媒体区域存储系统的读取性能基本保持在300MB/s左右。 最大支持并发量性能特点：硬件配臵为8核CPU、16G内存的前期下，能够 稳定支持480路并发用户同时点播，最大支持并发量为300MB/s(文件系统 读取性能)*0.80(20%的富余带宽)*8(转换单位为位)/3.75Mb/s(片源码率 )=512。 优缺点：优点是实现了IO访问的优先级管理；缺点在于使用了linux自身 提供的文件系统以及Raid策略，无法突破文件系统性能的瓶颈。
MASS4.0系统产品特点-高性能
1、媒体区域存储系统MASS4.0的高写入性能
使用媒体区域存储系统MASS4.0的视频服务器需要在满足推流存储IO需求 的同时，还要满足40路以上3.75Mbps码率时移电视内容的实时注入以及 完成内容分发部署等操作，由于时移电视是实时录制，因此需要在保证 推流IO需求同时还需要同时对存储IO写入有着性能需求，至少需要 3.75Mbps （每路时移电视码率）×40（时移电视总路数）÷８（位到字 节）＝18.75MByte/s（存储子系统实际IO同步写入能力）的写入能力。 考虑到系统还需要其他如VOD内容分发注入以及其他需求，因此视频服务 器应该至少要保证在满负荷播发并码流的同时具备超过50MByte/s的存储 IO写入性能。 通过测试，MASS4.0系统的磁盘文件写入速度基本能够稳定保持在 470MB/s左右到540MB/s左右，相比较以前xfs文件系统的磁盘文件写入速 度(一般在80MB/s左右)有了非常明显的性能提高。这样我们的媒体区域 存储系统更加能有利于VOD片源分发等其它业务的需求。
MASS4.0系统开发背景
基于存储系统本身需求的设计理念以及大型运营业务 拓展的进一步要求，我们需要设计一种适合自身VOD系统 的存储系统，不仅使存储系统性能能够大幅度的提高，也 能保证存储系统的安全性、可靠性，同时通过支持分布式 存储来节省运营商的成本，另外能够满足大规模并发用户 同时在线、提供用户实时性业务请求，并能满足运营商期 望通过低成本实现系统部署、业务运营和扩展的要求。东 方广视专门提出了适合公司产品自身特点的高性能高可靠 性媒体区域存储系统(MASS)4.0的设计方案。该系统在每 一个存储节点上实现分布式存储、动态raid管理、自动本 地数据调度、数据在线恢复、在整个网络节点上实现向中 央存储服务器的数据调度、系统对动态扩容提供支持。
MASS4.0系统发展历程
2. FAN2版本特点介绍：
提出FAN2的主要目的是为了解决FAN1文件系统由于使用了linux自身提供 的文件系统以及Raid策略，而无法突破文件系统性能的瓶颈。基于此原 因为了提高文件系统的性能而提出了FAN2的设计以提高文件系统的性能 。 过渡性产品(中途夭折)，并未投入项目运营。 在linux系统环境下设计适合公司产品的文件系统。 读取性能特点：硬件配臵16块(硬盘数量)*1T(单硬盘容量)的盘阵组建的 媒体区域存储系统的读取性能期望达到500MB/s左右。 最大支持并发量性能特点：硬件配臵为8核CPU、16G内存的前期下，期望 支持720路并发用户同时点播，预计最大支持并发量为500MB/s(文件系统 读取性能)*0.80(20%的富余带宽)*8(转换单位为位)/3.75Mb/s(片源码率 )=853。 优缺点：优点是解决FAN1文件系统由于使用了linux自身提供的文件系统 以及Raid策略，存在的系统性能的瓶颈问题，提高文件系统的性能。另 外将片源文件分布式存储，也提高了系统的安全性。缺点是FAN2文件系 统定义的块的大小为512K，由于块大小比较小，读取磁盘性能的时间大 多浪费在寻址上。
Web界面
MASS系统管理层
MRN MUN MAN
MMN MRN MUN MAN
MASS存储调度层
CSS中央存储系统
RSN
MRN MUN MAN 内容调度访问模块
MRN MUN MAN
UDP通信 TCP通信
MASS模块 需移植模块
该区域内的模ห้องสมุดไป่ตู้要求部 署与同台服务器
MASS4.0系统产品简介
高性能高可靠性媒体区域存储系统主要由MAN(Media Access Node媒体访问节点)、CSS(Center Store Server 中央存储)、 MMN(Media ManagerNode媒体管理模板)、MUN(Media Update Node媒 体更新节点)、MRN(Media Recovery Node 媒体恢复节点)、 RSN(Remote Scheduling Node 远程调度节点)、libMan(为其他应用 程序提供的访问组件)几个组件组成。
MASS4.0系统产品简介
媒体区域存储系统可以支持多种应用需要，通过媒体区域存储系 统提供的libman接口库，可以对媒体区域存储系统中的媒体文件进行 访问操作；通过媒体区域存储系统提供的libmun接口库可以将媒体内 容注入到媒体区域存储系统中，媒体可支持静态的VOD文件和动态的 时移节目内容等。 媒体注入时各种应用服务使用媒体区域存储系统提供的libmun接 口库时，可以配臵文件格式为动态还是静态格式，以及存储的RAID策 略，媒体区域存储系统中的MUN根据不同端口接收两种类型的媒体内 容，进行区别化处理。 媒体区域存储系统通过libman接口库对外提供媒体的访问，应用 服务通过libman与MAN进行媒体访问交互，当所请求的MAN不存在应用 所请求的媒体内容、或存储的内容故障时，MAN可以通过与其他MAN构 成的高速交换网络向其他存储该媒体内容的MAN进行索取，索取后通 过libman返回给应用服务，进而屏蔽了应用服务对媒体诸多因素的关 心。
MASS4.0系统产品简介
各个模块完成的主要职责功能如下： 1、媒体管理节点MMN主要职责功能
管理各个媒体访问节点MAN的磁盘管理。 管理文件，包括文件创建，文件块分配策略，文件删除等。 负责媒体访问节点MAN上的磁盘恢复。 负责媒体区域存储系统的媒体访问节点MAN的动态扩容。
MASS4.0系统产品简介
媒体区域存储系统主要由三部分组成，首先是由libman提供的媒 体区域存储系统内容访问的接口层；再者就是由MAN组成的集群构架 了媒体区域存储系统的内容存储调度层；最后就是由MMN提供的媒体 区域存储系统的设备、内容等的管理层。
MASS系统设计架构示意图
应用服务 CDN TRS MASS存储调度层 DBS MASS用户管理层
负责接收媒体管理节点发起的磁盘恢复任务。 负责根据磁盘上文件列表进行文件块的恢复。
5、远程调度节点RSN主要职责功能
媒体区域存储系统对外的文件块访问接口。 媒体区域存储系统中其它的媒体访问节点MAN可以通过远程调度节点RSN 对媒体区域存储系统中的文件块进行读取操作。
6、中央存储CSS主要职责功能
东方广视MASS4.0系统产品介绍
北京东方广视科技股份限公司
内容
1 2 3 东方广视MASS4.0系统开发背景 东方广视MASS4.0系统发展历程 东方广视MASS4.0系统产品简介
4
东方广视MASS4.0系统产品特点
第一部分 东方广视MASS4.0系统开发背景
MASS4.0系统开发背景
广电行业的VOD项目运营系统，存在视频媒体文件数量大、单个 视频媒体文件容量大、实时并发用户量大的特点，因此对存储系统的 性能要求就会很高。提高存储系统性能的传统解决方案是完全采用大 的盘阵存储，这样虽然能够存储大量的视频媒体文件，也能够保证存 储系统特定的读写性能要求，但是基于盘阵存储的Raid策略导致存储 系统的性能很难突破一定的瓶颈，同时存储系统的安全性、可靠性也 很难保证，另外每个视频播出服务器对应一套存储系统也会在一定程 度上增加运营商的成本。 目前东方广视VOD3.0视频点播系统业务已经在全国各地投入大规 模的实际运营，VOD视频点播业务用户量的不断增加，运营商对公司 服务器I/O能力、带宽、海量存储、部署成本等方面都提出了更高的 要求。