全台网络化制播体系媒体数据存储架构和数据流向规划及其实现方案
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
全台网络化制播体系媒体数据存储架构和数据流向
规划及其实现方案
FC导向
成制播业务系统内部以及与其他业务系统之间的数据交换,为应用业务系统提供综合业务支持。
众所周知,相对于其他媒体而言,电视节目生产业务汇集了大量而丰富的媒体数据,其生产流程实际上是对这些媒体数据进行适配业务管理需求的加工处理过程。
因此,在网络化工作模式下,如何对电视台节目制播业务中规模巨大的媒体数据的存储和流向进行全局性的科学、合理规划,以满足业务和技术层面的共同要求,直接关系到该系统架构的应用效果。
一全台网络化制播体系媒体数据存储
架构设计和数据流向说明
1. 全台网络化制播体系整体架构说明
近年来,为适应日益激烈的媒体竞争环境,如何加强运
2. 媒体数据存储架构和数据流向说明
通过以上对全台网络化节目制播体系架构的描述可以看出,其主要特征表现为互联互通、业务整合以及协同工作。
而在互联互通实现中,一方面通过各种标准、规范和互联方法的约束,实现各业务系统之间应用接口层面的互联互通;另一方面则需要通过对全局性存储结构进行科学、合理的设计和规划,以及对业务系统内部以及跨业务系统交换的媒体数据的规模和流向进行全面、细致的梳理和导向,以保证在物理链路和数据交换层面实现互联互通。
应用接口层面的互联互通将在另文阐述,本文将在全台互联互通、业务整合以及协同工作的项目背景下,重点讨论媒体数据的存储结构与数据流向。
48
现代电视技术
20XX年.10
1
全台网络化制播体系架构
以往的设计案例中,存储结构自身是紧密依附于业务系统的,其规划也往往采用这种模式。
即使是的实现案例中,也经常缺乏对存储结构的整体性设计和规划。
这种模式在广泛互联互通的项目背景下,其局限性是显而易见的。
只有从存储产品选型、软硬件配置和互联交换的综合角度出发进行全局性的规划,才能真正满足项目需求。
如图2 所示,全局性存储架构规划在整体上采用层次化、独立运行、层间交换的设计思想,以存储域作为区域划分的基本单位。
与业务功能域相对应,分为制作、媒资和播出三个基本存储区域。
在存储规划过程中,首先对各存储区域中的存储架构进行逻辑层面的定义和设计,然后再统一考虑物理层面的整合和选型。
因此,图2 中的存储容器并不代表具体存储实体,而是按照业务数据存储类型进行划分的逻辑存储池,具体存实体可根据业务功能域相应业务系统的设计而灵活规下面将说明存储区域的组成与作用,以及它们之间的数流向。
(1)制作存储区域如图 2
以往的设计案例中,存储结构自身是紧密依附于业务
系统的,其规划也往往采用这种模式。
即使是的实现案例中,也经常缺乏对存储结构的整体性设计和规划。
这种模式在广泛互联互通的项目背景下,其局限性是显而易见的。
只有从存储产品选型、软硬件配置和互联交换的综合角度出发进行全局性的规划,才能真正满足项目需求。
如图2 所示,全局性存储架构规划在整体上采用层次化、独立运行、层间交换的设计思想,以存储域作为区域划分的基本单位。
与业务功能域相对应,分为制作、媒资和播出三个基
本存储区域。
在存储规划过程中,首先对各存储区域中的存储架构进行逻辑层面的定义和设计,然后再统一考虑物理层面的整合和选型。
因此,图2 中的存储容器并不代表具体存储实体,而是
按照业务数据存储类型进行划分的逻辑存储池,具体存
实体可根据业务功能域相应业务系统的设计而灵活规
下面将说明存储区域的组成与作用,以及它们之间的数
流向。
(1)制作存储区域
如图2 所示,制作存储区域由分属于各自业务系统的
闻在线一级存储、体育在线一级存储、非新闻类在线一级储、演播共享在线存储组成,整体形成制作存储域生产资库,用于存储节目生产过程中产生的节目和素材。
其中非闻类在线一级存储包含了普通编辑一级存储、深度编辑一存储、包装合成一级存储三个组成部分。
制作存储区域内部以及与其他存储区域之间存在各种
型媒体数据的流动,下面以新闻在线一级存储为例予以说向本存储中流入的媒体数据包括:来自媒资存储区域中新扩展二级存储区、新闻归档节目区
资历史资料区、素材收录区的素材/
料;来自本存储域中自身以视音频
号方式上载、演播室共享在线存储
录制的素材。
从本存储中流出的媒
数据包括:去往媒资存储区域中新
扩展二级存储区、新闻备份存储区
闻归档节目区、新闻播出节目区、媒
历史资料区的节目/ 素材。
(2)媒资存储区域
如图2所示,媒资存储区域按照
体资料分级存储的方式,由媒资在
近线/ 离线存储和收录在线存储组
其中收录在线存储作为收录媒体数
的暂存空间,其存储数据一部分会
发到媒资存储中、另一部分会分发
制作存储中。
所以,在存储区域划
中,把收录在线存储作为媒资存储
域的一个组成部分。
在媒资存储域中,根据不同的
务功能,可划分为不同的子存储区
过对子存储区的逻辑归类和聚合,
成媒资生产资料库、媒资历史资料
和总编室节目备播库等该区域内的
个主要存储库。
如图3 中所示,由新闻二级存
区、体育二级存储区、非新闻类二级
储区组成媒资生产资料库,上述二
3
媒资存储区域规划
2
全台网络化制播体系存储架构与数据流向
术1. 媒体数据交换链路结构在媒体数据交换链路的设计中,在仔细分析交换数据规模、稳定性和时效性要求等相关因素后,采用以FC 交换导向器方式为主的网络结构。
根据本项目业务规模,并参考设备测试数据以及前期设计、实施、运行经验,决定采用以单层
术
1. 媒体数据交换链路结构
在媒体数据交换链路的设计中,在仔细分析交换数据规模、
稳定性和时效性要求等相关因素后,采用以FC 交换导向器方式为主的网络结构。
根据本项目业务规模,并参考设备测试数据以及前期设计、实施、运行经验,决定采用以单层FC 网络结构为主,大规模站点接入高端口密度FC 导向器、少量站点接入级联FC 交换机的方式,以稳定可靠、灵活机动的网络架构模式满足制播网络系统对数据交换的综合要求。
在FC 导向器规划中分为两个基本类型:技术支持平台FC 交换导向器和应用业务系统FC 生产导向器。
前者主要完成各业务系统之间的媒体数据交换任务,后者主要完成业务系统内部的在线编辑、上下载等工作。
这样,以不同类型、专存储区均包括扩展存储区和备份存储区两个组成部分,作为制作生产资料库的有效补充和动态扩展。
由新闻归档节目区、体育归档节目区、非新闻类归档节
目区、媒资历史资料区以及媒资近线存储区、媒资离线存储区组成媒资历史资料库,存储需要归档的节目/ 素材。
由新闻播出节目区、体育播出节目区、非新闻类播出节
目区、总编室上载播出节目区以及总编室近线存储区、总编室离线存储区组成总编室节目备播库,存储待播/ 已播节目。
媒资存储区域中的近线存储区和离线存储区在物理设备层面由媒资历史资料库和总编室节目备播库共用。
根据收录内容类型和应用范围,收录在线存储由播出节目监录区、素材收录区组成。
媒资存储区域内部以及与其他存储区域之间存在各种类型媒体数据的流动,下面以媒资新闻在线存储为例予以说明。
向本存储中流入的媒体数据包括来自制作存储域中新闻一级在线存储的素材/ 节目。
在本存储内部流动的媒体数据包括:由新闻二级存储区流向媒资历史资料区的素材,由媒资近线存储区回迁到媒资历史资料区和总编室播出节目区的素材/ 节目。
从本存储中流出的媒体数据包括:去往播出存储域中播出二级存储的播出节目;去往本存储域中媒资近线存储区、总编室近线存储区的素材/ 节目;去往新闻一级在线存储的素材。
(3)播出存储区域
播出存储区域由播出二级存储、播出服务器本地存储组成。
播出二级存储用于存储从总编室节目备播库送播的节目,同时支持紧急上载的播出节目,是播出服务器本地存储的缓冲。
播出服务器本地存储用于存储播出节目。
播出存储区域内部以及与其他存储区域之间存在各种类型媒体数据的流动,下面以播出二级存储为例予以说明。
向本存储中流入的媒体数据包括:来自媒资存储域中的播出节目/ 广告,来自本存储域中自身紧急上载的节目。
从本存储中流出的媒体数据包括:去往本存储域中播出服务器本地存储的播出节目。
门设置的导向器来应对不同的业务需求,根据数据交换类型简化了数据流向。
如图4 所示,整个FC 网络包括了平台交换导向器和应用生产导向器/ 交换机。
各应用系统之间的数据迁移通过交换导向器完成,各应用系统生产导向器或交换机是其内部工作站访问存储的路由。
应用系统存储体同时连接到平
二全台网络化制播体系媒体数据交换
解决方案
通过以上媒体数据存储架构和数据流向的规划,建立起
全台制播网络系统媒体数据交换的基本模型,为媒体数据交换解决方案的制定奠定了理论基础。
下面我们将以北京电视台新电视中心技术系统建设为项目背景,从交换链路结构和交换服务配置两个层面说明数据交换的实现手段和解决方案。
台交换导向器和本系统生产导向器/ 交换机。
交换导向器、生产导向器/ 交换机均成对配置,以保证可用性并分担负
载。
主干平台以及应用系统内部的工作站/ 服务器负载均衡地接入两台导向器/ 交换机。
对于演播共享和收录网络系统,由于地点分散较远且FC 接入规模不大,所以采用
50
现代电视技术
20XX年.10
4
媒体数据交换FC 网络架构
FC 交换机级联至交换导向器的方式来与各个网络进行数据交换。
上述媒体数据交换结构具有诸多鲜明特点和优势:● 高效的接入集成能力:每台FC 导向器可提供多达256端口的接入能力,为扁平化的网络结构设计提供了可行性;● 灵活的接入扩展能力:每台FC导向器的接入规模可以随需配置和扩展,且在扩展过程中可实现无缝操作;● 分布式的Fabric 结构:具备良好的故障隔离能力,极大地降低了应用系统之间运行状态的相互影响;
FC 交换机级联至交换导向器的方式来与各个网络进行数
据交换。
上述媒体数据交换结构具有诸多鲜明特点和优势:
● 高效的接入集成能力:每台FC 导向器可提供多达256
端口的接入能力,为扁平化的网络结构设计提供了可行性;
● 灵活的接入扩展能力:每台FC导向器的接入规模可以随需配置和扩展,且在扩展过程中可实现无缝操作;
● 分布式的Fabric 结构:具备良好的故障隔离能力,极大地降低了应用系统之间运行状态的相互影响;
● 扁平化的网络结构:减少数据交换的级联层数,有效简化系统结构的复杂程度,降低了设备相关性、保证了运行高效性;
● 专用的跨系统交换通路:通过单一业务类型数据交换通路的整合,提高了交换效率和运行稳定性;
● 坚固的核心部件:单一导向器提供的可用性最高达
99.999%,在配置全冗余部件的情况下不存在单溃点,与扁平化的网络结构相结合保证了系统运行的整体可用性。
上述媒体数据交换结构的最突出特点在于采用分布式、扁平化的应用系统FC 结构与专用跨系统FC 交换通路相结合的模式,既有效解决了应用系统内部大规模数据交换的需求,又重点实现了应用系统之间数据交换的关键功能。
采用这种模式,所有的跨系统数据交换可以统一、专门规划,在运行过程中与系统内部数据交换并行进行、互不影响。
这就有效保证了两种不同性质数据交换需求的理想实现。
在近年来全台网络化制播体系设计时,一般采用FC路由模式综合解决应用系统内部和跨系统媒体数据交换问题,如图 5 所示。
间数据交换时,容易形成系统瓶颈。
在本项目中网间数据
换设计能力达到10TB/ 天以上的级别,这样的需求规模对FC 路由模式而言是难以满足的。
除上述FC路由模式外,通常也存在采用以太网交换模
来解决媒体数据交换问题的实现案例,即通过单一以太网
次化结构同时实现管理控制信息、节目元数据和媒体数据
换功能,如图6 所示。
在此以太网交换模式下,由于所有数据类型与业务交
需求均通过单一网络链路实现,链路负载的业务复杂且业
之间的相关性较强,导致对每项业务而言,其执行效率和
务质量难以保证,同时给设计规划、系统扩展和运行维护
带来了较大的复杂性和执行难度。
综上所述,本项目规划模式与传统FC 路由和以太网
换模式相比,在执行效率和运行稳定性方面具有明显的
势。
当然,天下没有免费的午餐,在具备上述优势的同时势必付出一定代价。
首先,由于需要建立专用的跨系统交通路,导致对交换设备和存储体的需求提高。
本模式需要置专用的FC 交换导向器,且需配置专门的存储端口用于间交换。
目前大多数适用存储设备只能提供最多8 个存储口,而建立专用交换通路需要在存储设备上单独划分至少个端口分别连接到负载均衡和高可用配置方式下的交换导器上。
这样,势必减少应用系统内部的存储使用带宽,从在一定程度上影响了其站点支持能力。
其次,配置在交换向器上的公共迁移服务需要访问到所有存储设备,受到W dows 盘符、SAN 网络协议的限制,给服务配置方面造成一定的困难。
在此模式下,网间数据交换通过FC 路由器进行,虽然可
以在一定程度上降低各系统之间运行状态的互相影响,但隔离性能较差、不确定性较强,系统之间的运行相关性仍然无法忽视。
另外,由于FC 路由器的负载能力较低,在大规模网考虑到本项目庞大的系统和交换规模对运行效率和稳
性的需求十分强烈,综合权衡之下本模式的优势还是非常显的。
同时,针对本模式的问题,可以通过合理的技术手和控制机制予以解决或通过配置优化将其负面影响降至可5
FC 路由模式网络架构
6
以太网交换模式网络架构
术受范围之内。
此外,随着技术和应用的不断发展,媒体数据交换模式也在不断的改进和完善,单一网络交换模式和混合网络交换模式成为技术方案的多样化选择,需要根据不同的应用场景和业务需求进行综合分析以确定最终适配的模式。
置,且在任务分配上负载均衡。
(1)服务配置原则● 以各应用系统
在线存储为核心、针对不同业务类型和典型流程,对迁移术
受范围之内。
此外,随着技术和应用的不断发展,媒体数据交换模式也在不断的改进和完善,单一网络交换模式和混合网络交换模式成为技术方案的多样化选择,需要根据不同的应用场景和业务需求进行综合分析以确定最终适配的模式。
置,且在任务分配上负载均衡。
(1)服务配置原则
● 以各应用系统在线存储为核心、针对不同业务类型和典型流程,对迁移/ 转码服务器进行分组配置;
● 所有迁移/ 转码服务分组所支持访问资源的合集可覆
盖本项目涉及网络共享资源的全部;
● 每个迁移/ 转码服务分组中的服务器,其盘符资源占用情况原则上小于等于18 个,为以后的系统扩展预留盘符资源;
● 每个迁移/ 转码服务分组包含 3 台以上的迁移/ 转码服务器,以确保该服务分组整体上的可用性;
● 迁移/ 转码服务分组时应综合考虑其所对应业务流程的类型、性质和流量,根据业务需求规划量分配服务器资源;
● 迁移/ 转码服务分组时应在逻辑执行层面支持手动任务,在各分组中配置 1 台迁移服务器专门处理手动任务。
(2)服务配置说明
a. 迁移/ 转码服务的有机整合
迁移服务和转码服务都有文件的读写操作,同时面临共享盘符问题,因此都需要实现对分组配置。
由于系统服务器资源有限,迁移/ 转码服务模块如果独立部署在专用服务器上,则势必需要两套配置方案以及两倍系统资源。
为有效地利用现有资源,将迁移服务模块和转码服务模块整合后部署在一台服务
器上,并接受统一的配置和调度。
这样既解决了服务器资源有限的问题,同时也达到了统一部署、集中管理、方便维护的目的。
b. 任务调度执行原则
任务调度策略由调度服务器实现,每次只分发一条任务给各迁移服务器,待其执行完毕后再行分发。
当接受调度的迁移任务数小于实际可供使用的迁移服务器数时,优先级策略不起作用,调度服务器直接把所有任务分配给空闲迁移服务器。
当接受调度的迁移任务数大于实际可供使用的迁移服务器数时,调度服务器将根据等待任务队列中各项任务的优先级分配任务给空闲迁移服务器。
调度服务器除实现对等待任务队列中各项任务的优先级调度策略外,还支持用户手动调度,由支持手动调度的迁移服务器执行。
另外,对已分配、正在执行过程中的任务,调度服务器具备管理功能,例如手动任务停止、重新分配等。
c. 任务优先级规划
按本项目业务流程类型规划定义优先级。
节目备播类流程的优先级应为最高,其次为素材调用类流程,而归档类流程因可以按设定策略在系统非繁忙期执行,优先级可以设为最低,如表 1 所示。
同一类型流程中不同性质流程的优先级
2. 媒体数据交换服务配置
基于以上媒体数据交换链路结构,在应用实现层面上设计了以数据迁移/转码服务器为核心的媒体数据交换服务,作为全台媒体数据交换的引擎完成跨系统的媒体数据交换,如图7 所示。
在配置媒体数据交换服务时,采用了依据业务类型的分组实现方式。
本项目的迁移/转码服务组件部署在Windows平台上,基
于Windows网络共享盘符机制访问媒体数据文件的源地址和目的地址,除去系统本身的保留盘符外,其最大盘符映射量
为23 个。
由于迁移/ 转码服务组件是作为业务支撑平台的公共服务提供,为所有应用业务系统共同使用,所以其所需配置的盘符已经超出了迁移/ 转码服务器所能提供的网络映射盘符总数。
由上分析可知,任何一台迁移/转码服务器的盘符资源都不能满足本项目迁移服务体系的设计要求。
因此,需要对迁移/转码服务进行配置分组来应对网络盘符数量有限的问题。
在此配置模式下,各迁移/ 转码服务分组实现合理的盘符配
52
现代电视技术
20XX年.10
7
以迁移/ 转码服务为核心的媒体数据交换架构
可以继续细分。
同类同种流程迁移/转码服务的优先级默认同,同时支持由任务发起者在相应优先级调整范围内对针该流程具体任务的优先级进行手动干预。
d. 服务配置实例在实际规划中,根据业务需求和前述原则总共配置了组服务器完成所有类型跨系统迁移/转码任务。
下面以新闻移/ 转码服务器组为例说明服务配置情况。
如图8 中所示,该服务器组负责新闻在线存储、媒资闻在线存储、媒资历史资料库、总编室节目备播库、非新媒资在线存储、媒资体育在线存储之间的数据迁移,满足闻业务与其它应用系统之间主要的跨系统媒体数据迁移/码需求。
该服务器组所承担任务的交换数据类型、任务优级、迁移数据量、服务器配置量、盘符占用情况和任务执策略等参数规划如表 2 中所示。
三结束语近年来,节目生产网络化在国内广播电视领域的认同和影响力不断扩展,其应用广度和深度也在不断拓展。
可以继续细分。
同类同种流程迁移/转码服务的优先级默认同,同时支持由任务发起者在相应优先级调整范围内对针
该流程具体任务的优先级进行手动干预。
d. 服务配置实例
在实际规划中,根据业务需求和前述原则总共配置了
组服务器完成所有类型跨系统迁移/转码任务。
下面以新闻移/ 转码服务器组为例说明服务配置情况。
如图8 中所示,该服务器组负责新闻在线存储、媒资
闻在线存储、媒资历史资料库、总编室节目备播库、非新媒资在线存储、媒资体育在线存储之间的数据迁移,满足闻业务与其它应用系统之间主要的跨系统媒体数据迁移/ 码需求。
该服务器组所承担任务的交换数据类型、任务优级、迁移数据量、服务器配置量、盘符占用情况和任务执策略等参数规划如表2 中所示。
三结束语
近年来,节目生产网络化在国内广播电视领域的认同
和影响力不断扩展,其应用广度和深度也在不断拓展。
在背景之下,全台网络化制播体系架构成为很多电视台现有术系统改造和新技术系统建设的必然选择。
网络的本质在互联互通和数据交换,全台网络化制播体系环境下存储架及数据流向的规划也越来越显示出其重要性,甚至在某种度上直接影响到网络总体应用效果。
在本项目规划和建设过程中,针对此关键技术问题,
最初的规划、设计阶段起就开始进行大量的工作,经过充调研、论证、调整和补充过程,最终确定了比较适合北京视台实际需求的设计和实现方案。
在今后的网络实践中,们将在上述方案基础上,根据实际运行情况不断进行配置化和功能完善,争取获得理想的应用效果。
表2 迁移/ 转码服务配置举例
服务器数量
盘符占用量。