云数据采集中心及大数据计算平台建设方案
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
1.2
搭建分布式存储平台（能够存储海量非结构化数据和结构化数据）、分布式并行计算平台等等，满足海量数据的采集、存储、计算的需要，平
台必须具备高可用性，高扩展性，高可靠性要求。
为CC后面的产品（收视率统计，智能推荐系统,拍立购，开放平台等等） 的应用和实施打下坚实的基础，为集团CC的大数据提供运营支撑。
目前CC数据中心是主要基于CC黑电、白电、浏览器等产品终端传感器采集的海量文本、图片数据以及用户数据，为CC后续其他数据分析挖掘项目提供数据支撑的信息平台。对应方针——终端内容服务、云服务支撑与数据挖掘、个 性化数据价值探索。
建立统一有效的云数据采集中心有利于CC大数据的管理，符合CC新的发展战略，CC黑电和白电产品终端传感器采集的数据有用户行为的文本数据（log）、台标等图片数据以及自建的影视知识库的结构化数据、电商平台的海量镜像数据。 当CC的用户量和采集的数据量与日俱增的时候，数据中心必须能通过添加更多 服务节点来扩展性能和负载能力，保证高可扩展性和高可用性从而满足CC业务 发展的需要。
云中心初期建立至少保证可以正常运营1~2年，硬件选型，软件开始要 考虑到今后大规模扩容的要求。
技术平台要有能力支持数据量最高1000W终端数量的数据存储、数据计 算、信息推荐等的能力。
1.3
基于本项目的建设要求，本项目将遵循以下建设原则：
前瞻性和高标准整个项目要按照企业对大数据应用的需要的高要求和高标准建设，参考行业标杆应用，建立满足需求，面向未来的目标，整个项目具有一定前瞻性。
GB/T18492-2001信息技术系统及软件完整性级别
GB/Z18493-20Biblioteka Baidu1信息技术软件生存周期过程指南
GB/T20157-2006信息技术软件维护
GB/T20272-2006信息安全技术操作系统安全技术要求
GB/T20008-2005信息安全技术操作系统安全评估准则
GB/T20009-2005信息安全技术数据库管理系统安全评估准则
ExtensibleMarkupLanguage(XML)1.0(FifthEdition)
WebServicesBusinessProcessExecutionLanguagev2.0
1.5
S2DFS：简单存储分布式文件系统（SimpleStorageDistributedFileSystem）
云数据采集中心及大数据计算平台
建设方案
1
1.1
根据CC智能战略的规划：做强终端、云平台建设、大数据商业模式，CC正 迈向大数据时代，当前正面向所有智能终端提供优质的服务，同时通过终端传感 器或数据采集服务能够获取海量的数据，并且数据量会以TB级剧增。因此CC迫切需要建设一套高性能、高安全性、高可靠性，可扩展性的云数据采集中心，并搭建一个数据中心支撑平台，以满足当今高速增长的数据存储、管理、计算的 需求，同时便于将来拓展和进一步的改造。
SCA(ServiceComponentArchitecture)JavaEEIntegrationSpecificationV1.00
Java2Platform,EnterpriseEdition
CapabilityMaturityModel®Integration(CMMISM),Version1.1
GB/T20269-2006信息安全技术—信息系统安全管理要求
GB/T20984-2007信息安全技术—信息安全风险评估规范
GB/T22239-2008信息安全技术—信息系统安全等级保护基本要求
GB/T22240-2008信息安全技术—信息系统安全等级保护定级指南
GA/T388-2002B计算机信息系统安全等级保护管理要求
GB/T20918-2007信息技术软件生存周期过程风险管理
GB/T8566-2007信息技术软件生存周期过程
SJ/T10367-1993计算机过程控制软件开发规程
SJ/T11234-2001软件过程能力评估模型
SDO(ServiceDataObject) forJavaSpecificationV2.1
经济性和实用性整个项目以现有需求为基础，充分考虑未来发展的需要来确定系统的架构，既要降低系统的初期投入，又能满足服务对象的需求，同时系统设计应充分考虑对已有投资的保护，对已建立的数据中心、基础平台、应用软件应提供完备的整合方案。
先进性和成熟性为了确保项目具有较长的生命周期，应充分考虑到管理创新、技术发展需要，按照先进的建设理念，选择先进的技术架构和成熟技术，满足业
GB50174-2008电子信息系统机房设计规范
GB50462-2008电子信息系统机房施工及验收规范
GB50311-2007综合布线工程设计规范
GB50312-2007综合布线系统工程验收规范
GB50395-2007视频安防监控系统设计规范
GB50263-2007气体灭火系统施工及验收规范
GB50394-2007入侵报警系统工程设计规范
GB/T8567-1988计算机软件产品开发文件编制指
GB/T11457-1995软件工程术语
GB/T11457-2006信息技术软件工程术语
GB/T16260.1-2006软件工程产品质量第1部分:质量模型
GB/T16260.2-2006软件工程产品质量第2部分:外部度量
GB/T16260.3-2006软件工程产品质量第3部分:内部度量
务需求。
高性能和安全性规范地进行系统建设和开发，提供合理且经济有效的应急方案，确保系统的稳定，向各类服务对象提供可靠的服务。具有安全性，在系统遭到攻击或崩溃时能快速恢复，确保重要数据的机密性和完整性。
1.4
GB9361-88计算站场地安全要求
GB50173-93电子计算机机房设计规范
GB2887-89计算站场地技术条件
GB/T16260.4-2006软件工程产品质量第4部分:使用质量的度量
GB/T14394-2008计算机软件可靠性和可维护性管理
GB/T17544-1998信息技术软件包质量要求和测试
GB/T18221-2000信息技术程序设计语言、环境与系统软件借口独立于语言的数据类型
GB/T18491.1-2001信息技术软件测量 功能规模测量第1部分：概念定义
搭建分布式存储平台（能够存储海量非结构化数据和结构化数据）、分布式并行计算平台等等，满足海量数据的采集、存储、计算的需要，平
台必须具备高可用性，高扩展性，高可靠性要求。
为CC后面的产品（收视率统计，智能推荐系统,拍立购，开放平台等等） 的应用和实施打下坚实的基础，为集团CC的大数据提供运营支撑。
目前CC数据中心是主要基于CC黑电、白电、浏览器等产品终端传感器采集的海量文本、图片数据以及用户数据，为CC后续其他数据分析挖掘项目提供数据支撑的信息平台。对应方针——终端内容服务、云服务支撑与数据挖掘、个 性化数据价值探索。
建立统一有效的云数据采集中心有利于CC大数据的管理，符合CC新的发展战略，CC黑电和白电产品终端传感器采集的数据有用户行为的文本数据（log）、台标等图片数据以及自建的影视知识库的结构化数据、电商平台的海量镜像数据。 当CC的用户量和采集的数据量与日俱增的时候，数据中心必须能通过添加更多 服务节点来扩展性能和负载能力，保证高可扩展性和高可用性从而满足CC业务 发展的需要。
云中心初期建立至少保证可以正常运营1~2年，硬件选型，软件开始要 考虑到今后大规模扩容的要求。
技术平台要有能力支持数据量最高1000W终端数量的数据存储、数据计 算、信息推荐等的能力。
1.3
基于本项目的建设要求，本项目将遵循以下建设原则：
前瞻性和高标准整个项目要按照企业对大数据应用的需要的高要求和高标准建设，参考行业标杆应用，建立满足需求，面向未来的目标，整个项目具有一定前瞻性。
GB/T18492-2001信息技术系统及软件完整性级别
GB/Z18493-20Biblioteka Baidu1信息技术软件生存周期过程指南
GB/T20157-2006信息技术软件维护
GB/T20272-2006信息安全技术操作系统安全技术要求
GB/T20008-2005信息安全技术操作系统安全评估准则
GB/T20009-2005信息安全技术数据库管理系统安全评估准则
ExtensibleMarkupLanguage(XML)1.0(FifthEdition)
WebServicesBusinessProcessExecutionLanguagev2.0
1.5
S2DFS：简单存储分布式文件系统（SimpleStorageDistributedFileSystem）
云数据采集中心及大数据计算平台
建设方案
1
1.1
根据CC智能战略的规划：做强终端、云平台建设、大数据商业模式，CC正 迈向大数据时代，当前正面向所有智能终端提供优质的服务，同时通过终端传感 器或数据采集服务能够获取海量的数据，并且数据量会以TB级剧增。因此CC迫切需要建设一套高性能、高安全性、高可靠性，可扩展性的云数据采集中心，并搭建一个数据中心支撑平台，以满足当今高速增长的数据存储、管理、计算的 需求，同时便于将来拓展和进一步的改造。
SCA(ServiceComponentArchitecture)JavaEEIntegrationSpecificationV1.00
Java2Platform,EnterpriseEdition
CapabilityMaturityModel®Integration(CMMISM),Version1.1
GB/T20269-2006信息安全技术—信息系统安全管理要求
GB/T20984-2007信息安全技术—信息安全风险评估规范
GB/T22239-2008信息安全技术—信息系统安全等级保护基本要求
GB/T22240-2008信息安全技术—信息系统安全等级保护定级指南
GA/T388-2002B计算机信息系统安全等级保护管理要求
GB/T20918-2007信息技术软件生存周期过程风险管理
GB/T8566-2007信息技术软件生存周期过程
SJ/T10367-1993计算机过程控制软件开发规程
SJ/T11234-2001软件过程能力评估模型
SDO(ServiceDataObject) forJavaSpecificationV2.1
经济性和实用性整个项目以现有需求为基础，充分考虑未来发展的需要来确定系统的架构，既要降低系统的初期投入，又能满足服务对象的需求，同时系统设计应充分考虑对已有投资的保护，对已建立的数据中心、基础平台、应用软件应提供完备的整合方案。
先进性和成熟性为了确保项目具有较长的生命周期，应充分考虑到管理创新、技术发展需要，按照先进的建设理念，选择先进的技术架构和成熟技术，满足业
GB50174-2008电子信息系统机房设计规范
GB50462-2008电子信息系统机房施工及验收规范
GB50311-2007综合布线工程设计规范
GB50312-2007综合布线系统工程验收规范
GB50395-2007视频安防监控系统设计规范
GB50263-2007气体灭火系统施工及验收规范
GB50394-2007入侵报警系统工程设计规范
GB/T8567-1988计算机软件产品开发文件编制指
GB/T11457-1995软件工程术语
GB/T11457-2006信息技术软件工程术语
GB/T16260.1-2006软件工程产品质量第1部分:质量模型
GB/T16260.2-2006软件工程产品质量第2部分:外部度量
GB/T16260.3-2006软件工程产品质量第3部分:内部度量
务需求。
高性能和安全性规范地进行系统建设和开发，提供合理且经济有效的应急方案，确保系统的稳定，向各类服务对象提供可靠的服务。具有安全性，在系统遭到攻击或崩溃时能快速恢复，确保重要数据的机密性和完整性。
1.4
GB9361-88计算站场地安全要求
GB50173-93电子计算机机房设计规范
GB2887-89计算站场地技术条件
GB/T16260.4-2006软件工程产品质量第4部分:使用质量的度量
GB/T14394-2008计算机软件可靠性和可维护性管理
GB/T17544-1998信息技术软件包质量要求和测试
GB/T18221-2000信息技术程序设计语言、环境与系统软件借口独立于语言的数据类型
GB/T18491.1-2001信息技术软件测量 功能规模测量第1部分：概念定义