中国邮政大数据Hadoop平台投标文件技术部分
大数据招标文件
招标项目名称:XXX大数据平台建设项目一、招标公告根据我国相关法律法规和项目需求,现将XXX大数据平台建设项目进行公开招标。
欢迎符合招标文件要求的投标人参加投标。
二、项目概况1. 项目名称:XXX大数据平台建设项目2. 项目地点:XXX3. 项目规模:XXX4. 项目总投资:XXX万元5. 项目工期:XXX个月三、招标内容1. 大数据平台硬件设备采购及安装2. 大数据平台软件系统开发及部署3. 大数据平台运维及安全保障4. 大数据平台培训及售后服务四、投标人资格要求1. 具有独立法人资格,注册资金不低于XXX万元;2. 具有良好的商业信誉和健全的财务会计制度;3. 具有有效的营业执照、税务登记证、组织机构代码证;4. 具有近三年内完成过类似项目业绩;5. 具有专业的大数据团队,具备丰富的项目实施经验;6. 具有良好的售后服务体系,能够及时响应客户需求。
五、投标文件要求1. 投标人应按照招标文件要求编制投标文件,投标文件应包括以下内容:(1)投标函;(2)法定代表人身份证明或授权委托书;(3)企业法人营业执照副本、税务登记证、组织机构代码证;(4)近年完成类似项目业绩证明材料;(5)项目负责人及主要技术人员简历;(6)项目实施方案及服务承诺;(7)投标报价;(8)其他相关证明材料。
2. 投标文件应密封,并在封口处加盖公章,投标截止时间前送达指定地点。
六、招标程序1. 投标人应在招标公告发布之日起30日内,向招标人提交投标文件;2. 招标人将组织专家对投标文件进行评审,评审结果将在投标截止时间后15个工作日内公示;3. 评审合格者将进入谈判阶段,招标人将与投标人进行谈判,确定最终中标人;4. 中标通知书发出后,中标人应在规定时间内与招标人签订合同。
七、投标保证金1. 投标保证金为人民币XXX元;2. 投标保证金在投标截止时间前缴纳,未按时缴纳的投标文件将视为无效;3. 中标人提交投标保证金后,招标人将在签订合同后将保证金退还。
大数据云平台建设招投标方案 (2)
大数据云平台建设招投标方案1. 引言随着信息技术的快速发展和云计算的普及,大数据云平台已经成为企业数据管理和分析的重要工具。
为了满足企业的日益增长的数据处理需求,我们决定开始建设一个大数据云平台。
本文档将介绍这个招投标方案的主要内容,包括方案背景、建设目标、技术要求、建设流程和投标要求。
2. 方案背景随着互联网的快速发展,企业每天都会产生大量的数据,包括客户信息、销售数据、产品数据等。
这些数据对于企业的决策和发展至关重要,因此需要一个可靠、高效的大数据云平台来存储、管理和分析这些数据。
大数据云平台可以帮助企业更好地理解和利用数据,提高决策效率和商业竞争力。
3. 建设目标我们的大数据云平台建设目标如下:•提供可靠的数据存储和管理能力,确保数据的完整性和安全性。
•提供高效的数据处理和分析能力,支持复杂的查询和计算。
•提供易于使用的用户界面,方便用户使用和管理数据。
•支持多种数据源的接入和集成,包括关系型数据库、非关系型数据库、文件系统等。
•支持数据的实时处理和批处理,满足不同场景下的处理需求。
•支持分布式计算和存储,提供高可用性和可扩展性。
4. 技术要求我们对大数据云平台的技术要求如下:•分布式存储和计算能力,可支持海量数据处理和高并发访问。
•支持主流的大数据技术和框架,如Hadoop、Spark、Hive等。
•支持数据的实时处理和流式计算,如Flink、Kafka等。
•支持数据的可视化和探索性分析,如Tableau、Power BI等工具。
•支持数据的安全存储和传输,保证数据的机密性和完整性。
5. 建设流程大数据云平台的建设流程如下:1.方案设计:根据业务需求和技术要求,设计大数据云平台的架构和功能模块。
2.系统搭建:搭建大数据云平台的基础环境,包括服务器、网络和存储设备的配置和部署。
3.数据接入:将企业现有的数据源接入大数据云平台,包括关系型数据库、文件系统等。
4.数据处理:设计和实现数据的处理和分析模块,包括数据清洗、转换、计算等操作。
大数据中心建设项目公开招投标书范本
采购需求(仅供参考,具体以招标文件为准)前注:、本采购需求中提出的服务方案仅为参考,如无明确限制,投标供应商可以进行优化,提供满足采购人实际需要的更优(或者性能实质上不低于的)服务方案,且此方案须经评标委员会评审认可;、投标供应商应当在投标文件中列出完成本项目并通过验收所需的所有各项服务等全部费用。
中标供应商必须确保整体通过采购人及有关主管部门验收,所发生的验收费用由中标供应商承担;投标供应商应自行勘察项目现场,如投标供应商因未及时勘察现场而导致的报价缺项漏项废标、或中标后无法完工,投标供应商自行承担一切后果;、如对本招标文件有任何疑问或澄清要求,请按本招标文件“投标供应商须知前附表”中约定方式联系安徽省政府采购中心,或接受答疑截止时间前联系采购人,否则视同理解和接受,投标供应商对招标文件、采购过程、中标结果的质疑,应当在法定质疑期内一次性提出针对同一采购程序环节的质疑。
一、项目概况.总体规划“皖警智云”大数据中心遵照公安信息化“十三五”三横三纵体系规划,以云计算、大数据、人工智能等新技术为支撑,通过统一建设强大的云架构软硬件基础设施,全面汇聚公安内外部数据资源,打造分布式协同计算的公安大脑,形成逻辑一体全省一朵云的综合性大数据中心。
.项目建设内容.大数据平台软件大数据中心采用通用X服务器、标准网络设备等硬件构建,平台软件基于分布式云操作系统,构建软件定义计算、存储、网络资源的超融合架构,成为安徽公安警务应用和数据的统一承载基础设施。
在此基础上提供的资源服务,按功能分为:云主机软件、云数据库Redis、云数据库MongoDB、开放存储服务软件、表格存储、大数据计算服务基础功能(离线计算)、ES全文检索引擎、分析型数据库(实时计算)、流计算引擎、中间件-分布式应用服务和中间件-消息队列(MQ)。
●云主机软件云主机软件用于各类计算任务与应用的大规模弹性计算需求。
云主机软件通过虚拟化技术,将服务器硬件虚拟化为更小粒度的计算资源,按需提供给不同业务系统,从而提升IT资源整体利用率。
技术方案参考文档
软件项目开发与设计可行性分析报告技术部分(个人整理,仅供参考)1技术方案建议1.1 概述1.1.1项目整体概述随着信息化程度的加深,以及移动互联网、物联网的崛起,人们产生的数据急剧膨胀,传统的数据处理技术难以支撑数据大量的增长和处理能力。
经过近几年的发展,大数据技术逐步成熟,可以帮助企业整合更多的数据,从海量数据中挖掘出隐藏价值。
大数据已经从“概念”走向“价值”,逐步进入实施验证阶段。
人们越来越期望能实现海量数据的处理,从数据中发现价值。
**平台是为监控基站告警信息、管理基站用户设备和运行情况、合理调度各地市维护人员、准确掌握基站备用电源各阶段数据、保障用户设备在线及减少维护成本、并且支持内部用户和外部用户的自动派单功能而建设的IT服务平台。
该平台包括以每个行业用户为单位的智能推送点播应答/报表智能推送、基站资源/电源数据的业务建模分析、天气环保等相关数据、对内外自动派单、辖区邮政运维状态的大屏展示等主要功能模块。
**邮政服务平台对前述功能的支撑,提供基站备用电池的监控管理,进行断电保障、使用效能等方面的应用分析,为备电时长提供修正依据。
**公司已深刻认识到数据战略对企业运营以及企业未来发展方向的重要性。
基站行业的本质是邮政信息管理管理与挖掘,核心是数据,载体是平台,关键是用户体验,发展趋势是互联网与**的深度融合,要提升大数据处理基站数据贡献度。
因此,要深化互联网思维理念,稳步推进互联网金融产品和服务模式创新,积极利用移动互联网、大数据等新技术新手段,沉着应对冲击和挑战,实现传统基站与互联网融合发展。
做好海量异构数据的专业化整合集成、关联共享、安全防护和维护管理,深度挖掘数据内含的巨大价值,探索**业务创新,实现数据资源的综合应用、深度应用,已成为提升企业核心竞争力,实现企业信息化可持续发展的关键途径。
以大数据项目建设作为契机,凝聚中国**优势力量,全面梳理数据资源,完善数据体系架构,自主掌握大数据分析邮政信息关键技术,加速大数据邮政信息资源的开发利用,将数据决策化贯穿到经营管理全流程,建设智慧基站,提升核心竞争力。
数据治理工具项目投标书技术部分-V1.6——【Data Catalog 精】
支持对ETL流程的血缘、影响分析。
支持手动对血缘信息进行增加,删除,修改等操作。
支持自动化实时同步更新血缘、影响数据。
Data Catalog 支持数据表的血缘影响分析,通过整合分散在各个系统、应用、数据库等不同数据源中的 元数据,将它们集中在一起,提供统一的元数据查询管理接口。 通过元数据追踪,Data Catalog 记录了每一次元数据转化的输入与输出,从表级和列级两个粒度上,描 述多表间的关系,为数据平台中的元数据勾勒出一幅完整的数据流动变化关系图谱,使用户更全面的掌 握数据,把握数据变化。 Data Catalog 使用血缘分析和影响分析来描绘元数据间的关联图谱,包括元数据来源于哪些表,又去往 了哪些表。其中血缘分析关注当前对象与其上游对象的关联,影响分析关注当前对象对下游对象的影响。
质量规则检核
支持根据质量规则生成质量检核计划;
支持质量检核任务的手动和定时自动执行。
质量分析报告
支持考核算法和策略配置,对质量规则执行结果进行量化打分;
支持质量分析结果的查询和可视化展现。
四、
4.1
系统在设计过程中除考虑满足当前招标书建设要求外,还应当满足后续系统平滑扩展升级要求,因此总方案设计遵循如下设计原则。
(6)根据以上性能指标要求提出硬件及网络的性能及规模配套的方案。
三、技术服务要求
3.1
投标产品需具有与国内自主成熟的数据交换共享平台和大数据基础平台软件有良好的集成兼容性。
3.2
投标产品或者模块是国内投产的成熟品牌,并且经过多个版本迭代,提供至少两个版本的产品著作权证书。
近五年内,在多个行业有成功应用案例,且至少有一个为政府或军队应用案例。
Hadoop平台上大数据处理的使用教程
Hadoop平台上大数据处理的使用教程大数据处理已经成为当今企业分析和决策制定的关键领域。
Hadoop 作为一个开源的大数据处理平台,提供了一种可靠、可扩展且高效的方式来存储和处理大规模数据。
本教程将为您介绍如何在Hadoop平台上进行大数据处理,并给出详细的操作步骤和示例。
## 第一部分:Hadoop平台的安装和配置1. 下载Hadoop:从Hadoop官方网站获取最新的Hadoop二进制文件,并解压到本地文件夹。
2. 配置Hadoop环境:编辑Hadoop配置文件,设置必要的参数,如文件系统地址、数据节点和任务跟踪器等。
3. 启动Hadoop:通过命令行启动Hadoop集群,可以使用start-all.sh脚本来同时启动所有的Hadoop进程。
## 第二部分:Hadoop中的存储和数据管理1. 分布式文件系统(HDFS):使用Hadoop分布式文件系统来存储大规模数据。
学习如何创建、移动和删除文件,以及如何设置和管理文件的副本。
2. Hadoop YARN:了解Hadoop的资源管理系统,学习如何提交和管理应用程序,并了解如何配置YARN队列来优化任务调度。
3. 数据加载和导入:学习如何将数据加载到Hadoop集群中,可以通过命令行工具或使用Hadoop的数据导入工具,如Sqoop和Flume。
## 第三部分:Hadoop上的数据处理1. MapReduce:学习如何使用MapReduce编写分布式数据处理程序。
使用Java编写Map和Reduce函数,将任务提交到Hadoop集群,并了解如何监视任务的执行。
2. Pig:了解Pig语言,它是一种类似SQL的高级脚本语言,用于高效地进行数据分析和转换。
学习如何编写Pig脚本,并将其提交到Hadoop集群进行执行。
3. Hive:学习如何使用Hive进行数据查询和分析。
了解Hive的数据模型和查询语言(HiveQL),并编写HiveQL脚本来查询和处理数据。
数据中心招标文件范本
招标编号:[招标编号]招标项目名称:[项目名称]数据中心建设及运维服务项目一、招标公告1. 招标条件本招标项目已由[批准部门]批准建设,项目业主为[业主单位名称],建设资金已落实,招标人为[招标人名称]。
项目已具备招标条件,现对该项目进行公开招标。
2. 项目概况[项目名称]数据中心建设及运维服务项目,主要包括以下内容:(1)数据中心硬件设备采购及安装;(2)数据中心软件系统开发及部署;(3)数据中心运维服务。
3. 招标范围本次招标范围包括但不限于以下内容:(1)数据中心硬件设备采购及安装;(2)数据中心软件系统开发及部署;(3)数据中心运维服务。
4. 投标人资格要求(1)投标人须为中华人民共和国境内注册的独立法人;(2)投标人须具备国家规定的相应资质;(3)投标人须具有良好的财务状况和信誉;(4)投标人须具备相应的技术力量和施工经验;(5)投标人须在近三年内无不良记录。
5. 招标文件获取招标文件获取方式:[招标文件获取方式],招标文件售价[招标文件售价]元。
6. 投标截止时间及开标时间投标截止时间:[投标截止时间]开标时间:[开标时间]7. 投标地点及开标地点投标地点:[投标地点]开标地点:[开标地点]二、投标须知1. 投标人须按照招标文件要求,在投标截止时间前将投标文件递交至投标地点。
2. 投标文件应包括以下内容:(1)投标函;(2)法定代表人身份证明或授权委托书;(3)投标报价表;(4)投标保证金缴纳凭证;(5)法定代表人身份证明或授权委托书;(6)投标人资格证明文件;(7)技术方案;(8)服务承诺;(9)其他相关文件。
3. 投标人应严格按照招标文件要求进行投标,如有违反,招标人有权取消其投标资格。
4. 投标人应对投标文件的真实性、合法性负责,如有虚假、伪造、篡改等行为,将依法追究其法律责任。
5. 招标人有权对投标文件进行评审,包括但不限于技术评审、商务评审等。
6. 招标人有权根据实际情况对投标文件进行答疑、澄清或要求补充。
大数据平台参数-技术指标要求
大数据平台的Spark组件,支持多租户并行执行,租户任务提交到不同的队列执行,租户间资源隔离
16.
提供基于Hadoop的SQL引擎,支持多租户,使用MPP架构,实现SQL的解析、计划、优化、执行,数据的并行查询,支持JDBC、ODBC标准接口,兼容Hive的ORC文件存储格式,兼容标准SQL 2003语法,以Hive-Test-benchmark测试集上的64个SQL语句为准和tpc-ds测试集上的99个SQL语句为准。
3.
提供访问HDFS的REST接口,通过REST接口创建、删除、上传、下载文件等常规HDFS操作。
4.
大数据平台的支持HDFS联邦,使得HDFS可以创建多个NameService(即多对NameNode),从而提高了集群的扩展性和隔离性。
5.
HDFS冷热数据迁移功能,只需要定义age,基于access time的规则。由HDFS冷热数据迁移工具来匹配基于age的规则的数据,设置存储策略和迁移数据。以这种方式,提高了数据管理效率和集群资源效率。
11.
大数据平台的HBase组件,支持聚簇表/聚簇索引框架的功能
12.
大数据平台提供小文件存储方案,支持海量图片、视频、文档等KB级的数据高并发读写。
13.
大数据平台的Spark组件支持2.0及以上版本
14.
大数据平台的Spark SQL兼容部分Hive语法(以Hive-Test-benchmark测试集上的64个SQL语句为准)和标准SQL语法(以tpc-ds测试集上的99个SQL语句为准)。
提供统一的客户端工具。
22.
大数据平台的流处理组件,集成storm和sparkstreaming,Flink,用户可根据业务需要自主选择
数据治理工具项目投标书技术部分-V1.6——【Data Catalog 精】
支持通过界面创建并维护元数据模型间关系,包括组合关系、依赖关系等;
提供将常用建模工具(包括PowerDesigner等)设计的数据模型导入的功能
元数据版本管理
支持元数据版本管理,包括:版本号的设置,历史版本的查询与恢复,任意版本之间整体比对,批量版本发布等。
1) 开放性
引入业界开放的、成熟的标准,从而保证系统成为符合标准又不失灵活性的开放平台,为未来的系统的灵活开放奠定基础。
2) 先进性
各工具基于统一的整体架构,采用先进的、成熟的、可靠的技术与软硬件平台,保证基础数据平台系统易扩展、易升级、易操作、易维护等特性。
3) 可扩展性
随着新的业务需求的不断产生,支持基础数据模型、应用分析模型、前端应用的扩展性;支持在统一系统架构中服务器、存储、I/O设备等的可扩展性。
星环科技的数据治理工具(TranswarpDataCatalog)采用B/S架构,具有友好的可视化界面浏览器端兼容Chrome(71及以上)、FireFox(64及以上)、Safari(11.1.2及以上或12.0.2及以上)等主流浏览器,服务器端可运行在Linux、Windows系统上,应用服务器兼容Tomcat8.5,JDK版本为1.8,数据库推荐星环科技的大数据平台TDH,同时对Oracle、MySQL等传统主流数据库有高度兼容性。
数据治理工具包支持集群模式,可保证7×24 小时不间断持续运行,且计划外宕机时间控制在全年的0.2%以内、计划外宕机次数控制在全年4次以内,系统有效工作时间要求≥99.8%。
数据处理工具支持高并发。页面查询不高于2秒,复杂查询不高于5秒,一般页面数据更新处理时间不高于3秒,复杂数据更新不高于5秒。
大数据中心运维投标书
大数据中心运维投标书-CAL-FENGHAI.-(YICAI)-Company One1数据中心运维投标书**有限公司二零一四年八月目录第一章投标申请及声明.................................................................................. 错误!未定义书签。
第二章法定代表人授权书.............................................................................. 错误!未定义书签。
第三章报价表.................................................................................................. 错误!未定义书签。
第四章分项报价明细表.................................................................................. 错误!未定义书签。
第五章投标资格证明文件.............................................................................. 错误!未定义书签。
第六章运维需求分析...................................................................................... 错误!未定义书签。
一、业务需求 ......................................................................................... 错误!未定义书签。
二、运维需求 ......................................................................................... 错误!未定义书签。
大数据中心项目招标文件
一、项目概述1.1 项目名称:XX市大数据中心建设项目1.2 项目背景:随着信息化技术的快速发展,大数据已成为推动经济社会发展的关键因素。
为满足我市信息化建设需求,提升政府治理能力,提高公共服务水平,特启动XX市大数据中心建设项目。
1.3 项目目标:建设一个具有先进性、安全性、可扩展性的大数据中心,实现数据资源的整合、共享、开放,为政府、企业、社会公众提供高效、便捷、安全的大数据服务。
二、招标内容2.1 招标范围:本次招标范围包括但不限于以下内容:(1)硬件设施采购及安装:服务器、存储设备、网络设备、安全设备等。
(2)软件系统采购及部署:操作系统、数据库、大数据平台、虚拟化平台、安全防护软件等。
(3)系统集成:硬件设备、软件系统、网络设备等集成及调试。
(4)网络安全防护:网络安全设备、安全防护策略、安全运维等。
(5)运维服务:系统运维、数据备份、故障处理、安全保障等。
2.2 项目规模:XX市大数据中心建设项目预计总投资为XX万元,具体规模如下:(1)硬件设备:服务器XX台,存储设备XX套,网络设备XX套,安全设备XX套。
(2)软件系统:操作系统XX套,数据库XX套,大数据平台XX套,虚拟化平台XX套,安全防护软件XX套。
(3)网络安全防护:网络安全设备XX套,安全防护策略XX套,安全运维人员XX 名。
三、投标人资格要求3.1 具有独立法人资格,持有有效的营业执照。
3.2 具有计算机信息系统集成一级或二级资质。
3.3 具有良好的财务状况和信誉,无不良记录。
3.4 具有同类项目经验,近三年内完成过至少一个类似规模的大数据中心建设项目。
3.5 具有完善的售后服务体系,能够提供7×24小时的运维服务。
四、投标文件要求4.1 投标文件应包括以下内容:(1)投标函:加盖公章及法定代表人签字。
(2)法定代表人身份证明书及授权委托书。
(3)企业法人营业执照副本复印件。
(4)计算机信息系统集成资质证书复印件。
网络数据分析投标书
网络数据分析投标书尊敬的XXXX公司:感谢您对我们公司参与网络数据分析投标的关注与支持!本投标书旨在向您介绍我们公司的能力和经验,并详细说明我们的解决方案,以满足您的需求。
一、公司简介我们是一家专注于网络数据分析的技术公司。
多年来,我们积累了丰富的经验和优秀的团队,致力于为客户提供高质量的数据分析解决方案。
二、项目背景与目标在网络时代,数据是一项重要的资源。
随着您公司在网络领域的发展,数据分析的需求也越来越迫切。
我们的目标是通过精确、可靠的数据分析,帮助您提升业务效率和决策水平。
三、解决方案为了实现目标,我们提供以下解决方案:1. 数据采集我们将通过批量抓取和实时监控的方式,从网络上收集您所需的数据,并进行整理和分类。
2. 数据清洗与预处理我们将对采集到的数据进行清洗和预处理,排除错误数据和异常值,确保数据的准确性和可靠性。
3. 数据分析与挖掘基于您的需求和数据特点,我们将针对特定的问题和目标,运用各种统计和机器学习算法,对数据进行分析和挖掘,从中发现隐藏的规律和趋势。
4. 数据可视化为了更好地展示分析结果,我们将采用直观、易懂的方式,将数据可视化,在图表、报告和仪表盘中展示给您,以帮助您更好地了解和分析数据。
5. 结果解读和建议我们的团队将对分析结果进行详细解读,并提供相应的建议和策略,以帮助您做出明智的决策,并优化业务流程。
四、服务优势1. 专业团队:我们拥有一支经验丰富、技术精湛的团队,具备处理大规模数据和复杂问题的能力。
2. 灵活性:我们提供定制化的解决方案,根据您的需求和目标,量身定制最合适的数据分析模型和方法。
3. 数据保密:我们将对您的数据进行严格的保密和安全管理,确保数据的安全性和隐私性。
4. 资源配备:我们拥有齐全的硬件设备和软件工具,以及强大的计算和存储能力,保证项目的高效顺利进行。
五、项目计划与预算在获得合同之后,我们将尽快成立项目团队,并按照以下步骤进行项目实施:1. 需求分析和讨论:与您的相关人员深入沟通,明确项目目标和需求。
大数据设计方案招标(3篇)
第1篇一、招标项目概述1. 项目名称:XX公司大数据设计方案招标2. 项目背景:随着信息技术的飞速发展,大数据已成为国家战略资源。
为提升公司数据治理能力,优化业务决策,提高运营效率,我公司决定开展大数据设计方案招标,旨在寻找具备专业能力、技术实力和良好信誉的合作伙伴,共同打造一套符合公司需求的大数据解决方案。
3. 项目目标:通过本次招标,选出一支专业团队,为我公司提供一套全面、高效、安全的大数据解决方案,助力公司实现业务创新、转型升级。
二、项目需求1. 大数据平台建设(1)需求概述:建设一套具备数据采集、存储、处理、分析、挖掘、可视化等功能的大数据平台。
(2)具体需求:a. 数据采集:支持各类数据源接入,包括结构化、半结构化、非结构化数据。
b. 数据存储:具备海量存储能力,支持多种数据存储技术,如Hadoop、NoSQL等。
c. 数据处理:具备高效数据处理能力,支持实时、离线数据处理。
d. 数据分析:提供丰富的数据分析工具,支持数据挖掘、预测分析、关联分析等。
e. 数据可视化:提供可视化工具,实现数据可视化展示。
2. 数据治理(1)需求概述:建立一套完善的数据治理体系,确保数据质量、安全、合规。
(2)具体需求:a. 数据质量管理:建立数据质量评估体系,确保数据准确、完整、一致。
b. 数据安全管理:制定数据安全策略,保障数据安全,防止数据泄露。
c. 数据合规性管理:确保数据符合国家相关法律法规,保障数据合规。
3. 应用场景(1)需求概述:针对公司业务需求,提供大数据应用场景解决方案。
(2)具体需求:a. 业务洞察:通过对业务数据的分析,为公司提供决策支持。
b. 客户画像:通过对客户数据的分析,实现精准营销。
c. 风险控制:通过对风险数据的分析,提高风险防范能力。
d. 供应链优化:通过对供应链数据的分析,提高供应链效率。
三、招标要求1. 投标人资格要求(1)具备独立法人资格,注册资金不少于1000万元。
软件项目投标用技术部分
软件项目投标用技术部分 Revised by BETTY on December 25,2020方案技术展现总体概要遵循《*****项目》设计原则要求目标必须满足项目的各项功能需求;架构必须满足简单、安全升级扩展、伸缩;全面、准确地界定系统架构涉及的范围;清楚定义内部系统与外部系统的边界以及交互约定;确定各微服务的具体职责,微服务间的交互协议和交互过程;确定系统的开发、部署、运维平台的相应规范;为系统设计和后续编码、测试、维护提供原则、基础和规范;关键质量属性系统的质量属性1、可用性:与系统故障及其相关后果有关,系统不能就规范中所说明的服务出现故障。
2、可修改性:是有关变更的成本问题,关注变更什么(artifact),何时变更(environment),由谁变更(source)。
3、性能:与时间有关,事件发生时,系统必须对其做出相应处理。
4、安全性:衡量系统在向合法用户提供服务的同时,阻止非授权使用的能力。
主要关注的是数据和服务的安全性。
5、可测试性:通过测试揭示软件缺陷的容易程度。
6、易用性:关注的是对用户来说完成某个期望任务的容易程度和系统所提供的用户支持种类。
7、响应速度:查询不超1秒,其他平均不超1秒架构的质量属性1、概念完整性:在各个层次上统一项目设计的根本指导思想2、正确性和完整性:架构能够满足项目的各种需求和运行时的资源要求的必要条件;3、可构建性:保证能够由指导开发小组在规定的时间里即时开发系统,并允许在开发过程作些更改的架构属性.架构设计原则本架构着重考虑项目的互用性、扩展性、灵活性、扩充性为原则,采用微服务,公众号服务采用微服务架构,并且使用当今流行的Docker容器部署。
微服务架构的演进历史单体应用架构– Monolithic:业务错综复杂、相互依赖、紧耦合、高风险基于简单的MVC分层架构,比较流行的技术栈是SSH或SSM。
面向服务架构– SOA:业务分拆、松耦合、分层、服务治理、稳定性提高了、风险降低了SOA服务化架构,解决了传统企业异构系统之间的互通和互联网企业快速开发迭代的服务化架构,最典型的SOA框架是阿里巴巴开源的Dubbo框架微服务架构– MSA:基于SOA,更细粒度、敏捷性、灵活部署、精准扩展、自主开发部署MSA微服务架构,通过将功能分解到各个离散的服务中移实现对解决方案的解耦。
基于Hadoop大数据集群的数据分析技术分享
基于Hadoop大数据集群的数据分析技术分享随着时代的不断发展和进步,信息化技术也越来越成为了现代社会的重要组成部分。
而大数据技术,作为信息化技术的一种重要形式,也受到了越来越多的关注和重视。
在这个背景下,Hadoop大数据集群的数据分析技术也成为了当前热门的话题之一。
本文就基于Hadoop大数据集群的数据分析技术展开探讨,以期向读者传递更多有关大数据技术方面的知识和应用。
一、Hadoop大数据集群的基本概念首先,我们需要了解Hadoop大数据集群的基本概念。
Hadoop是一种由Apache开源组织提供的大数据解决方案,它主要由两个核心部分组成:Hadoop分布式文件系统(Hdfs)和Hadoop MapReduce计算模型。
Hadoop分布式文件系统是一个基于Java语言编写的文件系统,它可以用来存储大规模的、分布式的数据。
Hadoop MapReduce计算模型是一个基于Hadoop分布式文件系统上的平行计算系统,它可以用来处理大规模的数据集。
二、Hadoop大数据集群的主要特点Hadoop大数据集群的主要特点包括以下几个方面:1. 可以存储大规模的数据集Hadoop大数据集群可以存储几乎任何大小的数据集,这个数据集可以是结构化的、半结构化的或者是非结构化的数据。
2. 可以处理复杂的数据Hadoop大数据集群可以处理大规模的数据集,包括非常复杂的数据集。
例如,Hadoop大数据集群可以用来处理一些非常大型的企业数据库,这些数据库可能包含有数十亿甚至数百亿的数据记录。
3. 可以支持高速、高效的数据处理Hadoop大数据集群可以使用非常有效的分布式计算算法,这些算法可以使得数据的处理非常高速和高效。
三、基于Hadoop大数据集群的数据分析技术应用基于Hadoop大数据集群的数据分析技术有着广泛的应用场景,下面通过一些实际案例来加以说明。
1. 电商平台数据分析电商平台是当前非常流行的一种购物方式,用户通过电商平台可以购买各种商品。
邮政项目招标文件范本
招标编号:[招标编号]招标项目名称:[项目名称]招标人:[招标人全称]地址:[招标人地址]联系人:[联系人姓名]联系电话:[联系电话]电子邮箱:[电子邮箱]一、招标公告1.1 招标内容本项目为[项目名称],包括但不限于以下内容:(1)[具体项目内容1](2)[具体项目内容2](3)[具体项目内容3]1.2 招标范围本次招标范围包括上述招标内容的全部设计、施工、设备供应、安装调试、验收及售后服务等工作。
1.3 招标方式本项目采用公开招标方式,欢迎符合条件的投标人参加投标。
1.4 招标文件获取有意参加投标的潜在投标人,请于[招标文件获取开始时间]至[招标文件获取结束时间],通过以下方式获取招标文件:(1)现场购买:[招标人地址],联系人:[联系人姓名],联系电话:[联系电话]。
(2)电子邮件:[电子邮箱],邮件主题请注明“[项目名称]招标文件下载”。
1.5 投标截止时间投标文件递交截止时间为[投标截止时间],逾期递交的投标文件将被拒绝。
1.6 开标时间及地点开标时间:[开标时间]开标地点:[开标地点]二、投标人资格要求2.1 投标人须具备以下资格条件:(1)具有独立法人资格,持有有效的营业执照;(2)具备承担本项目的资质证书,且资质等级符合招标文件要求;(3)具有近三年内完成类似项目业绩,并取得良好的信誉;(4)具备良好的财务状况,无重大不良债务;(5)具有完善的售后服务体系,能够及时响应客户需求。
2.2 投标人须在投标文件中提供以下证明材料:(1)营业执照副本复印件;(2)资质证书副本复印件;(3)类似项目业绩证明材料;(4)财务状况证明材料;(5)售后服务体系介绍。
三、招标文件内容3.1 招标文件主要包括以下内容:(1)招标公告;(2)投标人须知;(3)合同条款;(4)技术规格;(5)工程量清单;(6)投标文件格式;(7)其他需要说明的事项。
3.2 投标人应仔细阅读招标文件,并按照招标文件的要求编制投标文件。
我国邮政大数据Hadoop平台投标文件_技术部分
中国邮政大数据平台工程Hadoop软件产品及平台集成实施服务采购项目技术部分(招标编号:0714-EMTC02-5534)中科软科技股份有限公司2016年3月目录1 技术偏离表 (7)2 技术规范书应答书 (25)2.1 总体解决方案建议书要求 (25)2.2 业务功能需求 (30)2.2.1 系统管理架构 (30)2.2.2 数据管理 (37)2.2.3 数据管控 (50)2.2.4 #数据ETL (51)2.2.5 数据分析与挖掘 (52)2.2.6 数据展现 (54)2.3 技术要求 (56)2.3.1 总体要求 (56)2.3.2 总体架构 (57)2.3.3 运行环境要求 (58)2.3.4 客户端要求 (61)2.3.5 数据要求 (62)2.3.6 集成要求 (62)2.3.7 运维要求 (63)2.3.8 性能要求 (73)2.3.9 扩展性要求 (75)2.3.10 可靠性和可用性要求 (76)2.3.11 开放性和兼容性要求 (81)2.3.12 安全性要求 (82)3 技术方案建议 (98)3.1 概述 (98)3.1.1 项目整体概述 (98)3.1.2 平台建设原则 (101)3.2 系统技术架构 (101)3.2.1 系统架构设计 (101)3.2.2 系统硬件和软件配置方案 (113)3.3 量收平台应用迁移方案 (118)3.3.1 上线范围 (118)3.3.2 系统迁移进度安排 (120)3.3.3 迁移评估 (121)3.3.4 迁移计划 (122)3.3.5 测试计划 (126)3.3.6 迁移测试 (126)3.3.7 迁移实施 (126)3.3.8 对外提供数据接口 (128)3.3.9 上线应急处理 (130)3.4 关键技术 (130)3.4.1 大数据平台的核心数据存储与处理 (130)3.4.2 基于内存计算的关系型数据库-SAP HANA (136)3.5 技术方案优势 (138)3.5.1 方案整体优势 (138)3.5.2 产品优势 (144)4 测试及验收 (156)4.1 系统测试 (156)4.1.1 搭建测试环境 (156)4.1.2 建立测试小组 (156)4.1.3 制定测试计划 (156)4.1.4 制定测试方案 (156)4.2 系统集成测试方案 (163)4.2.1 网络安全测试用例 (163)4.2.2 主机安全测试方案 (165)4.2.3 应用安全测试方案 (167)4.2.4 数据安全及备份恢复测试方案 (171)4.2.5 Hadoop平台应用软件测试方案 (172)4.3 系统验收 (174)4.3.1 项目成果交付 (174)4.3.2 系统验收总流程图 (175)4.3.3 成立验收项目委员会 (175)4.3.4 定制验收方案 (176)4.3.5 系统上线验收(初验) (176)4.3.6 系统试运行后验收(终验) (176)4.3.7 上线后运维 (177)5 项目实施与管理 (178)5.1 双方责任与分工界面 (178)5.2 项目进度 (179)5.3 项目质量管理 (182)5.3.1 管理体系 (182)5.3.2 管理方法 (184)5.4 信息安全保密措施 (196)6 人员资质与管理 (198)6.1 组织结构与职责 (198)6.1.1 项目领导小组 (198)6.1.2 专家顾问组 (199)6.1.3 质量控制组 (199)6.1.4 业务咨询组 (199)6.1.5 项目经理 (199)6.1.6 需求规划组 (200)6.1.7 设计开发组 (200)6.1.8 项目实施组 (201)6.1.9 项目测试组 (201)6.1.10 系统集成与保障组 (202)6.2 项目人员介绍 (203)6.2.1 项目经理介绍 (203)6.2.2 技术负责人介绍 (206)6.2.3 项目开发及实施团队人员构成 (208)6.2.4 其他项目组成员简历 (210)7 知识产权 (222)7.1 Cloudera著作权登记情况 (222)7.2 SAP HANA软件著作权情况 (224)8 技术支持及保修 (229)8.1 项目技术文档 (229)8.1.1 文档列表 (229)8.1.2 文档管理 (230)8.2 技术支持 (233)8.2.1 服务体系 (233)8.2.2 项目技术服务 (234)8.2.3 售后维护与保障 (238)8.2.4 投诉处理 (246)8.2.5 保修 (247)9 培训服务 (249)9.1 培训目的 (249)9.2 培训对象 (249)9.3 培训人数 (250)9.4 培训教师及工作人员 (250)9.5 培训教材 (250)9.6 培训费用 (250)9.7 培训方式 (251)9.8 培训内容 (252)9.9 培训安排 (255)9.10 Hadoop与HANA的专业课程培训 (256)10 附录 (258)10.1 产品测试报告 (258)10.1.1 成都银行Cloudera CDH 性能测试测试 (258)10.1.2 SAP HANA检测报告 (268)10.2 成功案例 (275)1技术偏离表2技术规范书应答书2.1 总体解决方案建议书要求2.1.1乙方所提供的总体解决方案建议书至少包含技术方案、集成实施方案、建议的Hadoop系统软件产品等内容。
大数据处理平台的系统架构及其技术细节
大数据处理平台的系统架构及其技术细节随着信息技术的迅猛发展,企业乃至国家的数字化转型已经成为当今互联网领域最为热门的话题之一。
而在这一背景下,大数据处理平台的兴起成为了企业数据处理以及智能化应用的核心。
所谓大数据就是指数据量大、速度快、种类繁多、价值密度低等特征的数据,大数据处理平台是能够快速处理海量、异构和分散的数据的技术平台,它通常具备高度自动化和灵活性,提供强大的数据抽取、清洗、分析、建模、可视化等数据处理工具。
本文旨在介绍大数据处理平台的系统架构及其技术细节,主要从以下几个方面进行深入的讲解。
一、大数据处理平台的基本架构大数据处理平台主要分为以下四层架构:1.数据源层该层主要涵盖数据的采集、存储管理和访问。
数据采集:大数据处理平台的基础是数据的采集,数据可以从文件、数据库、社交平台、网站、移动端、物联网设备、传感器等各种数据源获取。
数据存储:大规模数据存储是大数据平台的核心部分之一,常见的数据存储方式包括分布式文件系统Hadoop HDFS、NoSQL数据库等。
数据访问:为了方便用户对数据的访问,需要建立方便、快速的数据访问渠道,如基于RESTful API的数据服务。
2.数据处理层该层主要涵盖数据预处理、数据分析和数据挖掘等,是整个平台最为核心的一层。
数据预处理:大数据预处理主要通过数据清洗、去噪、标准化、格式转换、数据集成等手段对海量数据进行预处理,以保证后续分析的准确性和效率。
数据分析:基于大数据平台的数据分析不仅是数据分析的工具,同时也是商业智能的应用。
分析主要应用在数据挖掘、数据建模、数据统计分析、数据可视化等方面。
数据挖掘:大数据挖掘成为了平台一个非常关键的部分。
通过机器学习、数据挖掘算法、深度学习等手段对海量数据进行探索极其重要。
3.数据集成层该层主要是对来自不同数据源的数据进行归并、整合和处理的过程。
数据归并:由于来自不同数据源的数据类型和格式不同,为了进行更好的数据分析需调权衡对这些数据进行归并,整合形成相同的格式。
大数据云服务招标文件
招标编号:[招标编号]招标名称:[项目名称]大数据云服务招标一、招标公告根据[招标人名称]的发展规划和业务需求,现对[项目名称]大数据云服务进行公开招标。
欢迎具备相应资质和能力的供应商参加投标。
二、招标项目概况1. 项目名称:[项目名称]大数据云服务2. 项目地点:[项目地点]3. 项目背景:[项目背景介绍]4. 项目目标:[项目目标描述]5. 项目规模:[项目规模描述]6. 项目预算:[项目预算金额]三、投标人资格要求1. 具有独立法人资格,注册资金不低于[注册资金要求]万元。
2. 具有良好的商业信誉和健全的财务会计制度。
3. 具有ISO9001质量管理体系认证。
4. 具有大数据云服务相关领域的丰富经验,近三年内至少成功实施过[类似项目数量]个大数据云服务项目。
5. 具有稳定的售后服务体系,能够提供7×24小时的在线技术支持。
6. 投标人须提供以下证明材料:(1)营业执照副本复印件。
(2)税务登记证副本复印件。
(3)组织机构代码证副本复印件。
(4)ISO9001质量管理体系认证证书复印件。
(5)相关项目案例证明材料。
四、投标文件要求1. 投标文件应包含以下内容:(1)投标函。
(2)法定代表人身份证明或授权委托书。
(3)投标报价。
(4)投标保证金缴纳凭证。
(5)投标保证金承诺书。
(6)投标人资格证明文件。
(7)项目实施方案。
(8)售后服务承诺。
2. 投标文件应按照招标文件的要求装订成册,并密封。
3. 投标文件递交截止时间:[递交截止时间]。
4. 投标文件递交地点:[递交地点]。
五、评标办法1. 评标委员会由[评标委员会组成人员]组成。
2. 评标办法采用综合评分法,主要考察投标人的技术实力、项目经验、服务能力、报价合理性等方面。
3. 评标委员会将根据招标文件的要求,对投标文件进行评审,最终确定中标人。
六、中标与合同签订1. 招标人将在评标结束后5个工作日内公示中标结果。
2. 中标人应在公示结束后5个工作日内与招标人签订合同。
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
中国邮政大数据平台工程Hadoop软件产品及平台集成实施服务采购项目技术部分(招标编号:0714-EMTC02-5534)中科软科技股份有限公司2016年3月目录1技术偏离表 (7)2技术规范书应答书 (25)2.1总体解决方案建议书要求 (25)2.2业务功能需求 (30)2.2.1系统管理架构 (30)2.2.2数据管理 (37)2.2.3数据管控 (50)2.2.4#数据ETL (51)2.2.5数据分析及挖掘 (52)2.2.6数据展现 (54)2.3技术要求 (56)2.3.1总体要求 (56)2.3.2总体架构 (57)2.3.3运行环境要求 (58)2.3.4客户端要求 (61)2.3.5数据要求 (62)2.3.6集成要求 (62)2.3.7运维要求 (63)2.3.8性能要求 (73)2.3.9扩展性要求 (75)2.3.10可靠性和可用性要求 (76)2.3.11开放性和兼容性要求 (81)2.3.12安全性要求 (82)3技术方案建议 (98)3.1概述 (98)3.1.1项目整体概述 (98)3.1.2平台建设原则 (101)3.2系统技术架构 (101)3.2.1系统架构设计 (101)3.2.2系统硬件和软件配置方案 (113)3.3量收平台应用迁移方案 (118)3.3.1上线范围 (118)3.3.2系统迁移进度安排 (120)3.3.3迁移评估 (121)3.3.4迁移计划 (122)3.3.5测试计划 (126)3.3.6迁移测试 (126)3.3.7迁移实施 (126)3.3.8对外提供数据接口 (128)3.3.9上线应急处理 (130)3.4关键技术 (130)3.4.1大数据平台的核心数据存储及处理 (130)3.4.2基于内存计算的关系型数据库-SAP HANA (136)3.5技术方案优势 (138)3.5.1方案整体优势 (138)3.5.2产品优势 (145)4测试及验收 (156)4.1系统测试 (156)4.1.1搭建测试环境 (156)4.1.2建立测试小组 (156)4.1.3制定测试计划 (156)4.1.4制定测试方案 (156)4.2系统集成测试方案 (163)4.2.1网络安全测试用例 (163)4.2.2主机安全测试方案 (165)4.2.3应用安全测试方案 (167)4.2.4数据安全及备份恢复测试方案 (171)4.2.5Hadoop平台应用软件测试方案 (172)4.3系统验收 (174)4.3.1项目成果交付 (174)4.3.2系统验收总流程图 (175)4.3.3成立验收项目委员会 (175)4.3.4定制验收方案 (176)4.3.5系统上线验收(初验) (176)4.3.6系统试运行后验收(终验) (176)4.3.7上线后运维 (177)5项目实施及管理 (178)5.1双方责任及分工界面 (178)5.2项目进度 (179)5.3项目质量管理 (182)5.3.1管理体系 (182)5.3.2管理方法 (184)5.4信息安全保密措施 (196)6人员资质及管理 (198)6.1组织结构及职责 (198)6.1.1项目领导小组 (198)6.1.2专家顾问组 (199)6.1.3质量控制组 (199)6.1.4业务咨询组 (199)6.1.5项目经理 (199)6.1.6需求规划组 (200)6.1.7设计开发组 (200)6.1.8项目实施组 (201)6.1.9项目测试组 (201)6.1.10系统集成及保障组 (202)6.2项目人员介绍 (203)6.2.1项目经理介绍 (203)6.2.2技术负责人介绍 (206)6.2.3项目开发及实施团队人员构成 (208)6.2.4其他项目组成员简历 (210)7知识产权 (222)7.1Cloudera著作权登记情况 (222)7.2SAP HANA软件著作权情况 (224)8技术支持及保修 (229)8.1项目技术文档 (229)8.1.1文档列表 (229)8.1.2文档管理 (230)8.2技术支持 (233)8.2.1服务体系 (233)8.2.2项目技术服务 (234)8.2.3售后维护及保障 (238)8.2.4投诉处理 (246)8.2.5保修 (247)9培训服务 (249)9.1培训目的 (249)9.2培训对象 (249)9.3培训人数 (250)9.4培训教师及工作人员 (250)9.5培训教材 (250)9.6培训费用 (250)9.7培训方式 (251)9.8培训内容 (252)9.9培训安排 (255)9.10Hadoop及HANA的专业课程培训 (256)10附录 (258)10.1产品测试报告 (258)10.1.1成都银行Cloudera CDH 性能测试测试 (258)10.1.2SAP HANA检测报告 (268)10.2成功案例 (274)1技术偏离表2技术规范书应答书2.1 总体解决方案建议书要求2.1.1乙方所提供的总体解决方案建议书至少包含技术方案、集成实施方案、建议的Hadoop系统软件产品等内容。
答:乙方以针对邮政招标文件的要求提供了技术方案、集成实施方案以及建议的Hadoop软件产品,详细内容请参考技术标书的技术方案建议、项目实施及管理以及商务标中所包含的软件产品清单。
2.1.2#乙方在解决方案建议书中,需要就需求分析、系统设计、系统开发、系统集成、项目试点以及推广等各阶段所能提供的服务以及各阶段产出物作具体描述。
乙方在解决方案建议书中应说明给甲方提供的技术文档、技术支持、技术服务、人员培训等的范围和程度。
答:在各个阶段乙方所能提供的服务及各阶段的产物,详细内容在技术支持、测试及验收中都有详细描述,请参考其中的内容。
乙方所提供的技术文档、技术支持、技术服务、人员培训等内容在测试及验收、技术支持及保修中都有详细说明。
2.1.3#技术方案至少应包括以下内容:应按照甲方建设的总体要求,结合行业先进经验,提出大数据平台技术建议方案;对整个平台提出安全技术方案;对上述内容相应的业务需求分析、建设模式、组网方案、软硬件配置、安全策略等提出建议方案。
答:在技术方案建议部分以及就邮政的业务需求分析、建设模式、组网方式、软硬件配置、安全策略等方面给出了详细的建议2.1.4#集成实施方案至少包括实施方法、实施步骤、实施进度安排、相关配套系统的改造方案建议、项目实施控制和项目管理、人员组织、培训计划等。
答:项目具体的实施方法(包括一期量收系统的迁移)、实施步骤、相关配套的改造请参考技术方案建议部分,实施进度安排、项目实施控制和相关管理、人员组织、培训计划等测试及验收、项目实施管理和技术支持及保修部分。
2.1.5#对量收系统的功能及数据迁移提出建议方案,包括相应的业务需求分析、建设模式、组网方案、软硬件配置、安全策略等;提出相应的系统迁移实施方案,包括实施方法、实施步骤、实施进度安排、项目实施控制和项目管理、人员组织、培训计划等,其中:实施进度应满足2016年实现主要八大量收功能的时间要求。
答:乙方完全按照甲方所提出的迁移需求提供迁移实施方案,具体内容请参考技术方案中的量收平台应用迁移方案部分,整合项目会按照用户提出的时间点完成实施。
2.1.6#乙方二次开发的应用软件应采用SOA架构设计,在技术方案里详细描述,并提供可服务化封装的功能列表。
答:乙方二次开发的应用软件产品均基于Hadoop产品的功能进行增强符合业界的标准架构,并提供可服务化封装,数据以接口的方式进行封装,具体内容可以参考量收迁移方案中对外提供数据接口部分。
2.1.7#乙方或所投标软件产品的供应商需提供其大数据平台设计、Hadoop系统软件产品及其集成实施项目在国内外大型企业的成功案例,结合本次甲方的需求,提出案例分析和建议。
案例数量不少于3个,需涉及世界500强企业、国内知名企业,以及邮政行业、金融保险行业或速递物流行业等,以国内案例为主。
案例内容包括:项目概况和规模、用户范围和数量、在项目中的角色、各阶段承担的任务、工作内容、所采用的软件及模块、设备配置、人员投入、时间进度、实施步骤、实施效果等内容,提供用户使用报告书、或该项目的中标通知书、验收报告、或使用意见书等相关证明材料复印件,并加盖乙方公章。
答:符合要求,具体的案例部分请参考附件2.1.8#乙方提供的Hadoop系统软件产品应是具有自主知识产权的产品,并独立于硬件平台,能够在不同的主流x86服务器、红旗Linux服务器版操作系统(Red Flag Asianux Server)上安装运行。
答:满足。
目前CDH能运行在各种不同的x86服务器集群上,支持的操作系统包括:redhat,centos,debian,sles,ubuntu等一系列常见操作系统,红旗Linux的内核是基于redhat实现的,所以CDH可以运行在其上。
2.1.9#乙方应提供建议的大数据软件产品、技术服务列表以及相应的测试报告。
如需采用第三方产品、开源软件、自主版权软件,包括免费软件,均需明确标注。
对于需要通过二次开发手段实现的内容,应明确标注并说明二次开发工作量。
测试报告内容要求见7.1.3节。
答:建议的大数据软件产品功能如下:高度集成的Hadoop平台:一个整体的数据存储和计算平台,无缝集成了基于Hadoop的大量生态工具,不同业务可以集中在一个平台内完成,而不需要在处理系统间移动数据;用廉价的PC服务器架构统一的存储平台,能存储PB级海量数据。
并且数据种类可以是结构化,半结构化及非结构化数据。
存储的技术有SQL及NoSQL,并且NoSQL能提供企业级的安全方案。
CDH提供统一的资源调度平台,能够利用最新的资源调度平台YARN分配集群中CPU,内存等资源的调度,充分利用集群资源;多样的数据分析平台–能够针对不用的业务类型提供不同的计算框架,比如针对批处理的MapReduce计算框架;针对交互式查询的Impala MPP查询引擎;针对内存及流计算的Spark框架;针对机器学习,数据挖掘等业务的训练测试模型;针对全文检索的Solr搜索引擎中科软针对中国邮政大数据平台项目专门成了了技术服务团队,并根据项目的需求、进展阶段量身打造了具体的服务内容,详情请参考技术支持部分。
项目中所涉及的软件包括:•Hadoop软件(包括而不限于Hadoop核心)▪数据采集层:Apache Flume, Apache Sqoop▪平台管理:Zookeeper, YARN▪安全管理:Apache Sentry▪数据存储:HDFS, HBase, Parquet▪数据处理:MapReduce, Impala, Spark▪开发套件:Apache Hue, Kite SDK•关系型数据库系统:SAP HANA企业版•ETL工具:SAP Data Services推荐方案中的核心技术产品Cloudera CDH及SAP HANA的测试报告请参考附录部分的国内某商业银行Cloudera CDH 性能测试测试以及SAP HANA检测报告部分。