Transwarp Data Hub一站式大数据综合平台白皮书

星环信息科技（上海）有限公司

Transwarp Data Hub (TDH) 企业级一站式大数据综合平台

01

2015 TRANSWARP 星环科技

大数据时代的来临为众多企业带来了更多全新的发展机遇。星环科技基于Apache Hadoop 为企业开发了一站式大数据综合平台Transwarp Data Hub （简称TDH ）， 通过提供从数据存储、分布式计算、数据分析挖掘以及数据可视化的整套支持，帮助企业建立一个统一的数据和计算平台。企业用户可以在星环科技TDH 一站式大数据综合平台上采集、存储、分析、搜索、挖掘海量数据及其内在价值。TDH 一站式大数据综合平台涵盖：

TDH 一站式大数据综合平台是国内首个内嵌Apache Spark 计算框架的大数据平台软件， 也是国内外领先的高性能大数据分析平台。TDH 包含四个组成部分： Transwarp Hadoop 基础版、TranswarpInceptor 分布式内存分析引擎、Transwarp Hyperbase 分布式实时数据库和Transwarp Stream 流处理引擎。

一站式数据存储平台： TDH 通过内存计算技术、高效索引、执行计划优化和高度容错的技术，使得一个平台能够处理从GB 到PB 的数据，并且在每个数量级上都能提供比现有技术更快的性能； 企业客户不再需要混合架构，不需要孤立的多个集群。TDH 可以伴随企业客户的数据增长而动态不停机扩容，避免MPP 或传统架构数据迁移的棘手问题。

一站式资源管理平台： TDH 在统一存储上建立资源管理层，提供企业用户统一的计算资源管理、动态资源分配、多部门之间的资源配置和动态共享等功能，使多部门多应用可以灵活地在统一平台上平滑运行。一站式数据分析平台： TDH 支持批处理统计分析、交互式SQL 分析、在线数据检索、R 语言数据挖掘、机器学习、实时流处理、全文搜索和图计算，为企业客户提供广泛的计算支持能力，客户无需切换平台或架构即可完成复杂的任务。

一站式管理平台： TDH 作为企业级解决方案，开发了用户友好的管理界面、提供了系统安装、集群配置、安全访问控制、监控及预警等多方面支持，在可管理性方面优势显著。

系统可线性扩充存储容量或提高处理性能，只需要简单地向集群中增加机器，无需停机。有效解决企业由于数据增长导致的处理性能缓慢或频繁迁移数据的问题。满足新一代数据管理需求的TDH 一站式大数据综合平台改进的YARN 资源管理框架，可在同一份数据集上运行多种计算框架，动态创建SQL 统计、数据挖掘、机器学习、流处理等计算集群，满足企业多部门数据和计算资源统一管理的需求。Inceptor 交互式内存分析引擎，同时支持SQL 2003和R 语言，满足数据交互式分析和挖掘需求，加快企业决策速度。内置改进后的Apache Spark ，SQL 执行性能比Apache Hadoop 快10倍左右。

Hyperbase 实时数据库支持结构化、半结构化 、 非结构化等多种类型数据的在线存储、OLTP 事务、OLAP 检 索、全文搜索 、图分析和批处理统计业务等全方位 需求。Stream 分布式实时流处理引擎提供强大的流计算表达能力，可支持复杂的实时处理逻辑，满足企业实时告警、风险控制、在线统计

和挖掘等应用需求。采用普通商用服务器构建集群，最大程度降低成本；内置Erasure Code 先进编码技术，提供两倍存储效率和两倍容错能力；高效支持内存/闪存/硬盘混合存储，可提供最佳性价比存储配置。

无限水平扩展

统一数据处理平台

高速数据分析

灵活数据处理

实时流计算

超高性价比

2015 TRANSWARP 星环科技

02

图一：TDH 一站式大数据综合架构

星环专有

Apache 项目

Transwarp Data Hub 体系架构

Transwarp Hadoop

Transwarp Hadoop 提供基础的分布式文件系统作为存储引擎，YARN 作为资源管理框架，组合了一系列Apache 项目，为用户提供了数据的采集、存储、数据同步、批处理、工作流分析以及全文搜索功能，是TDH 不可或缺的基石。星环科技改进了Apache YARN 资源管理框架，可以在同一个HDFS 数据集上动态创建Inceptor 交互式分析集群、Map/Reduce 批处理集群以及实时流处理集群，提供多部门间资源配额管理、动态资源调配、资源共享的能力，为企业建立一站式数据平台提供有力支持。Transwarp Inceptor

Transwarp Inceptor 交互式分析引擎提供高速SQL 分析和R 语言数据挖掘能力，可帮助企业建立高速可扩展的数据仓库和/或数据集市，结合多种报表工具提供交互式数据分析、即时报表和可视化能力。Inceptor 提供完整的ANSI SQL 支持以及PL/SQL 过程语言扩展，可以支持复杂的数据仓库类分析应用，也使得从原有数据库系统迁移到Hadoop 更为容易。Transwarp Hyperbase

Transwarp Hyperbase 实时数据库是建立在Apache HBase 基础之上，融合了多种索引技术、分布式事务处理、全文实时搜索、图形数据库在内的实时NoSQL 数据库。Hyperbase 可以高效地支持企业的在线OLTP 应用、高并发OLAP 应用、批处理应用、全文搜索或高并发图形数据库检索应用，结合Inceptor 高速SQL 引擎，是企业创建可扩展在线运营数据库（Operational Database ）或者实时分析型数据库(ODS - Operational Data Store )的最佳选择。Transwarp Stream

Transwarp Stream 实时流处理引擎提供了强大的流计算表达能力，支持复杂的应用逻辑，生产系统的消息通过实时消息队列进入计算集群，在集群内以流水线方式被依次处理，完成数据转换、特征提取、策略检查、分析告警等复杂服务计算，最终输出到Hyperbase 等存储集群，实时生成告警页面、实时展示页面等。系统具备强扩展性、强容错、低延迟、高吞吐等特点，成熟应用于实时数据（如传感器数据）的实时告警、风险控制、在线统计和挖掘等业务。