大数据云平台项目V3
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
组件 集群能力 组件扩展 任务调度 运行监控
能力描述 HDFS Hbase Hive IBM DB2 Oracle Sqlserver Sybase Mysql Kingbase PostgreSQL HTTP MongoDB Flume Kafaka TCP/IP Webservice 时间戳 全表对比
业务审批系统
EBA智能设备系统
人力HER系统
停车系统
3
技术架构
4
SEFONSOFT SOLUTIONS A BETTER WAY
建设思路
整体设计，突出重点 统筹规划，分步实施 整合资源，协同共享 积极创新，务实高效 优化机制，统一标准
5
SEFONSOFT SOLUTIONS A BETTER WAY
资源 数据 应用 服务 安全 标准
整合与完善硬件基础设施，形成计算、 网络和存储共享资源池 基于大数据技术，改善信息资源的整合、 挖潜、分析和研判
实现跨业务综合应用支撑体系，实现层 级整合、领域整合、系统整合
标准化和自动化的数据管理服务流程
强有力的网络与信息安全保障
着手制定和完善平台建设、应用交互、 数据共享等相关标准
11
融合采集ETL- 监控管理
ETL任务执行一览无余 可视化手段多角度作业监控 作业执行状态与成功率监控 对作业进行多角度排序
全方位洞察一项任务执行 单一业务的任务详情 图形化展示任务执行日志 任务运行情况变化曲线
12
SEFONSOFT SOLUTIONS A BETTER WAY
告警帮你随时把握任务异常 定义指定任务的报警规则 定制指定任务的报警渠道 指定报警信息的接收者 根据需要控制告警规则的启用与关闭
通过直接配置，实现多种算法进行数据评估分析，包括平均线、指数平滑、 线性回归、同比、环比、占比等。
ASCII(string)
CHAR(number)
Contains(string, substring)
ENDSWITH(string, substring)
FIND(string, substring, [start])
FINDNTH(string, substring,
occurrence)
LEFT(string, number)
SPACE(number)
SPLIT(string, delimiter, token
number)
STARTSWITH(string, substring)
时间函数
TISRDIMA(TsEt(rsintrgin) g) UMPAPKEERD(sAtrTinE(gy)ear, month, day)
商业智能平台-功能架构
SEFONSOFT SOLUTIONS A BETTER WAY
O L
选择图表
图表分析
选择业务数 据集
配置维度度 量
统计报表分析
联动配置
组件与组件 联动
查询条件与 组件联动
A P
配置分析指 标
配置计算指 标
轮播配置
简单报表
查询条件配置
分 析
参数配置
配置常量线
配置高级分 析线
复杂报表
支持20多种主流数 据库采集，30多种 数据文件格式，20 种清洗组件
7
融合采集ETL-采集流程
原始数据源
数据采集交换区
数据 抽取
调度
任务流程
流程 控制
操作 控制
转换流程
数据 转换
数据 加载
调度
子任务
控制 操作
流数据采集传输
SEFONSOFT SOLUTIONS A BETTER WAY
数据湖
分散、种类多样化， 时效性差异大
任务并发度控制（任务级）、任务启动、任务中断、提供定时调度（多样定时组合，时间间隔可以到秒）， 并能可视化配置； 提供跨节点调度，方便位于不同机器上运行节点之间的调度，并能可视化配置
图形监控、统计监控、日志报告
10
融合采集ETL-构件库
SEFONSOFT SOLUTIONS A BETTER WAY
标准数据仓库配套Hadoop产品，适用于大数据 量场景（TB级别以上）
PT
Mysql
Oracle
Hive
HBase
集群
Driver
外部业务数据源
17
Master
WorkerNod e
WorkerNod e
WorkerNod e
商业智能平台-数据预处理
SEFONSOFT SOLUTIONS A BETTER WAY
协同互动
分析报告
优势1:
1.不需要事前建立 数据立方体 2.节约系统构建时 间周期 3.需求发生变化时， 可以快速应对，易 于维护
优势2:
1.不影响原业务系 统，不给源数据库 造成压力 2.不需要事前建立 关联表，不需要事 前设计维度
优势3:
1.前端展现工具丰富多彩 2.操作简单，非IT技术者的 业务人员也可以随时随意制 作统计分析报告 3.Web、Excel、Dashboard 等多种统计分析界面，产品 线丰富，能满足各种层次用 户的各种需求
基于数据库日志分析（oracle、mysql、Sqlserver）
备注 独有 独有 独有
独有 独有
Access输入、Excel输入、固定宽度文件输入、文件内容加载至内存、流查询、值映射、插入/更新、列拆 分为多行、列转行、去除重复记录、唯一行（哈希值）、增加常量等20多种清洗组件
支持处理节点的扩展，增加机器等方式扩展处理能力 插件扩展
Vue.js
BE Server
EMgr
外部业务数据源
数据分析查询流程
14
数据分析查询流程(已存储在数仓)
业务配置流程
业务数据库 Βιβλιοθήκη Baidu仓
系统管理流程
商业智能平台-算法支持
100余种基础算法支持
数字函数
ABS(number) ACOS(number) ASIN(number) ATAN(number) ATAN2(y number, x number ） CEILING(数字) COS(number) COT(number) DEGREES(number) DIV(整数 1, 整数 2) EXP(number) FLOOR(数字) HEXBINX(number, number) HEXBINY(number, number) LN(number) LOG(number [, base]) MAX(number, number) MIN(number, number) PI( ) POWER(number, power) Radians (number) ROUND(number, [decimals]) SIGN(number) SIN(number) SQRT(number) SQUARE(number) TAN(number) ZN(expression)
能给客户带来的价值：
1.节省数据库和系统构建的成本 2. 优质的产品： 操作简单，减轻IT人员负担，易于推广 对于临时的、变化的需求可以及时快速的应对
16
商业智能平台-数据仓库
SEFONSOFT SOLUTIONS A BETTER WAY
通过数据抽取将数据包括上传的文件数据均存储在数据仓库中。
轻量级数据仓库内置主流RDB，适用于小数据量 场景（GB级别）
SEFONSOFT SOLUTIONS A BETTER WAY 6
融合采集ETL
SEFONSOFT SOLUTIONS A BETTER WAY
伟业ETL在传统ETL基础上支持Hadoop、Hbase、实时流等数据的采集、转换，主要能力如下：
批量采集
提供存储过程、触发 器、脚本、sql、 sqoop、文件等方式 批量采集能力
数据整合
SEFONSOFT SOLUTIONS A BETTER WAY
打通内部EAS系统、智慧社区的系统、天眼系统、停车场管理 系统、EBA智能设备系统，通过数据清洗、转换、比对实现数 据整合，打破企业内部数据孤岛。
数据治理
构建企业内部三层架构数仓，形成运营、市场、财务类主题数 据资源，建立大数据挖掘分析模型，实现多维数据分析。
数据服务
构建数据管理门户平台，形成数据服务能力、数据集成能力、 数据管理能力、应用能力，从微观层面和宏观层面，提升企 业运营管理和辅助决策水平。
2
总体架构
SEFONSOFT SOLUTIONS A BETTER WAY
用户层 展示层
业务人员
办公电脑
运营部门
手机终端
集团领导
综合大屏
应用层
信 息 安 全 保 障 体 系 支撑层
15
SEFONSOFT SOLUTIONS A BETTER WAY
30余种高级挖掘分析算法支持
•F检验 •层次分析法 •单样本T检验 •卡方独立性检验 •卡方拟合性检验 •离散值特征分析 •皮尔森相关系数 •全表统计 •双样本T检验 •相关系数矩Correlation •协方差矩阵 •数据视图 •信息增益 •信息增益率 •方差分析ANOVA •指数平滑法
业务运营趋势分析
数据门户管理平台
数据共享服务 数据授权管理
数据资源管理 数据集成
数据服务引擎
数据接口
绩效考评评估
业务风险问题预判
标
准
规
商业智能BE
数据仓库
范
图表分析
报表分析
与
数据指标
管
联动配置
查询检索
理
数据模型
体
报告管理
权限管理
数据指标
系
数据融合采集ETL
任务配置
任务执行
状态监控
节点管理
数据层
财务系统
LEN(string)
LOWER(string)
LTRIM(string)
字符串函 MAX(a, b)
数
MID(string, start, [length])
MIN(a, b)
REPLACE(string, substring,
replacement)
RIGHT(string, number)
RTRIM(string)
联合多个异 构数据源
18
拖拽可视编辑数据处理流程
数据处理 节点，可 随时扩展
商业智能平台-自助数据分析
数据模型切换
过滤 排序
时序轮播
维度/度量/参数
19
分析特性
二维数轴 图表分析显示
数据分析快照
SEFONSOFT SOLUTIONS A BETTER WAY
智能图表选择
商业智能平台-统计分析
SEFONSOFT SOLUTIONS A BETTER WAY
SEFONSOFT SOLUTIONS POWERED BY DATA
数据云平台项目建设方案
构建大数据基础软件设施，发掘数据资源核心价值
www.sefonsoft.com
CHENGDU SEFONSOFT CO.,LTD
SEFONSOFT SOLUTIONS A BETTER WAY 1
建设目标
商业智能平台-OLAP分析
业务数据库
Oracle SQL
其他 DB
ETL
提取、清洗、 转换、装载、整合
数据仓库 DWH
…
Flat SFQiLlesDB
从源数据库导入数据 不给业务系统造成压力
SEFONSOFT SOLUTIONS A BETTER WAY
其他应用系统
BE 前端
BE Server
自助分析
8
多种技术手段，平台化系统，快速部署，统一管理
为大数据应用提供 全兼容数据存储
融合采集ETL-数据处理流程
SEFONSOFT SOLUTIONS A BETTER WAY
9
融合采集ETL-主要功能
SEFONSOFT SOLUTIONS A BETTER WAY
主要功能
支持的数据源
实时采集 CDC增量采集
实时采集
提供实时消息流、消息 队列等实时采集能力
多种数据源支持
HDFS、Hbase、Hive、 IBM DB2、Oracle、 Sqlserver、Sybase
Mysql、HTTP、 MongoDB
跨平台
支持云平台、Windows、 Unix、CentOs、Liunx
等主流操作系统厂商 的运行环境
丰富的组件
普通查询条 件配置
自定义查询 条件配置
报告管理
报告编辑
发布下线
导出打印 预警提醒
日志查询
辅助组件配 置
数据处理
数 据
表关联
字段过滤
处
数据过滤
计算字段
理
数据汇总
列排序
数
新建数据表
据
接
连接数据库
连接校验
入
数据预览
新建sql数 据表
13
抽取配置 抽取频率配置 抽取方式配置
数据预览
业务表管理
业务表编辑
发布下线
MAKEDATETIME(date, time)
MAKETIME(hour, minute,
second)
MAX(expression) 或 MAX(expr1,
expr2)
MIN(expression) or MIN(expr1,
expr2)
MONTH(date)
NOW( )
TODAY( )
YEAR (date)
数据预览
日志查询
业务表授权
上传文件 权限配置
自循环列 行列转换
数据表管理
发布下线 日志查询
数据表编 辑
权限管理
目录管理
功能权限 管理
数据权限 管理
登录与密码 设置
日志管理 移动端账号
管理
商业智能平台-业务架构
SEFONSOFT SOLUTIONS A BETTER WAY
SAE
ECore
SAE
BE Client
能力描述 HDFS Hbase Hive IBM DB2 Oracle Sqlserver Sybase Mysql Kingbase PostgreSQL HTTP MongoDB Flume Kafaka TCP/IP Webservice 时间戳 全表对比
业务审批系统
EBA智能设备系统
人力HER系统
停车系统
3
技术架构
4
SEFONSOFT SOLUTIONS A BETTER WAY
建设思路
整体设计，突出重点 统筹规划，分步实施 整合资源，协同共享 积极创新，务实高效 优化机制，统一标准
5
SEFONSOFT SOLUTIONS A BETTER WAY
资源 数据 应用 服务 安全 标准
整合与完善硬件基础设施，形成计算、 网络和存储共享资源池 基于大数据技术，改善信息资源的整合、 挖潜、分析和研判
实现跨业务综合应用支撑体系，实现层 级整合、领域整合、系统整合
标准化和自动化的数据管理服务流程
强有力的网络与信息安全保障
着手制定和完善平台建设、应用交互、 数据共享等相关标准
11
融合采集ETL- 监控管理
ETL任务执行一览无余 可视化手段多角度作业监控 作业执行状态与成功率监控 对作业进行多角度排序
全方位洞察一项任务执行 单一业务的任务详情 图形化展示任务执行日志 任务运行情况变化曲线
12
SEFONSOFT SOLUTIONS A BETTER WAY
告警帮你随时把握任务异常 定义指定任务的报警规则 定制指定任务的报警渠道 指定报警信息的接收者 根据需要控制告警规则的启用与关闭
通过直接配置，实现多种算法进行数据评估分析，包括平均线、指数平滑、 线性回归、同比、环比、占比等。
ASCII(string)
CHAR(number)
Contains(string, substring)
ENDSWITH(string, substring)
FIND(string, substring, [start])
FINDNTH(string, substring,
occurrence)
LEFT(string, number)
SPACE(number)
SPLIT(string, delimiter, token
number)
STARTSWITH(string, substring)
时间函数
TISRDIMA(TsEt(rsintrgin) g) UMPAPKEERD(sAtrTinE(gy)ear, month, day)
商业智能平台-功能架构
SEFONSOFT SOLUTIONS A BETTER WAY
O L
选择图表
图表分析
选择业务数 据集
配置维度度 量
统计报表分析
联动配置
组件与组件 联动
查询条件与 组件联动
A P
配置分析指 标
配置计算指 标
轮播配置
简单报表
查询条件配置
分 析
参数配置
配置常量线
配置高级分 析线
复杂报表
支持20多种主流数 据库采集，30多种 数据文件格式，20 种清洗组件
7
融合采集ETL-采集流程
原始数据源
数据采集交换区
数据 抽取
调度
任务流程
流程 控制
操作 控制
转换流程
数据 转换
数据 加载
调度
子任务
控制 操作
流数据采集传输
SEFONSOFT SOLUTIONS A BETTER WAY
数据湖
分散、种类多样化， 时效性差异大
任务并发度控制（任务级）、任务启动、任务中断、提供定时调度（多样定时组合，时间间隔可以到秒）， 并能可视化配置； 提供跨节点调度，方便位于不同机器上运行节点之间的调度，并能可视化配置
图形监控、统计监控、日志报告
10
融合采集ETL-构件库
SEFONSOFT SOLUTIONS A BETTER WAY
标准数据仓库配套Hadoop产品，适用于大数据 量场景（TB级别以上）
PT
Mysql
Oracle
Hive
HBase
集群
Driver
外部业务数据源
17
Master
WorkerNod e
WorkerNod e
WorkerNod e
商业智能平台-数据预处理
SEFONSOFT SOLUTIONS A BETTER WAY
协同互动
分析报告
优势1:
1.不需要事前建立 数据立方体 2.节约系统构建时 间周期 3.需求发生变化时， 可以快速应对，易 于维护
优势2:
1.不影响原业务系 统，不给源数据库 造成压力 2.不需要事前建立 关联表，不需要事 前设计维度
优势3:
1.前端展现工具丰富多彩 2.操作简单，非IT技术者的 业务人员也可以随时随意制 作统计分析报告 3.Web、Excel、Dashboard 等多种统计分析界面，产品 线丰富，能满足各种层次用 户的各种需求
基于数据库日志分析（oracle、mysql、Sqlserver）
备注 独有 独有 独有
独有 独有
Access输入、Excel输入、固定宽度文件输入、文件内容加载至内存、流查询、值映射、插入/更新、列拆 分为多行、列转行、去除重复记录、唯一行（哈希值）、增加常量等20多种清洗组件
支持处理节点的扩展，增加机器等方式扩展处理能力 插件扩展
Vue.js
BE Server
EMgr
外部业务数据源
数据分析查询流程
14
数据分析查询流程(已存储在数仓)
业务配置流程
业务数据库 Βιβλιοθήκη Baidu仓
系统管理流程
商业智能平台-算法支持
100余种基础算法支持
数字函数
ABS(number) ACOS(number) ASIN(number) ATAN(number) ATAN2(y number, x number ） CEILING(数字) COS(number) COT(number) DEGREES(number) DIV(整数 1, 整数 2) EXP(number) FLOOR(数字) HEXBINX(number, number) HEXBINY(number, number) LN(number) LOG(number [, base]) MAX(number, number) MIN(number, number) PI( ) POWER(number, power) Radians (number) ROUND(number, [decimals]) SIGN(number) SIN(number) SQRT(number) SQUARE(number) TAN(number) ZN(expression)
能给客户带来的价值：
1.节省数据库和系统构建的成本 2. 优质的产品： 操作简单，减轻IT人员负担，易于推广 对于临时的、变化的需求可以及时快速的应对
16
商业智能平台-数据仓库
SEFONSOFT SOLUTIONS A BETTER WAY
通过数据抽取将数据包括上传的文件数据均存储在数据仓库中。
轻量级数据仓库内置主流RDB，适用于小数据量 场景（GB级别）
SEFONSOFT SOLUTIONS A BETTER WAY 6
融合采集ETL
SEFONSOFT SOLUTIONS A BETTER WAY
伟业ETL在传统ETL基础上支持Hadoop、Hbase、实时流等数据的采集、转换，主要能力如下：
批量采集
提供存储过程、触发 器、脚本、sql、 sqoop、文件等方式 批量采集能力
数据整合
SEFONSOFT SOLUTIONS A BETTER WAY
打通内部EAS系统、智慧社区的系统、天眼系统、停车场管理 系统、EBA智能设备系统，通过数据清洗、转换、比对实现数 据整合，打破企业内部数据孤岛。
数据治理
构建企业内部三层架构数仓，形成运营、市场、财务类主题数 据资源，建立大数据挖掘分析模型，实现多维数据分析。
数据服务
构建数据管理门户平台，形成数据服务能力、数据集成能力、 数据管理能力、应用能力，从微观层面和宏观层面，提升企 业运营管理和辅助决策水平。
2
总体架构
SEFONSOFT SOLUTIONS A BETTER WAY
用户层 展示层
业务人员
办公电脑
运营部门
手机终端
集团领导
综合大屏
应用层
信 息 安 全 保 障 体 系 支撑层
15
SEFONSOFT SOLUTIONS A BETTER WAY
30余种高级挖掘分析算法支持
•F检验 •层次分析法 •单样本T检验 •卡方独立性检验 •卡方拟合性检验 •离散值特征分析 •皮尔森相关系数 •全表统计 •双样本T检验 •相关系数矩Correlation •协方差矩阵 •数据视图 •信息增益 •信息增益率 •方差分析ANOVA •指数平滑法
业务运营趋势分析
数据门户管理平台
数据共享服务 数据授权管理
数据资源管理 数据集成
数据服务引擎
数据接口
绩效考评评估
业务风险问题预判
标
准
规
商业智能BE
数据仓库
范
图表分析
报表分析
与
数据指标
管
联动配置
查询检索
理
数据模型
体
报告管理
权限管理
数据指标
系
数据融合采集ETL
任务配置
任务执行
状态监控
节点管理
数据层
财务系统
LEN(string)
LOWER(string)
LTRIM(string)
字符串函 MAX(a, b)
数
MID(string, start, [length])
MIN(a, b)
REPLACE(string, substring,
replacement)
RIGHT(string, number)
RTRIM(string)
联合多个异 构数据源
18
拖拽可视编辑数据处理流程
数据处理 节点，可 随时扩展
商业智能平台-自助数据分析
数据模型切换
过滤 排序
时序轮播
维度/度量/参数
19
分析特性
二维数轴 图表分析显示
数据分析快照
SEFONSOFT SOLUTIONS A BETTER WAY
智能图表选择
商业智能平台-统计分析
SEFONSOFT SOLUTIONS A BETTER WAY
SEFONSOFT SOLUTIONS POWERED BY DATA
数据云平台项目建设方案
构建大数据基础软件设施，发掘数据资源核心价值
www.sefonsoft.com
CHENGDU SEFONSOFT CO.,LTD
SEFONSOFT SOLUTIONS A BETTER WAY 1
建设目标
商业智能平台-OLAP分析
业务数据库
Oracle SQL
其他 DB
ETL
提取、清洗、 转换、装载、整合
数据仓库 DWH
…
Flat SFQiLlesDB
从源数据库导入数据 不给业务系统造成压力
SEFONSOFT SOLUTIONS A BETTER WAY
其他应用系统
BE 前端
BE Server
自助分析
8
多种技术手段，平台化系统，快速部署，统一管理
为大数据应用提供 全兼容数据存储
融合采集ETL-数据处理流程
SEFONSOFT SOLUTIONS A BETTER WAY
9
融合采集ETL-主要功能
SEFONSOFT SOLUTIONS A BETTER WAY
主要功能
支持的数据源
实时采集 CDC增量采集
实时采集
提供实时消息流、消息 队列等实时采集能力
多种数据源支持
HDFS、Hbase、Hive、 IBM DB2、Oracle、 Sqlserver、Sybase
Mysql、HTTP、 MongoDB
跨平台
支持云平台、Windows、 Unix、CentOs、Liunx
等主流操作系统厂商 的运行环境
丰富的组件
普通查询条 件配置
自定义查询 条件配置
报告管理
报告编辑
发布下线
导出打印 预警提醒
日志查询
辅助组件配 置
数据处理
数 据
表关联
字段过滤
处
数据过滤
计算字段
理
数据汇总
列排序
数
新建数据表
据
接
连接数据库
连接校验
入
数据预览
新建sql数 据表
13
抽取配置 抽取频率配置 抽取方式配置
数据预览
业务表管理
业务表编辑
发布下线
MAKEDATETIME(date, time)
MAKETIME(hour, minute,
second)
MAX(expression) 或 MAX(expr1,
expr2)
MIN(expression) or MIN(expr1,
expr2)
MONTH(date)
NOW( )
TODAY( )
YEAR (date)
数据预览
日志查询
业务表授权
上传文件 权限配置
自循环列 行列转换
数据表管理
发布下线 日志查询
数据表编 辑
权限管理
目录管理
功能权限 管理
数据权限 管理
登录与密码 设置
日志管理 移动端账号
管理
商业智能平台-业务架构
SEFONSOFT SOLUTIONS A BETTER WAY
SAE
ECore
SAE
BE Client