大数据平台-基础平台产品

作业精细化调度
针对每个作业可以配置不同的调 度频率
11
SEFONSOFT SOLUTIONS A BETTER WAY
告警帮你随时把握任务异常 定义指定任务的报警规则 定制指定任务的报警渠道 指定报警信息的接收者 根据需要控制告警规则的启用与关闭
SEFONSOFT SOLUTIONS A BETTER WAY
用
数据标准
Dashboard
可视设计UE
移动/微应用
&
服
实时大屏
务
数据质量
数据洞察Insight
数据探索 敏捷BI
统计分析 OLAP
人工智能Miner
数据挖掘 算法库
机器学习 模型库
流计算Streaming
分
实时分析 实时数据库
析
流数据处理 数据流规则
数据地图
数据共享
融合数据 (ETL)
批量采集 （Kettle）
Hive HBase
Impala
Map Reduce
HDFS
Spark YARN
Elastic
存
Search
储
&
计
算
实时采集 ຫໍສະໝຸດ BaiduFlume）
校验和清洗
实时消息 （Kafka）
采
网络爬虫 （PySpider）
集
3
ETL现状
SEFONSOFT SOLUTIONS A BETTER WAY
采集：大数据时代，数据来源极其广泛，数据有不同的类型和格式，这些特性对数据收集技术也提出了更高的要求， 数据的收集、预处理起着举足轻重的作用。
空间数据集成
支持矢量数据的交换 格式
集群及高可靠性
支持处理节点的扩展， 增加机器等方式扩展处 理能力
跨平台
支持云平台、Windows、
Liunx、Unix等主流 操作系统厂商的运行 环境
丰富的组件
支持20多种主流数 据库采集，30多种 数据文件格式，20 种清洗组件
5
ETL数据流程
原始数据源
数据采集交换区
能力描述 Windows、Unix、Ubuntu、CentOs、Liunx HDFS\Hbase\Hive IBM DB2、Oracle、Sqlserver、Sybase、Mysql、 PostgreSQL HTTP MongoDB Flume\Kafka TCP/IP Webservice 时间戳
系统演示
12
大数据治理实现数据内升
SEFONSOFT SOLUTIONS A BETTER WAY
SEFONSOFT SOLUTIONS APOBWETETREERDWBAY DATA
四方伟业大数据平台产品架构
全面透视大数据平台的架构、能力与价值
www.sefonsoft.com
CHENGDU SEFONSOFT CO.,LTD
CONTENT
1
SEFONSOFT SOLUTIONS A BETTER WAY
监
控
扩
管
展
理
接
接
口
口
数据 资源库
ETL资源库
文件 资源库
统一管理平台
运行控制 状态监控 日志查看 权限管理 节点管理 错误告警 性能统计 面板定制
7
ETL主要功能
主要功能 支持的运行平台
支持的数据源
实时采集
CDC增量采集
空间数据 集群能力
任务调度
8
运行监控
SEFONSOFT SOLUTIONS A BETTER WAY
SDC 融合数据ETL
2
Data Discovery Family
SEFONSOFT SOLUTIONS A BETTER WAY
银行业务
工商业务
政务业务
税务稽查
智能交通
智慧医疗
运维平台
用户管理 资源管理 系统监控 部署管理 安全管理 资源调度 日志审计
数据治理平台
共享服务/API／SDK
应
用户画像 搜索引擎 推荐引擎 舆情监控 反欺诈 图像识别 语音识别 智能管理 …
集成开发工具
数据源接入 流程开发 任务配置 任务部署 调试跟踪 任务执行 监控输出 运行日志
SEFONSOFT SOLUTIONS A BETTER WAY
ETL应用服务
认证授权
元数据
处理流程
ETL引擎 任务调度
性能管理
交换管理
转换引擎
适配器 组件
转换 组件
转换 流程
任务引擎
流程 控制
操作 控制
任务 调度
4
融合数据ETL主要特色
SEFONSOFT SOLUTIONS A BETTER WAY
伟业ETL在传统ETL基础上支持Hadoop、Hbase、实时流、网络爬虫等数据的采集、转换，主要能力如下：
批量采集
提供存储过程、触发 器、脚本、sql、 sqoop、文件等方式 批量采集能力
实时采集
提供实时消息流、消 息队列等实时采集能 力
数据 抽取
调度
任务流程
流程 控制
操作 控制
转换流程
数据 转换
数据 加载
调度
子任务
控制 操作
SEFONSOFT SOLUTIONS A BETTER WAY
数据湖
流数据采集传输
分散、种类多样化， 时效性差异大
多种技术手段，平台化系统，快速部署，统一管理
6
为大数据应用提供 全兼容数据存储
ETL核心架构
独有
丰富的ETL构件库
SEFONSOFT SOLUTIONS A BETTER WAY
9
ETL实现各种你所需的数据处理流程
SEFONSOFT SOLUTIONS A BETTER WAY
10
ETL的监控管理
ETL任务执行一览无余
可视化手段多角度作业监控 作业执行状态与成功率监控 对作业进行多角度排序
全表对比
基于数据库日志分析（oracle、mysql、Sqlserver）
备注 独有
独有
支持空间数据的采集，支持文件格式
支持处理节点的扩展，增加机器等方式扩展处理能力 任务并发度控制（任务级）、任务启动、任务中断、提供定时调 度（多样定时组合，时间间隔可以到秒），并能可视化配置； 提供跨节点调度，方便位于不同机器上运行节点之间的调度，并 能可视化配置 图形监控、统计监控、日志报告
传统ETL
传 统 ETL 专 注 于 结 构 化 数 据 的收集、转换、存储。在小 数据时代是能够支撑数据的 采集要求。
伟业（融合数据ETL）
伟业ETL是在传统ETL能力基 础之上补充了半结构化、非 结构化的数据采集的能力。
解决了大数据时代针对文本、 音频、视频、电子邮件、网 站数据的收集、转换和存储。
1 SDC 融合数据ETL 2 SDC 大数据治理平台 3 SDC 大数据共享服务平台 4 SDC 大数据存储计算平台
讲解人： 刘俊良 联系电话：18981701802 Email： liujunliang@sefonsoft.com
构造大数据的数据之源
SEFONSOFT SOLUTIONS A BETTER WAY