南方水泥大数据查询探索
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
列式数据库基本原理简介
数据总是以block或page为单位来存取的 数据分析总是针对少数字段大量数据做查询
传统行式数据库
c 1 c 2 c 3 c 4 c 5 c 6 c 7 c 8 c 9 …
r1 r2 r3 r4 r5
行存储结构下每 次IO访问的的数据块里 真正需要的数据只占很 少一部分
列式数据库
预算管 控体系
管控体系
信息管 控体系 风险管 控体系 绩效管 控体系 人力资 源管控 体系
性能问题的前因后果
产品缺陷 产品设计时只能针对最常用场景进 行优化,无法全面考虑到不同用户 纰漏 管理缺陷 系统日常维护工作繁琐容易出现
的不同应用场景;
无法预先屏蔽各种难于意料的用户 操作行为。 系统不好用 系统不可 用! 架构设计没有综合考虑不同应用对
4245
3000
2500
2000
1541
1500
1000
710
500
0
0
0
0
0
8
101
41
129
178 41 2011年 45
214
0 2007年 2008年 2009年 2010年 2012年上半年
集团管控——应用平台管控
战略 管理层
战略预算
绩效管理记分卡 供应链分析 报表管理 财务分析 合并报表 专家分析 管理监控室
集中管理: •人员信息 •组织架构
业务重心
湖州南方
区域管理: •财务集中 •资金集中 •销售集中 •采购集中 •库存管理 •资产管理 •人力资源管理
工厂
工厂
区域管理: •财务集中 •资金集中 •销售集中 •采购集中 •库存管理 •资产管理 •人力资源管理
工厂
业务执行
工厂 •财务执行 •销售执行 •采购执行 •生产执行 •质量管理 •物流执行
一、南方水泥信息化基本情况
二、南方水泥大数据查询探索
信息系统面临的性能挑战
并发操作用户越来越多 数据量越来越大 综合分析与决策处理越来越多 客户化开发越来越多
财务管 控体系 战略管 控体系
资金管 控体系
信息化是支撑企业管理的重要方法
1. 越来越多生产经营行为纳入到信息化 系统管理; 2. 实时掌握企业目前的运作状况,及时 发现问题并找出原因; 3. 迅速、科学地响应市场,并能支持科 学决策。
下属并表企业300多家,主要 分布于东南和中南六省一市 水 泥 产 能 1.38 亿 吨 , 总 资 产 576亿元,2010年实现利税总 额45亿元,资产和产销规模 以及利税均位居全国行业第 二位
管理架构
运营总部 区域公司 成员企业
运营管控中心 利润中心
运营中心 利润中心
成本中心
4
管理手段
“RCM”整合策略
区域公司业务“五集中”管理
5
发展历程
企业家数
150 100 89 137 121 146 40000 30000 20000 16425 26814 28880
从业人数
31597 800
总资产(亿元)
621.63 600 400 294.33 88.47 368.28 500.26
应用简评
总部通过邮件接收上报报表 财务应用完整,业务应用完整, 有单体一起实施了一体化 基本无业务管理系统
桐庐南方作为原三狮信息化试点 用友NC、德佳软件、 应用了单厂财务业务一体化,其他 金思维 企业软件应用较分散 软件以财务应用为主,半数以上 云天MIS、德佳软件 未使用业务系统 个别企业应用了淮海中联自行开 淮海自主开发销发软件 发的业务管理系统 无 云天MIS 无业务管理系统
50
0
23
10000 0
4581
200
0
2007年 2008年 2009年 2010年 2011年
2007年 2008年 2009年 2010年 2011年
2007年 2008年 2009年 2010年 2011年
总产能(万吨)
15000 10000 5000 0 2007年 2008年 2009年 2010年 2011年 3000 8700 10000 13856 11876 12000 10000 8000
SQL3
查七个月
查2010全年至今 查一个月
132.27秒
236秒 120秒 251秒 5分16秒
20分钟以上
未测试完成 66.687秒 20分钟以上 未测试完成
均为728740行
1292748行 均为63行 均为398行 740行
单表数据量 1亿5千万
SQL4
查七个月 查2010全年至今
全面预算
决策支持
资金管理
资金计划 资金结算 存款管理
资金预测 资金调度 信贷管理
资金监控 银企直链 综合授信
财务管理
应收管理 固定资产
总账 应付管理 费用预算
现金管理 报销管理 存货核算
管理会计
责任成本 产品成本
ABC成本 项目会计 业绩评价
核算 控制层
帐户管理 票据管理
资产管理 采购管理
采购管理
资产信息
使用管理
租赁管理
运行管理
工单管理 销售运营 SOP 重复排程 制造执行 MES 薪酬管理 福利管理存管理 采购计量
采购计划 质量管理 合同管理
制造管理
MPS MRP
需求管理
销售管理
销售管理 内部交易
销售价格 信用管理 返利价保
销售计划 运输管理 销售计量
生产管理
车间管理
南方水泥大数据查询探索
南方水泥信息中心 凌晟
一、南方水泥信息化基本情况
二、南方水泥大数据查询探索
公司简况
公司由中国建材集团(央企, 世界500强企业)实施大水泥 区域化战略,通过资本运营和 联合重组于2007年9月26日在 东南经济区组建 主营业务:水泥、熟料、商混 生产与销售
规模和市场分布:
2011年启用模块41个, 使用最多的模块有178家 企业应用。所有企业在 用模块数总和为2874个
2010年启用模块41个, 使用最多的模块有138家 企业应用。所有企业在 用模块数总和为1541个 2009年启用模块8个,财 务会计模块有102家企业 使用。所有企业在用模 块数总和为710个
0 2874
效率优化工作对综合技能要求较
高,且耗时耗力
业务并发量越来越大
系统的不同要求,功能混合,难于
针对性优化
交易数据量越来越大
分析类业务操作复杂,难于评估, 系统无法满足综合管理的要求
架构缺陷
需求增长
性能问题的解决方案
利用同城备份体 系,进行写入查询 分离
监控每个命令的执 行效率,如SQL运 行时间 提高研发人员技 术能力,完善产 品生产过程管理 产品自身完善 架构改进 性能诊断工具
使用列式数据库将原 混合架构分离为互不 影响的OLTP和OLAP 系统
引入新技术
利用同城备份系统进行读写分离
利用列式数据库进行读写分离
日常查询
图形化报表
多维报表
日常业务
中间件
动态SQL路由
ORACLE 数据库
列式 数据库
基于日志的实时增量数据同步 RDI(Real-time Data Integration)
业务 管理层
供应商门 户
人力资源
组织机构 人员信息
人员变动 劳动合同
时间管理 招聘管理
绩效管理 培训管理
政策制度
自助服务 总裁桌面
综合报表
动态建模
模板管理 组织管理 基础数据 权限管理 流程管理
个性化 会计平台 预警平台 多数据库
NCtools
实施工具 数据卸载
企业搜索 开发平台 最佳实践
NC集成
交换平台 数据传输 Portal 应用平台
租赁管理
运行管理
工单管理 销售运营 SOP 重复排程 制造执行 MES 薪酬管理 福利管理
维修计划
维修管理
文档管理
制造管理
MPS MRP
需求管理
销售管理
销售管理 内部交易
销售价格
销售计划 运输管理 销售计量
业务 管理层
库存管理 区域覆盖30% 质量管理 采购计量 合同管理
生产管理
车间管理
信用管理 区域覆盖30% 返利价保
供应商门 户
人力资源
区域覆盖100%
人员信息
组织机构
人员变动 劳动合同
时间管理 招聘管理
绩效管理 培训管理
政策制度
自助服务 总裁桌面
综合报表
动态建模
模板管理 组织管理 基础数据 权限管理 流程管理
个性化 会计平台 预警平台 多数据库
NCtools
实施工具 数据卸载
企业搜索 开发平台 最佳实践
NC集成
总销量(万吨)
9300 7009 4661 630 2007年 2008年 2009年 2010年 2011年 10122 1200
煤炭采购总量(万吨)
1133 968 1154
1000
800 600 400 200 184
712
6000 4000 2000 0
0
2007年 2008年 2009年 2010年 2011年
平台 支持层
平台技术
多操作系统
J2EE
WAS/UF中间件
B/S浏览器
应用系统管理
集团管控——应用平台管控
战略 管理层
战略预算
绩效管理记分卡 供应链分析 报表管理 财务分析 合并报表 专家分析 管理监控室
区域覆盖100%
资金管理
资金计划
全面预算
决策支持
资金预测
资金监控 银企直链 综合授信
财务管理
应收管理 固定资产
6
信息化历史应用
区域公司
南方总部 湖州南方 嘉兴南方 杭州南方 金华南方 江苏南方 上海南方 江西南方 湖南南方
主流财务软件
无 用友NC、用友U8、金蝶 K3 用友U8、新中大 用友NC、用友T6 用友NC、用友U8 用友U8、金蝶K3 用友U8 用友U8 用友U8、浪潮
主流业务系统
无 德佳软件、金蝶K3 无
查一个月 SQL1
查七个月 查2010全年至今 查一个月 SQL2 查七个月 查2010全年至今 查一个月
10.52 秒
29.17秒 40.15秒 35.21 秒 46.15秒 26.58秒 82.2秒
60秒
20分钟以上 未测试完成 228秒 20分钟以上 未测试完成 87.906秒
均为1437行
均为9400行 18145行 均为 236行 均为1468行 2801行 均为126485行
•
•
•
•
当前信息化规模
4500
4000
3500
财务业务一体化完成湖州、杭州、湖南3个区域,6个区域未建 系统内可处理业务的总人数:4126人 2012年启用模块45个, 月末高峰期并发约1100左右 使用最多的模块有214家 企业应用,所有企业在 未来每3人拥有1个系统帐号 用模块数总和为4245个 每10人会有1人同时登录系统
广西南方
无
应用系统较为统一,特别是业务 系统统一为云天MIS 用友U8、浪潮、云天 韶峰用U8实现了财务业务一体化, 其他企业大多数未使用业务系统 MIS 信息化全面启动时广西区域还未 无 成立
信息化建设历程
2009 • 财务总帐 • 网络报表 • • • • 2010 核心机房 核心网络 OA 财务业务一 体化单厂试 点 人力资源管 理区域试点 资金集中管 理区域试点 库存管理区 域试点 总帐报表升 级试点 2011 • 总帐报表升 级推广8区域 • 库存管理推 广8区域 • 资金集中管 理推广3区域 • 人力资源完 成9区域 • 财务业务一 体化区域试 点 • 资产集中管 理试点 2012 • 资产集中管 理推广2区域 • 资金集中管 理推广4区域 • 财务业务一 体化推广2区 域 • 同城备份机 房启用
总账
现金管理
管理会计
ABC成本
核算 控制层
帐户管理 票据管理
资金结算 资金调度 区域覆盖80% 存款管理 信贷管理
应付管理 报销管理 区域覆盖100% 费用预算 存货核算
责任成本 项目会计 区域覆盖20% 产品成本 业绩评价
资产管理 采购管理
采购管理
资产信息 区域覆盖30% 使用管理 电子采购 采购计划
c 1 c 2 c 3 c 4 c 5 c 6 c 7 c 8 c 9 …
r1 r2 r3
少量IO就能得到需要 的全部数据
r4
r5
其他特点:免索引,高压缩,不适合更新和删除
数据测试情况
小范围查询场景性能相当 大范围查询(超过半年)列式数据库优势明显 更大范围oracle完全无法支撑,列式数据库能够从容应付 SQL 期间 列数据库 ORACLE 数据结果
交换平台 数据传输 Portal 应用平台
平台 支持层
区域覆盖100%
平台技术
多操作系统
J2EE
WAS/UF中间件
B/S浏览器
应用系统管理
集团管控——三层管理架构
集中管理: •授信管理 •价格政策
集中管理: •财务管理 •资金管理
业务核心
集中管理: •集采目录管理 •供应商管理
工厂
业务重心
区域公司