ETL技术在高炉现场成本管理中的应用_苏昌亚

ETL 技术在高炉现场成本管理中的应用
苏昌亚
汪光阳（安徽工业大学计算机学院。

安徽马鞍山243002）
某钢铁公司利用数据仓库中ETL 技术实现高炉成本日日清，每天把高炉生产中产量、消耗量、单耗、单位成本展示出来，并且与标准单耗和标准单位成本比对，有效提高现场管理人员对于每日生产成本的把握，满足财务部门对于生产成本的实际核算。

1ETL 与数据仓库
把数据从数据源装入数据仓库的过程被称为ETL ，即数据
的抽取、转换和装载过程，而用于实现ETL 过程的专用工具则称为ETL 工具。

ETL 分别是三个英文单词Extract （数据抽取）、Transform （数据转换）和Load （数据装载）的首字母，基本过程就是从各业务系统(异构多种数据源)中提取数据，按照预先制订好的规则对抽取的数据进行转换，将数据按计划增量或全表导入到ODS （Operational Data Store ）或者数据仓库中。

ETL 是建立数据仓库第一步，也是非常重要的一步，数据仓库的理解有助于ETL 过程的设计。

目前［1］，国外关于数据仓库的
定义很多，业界公认的数据仓库概念的形成是以被称为“数据仓库之父”的W．H．Inman 出版《Building the Data Warehouses 》一书为标志。

该书对数据仓库作了这样的定义：数据仓库是一个面向主题的、具有集成性和相对稳定性、反映历史变化的数据集合，用于支持管理决策［2］。

数据仓库面向分析型数据处理，它不同于企业现有的操作型数据库；数据仓库是对多个异构的数据源的有效集成，集成后按照主题进行重组，并包含历史数据，而且存放在数据仓库中的数据一般不再修改。

建立数据仓库，需要明确知道数据仓库体系结构，这样ETL 位置就一目了然。

图1是DB－ODS－DW 架构，其中ODS （Operational Data Store ）是用于支持企业日常的全局应用的数据集合，ODS 是围绕主题的、集成的、可变的、当前或接近当前的数据集合，同时ODS 也包括细节级的操作信息［3］。

其中ODS 是
围绕主题的和集成的这一特点与数据仓库极为相似。

ODS 解决企业日常性的问题，只存放近期的数据，同操作型数据库类似，数据可进行联机增加、删除、更新等修改，有别于数据仓库，数据仓库中数据只是增加，没有修改，因此这又形成了数据仓库
DB－ODS－DW 的架构。

数据源中的数据首先通过ETL 工具被抽取到ODS 中进行集中存储和管理，然后再由ETL 工具抽取
到数据仓库中，形成我们所需要的数据。

图1DB－ODS－DW 架构
本文的ETL 处理是利用SAS 工具中BASE 模块进行处理，包括数据收集、处理和展现。

SAS 提供了世界级的分析、数据操纵和报表展现能力，它具有可伸缩性、高度的互用性和易管理性。

SAS 实现从数据源到数据仓库一气呵成集成式操作，根据不同需要，可以对清理好的数据进行重组，并支持手工编码，灵活有效完成任何数据处理和结果展示。

2ETL 处理
数据仓库ETL 数据流方向是抽取、清洗、规格化、提交。

在
具体实现时，首先确定数据源，即基础数据，然后进行数据抽取，根据业务逻辑进行清洗和规格化，并将清洗完的规范数据加载至数据仓库，最后作结果展示。

2．1数据抽取
数据仓库架构采用DB－ODS－DW 架构，首先需要确定数据源。

根据业务需要确定高炉的消耗量、产量、实际价格或是预算价格以及成本标准。

而根据查询日期精细程度分年、月、日，日数据直接从铁区取，而年、月数据则直接从公司的产销系统中取。

根据成本管理需要确定高炉成本系统对象，此处主要有主原料成本、辅原料成本、能源成本三大块，在根据成本对象确定成本科目，此处也是从公司产销系统中获得。

还有一部分是成本标
Appplication of ETL Technology at Blast Furnnace Site Cost Management
摘
要
公司高炉成本统计涉及各种成本汇总，统计过程较为繁琐。

ETL 技术能很好地支持各种数据汇总，同时支持成本统计、追溯，有效地完成成本统计工作。

主要使用SAS ETL 工具进行高炉现场成本统计。

有效提高了高炉现场成本管理质量以及公司对高炉成本控制，为降低成本在高炉下工序实施发挥着极其重要的作用。

关键词：成本管理，数据仓库，ETL ，SAS
Abstract
Company＇s cost statistics of blast furnace involves of the collection of various costs,and its statistical process is quite complicated．ETL technology can support various data collection,at the same time it can support cost statistics and tracing so as to complete cost statistical work effectively．This paper mainly discusses the appplication of ETL technology at blast furnace site cost management,which improves the quality of blast furnace site cost management and the control of blast furnace cost for the company．
Keywords :cost
management,DW,ETL,SAS
ETL 技术在高炉现场成本管理中的应用
104
《工业控制计算机》2012年第25卷第12期
准的数据，也是在数据仓库中利用ETL技术生成，并存储在数据仓库中。

标准是利用生产实绩生成计划值，计划值再根据成本生成规则生成成本标准。

计划值即指在企业内部共同认识的基础上，由企业统一规定的生产、技术、预算等方面重要的管理基础标准数值。

数据源主要来自铁区系统、产销系统和数据仓库。

数据流程如图2所示：
图2数据流程图
数据抽取方法分手工数据与自动抽取，自动抽取则分全表抽取和增量抽取。

根据实际业务需要，铁区数据原始为手工数据，需要手工抛账至铁区系统，而后由批处理作业自动将铁区数据从铁区系统加载至ODS中。

本数据仓库数据是非实时数据，系统默认处理前一天数据，每天所看到的最新为前一天截止二十三点之前的数据。

系统批处理作业设定在凌晨5：30开始从铁区系统抽取数据，所以铁区数据必须在5：30之前进入铁区系统。

至于年、月的数据以及成本科目同样是由批处理作业自动加载至ODS中，源数据来源为产销系统。

批处理作业全部采用全表抽取，每天抽取前一天二十三点之前的所有数据。

至于成本标准，则已经在数据仓库中，无需每天抽取，结果在做展示时，根据业务需要可以选择任一版本。

2．2ETL技术在成本计算中的应用
本文以日数据为例。

首先需要确定高炉各种消耗量，主要有主原料、辅原料和能源。

由于数据来源不同，处理比较复杂，把消耗量和产量作为一个ETL主题程序，方便处理和数据读取。

高炉成本主要有主原料成本、辅原料成本以及能源成本。

表1列举了高炉工序主要成本种类和对象。

表1成本种类与成本对象
根据业务需要，主题ETL处理如下：第一、从产销数据取出三大成本种类中所有成本对象消耗的成本科目及单位；第二、确定每天高炉的产量，从炼铁产能日数据中获得，产能数据也是铁区数据根据既定ETL逻辑每天自动生成；第三、取出高炉各种消耗量。

由于各成本种类的数据源不同，各成本对象具体取数据逻辑也有差异，能源消耗量从铁区能源消耗抛账数据取得，主原料消耗和辅原料消耗则从高炉消耗履历中取得。

所有数据处理后加载至数据仓库中。

消耗量和产量生成后，从产销系统取出每种成本对象的单价，分实绩价格和预算价格。

则可计算单耗。

单耗，即是指加工贸易企业在正常加工条件下加工单位成品所耗用的料件量。

实际生产单耗计算公式如下：
B
a
＝M／W
其中：B a表示实际生产单耗，M表示消耗量，W表示产量；
实际生产单位成本：
L a ＝B
a
*P
其中：L a表示实际生产单位成本，B a表示实际生产单耗，P 表示价格；
成本对象的标准单耗，我们直接从成本标准里面取，则标准单位成本即是拿成本标准乘以价格，单位成本即指生产单位产品而平均耗费的成本。

计算公式如下：
L
s
＝B
s
*P
其中：L s表示标准单位成本，B s表示标准单耗，P表示价格；
则标准与实际差异计算计算如下：
单耗差异：D
b
＝B
a
－B
s
其中：D b表示实际单耗与标准单耗差异，B a表示实际生产单耗，B s表示标准单耗；那单耗差异率R db则是实际单耗与标准单耗差异D b与标准单耗B s的比值在乘以100％。

单位成本差异：D
l
＝L
a
－L
s
其中：D l表示实际单位成本与标准单位成本差异，L a表示实际生产单位成本，L s表示标准单位成本；则单位成本差异率R dl 与标准单位成本单耗L s的比值在乘以100％。

2．3结果展示
根据基础数据和成本计算规则生成数据，需要做结果展示，即数据仓库将已经处理好的数据展示给用户，用户借助数据做进一步的分析和处理。

展示格式如如表2。

表2结果展示
其中成本科目中1开头表示主原料，4开头表示辅原料，5开头表示能源。

10＠＠则表示是矿耗小计，即主原料中铁矿石消耗，1＠＠＠即是主原料小计，以此为例，4＠＠＠即是辅原料小计，5＠＠＠即是能源小计，＠＠＠＠表示所有的消耗，即合计。

在查询时，各高炉可分开查询，也可把所有高炉，即高炉分厂汇总查询。

3实施的效果
1）以前每天炼铁在开早会时，所有数据都是通过人工整理，现通过系统自动生成，可以大量减少原来手工计算错误率，而且节省时间也提高了工作效率。

2）统计的数据来源定位明确、具有反追溯性。

当发现脏数据时，即可根据现有逻辑推理，找出数据差异的原因。

3）支持历史信息查询。

数据仓库简而言之，可以理解为数据的仓库，每天生成消耗与产量数据都保存在数据仓库中，可随时查询。

4）可以比对每一天的成本差异，及时发现可能存在的异常情况，针对异常再进行分析、对比，找出问题，实施动态成本管理，保证生产过程成本受控。

5）该功能统计的数据具体到每一个成本对象，为公司成本精细化、系统化管理提供基础。

6）高炉日日清的投入使用，为炼铁中炼焦和烧结日日清功能实施提供了现实的参考价值。

参考文献
［1］王戌．数据仓库中ETL工具的分析与实现［D］大连：大连理工大学，2008：2
［2］Eric sperly企业数据仓库［M］．北京：人民邮电出版社，2008．8［3］郑旭．基于ODS的商业智能技术的研究及其在钢铁行业中的应用［D］．鞍山：辽宁科技大学，2005：33［收稿日期：2012．11．5
］105。