清洁生产数据库的建立与应用剖析

清洁生产数据库的建立与应用

余沁园，彭轲，刘刚

（重庆新颜科技咨询有限公司401147）

作者简介：余沁园（1973），男（羌），籍贯四川省北川县，工程师，硕士，研究方向清洁生产、环境信息化。电子邮箱yuqinyuan@。

摘要：清洁生产一种预防污染的环境战略，而开展清洁生产审核、实施清洁生产方案则是提升企业清洁生产水平、提高资源利用效率和从源头削减污染物的有效手段[1]。本文介绍一种基于关系型数据库的数据表模型和导入规则，用于从清洁生产审核报告中提取清洁生产方案，经数据抽取、转换、装载和清洗等步骤构建清洁生产数据库。同时，借助软件开发工具，实现清洁生产方案的查询和多样性呈现，为工业企业和咨询机构开展清洁生产审核、实现节能降耗提供技术支撑。

关键词：清洁生产；数据库；污染预防

Creation and Application of Cleaner Production

Database

YU Qin-yuan, PENG Ke, LIU Gang

(Chongqing New Look Technology Consulting Co., Ltd, Chongqing 401147)

Abstract: Cleaner production is a pollution-prevention oriented environmental strategy. Cleaner production assessment (CPA)and implementation of corresponding solutions are efficient and effective ways of elevating cleaner production level, optimizing resource utilization, and cutting pollutants from the source. This article introduces a relational-database based table model and import rules, by which cleaner production solutions are extracted from the CPA report, and database is built through data extraction, conversion, loading, and cleaning. At the same time, with proper software development tools, the query and diversity of cleaner production solutions can be realized. In this way, it can provide technical support for the industrial enterprises and consulting organizations to carry out CPA, save energy and reduce consumption.

Keywords: Cleaner production; database; pollution prevention

在清洁生产审核过程中，工业企业通常会产生和实施不同类型的清洁生产方案。这些方案有的花钱多，有的花钱少或者不花钱，有的侧重于工艺技术改造，有的侧重于加强管理或提高员工技能，然而都可以帮助企业提高资源利用效率、从源头削减污染物的产生，有一定的环境效益和经济效益。清洁生产审核咨询机构如果注重基础资料采集的完整性和准确性

[2]，以及清洁生产方案的有效收集和积累，则可为后续的其他清洁生产审核项目提供帮助，而构建有特色的清洁生产数据库则是实现知识积累最基础也最重要的工作。

2009年，重庆新颜科技咨询有限公司承担了“重庆清洁生产技术支撑平台”的建设，至今从审核过的200多个清洁生产项目中收集和积累了5000多项清洁生产方案，经数据清洗、整理后导入数据库，初步形成了涵盖汽摩、机械、化工、医药、建材等多个行业的清洁生产数据库。

1数据库构造

清洁生产数据库选用全球应用最广泛使用的开源数据库MySQL，运行于Linux操作系统之上。清洁生产数据库配置为关系型数据库，其E-R模型比较明晰，最基础的数据表为清洁生产方案表（solutions），字段设置如下表所示。

表1数据表字段设置（Table Columns Configuration）

其中，“项目编号”和“方案编号”构成数据表的主关键字。按清洁生产审核的有关规范，“方案类别”共分8类，包括：提高员工素质或完善激励机制、加强管理、资源能源节

约或原辅材料替代、优化过程控制或完善计量、回收利用废弃物或削减污染物、更新或维护设备、技术工艺改造、改进产品或包装物。“方案状态”共分3类，包括：已实施、正在实施和计划实施。“方案规模”共分2类，包括：中/高费方案和无/低费方案。

2数据清洗和整理

从形式上看，清洁生产方案的主要数据来源是咨询机构编制的《清洁生产审核报告》。然而，由于报告本身是非结构化的文本格式（多为MS Word格式），其中与清洁生产方案有关的汇总表的样式随编制人员不同而有一定差异，使得数据的抽取比较困难。同时，文本格式的表格数据存在段落符号不一致，中、英文符号不统一，半角全角符号混用，以及在Windows系列操作系统下数据编码格式与数据库装载工具要求有差异等问题，因此在进行数据装载时常常存在关键数据的导入异常中断，以及部分数据冗余、重复、缺失等问题。

数据的不规范，是建立清洁生产数据库的难点。要解决这个问题、确保数据装载成功，就需要在获取清洁生产方案后进行数据的抽取、转换和装载（数据ETL，即Extract, Transform & Load），通常如果缺乏专业的数据ETL工具，则利用几个常见工具也可完成，主要包括以下工作步骤：

1)新建一个MS Excel工作表。从《清洁生产审核报告》“方案的产生和筛选”一章中

拷贝清洁生产方案分类汇总表，并从“方案的实施”一章中拷贝已实施的清洁生产

方案成果汇总表和正在实施以及计划实施的清洁生产方案汇总表至Excel工作表，

并按表1内容进行数据列标题和内容调整

2)在Excel工作表中，将半角逗号“,”全部替换为全角逗号“，”，并将半角双引号""

替换为全角双引号“”

3)将文件另存为.csv文件（逗号分隔符文件）

4)再用Excel重新打开.csv文件，将所有数字类型的字段格式全部改为“常规”

5)在Excel中，将数字中的千分号全部删除，并确保所有单元格中的软回车字符全部

删除，保存文件

6)用Word打开.csv文件，将连续两个半角逗号“,,”替换为“,NULL,”

7)重复上一步骤，确保所有“,,”全部被替换为“,NULL,”

8)利用替换功能将“空格+逗号”替换为“逗号”，并利用高级替换功能将段落标记“,^P”

替换为“,NULL^P”，保存文件

9)将.csv文件用Notepad打开，另存为solutions.csv文件，记住选择编码为“utf”

数据按上述步骤清洗、完善之后，再用数据库管理工具（比如phpMyAdmin）导入solutions.csv文件，记住选择“Ignore duplicate rows”，字段分隔符选择逗号“,”。导入和装载作业完成后，就初步建立了清洁生产方案数据库。

值得注意的是，如果在清洁生产审核过程中善于使用Excel等软件工具，则可以从Excel 中直接进行数据转换和清洗，跳过上述步骤1，简化工作。