烟草企业数据中心项目中ETL的分析和设计

２ １ 牟 第９ ００ 期
一 一 — — — — — — — — — — — — — — — — — — — — —
—
—
—
—
—
—
—
—
，
—
—
—
—
—
—
—
—
—
—
—
—
—
—
，
—
—
—
—
—
—
—
＿
—
—
—
—
—
—
—
，
—
—
—
—
—
＿
—
—
—
—
—
—
—
—
—
—
—
—
—Biblioteka Baidu
—
—
—
—
—
—
—
—
—
—
—
—
—
—
＿
—
—
—
—
—
－
—
—
—
—
—
—
ＣＡＩ Ｙｏ ｇ ｃ ａ ｇ ｎ ．ｈ ｎ
（ ｈ ｏ ａ ｇＴ ｂ ｃｏＣ ｍｐ ｎ ｆ ｎ ｎＰ ｏ ｉｃ ，ｈ ｏ ａ ｇ４２ ０ ， ｈｎ ） Ｓ ａｙ ｎ ｏ ａｃ ｏ ａ ｙｏ Ｈｕ ａ ｒ ｖ ｅＳ ａｙ ｎ ２ ００ Ｃ ｉａ ｎ
Ａ ｓ ａｔ ｃｏｄｎ ｏ ｔｅ ｔｂｃｏ ｂ ｓ ｅｓｅ ｔ ｐｉ ａ ｅ ｔ ｒ ｅｔｏｊｃｉ ｓ ｈｓ ｐ ｐｒ ｂ ｔ ｃ：Ａ ｃｒｉｇ ｔ ｈ ｏ ａｃ ｕｉ ｓ ｎｅ ｒ ｅ ｄｔ ｃｎｅ ｐｏ ｃ ｂｅｔ ｅ ，ｔｉ ａ ｅ ｒ ｎ ｒ ｓ ａ ｒ ｊ ｖ
的决策 提供数 据支 持这 一 整 个 过程 ， 对 其 中各 个 并
环 节涉 及到 的产 品能力进行 评估 。 Ｓ ｂｓ 公 司 Ｅ Ｌ工具 Ｄ 具 有满 足 本项 目需 求 ｙ ａｅ Ｔ Ｉ 的功 能 。Ｄ 与 Ａ Ｅ， Ｉ Ｓ Ｉ 为 Ｓｂ ｓ 公 司产 品 ， Ｑ均 ｙａｅ 它们
之 间互相 衔接可 以使 用 产 品本 身 的 很多 特 性 ， 以 可
基 础所在 ， 显得尤 为重要 。 Ｅ Ｌ Ｅ ｔ ｃ ｏ —ｒ ｓ ｒ ｔ ｎＬ ａ ｉ Ｔ ， ｘ ａｔ ｎＴａ ｆ ｍａｏ —ｏｄｎ ｒ ｉ ｎｏ ｉ ｇ的缩 写 ，
１ Ｅ Ｌ过 程概 述 Ｔ
Ｅ Ｌ的 目标 就是实 现数据 从地 市及省 局业务 系 Ｔ 统 抽取 到省局 统 一清 洗 、 工 、 加 转换 、 储 并 为公 司 存
② 主数据通 过 ＭＱ下 发到 Ａ Ｅ数据库 中。 Ｓ
③在 Ａ Ｅ中根据主数据对 Ｏ Ｓ缓存区的数据进行 Ｓ Ｄ
即数 据抽取 、 转换 和加载 。Ｅ Ｌ负责将 分布 的 、 构 Ｔ 异
数据 源 中的数 据如 关 系数 据 、 面数 据 文 件 等抽 取 平
清洗 、 转换并轻度汇总存入 Ａ Ｅ数据库 Ｏ Ｓ数据区。 Ｓ Ｄ
摘 要：根据烟草商业企业数据 中心项 目建设 的 目标，结合湖南烟草信 息化 系统现状，对数据 中心项 目中数据集成部分的 Ｅ Ｌ Ｔ 过程进行详细分析和设计 ，解决了烟草数据 中心项 目中Ｅ Ｌ过 Ｔ
程 的瓶 颈 问题 。
关键词 ：Ｅ Ｌ过程 ； 草数据 中心 ； Ｔ 烟 数据 库
Ａ ａ ｓ ｎ ｅｉｎｏ Ｔ ｂ ｃｏｅ ｔｒ ｒ ｅｄ ｔ ｅｔｒｐｏｅｔ ｎ ｌ ｉ ａ ｄｄ ｓ ｆ Ｌ ｉ ｔ ａｃ ｎｅｐｉ ａａｃｎｅ ｒｊｃ ｙｓ ｇ Ｅ ｎｏ ｓ
很大 程度 上节省工 作量 、 高 Ｅ Ｌ过程 稳 定性 。 Ｄ 提 Ｔ Ｉ
中使 用 的 Ｊ ｓ无法被 元数据 接 口解 析 的 问题 ， 以通 可 过在 开发 中尽量使 用 Ｓ Ｌ代替 Ｊ Ｑ ｓ的方式来缓 解 。 数 据集成 的整 体过程 如下 ：
① 从省 局 及 地 市 业 务 系 统 抽 取 数 据 进 入 省 局 Ａ Ｅ数 据库 Ｏ Ｓ 存 区。 Ｓ Ｄ 缓
ｃ ｍｂ ｎ ｓｔ ｅ ｓａｕ ｆｉ ｏ ｍａｉｎ ｓ ｓｅ ｎ Ｈｕ ｎ ｔｂ ｃ ｏ，ｙ ｔｍａｉａｌ ｎａｙ ｅ ｎ ｅ ｉｎ ｅ ｐ ｒ ｏ ｉ ｅ ｈ ｔ ｔ ｓｏ ｒ ｔｏ ｙ ｔｍｓｉ ｎａ ｏ ａ ｃ ｓ ｓｅ ｔ ｌｙ ａ ｌｚ ｓａ ｄ ｄ ｓｇ ｓｔ ａ ｔ ｎｆ ｃ ｈ ｏ ｆｔ ＥＴＬ ｐ ｏ ｅ ｓｆ ｒｄ ｔ ｎ ｅ ｒ ｔｏ ｆｄ ｔ ｅ ｔｒ，ｏ ｖ ｓｔ ｅｂｏｔ ｎ ｃ ｒ ｂ ｅ ｏ ｈｅ ｒ ｃ ｓ ｏ ａａ ｉｔ ｇ ａｉｎ ｏ ａ ａｃ ｎ ｅ Ｓ ｌｅ ｔ ｅ ｅ ｋ ｐ ｏ ｌ ｍ ｆＥＴＬ ｉ ｅ ｔｂ ｃ ｏ ｈ ｌ ｎ ｔ ｏ ａ ｃ ｈ
ｅｔｒｒ ｅｄ ｔ ｃｎｅ ｒ ｅｔ ｎｅｐｉ ａ ｅ ｔ ｐｏ ｃ． ｓ ａ ｒ ｊ
Ｋｅ ｒ ｓ： ＥＴ ｐｒｃ ｓ ｙ ｗｏ ｄ Ｌ ｏ ｅ ｓ；ｔｂａ ｃ ａａ ｃ ｎ ｅ ；ｄ ｔｂａ ｅ ｏ ｃ ｏ ｄ ｔ ｅ ｔｒ ａａ ｓ
０ 引 言
数 据 中心是 以数 据 为 中心 的项 目， 数 据 的准 对 确性 、 可靠性有很 高 的要求 。数 据 中心项 目的 数据 集成需 要基于对业 务 的理解 和对行业 未来发展 的前 瞻 眭分 析 ， 建立一 套科 学 、 壮 的 企业 级 业 务模 型 ， 健 来 全面 的、 系统 的 、 实 的描述 出企业运 营过程 的全 真 貌 。通过企 业 级 业务 模 型 进 而 可 以建 立 一 个 系 统 的、 合理 的、 次分 明的企业 级数据 存储平 台。 层 湖南烟 草 目前 已有营销 、 叶 、 烟 专卖 、 财务 、 人力 资源 等业务 系统 ， 且 形成 了一 个 简单 的应 用 集 成 并 门户 ， 数据仍 然在 各 个 业务 系统 中各 自为 阵 。数 但 据 中心项 目建设 的 目标 在 于数 据 的集 中 ， 而数 据集 成的根 本 又在 于 Ｅ Ｌ过 程 ， Ｔ 因此 ， Ｔ Ｅ Ｌ过 程 是项 目
—
—
—
—
—
—
—
—
—
＇
—
—
—
—
—
—
—
＿
—
—
—
—
一
中图分类号 ：Ｐ １ ．３ Ｔ ３ １１
文献标 识码 ： Ａ
文章编 号：０ ９— ５２ ２ １ ）９— ０ ３— ３ １０ ２ ５ 【０ ０ ０ ０ ８ ０
烟 草 企 业 数 据 中心 项 目 中 Ｅ Ｌ的分 析 和 设 计 Ｔ
蔡 永 长
（ 湖南省邵 阳市烟草公司 ， 阳 ４２ ０ ） 邵 ２ ００