数据仓库建设中的数据冗余问题及其解决方法探讨
合集下载
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
统所 处 理 的业 务 有 交 叉 时 就会 产生 重 复 的 交 易记
图 １ 重 复 数 据 的 产 生 虽 然 可 以 通 过 增 加 “ 据 来 源 ”字 段 区分 这 两 数 条 记 录 ，但 这 样 不 仅 浪 费 存 储 空 间 ，而 且 使 得 基 于
数 据仓 库进行 的企业 整体 的查 询 、 合 等应 用设计 聚
后 ， 据 仓 库 中 的 数 据 可 以 准 确 支 持 查 询 、 合 操 数 聚
作。
在 实 际 应 用 该 方 法 进 行 Ｅ Ｌ流 程 开 发 中 ， 以 Ｔ 有 下 问题需 要注，可 以 利 用 该 字 段 排 除 重 复 的 数 据 。但 是 ，国 内 商 业 银 行 目前 各 业 务 系 统 之 间 的 联 系 很 少 而 且 常 常 不 充 分 ，在 这 种 情 况 下 ，仅 仅 通 过 分析 数 据 之 间 的关 联性 就 无 法 准确 地 解 决数 据
出 台 ， 业 银 行 正 面 临 着 越 来 越 严 格 的 监 管 要 求 和 商
更加 激烈 的市场 竞争 。 为了提 高银行 竞 争力 ， 何 如
助 渠 道 进 行 的 缴 费 业 务 也 就 是 说 ， 数 据 仓 库 的 在
事 件 （ 易） 题 的数据 源 中 ， 一 笔交 易有两 条记 交 主 同
中使 用 交 易 码 ，在 手 机 银 行 系 统 中使 用 业 务 类 型 ，
建 设 数 据 仓 库 必 须 解 决 数 据 冗 余 问 题 ， 成 一 形
个 关 于 企 业 全 局 的 、 一 的 、 一 的 数 据 视 图 ， 得 统 唯 使 用户能从 一致 的 、 质 的数 据源 （ 据仓 库 ） 优 数 中抽 取 需 要 的数据进 行分析 。
◆ 新 疆大 学 信息 学院
赵 成坤
胡 字光
一
、
引 言
易 将 在 中 间 业 务 平 台 系 统 和 自助 业 务 系 统 中 分 别 产 生 一 条 记 录 ，记 录 的 内 容 都 是 该 客 户 在 Ａ Ｍ 自 Ｔ
在 亚洲 金融危 机 之后 ， 随着 巴 塞 尔 Ｉ 协 议 的 Ｉ新
ＦＮ ＮＣＡｌ ＯＭ Ｕ Ｅ ＵＡ Ａ ＩＡ Ｉ Ｃ Ｐ Ｔ ＲＯＦＨ Ｎ Ｎ
应 用 技 术
２０ ０ ６年 ２月 １ 日 第 ２期 ０
囫
仓 库常产 生数 据冗余 问题 。
三 、 何 解 决 数 据 冗 余 问题 如
务重 复 的交易数 据 ， 要 是代 收 、 付 交易 。 主 代 具 体 措 施 是 ： ＡＴ 自助 系 统 、 上 银 行 系 统 在 Ｍ 网
排 除 代 收 、 付 等 业 务 的 交 易 数 据 。 这 样 ， 逻 辑 代 从
的 角 度 ，银 行 这 些 业 务 系 统 所 记 录 的 交 易 数 据 在 最 终 放入 数 据 仓 库 时 ， 一 笔交 易 只 会 有 一 条 与之 对 应 的 交 易 记 录 ， 经 过 清 洗 、 换 等 标 准 化 处 理 在 转
数 据 仓 库 是 企 业 整 体 业 务 的 抽 象 ， 提 供 一 个 它 关 于 企 业 全 局 的 公 共 视 图 ， 中存 贮 稳 定 的 历 史 信 其 息 源 ， 信息源 对所 有对 象都是 一 致 的 、 用 的 ， 该 可 因 此 ， 立 数 据 仓 库 必 须 整 合 银 行 现 有 的 众 多 业 务 系 建
录 ， 图 １所 示 。 如
利 用银 行 数 据 资 产进 行 决 策 分析 成 为 国 内商 业银 行 信 息 化建 设 的 热点 。通 过 对数 据 仓 库 的 分 析研
究 ，建 立 全 局 集 中 的 商 业 智 能 解 决 方 案 ，已 经 成 为 各 大 银 行 对 内 加 强 经 营 管 理 、 外 更 好 了 解 客 户 需 对 求 、 强 盈利 能力 的重要 手段 。 增 二 、 行 业 务 交 叉 产 生 数 据 冗 余 银
统 的 数据 ， 便用 户 必须能 够基 于数 据仓 库进 行准 以
Ａ Ｍ 自动系统 Ｔ 网上银行 系统
确 的 横 向 、纵 向分 析 。 但 在 整 合 中经 常 会 产 生 数 据 冗 余 问题 ， 在 国 内某商业 银行 一级 分行 全局 级数 如 据 仓 库 的建 设 中 ， 件 （ 易 ） 题 将 整 合 来 自该 银 事 交 主 行 的 数 十 个 业 务 系 统 的 数 据 ，当 这 些 不 同 的 业 务 系
复 杂 、 效 且 容 易 出 错 。业 务 的 交 叉 使 银 行 的 数 据 低
录 。例如 ： 户 在 Ａ Ｍ 机 上办理 缴 费业务 ， 笔交 客 Ｔ 该
ＦＥＢ ．１０ ． ２００６ Ｏ ．２ Ｎ
ａ ｍ
维普资讯
坪ｊ ｌ ７ 舍骷电 ＝ Ｊ 蕾 Ｉ
维普资讯
应 用 技 术
２０ ０ ６年 ２月 １ ０日 第 ２ 期
坪如 金融董 ｊ ｜ 薯 ．
￣ Ａ ＣＡ Ｏ Ｐ ￣ＨＯ Ｕ Ｎ Ｎ Ｎ ＩＬ Ｃ Ｍ Ｕ ＦＨ Ａ Ａ
数据仓 库建设 中的 数据 冗余 问题 及其解决方 法探讨
◆ 中国 建设银 行新 疆 分行
解 决 数 据 仓 库 建 设 中 的 数 据 冗 余 问 题 首 先 要
了解 相 关 的 业 务 系统 及 其 业 务 ，明确 重 复 数 据 产 生 的 流 程 ， 定 其 特 征 。 当 重 复 的 数 据 之 间 存 在 准 确 确
关 联 的 字 段 时 （ 中 间 业 务 系 统 记 录 了 ＡＴ 自助 如 Ｍ
（ ） 一 、在 整 合 众 多 的 业 务 系 统 时 ，应 该 分 步 实
施 ， 每 一 步 的正 确 性 进 行 验 证 。业 务 上 相 关 的 系 对 统应该 放在一 起 实施 。
图 １ 重 复 数 据 的 产 生 虽 然 可 以 通 过 增 加 “ 据 来 源 ”字 段 区分 这 两 数 条 记 录 ，但 这 样 不 仅 浪 费 存 储 空 间 ，而 且 使 得 基 于
数 据仓 库进行 的企业 整体 的查 询 、 合 等应 用设计 聚
后 ， 据 仓 库 中 的 数 据 可 以 准 确 支 持 查 询 、 合 操 数 聚
作。
在 实 际 应 用 该 方 法 进 行 Ｅ Ｌ流 程 开 发 中 ， 以 Ｔ 有 下 问题需 要注，可 以 利 用 该 字 段 排 除 重 复 的 数 据 。但 是 ，国 内 商 业 银 行 目前 各 业 务 系 统 之 间 的 联 系 很 少 而 且 常 常 不 充 分 ，在 这 种 情 况 下 ，仅 仅 通 过 分析 数 据 之 间 的关 联性 就 无 法 准确 地 解 决数 据
出 台 ， 业 银 行 正 面 临 着 越 来 越 严 格 的 监 管 要 求 和 商
更加 激烈 的市场 竞争 。 为了提 高银行 竞 争力 ， 何 如
助 渠 道 进 行 的 缴 费 业 务 也 就 是 说 ， 数 据 仓 库 的 在
事 件 （ 易） 题 的数据 源 中 ， 一 笔交 易有两 条记 交 主 同
中使 用 交 易 码 ，在 手 机 银 行 系 统 中使 用 业 务 类 型 ，
建 设 数 据 仓 库 必 须 解 决 数 据 冗 余 问 题 ， 成 一 形
个 关 于 企 业 全 局 的 、 一 的 、 一 的 数 据 视 图 ， 得 统 唯 使 用户能从 一致 的 、 质 的数 据源 （ 据仓 库 ） 优 数 中抽 取 需 要 的数据进 行分析 。
◆ 新 疆大 学 信息 学院
赵 成坤
胡 字光
一
、
引 言
易 将 在 中 间 业 务 平 台 系 统 和 自助 业 务 系 统 中 分 别 产 生 一 条 记 录 ，记 录 的 内 容 都 是 该 客 户 在 Ａ Ｍ 自 Ｔ
在 亚洲 金融危 机 之后 ， 随着 巴 塞 尔 Ｉ 协 议 的 Ｉ新
ＦＮ ＮＣＡｌ ＯＭ Ｕ Ｅ ＵＡ Ａ ＩＡ Ｉ Ｃ Ｐ Ｔ ＲＯＦＨ Ｎ Ｎ
应 用 技 术
２０ ０ ６年 ２月 １ 日 第 ２期 ０
囫
仓 库常产 生数 据冗余 问题 。
三 、 何 解 决 数 据 冗 余 问题 如
务重 复 的交易数 据 ， 要 是代 收 、 付 交易 。 主 代 具 体 措 施 是 ： ＡＴ 自助 系 统 、 上 银 行 系 统 在 Ｍ 网
排 除 代 收 、 付 等 业 务 的 交 易 数 据 。 这 样 ， 逻 辑 代 从
的 角 度 ，银 行 这 些 业 务 系 统 所 记 录 的 交 易 数 据 在 最 终 放入 数 据 仓 库 时 ， 一 笔交 易 只 会 有 一 条 与之 对 应 的 交 易 记 录 ， 经 过 清 洗 、 换 等 标 准 化 处 理 在 转
数 据 仓 库 是 企 业 整 体 业 务 的 抽 象 ， 提 供 一 个 它 关 于 企 业 全 局 的 公 共 视 图 ， 中存 贮 稳 定 的 历 史 信 其 息 源 ， 信息源 对所 有对 象都是 一 致 的 、 用 的 ， 该 可 因 此 ， 立 数 据 仓 库 必 须 整 合 银 行 现 有 的 众 多 业 务 系 建
录 ， 图 １所 示 。 如
利 用银 行 数 据 资 产进 行 决 策 分析 成 为 国 内商 业银 行 信 息 化建 设 的 热点 。通 过 对数 据 仓 库 的 分 析研
究 ，建 立 全 局 集 中 的 商 业 智 能 解 决 方 案 ，已 经 成 为 各 大 银 行 对 内 加 强 经 营 管 理 、 外 更 好 了 解 客 户 需 对 求 、 强 盈利 能力 的重要 手段 。 增 二 、 行 业 务 交 叉 产 生 数 据 冗 余 银
统 的 数据 ， 便用 户 必须能 够基 于数 据仓 库进 行准 以
Ａ Ｍ 自动系统 Ｔ 网上银行 系统
确 的 横 向 、纵 向分 析 。 但 在 整 合 中经 常 会 产 生 数 据 冗 余 问题 ， 在 国 内某商业 银行 一级 分行 全局 级数 如 据 仓 库 的建 设 中 ， 件 （ 易 ） 题 将 整 合 来 自该 银 事 交 主 行 的 数 十 个 业 务 系 统 的 数 据 ，当 这 些 不 同 的 业 务 系
复 杂 、 效 且 容 易 出 错 。业 务 的 交 叉 使 银 行 的 数 据 低
录 。例如 ： 户 在 Ａ Ｍ 机 上办理 缴 费业务 ， 笔交 客 Ｔ 该
ＦＥＢ ．１０ ． ２００６ Ｏ ．２ Ｎ
ａ ｍ
维普资讯
坪ｊ ｌ ７ 舍骷电 ＝ Ｊ 蕾 Ｉ
维普资讯
应 用 技 术
２０ ０ ６年 ２月 １ ０日 第 ２ 期
坪如 金融董 ｊ ｜ 薯 ．
￣ Ａ ＣＡ Ｏ Ｐ ￣ＨＯ Ｕ Ｎ Ｎ Ｎ ＩＬ Ｃ Ｍ Ｕ ＦＨ Ａ Ａ
数据仓 库建设 中的 数据 冗余 问题 及其解决方 法探讨
◆ 中国 建设银 行新 疆 分行
解 决 数 据 仓 库 建 设 中 的 数 据 冗 余 问 题 首 先 要
了解 相 关 的 业 务 系统 及 其 业 务 ，明确 重 复 数 据 产 生 的 流 程 ， 定 其 特 征 。 当 重 复 的 数 据 之 间 存 在 准 确 确
关 联 的 字 段 时 （ 中 间 业 务 系 统 记 录 了 ＡＴ 自助 如 Ｍ
（ ） 一 、在 整 合 众 多 的 业 务 系 统 时 ，应 该 分 步 实
施 ， 每 一 步 的正 确 性 进 行 验 证 。业 务 上 相 关 的 系 对 统应该 放在一 起 实施 。