电信Bl系统中的数据质量管控
合集下载
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
科技创新导报 2012 NO.32 Science and Technology Innovation Herald 电信 B I系统中的 数 据 Nhomakorabea 量管 控
管理科学
杨宇 （中国移动通信集团吉林有限公司业务支撑中心 吉林长春 130021)
摘 要：该文通过建立电信BI系统中数据质量评估标准，分析影响数据质量的各个因素，在数据生成的各个阶段提供必要的手段对数据质量
进行管控，并根据统计数据价值和数据生产成本的方法，对数据生命周期管理提供依据，建立全面的电信BI系统数据质量管控机制。
关键词：BI 数据质量 ETL 数据挖掘 数据仓库 数据成本 数据价值 生命周期
中图分类号：TP39
文献标识码：A
文章编号：1674-098X（2012）11（b）-0186-01
时至今日，BI（Business Intelligence） 系统在电信 企 业 的 运 营 管 理中已 经不 可 或 缺 ，无 论 是 运 营 监 控、网 络 优 化 、精 细 化营 销 还 是 渠 道 建 设、竞 争 应 对 等 等，都 活 跃 着 B I 的 身 影 。该 文 不 深 入 讨 论 B I 系 统 在电信 企 业 I T 支 撑 中 起 到 的 重要 作用， 而着重分析 BI系统 发 挥作用的 一 个重要 前 提，即 数 据 质 量，未 经 评 价 的 数 据 质 量 不 仅 不 能 帮 我 们 解 决 问 题、创 造 效 益，反 而 会 误 导 我 们 做 出 错 误 的 决 策 、带 来 损 失，所 以 如 何 评 价 数 据 质 量、如 何 保 障 数 据质量，对BI系统 的建 设 和 维 护 来说 至 关 重要。
1 建立数据质量评估标准 建立全面、科学、合理的数据质量评 价
标 准 是 保 障 数 据质量 的 前 提。毫 无 疑 问， 数据的准确性和及时性是数据质量的最基 本 要求，提 供 错 误 的 数 据或 者已 经 失 去意 义 的 过 期 数 据，都 会 带 来 严重 的后 果，一 般 情况下，数 据 的 准 确 性 和及 时 性 都 作为 数 据质 量 评 估 的 基 本 标 准 。在 此 基 础 上，建 立 更完 善 的 数 据质 量 管 控 体系，必 须考虑 增 加 符 合行业特点 的 其他评 估 标 准。
一 方 面 ，电 信 B I 系 统 的 数 据 来 源 于 B O S S 、C R M 、网 管 等 多 个上 游 系 统 ，通 过E T L 过 程 形成 数 据 仓 库中的 基 础 数 据， 再 根 据 具体业务需 求，对其加 工（分析、挖 掘）形成 专 题 数 据 供 使 用。数 据 的 获 取 和 加 工 过 程，必 然 消 耗 一定 的人 工 成 本 和 硬 件资源（CPU，存储等），即数 据 的生 产成 本；另一方面，结果数据生成以后必然 要以 一定 形式（分析、报 表、查询 等）提 供 给 最 终用户 进 行 消 费，这个 过 程 可 以认 为 是 数 据价值的体现。
源 数 据 中的 错 误，可 以 采 用 校 验 文件 稽 核、关 联 性 检 查、数 据 波 动 检 查 等 方 式 进行 稽 核，及 时 发 现 源 数 据 中的 问 题；
系 统 资 源 问 题，可 以 对 文件 系 统 、数 据 库 表 空 间、C P U、内 存 等 的 使 用 情况 进 行 监 控，确 保系 统 资 源紧 张 时及 时 发 现 并 处 理，如 果 系 统 资 源 确 实已 接 近 上 限，可 以 考 虑 扩 容 或 者下线 一 部 分 低 价 值 应 用解 决； 2.3 数据提供过程监控
数 据 提 供 是 监 控 的 最 后 环 节，如 果 数 据 提 供不及 时 将 影 响 用户感 知，若 提 供 错 误 数 据，则 更 会 造 成 不良 后 果 。所 以 这个 环 节 要求 能 够及 时 发 现 问 题，并 快 速 处 理，具 体可 以 采用增 加 基于 元 数 据 的 规 则配 置监 控，比 如 收 集 结 果 数 据 的 元 数 据（ 应 用 名 称、数据 表、数据生成程 序名称、程 序部署 位 置、数 据生 成周期、数 据生 成时间、负责 人），基 于 这 些 元 数 据 开发 数 据 稽 核 程 序， 配 置稽 核 规 则（包 括 数 据 生 成 及 时 性 稽 核、 特 殊 值稽 核、波 动 稽 核、关 联 稽 核等），维 护人员访 问 稽 核 页 面，就 能 看 到 有 哪 些 应 用 需要稽核，稽核结果如何，当稽核没有通 过 时，负责 人能 够 收 到 短信通知，及 时处 理。
2 .1 需 求开发 过 程 监 控 在 需 求 开发 过 程 中，会 涉及 数 据质 量
的因素主 要 是 处 理 逻 辑 错 误，产生 逻 辑 错 误 的原 因包 括口径 理 解 错 误 或 者 是 人 为 疏 忽等，解 决 这 种 问 题 只需 在 上 线 之前 充 分 测 试 和 核 对，并由需 求 提 出人 进行 确 认 后 再 提 交 结 果 或 者上 线，这 种 问 题 都 能 杜 绝， 因此，只需要将开发、测试和稽核流程 规范 化、制度化即可。 2.2 数据生产过程监控
数 据 生 产 过 程中的 数 据质 量 问 题，因 素 包 括系 统 故 障 、源 数 据 中 错 误、系 统 资 源 紧张：
系统 故 障 问 题 可 以 通 过 增 加 软、硬件监 控措施，对系统中的关键点和故障易发点进行 监控，在发生故障时第一时间通知相关人员进 行处理，并对关键软、硬件实行冗余设计；
综 合 考虑 上 述情况，电信 B I 系 统 数 据 质量 的 评 价 标 准 就 应该 从 数 据 的 准确 性、 及 时 性 和 数 据 的生 产成 本、数 据 的 价 值 几 方面进行综合评 价。
2 保障数据准确性和及时性 我 们 首先 明 确了保 障 数 据 加 工 的 准 确
性 和及 时 性 是 数 据质 量 管 控 的 基 本工作。 通 过 对 深入分析以及日常积累不 难得出影 响 数 据 准确 性 和及 时 性 的因素，在 数 据 生 产 的 各 个 环 节，针对 这 些 因 素 进行有 效 管 理，即 可保 障 数 据 的及 时 性 和 准 确 性，起 码 当发生问题的时候能够第一时间发现：
管理科学
杨宇 （中国移动通信集团吉林有限公司业务支撑中心 吉林长春 130021)
摘 要：该文通过建立电信BI系统中数据质量评估标准，分析影响数据质量的各个因素，在数据生成的各个阶段提供必要的手段对数据质量
进行管控，并根据统计数据价值和数据生产成本的方法，对数据生命周期管理提供依据，建立全面的电信BI系统数据质量管控机制。
关键词：BI 数据质量 ETL 数据挖掘 数据仓库 数据成本 数据价值 生命周期
中图分类号：TP39
文献标识码：A
文章编号：1674-098X（2012）11（b）-0186-01
时至今日，BI（Business Intelligence） 系统在电信 企 业 的 运 营 管 理中已 经不 可 或 缺 ，无 论 是 运 营 监 控、网 络 优 化 、精 细 化营 销 还 是 渠 道 建 设、竞 争 应 对 等 等，都 活 跃 着 B I 的 身 影 。该 文 不 深 入 讨 论 B I 系 统 在电信 企 业 I T 支 撑 中 起 到 的 重要 作用， 而着重分析 BI系统 发 挥作用的 一 个重要 前 提，即 数 据 质 量，未 经 评 价 的 数 据 质 量 不 仅 不 能 帮 我 们 解 决 问 题、创 造 效 益，反 而 会 误 导 我 们 做 出 错 误 的 决 策 、带 来 损 失，所 以 如 何 评 价 数 据 质 量、如 何 保 障 数 据质量，对BI系统 的建 设 和 维 护 来说 至 关 重要。
1 建立数据质量评估标准 建立全面、科学、合理的数据质量评 价
标 准 是 保 障 数 据质量 的 前 提。毫 无 疑 问， 数据的准确性和及时性是数据质量的最基 本 要求，提 供 错 误 的 数 据或 者已 经 失 去意 义 的 过 期 数 据，都 会 带 来 严重 的后 果，一 般 情况下，数 据 的 准 确 性 和及 时 性 都 作为 数 据质 量 评 估 的 基 本 标 准 。在 此 基 础 上，建 立 更完 善 的 数 据质 量 管 控 体系，必 须考虑 增 加 符 合行业特点 的 其他评 估 标 准。
一 方 面 ，电 信 B I 系 统 的 数 据 来 源 于 B O S S 、C R M 、网 管 等 多 个上 游 系 统 ，通 过E T L 过 程 形成 数 据 仓 库中的 基 础 数 据， 再 根 据 具体业务需 求，对其加 工（分析、挖 掘）形成 专 题 数 据 供 使 用。数 据 的 获 取 和 加 工 过 程，必 然 消 耗 一定 的人 工 成 本 和 硬 件资源（CPU，存储等），即数 据 的生 产成 本；另一方面，结果数据生成以后必然 要以 一定 形式（分析、报 表、查询 等）提 供 给 最 终用户 进 行 消 费，这个 过 程 可 以认 为 是 数 据价值的体现。
源 数 据 中的 错 误，可 以 采 用 校 验 文件 稽 核、关 联 性 检 查、数 据 波 动 检 查 等 方 式 进行 稽 核，及 时 发 现 源 数 据 中的 问 题；
系 统 资 源 问 题，可 以 对 文件 系 统 、数 据 库 表 空 间、C P U、内 存 等 的 使 用 情况 进 行 监 控，确 保系 统 资 源紧 张 时及 时 发 现 并 处 理，如 果 系 统 资 源 确 实已 接 近 上 限，可 以 考 虑 扩 容 或 者下线 一 部 分 低 价 值 应 用解 决； 2.3 数据提供过程监控
数 据 提 供 是 监 控 的 最 后 环 节，如 果 数 据 提 供不及 时 将 影 响 用户感 知，若 提 供 错 误 数 据，则 更 会 造 成 不良 后 果 。所 以 这个 环 节 要求 能 够及 时 发 现 问 题，并 快 速 处 理，具 体可 以 采用增 加 基于 元 数 据 的 规 则配 置监 控，比 如 收 集 结 果 数 据 的 元 数 据（ 应 用 名 称、数据 表、数据生成程 序名称、程 序部署 位 置、数 据生 成周期、数 据生 成时间、负责 人），基 于 这 些 元 数 据 开发 数 据 稽 核 程 序， 配 置稽 核 规 则（包 括 数 据 生 成 及 时 性 稽 核、 特 殊 值稽 核、波 动 稽 核、关 联 稽 核等），维 护人员访 问 稽 核 页 面，就 能 看 到 有 哪 些 应 用 需要稽核，稽核结果如何，当稽核没有通 过 时，负责 人能 够 收 到 短信通知，及 时处 理。
2 .1 需 求开发 过 程 监 控 在 需 求 开发 过 程 中，会 涉及 数 据质 量
的因素主 要 是 处 理 逻 辑 错 误，产生 逻 辑 错 误 的原 因包 括口径 理 解 错 误 或 者 是 人 为 疏 忽等，解 决 这 种 问 题 只需 在 上 线 之前 充 分 测 试 和 核 对，并由需 求 提 出人 进行 确 认 后 再 提 交 结 果 或 者上 线，这 种 问 题 都 能 杜 绝， 因此，只需要将开发、测试和稽核流程 规范 化、制度化即可。 2.2 数据生产过程监控
数 据 生 产 过 程中的 数 据质 量 问 题，因 素 包 括系 统 故 障 、源 数 据 中 错 误、系 统 资 源 紧张：
系统 故 障 问 题 可 以 通 过 增 加 软、硬件监 控措施，对系统中的关键点和故障易发点进行 监控，在发生故障时第一时间通知相关人员进 行处理，并对关键软、硬件实行冗余设计；
综 合 考虑 上 述情况，电信 B I 系 统 数 据 质量 的 评 价 标 准 就 应该 从 数 据 的 准确 性、 及 时 性 和 数 据 的生 产成 本、数 据 的 价 值 几 方面进行综合评 价。
2 保障数据准确性和及时性 我 们 首先 明 确了保 障 数 据 加 工 的 准 确
性 和及 时 性 是 数 据质 量 管 控 的 基 本工作。 通 过 对 深入分析以及日常积累不 难得出影 响 数 据 准确 性 和及 时 性 的因素，在 数 据 生 产 的 各 个 环 节，针对 这 些 因 素 进行有 效 管 理，即 可保 障 数 据 的及 时 性 和 准 确 性，起 码 当发生问题的时候能够第一时间发现：