基于海量网络数据的可视化服务平台的研究
合集下载
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
成海 量数据 的挖掘 和综 合分 析 ，以企 业 为主体 、 以市场 为 导向 、产 学研 结合 ，是 互联 网时代 ，以 高新 科技 实现 节能减 排 、 能 源合理 利 用的创 新 ，充分 实现 了 “ 资源 共享 、低 投入 、 消耗 、低排 放 和 高效 率” 低 ，提供 构 建各种 大 型企 业 网络的 数据挖 掘应 用 常用 的功 能 ，值 得 大力发 展和 推 广。 关键 词 ：海 量 网络数据 ；可视 化 ；服 务 平 台
过 去 的企业 信 息化建 设往 往 要购 买服 务器 、存 储和 网络 设备 等 ，而 对 于中 小企业 来说 ，花 重 金购 建这 些高 端设 备 ，实在 是有 些 力 不从心 ，是企业 发展 的一 大 负担 ， 中小企 业信 息化 建设 因此 滞 后 。而基 于互 联 网 的服 务 交付 式软 件 的出现 ，使 得企 业进 行信 息化 建设 的 费用大 大 降低 ， 业无 需再 购买繁 杂 的 Ⅱ 设 备 ， 企 就可
节 移动 平均 及组 合 算法 ，运 用这 些算 法模 型可 实现 分类 与 回 归、 聚 类分 析 、时序 模式 、关 联规 则、偏 差检 测 等各类 数 据挖 掘应 用 ， 而且平 台在 挖掘 功 能 、挖掘 算法 、挖 掘建 模等 方 面具 有较 强 的扩 （ ）研 究基 于 Ｗｅ ｅｖ ｅ 服务 接 口和 Ｓ Ａ 架构 二 ｂＳｒｉ ｓ ｃ Ｏ
以实 现信 息化 管理 。按 照构 建 “ 字珠江 三 角洲 ” 的总体 要求 ， 数 突破 区划 、部 门、行业 界 限和 体制 性障碍 ，加 大 信息 基础 设施 建
完成包 括对 数 据进 行预 处理 ，包 括 空值 处理 、 降维处 理 、离 散处 理 ，主 成分 分析 、抽样 、过滤 等 ，创 建 、训 练 、评 估模 型 ，预 测 ， 修 改模型 参数 ，误 差分 析等 一 系列 功能 。支 持分 类 与回 归、 聚类
在 数据 挖掘 应用 中数 据挖 掘服 务 的整合 。
第三 方软 件有 系架 构 可 以实现 服务 提 供者 与服 务 消
提 供数据 挖 掘服 务 ， 从而大 大 降低数 据挖 掘 使用难度 ， 用 Ｓ Ａ 采 Ｏ
储 存 空 间、平 台和 服 务 。据 Ｉ Ｃ 国际数 据 公司） 测 ，用 于云 计 费者 之 间的松 散耦 合 的特 点 。平 台通 过 Ｗｅ ｅｖ ｅ 式 为用 户 Ｄ （ 预 ｂ ｒｉ ｓ方 Ｓ ｃ 架 构 以一种 耦合 度极 低 的方式 实现 数据
分析 、时间模式、关联规则、偏差检测等各类数据挖掘应用 。同
时 提供 构建 常用 数据挖 掘业 务 模型 的常用算 法 ，如 ：特 征提 取 、
属 性选 择 、离散 化 、Ｂ 神经 网络 、Ｒ Ｆ 神经 网络 、灰色 系统 、 Ｐ Ｂ
决 策树 、决策表 、贝 叶斯 、懒 惰算 法 、支 持 向量机 、Ｋ 均值 聚类 、 Ａｒｒ ｐｉ ｉ关联规 则 、Ｈ ｔｐ ｔ关 联规 则 、回归分 析 、指数 平滑 、季 ｏ ｏＳ ｏ
计 算机 光盘 软件 与应 用
２１ ０ ２年第 ｌ 期 ｌ
Ｃｍ ｕ ｅ １ ｏ ｔ ａ ｅａ ｄ Ａ ｐ ｉａ ｉｎ ｏｐ ｔｒ Ｃ ）Ｓ ｆｗ ｒ ｎ ｐ ｌ ｃ ｔ ０ ｓ 工 程 技 术
基 于海 量 网络数据的可视 化服务 平台的研究
杨桂珍
（ 州城 市 职 业 学院 ，广 州 ５０ ０ ） 广 １４ ５ 摘 要 ：为 了保 证 网络 以最优 状 态运行 ，更好承 栽各 种应 用服 务 ，需要 对 网络 实 时运行 情况进 行 可视化 的监 控 ，以定位 发现性能问题的根源。基于海量网络数据的可视化服务平台，利用云计算强大的储存和计算能力 ， 基于 Ｓａ ａ Ｓ模 式服务 ，完
由于数据 挖掘 过程 与挖 掘 工具 的紧 密结 合影 响 了数 据挖 掘技
海 量数 据处 理必 须要 使用 大型 分 布式 计算模 式 ， 即云计 算技 展 性 。
向外部 客 户依 需求 提供 抽象 、虚 拟 、动态 、可 管理 的计算 能力 、
算服 务上 的支 出在 接下 来 的 ５年 间可 能会 出现 ３ 倍的增 长 ， 占据 Ｉ 出增 长总量 中 ２ ％的份额 。随着信 息化 社会 的发展 ，目前企 Ｔ支 ５ 业 的各种 业 务系统 中数 据 从 Ｇ Ｔ Ｂ、 Ｂ到 Ｐ Ｂ量级 呈海 量 急速增 长 ， 相应 的存 储方 式 也从 单机 存储 转变 为 网络存 储 。传统 的信 息处 理 技 术和 手段 ， 数据 库技 术往 往只 能单 纯实 现数 据 的录入 、 询 、 如 查 统 计等 较低 层 次的功 能． 无法 充分 利用 和 及时 更新 海量 数据 ，更
设力 度 ，加快 部署 新 一代通 信 网络 ，分 区域 、按 步骤 推进 无线 宽
带城 市群 建设 ，构 建 “ 时随地 随 需 ”的珠 江三 角洲 信息 网络 。 随 “ 基于 海量 网络 数据 的可 视化 服务 平 台” 这一 Ｓａ ａＳ模 式的基 于互 联 网 的服务 交付 软件 的 出现 ，符合 市 场发 展的 需要 ，也符 合 未来 发 展 的方 向。 术 ，这 种 技术 利用 高速 互联 网 的传输 能力 ，将 数据 的 处理 过程 从 个 人计 算 机或 服务 器移 到互 联 网上 的计算 机集 群 中 ，通 过 互联 网
中图分类号 ：Ｏ１７５ 文献标识码 ：Ａ 文章编号 ：１０— ５９（ １） １ ０３ — ２ ５． ０７ ９９ ２ ２ １— １４ ０ ０
一
、
研 究 的意义
法 库管 理 、模 型库 管理 、知 识库 管理 、智 能控 制 、任 务调 度 、信
息发布 、 日志 管理 等 。同时 支持 数据 挖 掘流 程所 需 的主要 过程 ，
过 去 的企业 信 息化建 设往 往 要购 买服 务器 、存 储和 网络 设备 等 ，而 对 于中 小企业 来说 ，花 重 金购 建这 些高 端设 备 ，实在 是有 些 力 不从心 ，是企业 发展 的一 大 负担 ， 中小企 业信 息化 建设 因此 滞 后 。而基 于互 联 网 的服 务 交付 式软 件 的出现 ，使 得企 业进 行信 息化 建设 的 费用大 大 降低 ， 业无 需再 购买繁 杂 的 Ⅱ 设 备 ， 企 就可
节 移动 平均 及组 合 算法 ，运 用这 些算 法模 型可 实现 分类 与 回 归、 聚 类分 析 、时序 模式 、关 联规 则、偏 差检 测 等各类 数 据挖 掘应 用 ， 而且平 台在 挖掘 功 能 、挖掘 算法 、挖 掘建 模等 方 面具 有较 强 的扩 （ ）研 究基 于 Ｗｅ ｅｖ ｅ 服务 接 口和 Ｓ Ａ 架构 二 ｂＳｒｉ ｓ ｃ Ｏ
以实 现信 息化 管理 。按 照构 建 “ 字珠江 三 角洲 ” 的总体 要求 ， 数 突破 区划 、部 门、行业 界 限和 体制 性障碍 ，加 大 信息 基础 设施 建
完成包 括对 数 据进 行预 处理 ，包 括 空值 处理 、 降维处 理 、离 散处 理 ，主 成分 分析 、抽样 、过滤 等 ，创 建 、训 练 、评 估模 型 ，预 测 ， 修 改模型 参数 ，误 差分 析等 一 系列 功能 。支 持分 类 与回 归、 聚类
在 数据 挖掘 应用 中数 据挖 掘服 务 的整合 。
第三 方软 件有 系架 构 可 以实现 服务 提 供者 与服 务 消
提 供数据 挖 掘服 务 ， 从而大 大 降低数 据挖 掘 使用难度 ， 用 Ｓ Ａ 采 Ｏ
储 存 空 间、平 台和 服 务 。据 Ｉ Ｃ 国际数 据 公司） 测 ，用 于云 计 费者 之 间的松 散耦 合 的特 点 。平 台通 过 Ｗｅ ｅｖ ｅ 式 为用 户 Ｄ （ 预 ｂ ｒｉ ｓ方 Ｓ ｃ 架 构 以一种 耦合 度极 低 的方式 实现 数据
分析 、时间模式、关联规则、偏差检测等各类数据挖掘应用 。同
时 提供 构建 常用 数据挖 掘业 务 模型 的常用算 法 ，如 ：特 征提 取 、
属 性选 择 、离散 化 、Ｂ 神经 网络 、Ｒ Ｆ 神经 网络 、灰色 系统 、 Ｐ Ｂ
决 策树 、决策表 、贝 叶斯 、懒 惰算 法 、支 持 向量机 、Ｋ 均值 聚类 、 Ａｒｒ ｐｉ ｉ关联规 则 、Ｈ ｔｐ ｔ关 联规 则 、回归分 析 、指数 平滑 、季 ｏ ｏＳ ｏ
计 算机 光盘 软件 与应 用
２１ ０ ２年第 ｌ 期 ｌ
Ｃｍ ｕ ｅ １ ｏ ｔ ａ ｅａ ｄ Ａ ｐ ｉａ ｉｎ ｏｐ ｔｒ Ｃ ）Ｓ ｆｗ ｒ ｎ ｐ ｌ ｃ ｔ ０ ｓ 工 程 技 术
基 于海 量 网络数据的可视 化服务 平台的研究
杨桂珍
（ 州城 市 职 业 学院 ，广 州 ５０ ０ ） 广 １４ ５ 摘 要 ：为 了保 证 网络 以最优 状 态运行 ，更好承 栽各 种应 用服 务 ，需要 对 网络 实 时运行 情况进 行 可视化 的监 控 ，以定位 发现性能问题的根源。基于海量网络数据的可视化服务平台，利用云计算强大的储存和计算能力 ， 基于 Ｓａ ａ Ｓ模 式服务 ，完
由于数据 挖掘 过程 与挖 掘 工具 的紧 密结 合影 响 了数 据挖 掘技
海 量数 据处 理必 须要 使用 大型 分 布式 计算模 式 ， 即云计 算技 展 性 。
向外部 客 户依 需求 提供 抽象 、虚 拟 、动态 、可 管理 的计算 能力 、
算服 务上 的支 出在 接下 来 的 ５年 间可 能会 出现 ３ 倍的增 长 ， 占据 Ｉ 出增 长总量 中 ２ ％的份额 。随着信 息化 社会 的发展 ，目前企 Ｔ支 ５ 业 的各种 业 务系统 中数 据 从 Ｇ Ｔ Ｂ、 Ｂ到 Ｐ Ｂ量级 呈海 量 急速增 长 ， 相应 的存 储方 式 也从 单机 存储 转变 为 网络存 储 。传统 的信 息处 理 技 术和 手段 ， 数据 库技 术往 往只 能单 纯实 现数 据 的录入 、 询 、 如 查 统 计等 较低 层 次的功 能． 无法 充分 利用 和 及时 更新 海量 数据 ，更
设力 度 ，加快 部署 新 一代通 信 网络 ，分 区域 、按 步骤 推进 无线 宽
带城 市群 建设 ，构 建 “ 时随地 随 需 ”的珠 江三 角洲 信息 网络 。 随 “ 基于 海量 网络 数据 的可 视化 服务 平 台” 这一 Ｓａ ａＳ模 式的基 于互 联 网 的服务 交付 软件 的 出现 ，符合 市 场发 展的 需要 ，也符 合 未来 发 展 的方 向。 术 ，这 种 技术 利用 高速 互联 网 的传输 能力 ，将 数据 的 处理 过程 从 个 人计 算 机或 服务 器移 到互 联 网上 的计算 机集 群 中 ，通 过 互联 网
中图分类号 ：Ｏ１７５ 文献标识码 ：Ａ 文章编号 ：１０— ５９（ １） １ ０３ — ２ ５． ０７ ９９ ２ ２ １— １４ ０ ０
一
、
研 究 的意义
法 库管 理 、模 型库 管理 、知 识库 管理 、智 能控 制 、任 务调 度 、信
息发布 、 日志 管理 等 。同时 支持 数据 挖 掘流 程所 需 的主要 过程 ，