_大数据_时代决策支持系统新发展 (2)
合集下载
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
4.4 安全
云计算公司通常会使用授权和认证技术来保护用 户隐私,云服务提供商确保其基础设施安全并拥有可行 的保护用户数据与应用的解决方案是必须的。 美国联邦 首席 信 息 官 (The US Federal CIO)正 努 力 合 并 安 全 访 问
4.2 群体决策、社会化决策应用更普遍
在“大数据”时代,随着移动互联网络、社交网络的 发展,决策支持系统将向群体决策、社会化决策的方向 发展。 主要表现在:一方面,决策者可以邀请异地不同业 务领域专家登录系统参与复杂问题的决策过程;另一方 面,针对某一特定事项的网络投票统计数据、电子商务 网站统计数据、搜索引擎统计数据等多时空、群体性行 为分析和结论,将成为定性决策的重要参考依据。
4.3 数据质量受到更多关注,数据分析功能更强大
在“大数据”时代,决策支持系统基础数据不仅包括 结构化数据,还包括图形、声音、图像、地理位置等非结 构化数据。 面对价值密度低的“大数据”,对于决策支持 系统来说最大的挑战就是如何提高数据质量、创新分析 方法,从“大数据”中挖掘出真正有价值的信息和知识。 与“大数据”处理相关商业智能、数据挖掘、可视化分析 平台的应用和内存分析技术的进步,都将助力这些问题 的解决。
2.3 传统数据库技术对存储能力及存储方式有限制
目前成熟的经典数据库技术结构化数据查询语言 (SQL), 在设计的一开始是没有考虑非结构化数据的 ,
·6· 2013 年 8 月· 信息安全与技术
策略探讨 · Strategies Discussed
也就是说以前计算机人员讨论数据的时候,数据的范围 限定在结构化数据范畴以内。 除此之外,传统的数据库 部署不能处理 TB 级的数据 ,也不能很好地支持高级别 的数据分析。
[7] 李美 云 ,李 剑 ,黄 超.基于 同 态 加 密 的 可 信云 存 储 平 台[J].信 息 网 络 安 全 ,2012,(09):35-40.
[8] 韩水 玲 ,马 敏 ,王 涛 等.数 字 证 书 应 用 系 统的 设 计 与 实 现[J].信 息 网 络 安 全 ,2012,(09):43-45.
1 引言
继云计算、 物联网成为引领信息化升级热点之后, “大数 据 ”(Big Data)以 及 与 “大 数 据 ”相 关 的 研 究 、产 品 及应用渐渐步入了人们的视野。 决策支持系统 (Decision Support System, DSS)结构化、非结构化混合的 基础数据特征与“大数据”特征高度吻合。 “大数据”技术 的深化研究和应用,必将为企业决策支持系统建设和应 用带来新的发展动力和更为广阔的发展空间。
[2] 吴 新 年 ,陈 永 平.决 策 支 持 系 统 发 展 现 状 与 趋 势 分 析 [J].信 息 化与网络化建设,2007 年第 1 期.
[3] 牛 禄 清.阿 里 巴 巴 :让 数 据 做 主[J],新 经 济 导 刊,2012 年 第 12 期.
[4] 袁 国 铭.关 于 决 策 支 持 系 统 发 展 综 述[J].综 述 与 评 论 ,2010 年 第 23 期.
信息安全与技术 ·2013 年 8 月 ·7·
Strategies Discussed · 策略探讨
也要求从国家安全、企业安全的战略高度出发,建立自 有数据中心,培育和发展本土实施咨询及数据服务提供 商,以避免在技术上受制于潜在竞争对手。
参考文献
[1] 李国杰.大数据研究的科学价值[J].中国计算 机 学 会 通 讯,2012 年第 9 期.
4 “大数据”时代决策支持系统发展趋势
“大数据” 时代的数据技术革为决策支持系统带来
了发展机遇,决策支持系统在系统定位、决策模式、数据 处理、信息检索、系统安全等方面形成了新的发展趋势。
4.1 单项决策支持系统向企业级决策支持系统转变
企业级的决策支持系统, 相较单项决策支持系统, 对全局性事项预测的实时性与准确性要求更高。 在“大 数据”时代,可通过对全方位、结构化、非结构化实时数 据和历史数据,特别是隐藏于表象数据之后行为特征数 据的在线收集和即时分析,为决策者进行企业级、全局 性决策提供支持。
4.5 系统安全问题上升到战略高度
“大数据”时代决策支持系统存储、加工、处理和展 示着全局性、全方位信息,系统数据一旦外泄被竞争对 手利用,对企业的打击将是毁灭性的,这些都要求高度 重视决策支持系统的安全问题。 同时,“大数据”引发了 计算机行业的重新整合,应用软件实现泛互联化,越靠 近终端用户的公司,在产业链上拥有更大的发言权。 这
3.3 企业应用“大数据”技术进行深层次价值挖掘
从国 际 上 看 ,亚 马 逊 (Amazon)、谷 歌 (Google)和 脸 谱(Facebook)走到了“大数据”应用的前列 ,已开始使 用 “大数据” 的分析结果进行客户管理和市场营销。 在国 内,马云利用阿里巴巴“大数据”中询盘指数和成交指数 的强相关性成功预测 2008 年金融危机、 利用及时更新 的 淘 宝 “CPI”预 测 通 货 膨 胀 。
作者简介: 叶明 (1970-),女 ,浙 江 兰 溪 人 ,目 前 任 职 于 国 网 能 源 研 究 院 ,高 级 工程 师 , 注 册 咨 询 工 程师 ,1994 年 武 汉 大 学 计算 机 应 用 专 业 硕 士 研究生毕业;主要研究领域为企业管理信息化、财务管理信息化。
【上接第 5 页】
2.2 多样化数据在转换与处理上存在困难
在运用决策支持系统的数据库、方法库、模型库、知 识库进行辅助决策之前,首先需要对来自不同数据源的 数据进行转换与清理(ETL)。 面对决策支持系统多样化 的数据来源, 数据清理过程存在数据属性难以统一、规 范,冗余数据、错误数据和异常数据难以快速辨识并消 除等困难。
2.4 缺乏数据专家和领域专家复合型人才
领域专家为决策支持系统提供知识和经验,数据专 家则可进行基于数据逻辑与关联关系的分析与判断。 兼 具数据专家和领域专家技能的复合型人才的缺乏,使决 策支持系统的效用大打折扣,也是决策支持系统的应用 发展缓慢的一个重要原因。
3 “大数据”及其带来的主要变革
目 前 ,业 界 将 “大 数 据 ”的 特 点 归 纳 为 四 个 “V”:一 是 数 据 体 量 巨 大 (Volume);二 是 数 据 类 型 繁 多 (Variety); 三 是 价 值 密 度 低 (Value); 四 是 实 时 处 理 要 求 高 (Velocity)。
进入“大数据”时代,从数据特点、技术产品与应用 等方面都面临着新的变革。
3.1 数据呈现出体量大、类型多、电子化的特点
一是数据量级从 TB 级到 PB 级、ZB 级; 二是数据 类型从结构化数据,拓展到文本、音频、视频、图片、地理 位置、Web 页面、微博、及时通讯等其他半结构化与非结 构化的数据;三是电子数据占比迅速提高。 根据中国互 联 网 络 信 息 中 心 (CNNIC)统 计 数 据 显 示 ,截 至 2012 年 12 月中国网络购物用户规模达 2.42 亿人, 网络购物使 用率提升至 42.9%。
2 决策支持系统及发展瓶颈
决策支持系统是指建立在数据库、模型库、知识库、 方法库基础上,以人机交互方式辅助决策者进行半结构 化决策的计算机应用系统。
决 策 支 持 系 统 概 念 自 20 世 纪 70 年 代 提 出 到 现 在 四十年来,虽然在零售、金融、医疗、军事等行业和领域 均有一些单项应用案例, 但在企业中并未大范围普及, 主要原因是存在一些技术上的瓶颈。
2.1 数值计算语言与数据库语言存在异构障碍
目前,计算机语言的支持能力还相当有限, 数值计算 语言 ( 如 Fortran、Pascal、C 等) 不支持对数据库的操作, 数据库语言(如 FoxPro、Oracle、Sybase 等) 的数值计算能 力又很薄弱,而决策支持系统既要进行数值计算又要进 行数据库操作。 这个问题一直是决策支持系统发展的技 术障碍, 成为决策支持系统发展缓慢的主要原因。
Strategies Discussed · 策略探讨
“大数据”时代决策支持系统新发展
叶 明 1 谷晨霞 2 (1.国网能源研究院 北京 100052;2 北京交通大学经济管理学院 北京 100044)
【 摘 要 】本文在对决策支持系统发展现状及瓶颈进行总结的基础上,分析“大数据”带来的变革及对决策支持系统 的积wk.baidu.com影响,从系统定位、决策模式、数据处理、信息检索、系统安全等五个方面对“大数据”时代决策支持系统发展 趋势进行了展望。 【 关键词 】大数据;决策支持系统;信息检索;非结构化数据
3.2 数据行业新技术、新产品不断涌现
数据”存储、分析与管理开源软件 Hadoop[1]得到持 续应用和发展。 多家“大数据”行业巨头,针对大数据的 发展 在 2011 年—2012 年 间 亦 推 出 了 创 新 技 术和 产 品 , 包 括 易 安 信 公 司 的 DCA、IBM 的 BigInsights 与 Streams、甲骨文的 Exadata 与 Exalogic 等新产品。
【 Abstract 】Based on the sum m ary ofbottlenecks during the process ofDSS developm ent,this research m ainly analyzes the revolution broughtby “Big Data” and the positive effectithas m ade on DSS,and then predicts the future ofthe DSS in “Big Data” age in the aspects ofsystem orientation,decision m odel,data processing,inform ation retrievaland system security. 【 Keywords 】big data;decision m aking system ;inform ation retrieval;unstructured data
4.4 信息检索工具功能更强大、智能化程度更高
在“大数据”时代,要从海量、纷繁复杂的数据中快 速找到决策者关注的信息,必须借助功能强大、智能化 的信息检索工具。 搜索引擎技术、超文本全文检索技术、 多媒体检索技术和人工智能技术将进一步整合,基于用 户检索行为分析而提供的人性化信息检索服务与信息 推送,将大幅提高信息检索的效率,提高信息检索的查 全率和查准率。
The New Developing Trends ofDSS underthe Big Data Era
Ye Ming 1 Gu Chen-xia 2 (1.State Grid Energy Research Institute Beijing 100052; 2.School of Economics and Management,BeiJingJiaoTong, University Beijing 100044)
4.3 支持空间云计算(SCC)特征
空间云计算严重依赖计算基础设施的状态,除了工 程 研 究 和 计 算 基 础 设 施 特 征 的 可 用 外 , 网 络 、CPU、 RAM、硬盘、软件许可和其他资源的使用 / 状态,对于优 化使用时空原则的云计算环境也是重要的。
在调研面向解决四种密集型地理空间问题的云计 算特征工作中,需要进行扩展研究以更好地理解计算基 础设施和应用的时空特性,应用和计算资源的优化调度 也是关键的(Mustafa Rafique et al. 2011)。
[5] 李 瑞 丽 ,钱 皓 ,黄 以 凯.Oracle 大 数 据 的 全 文 检 索 技 术 研 究 与 实现[J].微型电脑应用,2013 年第 1 期.
[6] 罗贺 ,杨 善 林 ,丁 帅.云计 算 环 境 下 的 智 能决 策 研 究 综 述[J].系 统工程学报,2013 年第 1 期.
云计算公司通常会使用授权和认证技术来保护用 户隐私,云服务提供商确保其基础设施安全并拥有可行 的保护用户数据与应用的解决方案是必须的。 美国联邦 首席 信 息 官 (The US Federal CIO)正 努 力 合 并 安 全 访 问
4.2 群体决策、社会化决策应用更普遍
在“大数据”时代,随着移动互联网络、社交网络的 发展,决策支持系统将向群体决策、社会化决策的方向 发展。 主要表现在:一方面,决策者可以邀请异地不同业 务领域专家登录系统参与复杂问题的决策过程;另一方 面,针对某一特定事项的网络投票统计数据、电子商务 网站统计数据、搜索引擎统计数据等多时空、群体性行 为分析和结论,将成为定性决策的重要参考依据。
4.3 数据质量受到更多关注,数据分析功能更强大
在“大数据”时代,决策支持系统基础数据不仅包括 结构化数据,还包括图形、声音、图像、地理位置等非结 构化数据。 面对价值密度低的“大数据”,对于决策支持 系统来说最大的挑战就是如何提高数据质量、创新分析 方法,从“大数据”中挖掘出真正有价值的信息和知识。 与“大数据”处理相关商业智能、数据挖掘、可视化分析 平台的应用和内存分析技术的进步,都将助力这些问题 的解决。
2.3 传统数据库技术对存储能力及存储方式有限制
目前成熟的经典数据库技术结构化数据查询语言 (SQL), 在设计的一开始是没有考虑非结构化数据的 ,
·6· 2013 年 8 月· 信息安全与技术
策略探讨 · Strategies Discussed
也就是说以前计算机人员讨论数据的时候,数据的范围 限定在结构化数据范畴以内。 除此之外,传统的数据库 部署不能处理 TB 级的数据 ,也不能很好地支持高级别 的数据分析。
[7] 李美 云 ,李 剑 ,黄 超.基于 同 态 加 密 的 可 信云 存 储 平 台[J].信 息 网 络 安 全 ,2012,(09):35-40.
[8] 韩水 玲 ,马 敏 ,王 涛 等.数 字 证 书 应 用 系 统的 设 计 与 实 现[J].信 息 网 络 安 全 ,2012,(09):43-45.
1 引言
继云计算、 物联网成为引领信息化升级热点之后, “大数 据 ”(Big Data)以 及 与 “大 数 据 ”相 关 的 研 究 、产 品 及应用渐渐步入了人们的视野。 决策支持系统 (Decision Support System, DSS)结构化、非结构化混合的 基础数据特征与“大数据”特征高度吻合。 “大数据”技术 的深化研究和应用,必将为企业决策支持系统建设和应 用带来新的发展动力和更为广阔的发展空间。
[2] 吴 新 年 ,陈 永 平.决 策 支 持 系 统 发 展 现 状 与 趋 势 分 析 [J].信 息 化与网络化建设,2007 年第 1 期.
[3] 牛 禄 清.阿 里 巴 巴 :让 数 据 做 主[J],新 经 济 导 刊,2012 年 第 12 期.
[4] 袁 国 铭.关 于 决 策 支 持 系 统 发 展 综 述[J].综 述 与 评 论 ,2010 年 第 23 期.
信息安全与技术 ·2013 年 8 月 ·7·
Strategies Discussed · 策略探讨
也要求从国家安全、企业安全的战略高度出发,建立自 有数据中心,培育和发展本土实施咨询及数据服务提供 商,以避免在技术上受制于潜在竞争对手。
参考文献
[1] 李国杰.大数据研究的科学价值[J].中国计算 机 学 会 通 讯,2012 年第 9 期.
4 “大数据”时代决策支持系统发展趋势
“大数据” 时代的数据技术革为决策支持系统带来
了发展机遇,决策支持系统在系统定位、决策模式、数据 处理、信息检索、系统安全等方面形成了新的发展趋势。
4.1 单项决策支持系统向企业级决策支持系统转变
企业级的决策支持系统, 相较单项决策支持系统, 对全局性事项预测的实时性与准确性要求更高。 在“大 数据”时代,可通过对全方位、结构化、非结构化实时数 据和历史数据,特别是隐藏于表象数据之后行为特征数 据的在线收集和即时分析,为决策者进行企业级、全局 性决策提供支持。
4.5 系统安全问题上升到战略高度
“大数据”时代决策支持系统存储、加工、处理和展 示着全局性、全方位信息,系统数据一旦外泄被竞争对 手利用,对企业的打击将是毁灭性的,这些都要求高度 重视决策支持系统的安全问题。 同时,“大数据”引发了 计算机行业的重新整合,应用软件实现泛互联化,越靠 近终端用户的公司,在产业链上拥有更大的发言权。 这
3.3 企业应用“大数据”技术进行深层次价值挖掘
从国 际 上 看 ,亚 马 逊 (Amazon)、谷 歌 (Google)和 脸 谱(Facebook)走到了“大数据”应用的前列 ,已开始使 用 “大数据” 的分析结果进行客户管理和市场营销。 在国 内,马云利用阿里巴巴“大数据”中询盘指数和成交指数 的强相关性成功预测 2008 年金融危机、 利用及时更新 的 淘 宝 “CPI”预 测 通 货 膨 胀 。
作者简介: 叶明 (1970-),女 ,浙 江 兰 溪 人 ,目 前 任 职 于 国 网 能 源 研 究 院 ,高 级 工程 师 , 注 册 咨 询 工 程师 ,1994 年 武 汉 大 学 计算 机 应 用 专 业 硕 士 研究生毕业;主要研究领域为企业管理信息化、财务管理信息化。
【上接第 5 页】
2.2 多样化数据在转换与处理上存在困难
在运用决策支持系统的数据库、方法库、模型库、知 识库进行辅助决策之前,首先需要对来自不同数据源的 数据进行转换与清理(ETL)。 面对决策支持系统多样化 的数据来源, 数据清理过程存在数据属性难以统一、规 范,冗余数据、错误数据和异常数据难以快速辨识并消 除等困难。
2.4 缺乏数据专家和领域专家复合型人才
领域专家为决策支持系统提供知识和经验,数据专 家则可进行基于数据逻辑与关联关系的分析与判断。 兼 具数据专家和领域专家技能的复合型人才的缺乏,使决 策支持系统的效用大打折扣,也是决策支持系统的应用 发展缓慢的一个重要原因。
3 “大数据”及其带来的主要变革
目 前 ,业 界 将 “大 数 据 ”的 特 点 归 纳 为 四 个 “V”:一 是 数 据 体 量 巨 大 (Volume);二 是 数 据 类 型 繁 多 (Variety); 三 是 价 值 密 度 低 (Value); 四 是 实 时 处 理 要 求 高 (Velocity)。
进入“大数据”时代,从数据特点、技术产品与应用 等方面都面临着新的变革。
3.1 数据呈现出体量大、类型多、电子化的特点
一是数据量级从 TB 级到 PB 级、ZB 级; 二是数据 类型从结构化数据,拓展到文本、音频、视频、图片、地理 位置、Web 页面、微博、及时通讯等其他半结构化与非结 构化的数据;三是电子数据占比迅速提高。 根据中国互 联 网 络 信 息 中 心 (CNNIC)统 计 数 据 显 示 ,截 至 2012 年 12 月中国网络购物用户规模达 2.42 亿人, 网络购物使 用率提升至 42.9%。
2 决策支持系统及发展瓶颈
决策支持系统是指建立在数据库、模型库、知识库、 方法库基础上,以人机交互方式辅助决策者进行半结构 化决策的计算机应用系统。
决 策 支 持 系 统 概 念 自 20 世 纪 70 年 代 提 出 到 现 在 四十年来,虽然在零售、金融、医疗、军事等行业和领域 均有一些单项应用案例, 但在企业中并未大范围普及, 主要原因是存在一些技术上的瓶颈。
2.1 数值计算语言与数据库语言存在异构障碍
目前,计算机语言的支持能力还相当有限, 数值计算 语言 ( 如 Fortran、Pascal、C 等) 不支持对数据库的操作, 数据库语言(如 FoxPro、Oracle、Sybase 等) 的数值计算能 力又很薄弱,而决策支持系统既要进行数值计算又要进 行数据库操作。 这个问题一直是决策支持系统发展的技 术障碍, 成为决策支持系统发展缓慢的主要原因。
Strategies Discussed · 策略探讨
“大数据”时代决策支持系统新发展
叶 明 1 谷晨霞 2 (1.国网能源研究院 北京 100052;2 北京交通大学经济管理学院 北京 100044)
【 摘 要 】本文在对决策支持系统发展现状及瓶颈进行总结的基础上,分析“大数据”带来的变革及对决策支持系统 的积wk.baidu.com影响,从系统定位、决策模式、数据处理、信息检索、系统安全等五个方面对“大数据”时代决策支持系统发展 趋势进行了展望。 【 关键词 】大数据;决策支持系统;信息检索;非结构化数据
3.2 数据行业新技术、新产品不断涌现
数据”存储、分析与管理开源软件 Hadoop[1]得到持 续应用和发展。 多家“大数据”行业巨头,针对大数据的 发展 在 2011 年—2012 年 间 亦 推 出 了 创 新 技 术和 产 品 , 包 括 易 安 信 公 司 的 DCA、IBM 的 BigInsights 与 Streams、甲骨文的 Exadata 与 Exalogic 等新产品。
【 Abstract 】Based on the sum m ary ofbottlenecks during the process ofDSS developm ent,this research m ainly analyzes the revolution broughtby “Big Data” and the positive effectithas m ade on DSS,and then predicts the future ofthe DSS in “Big Data” age in the aspects ofsystem orientation,decision m odel,data processing,inform ation retrievaland system security. 【 Keywords 】big data;decision m aking system ;inform ation retrieval;unstructured data
4.4 信息检索工具功能更强大、智能化程度更高
在“大数据”时代,要从海量、纷繁复杂的数据中快 速找到决策者关注的信息,必须借助功能强大、智能化 的信息检索工具。 搜索引擎技术、超文本全文检索技术、 多媒体检索技术和人工智能技术将进一步整合,基于用 户检索行为分析而提供的人性化信息检索服务与信息 推送,将大幅提高信息检索的效率,提高信息检索的查 全率和查准率。
The New Developing Trends ofDSS underthe Big Data Era
Ye Ming 1 Gu Chen-xia 2 (1.State Grid Energy Research Institute Beijing 100052; 2.School of Economics and Management,BeiJingJiaoTong, University Beijing 100044)
4.3 支持空间云计算(SCC)特征
空间云计算严重依赖计算基础设施的状态,除了工 程 研 究 和 计 算 基 础 设 施 特 征 的 可 用 外 , 网 络 、CPU、 RAM、硬盘、软件许可和其他资源的使用 / 状态,对于优 化使用时空原则的云计算环境也是重要的。
在调研面向解决四种密集型地理空间问题的云计 算特征工作中,需要进行扩展研究以更好地理解计算基 础设施和应用的时空特性,应用和计算资源的优化调度 也是关键的(Mustafa Rafique et al. 2011)。
[5] 李 瑞 丽 ,钱 皓 ,黄 以 凯.Oracle 大 数 据 的 全 文 检 索 技 术 研 究 与 实现[J].微型电脑应用,2013 年第 1 期.
[6] 罗贺 ,杨 善 林 ,丁 帅.云计 算 环 境 下 的 智 能决 策 研 究 综 述[J].系 统工程学报,2013 年第 1 期.