大数据时代企业竞争情报研究的创新与发展_黄晓斌
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
2012 年第 6 期
·前沿与热点·
大数据时代企业竞争情报研究的创新与发展 ＊
黄晓斌 钟辉新 （中山大学资讯管理学院 广东广州 510006）
摘 要：文章概述了大数据的主要特征，分析了大数据对企业竞争情报研究的影响，包括企业竞争力的提升需要大数据
的支持，现有企业竞争情报数据处理面临的一些新问题，企业竞争情报分析方法亟待创新，提出在大数据时代企业竞争
On the Innovation and Development of Enterprises Competitive Intelligence Analysis in the Big-data Era
Abstract This article provides an overview of the main features of the big data and an analysis of the impact of enterprise competitive intelligence，including the need of the support of big data to enhance the competitiveness of enterprises，new problems facing enterprise competitive intelligence data management，the need of innovative methods. The author also believes that in the era of big data，attention should be paid to the integration of data and information，the data filtering and cleaning，new types of data mining analysis methods，data analysis visualization，and new analysis technology applications. Key words big data；enterprise；competitive intelligence analysis；data mining
2 大数据的含义与特征
目前对大数据还没有标准的定义， 通常认为它是一 种数据量很大、数据形式多样化的非结构化数据。 亚马逊 网络服务、数据科学家 John Rauser 曾提到一个简单 的 定 义： 大数据是任何超过了一台计算机处理能力的庞大数 据量［3］。 维基百科定义为：大数据是指无法在一定时间内 用常规软件工具对其内容进行抓取、 管理和处理的数据 集合［4］。 百度百科定义为：大数据通常用来形容一个公司 创造的大量非结构化和半结构化数据， 这些数据在下载 到关系型数据库用于分析时会花费过多时间和金钱。 从 各种各样类型的数据中快速获得有价值信息的能力，就 是大数据技术 ［5］。 IBM 从三个基本特性角度来定义大数 据 ， 即 ： “3V”： 体 量 （Volume）， 速 度 （Velocity） 和 多 样 性 （Variety）。 也有人为大数据包括三 个 要 素 ， 即 ： 大 分 析
如何确保规模庞大、异构和动态的数据实用可靠，为 企 业 竞 争 情 报 研 究 不 断 地 提 供 高 质 量 的 “原 材 料 ”，是 大 数据时代企业竞争情报面临的挑战。 大数据为企业竞争 情报工作提出了一些新的问题：（1） 管理的数据量庞大 。 在大数据时代， 企业的竞争情报研究需要大量异构的数 据支持，而收集、存储和维护这样庞大的数据对于一般的 企业来说是一种很大的负担。 （2）收集范围广泛。 为了使 企业竞争情报分析更加精准、 可靠， 支持企业全方位决 策， 企业不但要持续不断地收集内部业务流程中各个环 节的数据，还要收集顾客行为、竞争对手、供应链、宏观经 济等数据，这种数据收集需要投入大量的人力、物力。 面 对不断产生的庞大数据，企业需要持续增加存储空间，这 也是一笔不菲的投入。 （3）数据安全风险增大。 有关企业 大量的数据趋向集中，一旦泄密或者被竞争对手利用，后 果不堪设想；大数据量使企业可能采用云服务的模式，委 托第三方进行数据存储和管理， 这样接触企业数据的人 员就会增加，风险无形增大。 （4）数据质量难于控制。 在大 数据时代，数据经过层层的萃取转化为决策的情报，数据 的质量也变得愈加重要。 高质量的数据必须保证数据的 客观、可用和完整。 数据的质量问题涉及数据收集、使用、 传递等所有过程，而数据在发布阶段经常会被扭曲。 在大 数据时代，数据的质量是情报价值体现的生命线，不管分 析的方法如何先进，但如果输入时是垃圾数据，最终获得 的还是垃圾结果，对企业不但无益反而有害 。 （5）数据难 于动态集成。 目前竞争情报收集子系统对整个企业范围 内的数据集成大多采用静态整合策略， 当数据源中的数 据发生变化时，这些变化就不能立即反映给决策者，导致 决策使用的是过时的数据， 而大数据对实时响应要求很 高，因此，竞争情报系统对分布式的数据如何进行动态集 成也是一个很大挑战。 3.3 企业竞争情报的分析方法亟待创新
概括起来，大数据的特征主要体现在如下几个方面： （1）数据总量规模增长巨大。 同一类型的数据在快速 增长，目前在传感器网络、地理信息导航系统、社会网络 （如微博）、即时通讯（如 QQ）、电子商务（如淘宝）、数字图 书馆、网络日志等领域都产生了庞大的数据，规模在不断 扩大。 如淘宝目前每天活跃数据量已经超过 50TB，共有 4 亿条产品信息和 2 亿多名注册用户在上面活动。 零售巨 头沃尔玛每小时都要处理 100 多万笔客户交易， 数据库 估 计 超 过 2500 万 亿 字 节— ——相 当 于 美 国 国 会 图 书 馆 书 籍数的 167 倍， 而移动互联网用户发送和上传的数据量 达到 1.3EB［7］。 （2）数据增长的速度呈指数级持续增长。 目前很多领 域的数据都以惊人的速度增长， 根据 WinterCorp 的调查 显示，最大的数据仓库中的数据量每两年增加 3 倍（年均 增长率为 173%），其增长速度远超摩尔定律增长速度。 照 此计算，2015 年最大数据仓库中的数据量将逼近 100PB［8］。 大数据的动态性强，要求分析处理应快速响应，在动态变 化的环境中快速完成分析过程，有些甚至必须实时分析， 否则这些结果可能就是过时、无效的。 如导航定位系统、 股票分析系统等对数据实时处理有着较高的要求， 大数 据分析和处理的方法必须能快速地适应相关业务更新频 率加快的需求。 （3）新的数据来源和数据类型在不断增加。 目前产生 大数据的领域在不断增加，数据类型不仅包括普通文本、 照片、动画、音频与视频等，还有像位置信息、链接信息等 新类型的数据。 伴随着社交网络、移动计算和传感器等新 技术不断的应用， 大数据中有许多是非结构化数据或半 结构化数据，没有特定的描述模型，数据结构是不固定、 不完全或不规则的。 （4）数据的价值日益突现。 大数据犹如一座富矿，通过 海量数据的处理、整合分析，可以发现新的知识，从而创 造新的更大的价值。 大数据为许多行业带来新的商机和 发展机遇，充分利用大数据可为企业带来强大的竞争力。 大数据分析能从庞大的数据中发现稀疏而有高价值的知 识和规律，为预测和决策提供相关支持。 如视频监控的数 据量通常十分大，虽然绝大部分可能没有实际利用价值， 但几秒镜头捕捉到某罪犯体貌特征， 可能对公安部门而 言就是十分珍贵的。 大数据分析就是要进行披沙拣金，发 现这些珍贵的信息。
＊ 本文系国家社科基金项目“网站内容分析与挖掘的企业竞争情报方法研究”（项目编号：１０ＢＴＱ０３４）研究成果之一。 收稿日期：2012-10-19；责任编辑：魏 志 鹏
9
黄晓斌 钟辉新：大数据时代企业竞争情报研究的创新与发展
（Big Analytic）、 大 带 宽 （Big Bandwidth） 和 大 内 容 （Big Content）［6］。
10
综上所述，对于大数据中“大”的理解，主要有两个方 面，第一是指大量的、快速增长的数据，第二则是数据中 所蕴含的价值量较大。 可见，大数据之“大”，并不光是指 数据的数量之大，它的意义还在于数据的价值之大。
3 大数据对企业竞争情报的影响
情报研究是利用数据和信息提炼出有价值的情报， 为决策提供有关方案，也就是对数据进行处理、组织和解 释，以揭示其潜在的知识，转化为可执行利用的情报。 企 业竞争情报分析就是从原始的数据中发现关于竞争环 境、竞争对手和竞争策略情报的过程，从而形成高附加价 值的产品。 因此，大数据分析在对象、运用的方法和目标 等方面都与企业竞争情报研究有许多交集， 大数据的兴 起必然对企业竞争情报产生深刻的影响。 3.1 企业提升竞争力需要大数据的支持
2012 年第 6 期
略；利 用 大 数 据 工 具 对 供 应链 进 行 分 析 以 选 择 供 应 商 、优 化物流配送方案和进行价格谈判等； 利用大数据分析工 具对热销商品品种和库存的趋势进行分析， 以选定需要 补充的商品，分析顾客购买趋势和季节性购买模式，以确 定降价商品，并对其数量和运作做出 反 应 。 ［10］ 可 见 ，大 数 据已经成为企业的核心资产， 对数据的掌控可以形成对 市场的支配，并且获取巨大的回报。 大数据是企业用于提 升核心能力的重要手段， 而为提升企业竞争优势的大数 据分析是企业竞争情报研究的重要范畴。 3.2 企业竞争情报数据处理面临的新问题
数据竞争已经成为企业提升核心竞争力的利器。 来 自各个方面零碎的庞大数据融合在一起， 可以构建出企 业竞争的全景图， 洞察到竞争环境和竞争对手的细微变 化，从而快速响应，制定有效竞争策略。 庞大的数据更具 有统计意义，能为各种预测模型提供支持，从而能预测未 来的发展趋势，帮助企业获得先机。 相关的数据整合在一 起，能不断产生新的信息和知识，有助于提高生产率、降 低经营成本。 如 2008 年初，阿里巴巴平台上整个买家的 询盘数急剧下滑，自然导致买盘的下降，说明欧美对中国 采购量在下滑。 海关是卖了货出去以后再获得数据，而阿 里巴巴提前半年时间就从询盘上推断出世界贸易发生变 化了［9］。 企业的竞争不再只是劳动生产率的竞争 ，而是知 识生产率的竞争。 数据是信息的载体，是知识的源泉，是 企业创造价值和利润的原材料，因此，基于知识的竞争将 集中体现在基于数据的竞争上。 正如马云所说，未来是数 据竞争的时代，谁拥有数据，谁就拥有未来。 如今各行各 业都出现了以数据分析为竞争力的企业， 它们都是在数 据分析的基础上与其他企业展开竞争， 以提升核心竞争 能力，保持或获得行业领先地位，如谷歌、宝洁、沃尔玛等 世界知名公司。 沃尔玛就建立了一个超大的数据中心，其 存储能力高达 4PB 以上，通过大数据分析，沃尔玛掌握了 顾客的购买习惯，不同商品一起购买的概率，购买者在商 店所穿行的路线、购买时间和地点，从而确定商品的上架 布局以及对分类进行优化； 决定对各个商店的不同商品 进行增减，以保持最优的库存，降低成本；洞察销售全局， 瞬间捕获到各种细微的变化，从而快速响应，制定营销策
1 引言
随着信息技术的不断发展，互联网的普及利用，各种 终端设备记录了人类社会复杂频繁的信息行为从而产生 了惊人的数据量。 据国际数据公司（IDC）的研究报告称， 2011 年全球被创建和被复制的数 据 总 量 为 1.8ZB， 并 预 测到 2020 年，全球将拥有 35ZB（1ZB=10 亿 TB）的数据量［1］。 大数据已经渗透到每一个行业和领域，被视为“未来的新 石油” ，逐渐成为重要的生产因素。 随着消费者、企业、各 个经济领域不断挖掘大数据的潜力， 我们正处在一个巨 大浪潮的尖峰，这个浪潮就是大数据驱动的技术创新、生 产率提高、 经济增长以及新的竞争形势和新价值的产生［2］。 近年来，大数据技术研究和应用迅速发展，许多国家已经 意识到了大数据的重要性， 并作为战略性技术大力推动 其发展，大数据时代已悄然而至。
Baidu Nhomakorabea
情报研究的发展方向，应重视数据和信息的集成、注意对数据的清洗与过滤、关注新的数据类型的挖掘分析方法、促进
数据分析的可视化、探索大数据新的分析技术和工具的应用等。
关键词：大数据 企业 竞争情报 数据挖掘
中图分类号： G250.2
文献标识码：A
文章编号：1003-6938（2012）06－0009-06
·前沿与热点·
大数据时代企业竞争情报研究的创新与发展 ＊
黄晓斌 钟辉新 （中山大学资讯管理学院 广东广州 510006）
摘 要：文章概述了大数据的主要特征，分析了大数据对企业竞争情报研究的影响，包括企业竞争力的提升需要大数据
的支持，现有企业竞争情报数据处理面临的一些新问题，企业竞争情报分析方法亟待创新，提出在大数据时代企业竞争
On the Innovation and Development of Enterprises Competitive Intelligence Analysis in the Big-data Era
Abstract This article provides an overview of the main features of the big data and an analysis of the impact of enterprise competitive intelligence，including the need of the support of big data to enhance the competitiveness of enterprises，new problems facing enterprise competitive intelligence data management，the need of innovative methods. The author also believes that in the era of big data，attention should be paid to the integration of data and information，the data filtering and cleaning，new types of data mining analysis methods，data analysis visualization，and new analysis technology applications. Key words big data；enterprise；competitive intelligence analysis；data mining
2 大数据的含义与特征
目前对大数据还没有标准的定义， 通常认为它是一 种数据量很大、数据形式多样化的非结构化数据。 亚马逊 网络服务、数据科学家 John Rauser 曾提到一个简单 的 定 义： 大数据是任何超过了一台计算机处理能力的庞大数 据量［3］。 维基百科定义为：大数据是指无法在一定时间内 用常规软件工具对其内容进行抓取、 管理和处理的数据 集合［4］。 百度百科定义为：大数据通常用来形容一个公司 创造的大量非结构化和半结构化数据， 这些数据在下载 到关系型数据库用于分析时会花费过多时间和金钱。 从 各种各样类型的数据中快速获得有价值信息的能力，就 是大数据技术 ［5］。 IBM 从三个基本特性角度来定义大数 据 ， 即 ： “3V”： 体 量 （Volume）， 速 度 （Velocity） 和 多 样 性 （Variety）。 也有人为大数据包括三 个 要 素 ， 即 ： 大 分 析
如何确保规模庞大、异构和动态的数据实用可靠，为 企 业 竞 争 情 报 研 究 不 断 地 提 供 高 质 量 的 “原 材 料 ”，是 大 数据时代企业竞争情报面临的挑战。 大数据为企业竞争 情报工作提出了一些新的问题：（1） 管理的数据量庞大 。 在大数据时代， 企业的竞争情报研究需要大量异构的数 据支持，而收集、存储和维护这样庞大的数据对于一般的 企业来说是一种很大的负担。 （2）收集范围广泛。 为了使 企业竞争情报分析更加精准、 可靠， 支持企业全方位决 策， 企业不但要持续不断地收集内部业务流程中各个环 节的数据，还要收集顾客行为、竞争对手、供应链、宏观经 济等数据，这种数据收集需要投入大量的人力、物力。 面 对不断产生的庞大数据，企业需要持续增加存储空间，这 也是一笔不菲的投入。 （3）数据安全风险增大。 有关企业 大量的数据趋向集中，一旦泄密或者被竞争对手利用，后 果不堪设想；大数据量使企业可能采用云服务的模式，委 托第三方进行数据存储和管理， 这样接触企业数据的人 员就会增加，风险无形增大。 （4）数据质量难于控制。 在大 数据时代，数据经过层层的萃取转化为决策的情报，数据 的质量也变得愈加重要。 高质量的数据必须保证数据的 客观、可用和完整。 数据的质量问题涉及数据收集、使用、 传递等所有过程，而数据在发布阶段经常会被扭曲。 在大 数据时代，数据的质量是情报价值体现的生命线，不管分 析的方法如何先进，但如果输入时是垃圾数据，最终获得 的还是垃圾结果，对企业不但无益反而有害 。 （5）数据难 于动态集成。 目前竞争情报收集子系统对整个企业范围 内的数据集成大多采用静态整合策略， 当数据源中的数 据发生变化时，这些变化就不能立即反映给决策者，导致 决策使用的是过时的数据， 而大数据对实时响应要求很 高，因此，竞争情报系统对分布式的数据如何进行动态集 成也是一个很大挑战。 3.3 企业竞争情报的分析方法亟待创新
概括起来，大数据的特征主要体现在如下几个方面： （1）数据总量规模增长巨大。 同一类型的数据在快速 增长，目前在传感器网络、地理信息导航系统、社会网络 （如微博）、即时通讯（如 QQ）、电子商务（如淘宝）、数字图 书馆、网络日志等领域都产生了庞大的数据，规模在不断 扩大。 如淘宝目前每天活跃数据量已经超过 50TB，共有 4 亿条产品信息和 2 亿多名注册用户在上面活动。 零售巨 头沃尔玛每小时都要处理 100 多万笔客户交易， 数据库 估 计 超 过 2500 万 亿 字 节— ——相 当 于 美 国 国 会 图 书 馆 书 籍数的 167 倍， 而移动互联网用户发送和上传的数据量 达到 1.3EB［7］。 （2）数据增长的速度呈指数级持续增长。 目前很多领 域的数据都以惊人的速度增长， 根据 WinterCorp 的调查 显示，最大的数据仓库中的数据量每两年增加 3 倍（年均 增长率为 173%），其增长速度远超摩尔定律增长速度。 照 此计算，2015 年最大数据仓库中的数据量将逼近 100PB［8］。 大数据的动态性强，要求分析处理应快速响应，在动态变 化的环境中快速完成分析过程，有些甚至必须实时分析， 否则这些结果可能就是过时、无效的。 如导航定位系统、 股票分析系统等对数据实时处理有着较高的要求， 大数 据分析和处理的方法必须能快速地适应相关业务更新频 率加快的需求。 （3）新的数据来源和数据类型在不断增加。 目前产生 大数据的领域在不断增加，数据类型不仅包括普通文本、 照片、动画、音频与视频等，还有像位置信息、链接信息等 新类型的数据。 伴随着社交网络、移动计算和传感器等新 技术不断的应用， 大数据中有许多是非结构化数据或半 结构化数据，没有特定的描述模型，数据结构是不固定、 不完全或不规则的。 （4）数据的价值日益突现。 大数据犹如一座富矿，通过 海量数据的处理、整合分析，可以发现新的知识，从而创 造新的更大的价值。 大数据为许多行业带来新的商机和 发展机遇，充分利用大数据可为企业带来强大的竞争力。 大数据分析能从庞大的数据中发现稀疏而有高价值的知 识和规律，为预测和决策提供相关支持。 如视频监控的数 据量通常十分大，虽然绝大部分可能没有实际利用价值， 但几秒镜头捕捉到某罪犯体貌特征， 可能对公安部门而 言就是十分珍贵的。 大数据分析就是要进行披沙拣金，发 现这些珍贵的信息。
＊ 本文系国家社科基金项目“网站内容分析与挖掘的企业竞争情报方法研究”（项目编号：１０ＢＴＱ０３４）研究成果之一。 收稿日期：2012-10-19；责任编辑：魏 志 鹏
9
黄晓斌 钟辉新：大数据时代企业竞争情报研究的创新与发展
（Big Analytic）、 大 带 宽 （Big Bandwidth） 和 大 内 容 （Big Content）［6］。
10
综上所述，对于大数据中“大”的理解，主要有两个方 面，第一是指大量的、快速增长的数据，第二则是数据中 所蕴含的价值量较大。 可见，大数据之“大”，并不光是指 数据的数量之大，它的意义还在于数据的价值之大。
3 大数据对企业竞争情报的影响
情报研究是利用数据和信息提炼出有价值的情报， 为决策提供有关方案，也就是对数据进行处理、组织和解 释，以揭示其潜在的知识，转化为可执行利用的情报。 企 业竞争情报分析就是从原始的数据中发现关于竞争环 境、竞争对手和竞争策略情报的过程，从而形成高附加价 值的产品。 因此，大数据分析在对象、运用的方法和目标 等方面都与企业竞争情报研究有许多交集， 大数据的兴 起必然对企业竞争情报产生深刻的影响。 3.1 企业提升竞争力需要大数据的支持
2012 年第 6 期
略；利 用 大 数 据 工 具 对 供 应链 进 行 分 析 以 选 择 供 应 商 、优 化物流配送方案和进行价格谈判等； 利用大数据分析工 具对热销商品品种和库存的趋势进行分析， 以选定需要 补充的商品，分析顾客购买趋势和季节性购买模式，以确 定降价商品，并对其数量和运作做出 反 应 。 ［10］ 可 见 ，大 数 据已经成为企业的核心资产， 对数据的掌控可以形成对 市场的支配，并且获取巨大的回报。 大数据是企业用于提 升核心能力的重要手段， 而为提升企业竞争优势的大数 据分析是企业竞争情报研究的重要范畴。 3.2 企业竞争情报数据处理面临的新问题
数据竞争已经成为企业提升核心竞争力的利器。 来 自各个方面零碎的庞大数据融合在一起， 可以构建出企 业竞争的全景图， 洞察到竞争环境和竞争对手的细微变 化，从而快速响应，制定有效竞争策略。 庞大的数据更具 有统计意义，能为各种预测模型提供支持，从而能预测未 来的发展趋势，帮助企业获得先机。 相关的数据整合在一 起，能不断产生新的信息和知识，有助于提高生产率、降 低经营成本。 如 2008 年初，阿里巴巴平台上整个买家的 询盘数急剧下滑，自然导致买盘的下降，说明欧美对中国 采购量在下滑。 海关是卖了货出去以后再获得数据，而阿 里巴巴提前半年时间就从询盘上推断出世界贸易发生变 化了［9］。 企业的竞争不再只是劳动生产率的竞争 ，而是知 识生产率的竞争。 数据是信息的载体，是知识的源泉，是 企业创造价值和利润的原材料，因此，基于知识的竞争将 集中体现在基于数据的竞争上。 正如马云所说，未来是数 据竞争的时代，谁拥有数据，谁就拥有未来。 如今各行各 业都出现了以数据分析为竞争力的企业， 它们都是在数 据分析的基础上与其他企业展开竞争， 以提升核心竞争 能力，保持或获得行业领先地位，如谷歌、宝洁、沃尔玛等 世界知名公司。 沃尔玛就建立了一个超大的数据中心，其 存储能力高达 4PB 以上，通过大数据分析，沃尔玛掌握了 顾客的购买习惯，不同商品一起购买的概率，购买者在商 店所穿行的路线、购买时间和地点，从而确定商品的上架 布局以及对分类进行优化； 决定对各个商店的不同商品 进行增减，以保持最优的库存，降低成本；洞察销售全局， 瞬间捕获到各种细微的变化，从而快速响应，制定营销策
1 引言
随着信息技术的不断发展，互联网的普及利用，各种 终端设备记录了人类社会复杂频繁的信息行为从而产生 了惊人的数据量。 据国际数据公司（IDC）的研究报告称， 2011 年全球被创建和被复制的数 据 总 量 为 1.8ZB， 并 预 测到 2020 年，全球将拥有 35ZB（1ZB=10 亿 TB）的数据量［1］。 大数据已经渗透到每一个行业和领域，被视为“未来的新 石油” ，逐渐成为重要的生产因素。 随着消费者、企业、各 个经济领域不断挖掘大数据的潜力， 我们正处在一个巨 大浪潮的尖峰，这个浪潮就是大数据驱动的技术创新、生 产率提高、 经济增长以及新的竞争形势和新价值的产生［2］。 近年来，大数据技术研究和应用迅速发展，许多国家已经 意识到了大数据的重要性， 并作为战略性技术大力推动 其发展，大数据时代已悄然而至。
Baidu Nhomakorabea
情报研究的发展方向，应重视数据和信息的集成、注意对数据的清洗与过滤、关注新的数据类型的挖掘分析方法、促进
数据分析的可视化、探索大数据新的分析技术和工具的应用等。
关键词：大数据 企业 竞争情报 数据挖掘
中图分类号： G250.2
文献标识码：A
文章编号：1003-6938（2012）06－0009-06