大数据管理的现实匹配、多重挑战及趋势判断
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
表 1 传统信息(数据)管理与大数据管理的比较
传统信息(数据)管理
大数据管理
静态的Biblioteka Baidu个态的、封闭的内部数 动态的、系统的、开放的数据整合,管理思维、理念、方法等的 管理理念与目标
据分析,是一种辅助性质的管理 技术革命,驱动着产业的创新、多行业的发展与组织的变革
结构化数据,关联性强,按照事 非 结 构 化 的 、规 模 巨 大 的 、彼 此 可 能 并 无 关 联 的 数 据 流/集 ,
(一)大数据管理与传统信息管理的比较 大数据是把双刃剑, 需要进行正确管理与 运用。 一方面,大数据是人们获得新的认知、创 造新的价值的源泉,也是改变市场、组织机构以 及政府与公民关系 的 重 要 路 径[4];另 一 方 面 ,大 数据纷繁复杂、 多源异构的特性决定了其价值 获取的难度增大、成本增加及风险提高等。 大数 据管理的内涵,可以通过与传统信息(数据)管 理进行比较来得以显现(见表 1)。 (二)大数据管理的多重价值 大数据管理不仅是一种技术或管理方式的 创新,还是人类生产与生活方式的重大突破。 因 为信息是人类进步的基本动力, 而大数据管理 则代表着人类对于信息更加全面的把握能力, 同时也反映着人类自身特性的深刻展现及发 展。 大数据将会给国家与社会带来全新的机遇,
大数据已经在悄然掀起一场新的革命,它 将会是未来社会创新、生产力发展、市场变革的 风向标。 无论是学术界、政策层面,还是商界,都 已着手大数据管理及其应用的进程。 只有充分 挖掘大数据管理所蕴含的价值前景,预估大数据 管理所面临的风险挑战,并筹谋相应的战略对策, 方可在大数据时代抓住机遇并立于不败之地。
一、大数据管理的内涵与价值
大数据是一个比较抽象的概念,它与“海量 数据”(massive data) 和 “超大规模数据”(very
large data)在概念上一脉 相 承 ,但 在 数 据 体 量 、 数据复杂性和产生速度三个方面均大大超出了 传统的数据形态, 也超出了现有技术手段的处 理能力。 [2]到目前为止,学术界尚未有公认的大 数据概念, 而是倾向于通过归纳大数据的特征 来对其进行定义, 最具代表性的是 3V 定义[3], 即 大 数 据 需 满 足 三 个 特 点 : 一 是 规 模 性 (volume),即数据体量巨大,从 TB 级别跃升到 PB、 EB 级 别 ;二 是 多 样 性 (variety), 即 数 据 类 型 繁 多,如音频、视频、文本、图片等;三是高速性,即 更新、处理速度快。 此外,还有其他特性的界定, 如 国 际 数 据 公 司 (IDC) 认 为 大 数 据 还 应 具 有 价 值性(value),即具有很高的商业价值。IBM 公司 则认为大数据必须具有真实性(veracity)等。 总 之,对大数据概念的界定与认知,可以 3V 为基 础,并适当考虑 4V 或 5V 特性。
M ACROECONOM Y 宏观经济
大数据管理的现实匹配、多重挑战 及趋势判断 *
Reality Matching, Multiple Challenges and Trend Judging of Big Data Management
林志刚 彭 波
内容提要 大数据管理将带来新的经济增长模式,提供新的国家竞争平台,并促进新的社会文化认知。 大数据 时代我国面临着新的挑战:信息资源争夺会强化国家发展不均衡、信息不对称致使社会阶层力量失衡、市场竞 争对社会管理提出更高要求、技术及管理能力难以满足社会需求。为此,要优化国家决策机制,提升我国大数据 竞争力;提倡信息开放共享,促进社会阶层融合;推进相关制度建设,完善社会保障体系;重视基础科研,加强技 术创新研究。 关键词 大数据 大数据管理 信息资源 作者单位 清华大学公共管理学院 北京 100084; 清华大学社会科学学院 北京 100084
大数据将发展新资本。 资本有广义和狭义 之分, 狭义的资本是人类所创造的用于推动人 类生产的对象, 而广义的资本则代表一切价值 的创造者,包括人类自身和机器设备、社会资源 等。 大数据时代,人与人之间的关系将发生深刻 变化,新的资本结构将会涌现。
总之,大数据管理代表着新的经济模式,先 意识到这一点的社会主体将会获胜。 对大数据 的利用将成为企业提高核心竞争力、 抢占市场 先机的关键。 真正能够利用好大数据并将其价 值转化成生产力的企业必将具备强劲有力的竞 争优势,从而成为行业的领导者。
在学术界,《自然》杂志 2008 年 9 月推出了 Big Data 专刊,以社论、
* 该标题为《改革》编辑部改定标题,作者原标题为《大数据管理:应用前景、挑战 及应对策略》。
2013 年第 8 期 总第 234 期
专业眼光看经济 经济眼光看中国
15
宏观经济 M ACROECONOM Y
特写、评议等形式,从计算机网络、信息管理、生 物学、医学、互联网经济学等多角度探讨了大数 据的出现及其如何处理的问题。 《科学》杂志则 在 2011 年 2 月推出专 刊 “Dealing with Data”, 强调了科学研究中大数据带来的挑战以及善用 大数据所能带来的机遇。 从官方的角度来看,世 界大国也非常重视大数据的研究与利用,如美国 政府于 2012 年 3 月投资 2 亿多美元,启动了“大 数据研究与开发计划”,旨在提高从大数据中抽 取知识与观点的能力,以帮助解决美国在科学与 工程中的诸多紧迫问题,增强国家安全,并进而 实现教育与学习的转变。 2012 年 7 月,日本总 务省推出新的综合战略“活力 ICT 日本”,重 点 关注大数据应用所需的云计算、传感器、社会化 媒体等智能技术开发,以解决新医疗技术开发、 缓解交通拥堵等公共问题。 在经 济 领 域 ,2012 年 1 月的达沃斯世界经济论坛将大数据作为会 议 主 题 之 一 ,发 布 了 “Big Data,Big Impact:New Possibilities for International Development” 的主 题报告,探索、研究如何让大数据释放潜能、跨 越鸿沟,为低收入人群及国家的发展服务。
数据性质及获取 先设定的软件程序或严格的随 需要依赖新兴技术(如 Hadoop 等)进行处理
机抽样进行收集获取
人才背景和需求 数学、统计或信息科学等专业 更多的创新思维、多学科交叉相融的背景及特殊洞察力
16
2013 年第 8 期 总第 234 期
专业眼光看经济 经济眼光看中国
M ACROECONOM Y 宏观经济
早在 20 世纪 80 年代, 美国著名的未来学家阿尔温·托夫勒 就 预 言:“如果说 IBM 的主机拉开了信息化革命的大幕, 那么大数据则是第 三次浪潮的华彩乐章。 ”[1]但是,大数据概念受到广泛关注,是近几年才 有的事。 随着(微)博客、微信、社交网络、云计算以及物联网等技术的兴 起 ,大 量 UGC(User Generated Content,互 联 网 术 语 ,意 为 “用 户 生 成 内 容”)文本信息、图片、音频、视频等非结构化数据的出现,使得数据以前 所未有的速度剧增,而且数据的内容及性质也发生了根本性的变化。 这 预示着大数据时代的到来。
Lin Zhigang Peng Bo Abstract: Big Data management will bring a new model of economic growth, provide new national competition platform, and promote new social cultural cognition. In the age of Big Data, China is facing new challenges. Information resources fight will strengthen national development unbalance. Information asymmetry will cause social power imbalance. Market competition has put forward higher demand for the social management. Technique and management capacity cannot meet needs of the society. Therefore, it needs to optimize the national decision-making mechanism so as to improve our large data competitiveness, promote information sharing so as to promote social integration, promote the related system construction so as to improve the social security system and pay attention to the basic research so as to strengthen technology innovation research. Key words: Big Data, Big Data management, information resources
8%的 成 本 (约 每 年 3000 多 亿 美 元 );并 使 得 大 多数零售商的营业利润率提高 60%以上。 据市 场调研机构 IDC 预测, 大数据技术与服务市场 将 从 2010 年 的 32 亿 美 元 攀 升 到 2015 年 的 169 亿美元,实现 40%的年增长率(IT 与通信产 业增长率的 7 倍)。 [6]未来可能形成数据服务、数 据探矿、数据物流、数据材料、数据制药等一系 列战略性新兴产业。
甚至有可能决定一个国家未来的成败。 尤其是 在当前形势下, 大数据时代的到来更具有非同 一般的意义。 经济危机一般都代表着某种结构 的失衡,而只有新的、更高阶的平衡才可能度过 危机。 大数据管理在信息把握方面的潜力,将指 引社会走向新的平衡。
1.大数据管理带来新的经济增长模式 每个时代都有其特有的生产模式。 石器时 代只能是在原始社会和奴隶社会, 铁器时代则 代表封建社会, 蒸汽机时代则标示了资本主义 社会的到来, 大数据管理则可能代表着更高级 社会形态的出现。 在传统经济发展模式中,储蓄 与投资是经济增长的基本支撑, 而需求则是经 济增长的基本动力。 但在当前的中国,传统的发 展模式已经面临困境。 在此情况下,大数据可能 会成为新的突破口, 引导经济走向一个新的高 度。 当前中国正面临从粗放式生产到集约式可 持续发展方式的转变的巨大挑战,这个挑战并不 容易应对。 而大数据技术能够将隐藏于海量数 据中的信息和知识挖掘出来, 为经济社会活动 提供依据,节约资源消耗,提高经济效率及集约 化程度,创造新的利润来源,引导投资,而投资 本身又可能通过倍数原理成为新的增长机会。 大数据推动产业升级。 通过数据处理能力 极高的计算机并行处理大数据, 同时进行大批 量的仿真比较和筛选, 可以大大提高科研和生 产效率,产业流程会发生革命性再造,使整个行 业迈入数字化与信息化的新阶段。 大数据已成 为传统经济学界定的劳动、资本、土地与企业家 才能四类生产要素之外的新资源, 它必将对现 代经济模式、 企业管理运作理念、 组织业务流 程、 市场营销决策以及消费者行为模式等产生 巨大影响, 使得企业商务管理决策越来越依赖 于数据分析,而非经验或直觉。 [5] 大数据孕育新市场。 目前,大数据的开发与 利用已经在医疗服务、零售业、金融业、制造业、 物流、电信等行业广泛展开,并产生了巨大的社 会价值和市场空间。 据麦肯锡估计,大数据的有 效 利 用 将 使 欧 洲 发 达 国 家 政 府 节 省 至 少 1000 亿欧元的运作成本; 使美国医疗保健行业降低