大数据时代下金融业的发展方向、趋势及其应对策略

大数据时代下金融业的发展方向、趋势及其应对策略

摘要

首先简要回顾了大数据的定义、内涵及其主要特征; 其次, 通过研究发现, 金融业是信息密集型服务产业, 在数据特征和数据处理方面基本符合“大数据” 概念和特征, 正步入大数据时代的初级阶段; 接下来, 论述了在大数据时代未来的金融体系尤其是银

行业将具有“开放、数字化、高生产力、科学决策”的显著特征与发展趋势, 并指出在通往大数据时代之路上金融业面临

来自文化、管理与技术方面的挑战; 最后, 给出了在大数据时代金融业发展的应对策略. 研究结果将不仅对金融业务未来发展规划具有非常现实的指导意义; 同时, 也将为大数据时代下新金融理论的拓展奠定基础.

大数据是继云计算、物联网之后信息技术领域又一次颠覆性的技术变革. 随着社交网络、电子商务、互联网和云计算的兴起, 音频、视频、图像、日志等数据量正在以指数级增长, 呈现了爆炸性增长的趋势. 据著名咨询公司国际数据资讯(IDC)的统计[1], 2011年全球被创建和复制的数据总量为1.8 ZB(1 ZB=1021B), 其中75%来自于个人(主要是图片、视频和音乐), 远远超过人类有史以来所有印刷材料的数据总量(200 PB). 互联网的边界和应用范围不断被扩展, 大数据正以其多源、海量、异构的特性冲击着社会的各个领域, 无论是在学术界还是业界, 都引起了人们高度的关注.

国外的大数据研究工作主要集中在如何进行大数据存储、处理、分析以及管理的技术及软件应用上[2,3]. 2008年, Nature以“big data”为专刊, 讨论了大数据给各个领域带来的冲击和挑战; 2011年, Science推出“dealing with data”专刊, 重点探讨大数据的处理技术; 2012年4月欧洲信息学与数学研究协会会刊ERCIM News出版专刊“big data”, 讨论了大数据时代的数据管理、数据密集型研究的创新技术等问题. 在业界, 2011年5月, 全球著名咨询机构麦肯锡公司发布题为“大数据: 下一个创新、竞争和生产力的前沿”的报告, 明确提出应对大数据快速发展的策略; 2012年1月达沃斯世界经济论坛把大数据作为主题之一, 探讨在新的数据产生方式下, 如何更好地利用数据来产生良好的社会效益. 此外, 2012年3月, 美国公布了旨在提高和改进人们从海量信息数据中获取信息能力的“大数据研究和发展计划(big data research anddevelopment initiative)”, 这是继1993年美国宣布“信息高速公路”计划后的又一次重大科技发展部署. 2012年7月, 日本推出“新ICT 战略研究计划”, 也将大数据定位为战略领域之一.

根据Web of Science的统计数据显示, 近年来国际大数据的研究呈现蓬勃发展的态势, 至2013年累计相关研究论文171篇, 研究热点主要集中在3个方面[2]:

(ⅰ) 基于大数据的数据挖掘与分析. 涉及这一热点的相关研究主要有“数据挖掘”、“云计算”、“数据分析”;

(ⅱ) 基于大数据的决策判定支持. 涉及这一热点的相关研究主要有“技术”、“信息检索”、“判定支持”和“数据”;

(ⅲ) 基于大数据的具体应用研究. 涉及这一热点的相关研究主要有“社交媒体”、“传播学”、“可视化”、“基因组学”以及“蛋白质组学”.

与国外相比, 国内大数据的研究和应用还处在起步阶段[3]. 2012年5月, 香山科学会议组织了以“大数据科学与工程——一门新兴的交叉学科”为主题的会议, 深入讨论了大数据的理论与工程数据研究、应用方向. 同年6月, 中国计算机学会青年计算机科技论坛举办了“大数据时代, 智谋未来”学术报告会, 就大数据时代的数据挖掘、体系架构理论、大数据安全、大数据平台开发与大数据现实案例进行了全面的讨论.

金融作为社会经济活动的血液, 对经济增长与社会进步具有非常重要的意义. 对国内金融业来说, “大数据”是一个崭新的议题,

研究大数据时代背景下的金融业发展方向与趋势将具有非常现实的社会价值; 同时, 它也将为大数据时代下新金融理论的拓展奠定学术基础.

1 大数据时代及特征

大数据是指一般数据库软件难以获取、储存、管理和分析的大容量数据[4]. 2008年9月,Science杂志发表文章“Big data: Science in the petabyte era”, “大数据”这个词开始广泛传播[5]. 2011年6月, 国际数据资讯公司IDC研究报告“从混沌中提取价值”中3个基本论断构成了大数据的理论基础[6], 大数据由此得到普遍关注.

大数据从内涵上看, 可主要归纳为数据、技术与应用3个方面:数据类型方面, 除了包括海量的结构化和半结构化的交易数据, 还包括海量非结构化数据和交互数据; 技术方法方面, 核心是从各种各样类型的数据中快速获取有价值信息的技术及其集成; 分析应用方面, 重点是采用大数据技术对特定的数据集合进行分析, 及时获得有价值的信息.

互联网技术的飞速发展和应用, 使得电子商务、社交网络等新兴商务模式和虚拟生态环境繁荣发展, 加速了移动终端、无线传感器等新技术载体在政治、经济与社会等各个领域的广泛应用. 这些变革性发展不仅改变了生产和消费的行为和商业模式, 同时也带来了信息数据在数量、频度和使用等多方面的巨大变革, 从数据角度看, 整个世界已跨入“大数据”时代[7].

大数据意味着包括交易和交互数据集在内的所有数据集, 其规模或复杂程度超出了常用技术按照合理的成本和时限捕捉、管理及处理这些数据集的能力. 大数据通常具有“4V”(Volume, Variety, Velocity和Value)特征[8,9]:

(ⅰ) 数据体量巨大(Volume).大数据通常指10 TB(1 TB=1024 GB)规模以上的数据量. 之所以产生如此巨大的数据量, 一是由于各种仪器的使用, 能够感知到的事物越来越多, 这些事物的部分甚至全部数据都可以被存储; 二是由于通信工具的使用, 使人们能够全时段的联系, 机器-机器(M2M)方式的出现使得交流的数据量成倍增长; 三是由于集成电路价格降低, 使很多东西都保存了下来.

根据国际数据资讯(IDC)公司监测, 全球数据量大约每两年翻一番, 预计到2020年, 全球将拥有35 ZB 的数据量(如图1所示), 并且85%以上的数据以非结构化或半结构化的形式存在[8].

(ⅱ) 数据种类繁多(variety).随着传感器种类的增多及社交网络、智能设备等的流行, 数据类型也变得更加复杂, 不仅包括以文本形式为主的传统的关系型结构化数据, 也包括以网页、图片、音频、视频、网络日志、文档、地理位置信息等种类繁多的未加工的、半结构化和非结构化的数据, 其中, 尤以非结构化数据为主. 比如, 商业银行业务发展涉及的数据类型已从以二维表结构方式表达的结构化数据, 扩展到包括日志、微博、视频、图片等半结构化和非结构化数据.

(ⅲ) 流动速度快(velocity).流式数据是大数据的重要特征. 当处理的数据由PB级代替了TB级时, “超大规模数据”和“海量数据”是快速动态变化的, 数据流动的速度快到难以用传统的系统去处理. 例如, 商业银行的数据创建、存储、处理和分析的速度在大数据时代将持续加快, 某些数据必须实时地进行分析, 才能及时、有效地对业务管理产生价值.

(iv) 价值密度低(value).数据量呈指数增长的同时, 隐藏在海量数据的有用信息却没有相应比例增长; 相反, 价值密度的高低常常与数据总量的大小成反比. 这样反而使我们获取有用信息的难度加大. 以商业银行监控视频为例, 连续数小时的监控过程中可能有用的数据仅有几秒钟.

大数据的“4V”特征表明其不仅仅是数据海量, 对于大数据的分析将更加复杂、更追求速度、更注重实效. 大数据不仅意味着数据总量的快速增长, 其更大的意义在于: 通过对大容量数据的交换、整合和分析, 及时识别与发现新的知识, 创造新的价值, 带来“大知识”和“大发展”. 作为一种重要的战略资产, 大数据开启了一次全新的、重大的时代转型.

2 大数据时代下金融业的发展机遇及当前状况