大数据时代银行业的机遇与挑战

专题Special Topic大数据时代银行业的机遇与挑战对于银行业来说，大数据意味着巨大的商机，可强化客户体验，提高客户忠诚度。

形象地说，“数据的收集能力+数据的分析能力=企业智商”，这关乎商业决策的迅速和准确，关乎企业的生存和发展。

中国光大银行股份有限公司信息科技部 李璠 贾鸿飞大数据是用来描述数据规模巨大、数据类型复杂的数据集。

这些数据集的规模已经超出普通的数据库管理工具在可容忍的运行时间内进行数据的捕获、存储和处理的能力。

特别是近年来，伴随着物联网、移动互联网、社交网络的快速发展，企业数据增长迅猛，半结构及非结构化的数据呈几何倍增长；数据来源的渠道也逐渐增多：网络日志、社交媒体，以及遍布各地的传感器网络等。

大数据的时代已然来临，大数据分析已成为各行业竞争发展的变革点。

而如何有效整合来自移动终端设备、社交网络、ＰＣ、传感器网络等产生的结构化、非结构化的海量数据，并加以分析挖掘潜在的业务价值，已成为大数据时代企业经营发展的趋势和焦点。

一、大数据的特点及对企业经营管理的重要意义1.大数据的特点第一，数据规模巨大且增长迅猛。

从ＴＢ级别跃升到ＰＢ乃至ＥＢ级别。

第二，数据类型繁多。

既包含传统的结构化数据（如文本数据），也包含越来越多的非结构化数据（如网络日志、音频、视频、图片、传感器数据等）。

这些数据对处理分析能力提出了更高的要求。

第三，数据价值极为关键但不易挖掘。

由于海量数据中价值密度相对较低，但数据的商业价值却极为重要。

如何通过强大的机器算法更迅速地完成数据的价值“提纯”，是目前信息化亟待解决的难题。

2.大数据对企业经营管理的重要意义伴随着传统的商业智能系统向纵深应用的拓展，企业决策已经越来越依赖于数据而非直觉经验。

然而，传统的数据仓库对于数据分析通常是建立在关系模型的基础之上，面向结构化数据处理，各分析主题之间的关系在系统内已经被创立，而且用以分析的数据也大都是企业自身信息系统中产生的运营数据，这些数据大都是标准化、结构化的。

事实上，这些数据只占到了企业所能获取的数据中的１５％。

对于企业而言，８５％的数据属于广泛存在于社交网络、物联网、电子商务等媒介的非结构化数据。

这些非结构化数据的产生往往伴随着社交网络、移动计算、传感器等新兴渠道和技术的不断涌现和应用。

企业用以分析的数据越全面，分析的结果就越接近于真实。

大数据分析意味着企业能够从这些新的数据中获取新的洞察力，并将其与已知业务的各个细节相融合。

在大数据时代，企业进行数据分析的背景也发生了变化：①要涵盖海量数据规模；②要能真实精确地挖掘商业价值，快速分析响应；③要面向丰富多样的数据类型，包括结构化和非结构化的数据。

这使得传统解决方案在新的需求面前束手无策。

二、大数据分析的解决方案1.大数据分析相关系统（１）ＨａｄｏｏｐＨａｄｏｏｐ　是效仿谷歌ＦｉｌｅＳｙｓｔｅｍ和谷歌ＭａｐＲｅｄｕｃｅ而实现的一套海量数据分布式处理的开源软件框架，被广泛部署运用于雅虎、Ｆａｃｅｂｏｏｋ等互联网企业。

目前，运行于雅虎的Ｈａｄｏｏｐ集群被广泛用于雅虎广告、财经数据以及用户日志等数据的处理分析。

Ｈａｄｏｏｐ由两部分组成，一部分是ＨＤＦＳ分布式文件系统，一部分是ＭＲ框架（ＭａｐＲｅｄｕｃｅ　Ｆｒａｍｅｗｏｒｋ）。

ＨＤＦＳ是ＭａｐＲｅｄｕｃｅ　的数据存储来源。

ＨＤＦＳ按照一定粒度的数据分块来划分文件，并将这些数据分块分散存放在集群中的不同节点，为ＭａｐＲｅｄｕｃｅ提供并行计算的数据存储。

同时，ＨＤＦＳ利用多副本存放策略来保障数据的可靠性、可用性，并提供较高的数据输入输出吞吐率。

ＭａｐＲｅｄｕｃｅ框架是进行海量数据并行计算的框架，由一个作业追踪（Ｍａｓｔｅｒ）节点和多个任务追踪（Ｗｏｒｋｅｒ）节点构成。

作业追踪节点用于任务划分、任务调度；而任务追踪节点用于接收来自于作业追踪节点分配的Ｍａｐ或者Ｒｅｄｕｃｅ任务，并执行这些任务，同时将任务的状态回馈给作业追踪节点。

Ｈａｄｏｏｐ通过计算移动到集群中的各个节点，在各个节点进行并行计算任务（Ｍａｐ阶段），产生结果后将集群中各节点的数据汇总反馈至客户端（Ｒｅｄｕｃｅ阶段）。

（２）ＨｉｖｅＨｉｖｅ是Ｆａｃｅｂｏｏｋ开源的基于Ｈａｄｏｏｐ的数据仓库平台。

通过Ｈｉｖｅ，可以方便地进行海量数据提取、转化、加载（ＥＴＬ）工作。

Ｈｉｖｅ定义了一个类似于ＳＱＬ的查询语言ＨＱＬ，能够将用户编写的ＳＱＬ转化为相应的ＭａｐＲｅｄｕｃｅ程序。

当然，用户也可以自定义Ｍａｐｐｅｒ和Ｒｅｄｕｃｅｒ来完成更为复杂的分析工作。

作为互联网领域应用最为广泛的开源数据仓库，基于ＭａｐＲｅｄｕｃｅ的Ｈｉｖｅ在扩展性和容错性方面有强大的优势，其前景被业界一致看好。

但是相比传统并行数据仓库，Ｈｉｖｅ　在存储引擎支持、执行引擎高效化以及多样化接口等方面，有待进一步发展。

（３）ＰｉｇＰｉｇ是一个基于Ｈａｄｏｏｐ的大规模数据分析平台，使程序员可以更加方便地进行大规模数据处理。

Ｐｉｇ　Ｌａｔｉｎ是一门吸收了ＳＱＬ语法的过程式语言。

它在保存了过程式语言灵活性的同时，很大程度上吸纳了声明式语言易于进行数据处理描述的特点。

该语言的编译器会把类ＳＱＬ的数据分析请求转换为一系列经过优化处理的ＭａｐＲｅｄｕｃｅ运算。

Ｐｉｇ为复杂的海量数据并行计算提供了一个简单的操作和编程接口。

综上所述，　目前广泛使用的开源海量数据处理系统大都以Ｈａｄｏｏｐ作为数据存储和并行处理的基础框架——ＨＤＦＳ提供海量数据存储平台，ＭＲ框架提供海量数据并行计算模型。

Ｈｉｖｅ和Ｐｉｇ都是在Ｈａｄｏｏｐ之上提供了类ＳＱＬ语言的解决方案，这大大减少了并行处理程序开发的难度，使用户不必具备较强的程序编写能力，进而更多地关注业务逻辑。

以上海量数据处理系统在高可用性、高容错、扩展性方面都提供了很好的支持，三者具体比较如表１所示。

表1 大数据分析平台对比2.大数据分析的经典案例大数据分析平台在文本挖掘、模式识别、路径分专题Special Topic析、聚类分析等方面具有天然优势。

不同厂商的产品和开源系统都力图针对不同的应用场景推出对应的算法包来提供诸如产品营销、用户消费习惯分析、优质客户甄别、防欺诈侦测、购物篮分析等各个领域的高效解决方案。

大数据分析平台已经在很多行业发挥了重要作用，具体成功的商业案例如下。

（１）沃尔玛沃尔玛是最早利用大数据而受益的企业之一。

通过对消费者的购物行为等非结构化数据进行分析，沃尔玛成为最了解顾客购物习惯的零售商，并创造了“啤酒与尿布”的经典商业案例（尿布与啤酒这两种看似风马牛不相及的商品摆在一起使尿布和啤酒的销量大幅增加）。

（２）Ｆａｃｅｂｏｏｋ社交媒体监测平台ＤａｔａＳｉｆｔ监测了Ｆａｃｅｂｏｏｋ　ＩＰＯ当天Ｔｗｉｔｔｅｒ上的情感倾向与Ｆａｃｅｂｏｏｋ股价波动的关联。

例如，在Ｆａｃｅｂｏｏｋ开盘前Ｔｗｉｔｔｅｒ上的情感逐渐转向负面，２５分钟之后Ｆａｃｅｂｏｏｋ的股价便开始下跌。

而当Ｔｗｉｔｔｅｒ上的情感转向正面时，Ｆａｃｅｂｏｏｋ股价在８分钟之后也开始了回弹。

通过数据分析最终得到的结论是：Ｔｗｉｔｔｅｒ上每一次情感倾向的转向都会影响Ｆａｃｅｂｏｏｋ股价的波动，延迟情况通常只有十几分钟。

（３）沃尔沃在沃尔沃集团，通过在卡车产品中安装传感器和嵌入式ＣＰＵ，使得从刹车到中央门锁系统等形形色色的车辆使用信息源源不断地传输到沃尔沃集团总部。

对这些数据进行分析，不仅可以帮助企业制造更好的汽车，还可以帮助客户获取更好体验——这些数据正在被用来优化生产流程，以提升客户体验和提升安全性，以及让产品部门提早发现产品潜在的问题，并在这些问题发生之前提前向客户预警。

（４）中国移动中国移动集团山西有限公司通过大数据分析，对企业运营的全业务进行针对性的监控、预警、跟踪。

以最快捷的方式将捕捉的市场变化推送给指定负责人。

例如，一个客户使用最新款的诺基亚手机，每月准时缴费，平均一年致电客服３次，使用ＷＥＰ和彩信业务。

如果按照传统的数据分析，这可能是一位满意度非常高、流失概率非常低的客户。

但是，当搜集了来自微博、社交网络等媒介的客户数据后，这位客户的真实情况可能是：客户在国外购买的这款手机，手机中的部分功能在国内无法使用，在某个地点手机经常断线，彩信无法使用——他的使用体验极差，正在面临流失风险。

三、大数据在银行业的应用场景随着银行业务的载体与社交媒体、电子商务的融合越来越紧密，仅对原有１５％的结构化数据进行分析已经不能满足发展的需求。

企业需要借助大数据战略打破数据边界，囊括８５％的大数据分析，来构建更为全面的企业运营全景视图。

以科技引领业务发展，未来银行也同样需要借助由大数据构建的企业经营全景视图来进行风险管理、产品营销、业务创新等活动，进而寻找最优的模式支持商业决策。

下文阐述了大数据在银行业应用的几个场景。

1.客户管理随着大数据的大量涌现，尤其是在社交网络的背景下，服务渠道不应仅局限于传统的银行渠道，而应整合新的客户接触点（即社交媒体网站等），这种趋势已经变得日益清晰。

银行业发展战略也逐步从以产品为中心转向以客户为中心，客户成为银行发展的重要驱动力。

银行不仅仅销售产品和服务，而且还应为用户提供完美的多渠道体验，成为真正以客户为中心的组织。

了解客户到底是谁以及客户最真实的需求成为银行经营管理者最为关注的问题。

银行可以通过大数据分析平台，接入客户通过社交网络、电子商务、终端设备等媒介产生的非结构化数据，构建全面的客户视图。

根据用户行为对用户进行聚类分析，进而可以有效的甄别出优质客户、潜力客户以及流失客户。

事例一：花旗银行工作人员可以利用大数据分析获取银行客户信息并且分析客户的下一步需求，进而向客户营销相关金融产品。

比如，某人为自己的孩子开办了一款信用卡，当孩子上大学后，就会分析这位顾客所需要的金融产品。

如果之后家长有装修厨房的计划，那么花旗银行的工作人员会向这位家长推荐适合装修的贷款，满足客户各方面的潜在需求。

事例２：客户流失分析。

借助大数据平台搜集到客户行为记录，通过对已流失客户的行为进行分析，找到客户流失发生时的关键路径，进而能够利用流失客户的行为模式有效定位有流失倾向的客户，以便银行工作人员能够在客户流失前进行挽回工作。

2.营销管理借助大数据分析平台，通过对形式多样的用户数据（用户消费数据、浏览记录、购买路径等）进行挖掘、追踪、分析，将不同客户群体进行聚类，有助于获取用户的消费习惯、风险收益偏好等特征信息。

从而根据不同客户特性打造个性化的产品营销服务方案，将最适合的产品服务推介给最需要的客户。

以主动营销和个性化营销打破传统无差异的、被动的产品服务营销方式。

大数据的有效使用，不仅可以提升银行产品的精准营销水平，而且可以提升客户对银行服务的认可程度以及客户经理在营销过程中的专业程度。