银行业大数据平台规划

银行业大数据平台规划

1、银行压力越来越大

从十二五走到十三五期间，银行业面临的各方面的压力越来越大，从年报数字可以看出去年四大行的利润增长基本上趋近于零增长。在这样的情况下，怎样通过IT的引领提升传统银行的竞争力，这是摆在我们面前的一个很重要的课题。

2、过去十多年期间，银行业务出现两个拐点

大数据怎么样能够在智慧银行的方向上起到更大的作用呢?

通过银行的历程佐证这样一个观点。过去十多年期间银行基本上有两个拐点，

第一个拐点就是发生在互联网银行慢慢取代柜员，IT支持从支持几万十几万的柜员到支持面向所有的互联网客户，这里面发生了一个根本性的变化，无论是服务的形态还是IT的支撑，都发生了很根本的变化，这是移动和云要在里面发挥作用。

下一个拐点是什么?银行要从原来做的账务性的、交易性的处理转向能够渗透到经济生活的方方面面，这是一个场景化，如果抓不住这个拐点，银行就要被互联网金融颠覆或者管道化。

3、三大互联网渠道已建立，具备大数据基础

这几年银行三大互联网渠道已经建立：

●手机银行，已达到1.8亿多

●网上银行，我们有2亿

●微信银行，它占的客服服务总量已经超过了传统的客户服务

这意味着渠道、场景化的实践已经见到了效果，另外我们做大数据要具备的基础已经存在。

4、大数据要解决3大问题

谈大数据，对传统银行来讲，要解决3大问题

●怎么样提升对于客户的识别?

●怎么样对于客户的营销?

●怎么样提升对于风险的防范?

所以，无论是用传统的结构化的数据，还是用现在互联网形态下面非结构化的数据，要解决的问题都是这些，只不过现在有了更丰富的数据源，有了更好的对于数据处理的方法。

目前，建设银行已经成立了上海大数据分析中心，这不属于技术部门，属于信息管理部门。

5、建行大数据平台设计思路

从设计目标有这几条：

策略上架构先行，已经有很好的基础架构。1、基础能力上，做一些基础的大数据分析工具的搭建。2、要想明白用数据做什么，先把平台搭起来，但当时提的很多的概念是垃圾进垃圾出，到了大数据时代没人提这个事情了，好像所有大数据都是质量很高的，但这方面要警惕。

功能架构设计，从采集、存储、分析、展现到应用。从这个结构来说，这是很完美的一个结构，但要能够实时或者及时地反映到你的业务流程当中去，反映到营销当中去。不要拘泥于一个结构。

数据设计，是一个演变过来的整体的结构。这里面大数据是数据的一部分，结构化的数据是大数据的一部分，这两个东西不要割裂来看。

6、建行大数据成果

大数据平台取得了一些成果：

实时的数据仓库上：对客户经理做实时的数据提供和交付，提供无论是并发的访问还是实时服务方面。

从数据的应用模式上：我们总结了六类数据应用模式，包括挖掘类、数据实验室、机器查询、仪表盘、固定报表、自动查询等等。

建立“模型实验室”：现在越来越发挥了更大的作用，能够基于结构化和非结构化的数据支持大数据模型的研发，这个模型研发出来我们能够很快地把它部署到生产当中去，能够为一些决策，未风先管理服务。

在非结构化大数据的应用方面，做探索：比如客户行为偏好的数据，录音文本、地理数据的应用、能耗数据的应用、媒体信息、员工行为数据等等。通过位置服务终端识别的新技术新数据的采用，拒绝可疑风险事件，上半年避免1.9万起，避免客户损失1.4亿，这种数据越来越大。

7、未来，场景化、标准化、平台化

场景化，能够把金融数据的服务将来标准化和平台化，平台化之后能够在基础的大数据能力、基础数据的提供甚至一些分析数据的提供，基础应用，客户花香、征信评级的监测，为无论是内部的客户还是外部的客户提供更好的大数据技术，这是从技术方面来看大数据下一步做的工作。

中国工商银行（软件开发中心信息科技专家王晓平）

1、工行大数据面临的挑战

如何处理数据量的快速增长?首先全行的数据量的快速增长，包括现在工行每天的交易量，外部互联网金融，工行的三大互联网平台造成用户的交易数据和行为数据有大幅的增长。

如何快速智能分析历史数据?工行从2000年开始建立数据仓库以来，拥有了庞大的历史数据资产，在新的环境下怎么能够快速地智能分析，提出了更高的挑战。

如何使用内外数据，描述客户特征?在数据源方面，除了本单位数据，也需要采纳外部的数据来配合进行分析。工行已经引入了征信数据、税务数据等，怎么做到比较全的数据去描绘客户特征，这是一个新的课题。

2、工行大数据战略思路

工行整个的战略思路是通过两库一司的建设来完善大数据体系。

两库是信息库和数据仓库，数据仓库在工行的建设和银行的建设中都是比较传统的，主要是应对之前的银行交易数据、账户数据，采用结构化的数据存储来进行相关的处理。前两年的时候工行启动了信息库的建设，主要指非结构的数据。

通过两库的建设，还建设了一支分析师队伍，能够对这些庞大的数据进行相关业务的加工处理和分析。

3、发展阶段

工行大数据的发展历程可以分几个阶段，从TB级已经进入了PB级的建设阶段，接下去在可预见的几年内会进入EB级的庞大体量。

最早工行是2000年初，那个时候大数据的领域更多的还是应用在一些报表的快速展现，所以那个时候是基于比较传统的Oracle和SaaS，做了T+1的动态报表，行领导和管理层能够在第二天上班前看到昨天的经营数据，这是最早建立的。

2007年工行基于当时最先进的企业级的数据仓库的体系架构启动了工行的企业级数据体系的建设，做了全行统一的管理数据的大集中。

2010年基于数据仓库的数据支持，推出了工行的MOVA管理会计系统，做了全行绩效考核的管理系统。

2013年随着外部形势的发展，大量数据爆发式的出现，引进了大数据领域在业界最流行的Hadoop 技术，在Hadoop基础上搭建了信息库，发展是非常快的。

2014年工行基于大数据，原来的大数据采用连机异部批量的方式，通过文件存储的方式，不管是数据仓库还是信息库，在时效上相对来说比较慢，所以自主研发了一个流数据平台，能够提供实时或者准实时的流数据处理。

2015年下半年和今年正在推动分布式数据库的落地工作，会和企业级数据仓库做一个互补。这是大数据的主要技术演进。

4、大数据体系

在大数据平台上，可以把它抽象成如下几层：

第一层是数据采集，统一针对外部和内部的数据进行相关的数据收集，包括日志信息、行为信息和业务信息。