金融大数据平台项目规划

金融大数据服务平台项目规划书

北京XXXX技术有限公司

研发中心

2014年11月

一. 项目介绍

1.1项目背景

银行业一直是一个数据驱动的行业，数据也一直是银行信息化的主题词。银行的信息化进程先后经历过业务电子化、数据集中化、管理模型化等阶段，如今随着大数据技术的飞速发展，银行信息化也进入了新的阶段：大数据时代。

目前，国内银行都积累了海量的金融数据，包括各类结构化、半结构化、非结构化数据，数据量巨大，存储方式多样。但是这些海量数据还没得到充分利用，显得价值含量较低。只有经过合适的预处理、模型设计、分析挖掘后，才能发现隐藏在其中的潜在规律。而应用大数据分析技术，可以从海量的、不完全一致的、有噪声的、模糊的、随机的数据中提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识。银行可以利用这些信息和知识来提升金融业务的服务效率和管理水平，银行的关键业务也能从中获得巨大收益。

银行在大数据技术应用方面具有天然优势：一方面，银行在业务开展过程中积累了大量有价值数据，这些数据在运用大数据技术挖掘和分析之后，将产生巨大的商业价值；另一方面，银行在资金、设备、人才、技术上都具有极大的便利条件，有能力采用大数据的最新技术。建立“金融大数据服务平台”，可以通过对金融数据的挖掘、分析，创造数据增值价值，提供针对银行的精准营销、统一广告发布、业务体验优化、客户综合管理、风险控制等多种金融服务。

1.2业务需求

目前，银行客户对数据的利用仍是以各类统计报表为主，存在以下重大弊端：

1.对数据的分析仅按照固定项目，对业务情况进行事后统计分析和监控。实际上没有

找到隐藏在数据背后的原因，数据深度分析和数据挖掘能力不足。

2.对数据的分析仅作为专项的统计分析结果输出，对于数据间的因果影响、相关性分

组或关联规则、聚类、描述和可视化等工作尚未开展，数据关联分析能力不足。

3.统计分析侧重在事后的数据汇总，难以从数据汇总中得到客户服务事件发生的规

律，以及前瞻性判断，数据的预测性分析能力不足。

针对具体的金融业务，大数据分析在以下方面有着迫切的需求：

统一广告发布：目前金融行业客户在广告方面投入大、渠道多，但在确认真实效果、提供优化广告策略时却不能提供确切的数据证据。亟需利用大数据技术在收集各类型、各渠道广告发布数据的基础上，提供可靠的效果数据和优化策略建议。

精准营销：目前金融行业的营销方式基本上还是粗放式的，调查方式粗糙，分析原因简单，对过程的控制力差，对客户和产品的推广都缺少针对性。亟需利用大数据技术来收集详尽数据、科学分析原因、严格控制过程、并有针对性地面向客户和产品进行营销推广。

业务系统优化：目前金融行业对其业务系统的客户体验效果、客户转化率缺乏准确数据支持，也无法分析具体原因。亟需利用大数据技术获得各业务、各环节的客户转化率，从而有针对性地改进业务流程，提升服务质量。

客户流失分析：对于如何稳定留存客户、降低客户流失率，目前金融客户还无法准确分析客户流失的原因，也就无从提出有效的改进措施。亟需利用大数据技术在分析流失客户数据的基础上，提出改进客户关系管理效率和水平的有效建议。

风险分析：金融行业对自己客户和业务的风险分析停留在初级阶段，缺乏全面掌握和提前预防的技术手段。亟需利用大数据技术获得存在较高风险的客户群体及业务，作为对其进行重点监控和提前做好预防措施的基础。

通过建设金融大数据服务平台，研发基于大数据分析的统一广告发布系统、精准营销系统、业务体验优化系统、客户流失分析系统和风险分析系统，金融客户可以提升广告发布效果，提高营销针对性，优化服务质量，改善客户管理水平，预防风险冲击，进而为业务发展提供决策支撑，并促进相关领域构建新的业务模式、服务模式。

二.项目范围

北京XXXX技术有限公司自主研发的“金融大数据服务平台”，旨在为金融行业客户提供包括数据采集、数据存储、数据预处理、数据挖掘、可视化展现、业务实现等全流程服务，以帮助客户实现各种金融业务。

数据采集

“金融大数据服务平台”首先需要收集各种金融数据，它们可能是结构化的，也可能是半结构化或非结构化的；既可能来自银行内部的各业务系统，也可能由外部提供；既可以是

静态的（如属性数据），也可以是动态的（如行为数据）。而金融数据采集产品就是根据业务需要，将这些数据采集到“金融大数据服务平台”中。

●数据存储

Hadoop集群通过将数据分配到多个集群节点上并进行并行处理，因此尤为适合对大数据的存储和分析。Hadoop集群通过添加节点数量来有效的扩展集群，因此具有极好的可扩展性；Hadoop软件都是开源的，也不必购买昂贵的高档服务器，因此具有很好的性价比。Hadoop集群将数据分片发送至多个节点保存，因此具有极高的容错性。

●数据预处理

采集到金融数据来自多种数据源，大多存在着不完整性和不一致性，无法直接用于数据挖掘或严重影响数据挖掘的效率。因此在进行数据挖掘之前，通过使用数据预处理工具，灵活对原始数据的清理、变换、集成等处理，可以减少挖掘所需数据量，缩短所需时间，并极大提高数据挖掘的质量。

●数据挖掘

数据挖掘是通过分析数据、从大量数据中寻找其潜在规律的技术。利用预测、关联、分类、聚类、时序分析等技术，数据挖掘可以从海量的、不完全的、有噪声的、模糊的、随机的数据中提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识。目前，传统的数据挖掘产品在大数据平台上还存在一些局限性，研发一套Hadoop平台下的数据挖掘工具是一项极具挑战性的任务。

●可视化展现

数据挖掘得到的结果，往往数据量巨大、关联关系复杂、维度多以及双向互动需求等。可视化展现工具以适合人类思维的图形化的方式对结果进行展示，提高了数据的直观性和可视性。可视化展现面向各类客户，通过选择合适的可视化模型，将枯燥的数据转换为令人印象深刻的美丽图形，极大提升了数据的利用价值。

●业务实现

“金融大数据服务平台”的效果，最终需要集成在各类金融业务系统中才能得以体现。目前拟建设的金融业务系统有：精准营销系统、统一广告发布系统、业务体验优化系统、客户流失分析系统、风险分析系统等。